Calibrer un reranker sans soustraire l’intention utile

Ce que la calibration cherche à retirer

Un reranker fondé sur l’attention peut attribuer une partie de ses scores à la position des documents plutôt qu’à leur pertinence. Une calibration compare alors une passe avec la requête réelle à une passe avec une requête nulle.

Le papier montre pourquoi le contenu de cette passe nulle compte. Si elle conserve une instruction propre à la requête, elle peut encore porter une information utile pour classer les documents. La soustraire intégralement risque de retirer cette information avec le biais.

Trois passes à distinguer

Le protocole sépare la requête réelle avec instruction, la requête nulle avec instruction et la requête nulle sans instruction. La différence entre les deux dernières mesure l’empreinte de l’instruction.

Cette décomposition est utile lorsque l’instruction contient des préférences ou des contraintes détaillées. Elle l’est moins si l’on suppose d’avance que toute instruction a le même rôle, indépendamment de son contenu.

Une interpolation explicite

La proposition introduit un coefficient entre 0 et 1 pour décider quelle part de cette empreinte retirer. À 1, on retrouve la calibration incluant l’instruction dans la passe nulle. À 0, on utilise la passe nulle sans instruction.

Le second cas reste une calibration : il ne correspond pas à l’absence de correction. Cette distinction évite une mauvaise interprétation des ablations.

Protocole d’essai inspiré du papier

Conserver les mêmes documents candidats, puis comparer des instructions générales et des instructions propres à chaque requête. Permuter les documents pour observer la sensibilité à la position. Mesurer ensuite les scores avec plusieurs coefficients sur une validation distincte du test.

Vérifier également où se trouve l’instruction dans le prompt. Le système étudié lit l’attention sur une zone de sortie précise ; placer une instruction hors de cette zone peut modifier ce que le score capture. Ce conseil vise ce type de mesure d’attention, pas tous les prompts de LLM.

Résultats et limites

Le signal d’empreinte classe utilement certains documents d’InstructIR lorsque la requête est remplacée par une valeur nulle, ce qui soutient l’hypothèse d’une pertinence portée par l’instruction. Le choix optimal du coefficient ne dispose toutefois pas d’une règle fermée universelle.

Les expériences concernent des modèles de 4B à 14B et des benchmarks anglais. Le biais positionnel résiduel persiste. L’interpolation ajoute aussi une passe, même si les préfixes partagés offrent des possibilités d’optimisation.

Cette fiche est un plan d’évaluation, sans paramètres validés pour un nouveau corpus. Les sections officielles sur l’interpolation et les limites complètent les passages locaux tronqués.

Source et statut

Source principale : How Calibration Content Shapes Attention-Based Reranking, prépublication ArXiv 2609.17764v1 · PDF. Les résultats rapportés sont ceux des auteurs ; les conseils de méthode sont une interprétation éditoriale. Publication éditoriale, sans reproduction expérimentale dans cette session.

Compléments officiels effectivement consultés : 3.3 Interpolated Null Calibration · 7 Limitations. Lecture partielle ; voir les passages et limites consignés dans la frontmatter.