Article · IA & agents
Un juge LLM peut-il préférer ce qui est dit à ce qui est montré ?
Summarization Bias définit une hypothèse de biais directionnel et enregistre un protocole destiné à la confirmer ou à l'abandonner.
Une hypothèse, pas un résultat établi
Le preprint de Levent Bulut propose le concept de summarization bias. L'hypothèse est qu'un LLM représente plus facilement un sens narratif sous la forme d'un résumé ou d'une étiquette explicite que sous la forme d'une structure d'indices que le lecteur doit reconstruire.
Le document insiste sur son statut : il ne prétend pas avoir validé le biais. Il définit le construit, discute des travaux voisins et pré-enregistre un protocole de test avec des règles permettant aussi de l'abandonner.
Deux régimes à tester
Dans le régime génératif, on demande au modèle de rendre une émotion par des indices indirects ; le test vérifie s'il revient à déclarer directement l'émotion. Dans le régime évaluatif, on demande à un modèle de juger des textes ; le test vérifie s'il récompense l'explicite et pénalise une expression plus implicite.
Le second régime est particulièrement important pour les agents qui utilisent des LLM comme juges, éditeurs ou fonctions de récompense. Un biais de sélection du juge pourrait aplatir les sorties sans apparaître comme une erreur de factualité.
Ce que le protocole propose
Le texte définit des conditions told et shown, des mesures d'intensité et des décisions de confirmation ou de falsification. Une étude antérieure est relue comme évidence directionnelle compatible, mais elle n'est pas présentée comme une preuve du construit.
Interprétation éditoriale : pré-enregistrer les hypothèses de l'évaluation
Un agent évaluateur devrait distinguer ce qui est mesuré de ce qui est supposé. Avant de l'utiliser comme juge, il faut définir des cas positifs et négatifs, les décisions qui invalideraient le signal et la part de revue humaine. Un score cohérent n'est pas forcément un score impartial.
Limites et statut de la source
Le protocole est conceptuel et pré-enregistré ; sa validité dépend des données à venir et des définitions opérationnelles. La source ne permet pas encore d'affirmer l'existence du biais. C'est un preprint ArXiv.
Source
Levent Bulut, « Summarization Bias: The Directional Collapse of Objective Projection into Told-Mode Labels in Large Language Models — A Conceptual Framework and Registered Test Protocol », ArXiv 2609.20712v1 : résumé et preprint, PDF.