Reproductibilité et validité : deux tests différents pour une annotation LLM

Un score stable peut-il être faux pour la bonne question ?

La reproductibilité demande que la procédure donne des résultats proches lorsqu'elle est répétée. La validité de construit demande que ces résultats représentent bien la notion étudiée. Les deux propriétés ne sont pas interchangeables.

Résultats rapportés

Les auteurs relient des réponses d'enquête à des contributions textuelles des mêmes parties prenantes lors de la consultation européenne sur l'AI Act. Cinq exécutions d'annotation LLM obtiennent des corrélations intraclasse supérieures à 0,994. Pourtant, la convergence avec les mesures d'enquête reste faible : les corrélations vont de 0,029 à 0,176 et les coefficients de concordance de Lin restent sous 0,08. Les associations professionnelles expriment davantage de préoccupations dans leurs textes publics que dans l'enquête, avec une divergence moyenne rapportée de +1,0 ; d'autres groupes ont des divergences plus faibles ou négatives.

Interprétation éditoriale

Une annotation de texte public peut capter une posture, un public et une convention rhétorique, pas seulement une attitude privée. Avant d'utiliser un score comme variable dans une analyse, il faut donc valider le construit visé contre une mesure externe et conserver le contexte de communication.

Limites

La comparaison porte sur une consultation européenne et des construits précis ; elle ne prouve pas que toutes les annotations LLM sont invalides. Le résultat géographique est présenté avec prudence car il est sensible à la correction pour tests multiples. Une corrélation ne suffit pas à établir une causalité.

Source

Résultats des auteurs, ArXiv 2609.19866v1 : résumé et preprint, PDF.