Évaluer un modèle de langage : bancs d'essai et incertitude

Mesurer un modèle de langage ressemble de loin à un exercice simple : un jeu de questions, un score, un classement. Les douze travaux réunis ici montrent que presque chaque étape de cette chaîne contient une décision discutable. Le score de confiance que le modèle annonce lui-même change selon la formulation de la question. Le jeu de données contient des erreurs qui déplacent les conclusions. Le juge qui note les sorties a ses propres préférences. Et la moyenne affichée en haut du tableau peut cacher une régression sur le domaine qui compte le plus.

Ces papiers viennent de communautés différentes, de la recherche d'information à la statistique d'enquête en passant par la lexicographie coréenne et les problèmes inverses en physique. Ils se lisent pourtant ensemble parce qu'ils posent la même question sous des angles distincts : qu'est-ce que ce chiffre mesure réellement, et quelle incertitude faut-il attacher à lui ? Certains proposent un nouveau banc d'essai, d'autres un estimateur, d'autres encore se contentent de documenter un échec de leur propre hypothèse de départ.

Le lecteur en retire une liste de contrôles à appliquer avant d'accorder du crédit à un résultat d'évaluation : séparer reproductibilité et validité, vérifier le plafond atteignable avant de construire un routeur, regarder la distribution plutôt que la moyenne, et compter combien d'éléments ont été réellement vérifiés par un humain. Les chiffres cités ci-dessous sont ceux rapportés par les auteurs de chaque travail ; les recommandations d'usage qui les accompagnent sont des lectures éditoriales et sont signalées comme telles.

La confiance annoncée par un modèle mérite un audit

Un agent peut joindre un score de confiance à sa réponse, mais ce score peut relever d'une rhétorique calibrée plutôt que d'une estimation fiable. Lukas Meyer, Sofia Rossi, Wei Chen, Thomas Laurent et Yiming Li comparent trois signaux sans entraînement supplémentaire, sur 100 questions TriviaQA et pour deux familles de modèles : la confiance verbalisée avec la réponse, la probabilité postérieure de vérité, et l'accord entre trois générations supplémentaires. Les auteurs auditent également les erreurs du benchmark lui-même et examinent un petit ensemble de claims biographiques accompagnés d'une confiance.

Après audit des erreurs, la confiance verbalisée atteint une AUROC de 0,956 et 0,937 pour les deux familles étudiées. L'accord entre trois générations fait moins bien, à 0,765 et 0,790. Une interpolation fixe entre les signaux n'apporte pas de bénéfice statistiquement fiable. L'accord peut même renforcer une erreur partagée : quatre erreurs d'un modèle et deux de l'autre reçoivent un soutien unanime des échantillons. Réinterroger la confiance avec des prompts équivalents déplace le score moyen de 0,043 à 0,084 et inverse 4 % à 9 % des décisions au seuil 0,8.

La lecture éditoriale qui en découle est qu'un agent devrait utiliser la confiance pour décider d'une vérification, pas pour s'en dispenser. Répéter le même modèle ne produit pas une indépendance. Les auteurs signalent les limites de leur protocole : deux familles, un benchmark de questions, un audit biographique exploratoire, et des scores qui bougent avec l'élicitation comme avec le bruit du benchmark. Le document est un preprint ArXiv.

La confiance intrinsèque ne suffit pas pour router un RAG

La probabilité moyenne des tokens générés paraît un signal commode : elle pourrait décider quand adapter un modèle, quand préférer une réponse paramétrique, quand s'abstenir. Cette étude pré-enregistrée teste l'intuition dans une question-réponse extractive où les questions sont générées depuis des passages contenant déjà la réponse. Quatre modèles ouverts de 7 à 9 milliards de paramètres sont évalués sur deux corpus.

Le premier résultat est un plafond. La récupération seule couvre déjà 92 à 99,8 % de la meilleure exactitude combinée possible, ce qui laisse peu de place à un arbitrage intelligent. Le score de vraisemblance obtient une AUROC de 0,65 à 0,81 selon les critères, sans amélioration stable après adaptation. Le déclencheur de distillation échoue ses critères pré-spécifiés sur les quatre familles, et le pilote de routage échoue aussi. Les auteurs refusent d'attribuer uniformément cet échec au seul signal de confiance : sur Gemma, retirer le terme de confiance change le verdict du sélecteur.

L'intérêt du papier tient largement à sa discipline méthodologique, puisqu'il publie l'échec de ses propres critères au lieu de les redéfinir après coup. En lecture éditoriale, mesurer le gain maximal qu'un routeur peut atteindre vaut mieux que choisir un score sophistiqué : si le meilleur assemblage dépasse à peine le meilleur mode isolé, la complexité ne paiera probablement pas son coût. Les limites sont explicites. La récupération est volontairement dominante, la tâche est extractive, et ces conclusions ne se transfèrent pas automatiquement au multi-hop, à la synthèse ou aux questions dépourvues de passage pertinent. Le routage n'est piloté que sur un modèle et deux corpus, avec une couverture inégale des adaptations.

PosteriorBench : évaluer une distribution, pas une prédiction

Dans un problème inverse, plusieurs champs peuvent expliquer les mêmes observations. Une sortie proche d'un exemple de référence ne prouve donc pas que le modèle a appris la distribution des solutions : il peut oublier des modes ou produire une incertitude trop étroite. Jiachen Yao, Zi-Siang Hsu, Xi Deng, Aditi Gupta, Xin Ju, Sally M. Benson, Gege Wen et Anima Anandkumar construisent un banc d'essai qui vise la distribution elle-même.

PosteriorBench couvre quatre problèmes physiques : l'inversion d'un écoulement de Darcy, la récupération d'une source de Poisson, le stockage du carbone et l'inférence de matériaux en transport de lumière. Pour chaque cas, les auteurs établissent des postérieurs de référence avec des procédures coûteuses, échantillonnage par rejet et MCMC. Cinq métriques sont comparées : erreur de moyenne, erreur d'écart-type, divergence de distribution par maximum mean discrepancy, distance de Wasserstein tranchée, et erreur de spectre de puissance radial moyen. L'ensemble couvre la précision ponctuelle, la dispersion marginale, l'alignement global et la structure spatiale.

Les expériences rapportent des écarts substantiels de correspondance distributionnelle entre les solveurs évalués. Les opérateurs neuronaux améliorent la robustesse à la résolution, tandis que les poids de guidance et le bruit de génération influencent fortement le calibrage de la variance a posteriori. La leçon pratique pour un agent scientifique est que demander plusieurs échantillons ne suffit pas : il faut comparer leur distribution à une référence et conserver les réglages qui contrôlent la diversité. Les postérieurs de référence dépendent du prior, du bruit d'observation, du modèle physique et de la procédure d'échantillonnage retenus, ce qui interdit de classer automatiquement tous les solveurs pour tous les domaines.

Évaluer les sous-domaines d'un agent quand les labels sont rares

Un agent peut bien fonctionner sur une famille de tâches et échouer sur une autre. Les campagnes d'annotation exhaustives coûtent cher et les labels humains ne sont pas également disponibles dans chaque domaine. Sho Kawano, Zehang Richard Li et Paul A. Parker traitent l'ensemble d'évaluation comme une population finie et cherchent à estimer chaque moyenne de domaine avec des intervalles utilisables.

Les auteurs partent de l'inférence alimentée par les prédictions. Leur prediction-powered smoothing, abrégé PP-S, ajuste un modèle bayésien à l'estimation propre à chaque domaine. Une extension, PP-TS, emprunte de l'information à une taxonomie de reporting. L'objectif est de stabiliser les petits domaines sans faire passer une prédiction non vérifiée pour un label. Le travail propose en outre un score de validation approximativement sans biais, fondé sur le plan d'échantillonnage, qui sert à choisir entre estimateurs directs et lissés sans réserver nécessairement un gros échantillon indépendant.

Le résumé décrit deux contextes d'application : un benchmark à correction vérifiable, et du trafic d'agents déployés dont les résultats sont annotés par des humains. Dans les deux cas, les estimateurs proposés améliorent les estimations ponctuelles et par intervalle par rapport aux estimateurs directs, avec une couverture proche de la cible ; le score de validation sélectionne correctement à budget comparable. En lecture éditoriale, un tableau de bord d'agent devrait afficher un score par type de tâche, le nombre d'éléments réellement vérifiés et l'intervalle d'incertitude. Les propriétés statistiques dépendent du plan d'échantillonnage, de la qualité des prédictions et de la taxonomie ; un estimateur plus précis ne prouve aucune causalité ni aucune performance future. Le document est un preprint ArXiv.

Reproductibilité et validité : deux tests distincts pour une annotation

La reproductibilité demande que la procédure donne des résultats proches quand on la répète. La validité de construit demande que ces résultats représentent bien la notion étudiée. Les deux propriétés ne sont pas interchangeables, et ce travail en fournit une démonstration nette.

Les auteurs relient des réponses d'enquête à des contributions textuelles des mêmes parties prenantes lors de la consultation européenne sur l'AI Act. Cinq exécutions d'annotation LLM obtiennent des corrélations intraclasse supérieures à 0,994, soit une stabilité presque parfaite. La convergence avec les mesures d'enquête reste pourtant faible : les corrélations vont de 0,029 à 0,176 et les coefficients de concordance de Lin restent sous 0,08. Les associations professionnelles expriment davantage de préoccupations dans leurs textes publics que dans l'enquête, avec une divergence moyenne rapportée de +1,0 ; d'autres groupes montrent des divergences plus faibles ou négatives.

L'interprétation éditoriale est qu'une annotation de texte public peut capter une posture, un public visé et une convention rhétorique, et pas seulement une attitude privée. Avant d'utiliser un tel score comme variable dans une analyse, il faut valider le construit contre une mesure externe et conserver le contexte de communication. Les auteurs bornent leur portée : la comparaison porte sur une consultation européenne et des construits précis, elle ne prouve pas que toutes les annotations LLM soient invalides. Le résultat géographique est présenté avec prudence parce qu'il est sensible à la correction pour tests multiples, et une corrélation ne suffit pas à établir une causalité.

Un juge LLM peut-il préférer ce qui est dit à ce qui est montré

Le preprint de Levent Bulut propose le concept de summarization bias. L'hypothèse est qu'un modèle de langage représente plus facilement un sens narratif sous forme de résumé ou d'étiquette explicite que sous forme d'une structure d'indices que le lecteur doit reconstruire. Le document insiste sur son propre statut : il ne prétend pas avoir validé ce biais. Il définit le construit, discute des travaux voisins et pré-enregistre un protocole de test assorti de règles permettant aussi de l'abandonner.

Deux régimes sont à tester. Dans le régime génératif, on demande au modèle de rendre une émotion par des indices indirects, et le test vérifie s'il revient à déclarer directement l'émotion. Dans le régime évaluatif, on demande à un modèle de juger des textes, et le test vérifie s'il récompense l'explicite tout en pénalisant une expression plus implicite. Le second régime concerne directement les agents qui emploient des modèles comme juges, éditeurs ou fonctions de récompense : un biais de sélection du juge pourrait aplatir les sorties sans jamais apparaître comme une erreur de factualité.

Le texte définit des conditions told et shown, des mesures d'intensité, et des décisions de confirmation ou de falsification. Une étude antérieure est relue comme évidence directionnelle compatible, sans être présentée comme une preuve du construit. En lecture éditoriale, un agent évaluateur devrait distinguer ce qui est mesuré de ce qui est supposé, et définir à l'avance les cas positifs, les cas négatifs et la part de revue humaine. Le protocole reste conceptuel ; la source ne permet pas encore d'affirmer l'existence du biais. C'est un preprint ArXiv.

WiC n'est pas WSD : ce que change un inventaire de sens explicite

Word-in-Context, ou WiC, demande si un mot porte le même sens dans deux phrases. La désambiguïsation de sens, ou WSD, demande de choisir une définition dans un inventaire donné. L'article soutient que cette différence de cadrage compte beaucoup, parce que WiC laisse le modèle deviner lui-même le niveau de finesse attendu.

Les auteurs testent six modèles ouverts sur des variantes WiC à granularité grossière et fine, ainsi que sur WSD. Ajouter des sens candidats fait passer la moyenne de la WiC grossière de 78,5 % à 84,9 % avec raisonnement explicité, et de 74,9 % à 81,0 % sans celui-ci. Dans la variante fine, le meilleur réglage avec options atteint 71,9 %, contre 67,7 % sans options. La WSD grossière atteint 92,7 % en moyenne, ce qui laisse un écart avec WiC même lorsque l'inventaire est identique.

L'analyse humaine des erreurs nuance encore ces scores. Sur 120 erreurs WiC grossières échantillonnées, 39 prédictions sont jugées correctes par les annotateurs, et les modèles produisent souvent une distinction plus fine que l'annotation de référence. Un benchmark binaire ne mesure donc pas seulement la compréhension lexicale : il mesure aussi l'alignement sur les frontières de sens choisies par ses annotateurs. L'étude porte sur l'anglais, six modèles ouverts et vingt mots pour les expériences grossières. Fournir des options transforme volontairement WiC en une tâche plus proche de WSD, de sorte que le résultat ne remplace pas le benchmark WiC standard. Les annotations humaines portent sur des échantillons d'erreurs, pas sur l'ensemble des instances.

KoNeoBench : mesurer la compréhension des néologismes coréens

Un modèle peut maîtriser la langue générale sans comprendre un mot apparu récemment, surtout quand ce mot combine abréviation, emprunt et morphèmes coréens. KoNeoBench traite cette évolution lexicale comme un objet d'évaluation à part entière, ce qui déplace la question du savoir figé vers la capacité à suivre un usage qui bouge plus vite que les jeux de test.

Le jeu contient 1 785 néologismes attestés dans la presse depuis 2020 et validés par des experts lexicographiques. Quatre tâches couvrent l'identification en contexte, la récupération des mots sources, la catégorisation sémantique ou spécialisée, et la génération de définitions. Sur des sous-ensembles appariés de 50 items, les étudiants en linguistique dépassent GPT-5.4 pour l'identification en contexte et pour les mots sources, tandis que GPT-5.4 dépasse les non-spécialistes pour la catégorie spécialisée. Les tâches les plus difficiles pour les modèles sont la récupération des composants sources et la définition fidèle sans exemple d'usage. Avec 250 définitions, la note d'un juge Gemini corrèle avec celle d'un expert à r = 0,708, mais ce juge se montre plus indulgent sur le style et la factualité.

En lecture éditoriale, tester la langue récente demande des exemples d'usage, une validation humaine et plusieurs tâches en parallèle. Une définition qui sonne comme un dictionnaire n'est pas forcément exacte sémantiquement, ce qui impose de contrôler séparément le sens, la forme lexicographique et les faits. Les évaluations humaines reposent sur de petits sous-échantillons. Les catégories coréennes et leur couverture médiatique ne représentent pas toutes les communautés linguistiques, et les scores de juge automatique servent à comparer des réglages, pas comme vérité absolue.

PetriBench : tester le raisonnement sur des états qui évoluent

Un réseau de Petri représente des places, des transitions et des jetons ; le tir d'une transition modifie l'état selon des règles formelles. Cette représentation permet de poser des questions dont la réponse exacte ne dépend d'aucune connaissance externe, ce qui évite une partie des fuites et des ambiguïtés des problèmes narratifs.

PetriBench organise des tâches locales ou globales, à horizon fini ou infini : nombre minimal de tirs, marquages accessibles, blocage, bornitude, vivacité. Les instances sont générées à trois niveaux de difficulté et leurs réponses sont vérifiées par un solveur TINA ainsi que par des preuves ou des contre-exemples propres à chaque tâche. Les auteurs observent une baisse régulière de l'exactitude à mesure que la difficulté augmente. Le calcul supplémentaire au moment du test améliore les scores, mais de façon inégale selon la tâche. La profondeur causale et les distracteurs produisent une progression contrôlée, tandis que le format de sérialisation modifie modestement les scores, sauf pour la tâche locale à horizon fini.

Ce type de banc d'essai aide à séparer le raisonnement sur l'état, le suivi de procédure et la simple reconnaissance de motifs. Il peut compléter les tests d'agent logiciel, à condition de ne pas convertir sa performance en mesure générale d'intelligence ou de sûreté. Les réseaux de Petri restent une abstraction formelle : une bonne réponse sur ces graphes ne prouve pas qu'un modèle saura suivre un système réel, ses données bruitées et ses exceptions métier. Les effets de format et les échecs de parsing font eux aussi partie du résultat observé.

QueryRoute : choisir une reformulation parmi celles qui existent

Une stratégie de reformulation peut améliorer une requête et échouer sur la suivante. Comparer la moyenne d'un reformulateur masque alors une décision plus opérationnelle : parmi plusieurs variantes déjà disponibles, laquelle envoyer au retriever pour cette requête et ce moteur précis. Le preprint « Route Me If You Can: A Benchmark for Query Reformulation Selection » introduit QueryRoute, qui gèle les requêtes, les variantes générées, les listes classées, les scores et les labels oracle, de sorte qu'un sélecteur puisse être évalué sans régénérer les variantes ni reconstruire la chaîne de jugement.

Pour chaque requête, le benchmark conserve la requête originale et dix systèmes candidats, chaque variante produisant une liste avec BM25, SPLADE et BGE. La collection couvre TREC DL, six jeux BEIR et sept sous-ensembles BRIGHT. Au total, QueryRoute contient 3757 requêtes, 11 systèmes candidats, cinq backbones de reformulation et trois retrievers, soit 619 905 résultats de retrieval. Sous BM25, le nDCG@10 moyen sur TREC DL passe de 0,424 pour la requête originale à 0,559 pour le meilleur reformulateur fixe et 0,666 pour l'oracle par requête ; le meilleur sélecteur non oracle, un juge LLM, atteint 0,588 dans ce régime.

Les classements changent avec le retriever : sous BGE ou SPLADE, les routeurs appris ne dépassent pas toujours les baselines fixes. Les auteurs montrent aussi que deux méthodes de moyenne comparable peuvent avoir des profils help/hurt très différents, ce qui signifie qu'une moyenne unique ne décrit pas le risque de dégrader certaines requêtes. Le label oracle est calculé avec les jugements de test et reste une borne de comparaison, pas une information disponible en production. Le benchmark est borné à son pool de variantes, ses collections, ses retrievers et ses métriques ; un juge LLM ajoute par ailleurs coût, variance et dépendance de modèle.

HerHealthEval : comprendre une demande de santé multilingue

Un agent de santé peut produire une phrase fluide tout en ayant mal évalué le risque, ou en omettant de demander une précision nécessaire. Hassan Saeed Hassan Albattra, Mazen Mohammed Bahgat, Rahatara Ferdousi, Hana Essam Sayed Ahmed Amrya et Mariam Mousa proposent HerHealthEval pour tester cette étape en amont de la réponse.

Chaque cas clinique existe en anglais, en français et en arabe standard moderne. Cinq formulations, canonique, clinique, grand public, indirecte ou prudente, et émotionnellement inquiète, conservent la même information. Une sixième retire volontairement un détail, afin de vérifier si le modèle demande une clarification. Le framework mesure la classification de la préoccupation, la calibration du risque, le comportement de clarification, la conformité du parsing et la cohérence entre formes.

Les auteurs indiquent qu'une bonne exactitude agrégée peut masquer des erreurs de sécurité. Dans une adaptation multilingue, le sous-triage atteint 0,994 en français et en arabe dans la configuration décrite. Une réadaptation contrôlée, avec des labels de risque invariants par langue, ramène ce sous-triage à 0,572 et 0,558 respectivement. L'écart entre ces deux configurations illustre à quel point le résultat dépend de la façon dont les labels sont définis. En lecture éditoriale, un agent ne devrait pas être récompensé pour répondre à tout prix : quand l'information manque, demander ce qui manque peut être le comportement correct, et les jeux d'évaluation devraient inclure des paraphrases, des registres indirects et des cas où la seule sortie acceptable est une clarification ou une orientation humaine. Les cas, langues et modèles sont ceux du benchmark. Les résultats ne constituent ni un triage clinique ni un conseil médical ; le document est un preprint ArXiv et tout usage réel exige une validation professionnelle et réglementaire.

Évaluer la compréhension d'un auteur plutôt que détecter un texte

Les institutions cherchent à savoir si un auteur a réellement compris et supervisé un manuscrit potentiellement produit avec une IA. Justin Payan, Bálint Gyevnár, Atoosa Kasirzadeh et Nihar B. Shah proposent greCAPTCHA, une épreuve qui mesure la capacité à vérifier les contenus liés aux contributions revendiquées, au lieu de chercher une signature stylistique dans le texte.

Le système génère des questions à plusieurs niveaux de compréhension et produit un rapport à partir des réponses. Il n'essaie pas d'inférer l'origine d'un texte depuis son style : il vérifie si la personne peut discuter les choix et les éléments de son propre document, dans des conditions surveillées. Le déplacement est conceptuel autant que technique, puisqu'il change la nature de la preuve recherchée.

Le prototype a été évalué avec une étude et des entretiens semi-structurés auprès de 31 chercheurs. Les scores automatisés prédisent quels articles ont été ou non écrits par les participants avec une AUC de 0,90. Les participants rapportent une expérience globalement positive et proposent des modifications avant un déploiement. En lecture éditoriale, pour un agent de recherche, la provenance ne se résume pas à un détecteur : les questions devraient porter sur les hypothèses, les limites et les décisions réellement présentes dans le manuscrit, avec une procédure équitable et contestable, et un score automatique ne doit pas devenir une accusation. L'étude reste un prototype avec 31 participants et ne mesure pas toutes les formes d'auteur ou de supervision. Les conditions de surveillance et la génération des questions influencent le résultat. Le document est un preprint ArXiv.

Ce qui se recoupe entre ces travaux

Le recoupement le plus net est la séparation entre stabilité et exactitude. L'étude sur la consultation AI Act obtient des corrélations intraclasse supérieures à 0,994 entre cinq exécutions, et des corrélations avec l'enquête comprises entre 0,029 et 0,176. L'étude sur la confiance auto-rapportée montre le symétrique : un signal qui discrimine bien, avec une AUROC de 0,956 et 0,937, mais dont le score moyen bouge de 0,043 à 0,084 selon la formulation du prompt, en inversant 4 % à 9 % des décisions au seuil 0,8. Un chiffre peut donc être reproductible sans être valide, ou valide en moyenne sans être stable à la décision. Aucun des deux travaux ne permet de conclure sur l'autre.

Deuxième recoupement : la moyenne cache la décision. QueryRoute le dit par les profils help/hurt, où deux méthodes de moyenne comparable dégradent des requêtes différentes. HerHealthEval le dit par la sécurité, avec un sous-triage qui passe de 0,994 à 0,572 et 0,558 selon la définition des labels de risque. Le travail sur le prediction-powered smoothing en tire la conséquence instrumentale, en estimant une moyenne par domaine avec son intervalle plutôt qu'un chiffre global. PosteriorBench va plus loin encore et remplace la question du point par celle de la distribution, avec cinq métriques qui séparent précision ponctuelle, dispersion, alignement global et structure spatiale.

Troisième recoupement : les jeux de test sont des artefacts négociés. L'audit des erreurs de TriviaQA déplace les scores de confiance. Sur WiC, 39 des 120 erreurs échantillonnées sont jugées correctes par des annotateurs humains, et l'écart avec la WSD grossière à 92,7 % persiste à inventaire identique. KoNeoBench montre un juge Gemini corrélé à un expert à r = 0,708 mais plus indulgent sur le style et la factualité. PetriBench atténue ce problème par la génération procédurale et la vérification par solveur, au prix d'une abstraction qui ne garantit rien sur un système réel.

Ce qui se contredit, ou plutôt ce qui reste non tranché, tient au statut des juges LLM. QueryRoute observe le meilleur sélecteur non oracle sous la forme d'un juge LLM, à 0,588 sous BM25. Le travail sur le summarization bias soupçonne ces mêmes juges d'un biais directionnel, sans l'avoir établi : son protocole est pré-enregistré et prévoit explicitement son abandon. On ne sait donc pas, sur la base de ces sources, si l'utilité empirique d'un juge et le biais suspecté coexistent ou s'excluent.

Reste une convergence de méthode, visible chez les auteurs qui pré-spécifient. L'étude sur la confiance intrinsèque publie l'échec de ses critères sur quatre familles, et refuse d'en imputer la cause au seul score, parce que retirer le terme de confiance change le verdict du sélecteur sur Gemma. greCAPTCHA cadre son AUC de 0,90 comme un rapport contestable et non comme une accusation. Ce réflexe revient souvent dans les travaux sur les risques des modèles et des agents, et il conditionne la lecture des bancs d'essai de recherche d'information comme des mesures d'incertitude en prévision.

Sources

• arXiv:2609.20541v1 — An Analysis of Training-Free Self-Reported Confidence in Language Models
• arXiv:2609.19942v1 — Confiance intrinsèque et routage dans un système RAG, résultats pré-spécifiés
• arXiv:2609.20794v1 — PosteriorBench: From Point Estimates to Posterior Matching in Evaluating Generative Inverse Solvers
• arXiv:2609.20758v1 — Prediction-Powered Smoothing and Validation for Disaggregated AI Evaluation
• arXiv:2609.19866v1 — Reproductibilité et validité de construit d'une annotation LLM, consultation sur l'AI Act
• arXiv:2609.20712v1 — Summarization Bias: The Directional Collapse of Objective Projection into Told-Mode Labels in Large Language Models, A Conceptual Framework and Registered Test Protocol
• arXiv:2609.20593v1 — WiC n'est pas WSD, désambiguïsation avec et sans inventaire de sens
• arXiv:2609.19916v1 — KoNeoBench, évaluation de la compréhension des néologismes coréens
• arXiv:2609.19883v1 — PetriBench, raisonnement sur des états dynamiques générés procéduralement
• arXiv:2609.14885v1 — Route Me If You Can: A Benchmark for Query Reformulation Selection
• arXiv:2609.20684v1 — HerHealthEval: Evaluating Multilingual and Register-Sensitive Understanding of Women's Health Communication
• arXiv:2609.20481v1 — greCAPTCHA: Assessing Understanding as Evidence of Research Authorship Under Generative AI