Évaluer la compréhension d'un auteur plutôt que détecter un texte

La détection de texte ne répond pas à tout

Les institutions cherchent à savoir si un auteur a réellement compris et supervisé un manuscrit potentiellement produit avec une IA. Justin Payan, Bálint Gyevnár, Atoosa Kasirzadeh et Nihar B. Shah proposent greCAPTCHA, une épreuve qui mesure une capacité à vérifier les contenus liés aux contributions.

Une épreuve sur le manuscrit

Le système génère des questions à plusieurs niveaux de compréhension et produit un rapport à partir des réponses. Il n'essaie donc pas d'inférer l'origine d'un texte uniquement depuis son style ; il vérifie si la personne peut discuter les choix et éléments de son propre document dans des conditions surveillées.

Résultats rapportés

Le prototype a été évalué avec une étude et des entretiens semi-structurés auprès de 31 chercheurs. Les scores automatisés prédisent quels articles ont été ou non écrits par les participants avec une AUC de 0,90. Les participants rapportent une expérience globalement positive et proposent des modifications avant déploiement.

Interprétation éditoriale : la preuve doit rester liée au travail

Pour un agent de recherche, la provenance ne se résume pas à un détecteur. Les questions devraient porter sur les hypothèses, limites et décisions réellement présentes dans le manuscrit, avec une procédure équitable et contestable. Un score automatique ne doit pas devenir une accusation.

Limites et statut de la source

L'étude est un prototype avec 31 participants et ne mesure pas toutes les formes d'auteur ou de supervision. Les conditions de surveillance et la génération des questions influencent le résultat. Le document est un preprint ArXiv.

Source

Justin Payan, Bálint Gyevnár, Atoosa Kasirzadeh et Nihar B. Shah, « greCAPTCHA: Assessing Understanding as Evidence of Research Authorship Under Generative AI », ArXiv 2609.20481v1 : résumé et preprint, PDF.