Article · IA & agents
Mesurer ce qu'un harness apporte réellement à un agent
Une étude sépare la valeur des plans, de la vérification terminale et du coût dans des agents LLM à état.
Un harness n'est pas un ornement
Un harnais d'agent peut guider la planification, organiser l'exécution et vérifier la fin d'une tâche. Yukun Zhang, Kemu Xu et Yishen Chen cherchent à isoler la valeur de ces composants au lieu de comparer deux systèmes complets dont les différences seraient difficiles à attribuer.
Dans les expériences Retail, un plan écrit pour la tâche est comparé à un texte de politique mélangé, de même longueur. Un vérificateur terminal examine ensuite la trace après exécution. Cette construction distingue le contenu du guidage de la simple quantité de contexte.
Résultats rapportés par les auteurs
Sur 265 cellules appariées, le plan fixe améliore la réussite vérifiée par oracle de 7,17 points de pourcentage, avec un intervalle bootstrap annoncé de 1,15 à 13,36 points. Les gains se concentrent sur les tâches les plus complexes.
Le vérificateur en lecture seule rejette 61 % des épisodes invalides dans Retail, tout en retenant 17 % des épisodes corrects, pour un coût additionnel annoncé inférieur à un cent par épisode. La contribution relative dépend du coût attribué à une acceptation erronée : à faible responsabilité, le plan domine ; à responsabilité élevée, éviter les faux passages devient plus important.
Interprétation éditoriale : traiter le coût de l'erreur comme une donnée
Un agent ne devrait pas être évalué uniquement sur le taux de réussite. Il faut aussi compter les sorties acceptées alors que l'état final est incorrect, le coût des outils et la perte de temps liée aux contrôles. Un vérificateur séparé est particulièrement utile lorsque l'agent ne doit pas être seul juge de sa propre réussite.
La comparaison Fixed/Sham rappelle également une règle de méthode : garder la longueur du contexte ne garde pas son information. Pour comprendre un harness, il faut changer une composante à la fois et conserver des traces assez détaillées pour relier un résultat à une intervention.
Limites et statut de la source
Les blocs expérimentaux ont une couverture inégale et les tâches ne représentent pas tous les dépôts ou domaines. Le coût d'un vérificateur dépend aussi de la configuration. Le document est un preprint ArXiv ; les effets rapportés doivent être reproduits dans le workflow visé.
Source
Yukun Zhang, Kemu Xu et Yishen Chen, « How Do Agent Harnesses Create Value? Planning Information and Release Control in Stateful LLM Agents », ArXiv 2609.20474v1 : résumé et preprint, PDF.