Article · SaaS & dev
La valeur d'un agent dépend aussi de l'organisation de son raisonnement
Une étude sur des tâches de génie logiciel sépare capacité, information disponible, planification et consommation de ressources.
Plus de tokens ne suffit pas
La capacité d'un modèle ne détermine pas seule la valeur d'une inférence. Yukun Zhang, Kemu Xu et Yishen Chen étudient comment l'information disponible et la répartition entre planification et exécution modifient le résultat sur des tâches de génie logiciel vérifiées extérieurement.
Comparer les workflows
Les expériences opposent l'exécution directe à une planification soumise à des contraintes d'information et de budget logique. Une campagne en lecture seule varie aussi l'accès du planificateur à l'issue du ticket. La conception conserve les plafonds de ressources afin de séparer le volume disponible de la manière dont il est utilisé.
Résultats rapportés
Dans les panels de ressources, l'exécution directe garde 59,6 % de réussite aux plafonds de 12 000 et 24 000 tokens. La planification limitée par l'information passe de 36,2 % à 51,2 %, et l'accès à l'issue augmente la réussite d'environ 16 points à 12 000 tokens. À 24 000 tokens, la planification informée présente un avantage annoncé de 29,6 points sur l'exécution directe.
Les auteurs rapportent aussi que l'exécution aval représente 89,9 % de l'augmentation de consommation totale dans le workflow de planification.
Interprétation éditoriale : instrumenter la chaîne complète
Un agent de code devrait enregistrer le contexte reçu par le planificateur, son budget, les actions déléguées et les tests exécutés. Une amélioration attribuée au modèle peut en réalité venir d'une information supplémentaire ou d'un budget de vérification. La comparaison doit isoler ces facteurs.
Limites et statut de la source
Les conclusions reposent sur des tâches, modèles et campagnes de génie logiciel déterminés. Un workflow différent peut redistribuer les coûts et les gains. Le document est un preprint ArXiv.
Source
Yukun Zhang, Kemu Xu et Yishen Chen, « The Organization of Inference: Information, Resource Constraints, and AI Production », ArXiv 2609.20449v1 : résumé et preprint, PDF.