Entraîner un agent à prévoir les conséquences de ses actions

Les observations ne sont pas du texte décoratif

Dans une trajectoire d'agent, les observations décrivent les conséquences de l'action précédente. Pourtant, l'entraînement supervisé classique applique surtout une perte sur les tokens d'action produits par l'agent. Juzheng Zhang et ses coauteurs proposent de superviser aussi les observations déjà présentes dans la trajectoire.

ActObs ne demande pas à l'agent déployé de générer l'état du monde. L'idée est de l'inciter, pendant l'entraînement, à construire un modèle interne des conséquences sans ajouter de données, de paramètres, de tokens ou de passes avant supplémentaires au déploiement.

Ce qui change après le renforcement

Les auteurs rapportent que les méthodes se ressemblent après le SFT mais divergent après GRPO. Le résumé indique que, sur Qwen3-4B, ActObs obtient un meilleur pass@k à tous les budgets évalués sur Terminal-Bench 2.0. Sur Qwen3-8B, le gain à pass@16 est de 3,4 points de pourcentage, avec davantage de tâches distinctes résolues, mais une fiabilité pass@1 moins élevée.

Le résumé signale également un gain de 4,2 points à pass@1 sur aider-polyglot avec le modèle 4B, dans un domaine de modification de code non vu pendant le SFT et le RL. L'analyse associe ces différences à la conservation de davantage d'entropie et à un déplacement plus faible de la politique par rapport à son initialisation.

Interprétation éditoriale : mesurer l'état qui suit l'action

Un agent fiable doit savoir si son action a produit l'effet attendu. En production, cela signifie conserver des observations structurées : résultat de commande, fichiers modifiés, tests lancés et état retourné par le service. Les entraîner ou les évaluer comme des éléments de première classe peut révéler une spécialisation trop étroite sur la production d'actions plausibles.

Cette approche ne remplace pas un environnement de test. Elle suggère plutôt une métrique complémentaire : l'agent prévoit-il correctement l'état après son action, et sait-il reconnaître que l'état observé contredit son plan ?

Limites et statut de la source

Les résultats dépendent des modèles, des benchmarks et du protocole de renforcement. Un meilleur pass@k peut coexister avec une baisse du premier essai. Le preprint ne constitue pas une garantie de généralisation à tous les agents ou environnements.

Source

Juzheng Zhang, Disha Makhija, Manoj Ghuhan Arivazhagan, Vinayshekhar Bannihatti Kumar et Rashmi Gangadharaiah, « Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL », ArXiv 2609.20715v1 : résumé et preprint, PDF.