Vibarche

Article · IA & agents

Apprentissage par renforcement et distillation de politiques

Dix preprints sur le crédit des trajectoires, la distillation d'agents, la stabilité hors politique et l'évaluation du risque des politiques apprises.

Publié
Lecture17 min de lecture
CatégorieIA & agents
Sujetsapprentissage par renforcementagentsdistillationLLMévaluation hors ligne

Dix preprints récents partagent un même objet : une politique apprise par renforcement, et la question de savoir ce que son score mesure réellement. Certains portent sur la manière d'attribuer un crédit à l'intérieur d'une trajectoire d'agent, d'autres sur la façon de transférer une compétence depuis un enseignant, d'autres encore sur la stabilité numérique de l'optimisation ou sur l'incertitude qui entoure une évaluation hors ligne. Les objets techniques diffèrent, mais le point de friction est le même partout : un gain affiché sur un benchmark ne dit pas quelle partie du pipeline l'a produit.

Ces travaux se lisent ensemble parce qu'ils démontent chacun une étape différente de la même chaîne. En amont, le signal de récompense et sa répartition sur les tokens. Au milieu, la supervision par un enseignant et le moment où elle doit cesser. En aval, la mesure : variance d'un score, budget de recherche, risque individuel d'une décision. Un lecteur qui ne retient que les pourcentages passe à côté de ce que ces papiers ont en commun, à savoir une méfiance envers les comparaisons à un seul point de fonctionnement.

Ce dossier restitue, pour chaque travail, le problème posé, l'approche proposée, les chiffres que les auteurs rapportent et la limite qu'ils signalent eux-mêmes. Les lectures éditoriales sont séparées des résultats et présentées comme telles. Aucun de ces documents n'a été reproduit ici.

BATON : séparer le crédit local de la masse d'une trajectoire

Une trajectoire d'agent contient des actions, des observations et un retour final. Deux décisions d'optimisation s'y mélangent facilement : comment attribuer le feedback à une action donnée, et quel poids accorder à la trajectoire entière dans le batch. BATON traite ces deux axes séparément.

Le premier composant, Bayesian Feedback Attribution, repondère les actions selon la compatibilité entre le feedback observé et des actions alternatives. Le second, Trajectory Mass Normalization, donne une masse égale aux trajectoires complètes au lieu de laisser le nombre de tokens valides décider de leur poids. Les auteurs évaluent ces composants avec GRPO et GiGPO sur ALFWorld, WebShop et des questions avec recherche.

Avec Qwen2.5-1.5B, le taux de réussite ALFWorld passe de 72,9 % à 85,6 % pour GRPO et de 86,8 % à 94,1 % pour GiGPO dans la comparaison rapportée. Sur WebShop, les valeurs correspondantes passent de 57,1 % à 68,2 % et de 67,1 % à 76,4 %. Une ablation 2×2 indique que chaque axe apporte un gain et que leur combinaison reste supérieure aux composants pris séparément.

Les résultats dépendent des modèles, des environnements, des budgets de rollout, des récompenses et des protocoles évalués. Le papier rapporte une baisse du nombre moyen d'actions et de tokens dans une configuration ALFWorld, ce qui ne prouve pas une baisse de coût dans tous les environnements. BATON ajoute par ailleurs un calcul d'évaluation de vraisemblance pour l'attribution bayésienne. Le document est un preprint.

Lecture éditoriale : un agent peut échouer parce qu'il ignore une observation, mais aussi parce que les trajectoires longues pèsent trop dans l'apprentissage. La distinction est utile pour concevoir des journaux d'exécution.

ActObs : superviser aussi les observations

Dans une trajectoire d'agent, les observations décrivent les conséquences de l'action précédente. L'entraînement supervisé classique applique pourtant sa perte surtout sur les tokens d'action produits par l'agent. Juzheng Zhang et ses coauteurs proposent de superviser également les observations déjà présentes dans la trajectoire.

ActObs ne demande pas à l'agent déployé de générer l'état du monde. L'idée est de l'inciter, pendant l'entraînement, à construire un modèle interne des conséquences, sans ajouter de données, de paramètres, de tokens ni de passes avant supplémentaires au déploiement.

Les auteurs rapportent que les méthodes se ressemblent après le SFT mais divergent après GRPO. Sur Qwen3-4B, ActObs obtient un meilleur pass@k à tous les budgets évalués sur Terminal-Bench 2.0. Sur Qwen3-8B, le gain à pass@16 est de 3,4 points de pourcentage, avec davantage de tâches distinctes résolues, mais une fiabilité pass@1 moins élevée. Le résumé signale aussi un gain de 4,2 points à pass@1 sur aider-polyglot avec le modèle 4B, dans un domaine de modification de code non vu pendant le SFT et le RL. L'analyse associe ces différences à la conservation de davantage d'entropie et à un déplacement plus faible de la politique par rapport à son initialisation.

Les résultats dépendent des modèles, des benchmarks et du protocole de renforcement. Un meilleur pass@k peut coexister avec une baisse du premier essai, et le preprint ne garantit pas une généralisation à tous les agents.

Lecture éditoriale : conserver des observations structurées, résultat de commande, fichiers modifiés, tests lancés, permet de vérifier si l'agent prévoit l'état qui suit son action.

UnifiedPlayers : trois rôles qui se vérifient mutuellement

Un agent qui apprend à utiliser des outils a besoin de tâches, de trajectoires et d'un signal d'évaluation. Si ces trois éléments restent figés ou sont produits séparément, le système peut apprendre à optimiser un proxy sans corriger ses erreurs réelles. UnifiedPlayers fait coopérer ces fonctions dans une même boucle.

Le cadre comporte un Planning Player qui génère des tâches, un Execution Player qui produit des trajectoires multi-tours avec appels Python, et un Evaluation Player qui construit des vérificateurs exécutables. Chaque rôle garde ses paramètres et sa récompense, mais apprend dans une boucle coordonnée. Un vérificateur exécutable teste une sortie au lieu de demander à un autre modèle de juger sa seule plausibilité. Les auteurs utilisent des mises à jour GRPO alternées et comparent la méthode sur douze benchmarks de raisonnement, avec deux architectures de modèle.

Le résumé rapporte un gain d'au moins 3,5 % sur les tâches de raisonnement mathématique et de 3,9 % sur les tâches de raisonnement général par rapport à la meilleure base comparée. Le vérificateur appris atteint 84,2 % de précision pour détecter les sorties adversariales. Son signal de récompense présente une variance par question 2,03 fois supérieure à celle d'une base par auto-cohérence, ce qui indique un signal plus différenciant dans le protocole.

Les auteurs annoncent comme suites l'exploration d'adversaires adaptatifs, de modèles plus grands et d'environnements plus larges. Rien ici ne permet de conclure que cette architecture convient à tous les agents outillés. Lecture éditoriale : si générateur, exécutant et vérificateur s'adaptent en même temps, ils peuvent co-évoluer vers une faille commune, et des cas gelés restent nécessaires. Le rapprochement avec le dossier agents, architecture et outils est direct.

RetireOPD : décider quand l'élève abandonne son professeur

Dans un agent multi-tour entraîné par renforcement, une récompense unique arrive souvent à la fin de la trajectoire. La distillation on-policy ajoute un signal dense produit par un enseignant disposant de skills privilégiés. Yan Yu et ses coauteurs observent que cet enseignant n'est pas toujours fiable et que son utilité varie selon le stade d'apprentissage.

RetireOPD entraîne d'abord un enseignant conditionné par les skills et les récompenses de l'environnement, puis forme un étudiant sans skills avec RL et distillation. L'étudiant surveille l'écart avec l'enseignant. Lorsqu'il atteint une fraction cible de sa réussite et que l'écart ne se réduit plus, il retire la distillation et poursuit avec le RL seul. Le calendrier est donc piloté par l'apprentissage plutôt que fixé d'avance, ce qui évite de maintenir indéfiniment une béquille susceptible de limiter l'autonomie de l'étudiant.

Sur des modèles Qwen2.5 de 1,5B à 7B, le résumé rapporte des gains de réussite de 14,1 % à 18,8 % sur ALFWorld par rapport au RL seul, et de 11,8 % à 19,0 % sur WebShop. L'étudiant dépasse son propre enseignant conditionné par les skills dans tous les réglages rapportés.

Les résultats dépendent d'ALFWorld, de WebShop, des modèles et du protocole de récompense. Le retrait automatique peut échouer si la métrique de divergence est mal choisie. Le document est un preprint.

Lecture éditoriale : dans un workflow agentique, une procédure assistée peut être utile au démarrage sans devenir une dépendance permanente, à condition de garder une règle de retrait réversible.

Désaccord sur les tokens de fin et inflation de longueur

Pendant une distillation on-policy, l'étudiant peut produire des réponses excessivement longues et épuiser son budget. Yuxiao Yang, Tianrun Yu, Shangzhe Li et leurs coauteurs identifient une cause possible : un désaccord entre les tokens EOS du modèle de base et ceux de l'enseignant.

Deux modèles peuvent déclarer le même ensemble de tokens de fin tout en attribuant la probabilité d'arrêt à des tokens différents. Aligner la liste ne suffit donc pas. Les auteurs proposent de traiter les tokens fonctionnellement équivalents comme une même action sémantique d'arrêt pendant la distillation.

Sur Qwen3, Llama et Gemma, cette correction réduit l'inflation de longueur liée au désaccord de terminaison. L'analyse par étapes de l'OPD montre toutefois que les préférences d'arrêt changent au cours de l'entraînement et qu'une inflation distincte persiste tard dans la trajectoire, même après alignement. Autrement dit, le mismatch EOS explique une partie du phénomène, pas sa totalité.

Les effets dépendent des familles de modèles et des templates. La correction doit être testée dans la configuration de distillation visée. Le document est un preprint ArXiv.

Lecture éditoriale : pour un agent, la réussite inclut le fait de s'arrêter au bon moment. Budget de sortie, tokens de fin, réponses vides et boucles de continuation méritent d'être testés séparément du contenu produit. Une politique qui répond correctement mais consomme tout son budget n'est pas opérationnellement neutre.

Score centering : enlever le biais du décalage entraînement-inférence

L'apprentissage par renforcement d'un modèle de langage peut utiliser un moteur d'inférence différent du moteur d'entraînement. Quantification, versions ou synchronisation retardée créent alors un training-inference mismatch. Le preprint soutient que l'instabilité vient surtout d'un drift, c'est-à-dire d'un biais persistant qui s'accumule à chaque étape.

La proposition consiste à soustraire du score de chaque token son espérance sous la distribution du sampler, ce qui rend l'espérance du score nulle sous cette distribution. L'objectif est d'enlever le terme de dérive en conservant la covariance entre la récompense et le score. La correction est additive, sans hyperparamètre dédié, et peut se combiner à des méthodes d'importance sampling. Pour la rendre praticable, les auteurs approchent la distribution du sampler avec ses probabilités top-k et reconstruisent la queue à l'aide des probabilités du modèle d'entraînement.

Les expériences comparent la méthode à plusieurs corrections sur Qwen3-0.6B entraîné sur Countdown et Qwen3-30B-A3B sur une partie mathématique d'INTELLECT-2. Avec un sampler FP8, l'entraînement non corrigé atteint 58 % de précision dans l'expérience décrite. Avec un KV cache FP4, le policy gradient et MIS s'effondrent dans le protocole, tandis que score centering atteint 52 % et TIS 51 %. Avec un sampler INT8 et un cache INT4, les résultats rapportés sont 30 % pour score centering et 12 % pour TIS, les autres méthodes restant sous 5 %.

Le coût mémoire est explicite. Le papier estime qu'un batch de 1 024 rollouts de 32k tokens avec un vocabulaire de 152k pourrait atteindre environ 20 To en fp32 si l'on conservait toute la distribution de sortie. L'approximation top-k utilise k=128 par défaut et rapporte des résultats comparables avec k=32 dans les réglages testés. Les expériences phares emploient un décalage volontairement sévère et des séquences courtes comme proxy d'un entraînement plus long sous décalage modéré ; sous forte staleness, la combinaison avec l'importance sampling reste préférable.

Bootstrap fondé sur le modèle pour l'évaluation hors ligne

En apprentissage par renforcement hors ligne, une nouvelle politique doit être évaluée avant de toucher un environnement réel. Une estimation ponctuelle de sa valeur peut sembler meilleure simplement à cause du bruit d'échantillonnage. Dans un contexte à risque, il faut aussi une variance et un intervalle de confiance qui reflètent la distribution de l'erreur d'évaluation.

Le papier propose un bootstrap fondé sur le modèle pour des MDP tabulaires, à horizon fini et éventuellement non homogènes dans le temps. Au lieu de rééchantillonner uniquement des épisodes complets, il estime les transitions et les récompenses puis régénère des trajectoires depuis le MDP obtenu. Cette construction accepte des formats de données plus variés : trajectoires complètes, observations de transitions et fragments de trajectoires. Elle conserve la dépendance temporelle nécessaire à l'évaluation et peut exploiter davantage d'information qu'un bootstrap d'épisodes lorsque le jeu hors ligne est fragmenté.

Les auteurs établissent la consistance distributionnelle du bootstrap, la validité asymptotique des intervalles et la consistance de l'estimation de variance pour la valeur de la politique cible. Les simulations montrent que la distribution reconstruite suit l'erreur d'évaluation et produit, dans la plupart des configurations étudiées, des intervalles plus serrés et des variances plus précises.

Le cadre est tabulaire, à horizon fini, et dépend d'hypothèses de couverture et d'estimation du MDP. Un modèle mal spécifié ou des actions rarement observées peuvent produire une incertitude mal calibrée, même si le bootstrap est cohérent sous ses hypothèses. Les validations sont simulées et ne démontrent pas une validité uniforme pour des MDP continus, des horizons très longs ou des données fortement corrélées. La question posée se rapproche de celle traitée dans le dossier évaluation des LLM et incertitude.

Recherche évolutionnaire par LLM : le budget déplace le classement

Une recherche évolutionnaire pilotée par LLM lance des graines indépendantes puis améliore chaque trajectoire. Le budget total peut être dépensé en largeur, avec davantage de graines, ou en profondeur, avec davantage d'itérations par graine. Comparer des méthodes sur un seul point de ce plan peut donner une image trompeuse.

Les auteurs rejouent les trajectoires de trois stratégies sur cinq tâches d'optimisation, avec jusqu'à 40 graines et 200 itérations, soit 8 000 propositions. Ils calculent une frontière graines-itérations par statistiques d'ordre exactes. Le meilleur partage dépend de la stratégie, de la tâche et du budget : à 10 % du budget sur PRISM, EvoX préfère 4 graines et 196 itérations, tandis qu'OpenEvolve préfère 36 graines et 22 itérations. Sur la planification de transactions, AdaEvolve atteint son meilleur score à 40 itérations, après quoi la profondeur supplémentaire gaspille des propositions.

Le classement change aussi avec le nombre de graines : sur Cloudcast, EvoX passe de dernier avec une graine à premier avec quarante. La recherche plus large révèle en outre une faille de validateur, puisque des programmes très bien classés omettent des transactions, la couverture complète n'étant pas contrôlée.

La grille complète coûte davantage d'appels et sert surtout à analyser a posteriori les trajectoires. Elle ne prédit pas encore le meilleur partage sans explorer la grille. Les résultats dépendent des cinq tâches, des trois stratégies et de l'évaluateur ; la faille de couverture dans la tâche de transactions limite particulièrement l'interprétation de son classement.

Lecture éditoriale : un meilleur score peut refléter une meilleure stratégie, une chance favorable ou une faille de validation, et ces causes doivent être séparées avant de choisir un outil.

Conformal policy learning : contrôler la probabilité de nuire

Maximiser un résultat moyen ne suffit pas toujours, car une politique peut améliorer la moyenne tout en nuisant à une minorité. Ying Jin et Naoki Egami proposent le conformal policy learning, une méthode d'affectation individualisée qui contrôle la probabilité qu'un traitement rende le résultat d'une personne pire que le contrôle.

La méthode transforme chaque décision de traitement en test d'une hypothèse de dommage contrefactuel. Elle utilise des p-values conformes, des proxys observables et une calibration sélective, puisque les résultats potentiels sous traitement et sous contrôle ne sont jamais observés simultanément pour une même personne. Dans les expériences randomisées, la garantie est finie-échantillon et distribution-free sous des conditions d'échangeabilité : à un niveau utilisateur α, la probabilité d'assigner un traitement qui dégrade le résultat est contrôlée par α, sans modèle des résultats potentiels. La méthode cherche ensuite à maximiser le bien-être sous cette contrainte. Pour les études observationnelles, un schéma « learn-then-balance » avec poids estimés fournit une garantie asymptotique doublement robuste.

Les simulations évaluent le taux de dommage, la puissance et le bien-être. L'application empirique concerne une intervention alimentée par IA visant à réduire les croyances complotistes, avec des modèles d'issue et de forêt causale pour estimer les bénéfices et un proxy conservateur du risque.

La garantie dépend de l'échangeabilité, du support commun et de la qualité des données de calibration, et ne résout pas le changement de population entre apprentissage et déploiement. En observationnel, les garanties sont asymptotiques. Le dommage contrefactuel n'étant pas directement observable, la sécurité mesurée ne constitue pas une preuve clinique ou causale. Voir aussi le dossier économétrie et politiques publiques.

ViperQ : une représentation de l'order flow pour un agent de trading

Beaucoup de systèmes de reinforcement learning appliqués au trading résument le marché par des prix agrégés ou par des instantanés de carnet. ViperQ propose une autre représentation, fondée sur des variables issues de l'Auction Market Theory et de la microstructure, pour décrire si le marché est en équilibre autour d'une zone de valeur ou s'il bascule vers une phase de déséquilibre.

La représentation comporte 20 variables normalisées, dont le Volume Point of Control, la position dans la Value Area, les Low Volume Nodes, la divergence de Cumulative Volume Delta, la vitesse du tape et des mesures d'imbalance. Neuf rendements retardés apportent une mémoire courte et deux variables dépendent de la position détenue par l'agent. Les auteurs entraînent deux agents PPO dans un environnement Gymnasium, avec exécution à l'ouverture de la barre suivante. Trois coupe-circuits encadrent la politique : arrêt après une perte quotidienne de 2 % du capital initial de la séance, sortie forcée au-delà d'une perte latente de 200 dollars par position, et liquidation avant la clôture.

L'évaluation porte sur des ticks institutionnels NVDA et TSLA fournis par Databento, agrégés en barres d'une seconde, de janvier 2020 à février 2026, les douze derniers mois étant réservés au test. Le papier rapporte un ROI de +163,6 % pour TSLA, avec un drawdown maximal de −27,5 % et 27 019 transactions, et +116,5 % pour NVDA, avec un drawdown maximal de −47,8 % et 12 892 transactions. Les frais réglementaires annoncés sont inclus et le levier est nul.

Les auteurs signalent l'absence d'analyse formelle de sensibilité de chaque composant de récompense et de chaque hyperparamètre. Le périmètre est étroit : deux actions américaines volatiles, une seule séparation temporelle. ViperQ est un preprint et ne fournit ni signal d'achat ou de vente, ni garantie de résultat. Le dossier marchés, portefeuille et risque traite du même compromis.

Ce qui se recoupe entre ces travaux

Le premier recoupement est méthodologique. Cinq de ces papiers avancent qu'un score unique ne décide de rien. La recherche évolutionnaire montre qu'un classement s'inverse quand on passe d'une graine à quarante. Le bootstrap fondé sur le modèle demande une variance et un intervalle à côté de la valeur estimée. ActObs rapporte un meilleur pass@k accompagné d'une fiabilité pass@1 moins élevée sur Qwen3-8B, ce qui rend le choix de métrique décisif. ViperQ affiche un ROI élevé avec un drawdown maximal de −47,8 %. Aucun de ces résultats n'est contradictoire en soi, mais ensemble ils rendent intenable la lecture d'un gain moyen comme preuve de qualité.

Le deuxième recoupement porte sur la structure interne des trajectoires. BATON distingue l'attribution du crédit à une action et la masse accordée à une trajectoire complète. ActObs ajoute une supervision sur les observations, que l'entraînement classique masque. Le travail sur les tokens EOS montre qu'une action aussi élémentaire que l'arrêt peut être mal spécifiée entre deux modèles. Trois niveaux de granularité, donc, dans le même objet : le token, l'action, la trajectoire. Les trois produisent des pathologies différentes et aucune des trois méthodes ne corrige les deux autres.

Le troisième recoupement concerne la supervision externe et sa fin. RetireOPD retire la distillation lorsque l'écart avec l'enseignant cesse de se réduire, et rapporte un étudiant qui dépasse son enseignant dans tous les réglages rapportés. UnifiedPlayers fait apprendre simultanément un générateur de tâches, un exécutant et un vérificateur. Les deux approches s'appuient sur un signal produit par un autre modèle, mais tirent des conclusions opposées sur sa durée de vie utile : l'un prévoit explicitement son extinction, l'autre le maintient en co-adaptation. Les auteurs d'UnifiedPlayers signalent eux-mêmes le risque d'adversaires adaptatifs non encore explorés.

Reste ce que personne ne tranche. Score centering traite le drift créé par un moteur d'inférence différent, mais ses expériences phares emploient un décalage volontairement sévère et des séquences courtes comme proxy. Le conformal policy learning offre une garantie explicite, au prix d'hypothèses d'échangeabilité et d'un dommage contrefactuel qui n'est jamais directement observé. Aucun de ces dix travaux ne propose de mesure conjointe du crédit, de la stabilité numérique, du budget de recherche et du risque individuel. On ne sait pas, à la lecture de ces sources, laquelle de ces quatre sources d'erreur domine dans un système déployé.

Sources