Pourquoi un agent distillé peut ne plus savoir s'arrêter

Une réponse trop longue est un signal

Pendant une distillation on-policy, l'étudiant peut produire des réponses excessivement longues et épuiser le budget. Yuxiao Yang, Tianrun Yu, Shangzhe Li et leurs coauteurs identifient un désaccord possible entre les tokens EOS du modèle de base et ceux de l'enseignant.

Aligner l'action d'arrêt

Deux modèles peuvent déclarer le même ensemble de tokens de fin tout en attribuant la probabilité d'arrêt à des tokens différents. L'alignement de la liste ne suffit donc pas. Les auteurs proposent de traiter les tokens fonctionnellement équivalents comme une même action sémantique d'arrêt pendant la distillation.

Résultats rapportés

Sur Qwen3, Llama et Gemma, cette correction réduit l'inflation de longueur liée au désaccord de terminaison. L'analyse par étapes de l'OPD montre toutefois que les préférences d'arrêt changent au cours de l'entraînement et qu'une inflation distincte persiste tard dans la trajectoire, même après alignement.

Interprétation éditoriale : la terminaison fait partie du contrat

Pour un agent, la réussite inclut le fait de s'arrêter au bon moment. Il faut donc tester budget de sortie, tokens de fin, réponses vides et boucles de continuation séparément du contenu produit. Une politique qui répond correctement mais consomme tout son budget n'est pas opérationnellement neutre.

Limites et statut de la source

Le mismatch EOS n'explique pas toute la dynamique de longueur et les effets dépendent des familles et templates. La correction doit être testée dans la configuration de distillation visée. Le document est un preprint ArXiv.

Source

Yuxiao Yang, Tianrun Yu, Shangzhe Li, Kaixiang Zhao, Xuchao Zhang, Chetan Bansal, Huaxiu Yao, Taylor W. Killian et Weitong Zhang, « When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation », ArXiv 2609.20511v1 : résumé et preprint, PDF.