Article · IA & agents
Score centering : réduire le drift du RL hors politique
Une correction additive pour limiter l’instabilité créée par le décalage entre entraînement et inférence.
Le décalage entraînement–inférence
L’apprentissage par renforcement d’un modèle de langage peut utiliser un moteur d’inférence différent du moteur d’entraînement. Quantification, versions ou synchronisation retardée créent alors un training-inference mismatch. Le preprint soutient que l’instabilité vient surtout d’un drift : un biais persistant qui s’accumule à chaque étape.
Centrer le score
La proposition consiste à soustraire du score de chaque token son espérance sous la distribution du sampler. Cette correction rend l’espérance du score nulle sous cette distribution. L’objectif est d’enlever le terme de dérive tout en conservant la covariance entre la récompense et le score.
La correction est additive, sans hyperparamètre dédié, et peut être combinée à des méthodes d’importance sampling. Pour la rendre praticable, les auteurs approchent la distribution du sampler avec ses probabilités top-k et reconstruisent la queue à l’aide des probabilités du modèle d’entraînement.
Les expériences
Les expériences comparent la méthode à plusieurs corrections sur Qwen3-0.6B entraîné sur Countdown et Qwen3-30B-A3B sur une partie mathématique d’INTELLECT-2. Dans les expériences de bruit artificiel, de quantification et de staleness, le score centering seul ou combiné obtient les comportements les plus stables dans les réglages sévères rapportés.
À grande échelle, avec un sampler FP8, l’entraînement non corrigé atteint 58 % de précision dans l’expérience décrite. Avec un KV cache FP4, le policy gradient et MIS s’effondrent dans le protocole tandis que score centering atteint 52 % et TIS 51 %. Avec un sampler INT8 et un cache INT4, les résultats rapportés sont 30 % pour score centering et 12 % pour TIS, les autres méthodes restant sous 5 %.
Un coût de mémoire à ne pas oublier
Calculer l’espérance exacte demanderait de conserver toute la distribution de sortie. Le papier estime qu’un batch de 1 024 rollouts de 32k tokens avec un vocabulaire de 152k pourrait atteindre environ 20 To en fp32. Son approximation top-k utilise k=128 par défaut et rapporte des résultats comparables avec k=32 dans les réglages testés.
Limites
Les expériences phares utilisent un décalage volontairement sévère et des séquences courtes comme proxy d’un entraînement plus long sous décalage modéré. Sous une forte staleness, la combinaison avec l’importance sampling reste préférable. Le résultat ne dispense pas de mesurer le comportement du moteur réel et le coût de synchronisation.
Sources
Martin Marek et Max Ryabinin, « Score Centering Stabilizes Off-policy Reinforcement Learning », ArXiv 2609.20807v1, consulté le 22 septembre 2026 : résumé et preprint, PDF.