Article · IA & agents
Le pas constant laisse un biais dans les algorithmes à deux échelles
Une analyse de l’approximation stochastique non linéaire explique comment l’écart entre deux pas constants crée erreur, suivi imparfait et biais.
Deux variables, deux vitesses
L’approximation stochastique à deux échelles apparaît dans l’apprentissage par renforcement, les GAN, AdaGrad et l’optimisation bi-niveau. Une variable rapide suit quasi instantanément l’état de la variable lente, avec des pas α et β tels que α est beaucoup plus grand que β.
Le terme β² sur α²
Les auteurs étudient le cas non linéaire avec bruit markovien et pas constants. Sous des hypothèses de stabilité et de régularité, la borne de l’erreur quadratique moyenne et du biais comporte un terme O(α + β²/α²), et ils montrent que cette dépendance est atteignable dans le régime β ≤ α³ᐟ². L’analyse sépare conditions initiales, erreur de suivi rapide, dépendance du bruit et couplage des échelles.
Pourquoi les modèles non linéaires comptent
Dans un exemple, la variable rapide suit la variable lente mais garde un écart déterminé par le rapport β/α. Les simulations montrent aussi le compromis pratique : réduire α diminue les oscillations, mais peut prolonger le temps de suivi ; augmenter le pas accélère le mouvement tout en amplifiant le bruit et le biais.
Interprétation éditoriale : régler le rapport avant de régler le modèle
Un agent d’optimisation devrait journaliser α, β, le retard de suivi et la métrique d’erreur séparément. Une moyenne finale correcte peut masquer une variable rapide qui ne suit plus son équilibre quasi-statique, ou un biais systématique induit par les pas constants.
Limites et statut de la source
Les garanties reposent sur des hypothèses de stabilité, de régularité et de bruit markovien. Les exemples illustratifs ne couvrent pas toutes les dynamiques d’apprentissage profond, et une borne asymptotique ne prédit pas automatiquement le meilleur réglage pour un problème réel. Les pas décroissants et les mécanismes d’adaptation demandent une analyse distincte.
Source
« The Bias of Nonlinear Two-Time-scale Stochastic Approximation under Constant Step-Sizes », ArXiv 2609.20409v1 : résumé et preprint, PDF.