Optimisation et théorie de l'apprentissage profond

Ce dossier rassemble douze preprints qui, pris séparément, ressemblent à des exercices sans rapport : une borne d'oracle en norme ℓp, une variété lagrangienne spéciale, une méthode minimax à boucle unique, un surrogate de mécanique des fluides, une soumission au challenge BabyLM. Ce qui les relie est une même question méthodologique : qu'est-ce qui, exactement, est mesuré quand on dit qu'un algorithme d'apprentissage marche mieux. Chacun de ces travaux répond en déplaçant la mesure plutôt qu'en augmentant la taille du modèle.

La plupart de ces résultats sont théoriques et assortis d'hypothèses étroites. Ils ne proposent pas de recette de réglage. Leur intérêt est ailleurs : ils nomment des confusions fréquentes. Confondre l'optimisation d'un objectif empirique avec la récupération d'une structure de population. Confondre un gain d'échantillonnage mesuré sur une cible proche avec un gain de transfert. Confondre une moyenne finale correcte avec une dynamique saine. Confondre un regret additif avec la vraie structure du problème.

Le lecteur en retire une liste de distinctions à tenir quand il compare deux boucles d'entraînement : la géométrie du domaine, la norme dans laquelle la régularité est mesurée, le rapport entre deux pas d'apprentissage, le décalage de distribution entre source et cible, et la différence entre un estimateur ponctuel et la distribution qui l'entoure. Les sections qui suivent restituent chaque travail puis, en fin de dossier, ce que leur lecture conjointe fait apparaître.

Quand la norme du domaine et la norme de régularité ne sont pas duales

David Martínez-Rubio, Brian Bullins, Cristóbal Guzmán et Mathieu Molina étudient l'optimisation convexe en accès boîte noire : à chaque requête, l'algorithme n'obtient qu'une valeur et un sous-gradient. La particularité du cadre est géométrique. Le domaine est une boule en norme ℓp alors que la régularité de l'objectif est mesurée en norme ℓq, et ces deux normes ne sont pas forcément duales. Ce découplage, souvent écarté par commodité, change les taux atteignables.

Dans le cas convexe lipschitzien euclidien sur la boule ℓ1, les auteurs obtiennent une vitesse en Õ(1/T), à comparer au O(1/√T) classique sous des hypothèses générales. Plus généralement, leurs bornes pour les couples (p,q) approchent les bornes inférieures à des facteurs logarithmiques près. Le cœur technique est un jeu d'apprentissage en ligne dans lequel le comparateur regarde le maximum des pertes précédentes plutôt que leur somme, ce que les auteurs appellent le max-regret. La dimension de fat-shattering séquentielle sert de pont entre la richesse des trajectoires observables et la complexité d'optimisation.

La lecture éditoriale proposée par la source est qu'un regret purement additif peut masquer une structure utile des requêtes, et qu'avant de comparer deux boucles d'optimisation il faut vérifier que le domaine, la norme de Lipschitz et la forme des pertes correspondent au scénario visé.

La limite est nette et admise. La stratégie qui atteint ces bornes passe par une programmation dynamique dont le temps d'exécution peut être exponentiel en la dimension et en T. Les auteurs laissent à des travaux futurs un algorithme à la fois optimal et polynomial. Rien ici ne mesure la performance d'un agent logiciel.

Stable Movement : fermer l'extrémité non lisse d'un problème ouvert

Le travail précédent laissait un trou : des taux presque optimaux, mais via une procédure potentiellement exponentielle. David Martínez-Rubio et Cristóbal Guzmán s'attaquent à ce trou. Leur preprint étudie la minimisation d'une fonction convexe G-Lipschitz sur une boule ℓp de rayon R, avec une régularité mesurée dans une norme ℓq différente, dans le régime non dual p < q.

Après T requêtes d'un oracle du premier ordre, ils obtiennent une erreur en Õ_p,q(GR/T^{1/p−(1/q−1/2)₊}). Pour p = 1 et q = 2, cette expression devient Õ(GR/T), là où les méthodes efficaces précédentes restaient typiquement à l'échelle de 1/√T dans les géométries les plus favorables. L'algorithme reformule l'optimisation en un problème de chasing d'ensembles convexes emboîtés : les coupes de l'oracle rétrécissent un modèle inférieur, et un centre stable doit bouger peu dans la norme de mesure. Une moyenne de Monte-Carlo du sélecteur donne un algorithme en temps polynomial dans le modèle d'arithmétique réelle. La contribution vise en particulier le régime de haute dimension et de faible horizon T ≤ d, où des taux informationnels proches étaient auparavant réalisables en temps exponentiel plutôt qu'avec une méthode efficace.

La source présente le résultat comme principalement théorique : il ferme l'extrémité non lisse d'un problème ouvert formulé à COLT 2015 et aide à comparer des garanties de convergence avec leurs hypothèses, sans fournir un réglage universel pour un modèle d'apprentissage. Les garanties dépendent de l'oracle du premier ordre, des normes ℓp et ℓq et de l'arithmétique réelle, comportent des facteurs logarithmiques et ne se transposent pas au non convexe sans nouvelle démonstration. La randomisation Monte-Carlo n'est pas non plus une mesure de robustesse numérique.

Un extragradient minimax sans boucle interne

Les problèmes minimax fortement convexes-concaves apparaissent dans l'apprentissage adversarial et la régression régularisée. Les méthodes accélérées y atteignent de bons taux, mais au prix de sous-problèmes internes, de calendriers de précision ou de redémarrages, autant d'éléments difficiles à auditer. Minhao Zhang et Zi Xu cherchent à l'inverse une séquence d'updates explicites et fixe.

Leur méthode conserve trois variables : le point primal, le point dual et une variable auxiliaire. Chaque itération prédit un point, corrige les deux gradients, puis met à jour le feedback avec le gradient au point corrigé. Après une requête d'initialisation, une itération demande exactement deux gradients complets. Le rôle du feedback est de contrôler le résidu introduit par la discrétisation explicite ; une fonction de Lyapunov absorbe ce résidu et fournit une contraction du dernier itéré, sans moyenne des itérés ni boucle de résolution interne.

Pour une précision relative epsilon en distance quadratique au point selle, le nombre de gradients est de l'ordre de O~(sqrt(kappa_x kappa_y) log(2 kappa_x kappa_y / epsilon)). L'ordre en nombre de conditionnement atteint la borne inférieure connue à des facteurs logarithmiques près. Les expériences couvrent une régression linéaire régularisée et un modèle logistique non linéaire sur Arcene ; dans le cas de courbure très déséquilibrée r = 10000, la méthode atteint 10^-6 en 2 675 requêtes dans le tableau rapporté.

La garantie suppose un problème déterministe, lisse, non contraint et fortement convexe-concave. Elle ne couvre pas directement les contraintes, le bruit stochastique, la non-lissité ou le non convexe. Le document est un preprint ArXiv.

Algorithmes à deux échelles : le pas constant laisse un biais

L'approximation stochastique à deux échelles apparaît dans l'apprentissage par renforcement, les GAN, AdaGrad et l'optimisation bi-niveau. Une variable rapide suit quasi instantanément l'état de la variable lente, avec des pas α et β tels que α est beaucoup plus grand que β. La question est de savoir ce qu'il reste comme erreur quand ces pas sont maintenus constants au lieu de décroître.

Les auteurs traitent le cas non linéaire avec bruit markovien. Sous des hypothèses de stabilité et de régularité, la borne de l'erreur quadratique moyenne et du biais comporte un terme O(α + β²/α²), et ils montrent que cette dépendance est atteignable dans le régime β ≤ α³ᐟ². L'analyse sépare les conditions initiales, l'erreur de suivi rapide, la dépendance du bruit et le couplage des échelles, ce qui permet d'attribuer l'erreur résiduelle à sa source plutôt qu'à un terme global.

Dans un exemple, la variable rapide suit la variable lente mais garde un écart déterminé par le rapport β/α. Les simulations exposent le compromis : réduire α diminue les oscillations mais peut prolonger le temps de suivi, tandis qu'augmenter le pas accélère le mouvement en amplifiant le bruit et le biais. La lecture éditoriale proposée est de journaliser α, β, le retard de suivi et la métrique d'erreur séparément, parce qu'une moyenne finale correcte peut masquer une variable rapide qui ne suit plus son équilibre quasi-statique.

Les garanties reposent sur la stabilité, la régularité et le bruit markovien. Les exemples illustratifs ne couvrent pas toutes les dynamiques d'apprentissage profond, et les pas décroissants comme les mécanismes d'adaptation demandent une analyse distincte. Le lien avec les boucles de politique est développé dans le dossier apprentissage par renforcement et politiques.

Cornes lagrangiennes spéciales : la géométrie des réseaux linéaires équilibrés

Les réseaux linéaires profonds ont une propriété surprenante : lorsqu'ils sont équilibrés, leurs matrices de poids ne forment pas seulement une famille commode pour l'optimisation, elles dessinent une variété géométrique très rigide. Tejas Kotwal et Govind Menon relient cette structure à la géométrie lagrangienne spéciale et généralisent la corne de Harvey-Lawson aux produits de matrices complexes.

Pour un réseau de profondeur N, l'équilibre impose que les produits (W_kW_k^*) et (W_{k+1}^*W_{k+1}) coïncident entre couches voisines. Ces égalités sont aussi des lois de conservation du flot de gradient. Elles décrivent la variété équilibrée, l'espace où la factorisation du produit global ne favorise aucune couche. Les auteurs isolent la composante dont le produit final est hermitien défini positif ; une décomposition polaire permet alors de décrire chaque point par une matrice positive P et une chaîne de facteurs unitaires.

Le résultat central affirme que cette sous-variété est lagrangienne spéciale et exacte dans l'espace de matrices complexes : elle est calibrée, minimale et localement minimisante pour le volume. Lorsque la largeur matricielle vaut un, on retrouve la corne classique de Harvey-Lawson privée de son sommet. Les résultats sur les adhérences montrent ce qui se passe quand le facteur positif devient seulement semi-défini positif : la frontière autorise des pertes de rang et des factorisations dégénérées. La source avertit que cette extension ne doit pas être confondue avec une garantie de robustesse statistique sur des données réelles.

Le travail est théorique, limité aux réseaux linéaires et à des hypothèses de régularité précises. Il ne mesure ni gain de généralisation, ni stabilité d'un entraînement non linéaire, ni bénéfice opérationnel. Sa traduction vers des architectures modernes demanderait des résultats sur les activations, les pertes non quadratiques et la discrétisation numérique.

Quand un autoencodeur ne peut pas reconstruire exactement

Un autoencodeur compresse une entrée avant de la reconstruire. Lorsque l'encodeur et le décodeur sont liés par le même forward map, l'erreur ne dépend pas seulement du nombre de paramètres : elle est contrainte par la géométrie du map et par la distribution des entrées. Patricia Medina et Hy P. G. Lam cherchent à rendre cette contrainte explicite.

Ils étudient l'erreur optimale globale, puis une borne de perte sur données finies. Le travail analyse aussi le cas non expansif, dans lequel le map ne peut pas amplifier les distances. Les preuves utilisent les valeurs singulières du jacobien, des bornes de Lipschitz et les moments de la distribution d'entrée. Un point mérite d'être retenu : une reconstruction locale apparemment exacte ne suffit pas à contrôler le comportement global. Des constructions diffeomorphes peuvent coïncider sur une région tout en imposant une erreur ailleurs, ce qui limite directement ce qu'un petit échantillon permet de conclure.

L'intérêt pratique annoncé par la source est un vocabulaire : ces bornes séparent l'erreur d'approximation, le manque de données et la restriction architecturale. Avant de comparer deux autoencodeurs sur une moyenne de reconstruction, il faut vérifier le map imposé, la région couverte par les observations et les hypothèses de régularité.

Les garanties sont mathématiques et dépendent des hypothèses de régularité, de dimension et de distribution. Elles ne constituent pas une borne universelle pour les réseaux non lisses, les pertes perceptuelles ou les tâches où le forward map est mal spécifié. Le document est un preprint ArXiv. Le versant génératif de cette question est abordé dans le dossier génération d'image, de vidéo et diffusion.

OKSPCA : une base spectrale précise ne garantit pas la prédiction

Online Kernel Supervised Principal Component Analysis, ou OKSPCA, maintient en ligne une base orthonormée à partir d'un moment croisé entre features aléatoires des entrées et des cibles. Zhenlin Yao et Wei Xiong séparent quatre questions habituellement mélangées : l'optimisation de l'objectif empirique, la proximité du sous-espace exact, la qualité prédictive et le coût de fournir une base lorsqu'elle est demandée. Les résultats portent sur l'opérateur à features finies étudié, pas sur une garantie d'approximation de noyau complet.

Le test central remplace, à moment empirique identique, la base suivie en ligne par sa solution spectrale exacte. Sur les deux tâches de régression, ce remplacement laisse les écarts presque inchangés : le changement moyen de R² est de +0,000141 sur Friedman-1 et de +0,000027 sur Kin8nm. L'hypothèse selon laquelle l'inconvénient prédictif viendrait seulement de l'erreur terminale du tracker en sort affaiblie, sans qu'une cause unique soit identifiée parmi les features, la cible, le budget de rang et l'évaluateur. Sur les modèles de classification entraînés directement au rang requis, les ratios d'objectif terminal vont de 0,998824 à 0,999951, mais la trajectoire intermédiaire n'est pas uniformément proche : un checkpoint Sensorless atteint un angle principal maximal de 78,099 degrés, avec un ratio géométrique de 0,970687 à l'observation 23 404.

Une expérience à features fixes, dont le sous-espace de population est connu, donne un ratio d'objectif empirique en ligne de 0,995834 à 256 observations alors que le ratio par rapport à l'objectif de population est d'environ 0,731. La grille contrôlée finit avec une distance médiane entre tracker et solution empirique de 0,01128, sans établir de taux de convergence pratique. Côté service, l'exact à la demande est plus rapide dans les scénarios de classification testés ; la mise à jour Adam gagne du temps sur certaines requêtes de régression plus larges, mais avec des erreurs géométriques persistantes. Les six benchmarks restent contrôlés et ne constituent ni un déploiement ni une étude de dérive.

Ce que la géométrie postérieure dit aux approximations TAP

Jingbo Liu et Zhiyuan Yu étudient une régression linéaire bayésienne avec un a priori uniforme sur une sphère, lorsque dimension et taille d'échantillon croissent proportionnellement. Le design doit satisfaire une condition de régularité spectrale de type Marchenko-Pastur, mais l'analyse ne demande ni l'indépendance entrée par entrée ni des hypothèses sur les vecteurs singuliers, ce qui élargit la classe de matrices couvertes.

Pour la fonctionnelle TAP à ratio d'aspect fini, la différence avec la free energy sphérique est d'ordre O_P(p⁻¹), alors que chacune des deux quantités fluctue autour de son équivalent déterministe à l'échelle O_P(p⁻¹ᐟ²). L'approximation est donc plus fine que le bruit des fluctuations. Les maximisateurs globaux TAP sont eux-mêmes à distance quadratique normalisée O_P(p⁻¹) de la moyenne postérieure sphérique. Les auteurs bornent par ailleurs exponentiellement la masse postérieure hors d'une bande autour d'un estimateur ridge dépendant des données : toute suite de largeurs ε_p telle que √p ε_p tende vers l'infini capture asymptotiquement toute la masse, sous les hypothèses du théorème.

La lecture éditoriale de la source est qu'une approximation utile doit indiquer à la fois son estimateur central et la géométrie de l'incertitude autour de lui. Un score unique peut être plus précis que la fluctuation globale tout en laissant une bande postérieure non négligeable à l'échelle fine.

Il s'agit d'un résultat théorique pour un modèle bayésien sphérique et des designs respectant une condition spectrale quantitative. Il ne valide pas une approximation TAP pour des réseaux profonds, des priors non sphériques ou des données hors régime proportionnel, et les ordres probabilistes ne sont pas des garanties individuelles pour un dataset donné. La question voisine de l'incertitude mesurée se retrouve dans le dossier évaluation des LLM et incertitude.

Au-delà des PINNs : choisir les fonctions test comme un choix d'algorithme

Les PINNs apprennent souvent une solution en minimisant des résidus forts évalués en points. Les éléments finis partent au contraire d'une formulation faible et de fonctions test. Nilo Schwencke et Roland Maier proposent de voir ces deux approches comme des discrétisations différentes d'un même problème de Gauss-Newton fonctionnel.

Par une dualité adaptée, les mesures linéaires sont représentées par des fonctions test. Le système de Gauss-Newton obtenu est alors une discrétisation de Petrov-Galerkin du problème linéarisé. La collocation ponctuelle et certaines constructions de gradient naturel apparaissent comme des cas particuliers, et le choix des fonctions test devient une décision algorithmique explicite au lieu d'un détail d'implémentation. Pour des problèmes elliptiques, le cadre construit une approximation où la composante éléments finis résout une partie du problème tandis que le réseau travaille dans un espace complémentaire. Les expériences incluent des résidus faibles évalués avec 200 fonctions de Green et deux résidus de Neumann, soit 202 composantes, ainsi que des comparaisons répétées sur dix graines dans les benchmarks décrits.

La lecture éditoriale associée est que, dans un agent scientifique, le choix des mesures détermine ce que l'optimiseur voit réellement : documenter les fonctions test, les quadratures et les conditions aux limites compte autant que documenter l'architecture, et une boucle stable peut venir d'une meilleure formulation du résidu plutôt que d'un modèle plus grand.

Les résultats numériques valent pour les problèmes et architectures étudiés, avec des protocoles de quadrature et des solveurs précis. Ils ne démontrent pas une supériorité universelle sur tous les PINNs ni sur toutes les PDE, et la transférabilité à d'autres géométries, conditions aux limites et régimes de régularité reste à vérifier.

Préentraînement : le gain dépend du décalage de distribution

Un modèle préentraîné peut réduire le nombre de simulations nécessaires sur une nouvelle famille de problèmes, mais ce gain dépend de ce qui change entre la source et la cible. Pochinapeddi Sai Bhargav, Nithin Somasekharan, Rohit Sunil Kanchi, Sicheng He et Shaowu Pan traitent cette question avec un surrogate neural pour la mécanique des fluides autour de profils d'aile.

Le préentraînement utilise 254 909 solutions RANS provenant d'une famille d'ailes. Le modèle est ensuite adapté à une nouvelle famille, avec deux cibles aux mêmes plages d'écoulement : l'une conserve la modélisation Spalart-Allmaras, l'autre ajoute une modélisation de transition e^N. Les évaluations sont séparées par géométrie afin de tester une véritable généralisation plutôt qu'une mémorisation de formes.

À un budget de 1 000 exemples cibles, le modèle préentraîné atteint, pour la cible de même physique, l'erreur d'un modèle entraîné depuis zéro avec environ 3,25 fois plus d'échantillons. Pour la cible avec transition, le gain équivalent est d'environ 2,58 fois. À 5 000 exemples, l'ordre s'inverse : les facteurs rapportés sont 1,56 et 1,86. Les auteurs observent aussi qu'échantillonner davantage de profils distincts réduit l'erreur sur les deux cibles à 1 000 exemples, mais que le gain dépasse la variation entre tirages mesurée dans leur étude surtout pour la cible de même physique ; le document rapporte une évolution de 3,3 à 4,0 fois dans cette analyse.

La conclusion méthodologique est de documenter le décalage avant de comparer deux modèles, en distinguant la géométrie, les conditions opératoires, la physique simulée et le budget d'adaptation. L'étude porte sur un surrogate, une famille de géométries et deux réglages physiques ; ses facteurs d'efficacité ne sont pas une promesse pour tout transfert. D'autres usages scientifiques de ces surrogates sont rassemblés dans le dossier IA, sciences et santé.

AutoData : laisser un agent chercher une recette de sélection de données

Choisir les documents d'un corpus de pré-entraînement est souvent traité comme une suite de règles conçues par des humains. AutoData transforme cette curation en espace de recettes exécutables exploré par un agent : chaque candidate est évaluée par un entraînement proxy et un indicateur de qualité, puis l'agent peut modifier la recette et relancer une expérience.

Le système s'appuie sur un agent de style AIDE et sur des caractéristiques au niveau document. Les recettes combinent des filtres et des signaux de qualité, et sont testées sur un petit modèle GPT-2 avant que les auteurs examinent leur transfert vers plusieurs échelles de modèle et plusieurs métriques. L'approche ne supprime pas le choix humain : il faut toujours définir le corpus, les features, les objectifs proxy et les règles de coût.

Dans le résumé, les recettes découvertes dépassent les bases de curation humaines sur les expériences réalisées et se transfèrent de la profondeur 8 à 20. Sur la profondeur 24, le gain devient comparable à la recette par défaut ClimbMix. Les résultats CORE ne sont pas significativement meilleurs à toutes les échelles. Les auteurs signalent que les gains dépendent de l'objectif proxy et que certaines features annotées par LLM ont un coût non trivial.

La lecture éditoriale insiste sur la provenance : une boucle agentique doit conserver le code exact de chaque recette, le budget, le proxy et les résultats, faute de quoi une recette gagnante peut être une fluctuation d'entraînement ou un artefact de l'objectif. Il faut aussi réserver un corpus ou une métrique finale non utilisés pendant la recherche. L'étude utilise un corpus de base unique et des modèles de 125 millions à 1,3 milliard de paramètres ; la généralisation à d'autres domaines et échelles reste ouverte.

Relational BabyLM : séparer relations et mots dans l'attention

Les modèles de langage doivent traiter des caractéristiques lexicales et suivre des relations structurelles. Adrian Brasoveanu, Ece Takmaz et Jakub Dotlačil présentent Relational BabyLM, une soumission au challenge BabyLM qui sépare ces deux rôles à l'intérieur d'un Transformer décodeur.

Le Dual Attention Transformer route les caractéristiques lexicales d'objet d'un côté et les informations relationnelles de l'autre, puis les réintègre. Le système ajoute Next-Latent Prediction, un objectif qui encourage les états cachés à condenser progressivement l'historique dans un état de croyance dense. Les variantes d'attention relationnelle testées incluent RA, RCA et DisRCA.

Sur la piste stricte de 100 millions de mots, le meilleur modèle est classé 6e sur 55 au total et 3e sur 55 pour le sous-ensemble NLP au moment décrit. Les deux modèles les plus forts dépassent le baseline GPT-2 sur la plupart des benchmarks, et l'un obtient le meilleur score EWoK de la piste stricte. Le résumé indique que l'architecture est le facteur dominant pour la généralisation structurelle, NextLat apportant un effet secondaire mais significatif.

La lecture éditoriale de la source porte sur la mémoire d'un agent : conserver les relations entre objets, fichiers ou étapes vaut mieux qu'une simple concaténation de texte, mais un état compact doit être évalué sur les tâches relationnelles et vérifié contre la trace source, parce qu'une bonne moyenne de langage ne prouve pas une bonne mémoire d'état.

Les limites sont explicites : la plupart des groupes ont trois seeds, les configurations ne sont pas toujours appariées, la piste 100M n'est pas entièrement répliquée et la qualité de génération générale n'est pas rapportée. Le document est un preprint ArXiv.

Ce qui se recoupe entre ces douze travaux

Le motif le plus insistant est la dissociation entre l'objectif qu'on optimise et la propriété qu'on espère obtenir. OKSPCA le montre en chiffres : un ratio d'objectif empirique de 0,995834 cohabite avec un ratio de 0,731 par rapport à l'objectif de population. Les bornes de reconstruction d'autoencodeurs disent la même chose géométriquement, puisqu'une reconstruction locale exacte ne contraint pas le comportement global. L'analyse TAP apporte le cas inverse et plus favorable : une approximation peut être plus fine que le bruit des fluctuations, à l'ordre O_P(p⁻¹) contre O_P(p⁻¹ᐟ²), tout en laissant une bande postérieure non négligeable. Dans les trois cas, la leçon est qu'un seul nombre ne suffit pas à décrire l'état d'une méthode.

Le deuxième recoupement est que la géométrie du problème, plus que la puissance de calcul, détermine les taux atteignables. Les deux travaux sur l'optimisation non duale obtiennent Õ(1/T) là où le O(1/√T) semblait l'horizon, uniquement parce que domaine et régularité sont mesurés dans des normes différentes. Le cadre Gauss-Newton et Petrov-Galerkin fait le même déplacement pour les PDE en promouvant les fonctions test au rang de paramètre d'algorithme. Les cornes lagrangiennes vont plus loin encore : la variété équilibrée d'un réseau linéaire est calibrée et localement minimisante pour le volume, c'est-à-dire que la géométrie sélectionne une factorisation parmi des équivalentes. Aucun de ces résultats ne propose un entraînement plus rapide tel quel ; tous suggèrent où regarder.

Troisième point commun, les deux études empiriques du lot convergent vers la même mise en garde sur les gains mesurés. Le surrogate de PDE montre que le facteur d'économie d'échantillons s'inverse avec le budget, passant de 3,25 et 2,58 à 1 000 exemples à 1,56 et 1,86 à 5 000. AutoData montre qu'un gain net à la profondeur 8 devient comparable à ClimbMix à la profondeur 24 et que les résultats CORE ne sont pas significativement meilleurs à toutes les échelles. Un gain d'efficacité est donc une fonction du régime, pas une propriété d'un modèle.

Un désaccord apparent mérite d'être relevé. Les travaux sur l'optimisation non duale cherchent à supprimer l'écart entre taux informationnel et algorithme efficace, et l'extragradient à boucle unique élimine les sous-problèmes internes au profit de deux gradients par itération. À l'inverse, AutoData empile délibérément une boucle de recherche au-dessus d'un entraînement proxy. Les sources ne tranchent pas entre ces deux philosophies, mais elles s'accordent sur la condition de validité de la seconde : conserver le code de chaque recette, le budget, le proxy et une métrique finale non utilisée pendant la recherche.

Reste ce qui n'est pas résolu. L'optimalité simultanée en taux et en temps polynomial est explicitement laissée à des travaux futurs dans le cas général non dual. L'analyse à deux échelles établit un terme O(α + β²/α²) pour des pas constants mais renvoie les pas décroissants et les mécanismes d'adaptation à une étude distincte. Les cornes lagrangiennes ne couvrent pas les activations ni les pertes non quadratiques. Aucun de ces papiers ne mesure la performance d'un agent déployé, et plusieurs le disent eux-mêmes. On ne sait pas, à la lecture de ce lot, laquelle de ces distinctions théoriques change le plus les résultats d'un entraînement à grande échelle.

Sources

arXiv:2609.20687v1 — The First-Order Oracle Complexity of Lipschitz Convex Optimization in Nondual Settings
arXiv:2609.20701v1 — Stable Movement for Nondual Lipschitz Convex Optimization: Efficiency and Nearly Optimal Oracle Rates
arXiv:2609.20327v1 — Near-Optimal Pure Single-Loop Extragradient Method for Strongly Convex-Strongly Concave Minimax Optimization
arXiv:2609.20409v1 — The Bias of Nonlinear Two-Time-scale Stochastic Approximation under Constant Step-Sizes
arXiv:2609.20159v1 — Special Lagrangian cones in Deep Learning
arXiv:2609.20333v1 — Sharp Reconstruction Bounds for Autoencoders Using the Same Forward Map
arXiv:2609.20454v1 — Online Supervised Dimension Reduction with Random Features: Diagnostics and Computational Trade-offs
arXiv:2609.20577v1 — TAP Accuracy Below the Fluctuation Scale and Universal Posterior Geometry in Spherical Linear Models
arXiv:2609.20641v1 — Beyond PINNs: A Unified Gauss-Newton and Petrov-Galerkin Framework for Neural and Hybrid PDE Solvers
arXiv:2609.20814v1 — How Does Distribution Shift Shape Pretraining Gains in Neural PDE Surrogates?
arXiv:2609.19754v1 — AutoData: Agentic Search for Pre-training Data Selection
arXiv:2609.20530v1 — Relational Attention for Data-Efficient Language Modeling