Laisser un agent chercher une recette de sélection de données

La curation comme problème de recherche

Choisir les documents d’un corpus de pré-entraînement est souvent traité comme une suite de règles conçues par des humains. « AutoData: Agentic Search for Pre-training Data Selection » transforme cette curation en espace de recettes exécutables exploré par un agent.

Chaque candidate est évaluée par un entraînement proxy et un indicateur de qualité. L’agent peut ensuite modifier la recette et relancer une expérience, ce qui rapproche le travail de curation d’une boucle d’auto-recherche.

Le principe d’AutoData

AutoData s’appuie sur un agent de style AIDE et sur des caractéristiques au niveau document. Les recettes combinent des filtres et des signaux de qualité, puis sont testées sur un petit modèle GPT-2. Les auteurs examinent ensuite leur transfert vers plusieurs échelles de modèle et plusieurs métriques.

Cette approche ne supprime pas le choix humain : il faut définir le corpus, les features, les objectifs proxy et les règles de coût.

Résultats rapportés

Dans le résumé, les recettes découvertes dépassent les bases de curation humaines sur les expériences réalisées et se transfèrent de la profondeur 8 à 20. Sur la profondeur 24, le gain devient comparable à la recette par défaut ClimbMix. Les résultats CORE ne sont pas significativement meilleurs à toutes les échelles.

Les auteurs signalent que les gains dépendent de l’objectif proxy et que certaines features annotées par LLM ont un coût non trivial.

Lecture éditoriale

Une boucle agentique de recherche doit conserver le code exact de chaque recette, le budget, le proxy et les résultats. Sans cette provenance, une recette gagnante peut être une fluctuation de l’entraînement ou un artefact de l’objectif.

Il faut aussi réserver un corpus ou une métrique finale non utilisés pendant la recherche pour éviter de confondre exploration et validation.

Limites

L’étude utilise un corpus de base unique et des modèles de 125 millions à 1,3 milliard de paramètres. La généralisation à d’autres domaines, corpus et échelles reste ouverte. Les gains ne justifient pas une automatisation sans audit du coût des annotations.

Source primaire : arXiv:2609.19754v1, PDF.

Brief visuel

Composition 1536×1024 : pipeline de documents entrant dans plusieurs recettes colorées, petite boucle d’entraînement proxy au centre et courbe de sélection qui se stabilise progressivement. Palette bleu nuit, ivoire, vert et orange. Aucun texte lisible, logo ou marque de modèle.