Article · IA & agents
Un agent n'a peut-être pas besoin de relire tout son contexte
On-Demand Attention propose une lecture locale suivie d'un rappel global déclenché lorsque le modèle estime qu'il apporte une valeur.
Lire tout n'est pas toujours nécessaire
À chaque étape de génération, l'attention complète relit un historique qui grandit. Dans un agent, cet historique peut contenir des observations, des sorties d'outils et des traces anciennes dont seule une petite partie est utile pour la prochaine décision. Haibo Feng, Ruiqi Liang, Hanyang Peng et Shiqi Yu se demandent si le modèle peut apprendre à décider quand une lecture globale est nécessaire.
Le rappel global à la demande
On-Demand Attention, ou ODA, commence par une lecture locale. Une petite tête de rappel estime ensuite le bénéfice attendu d'une attention globale et ne l'active que lorsque ce bénéfice évolue suffisamment. Les poids du modèle préentraîné restent inchangés ; seule cette tête est entraînée.
Le cache complet reste disponible pour un rappel ultérieur. La méthode ne supprime donc pas l'information historique : elle évite de la parcourir à chaque token. Les auteurs implémentent également une exécution conditionnelle côté GPU dans vLLM pour relier la sélection à un gain pratique de lecture globale.
Résultats rapportés
Le résumé indique des expériences sur des modèles Qwen et Gemma, y compris des architectures à attention hybride. ODA récupère une grande partie des performances perdues avec une attention uniquement locale tout en réduisant sensiblement le nombre de lectures globales. Les gains de vitesse dépendent toutefois de la longueur de contexte et de l'implémentation matérielle.
Interprétation éditoriale : une politique de lecture contrôlable
Pour un agent, la question n'est pas seulement « quel outil appeler ? », mais aussi « quelle partie de la mémoire relire avant d'agir ? ». Un mécanisme de rappel peut réduire le coût des longues traces, à condition d'exposer ses déclenchements et de tester les cas où une information ancienne est décisive.
Une intégration prudente devrait comparer le comportement avec et sans rappel sélectif sur des tâches où la preuve se trouve au début de l'historique. La baisse du coût ne vaut que si les omissions sont mesurées. Il faut donc journaliser la portée de lecture, les rappels globaux et les erreurs de récupération.
Limites et statut de la source
ODA est présenté comme une méthode d'inférence et non comme une garantie de pertinence pour tous les workflows agentiques. Une économie de lecture peut changer la latence, la mémoire GPU ou la qualité selon le modèle et le contexte. Le document est un preprint ArXiv, à reproduire dans l'environnement visé.
Source
Haibo Feng, Ruiqi Liang, Hanyang Peng et Shiqi Yu, « On-Demand Attention: Language Models Know When to Recall », ArXiv 2609.20734v1 : résumé et preprint, PDF. Les indications de performance sont celles du résumé du preprint.