Défenses universelles pour les agents LLM outillés face aux attaques adversariales

Le problème des agents outillés

Un agent LLM qui répond uniquement par du texte peut déjà être influencé par une consigne malveillante. Un agent qui appelle des API, consulte une base, utilise un moteur de recherche ou lance une autre action ajoute cependant une surface de risque. Une instruction adversariale ne cherche plus seulement à modifier une phrase : elle peut tenter d’orienter le choix d’un outil, le contenu d’un plan ou l’ordre des opérations. L’impact potentiel dépend donc de la frontière entre le modèle et les outils qui l’entourent.

Le preprint étudié part de cette observation et regroupe quatre familles d’attaques : l’injection directe de prompt, l’injection indirecte, l’empoisonnement de mémoire et les portes dérobées. Elles ont des formes différentes, mais exploitent une faiblesse commune : l’agent peut confondre une information ou une instruction contrôlée par l’attaquant avec un élément légitime de la tâche. Les auteurs cherchent une protection suffisamment modulaire pour ne pas devoir concevoir une défense entièrement différente pour chaque famille.

Deux points de contrôle des outils

La première idée consiste à déplacer une partie de la défense hors du texte produit par le modèle. Le système peut examiner les outils disponibles et agir sur cette interface avant que l’agent ne planifie son action.

La première méthode, Attacker Tool Filtering, ou ATF, utilise une détection d’anomalies pour repérer les outils suspects et les retirer. L’étude cite notamment un Isolation Forest. L’objectif n’est pas de décider si toute la demande est malveillante, mais de réduire la capacité d’un outil compromis ou injecté à entrer dans la chaîne de planification.

La seconde méthode, Normal Tool Recalling, ou NTR, suppose que l’agent dispose d’un ensemble normal d’outils connu et de confiance. Avant la planification, elle restaure cet ensemble de référence. Cette approche est dite white-box dans le papier : elle exploite une connaissance interne de la configuration attendue plutôt que de se limiter à observer le texte entrant.

Ces deux mécanismes ne répondent pas exactement à la même question. ATF essaie d’identifier ce qui paraît anormal dans les outils proposés. NTR demande plutôt : « quels outils l’agent devrait-il normalement avoir à cette étape ? » Cette distinction est importante dans les environnements où un outil ajouté récemment peut être légitime, mais où la configuration de référence reste suffisamment stable pour être vérifiée.

Les protections au niveau du prompt

Les auteurs combinent les contrôles d’outils avec trois techniques de prompt. Le raisonnement structuré, présenté comme Chain-of-Thought dans l’étude, cherche à faire expliciter les étapes de décision. La paraphrase reformule la tâche afin de réduire l’influence d’une injection qui dépend de sa formulation initiale. L’auto-réflexion ajoute une étape de contrôle pendant laquelle l’agent réexamine sa décision et les outils qu’il s’apprête à utiliser.

Le papier ne présente pas ces techniques comme des garanties isolées. Leur intérêt vient de la combinaison avec ATF ou NTR. La couche texte peut aider le modèle à conserver l’objectif bénin, tandis que la couche outil réduit les possibilités d’action disponibles. Cette séparation rappelle un principe général de sécurité : ne pas confier toute la décision de contrôle à la même représentation qui peut être manipulée.

Comment l’efficacité est mesurée

L’évaluation repose sur le framework ASB et sur dix agents LLM spécialisés. Le jeu de données comprend, pour chaque agent, 400 tâches : 200 attaques et 200 tâches non agressives. Les expériences couvrent quatre modèles ouverts — Gemma2-9B, Qwen2-7B, LLaMA3-8B et LLaMA3.1-8B — ainsi que GPT-3.5, GPT-4 et GPT-5 pour les modèles propriétaires.

Deux mesures structurent la lecture des résultats. Le taux de succès de l’attaque, ou ASR, mesure la proportion de tâches où l’agent utilise avec succès les outils liés à l’attaque. Le taux de succès de la tâche originale, ou OTSR, mesure la proportion de tâches bénignes correctement réalisées. Une défense utile doit donc réduire l’ASR sans simplement rendre l’agent incapable de travailler.

Pour les injections directes, les auteurs testent plusieurs variantes, dont l’ajout d’instructions malveillantes, l’utilisation de caractères d’échappement, les formulations qui demandent d’ignorer le contexte et les faux messages de fin de tâche. L’empoisonnement de mémoire combine certaines de ces stratégies. Les portes dérobées utilisent des déclencheurs textuels ou non textuels dans un scénario de planification.

Ce que les résultats montrent

La méthode NTR combinée à la paraphrase, au raisonnement structuré et à l’auto-réflexion est généralement la plus régulière dans les tableaux rapportés. Dans les expériences d’injection directe, elle ramène l’ASR à zéro pour GPT-3.5 et GPT-4, tandis que les modèles ouverts bénéficient eux aussi de baisses importantes. Pour l’injection indirecte, NTR atteint une ASR proche de zéro sur presque tous les modèles testés, mais la conservation de la tâche originale varie davantage pour les modèles GPT.

Le résultat le plus net concerne l’empoisonnement de mémoire : NTR atteint une ASR nulle pour tous les modèles du tableau correspondant. Cette robustesse ne signifie pas que le système réussit tout le reste. L’OTSR progresse pour plusieurs petits modèles, mais diminue pour les modèles GPT. La suppression de la capacité d’attaque peut donc s’accompagner d’une perte d’utilité.

Pour les portes dérobées, NTR reste la meilleure option dans l’évaluation rapportée. Les modèles ouverts obtiennent souvent à la fois une baisse de l’ASR et une amélioration de l’OTSR. Les modèles GPT montrent au contraire un compromis plus marqué : les défenses réduisent fortement l’attaque, mais peuvent aussi perturber l’exécution de la tâche bénigne.

Le cas de GPT-5 est particulièrement instructif. Dans l’appendice, NTR seul atteint une ASR nulle pour les quatre scénarios évalués. Pourtant, l’ajout de plusieurs protections de prompt peut faire chuter presque à zéro l’OTSR. Une défense plus longue n’est donc pas automatiquement une défense meilleure. Le résultat suggère qu’il faut mesurer séparément la résistance et la préservation de la fonction.

Comment lire ces résultats

Le mot « universel » doit être compris avec prudence. Les auteurs proposent une architecture commune aux quatre familles d’attaques, pas une garantie indépendante du modèle, du domaine et de la configuration. ATF et NTR ne sont efficaces que si les signaux d’anomalie ou l’ensemble d’outils de référence sont suffisamment fiables. Une configuration de confiance incorrecte peut supprimer un outil légitime ou préserver un mauvais outil.

Les résultats montrent également que la robustesse et l’utilité ne progressent pas toujours ensemble. Une baisse d’ASR accompagnée d’une baisse d’OTSR peut correspondre à un agent qui refuse ou évite trop de tâches. Dans un système réel, cette situation doit être visible dans les tableaux de suivi plutôt que masquée derrière un seul score de sécurité.

Une autre précaution concerne l’usage du raisonnement explicite. Faire produire davantage d’étapes ne transforme pas automatiquement ces étapes en mécanisme de contrôle indépendant. La réflexion du modèle reste une sortie générée et peut être influencée par le même contexte. Dans cette étude, elle est intéressante comme couche complémentaire, mais les contrôles sur les outils portent une contrainte plus directement vérifiable.

Limites de l’étude

Le papier évalue ses défenses dans le framework ASB et sur des scénarios contrôlés. Les auteurs indiquent ne pas avoir testé l’approche dans des environnements dynamiques. Les résultats ne démontrent donc pas que la même combinaison conserverait son efficacité face à des chaînes d’outils plus longues, des changements fréquents de configuration ou des interactions imprévues avec des systèmes externes.

La sensibilité des modèles GPT aux interventions défensives constitue une limite pratique importante. Le même mécanisme qui supprime l’attaque peut empêcher l’agent de retenir l’objectif initial. Les tableaux montrent aussi que les performances d’ATF sont moins régulières que celles de NTR selon le modèle et la famille d’attaque. Enfin, le framework et ses tâches ne couvrent pas toutes les formes d’agents, de mémoire ou de permissions possibles.

Une architecture de défense en profondeur

La leçon la plus transférable est architecturale. Une défense d’agent ne devrait pas reposer sur un seul prompt qui demande au modèle de distinguer le bon du mauvais. Le contrôle peut être réparti entre une configuration d’outils de référence, une détection des ajouts suspects, une reformulation de la tâche et une vérification de la décision. Chaque couche apporte un signal différent et ses propres erreurs peuvent être mesurées.

Cela ne dispense pas d’un contrôle d’autorisation classique. Les résultats portent sur l’usage des outils et sur la réussite des tâches, pas sur une autorisation métier complète. Les opérations sensibles doivent donc rester soumises à des permissions, des validations et des journaux indépendants de la sortie du modèle. Le papier fournit une stratégie de réduction de risque pour les agents outillés ; il ne remplace ni une politique d’accès ni une revue de déploiement.

Cette séparation aide aussi à diagnostiquer les échecs. Si l’ASR augmente, il faut pouvoir distinguer un outil anormal laissé dans la configuration, une reformulation inefficace ou une erreur de planification. Si l’OTSR baisse, la cause peut être une restauration trop restrictive ou une accumulation d’instructions défensives. Les métriques du papier invitent à conserver ces dimensions séparées au lieu de les agréger dans un score unique.

La modularité facilite enfin la comparaison entre modèles. Une même protection peut être favorable à Gemma2 ou LLaMA et perturber GPT-3.5 ou GPT-4. L’évaluation doit donc être répétée avec la configuration et le modèle réellement déployés. Les performances rapportées constituent un point de départ expérimental, pas une valeur que l’on peut transférer automatiquement à un autre agent.

Statut et sources

Cette publication est un preprint ArXiv : ses résultats doivent être lus comme une étude expérimentale rapportée par ses auteurs, et non comme une certification de sécurité ou une garantie de déploiement. Les taux cités dépendent du framework, des modèles, des tâches et des configurations évalués.

Xiaoyan Li et Yunli Wang, « Universal Defenses for Tool-Integrated LLM Agents Against Adversarial Attacks », ArXiv 2609.16098v1, consulté le 21 septembre 2026 : preprint, PDF.