Article · Cybersécurité
Interpréter un modèle sans supposer qu'il pense avec nos concepts
Xeno-Interpretability propose de rechercher des représentations natives du modèle même lorsque leur sens ne correspond à aucun concept humain simple.
Les concepts humains ne sont pas tout l'espace
Les analyses de LLM cherchent souvent des notions humaines comme la vérité, le refus ou la tromperie. F. Pierucci, M. Bracale Syrnikov, M. Prandi, M. Galisai, F. Giarrusso et P. Bisconti posent une question plus radicale : un modèle peut-il utiliser des distinctions pour lesquelles nous n'avons pas de concept adéquat ?
Un programme de xeno-interprétabilité
Le texte appelle ces structures des xeno-représentations et distingue l'espace sémantique interprétable par l'humain de l'espace sémantique propre au modèle. Il sépare aussi l'identification expérimentale de l'interprétation : une représentation peut être localisée, caractérisée géométriquement, manipulée causalement et reliée à un comportement sans que son contenu soit encore traduisible en mots humains fiables.
Résultats et propositions
Le preprint développe un argument sur la taille de l'espace des distinctions internes possibles, puis esquisse un programme empirique pour les identifier. Il examine les conséquences pour la sécurité et les systèmes multi-agents, où des représentations natives pourraient se propager entre modèles tout en restant partiellement invisibles dans la communication lisible.
Interprétation éditoriale : l'absence d'explication n'est pas une absence de mécanisme
Pour un agent, un résumé humain compréhensible reste utile mais ne doit pas être traité comme une cartographie complète de l'état interne. Les contrôles de sécurité devraient donc associer interprétation, interventions causales, tests de comportement et observation des échanges entre agents.
L'idée pousse aussi à la prudence face aux explications convaincantes. Une sortie lisible peut être une projection partielle d'un mécanisme qui n'est pas encore compris.
Limites et statut de la source
Le document propose un cadre et un programme de recherche plus qu'une taxonomie empirique complète de xeno-représentations. Il ne fournit pas une méthode générale de détection prête à déployer. C'est un preprint ArXiv.
Source
F. Pierucci, M. Bracale Syrnikov, M. Prandi, M. Galisai, F. Giarrusso et P. Bisconti, « Xeno-Interpretability: Investigating the Alien Minds of LLMs », ArXiv 2609.20408v1 : résumé et preprint, PDF.