Article · IA & agents
Un graphe d'actions pour rendre un agent vidéo contrôlable
Semantic Action Graph relie événements, acteurs, moments et états dans un schéma lisible par l'agent comme par l'utilisateur.
Sortir des images isolées
Un agent qui sélectionne et raconte des moments vidéo travaille souvent sur des frames ou des représentations peu structurées. Tica Lin, Deepak Chandran, Gauri Jagatap, Chen Chen, Andrea Fanelli, David Gunawan et Josh Kimball proposent un graphe d'actions sémantique pour rendre les décisions plus faciles à vérifier et à orienter.
Un schéma partagé
Le graphe représente un match par des nœuds de performeur, action, destinataire, moment et état, reliés par des arêtes de rôle, de temps et de résultat. Il vise trois propriétés : des séquences d'événements connectées, un vocabulaire fermé et des moments adressables par frame.
Les auteurs l'intègrent dans SportSAGE, une chaîne de sélection et narration de highlights couplée à une interface graphique. Le même objet sert donc à composer la sortie de l'agent et à permettre à un humain de chercher, naviguer et interpréter les preuves.
Résultats rapportés
Le retour exploratoire de 12 amateurs de football indique une satisfaction à l'égard des highlights et des narrations générés. Les participants utilisent aussi l'interface du graphe pour rechercher et comprendre des moments du match.
Interprétation éditoriale : partager la représentation, pas seulement la réponse
Un agent est plus facile à piloter lorsque l'utilisateur peut inspecter les objets qui ont conduit à la sortie. Pour un agent documentaire, cela peut être un graphe de claims et de sources ; pour un agent de code, une chaîne de fichiers et de tests. Le schéma doit rester assez petit pour être vérifiable, mais assez riche pour représenter les relations qui comptent.
Limites et statut de la source
Le domaine étudié est le football et l'étude utilisateur est exploratoire. Un vocabulaire fermé peut omettre des événements ou des préférences hors domaine. Le document est un preprint ArXiv.
Source
Tica Lin, Deepak Chandran, Gauri Jagatap, Chen Chen, Andrea Fanelli, David Gunawan et Josh Kimball, « Semantic Action Graph: A Shared Representation for Agent Grounding and Human Interpretation of Sports Highlights », ArXiv 2609.20768v1 : résumé et preprint, PDF.