Article · IA & agents
Séparer les relations et les mots dans l'attention d'un petit modèle
Relational BabyLM combine attention relationnelle et prédiction latente pour tester la généralisation structurelle avec peu de données.
Comprendre les relations avec peu de données
Les modèles de langage doivent à la fois traiter des caractéristiques lexicales et suivre des relations structurelles. Adrian Brasoveanu, Ece Takmaz et Jakub Dotlačil présentent Relational BabyLM, une soumission au challenge BabyLM qui sépare ces deux rôles dans un Transformer décodeur.
Dual Attention Transformer
Le DAT route les caractéristiques lexicales d'objet d'un côté et les informations relationnelles de l'autre, puis les réintègre. Le système ajoute Next-Latent Prediction, objectif qui encourage les états cachés à condenser progressivement l'historique dans un état de croyance dense. Les variantes d'attention relationnelle testées incluent RA, RCA et DisRCA.
Résultats rapportés
Sur la piste stricte de 100 millions de mots, le meilleur modèle est classé 6e sur 55 au total et 3e sur 55 pour le sous-ensemble NLP au moment décrit. Les deux modèles les plus forts dépassent le baseline GPT-2 sur la plupart des benchmarks, et l'un obtient le meilleur score EWoK de la piste stricte. Le résumé indique que l'architecture est le facteur dominant pour la généralisation structurelle ; NextLat apporte un effet secondaire mais significatif.
Interprétation éditoriale : compresser l'historique sans perdre ses relations
Un agent peut bénéficier d'une mémoire qui conserve les relations entre objets, fichiers ou étapes plutôt qu'une simple concaténation de texte. L'état compact doit toutefois être évalué sur les tâches relationnelles et vérifié contre la trace source. Une bonne moyenne de langage ne prouve pas une bonne mémoire d'état.
Limites et statut de la source
La plupart des groupes ont trois seeds, les configurations ne sont pas toujours appariées et la piste 100M n'est pas entièrement répliquée. Le travail ne rapporte pas la qualité de génération générale. Le document est un preprint ArXiv.
Source
Adrian Brasoveanu, Ece Takmaz et Jakub Dotlačil, « Relational Attention for Data-Efficient Language Modeling », ArXiv 2609.20530v1 : résumé et preprint, PDF.