Article · IA & agents
Récupérer une personne par texte avec des encodeurs presque gelés
SCOUT prédit un espace d'embeddings texte à partir de caractéristiques vidéo gelées pour réduire le coût du retrieval personne texte entre données synthétiques et images réelles.
Un écart entre synthétique et réel
Le retrieval personne par description textuelle doit retrouver une image dans une galerie, alors que l'entraînement peut reposer sur des images synthétiques et l'évaluation sur des photographies réelles. Les cross-encodeurs sont précis mais coûteux, car ils doivent examiner chaque paire texte-image candidate.
Résultats rapportés
SCOUT garde V-JEPA et l'encodeur texte gelés et entraîne un prédicteur initialisé depuis Qwen3.5-0.8B avec une perte InfoNCE bidirectionnelle. Un score d'alignement sans entraînement classe trois encodeurs texte dans le même ordre que leur précision sur le split de validation, avec une corrélation de Spearman de 1,0 ; un quatrième encodeur LLM montre que ce résultat dépend de la métrique. Une adaptation ExPLoRA et un reranker par attribut ajoutent ensemble 2,2 points de R@1. Sur AI City Challenge 2026 Track 4, le système complet annonce 84,25 mAP@10 contre 60,63 pour un modèle gelé seul, avec environ 95 heures-GPU pour les composants entraînés.
Interprétation éditoriale
Le papier suggère une stratégie d'ingénierie sobre : choisir d'abord une géométrie d'embedding compatible, puis réserver les composants coûteux au reranking d'une courte liste. Le score d'alignement peut servir de filtre expérimental, pas de garantie universelle de transfert.
Limites
Le résultat complet inclut un membre cross-encodeur CMP dans la fusion ; il ne faut pas le présenter comme un système qui l'aurait entièrement supprimé. Les corrélations changent selon la métrique, le domaine est la personne-texte et le protocole de challenge ne remplace pas une évaluation sur tous les catalogues.
Sources
Résultats des auteurs : résumé ArXiv · PDF. La stratégie d'architecture est une interprétation éditoriale.