Vibarche

Article · IA & agents

Génération et modèles multimodaux : image, vidéo, diffusion

Onze travaux sur la diffusion, la generation d'images et de videos et l'evaluation multimodale, et ce que leurs chiffres mesurent reellement.

Publié
Lecture19 min de lecture
CatégorieIA & agents
Sujetsdiffusiongénération d'imagesvidéomultimodalévaluation

Onze preprints, un même point de friction : la génération multimodale progresse plus vite que les moyens de vérifier ce qu'elle produit. Certains de ces travaux décrivent comment écrire plusieurs tokens, plusieurs pixels ou plusieurs trames à la fois sans que la cohérence de l'ensemble se dégrade. D'autres construisent les instruments qui permettent de constater cette dégradation quand elle arrive. Les deux moitiés se répondent, et c'est la raison de les lire ensemble.

Le fil théorique porte sur la diffusion comme mode de génération parallèle. Deux papiers s'y attaquent par les bornes : combien de passes faut-il, et à quelle condition une étape parallèle reste fidèle à la distribution d'entraînement. Un troisième change le backbone sous le modèle diffusif. Un quatrième déplace la question vers le décodage spéculatif, où le choix du chemin d'exécution devient une décision mesurée plutôt qu'une heuristique. Vient ensuite la génération visuelle elle-même : le contrôle fin de la couleur, puis le coût de l'attention sur une vidéo longue. Le dernier groupe rassemble les instruments de mesure et de représentation, du raisonnement temporel audio-visuel à l'évaluation de figures scientifiques, en passant par un graphe d'actions partagé entre un agent et son utilisateur.

Le lecteur en retire surtout une grille de lecture des chiffres. Presque chaque gain annoncé ici est conditionné à un protocole, un matériel, une famille de modèles ou un jeu d'évaluation. Les auteurs le disent eux-mêmes dans leurs sections de limites, et ces limites sont souvent la partie la plus utile du document.

Combien de passes coûte vraiment une diffusion de langage

Les modèles de langage diffusifs promettent moins de passes qu'une génération autorégressive token par token. Sitan Chen et Liye Wang comparent de manière fine les paradigmes masqué, uniforme et gaussien, au lieu de supposer que leurs capacités de parallélisme se valent.

L'échelle de mesure qu'ils retiennent est la dual total correlation de la distribution, une mesure de sa complexité intrinsèque qui peut être bien plus petite que la longueur du contexte. Le résumé établit que les diffusions uniforme et gaussienne peuvent échantillonner en un nombre de passes dépendant de cette quantité. Le travail fournit aussi une séparation prouvée entre les familles, dans une classe de mesures empiriques aléatoires.

Pour cette classe, les diffusions uniforme et gaussienne nécessitent et suffisent avec environ une racine carrée de la dimension en passes. Une diffusion masquée peut en nécessiter un nombre linéaire pour certains oracles de score. La différence vient des fenêtres critiques de génération, et non simplement de l'obligation de fixer des tokens.

Lecture éditoriale : pour un agent long contexte, le nombre de passes n'est qu'une partie du coût. La structure des dépendances dans les données et la qualité des oracles déterminent aussi le gain réel, ce qui plaide pour mesurer latence, fidélité et consommation sur des distributions où les dépendances sont connues.

Les séparations sont théoriques et concernent les paradigmes et distributions spécifiés. Elles ne donnent pas directement un classement de tous les modèles diffusifs déployés. Le document est un preprint ArXiv.

Une confiance par token ne décrit pas une séquence

Les modèles de diffusion discrets écrivent plusieurs positions à chaque étape. Ils tirent chaque token d'une distribution par position et utilisent ces mêmes distributions pour choisir quoi écrire. Russ Webb, Amitis Shidani, Alice Bizeul et Dan Busbridge analysent la limite de cette stratégie lorsque les tokens sont dépendants.

Le résultat théorique présenté indique qu'une étape ne correspond à la distribution d'entraînement que si les positions écrites sont conditionnellement indépendantes compte tenu des tokens déjà fixés. Or deux distributions jointes peuvent avoir les mêmes marges par position tout en autorisant des combinaisons différentes. Une confiance calculée séparément pour chaque position ne révèle donc pas toujours si le groupe de positions peut être écrit ensemble sans déformer la distribution. La limite concerne la structure conjointe, pas la valeur de chaque score.

Sur ScanAndAdd, une tâche synthétique dont la distribution jointe est connue, les auteurs rapportent que chaque groupe d'au moins deux positions indéterminées écrit par un classement de confiance est dépendant. La distorsion mesurée atteint 29 fois le plancher de bruit d'échantillonnage en variation totale, alors que des métriques par échantillon valent 1,0.

Lecture éditoriale : vérifier la confiance de chaque sous-action ne garantit pas que leur combinaison est sûre. Un plan doit aussi être testé comme séquence ou comme état joint, ce qui rejoint les questions de calibration traitées dans le dossier évaluation des LLM et incertitude.

Les expériences reposent en partie sur ScanAndAdd et sur les familles de diffusion étudiées. Les implications pour chaque agent ou modèle doivent être reproduites. Le document est un preprint ArXiv.

dQwen3.5 et le choix du backbone sous un modèle diffusif

L'adaptation d'un modèle autorégressif en modèle diffusif commence souvent avec un transformer à attention complète. dQwen3.5 étudie une autre base : une architecture hybride qui alterne attention et couches récurrentes.

Le papier adapte Qwen3.5 aux échelles 0,8B, 2B, 4B et 9B. Les couches récurrentes sont causalement structurées, donc l'adaptation doit gérer leur compatibilité avec une attention bidirectionnelle. Le protocole conserve l'alignement de lecture autorégressive grâce au décalage des tokens, puis entraîne le modèle dans un cadre de diffusion masquée.

Par rapport à un contrôle à attention complète, le backbone hybride atteint un niveau de perte donné avec environ deux fois moins de tokens dans l'expérience principale. Les auteurs rapportent aussi un comportement de décodage dans n'importe quel ordre comparable à celui de modèles diffusifs à attention complète, ainsi que de bonnes performances en décodage parallèle. Le document insiste sur le coût d'une adaptation excessive : les tableaux comparent des checkpoints à 50 et 100 milliards de tokens et montrent que prolonger l'adaptation n'améliore pas systématiquement chaque modèle.

Lecture éditoriale : une architecture hybride se juge sur deux axes distincts, le coût d'entraînement et la vitesse de génération. La génération parallèle n'est utile que si la baisse du nombre d'étapes ne dégrade pas la qualité sur les tâches visées.

Les comparaisons portent sur les familles et recettes choisies par les auteurs. Un gain de tokens n'est pas automatiquement un gain de coût total, puisqu'il faut inclure accélérateurs, mémoire, étapes de décodage et checkpoints retenus.

SwitchSD : savoir si un modèle est en train de copier

Le décodage spéculatif accélère un grand modèle en faisant proposer des tokens par un brouillon. Une stratégie peut copier des séquences du contexte, mais un simple chevauchement de n-grammes confond parfois répétition accidentelle et véritable intention de copier. Roy Eisenstadt, Ido Cohen, Edo Cohen-Karlik, Lior Wolf et Itamar Zimerman proposent SwitchSD pour distinguer ces cas.

SwitchSD entraîne de petites sondes sur les représentations internes du modèle cible afin de détecter une intention de copie. Le système choisit alors dynamiquement entre un brouillon neuronal, comme EAGLE, et une copie fondée sur le contexte. La copie devient un régime contrôlé plutôt qu'une heuristique déclenchée par une ressemblance de surface.

Le résumé annonce une AUC supérieure à 0,99 pour la détection d'intention de copie. Sur les familles Llama et Qwen, les auteurs rapportent jusqu'à 15 % de débit supplémentaire par rapport à des baselines comme EAGLE3.

Lecture éditoriale : un agent long contexte peut lui aussi choisir entre réutiliser une preuve récente, relire le contexte ou appeler un modèle plus coûteux. La décision gagne à être fondée sur un signal testé et sur une politique de repli, car une heuristique rapide qui déclenche trop souvent le mauvais chemin annule son propre gain. Le contrôle doit rester observable : journaliser la stratégie choisie, la confiance de la sonde, le coût et la qualité finale.

Les gains sont mesurés sur les familles et jeux de données du preprint. Une sonde peut être sensible au domaine, au modèle ou à la température.

Paint-Anything : une couleur hexadécimale comme instruction

Demander « un objet bleu » ne suffit pas toujours à un designer. Paint-Anything étudie une interface où la couleur cible est écrite directement sous la forme d'une valeur RGB hexadécimale, par exemple une balise de couleur associée à un objet dans le prompt. Le même modèle traite la génération et l'édition d'images.

Les auteurs entraînent un modèle avec des exemples de génération et d'édition au niveau de l'objet. Leur pipeline Paint-500K utilise un grounding d'objets, des masques et une estimation de couleur en espace CIELAB. Les ombres rendent les couleurs des photographies approximatives, donc des images de couleur unie dont les pixels correspondent exactement à la valeur RGB demandée servent d'ancres. Elles ne sont utilisées qu'à fort niveau de bruit, tandis que les images naturelles couvrent toute la trajectoire de débruitage.

Le benchmark ACBench sépare génération texte-image et édition. Sur FLUX.2-4B, les auteurs rapportent une amélioration relative de 85,3 % sur ACBench-T2I et de 28,3 % sur ACBench-Edit par rapport au modèle de base, ainsi que la meilleure moyenne parmi les méthodes comparées sur CompColor.

Lecture éditoriale : une chaîne de création pourrait vérifier séparément que le modèle a compris le code, l'a lié au bon objet et a conservé les autres éléments de l'image, puis envoyer les cas ambigus en revue humaine. L'intérêt est l'interface unifiée, pas la promesse d'une couleur constante sous toutes les lumières.

Le texte est un preprint ArXiv. Les labels issus d'images réelles restent approximatifs et les résultats portent sur les benchmarks annoncés par les auteurs. Ils ne constituent pas une certification de fidélité pour une marque ou un produit.

Video DeltaNet : répartir l'attention selon la distance temporelle

Dans une génération vidéo longue, l'attention Softmax donne à chaque token accès à toute la séquence, mais son coût croît quadratiquement. La remplacer partout par une mémoire linéaire réduit le coût, au prix d'interactions fines et d'une cohérence longue portée moins bien conservées. Video DeltaNet répartit donc le travail selon la distance temporelle.

Le modèle garde une fenêtre Softmax locale et deux ancres globales aux extrémités du clip. Le contexte distant passe par deux scans de mémoire linéaire, l'un vers l'avant et l'autre vers l'arrière. Video Delta Attention met à jour cette mémoire récurrente par trame, avec une passerelle de décroissance aux frontières des chunks VAE : les tokens spatiaux d'une même trame sont traités ensemble dans un problème joint, au lieu d'imposer un ordre arbitraire de patches. L'implémentation décrite emploie des kernels Triton fusionnés et une exécution distribuée en précision mixte. Une adaptation en trois étapes aligne les nouvelles branches sur le backbone préentraîné, les entraîne ensemble, puis ajoute des adaptateurs LoRA. Une distillation réduit ensuite le débruitage de 50 à 8 étapes.

L'instance VDN-H3 est entraînée sur 10 015 clips de 14,375 secondes en 1344×768 et évaluée sur 103 prompts fixes. Une vidéo de 14,3 secondes en 768p est générée en 6,70 secondes avec huit NVIDIA B200 et huit étapes, soit un facteur annoncé de 14,5× par rapport au H3 dense en 50 étapes sur le même nombre de GPU. Dans le profil décrit, la préparation passe de 18,0 à 1,6 ms sur H200.

Les résultats sont centrés sur MiniMax H3, un ensemble d'entraînement, 103 prompts et une configuration matérielle précise. La mémoire linéaire reste de capacité fixe et doit préserver des informations globales dans un budget limité.

AVTrace : décrire une vidéo n'est pas la localiser

Un modèle peut produire une phrase qui ressemble à la référence sans identifier le bon moment dans une vidéo. AVTrace, pour « Audio-Visual Temporal Reasoning Assessment and Capability Evaluation », construit un diagnostic autour de cette différence. Le benchmark couvre sept familles de tâches : début d'événement, intervalle temporel, vérification de synchronisation audio-vidéo, prédiction de l'étape suivante, localisation intermodale, parsing de chaînes et compréhension conditionnée par un événement.

AVTrace contient 34 114 exemples d'entraînement, un développement de 3 500 exemples et un test de 7 000 exemples. Les auteurs évaluent cinq modèles omni ouverts dans leurs configurations d'entrée respectives, puis normalisent les réponses avant un scoring déterministe. Les systèmes ne reçoivent pas nécessairement la même fréquence d'images, la même fenêtre audio ou le même budget de média : le résultat caractérise une chaîne modèle-interface, pas un nombre abstrait de paramètres.

Les cinq systèmes évalués restent sous le baseline de majorité du test, fixé à 0,556, sur la vérification de synchronisation. Les scores sont également faibles sur le parsing de chaînes et sur la localisation ou compréhension conditionnée par événement. Un post-entraînement à paramètres efficaces améliore Gemma4-E4B-it sur plusieurs métriques. Les perturbations du développement montrent une sensibilité à la suppression de modalités, à l'ordre des images et à la configuration d'échantillonnage de Qwen3-Omni-30B, sans que cette sensibilité révèle à elle seule la cause interne de l'erreur.

Les références sont dites silver-standard et plusieurs étapes sont assistées par des modèles. Les interfaces d'entrée diffèrent entre systèmes et la couverture linguistique reste incomplète. Les auteurs demandent un sous-ensemble vérifié par des humains avant d'en tirer des conclusions plus fortes.

Juger une figure scientifique avec une mémoire de références

Une figure scientifique peut être lisible tout en étant fausse, incomplète ou incohérente. Le preprint sépare donc deux dimensions, la compréhension de ce que montre l'image et sa qualité perceptuelle et scientifique, et traite les deux pistes du challenge SIQA : SIQA-U, orientée questions-réponses, et SIQA-S, orientée notation continue.

Le système construit un index multimodal. Un index textuel encode la classe, la catégorie et la question avec text-embedding-3-large, puis stocke les vecteurs dans Qdrant avec les réponses et explications disponibles. ColPali produit en parallèle des représentations par patch de 128 dimensions, environ 1 000 vecteurs par image, afin de conserver des détails comme les légendes, axes et barres d'échelle. Le filtrage commence par le domaine scientifique. Pour les questions yes/no et what, le système fusionne une recherche sémantique et une recherche visuelle guidée par le texte ; pour les questions how, il ajoute une recherche image-vers-image pondérée davantage, applique une fusion RRF et conserve cinq références. La piste SIQA-S repose uniquement sur les références visuelles et leurs deux scores. GPT-5.4 reçoit les exemples récupérés et l'image à évaluer, avec une température nulle.

Sur SIQA-U, l'équipe DB_Team arrive première avec un score final de 51,88 %, soit 53,95 % pour yes/no, 78,86 % pour what et 34,87 % pour how, contre 42,79 % pour la baseline officielle. Sur SIQA-S, elle se classe sixième avec 87,90 ; les corrélations SRCC/PLCC sont de 0,8352/0,8647 pour la perception et 0,9097/0,9065 pour la connaissance, et la première place atteint 92,99. Les cas qualitatifs incluent des images nettes mais scientifiquement incohérentes et des conflits discrets entre repères visuels et libellés. Le mécanisme de récupération est détaillé plus largement dans le dossier RAG et recherche d'information.

Les résultats sont ceux d'un challenge et d'un jeu de données précis. Le système utilise plusieurs composants lourds, ColPali, Qdrant et GPT-5.4, et les expériences sont rapportées sur un serveur équipé d'une seule RTX 4090 ; la reproductibilité opérationnelle et le coût à plus grande échelle restent à établir.

Semantic Action Graph : partager la représentation, pas seulement la réponse

Un agent qui sélectionne et raconte des moments vidéo travaille souvent sur des frames ou des représentations peu structurées. Tica Lin, Deepak Chandran, Gauri Jagatap, Chen Chen, Andrea Fanelli, David Gunawan et Josh Kimball proposent un graphe d'actions sémantique pour rendre ces décisions plus faciles à vérifier et à orienter.

Le graphe représente un match par des nœuds de performeur, action, destinataire, moment et état, reliés par des arêtes de rôle, de temps et de résultat. Il vise trois propriétés : des séquences d'événements connectées, un vocabulaire fermé et des moments adressables par frame. Les auteurs l'intègrent dans SportSAGE, une chaîne de sélection et narration de highlights couplée à une interface graphique. Le même objet sert donc à composer la sortie de l'agent et à permettre à un humain de chercher, naviguer et interpréter les preuves.

Le retour exploratoire de 12 amateurs de football indique une satisfaction à l'égard des highlights et des narrations générés. Les participants utilisent aussi l'interface du graphe pour rechercher et comprendre des moments du match.

Lecture éditoriale : un agent est plus facile à piloter lorsque l'utilisateur peut inspecter les objets qui ont conduit à la sortie. Pour un agent documentaire, ce peut être un graphe de claims et de sources ; pour un agent de code, une chaîne de fichiers et de tests. Le schéma doit rester assez petit pour être vérifiable et assez riche pour représenter les relations qui comptent, un arbitrage que reprend le dossier agents, architecture et outils.

Le domaine étudié est le football et l'étude utilisateur est exploratoire. Un vocabulaire fermé peut omettre des événements ou des préférences hors domaine.

JEPA-Anything : un même principe prédictif pour plusieurs mondes

Un agent doit souvent anticiper les conséquences d'une intervention, mais les régularités changent entre une image, une trajectoire clinique, un système de contrôle ou une dynamique moléculaire. Taoyong Cui, Zhongyao Wang, Xinyue Xu et leurs coauteurs proposent JEPA-Anything pour tester un principe commun.

Le framework repose sur l'orthogonal predictive factorization. Des facteurs complémentaires de la cible latente sont appris par des chemins dédiés puis recombinés dans une architecture prédictive partagée. La proposition cherche à séparer les composantes utiles avant de les réunir pour la prédiction.

Les auteurs évaluent sept domaines, dix tâches de dynamique appariées, plus de 1 000 événements cliniques et des déroulements moléculaires de 100 pas. Par rapport à des baselines JEPA appariées, le résumé annonce de meilleurs scores sur les dix tâches de dynamique et une réduction de 34,8 % de l'erreur de prédiction d'intervention sur Interventional Pong. Il rapporte aussi les meilleures erreurs à un et 100 pas dans quatre systèmes moléculaires.

Lecture éditoriale : une représentation prédictive partagée peut aider un agent à simuler des conséquences avant d'agir, sans devenir un oracle de décision. Les domaines, les observations et les coûts d'erreur restent spécifiques, et une simulation doit être comparée à un état réellement observé après l'action.

Les résultats sont bornés aux domaines et modèles évalués. Les résultats biologiques annoncés demandent une lecture attentive du protocole expérimental et ne constituent pas une preuve générale de découverte scientifique autonome ; les mêmes précautions valent pour le dossier IA, sciences et santé. Le document est un preprint ArXiv.

Prononcer le japonais sans segmenter trop tôt

Pour lire des kanji, une analyse morphologique erronée peut propager une mauvaise lecture. Les auteurs relâchent cette contrainte : un chemin du treillis est acceptable s'il produit la lecture complète correcte, même si sa segmentation n'est pas celle d'un analyseur classique. La conversion graphème-phonème devient alors une recherche structurée plutôt qu'une suite de décisions locales.

Le système combine un treillis de mots construit avec UniDic, un encodeur japonais DeBERTa et un score neuronal entraîné par une perte CRF, complétée par une marge entre lectures concurrentes. Des phrases sont générées par Gemini 3.1 Pro puis filtrées par couverture du treillis.

Sur 13 536 phrases du benchmark Joyo-Kanji-Yomi, le modèle atteint 99,62 % d'exactitude, 0,32 % de taux d'erreur sur le mot cible et 0,14 % sur la phrase. MeCab + UniDic atteint 96,66 % d'exactitude et l'oracle du treillis atteint 100 %. L'écart résiduel de phrase vient surtout des chiffres arabes.

Lecture éditoriale : la leçon dépasse la lecture japonaise, puisque préserver plusieurs hypothèses structurées peut être préférable à une décision précoce irréversible. Le modèle reste un composant de conversion, pas une preuve que les données générées par un autre LLM sont toujours exactes.

Les noms propres sont exclus du filtrage, et les chiffres, unités et mots latins sont moins bien couverts. L'évaluation porte sur un benchmark de kanji d'usage courant et ne mesure pas toutes les variétés de texte japonais.

Ce qui se recoupe entre ces travaux

Le thème le plus insistant est la décision parallèle et son prix. Chen et Wang montrent que le nombre de passes nécessaire dépend de la complexité intrinsèque de la distribution, mesurée par la dual total correlation, et que les paradigmes de diffusion ne sont pas interchangeables sur ce point. Webb, Shidani, Bizeul et Busbridge donnent la contrepartie : écrire plusieurs positions à la fois n'est fidèle à l'entraînement que sous une condition d'indépendance conditionnelle, et une confiance par position ne permet pas de vérifier cette condition. Les deux papiers disent donc la même chose depuis deux angles : la structure des dépendances, et non le nombre d'étapes, détermine ce qui peut être décidé ensemble.

Le même arbitrage réapparaît dans l'ingénierie. Video DeltaNet ne cherche pas à supprimer l'attention Softmax mais à la réserver au voisinage temporel, et admet que sa mémoire linéaire reste de capacité fixe. dQwen3.5 constate qu'un backbone hybride atteint une perte donnée avec environ deux fois moins de tokens, tout en montrant que prolonger l'adaptation de 50 à 100 milliards de tokens n'améliore pas systématiquement chaque modèle. SwitchSD, de son côté, remplace une heuristique de surface par une sonde interne dont l'AUC dépasse 0,99 et rapporte jusqu'à 15 % de débit supplémentaire. Dans les trois cas, l'accélération est obtenue par une allocation différenciée du calcul, pas par une simplification uniforme.

Le second recoupement concerne l'évaluation, et il est plus inquiétant. AVTrace constate que cinq modèles omni restent sous le baseline de majorité de 0,556 sur la vérification de synchronisation, et que leurs scores varient avec la fréquence d'images ou l'ordre des entrées. Le système SIQA obtient 51,88 % sur SIQA-U avec 34,87 % seulement sur les questions how, ce qui dit quelque chose sur la difficulté des jugements causaux à propos d'une figure. Le pipeline japonais atteint 99,62 % mais face à un oracle de treillis à 100 %, donc l'écart restant est localisé et nommé. Ces trois travaux refusent la note unique et décomposent la mesure, ce que Paint-Anything fait aussi en séparant ACBench-T2I, où il rapporte 85,3 % d'amélioration relative, et ACBench-Edit, où il en rapporte 28,3 %.

Deux tensions restent ouvertes. D'abord le statut des références : AVTrace qualifie les siennes de silver-standard et demande un sous-ensemble vérifié par des humains, SIQA signale l'absence de labels de test pour son analyse qualitative, Paint-Anything admet que les couleurs extraites de photographies sont approximatives à cause des ombres. Un benchmark construit en partie par des modèles mesure donc autant l'accord entre modèles que la vérité. Ensuite l'échelle de validité : JEPA-Anything annonce une réduction de 34,8 % de l'erreur d'intervention sur Interventional Pong et de bons résultats sur quatre systèmes moléculaires, mais ses auteurs bornent explicitement ces conclusions aux domaines évalués. Semantic Action Graph repose sur 12 participants dans un seul sport. On ne sait pas, à partir de ces documents, lesquels de ces gains survivent à un changement de domaine, de matériel ou de protocole d'entrée. Tous sont des preprints.

Sources