Comparer le parallélisme des modèles de langage diffusifs

Le parallélisme a plusieurs formes

Les modèles de langage diffusifs promettent moins de passes qu'une génération autorégressive token par token. Sitan Chen et Liye Wang comparent de manière fine les paradigmes masqué, uniforme et gaussien, au lieu de supposer que leurs capacités de parallélisme se valent.

La dual total correlation comme échelle

Le résumé établit que les diffusions uniforme et gaussienne peuvent échantillonner en un nombre de passes qui dépend de la dual total correlation de la distribution, mesure de sa complexité intrinsèque parfois bien plus petite que la longueur du contexte. Le travail fournit aussi une séparation prouvée entre les familles dans une classe de mesures empiriques aléatoires.

Résultats théoriques rapportés

Pour cette classe, le résumé annonce que les diffusions uniforme et gaussienne nécessitent et suffisent avec environ une racine carrée de la dimension en passes, tandis qu'une diffusion masquée peut nécessiter un nombre linéaire pour certains oracles de score. La différence vient des fenêtres critiques de génération, et non simplement de l'obligation de fixer des tokens.

Interprétation éditoriale : choisir une architecture selon la dépendance

Pour un agent long contexte, le nombre de passes n'est qu'une partie du coût. La structure des dépendances dans les données et la qualité des oracles déterminent aussi le gain réel. Un benchmark devrait donc mesurer latence, fidélité et consommation sur des distributions où les dépendances sont connues.

Limites et statut de la source

Les séparations sont théoriques et concernent les paradigmes et distributions spécifiés. Elles ne donnent pas directement un classement de tous les modèles diffusifs déployés. Le document est un preprint ArXiv.

Source

Sitan Chen et Liye Wang, « Parallelism, critical windows, and separations among diffusion language models », ArXiv 2609.20539v1 : résumé et preprint, PDF.