Article · IA & agents
Video DeltaNet : alléger l’attention sans perdre le fil d’une vidéo
Une attention locale Softmax et une mémoire linéaire bidirectionnelle pour réduire le coût de la génération vidéo longue.
Pourquoi remplacer toute l’attention échoue
Dans une génération vidéo longue, l’attention Softmax donne à chaque token accès à toute la séquence, mais son coût croît quadratiquement. La remplacer partout par une mémoire linéaire réduit le coût, au prix d’interactions fines et de cohérence longue portée moins bien conservées. Video DeltaNet répartit donc le travail selon la distance temporelle.
Une architecture hybride
Le modèle garde une fenêtre Softmax locale et deux ancres globales aux extrémités du clip. Le contexte distant passe par deux scans de mémoire linéaire, l’un vers l’avant et l’autre vers l’arrière. Video Delta Attention met à jour cette mémoire récurrente par trame, avec une passerelle de décroissance aux frontières des chunks VAE : les tokens spatiaux d’une même trame sont traités ensemble dans un problème joint, au lieu d’imposer un ordre arbitraire de patches.
L’implémentation décrite emploie des kernels Triton fusionnés pour la préparation, les statistiques, la collecte et l’épilogue, ainsi qu’une exécution distribuée en précision mixte.
Une adaptation en trois étapes aligne d’abord les nouvelles branches sur le backbone préentraîné, puis les entraîne ensemble et ajoute des adaptateurs LoRA. Une distillation réduit ensuite le débruitage de 50 à 8 étapes.
Le compromis mesuré
L’instance VDN-H3 est entraînée sur 10 015 clips de 14,375 secondes en 1344×768 et évaluée sur 103 prompts fixes. Le papier rapporte des mesures de qualité vidéo, de mouvement et de fidélité aux images de condition, comparées à H3 dense et à FastH3.
Sur le protocole d’efficacité, une vidéo de 14,3 secondes en 768p est générée en 6,70 secondes avec huit NVIDIA B200 et huit étapes, soit un facteur annoncé de 14,5× par rapport au H3 dense en 50 étapes sur le même nombre de GPU. Le papier mesure aussi la qualité vidéo, le mouvement, la fidélité de l’endpoint FL2VA et les coûts d’opérateurs sur H200 et B200 ; dans le profil décrit, la préparation passe de 18,0 à 1,6 ms sur H200. Ces chiffres combinent l’architecture hybride et le protocole de distillation : ils ne constituent pas une latence universelle pour toute génération vidéo.
Limites
Les résultats sont centrés sur MiniMax H3, un ensemble d’entraînement, 103 prompts et une configuration matérielle précise. La mémoire linéaire reste de capacité fixe et doit donc préserver des informations globales dans un budget limité. Les ancres, les fenêtres et la distillation introduisent aussi des choix spécifiques au tokenizer et au modèle ; la qualité rapportée ne démontre pas une supériorité sur toutes les architectures vidéo.
Sources
Haocheng Xi, Yiming Xie, Hexu Zhao, Yiwen Zhang, Michael Liu et coauteurs, « Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation », ArXiv 2609.20744v1, consulté le 22 septembre 2026 : résumé et preprint, PDF.