La génération de vidéos en temps réel à l'échelle de la minute est arrivée ! Tencent et l'Université technologique de Nanyang brisent ensemble le goulot d'étranglement de la génération de vidéos longues.

Imaginez un scénario dans lequel vous vous promenez dans une rue de la ville en portant des lunettes de réalité augmentée, et l'image devant vous change en temps réel lorsque vous détournez le regard ; ou bien vous êtes immergé dans un jeu à monde ouvert, où votre personnage se déplace librement dans un monde virtuel homogène, et le moteur du jeu doit générer un flux vidéo infiniment long en temps réel.

Ces scénarios imposent des exigences sans précédent à la technologie de génération de vidéos d'IA : non seulement pour générer des vidéos de haute qualité, mais aussi pour maintenir une cohérence à long terme tout en garantissant des performances en temps réel.

Or, il s'agit là du plus grand goulot d'étranglement auquel se heurte aujourd'hui la génération de vidéos par l'IA. Les modèles existants fonctionnent bien dans les films courts de quelques secondes, mais à mesure que la vidéo s'allonge, le problème s'amplifie comme une boule de neige. Ce phénomène est connu sous le nom d'accumulation d'erreurs, comme un jeu de passe-passe dans lequel l'information est déformée couche par couche, et les minuscules erreurs de chaque image sont héritées et amplifiées par la suivante, ce qui conduit finalement à une image effondrée - couleurs à la dérive, mouvements rigides et sujets déformés. ......

Aujourd'hui, la méthode Rolling Forcing, développée conjointement par l'université technologique de Nanyang et le laboratoire ARC de Tencent, nous permet de faire une percée. Elle a réussi à briser le triangle impossible de la génération de vidéos longues en temps réel, en générant en temps réel des flux vidéo de haute qualité au niveau de la minute sur un seul GPU.

Le triangle impossible de la vidéo longue en temps réel

Le domaine de la génération vidéo souffre depuis longtemps d'une contradiction irréconciliable : la difficulté de concilier haute qualité, cohérence et temps réel.

Les méthodes existantes ont leurs limites :

• La génération autorégressive traditionnelle suit strictement la causalité image par image, et le modèle n'est pas en mesure de corriger les erreurs historiques, ce qui entraîne une accumulation d'erreurs au fur et à mesure de l'extension de la vidéo.
• L'approche de la corrosion de l'historique réduit la dépendance à l'égard de l'historique par l'injection de bruit au détriment de la cohérence entre les images, ce qui entraîne des sauts d'images et une dérive à long terme.
• La méthode consistant à prédire les images clés avant d'interpoler réduit l'accumulation d'erreurs, mais sa génération chaotique n'est pas adaptée aux scènes en temps réel.

Ce dilemme a maintenu la génération de vidéos d'IA dans le monde réel des courts métrages, rendant difficile l'évolution vers une véritable expérience interactive en temps réel.

Rolling Forcing : une approche révolutionnaire pour corriger tout en produisant

L'idée centrale du Rolling Forcing est de transformer la génération vidéo d'un processus causal strictement sériel en un processus collaboratif parallèle au sein d'une fenêtre glissante. Cela revient à transformer une chaîne de montage industrielle traditionnelle, où les étapes se succèdent et où les erreurs sont amplifiées pas à pas, en un poste de travail parallèle qui travaille en tandem et qui est calibré les uns par rapport aux autres.

1. réduction du bruit des joints pour les fenêtres roulantes

Le Rolling Forcing utilise une fenêtre coulissante pour l'optimisation conjointe de plusieurs images. Le modèle traite une fenêtre contenant plusieurs images simultanément en une seule propagation vers l'avant, et les images de la fenêtre sont calibrées les unes par rapport aux autres grâce à un mécanisme d'attention réciproque.

Chaque fois que le traitement est terminé, la fenêtre glisse vers l'avant : la première trame est émise comme résultat final et une nouvelle trame de bruit est introduite comme entrée à la fin de la fenêtre, ce qui permet la génération d'un flux continu. Cette conception permet au modèle de corriger dynamiquement les erreurs potentielles dans les trames précédentes au cours du processus de génération, supprimant ainsi efficacement l'accumulation d'erreurs.

2. mécanisme d'évaporation de l'attention

Pour résoudre le problème de la dérive dans la génération de vidéos longues, le forçage par roulement introduit le mécanisme Attention Sink. Ce mécanisme met en cache les images initiales générées en tant qu'ancres globales de manière persistante. Lors de la génération de toutes les images suivantes, le modèle peut accéder à ces ancres initiales, ce qui permet de maintenir efficacement les attributs visuels à long terme de la vidéo, notamment la cohérence du ton, de l'éclairage et de l'apparence du sujet.

3. des algorithmes de formation efficaces

Rolling Forcing a conçu un algorithme efficace de formation à la distillation basé sur des fenêtres qui ne se chevauchent pas. Cet algorithme permet au modèle d'utiliser des images historiques auto-générées au lieu de données réelles pendant le processus d'apprentissage, ce qui simule efficacement la scène réelle pendant l'inférence et atténue le problème du biais d'exposition.

Performance au-delà : la génération minute par minute maintient une qualité élevée

Dans les tests quantitatifs, le Rolling Forcing surpasse les méthodes traditionnelles existantes dans plusieurs domaines clés. Son principal avantage réside dans sa cohérence à long terme, où le paramètre clé ΔDriftQuality, une mesure de la dérive de la qualité vidéo, est beaucoup plus faible que le modèle de comparaison, ce qui prouve qu'il supprime efficacement l'accumulation d'erreurs lors de la génération de vidéos de longue durée.

Dans la comparaison qualitative, l'avantage de Rolling Forcing est encore plus évident. Au cours du processus de génération de 2 minutes, les modèles de comparaison tels que SkyReels-V2 et MAGI-1 ont montré des changements de couleur évidents, une dégradation des détails ou une déformation du sujet, alors que le contenu généré par Rolling Forcing a conservé un haut degré de stabilité en termes de détails, de couleurs et de cohérence du mouvement.

Ce qui est encore plus surprenant, c'est que cette performance de haute qualité ne se fait pas au détriment de la vitesse ; Rolling Forcing atteint une vitesse de génération de 16 fps sur un seul GPU, ce qui est vraiment du temps réel, et pose des bases solides pour les applications interactives.

Génération de vidéos interactives : création de contenu guidée de manière dynamique

La prise en charge de la génération de flux vidéo interactifs est une autre capacité révolutionnaire du Rolling Forcing. Au cours du processus de génération de flux vidéo, les utilisateurs peuvent modifier les invites textuelles à tout moment, et le modèle peut ajuster dynamiquement le contenu généré ultérieurement en fonction des nouvelles instructions, ce qui permet de passer d'un contenu à l'autre et d'être guidé de manière transparente.

Cette capacité ouvre de nouvelles possibilités pour la création de contenu en temps réel. Les créateurs peuvent ajuster les scénarios, les styles de scène ou les mouvements des personnages en temps réel au cours du processus de génération vidéo, sans avoir à attendre que la vidéo soit entièrement terminée pour recommencer. Les éducateurs peuvent ajuster dynamiquement les paramètres des présentations pédagogiques, la formation médicale peut réagir aux actions des stagiaires en temps réel, et les expériences de jeu peuvent être façonnées dynamiquement par le comportement du joueur.

Défis et perspectives d'avenir

Malgré la percée du Rolling Forcing, l'équipe de recherche a eu l'honnêteté de signaler quelques directions qui méritent d'être explorées plus avant :

1. Optimisation du mécanisme de mémoireL'approche actuelle ne conserve que le contexte des images initiales et récentes, et le contenu du segment central est éliminé au cours du processus de génération. À l'avenir, nous devrons explorer des mécanismes de mémoire à longue portée plus efficaces afin de préserver et de rappeler de manière dynamique les informations clés des segments vidéo intermédiaires.
2. Amélioration de l'efficacité de la formationLes grandes fenêtres d'attention avec le calcul de la perte DMD entraînent des coûts de formation élevés. À l'avenir, la complexité du calcul peut être étudiée afin de la réduire sans sacrifier les performances pour faire passer le modèle à une plus grande échelle.
3. Optimisation du temps de latence des interactionsLe mécanisme de la fenêtre déroulante introduit une trace de latence tout en améliorant la qualité. Pour les scénarios d'interaction qui nécessitent une très faible latence, tels que la RV/AR, des stratégies d'inférence plus flexibles doivent être développées.

Open Source et pratique

Heureusement, l'équipe de recherche a publié l'intégralité du code source ouvert, les poids des modèles et une documentation détaillée. Les développeurs n'ont pas besoin d'attendre pour intégrer cette technologie de pointe dans leurs projets.

Adresse du projet :

• Thèse :https://arxiv.org/abs/2509.25161
• Page d'accueil du projet :https://kunhao-liu.github.io/Rolling_Forcing_Webpage/
• Dépôt de code :https://github.com/TencentARC/RollingForcing
• Modèle Huggingface :https://huggingface.co/TencentARC/RollingForcing