Comment évolue la technologie de génération de vidéos par IA ?

Le développement de la technologie de génération vidéo par l'IA est comme une fusée. De l'année dernière à cette année, les changements dans ce domaine sont si rapides que les gens sont éblouis. Je me souviens que l'année dernière, lorsque l'OpenAI a lancé Sora, nous nous sommes tous émerveillés de voir que l'IA pouvait générer des vidéos aussi réalistes, mais nous ne pensions pas qu'aujourd'hui le Baidu MuseSteamer pouvait générer de l'audio et de la vidéo de manière synchrone. Pour être honnête, ce rythme de progression me rend à la fois enthousiaste et un peu inquiet - si ce développement se poursuit, je ne serai pas trop surpris de voir un jour des films générés par l'IA remporter des Oscars.

La logique sous-jacente aux percées technologiques

Faire en sorte que l'IA comprenne réellement le contenu vidéo n'est pas aussi simple qu'il n'y paraît. L'approche traditionnelle consiste à annoter manuellement les séquences vidéo, mais aujourd'hui les grands modèles grand public font tous de l'"auto-apprentissage", et MuseSteamer a une façon intelligente de procéder : ils découpent les données vidéo en petits morceaux, puis les passent au crible comme de l'or, les purifient et les proportionnent afin que le modèle puisse saisir avec plus de précision les nuances du contexte chinois. MuseSteamer a utilisé une approche intelligente - ils ont découpé les données vidéo en petits segments, puis les ont passés au crible comme de l'or, en les purifiant et en les proportionnant afin que le modèle puisse capturer plus précisément les nuances du contexte chinois. En d'autres termes, il n'est pas facile pour l'IA de comprendre la différence entre "un garçon qui saute et tire" et "un garçon qui fait des dunks".

Cet obstacle de la synchronisation audio et vidéo

MuseSteamer peut résoudre ce problème de manière très efficace. Il ne s'agit pas simplement d'assembler l'audio et la vidéo, mais de permettre au modèle de comprendre le "rythme de la parole", "l'impact des effets sonores ambiants" et d'autres relations contextuelles complexes. Au lieu de se contenter d'assembler l'audio et la vidéo, ils permettent au modèle de comprendre les relations contextuelles complexes entre le "rythme de la parole" et "l'impact des effets sonores ambiants". Par exemple, lorsqu'il génère un plan de conversation sous la pluie, le modèle prend automatiquement en compte l'effet de la pluie sur la clarté de la parole, et ce type de traitement des détails est particulièrement important pour renforcer le sentiment de réalisme.

La route est longue.

Bien que la technologie ait beaucoup progressé, les personnes qui l'ont essayée savent que la génération de vidéos par l'IA présente encore de nombreuses "lacunes". Par exemple, les mouvements de caméra complexes sont souvent erronés et la vitesse de génération n'est pas très rapide. En fait, je suis assez curieux de savoir ce que l'industrie optimisera en premier : la recherche d'un temps de génération plus court ou la résolution des problèmes de capture de mouvements les plus difficiles ? Un ami qui travaille dans le secteur du cinéma et de la télévision m'a dit que ce qu'il attendait le plus de l'IA, c'est qu'elle soit capable de comprendre la terminologie plus abstraite de la mise en scène, telle que "donne-moi uneLe style Wong Kar-waiAu lieu de devoir expliquer "quel ton je veux, quel objectif je veux".

À ce propos, il existe un modèle récent appeléPikaLe produit est également très en vogue et se concentre sur la capacité de générer des effets d'animation 3D directement à partir du texte. On peut constater que cette piste devient de plus en plus volumineuse et que tout le monde veut trouver une solution au besoin immédiat d'"expression créative". Après tout, à l'ère des vidéos courtes, les personnes capables de transformer rapidement des idées en vidéos seront toujours très demandées. Cependant, ces outils d'IA ne sont plus puissants, et la décision finale sur la qualité du travail revient toujours au cerveau de la personne qui utilise l'outil.