MuseSteamer, un modèle de génération multimodale lancé par l'équipe de R&D commerciale de Baidu, a atteint la première place mondiale dans l'évaluation vidéo graphique de VBench, et a réalisé d'importantes percées dans la génération simultanée d'audio et de vidéo chinoises, a affiné le système de description et le contrôle du style, et a démontré des capacités de compréhension sémantique supérieures. Malgré l'absence de capacité de planification de l'objectif et la lenteur de la vitesse de génération, MuseSteamer reste un jalon important dans le développement de la technologie vidéo IA nationale, et la version Turbo a été ouverte gratuitement à l'expérimentation.
- Ce résumé est généré par une IA qui analyse le contenu de l'article à des fins d'information uniquement.
À l'heure où l'IA générative se développe rapidement, la technologie de génération vidéo devient un nouveau champ de bataille pour les grandes entreprises technologiques. À la suite de Sora d'OpenAI, qui a suscité un engouement mondial, les fournisseurs nationaux ont également lancé leurs propres solutions de génération de vidéos par l'IA. Récemment, l'équipe de R&D commerciale de Baidu a publié un grand modèle de génération multimodale.MuseSteamerCe produit a non seulement remporté la première place mondiale sur la liste d'évaluation VBench, qui fait autorité à l'étranger, mais il a également réalisé la première génération simultanée d'audio et de vidéo dans le contexte chinois.
Anatomie des capacités techniques de base de MuseSteamer
Compréhension sémantique puissante du chinois
La caractéristique la plus remarquable de MuseSteamer est son optimisation approfondie du contexte chinois. En construisant une base de données d'un milliard de séquences vidéo et en adoptant un système d'optimisation des données en trois étapes "filtrage-purification-appariement", il garantit un alignement sémantique précis entre les instructions textuelles et les éléments visuels. Ce traitement ciblé des données permet au modèle de comprendre avec précision les nuances et les connotations culturelles des signaux chinois.
Système de description fine de la structure vidéo
Contrairement aux produits courants de l'industrie, MuseSteamer adopte une méthode de description vidéo structurée, qui ne contient pas seulement les détails de l'image (sujet, arrière-plan, mouvement, atmosphère, lumière et ombre), mais intègre également des éléments professionnels tels que le langage de la caméra, l'intensité du mouvement du sujet et la description du style. Ce système de description raffiné couvre un large éventail de types de styles tels que le réaliste, le cinématique, le cyberpunk, le film vintage, le minimaliste et l'anime.
L'intégration audio-vidéo génère des percées
L'une des principales innovations de MuseSteamer est la génération réellement synchrone d'audio et de vidéo. Grâce à une programmation multimodale et à des modèles d'apprentissage audio et vidéo intégrés, le système peut gérer automatiquement les trois questions fondamentales suivantes : "qui parle, comment parler et dans quel environnement", de sorte que l'audio multipiste (dialogues, sons d'ambiance, musique, etc.) est naturellement intégré au contenu visuel, ce qui améliore considérablement le degré d'immersion de l'expérience du spectateur.

Une matrice de produits complète pour répondre aux différents besoins
MuseSteamer offre une matrice complète de versions de produits qui couvrent avec précision les divers besoins des créateurs individuels jusqu'aux organisations professionnelles du cinéma et de la télévision :

Tests pratiques : capacités et limites à la fois
Des performances remarquables en matière de compréhension sémantique
Lors du test de compréhension sémantique, MuseSteamer a fait preuve d'une performance impressionnante. Prenons l'exemple d'un lycéen qui saute pour jouer au basket dans la cour de récréation le soir, sa silhouette est étirée par le soleil couchant. Le modèle reproduit fidèlement le déroulement complet de l'action de saut et de tir, l'ombre du personnage est cohérente avec l'action, et l'effet d'ombre et de lumière du coucher de soleil est naturel et réaliste. MuseSteamer présente une meilleure capacité d'analyse sémantique que des produits similaires qui présentent des écarts dans la compréhension de l'action.
La continuité de l'action est remarquable
Dans le test "un lapin tape sur le clavier, puis prend une tasse à boire d'une main et continue à taper sur le clavier avec l'autre main", MuseSteamer complète non seulement la séquence d'action de base, mais ajoute également de manière indépendante de riches expressions faciales et des micro-mouvements au personnage, ce qui rend le caractère graphique statique vivant et animé. Bien que la chaîne d'action soit légèrement incomplète, la cohérence globale est satisfaisante.
Excellente performance en matière de contrôle du style
Lors du test du style fantastique, MuseSteamer a reproduit fidèlement la description de la scène : "Dans un style fantastique, une petite fille court sur une licorne brillante à travers une vallée de bulles colorées flottantes". La vidéo résultante est remplie d'un doux halo de lumière, de bulles colorées, de la lumière des étoiles, de jupes flottantes et d'autres éléments détaillés, et le style général est unifié et coordonné.
La capacité de déplacement de l'objectif doit être améliorée
Cependant, MuseSteamer révèle d'importantes lacunes en termes de manœuvres complexes de la caméra. Lors du test "caméra autour du détective chauve-souris", le modèle n'a pratiquement pas réussi à effectuer des mouvements de caméra efficaces, ce qui peut s'expliquer par les limites techniques de la version actuelle. Bien que la commande relativement simple de "zoom arrière" puisse être exécutée, les bords de l'écran présentent des défauts de raccord évidents.
L'efficacité de la production doit encore être optimisée
D'après nos tests, la vitesse de génération de MuseSteamer est relativement lente (3 à 5 minutes), ce qui peut nuire à la fluidité du flux de travail pour les utilisateurs qui ont besoin d'itérer leurs créations rapidement.
L'image future de la génération de vidéos par l'IA
La sortie de MuseSteamer montre que la technologie nationale de génération de vidéos par l'IA rattrape rapidement le niveau international avancé. Bien qu'il y ait encore des progrès à faire dans certains scénarios complexes, ses avancées en matière de compréhension sémantique du chinois, de contrôle du style et de synchronisation audio/vidéo ont établi une nouvelle référence pour l'industrie.
Avec la sortie officielle de la version audio en août, et le lancement successif des versions Pro et Lite, MuseSteamer devrait construire une écologie de génération de vidéo IA qui couvre l'ensemble de la scène. Pour les créateurs de contenu, cela ne signifie pas seulement une mise à niveau des outils de création, mais représente également un changement fondamental dans le mode d'expression créative.
La version Turbo de MuseSteamer est actuellement disponible gratuitement sur la plateforme "EYE", les utilisateurs intéressés peuvent visiter huixiang.baidu.com Découvrez par vous-même cette technologie révolutionnaire de génération de vidéos par l'IA.



评论功能已关闭。