Wie funktioniert die V2A-Technologie?

Wenn es darum geht, wie die V2A-Technologie funktioniert, ist das wirklich ein sehr interessantes Thema. Vielleicht haben Sie den nahezu perfekten Audio-Video-Synchronisationseffekt in den von Veo 3 erzeugten Videos bemerkt, als ob Sie einen echten Film sehen würden. Hinter dieser erstaunlichen Fähigkeit steckt die V2A-Technologie (Video-to-Audio), die von Googles DeepMind-Team entwickelt wurde. Einfach ausgedrückt, handelt es sich um einen hochintelligenten "Synchronisationsmeister", der jedes Detail des Videobildschirms versteht und dann automatisch den am besten geeigneten Ton auswählt.

Visuelle semantische Kodierung: der Prozess des "Verstehens" in V2A

Der erste Schritt der V2A-Technologie besteht darin, die visuellen Informationen des Videos in semantische Signale umzuwandeln, die eine Maschine verstehen kann. Das mag abstrakt klingen, aber der Prozess ist tatsächlich ziemlich heikel. Wenn beispielsweise eine Figur in einem Video den Mund öffnet, muss das Modell dies nicht nur als eine "sprechende" Handlung erkennen, sondern auch den emotionalen Zustand der Rede, die Geschwindigkeit der Rede und möglicherweise den Inhalt der Worte bestimmen. Das ist so, als ob ein professioneller Synchronsprecher im Film die Vorarbeit leisten würde, aber V2A braucht für diese Analyse nur Millisekunden.

Interessanterweise handelt es sich bei diesem Prozess nicht um eine einfache Bild-für-Bild-Analyse. Das Modell berücksichtigt die Kohärenz der vorangehenden und nachfolgenden Bilder, um ein ganzheitliches Verständnis der "Videoszene" zu schaffen. Im Falle einer Stand-up-Comedy-Show, die von Veo 3 generiert wird, muss das Modell beispielsweise nicht nur Veränderungen im Mund des Künstlers erkennen, sondern auch das Timing der Reaktionen des Publikums verstehen, damit es die richtige Menge an Lachen und Applaus erzeugen kann.

Diffusionsmodellierung: der Prozess des "Zeichnens" von Klang

Als Nächstes folgt die eigentliche Audiogenerierung, bei der eine Diffusionsmodellierungstechnik ähnlich der in der KI-Malerei angewandt wird. Anders als bei der traditionellen Audiogenerierung bezieht sich das Diffusionsmodell von V2A jedoch auf zwei wichtige Inputs gleichzeitig: zum einen auf den zuvor extrahierten visuellen semantischen Code und zum anderen auf die vom Benutzer bereitgestellten textuellen Hinweise (falls vorhanden). Dieser doppelte Eingabemechanismus stellt sicher, dass der erzeugte Ton sowohl zum Inhalt des Bildes passt als auch den spezifischen Bedürfnissen des Urhebers entspricht.

Sie werden sich vielleicht fragen, wie dieser Prozess funktioniert. Stellen Sie sich vor, Sie beginnen mit dem Modell wie mit einem "leeren Blatt Papier" und fügen dann Schritt für Schritt Details hinzu: Zuerst bestimmen Sie den grundlegenden Stimmtyp (ist es eine menschliche Stimme oder ein Umgebungsgeräusch?), dann verfeinern Sie die spezifischen Merkmale (ist es eine tiefe Männerstimme oder eine klare Frauenstimme?) und fügen dann Details hinzu. und dann die spezifischen Merkmale verfeinern (handelt es sich um eine tiefe Männerstimme oder eine klare Frauenstimme? Wie schnell oder langsam ist die Sprache?) und schließlich die Anpassung subtiler Details (z. B. Atemgeräusche beim Sprechen, Umgebungsechos usw.). Der gesamte Prozess ist wie eine klangliche Version der "digitalen Bildhauerei".

Optimierung der Synchronisation: den Ton "passend" zum Bild machen

Aber es reicht nicht aus, den richtigen Ton zu erzeugen, das Wichtigste ist die perfekte Synchronisierung von Ton und Bild. Bei der V2A-Technologie wird dieser Schritt sogar während des gesamten Erzeugungsprozesses durchgeführt. Das Modell prüft ständig, wie gut der erzeugte Ton mit den visuellen Merkmalen übereinstimmt, insbesondere an den Stellen, die genau synchronisiert werden müssen, wie z. B. die Veränderungen der Münder der Figuren während eines Dialogs.

Bei den musikalischen Darbietungen des Veo 3 fiel mir auf, dass jeder Schlag des Schlagzeugers mit unglaublicher Präzision dem Takt der Trommeln entsprach. Nach internen Angaben verwendet V2A eine Technik namens "Temporal Attention Mechanism", die es dem Modell ermöglicht, besonders auf die zeitliche Übereinstimmung zwischen den Rhythmen der Bewegungen im Bild und den Klängen zu achten.

Um ehrlich zu sein, ist die Technologie jedoch nicht perfekt. In unseren Tests haben wir festgestellt, dass die Audio-Video-Synchronisation bei besonders schnellen oder komplexen Aktionen auf dem Bildschirm (wie bei dem Beispiel mit dem Turner) problematisch wurde. Das erinnert uns daran, dass die V2A-Technologie zwar leistungsstark ist, aber dennoch an ihre physikalischen Grenzen stößt, vor allem, wenn es um ultraschnelle oder unkonventionelle Bewegungen geht.

Der Weg in die Zukunft

Wenn ich mir diese Leistungen der V2A-Technologie ansehe, kann ich nicht umhin, mir vorzustellen, wie sie sich in Zukunft weiterentwickeln wird. Gegenwärtig stützt sie sich stark auf visuelle Eingaben, aber was wäre, wenn das System um umfassendere kontextbezogene Verstehensfähigkeiten erweitert würde? Durch das Verstehen tiefergehender semantischer Informationen wie des kulturellen Kontexts einer bestimmten Szene, der Beziehungen zwischen den Figuren usw. könnte der erzeugte Ton natürlicher und kontextbezogener sein.

Eine andere Richtung, auf die man sich freuen kann, ist die Möglichkeit der Echtzeitgenerierung. Stellen Sie sich vor, wie viele völlig neue Anwendungsszenarien sich ergeben würden, wenn diese Technologie das von der Kamera aufgenommene Bildmaterial in Echtzeit verarbeiten und sofort den passenden Ton erzeugen könnte. Von virtuellen Meetings bis hin zur Erstellung von Inhalten in Echtzeit - die Möglichkeiten sind nahezu unbegrenzt.

Letztlich liegt der Reiz der V2A-Technologie darin, dass sie es der KI ermöglicht, das Wesen der "audiovisuellen Kunst" zum ersten Mal wirklich zu verstehen. Es handelt sich nicht nur um eine einfache Überlagerung zweier getrennter Sinne, sondern es entsteht ein neues, organisches Multimedia-Erlebnis. Als Ersteller von Inhalten bin ich von diesen technologischen Fortschritten begeistert, aber ich kann nicht umhin, mich zu fragen: Erleben wir gerade die Geburt einer neuen Kunstform?