Wie entwickelt sich die Technologie zur Erzeugung von KI-Videos weiter?

Die Entwicklung der KI-Videoproduktionstechnologie ist wie ein Raketenflug, vom letzten Jahr bis zu diesem Jahr sind die Veränderungen in diesem Bereich so schnell, dass die Menschen geblendet sind. Ich erinnere mich an das letzte Jahr, als OpenAI Sora herausbrachte, und wir alle staunten: "KI kann ein so realistisches Video erzeugen", aber ich hätte nicht gedacht, dass der einheimische Baidu MuseSteamer jetzt Audio und Video synchron erzeugen kann. Um ehrlich zu sein, macht mich dieses Tempo des Fortschritts sowohl aufgeregt als auch ein wenig besorgt - wenn diese Entwicklung anhält, wäre ich nicht allzu überrascht, wenn KI-generierte Filme eines Tages Oscars gewinnen.

Die Logik hinter den technologischen Durchbrüchen

KI dazu zu bringen, Videoinhalte tatsächlich zu verstehen, ist nicht so einfach, wie es klingt. Die traditionelle Herangehensweise besteht darin, das Videomaterial manuell zu kommentieren, aber die großen Mainstream-Modelle machen jetzt alle diese "selbstlernende" Sache, und MuseSteamer hat einen cleveren Ansatz - sie zerschneiden die Videodaten in kleine Stücke, sichten sie dann wie Gold, reinigen sie und passen sie an, sodass das Modell die Nuancen des chinesischen Kontexts genauer erfassen kann. MuseSteamer verfolgte einen cleveren Ansatz - sie zerlegten die Videodaten in kleine Segmente und sichteten sie dann wie Gold, reinigten und proportionierten sie, damit das Modell die Nuancen des chinesischen Kontextes genauer erfassen konnte. Sagen wir es so: Der Unterschied zwischen "einem Jungen, der hochspringt und schießt" und "einem Jungen, der dunkt" ist für KI nicht einfach zu verstehen.

Diese Hürde der Audio- und Videosynchronisation

Nun sind viele AI-Video-Generation ist die peinlichste ist "kann nicht mit dem Mund Form", sieht besonders fehl am Platz, MuseSteamer kann dieses Problem zu lösen ist wirklich ziemlich gut, sie sind nicht nur einfach die Audio-und Video zusammen, sondern lassen Sie das Modell zu verstehen, den "Rhythmus der Sprache", "die Auswirkungen der Umwelt Sound-Effekte" und andere komplexe kontextuelle Beziehungen. Sie fügen nicht einfach Audio und Video zusammen, sondern lassen das Modell die komplexen kontextuellen Beziehungen zwischen dem "Sprachrhythmus" und den "Auswirkungen der Umgebungsgeräusche" verstehen. Wenn zum Beispiel eine Aufnahme eines Gesprächs im Regen erstellt wird, berücksichtigt das Modell automatisch die Auswirkungen des Regens auf die Klarheit der Sprache, und diese Art der Detailverarbeitung ist besonders wichtig, um das Gefühl von Realismus zu verbessern.

Es liegt ein langer Weg vor uns.

Obwohl die Technologie große Fortschritte gemacht hat, wissen Menschen, die sie ausprobiert haben, dass die KI-Videoproduktion noch viele "Schlitze" hat. Zum Beispiel sind komplexe Kamerabewegungen oft falsch, und die Generierungsgeschwindigkeit ist nicht sehr hoch. Ich bin sehr neugierig, was die Industrie zuerst optimieren wird - ist es das Streben nach kürzerer Generierungszeit oder die Lösung der schwierigeren Bewegungserfassung? Ein Freund, der in der Film- und Fernsehbranche tätig ist, sagte mir, dass er von der KI vor allem erwartet, dass sie in der Lage ist, abstraktere Regieanweisungen zu verstehen, wie z. B. "Gib mir eineWong Kar-wai-StilAnstatt erklären zu müssen, "welchen Ton ich will, welches Objektiv ich will".

Apropos, es gibt ein neues Modell namensPikaDas Produkt ist auch ziemlich angesagt und konzentriert sich auf die Fähigkeit, 3D-Animationseffekte direkt aus dem Text zu erzeugen. Es ist zu erkennen, dass diese Schiene immer umfangreicher wird, und jeder möchte einen Durchbruch in der unmittelbaren Notwendigkeit des "kreativen Ausdrucks" finden. Denn im Zeitalter der Kurzvideos werden Menschen, die Ideen schnell in Videos umsetzen können, immer gefragt sein. Aber auch diese KI-Tools sind nicht mehr leistungsfähig, die endgültige Entscheidung über die Qualität der Arbeit liegt immer noch beim Gehirn der Person, die das Tool verwendet.