AI映像生成技術はどのように進化しているのか？

昨年から今年にかけて、AI映像生成技術の発展はロケットの上に座っているようなもので、この分野の変化は非常に速く、人々は目を奪われている。昨年、OpenAIがSoraをリリースしたとき、私たちは皆、「AIはこんなにリアルな映像を生成できるのか」と感嘆したことを覚えている。まさか今、国産のBaidu MuseSteamerが音声と映像の同期生成ができるとは思わなかった。正直なところ、この進歩の速さは私を興奮させると同時に、少し心配にもさせる。このまま開発が進めば、AIが生成した映画がアカデミー賞を受賞する日が来ても、私はあまり驚かないだろう。

技術躍進の背後にある論理

AIにビデオコンテンツを実際に理解させるのは、言うほど簡単ではない。伝統的なアプローチは、ビデオ映像に手作業で注釈をつけることだが、大手の主流モデルはすべて「自己学習」をしている。MuseSteamerは、その巧妙な方法を使っている。彼らはビデオデータを小さなセグメントにスライスし、それを金鉱のようにふるいにかけ、純化して配給することで、モデルが中国の文脈のニュアンスをより正確に捉えられるようにしている。MuseSteamerは巧みなアプローチを使った。彼らはビデオデータを小さなセグメントにスライスし、それを金鉱のようにふるいにかけ、純度を高めてマッチングさせることで、モデルが中国の文脈のニュアンスをより正確に捉えられるようにしたのだ。ジャンプしてシュートする少年」と「ダンクする少年」の違いを理解することは、AIにとって容易なことではない。

音声と映像の同期というハードル

今、多くのAIビデオ生成は、最も恥ずかしいです "口の形を一致させることができない"、特に場違いに見えるが、MuseSteamerは、この問題を解決することができます本当に非常に素晴らしいです、彼らは単にオーディオとビデオを一緒に入れているのではなく、 "スピーチのリズム"、 "環境効果音の影響 "などの複雑な文脈の関係を理解するためにモデルを聞かせている。単に音声と映像を並べるのではなく、「話し方のリズム」や「環境音の影響」など、複雑な文脈の関係をモデルに理解させているのだ。例えば、雨の中で話しているショットを生成する場合、モデルは自動的に雨の影響が話し声の明瞭さに与える影響を考慮します。このような詳細な処理は、臨場感を高めるために特に重要です。

前途は多難だ。

技術はずいぶん進歩したが、AIによる映像生成にはまだ多くの "スロット "があることは、試したことのある人なら知っている。例えば、複雑なカメラの動きはしばしば間違うし、生成スピードはあまり速くない。業界が最初に何を最適化するのか、実はかなり興味がある。生成時間の短縮を追求するのか、より難しいモーションキャプチャを解決するのか。映画やテレビに携わる友人が言うには、彼が最も期待しているのは、AIがより抽象的な演出用語を理解できるようになることだそうだ。ウォン・カーウァイ流どんなトーンが欲しいか、どんなレンズが欲しいか」を説明する代わりに。

そういえば、最近のモデルでピカまた、テキストから直接3Dアニメーション効果を生成する機能に注目した製品もかなり熱い。この路線はますますボリュームが増しており、誰もが「クリエイティブな表現」という差し迫ったニーズに突破口を見出したがっていることが窺える。結局のところ、短い動画の時代には、アイデアを素早く動画にできる人材が常に求められているのだ。しかしまた、これらのAIツールはもはや強力なものではなく、作品のクオリティを最終的に決定するのは、やはりツールを使う人の頭脳なのだ。