ディフュージョン・トランスフォーマー・アーキテクチャーの利点は、AI画像生成の分野における最近のハイライトと言える。伝統的な拡散モデルは効果的ではあるが、複雑なシーンに遭遇すると、常に少し不得手である。DiTアーキテクチャは、拡散モデルに "Transformer brain "を搭載したようなもので、多被写体制御タスクを扱う際に驚くほど良いパフォーマンスを発揮する。ByteDanceのXVerseモデルを例にとると、同一画面内の異なるキャラクターやオブジェクトのジェスチャーやスタイルを独立して制御することができる。

意味理解の向上
DiTの最大の特徴は、テキストのセマンティクスをより正確に理解できることだ。参照画像を「テキスト埋め込みオフセット」に変換することで、被写体ごとに固有のセマンティックキーを割り当てているのと同じことになる。このためXVerseでは、複数の人物がフレーム内に登場しても、人物の表情や服装などのディテールの一貫性を保つことができる。このようなきめ細かな制御は、UNet構造を持つ従来の拡散モデルよりも十二分に強い。
そんなに神がかり的なパフォーマンスなのか?公開されているXVerseBenchのテストデータから、DiTアーキテクチャは本当に美しい成績表を出した。同一性類似度79.48点は、「形の類似性」ではなく、生成されたスターの顔が本当に私に似ていることを意味する。多被験者制御スコア70.08点は、古いアーキテクチャをまだ使用している多くの競合他社をさらに粉砕している。その少し抽象的な数字に聞こえるが、この比較は複雑なシナリオに対応できるDiT独自の優位性を示している。
特筆すべきは、DiTの並列制御信号が巧妙に設計されていることだ。この "マクロ+ミクロ "のデュアル・レギュレーション・メカニズムにより、モデルがコースを外れることなく、かつローカルを正確に制御することができる。正直なところ、この設計アイデアは、単にネットワーク・レイヤーを積み重ねるよりもずっとスマートだ。
将来的にどこまで行けるのか?
XVerseの性能を見ていると、DiTアーキテクチャのさらなる可能性を期待せずにはいられない。静止画制御がこれだけうまくいったのだから、これを動画生成に応用したらどうなるのか。映画のようなキャラクターの一貫性を実現できるだろうか?技術的な課題は確かに大きくなるが、DiTが示したスケーラビリティがあれば、近いうちにブレークスルーが見られるかもしれない。何しろ、画面の複数の要素を同時に正確にコントロールできるのだから、ゲーム制作や広告デザインなどの分野で活用するには想像力が豊かすぎる。
もちろん、DiTは完璧ではない。計算効率にはまだ改善の余地があるし、リアルタイム編集にはまだ最適化が必要だ。しかし、新しいアーキテクチャとして、すでに十分な閃きを見せている。そういえば、最近話題の3D世代とDiTを組み合わせれば、もっと火花が散るのではないか、とふと思った。次世代のAIGCの方向性のひとつになるかもしれない。
评论列表 (3条):
加载更多评论 読み込み中...