Les avantages de l'architecture du Diffusion Transformer constituent une avancée récente dans le domaine de la génération d'images par l'IA. Bien que le modèle de diffusion traditionnel soit efficace, il est toujours un peu incompétent lorsqu'il est confronté à des scènes complexes. L'architecture DiT est comme un modèle de diffusion équipé d'un "cerveau transformateur", qui fonctionne étonnamment bien lorsqu'il s'agit de tâches de contrôle multi-sujets. Prenons l'exemple du modèle XVerse de ByteDance : il peut contrôler indépendamment les gestes et les styles de différents personnages et objets sur le même écran, ce qui était presque inimaginable dans le passé.

Améliorer la compréhension sémantique
Le meilleur atout de DiT est sa capacité à comprendre la sémantique du texte avec plus de précision. En transformant les images de référence en "décalages d'intégration de texte", cela revient à attribuer une clé sémantique unique à chaque sujet. Cela explique pourquoi XVerse est capable de maintenir la cohérence de détails tels que les expressions des personnages et les styles vestimentaires, même lorsqu'il y a plusieurs personnages dans le cadre. Ce contrôle très fin est plus qu'un peu plus fort que le modèle de diffusion traditionnel avec la structure UNet.
La performance est-elle à ce point divine ?D'après les données de test XVerseBench accessibles au public, l'architecture DiT a vraiment fourni un beau bulletin de notes. 79,48 points de similarité d'identité signifient que le visage de la star généré me ressemble vraiment, plutôt qu'une "similarité de forme". 70,08 points de scores de contrôle multi-sujets sont encore plus écrasants que beaucoup de concurrents qui utilisent encore l'ancienne architecture. Les Bien que ces chiffres semblent un peu abstraits, la comparaison montre l'avantage unique de DiT dans le traitement de scénarios complexes.
Il convient de mentionner que les signaux de contrôle parallèles de DiT sont intelligemment conçus. Ce double mécanisme de régulation "macro + micro" permet au modèle de ne pas s'écarter de sa trajectoire, mais aussi de contrôler avec précision les données locales. Pour être honnête, cette idée de conception est bien plus intelligente que la simple superposition de couches de réseau.
Jusqu'où peut-elle aller à l'avenir ?
En voyant les performances du XVerse, on ne peut que s'attendre à de nouvelles possibilités avec l'architecture DiT. Maintenant que le contrôle des images fixes a été si bien réalisé, que se passerait-il si on l'appliquait à la génération de vidéos ? Serait-il possible d'obtenir une cohérence des caractères cinématographiques ? Bien que le défi technique soit certainement plus important, l'évolutivité démontrée par la DiT pourrait bientôt nous permettre de faire une percée. Après tout, la capacité de contrôler avec précision plusieurs éléments de l'écran en même temps est trop imaginative pour être utilisée dans la production de jeux, la conception de publicités et d'autres domaines.
Bien sûr, DiT n'est pas parfait. L'efficacité des calculs peut encore être améliorée et l'édition en temps réel doit encore être optimisée. Mais en tant qu'architecture émergente, elle a déjà montré suffisamment de points d'éclair. À ce propos, il me vient soudain à l'esprit que si nous pouvions combiner DiT avec la génération 3D récemment populaire, y aurait-il plus d'étincelles ? Ce pourrait être l'une des orientations de la prochaine génération d'AIGC.
评论列表 (3条):
加载更多评论 Chargement...