Les modèles autorégressifs peuvent-ils remplacer les modèles de diffusion ?

Pour être honnête, lorsque j'ai entendu pour la première fois que NextStep-1, un modèle autorégressif pur, avait fait une percée dans la génération d'images, j'étais un peu sceptique. Après tout, dans le monde de la génération d'images par l'IA, les modèles de diffusion sont au sommet depuis plusieurs années, de DALL-E à Stable Diffusion, ils sont comme un groupe de peintres habiles qui, par des "corrections de peinture" répétées, créent des œuvres étonnantes. Qu'en est-il des modèles autorégressifs ? Pendant longtemps, ils ont ressemblé à un apprenti qui a besoin de toutes sortes d'"aides extérieures" pour achever sa peinture, ce qui donne toujours aux gens l'impression qu'ils sont un peu moins indépendants.

La "déclaration d'indépendance" de la modélisation autorégressive

NextStep-1 a vraiment fait la différence. Il utilise un transformateur à 14 paramètres et une tête d'adaptation de flux légère pour générer des images de bout en bout. L'idée de conception est très intelligente : le transformateur est responsable de la "réflexion" et de la "planification créative", tandis que la tête d'adaptation des flux est un fidèle exécutant, qui transforme les idées en pixels concrets. en pixels concrets. Il est intéressant de noter que l'équipe a constaté que même l'augmentation des paramètres de la tête d'adaptation des flux de 157M à 528M n'avait que peu d'effet sur la qualité de l'image finale. Le transformateur est le véritable "artiste" et la tête d'adaptation des flux n'est que le "pinceau" qu'il tient entre ses mains.

Plus surprenante encore a été la constatation contre-intuitive que l'ajout d'une régularisation du bruit à l'entraînement du tokenizer améliorait la qualité de l'image. C'est comme si l'on disait que l'ajout de "distractions" et d'"incertitudes" dans le processus créatif peut parfois favoriser une meilleure expression artistique. Cette idée contraste avec la philosophie du modèle de diffusion, qui consiste en un débruitage exact.

Performance : plus qu'un simple papier

En termes de données d'évaluation, NextStep-1 a obtenu 0,73 sur le benchmark GenEval et 85,28 sur le DPG-Bench, des chiffres vraiment impressionnants. Ce qui est plus important, cependant, c'est sa performance dans les tâches d'édition d'images - il est capable de comprendre des commandes quotidiennes telles que "changer l'arrière-plan du bureau pour un coucher de soleil sur la plage" et de maintenir la cohérence visuelle avant et après l'édition. Cette capacité est inimaginable avec les modèles autorégressifs précédents.

Cependant, nous devons également être conscients de ses limites. Le temps de latence de 47,6 ms pour la génération d'un jeton unique, le problème de l'efficacité de la convergence dans la génération d'images à haute résolution et la dépendance du réglage fin supervisé à l'égard des données à grande échelle sont autant de défis réels. En particulier, le goulot d'étranglement de la vitesse causé par le décodage séquentiel peut être un problème difficile à résoudre dans les scénarios d'application qui nécessitent une génération en temps réel.

Réflexions philosophiques sur les itinéraires techniques

D'un point de vue plus approfondi, le différend entre le modèle autorégressif et le modèle de diffusion reflète en fait deux philosophies techniques différentes. Le modèle de diffusion s'apparente à un artisan qui sculpte et travaille, perfectionnant son œuvre par de multiples itérations, tandis que le modèle autorégressif s'apparente davantage à un peintre qui écrit avec un pinceau et des éclaboussures d'encre, achevant sa création d'un seul coup de pinceau. Quelle est la meilleure méthode ? Je pense que la question elle-même peut être problématique.

Comme le dit l'équipe de Step Star, "NextStep-1″ n'a pas pour but de remplacer le modèle de diffusion, mais de fournir une nouvelle voie possible pour la génération d'images". Souvent, les progrès technologiques ne remplacent pas simplement les relations, mais offrent davantage d'options. Dans certains scénarios qui exigent une génération rapide et une édition interactive, le modèle autorégressif peut être plus avantageux ; tandis que dans la recherche d'une qualité d'image extrême et la nécessité d'un contrôle fin, le modèle de diffusion peut encore être un meilleur choix.

Personnellement, je pense que l'avenir est plutôt à la fusion des deux technologies et à leur complémentarité. Après tout, la création artistique est intrinsèquement diverse, certaines œuvres doivent être soigneusement élaborées, d'autres doivent être achevées d'un seul coup.La technologie de génération d'images d'IA devrait être la même, les différentes méthodes ont leurs propres mérites, l'essentiel est de trouver celle qui convient le mieux aux scénarios d'application spécifiques de la solution.

Il est vraiment passionnant de voir des innovations comme NextStep-1. Elles nous rappellent que, dans notre quête de modèles plus complexes, nous ne devons pas négliger de repenser le paradigme sous-jacent. Parfois, l'architecture la plus simple peut conduire aux percées les plus inattendues.