¿Pueden los modelos autorregresivos sustituir a los modelos de difusión?

Para ser sincero, cuando oí por primera vez que NextStep-1, un modelo autorregresivo puro, había hecho un gran avance en la generación de imágenes, era un poco escéptico. Al fin y al cabo, en el mundo de la generación de imágenes por IA, los modelos de difusión llevan varios años en lo más alto, desde DALL-E hasta Stable Diffusion, son como un grupo de pintores expertos, que a base de "pintar-corregir" repetidamente consiguen crear obras asombrosas. ¿Y los modelos autorregresivos? Durante mucho tiempo, es como un aprendiz que necesita todo tipo de "ayuda externa" para completar la pintura, lo que siempre hace que la gente sienta que es un poco menos independiente.

La "declaración de independencia" de los modelos autorregresivos

NextStep-1 ha marcado realmente la diferencia. Utiliza una columna vertebral Transformer de 14B parámetros y un cabezal de adaptación de flujos ligero para generar imágenes de extremo a extremo. La idea de diseño es bastante inteligente: dejar que el Transformer se encargue del "pensamiento" y la "planificación creativa", mientras que el cabezal de correspondencia de flujos es como un fiel ejecutor, que convierte las ideas en en píxeles concretos. Curiosamente, el equipo descubrió que incluso el aumento de los parámetros del cabezal de correspondencia de flujos de 157M a 528M apenas afectaba a la calidad de la imagen final. Lo que esto significa es que el Transformer es el verdadero "artista" y el Stream Matching Head no es más que el "pincel" en sus manos.

Aún más sorprendente fue el hallazgo contraintuitivo de que añadir la regularización del ruido al entrenamiento del Tokenizer mejoraba la calidad de la imagen. Es como decir que a veces añadir "distracciones" e "incertidumbre" al proceso creativo puede inspirar una mejor expresión artística. Esta idea contrasta con la filosofía de la eliminación exacta de ruido del modelo de difusión.

Rendimiento: más que papel

En términos de datos reales, NextStep-1 obtuvo una puntuación de 0,73 en la prueba GenEval y de 85,28 en DPG-Bench, cifras realmente impresionantes. Sin embargo, lo más importante es su rendimiento en las tareas de edición de imágenes: es capaz de entender órdenes cotidianas como "cambiar el fondo de la oficina por una puesta de sol en la playa" y mantener la coherencia visual antes y después de la edición. Esta capacidad es inimaginable en modelos autorregresivos anteriores.

Sin embargo, también debemos ser sobrios sobre sus limitaciones. Esa latencia de 47,6 ms en la generación de una sola ficha, el problema de la eficiencia de la convergencia en la generación de imágenes de alta resolución y la dependencia del ajuste fino supervisado de los datos a gran escala son retos reales. En particular, el cuello de botella de velocidad causado por la decodificación secuencial puede ser un problema difícil en escenarios de aplicación que requieran generación en tiempo real.

Reflexiones filosóficas sobre rutas técnicas

Desde una perspectiva más profunda, la disputa entre el modelo autorregresivo y el modelo de difusión refleja en realidad dos filosofías técnicas diferentes. El modelo de difusión es como un artesano que talla y esculpe, perfeccionando la obra a través de múltiples iteraciones; mientras que el modelo autorregresivo se parece más a un pintor que escribe con un pincel y salpica tinta, completando la creación de un solo trazo. ¿Qué camino es mejor? Creo que la pregunta en sí puede ser problemática.

Como dice el equipo de Step Star, NextStep-1″ no pretende sustituir al modelo de difusión, sino ofrecer una nueva vía posible para la generación de imágenes". A menudo, los avances tecnológicos no se limitan a sustituir relaciones, sino que ofrecen más opciones. En determinados escenarios que requieren una generación rápida y una edición interactiva, el modelo autorregresivo puede ser más ventajoso; mientras que en la búsqueda de una calidad de imagen extrema y la necesidad de un control fino, el modelo de difusión puede seguir siendo una mejor opción.

Personalmente, creo que el futuro es más probable que sea la fusión de las dos tecnologías y complementarias. Después de todo, la creación artística es intrínsecamente diversa, algunas obras necesitan ser cuidadosamente elaboradas, y otras necesitan ser completadas de un solo golpe.la tecnología de generación de imágenes de IA debería ser la misma, los diferentes métodos tienen sus propios méritos, la clave es encontrar el más adecuado para los escenarios de aplicación específicos de la solución.

Es realmente emocionante ver innovaciones como NextStep-1. Nos recuerda que, mientras perseguimos modelos más complejos, no debemos descuidar el replanteamiento del paradigma subyacente. Nos recuerda que, mientras perseguimos modelos más complejos, no debemos descuidar el replanteamiento del paradigma subyacente. A veces, la arquitectura más sencilla puede dar lugar a los avances más inesperados.