Podem os modelos autoregressivos substituir os modelos de difusão?

Para ser sincero, quando ouvi pela primeira vez que o NextStep-1, um modelo autoregressivo puro, tinha feito uma descoberta na geração de imagens, fiquei um pouco cético. Afinal de contas, no mundo da geração de imagens por IA, os modelos de difusão têm estado no topo há vários anos, desde DALL-E até Stable Diffusion, são como um grupo de pintores habilidosos que, através de repetidas "correcções de pintura", criam obras fantásticas. E quanto aos modelos autoregressivos? Durante muito tempo, é como um aprendiz que precisa de todo o tipo de "assistência externa" para completar a pintura, o que faz sempre com que as pessoas sintam que é um pouco menos independente.

A "Declaração de Independência" da Modelação Autoregressiva

O NextStep-1 fez realmente a diferença. Utiliza uma espinha dorsal do Transformer de 14B-parâmetros e uma cabeça de correspondência de fluxo leve para obter uma geração de imagem de ponta a ponta. A ideia de design é bastante inteligente - deixar o Transformer ser responsável pelo "pensamento" e pelo "planeamento criativo", enquanto a cabeça de correspondência de fluxos é como um executor fiel, transformando ideias em em pixéis concretos. Curiosamente, a equipa descobriu que mesmo o aumento dos parâmetros da cabeça de correspondência de fluxo de 157M para 528M teve pouco efeito na qualidade da imagem final. O que isto significa é que o Transformer é o verdadeiro "artista" e a cabeça de correspondência de fluxo é apenas o "pincel" nas suas mãos.

Ainda mais surpreendente foi a descoberta contra-intuitiva de que adicionar regularização de ruído ao treino do Tokenizer melhorou a qualidade da imagem. É como dizer que, por vezes, adicionar "distracções" e "incerteza" ao processo criativo pode inspirar uma melhor expressão artística. Esta ideia contrasta com a filosofia do modelo de difusão de denoising exato.

Desempenho: Mais do que apenas papel

Em termos de dados de análise reais, o NextStep-1 obteve 0,73 no benchmark GenEval e 85,28 no DPG-Bench, que são números realmente impressionantes. Mais importante, no entanto, é o seu desempenho em tarefas de edição de imagem - sendo capaz de compreender comandos quotidianos como "mudar o fundo do escritório para um pôr do sol na praia" e ainda manter a consistência visual antes e depois da edição. Esta capacidade é inimaginável em modelos autoregressivos anteriores.

No entanto, também temos de estar atentos às suas limitações. A latência de geração de um único token de 47,6 ms, o problema da eficiência da convergência na geração de imagens de alta resolução e a dependência do ajuste fino supervisionado de dados em grande escala são desafios reais. Em particular, o estrangulamento de velocidade causado pela descodificação sequencial pode ser um problema difícil em cenários de aplicação que requerem geração em tempo real.

Reflexões filosóficas sobre as rotas técnicas

Numa perspetiva mais profunda, a disputa entre o modelo autoregressivo e o modelo de difusão reflecte, na realidade, duas filosofias técnicas diferentes. O modelo de difusão é como um artesão que esculpe e faz artesanato, aperfeiçoando o trabalho através de múltiplas iterações; enquanto o modelo autoregressivo é mais como um pintor que escreve com um pincel e salpica tinta, completando a criação numa única pincelada. Qual é o melhor caminho? Penso que a própria pergunta pode ser problemática.

Como afirmou a equipa da Step Star, o NextStep-1″ não pretende substituir o modelo de difusão, mas sim fornecer um novo caminho possível para a criação de imagens". Muitas vezes, os avanços tecnológicos não se limitam a substituir relações, mas oferecem mais opções. Em determinados cenários que requerem uma geração rápida e uma edição interactiva, o modelo auto-regressivo pode ser mais vantajoso; enquanto que, na procura de uma qualidade de imagem extrema e na necessidade de um controlo preciso, o modelo de difusão pode continuar a ser uma melhor escolha.

Pessoalmente, penso que é mais provável que o futuro seja a fusão das duas tecnologias e a sua complementaridade. Afinal, a criação artística é inerentemente diversificada, algumas obras precisam de ser cuidadosamente elaboradas e outras precisam de ser concluídas de uma só vez. A tecnologia de geração de imagens de IA deve ser a mesma, os diferentes métodos têm os seus próprios méritos, a chave é encontrar o mais adequado para os cenários de aplicação específicos da solução.

É verdadeiramente emocionante ver inovações como o NextStep-1. Lembra-nos que, enquanto procuramos modelos mais complexos, não devemos deixar de repensar o paradigma subjacente. Por vezes, a arquitetura mais simples pode conduzir às descobertas mais inesperadas.