No que diz respeito aos princípios técnicos da IA de geração de imagens, trata-se de um avanço tecnológico verdadeiramente espantoso. Ultimamente, tenho estado a trabalhar em modelos generativos multimodais como o OmniGen2, e funcionam como magia. Caso não acredite em mim, estes sistemas de IA são agora capazes não só de compreender o que acabámos de dizer, "Desenhe um gato com uma coroa", mas também de recriar pormenores deslumbrantes que nem nós conseguimos imaginar. Então, como é que o fazem?

Passos mágicos do texto para a imagem
Imagine que, quando escreve a simples descrição "girassol ao pôr do sol", a IA passa internamente por uma série complexa de transformações. Primeiro, o codificador de texto decompõe a frase em vectores de caraterísticas de texto personalizados - sim, estes modelos nem sequer conhecem a forma literal de "pôr do sol" e "girassol", são Estes modelos nem sequer reconhecem a forma literal de "pôr do sol" ou "girassol", estão a lidar com uma sequência de números de elevada dimensão que só uma máquina consegue compreender. Curiosamente, o estudo concluiu que os módulos de processamento de texto como o OmniGen2, que tem uma escala de parâmetros de 3 mil milhões, conseguem mesmo distinguir entre nuances semânticas como "crepúsculo brilhante" e "pôr do sol dourado".
Segue-se o misterioso modelo de difusão em cena. Esta composição de 4 mil milhões de parâmetros do sistema de geração de imagens pode ser designada como o cérebro direito dos artistas de IA. Remove gradualmente o ruído do ruído puro, como se estivesse a polir uma escultura, e acaba por produzir uma imagem nítida que corresponde à descrição textual. A chave é que cada passo da remoção de ruído segue rigorosamente a "direção criativa" fornecida pelo codificador de texto. Poderá perguntar-se porque é que as pinturas de IA profissionais são tão orientadas para o pormenor, mas é porque utilizam um extrator de caraterísticas chamado VAE, que preserva todas as caraterísticas microscópicas, desde as texturas das pétalas aos reflexos de luz.
Esses mecanismos internos desconhecidos
O que mais me surpreende é a capacidade de auto-verificação das IAs modernas de geração de imagens. A OmniGen2, por exemplo, tem um "mecanismo de reflexão multimodal" incorporado, o que significa simplesmente que olha para o seu trabalho recém-concluído como um crítico de arte. Se achar que a coroa da personagem principal não é suficientemente brilhante ou que o fundo está fora de escala, redesenha-o ativamente - um processo que pode ser repetido 5 a 6 vezes até atingir um padrão de qualidade predefinido. Os testes demonstraram que as imagens optimizadas por reflexão podem melhorar a satisfação do utilizador em 37%.
另一个常被忽略但至关重要的技术是双路径架构。把文本和图像处理分开看似简单,实则解决了多模态模型长期面临的”左右互搏”问题。你可以把30亿参数的文本模块想象成艺术总监,40亿参数的图像模块则是执行画师,两者分工合作但又通过特殊的标记保持同步。据开发者透露,这种设计的灵感其实来自于人类大脑的视觉皮层和语言中枢的分工协作方式。
Atualmente, estas obras geradas por IA evoluíram dos contornos esbatidos iniciais para um nível em que até os pintores profissionais têm dificuldade em distinguir entre o verdadeiro e o falso. Lembra-se do caso da "macrofotografia" que se tornou viral nas redes sociais? Todo o jardim refletido nas gotas de orvalho, a penugem nas patas da joaninha - pormenores calculados por modelos matemáticos, mas tão reais que não se podia deixar de lhes tocar.
评论列表 (6条):
加载更多评论 Carregando...