PróximoPasso-1 Como implementar a edição de imagens?

Para ser sincero, quando ouvi pela primeira vez que o NextStep-1 era capaz de editar imagens, fiquei um pouco cético. Afinal de contas, o modelo auto-regressivo no campo da geração de imagens sempre se comportou como um "estudante parcial" - pode criar, mas não é muito bom a modificar. No entanto, após uma compreensão aprofundada, descobrimos que a conceção deste modelo na ideia de edição de imagem é realmente apelativa. Em vez de operações de mascaramento complexas ou de processamento em várias fases, como nos métodos tradicionais, trata a tarefa de edição como um tipo especial de processo de "diálogo". Só precisa de utilizar linguagem natural para lhe dizer o que pretende alterar, e ele compreenderá a sua intenção e executá-la-á com precisão, o que dá a sensação de estar a comunicar com um amigo que percebe de design.

Mecanismo de edição orientado para a língua

O mais interessante do NextStep-1 é o facto de unificar a tarefa de edição de imagens no âmbito da compreensão da linguagem. Por exemplo, quando escreve "mudar o fundo desta fotografia de escritório para pôr do sol na praia", o modelo começa por compreender os conceitos de "escritório" e "pôr do sol na praia" e, em seguida, identifica automaticamente o primeiro plano. O modelo começa por compreender os conceitos de "escritório" e "pôr do sol na praia" e, em seguida, identifica automaticamente a área de primeiro plano a ser preservada e a área de fundo a ser substituída. Este processo não exige que o utilizador marque ou especifique manualmente a área de edição; o próprio modelo pode decidir quais as partes que devem ser mantidas e quais as que devem ser modificadas.

Além disso, mantém a consistência antes e depois da edição. Por exemplo, no exemplo "Fazer com que o cão na fotografia mude de sentado para a saltar", o modelo não só altera a pose do cão, como também ajusta automaticamente a iluminação e a perspetiva para garantir que a imagem modificada tem um aspeto natural e coordenado. Esta é uma capacidade que frequentemente requer um pós-processamento exaustivo nos métodos de edição tradicionais.

Realização prática de efeitos de edição

Em testes reais, o NextStep-1 demonstrou capacidades de edição bastante fiáveis. Por exemplo, na tarefa de adicionar e remover objectos, foi capaz de compreender com precisão instruções complexas como "adicionar um portátil aberto à mesa de café", e não só adicionou os objectos corretos, como também considerou a luz e a sombra, a perspetiva e a relação entre objectos. Alguns testadores comentaram que o portátil adicionado pelo modelo parecia tão natural como se já estivesse na cena, e até os reflexos na secretária foram bem tratados.

A migração de estilos é ainda mais surpreendente. Quando lhe foi pedido para "converter esta fotografia numa pintura a óleo ao estilo de Van Gogh", o modelo não se limitou a aplicar texturas, mas compreendeu verdadeiramente as caraterísticas das pinceladas e da utilização da cor de Van Gogh. A imagem resultante mantém a composição e os pormenores do original, mas também incorpora as caraterísticas visuais do estilo pretendido, um nível de compreensão que ultrapassa verdadeiramente as expectativas de muitas pessoas.

A chave para os avanços tecnológicos

Porque é que o NextStep-1 é um avanço tão grande na edição de imagens? Penso que a chave reside no seu design arquitetónico unificado. Os métodos de edição tradicionais requerem frequentemente que vários módulos especializados trabalhem em conjunto - um para compreender instruções, outro para segmentar imagens e outro para gerar conteúdos. O NextStep-1, por outro lado, integra todas estas funções num único transformador de 14B parâmetros, permitindo que o modelo trate de todo o processo de edição de ponta a ponta.

As vantagens desta conceção são óbvias: o processo de edição é mais coerente e não existem artefactos ou distorções provocados por incompatibilidades entre módulos. Além disso, devido à formação unificada, a compreensão dos comandos linguísticos e a capacidade de geração de imagens do modelo são melhoradas simultaneamente, o que garante a exatidão e a naturalidade dos resultados da edição.

É claro que o modelo tem atualmente algumas limitações, tais como possíveis desafios no processamento de imagens de muito alta resolução e perda ocasional de detalhes ao editar cenas complexas. Mas, tendo em conta que este é o primeiro grande avanço do modelo autoregressivo no domínio da edição de imagens, estas dificuldades de crescimento fazem-nos esperar pelo seu desenvolvimento futuro.

De um modo geral, as capacidades de edição de imagem do NextStep-1 mostram-nos uma direção importante: talvez no futuro já não precisemos de aprender software complexo de processamento de imagem, basta utilizar linguagem natural para descrever o efeito pretendido e a IA pode ajudar-nos a consegui-lo. Esta interação não só é mais intuitiva, como também reduz consideravelmente o limiar técnico da edição de imagens. Embora o modelo atual não seja perfeito, abre um caminho totalmente novo para a tecnologia de edição de imagem.