O que é que o futuro reserva para a IA multimodal?

Olhando para o lançamento do modelo multimodal gpt-image-1 da OpenAI, não posso deixar de pensar: isto é apenas o começo, não é? A IA está a evoluir de um "estudante tendencioso" unimodal para um "generalista" completo. Texto, imagem e voz estão a ser integrados numa cadeia interactiva, e a mudança é muito mais profunda do que imaginávamos. No passado, os designers precisavam de escrever um texto de orientação, depois esboços e, por fim, fazer a renderização. Atualmente, desde que haja uma descrição em linguagem natural, a IA pode fazer a ligação entre estas ligações. Esta mudança não se limita a "melhorar a eficiência", mas sim a remodelar todo o processo de produção criativa.

Como é que a multimodalidade está a mudar a interação homem-computador?

Temos de admitir que nos encontramos no ponto de inflexão da mudança do modo de interação. Lembro-me de que, há alguns anos, o sistema de IA convencional ainda se encontrava basicamente na fase de "máquina de perguntas e respostas", sendo necessário procurar palavras-chave e depois filtrar a imagem pretendida. Agora, esta situação está a ser subvertida - estava a testar o gpt-image-1 e disse diretamente ao telefone: "Ajude-me a desenhar um padrão de flor de cerejeira adequado para capas de telemóveis, com um gradiente rosa, mas não demasiado feminino", e até eu fiquei surpreendida por ele conseguir captar com precisão as necessidades estéticas deste fuzzy. Até eu fiquei surpreendido com o facto de conseguir obter com precisão este tipo de exigência estética vaga. Este tipo de interação "expressão humana natural + compreensão exacta da IA" é talvez a parte mais valiosa do multimodal.

Entraves e descobertas por detrás da tecnologia

Mas será que o desenvolvimento multimodal é realmente um mar de rosas? Não me parece. Recentemente, encontrei um fenómeno interessante no teste: a compreensão do modelo de "mistura e combinação de estilos" ainda não é estável, pelo que, ao gerar uma "pintura de paisagem clássica de estilo cyberpunk", os trabalhos do 80% tendem mais para um dos estilos. Este facto revela, de facto, o problema mais profundo da compreensão da representação multimodal - o alinhamento semântico entre diferentes modalidades requer um poder aritmético e um suporte de dados surpreendentes.

Mas a OpenAI parece ter encontrado uma solução. O seu último blogue de tecnologia menciona uma estratégia de "aprendizagem por contraste transmodal" que permite que os modelos sejam expostos tanto a descrições textuais como a imagens correspondentes durante o treino. Curiosamente, isto é um pouco como ensinar uma criança a ler apontando para um objeto real. O modelo atual com 27B parâmetros consegue obter este efeito, o que acontecerá quando ultrapassar os 100B parâmetros? O que acontecerá quando o parâmetro 100B for ultrapassado?