Como é que a IA permite a integração multimodal?

Recentemente, o domínio da tecnologia de fusão multimodal da IA tem sido muito apelativo, não se trata de uma simples sobreposição de tecnologias, mas sim de uma difícil "sinfonia transfronteiriça". Imagine uma IA capaz de compreender os seus comandos de voz, analisar as fotografias que envia e interpretar os seus comentários em código manuscrito ao mesmo tempo. Há alguns anos, este tipo de capacidade era apenas uma fantasia. A openAI, a Google e estes gigantes da tecnologia estão a competir para ultrapassar os limites do multimodal, mas como consegui-lo? Isto esconde uma série de mistérios técnicos que vale a pena jogar.

A evolução das arquitecturas das redes neuronais: da via única às passagens superiores

Os primeiros modelos de IA eram como ruas de sentido único que só podiam lidar com um tipo de dados. O projeto ImageBind da Meta demonstra uma ideia interessante: mapear seis tipos de dados modais, tais como imagem, vídeo, texto, áudio, etc., no mesmo espaço semântico. Isto é como criar um conjunto de linguagem gestual universal para pessoas de diferentes famílias linguísticas, para que todos os tipos de dados possam "dialogar" na mesma dimensão.

A série Gemini da Google é ainda mais radical, concebida diretamente ao nível da arquitetura como um modelo nativo multimodal. Curiosamente, descobriram que as diferentes modalidades no processo de formação se promovem mutuamente - a formação de dados áudio pode efetivamente melhorar a compreensão do texto, este "efeito de aprendizagem transfronteiriço" que nem os programadores esperavam.

Alinhamento de dados: fazer com que os pixéis e o texto "pensem da mesma maneira"

A maior dor de cabeça do multimodal é o problema do alinhamento. Por exemplo, para ensinar uma IA a compreender a frase "carro desportivo vermelho", é necessário fazer com que a carroçaria vermelha visual e a forma aerodinâmica correspondam exatamente à descrição do texto. A Aprendizagem Contrastiva, que é normalmente utilizada na indústria, é como jogar um jogo de correspondência: juntar as combinações corretas de gráficos e texto com combinações aleatórias para a IA distinguir.

O modelo BEiT-3 da Microsoft adopta uma abordagem mais inteligente - utilizando descrições de texto para gerar automaticamente caraterísticas de imagem correspondentes, o que equivale a deixar a IA criar os seus próprios dados de treino. Os dados experimentais mostram que esta abordagem auto-supervisionada melhora a precisão em 12% em relação à aprendizagem supervisionada tradicional na tarefa de classificação ImageNet, deixando-nos maravilhados com a velocidade da evolução algorítmica.

Motores de raciocínio: a "técnica de mudança de mente" da IA

O raciocínio dinâmico é a principal caraterística da IA multimodal. Quando um utilizador envia uma imagem e uma pergunta de voz ao mesmo tempo, a IA precisa de raciocinar como um detetive experiente, combinando pistas visuais e de voz. O modelo Flamingo da DeepMind demonstra um interessante mecanismo de "mudança de atenção" - ajusta automaticamente a atenção de cada camada da rede neural de acordo com o tipo de dados de entrada. Ajusta automaticamente a atenção de cada camada da rede neural de acordo com o tipo de dados de entrada.

O que é ainda mais impressionante é o facto de modelos como o GPT-4o poderem alternar sem problemas entre o "modo de raciocínio rigoroso" e o "modo de conversação" de acordo com a cena. Por detrás disto está um mecanismo de regulação bem concebido (Gating Mechanism) que, tal como a IA instalou um regulador de intensidade inteligente, pode ajustar a profundidade do pensamento em qualquer altura. Não admira que alguns programadores tenham brincado com o facto de a IA saber mais do que alguns seres humanos "para ver os pratos debaixo do prato".

Depois de ler estas tecnologias de ponta, não é ainda mais emocionante esperar por um assistente de IA que saiba falar e ler, e que conheça o mapa e a voz? No entanto, para ser honesto, a integração multimodal ainda está em rápido desenvolvimento e cada avanço é acompanhado de novos desafios. Tal como ensinar uma criança a dominar vários talentos ao mesmo tempo, é necessário um desenvolvimento equilibrado para evitar "preconceitos". Mas o que é certo é que esta sinfonia tecnológica acabou de tocar o seu movimento mais emocionante.