¿Cómo permite la IA la integración multimodal?

Recientemente el campo de la IA de la tecnología de fusión multimodal es realmente llamativo, no se trata de una simple superposición de tecnologías, es más bien como tocar una difícil "sinfonía transfronteriza". Imagina una IA que pueda entender tus comandos de voz, analizar las fotos que envías e interpretar tus comentarios en código manuscrito al mismo tiempo, este tipo de capacidad hace unos años era sólo como una fantasía. openAI, Google y estos gigantes tecnológicos compiten por traspasar los límites de lo multimodal, pero ¿cómo lograrlo? Esto esconde una serie de misterios técnicos con los que merece la pena jugar.

Evolución de las arquitecturas de redes neuronales: del carril único a los pasos elevados

Los primeros modelos de IA eran como calles de sentido único que sólo podían manejar un tipo de datos. Hoy en día, los modelos multimodales son como complejos sistemas de paso elevado, y la arquitectura Transformer es la clave.El proyecto ImageBind de Meta demuestra una idea interesante: mapear seis tipos de datos modales, como imagen, vídeo, texto, audio, etc., en el mismo espacio semántico. Es como crear un lenguaje de signos universal para personas de distintas familias lingüísticas, de modo que todos los tipos de datos puedan "dialogar" en la misma dimensión.

La serie Gemini de Google es aún más radical, diseñada directamente a nivel arquitectónico como modelo nativo multimodal. Curiosamente, encontraron que las diferentes modalidades en el proceso de formación promoverá entre sí - la formación de datos de audio en realidad puede mejorar la comprensión de texto, este "efecto de aprendizaje transfronterizo" incluso los desarrolladores no se esperaba.

Alineación de datos: hacer que píxeles y texto "piensen igual"

El mayor quebradero de cabeza del multimodal es el problema de la alineación. Por ejemplo, para enseñar a una IA a entender la frase "coche deportivo rojo", tiene que hacer que la carrocería roja visual y la forma aerodinámica se correspondan exactamente con la descripción del texto. El aprendizaje contrastivo, que se utiliza habitualmente en el sector, es como un juego de correspondencias: poner las combinaciones correctas de gráfico y texto junto con combinaciones aleatorias para que la IA las distinga.

El modelo BEiT-3 de Microsoft adopta un enfoque más inteligente: utiliza descripciones de texto para generar automáticamente las características de imagen correspondientes, lo que equivale a dejar que la IA cree sus propios datos de entrenamiento. Los datos experimentales muestran que este enfoque autosupervisado mejora la precisión en 12% con respecto al aprendizaje supervisado tradicional en la tarea de clasificación ImageNet, lo que nos deja maravillados ante la velocidad de la evolución algorítmica.

Motores de razonamiento: la "técnica de cambio de mente" de la IA

El razonamiento dinámico es la principal característica de la IA multimodal. Cuando un usuario envía una imagen y una pregunta de voz al mismo tiempo, la IA tiene que razonar como un detective experimentado, combinando pistas visuales y de voz.El modelo Flamingo de DeepMind demuestra un interesante mecanismo de "cambio de atención": ajusta automáticamente la atención de cada capa de la red neuronal según el tipo de datos de entrada. Ajusta automáticamente la atención de cada capa de la red neuronal según el tipo de datos de entrada.

Lo que es aún más impresionante es que modelos como GPT-4o pueden cambiar sin problemas entre el "modo de razonamiento riguroso" y el "modo de charla" según la escena. Detrás de esto hay un mecanismo de gating bien diseñado (Gating Mechanism), igual que la IA instaló un regulador de intensidad inteligente, puede ajustar la profundidad del pensamiento en cualquier momento. No es de extrañar que algunos desarrolladores hayan bromeado diciendo que la IA sabe más que algunos seres humanos "ver los platos debajo del plato".

Después de leer estas tecnologías punteras, ¿no es aún más emocionante esperar ese asistente de IA que sepa hablar y leer, y conozca el mapa y la voz? Para ser sinceros, sin embargo, la integración multimodal está aún en pleno desarrollo, y cada avance va acompañado de nuevos retos. Al igual que enseñar a un niño a dominar varios talentos al mismo tiempo, es necesario un desarrollo equilibrado para evitar "sesgos". Pero lo que es seguro es que esta sinfonía tecnológica acaba de tocar su movimiento más emocionante.