¿Qué futuro le espera a la IA multimodal?

Contemplando el lanzamiento del modelo multimodal gpt-image-1 de OpenAI, no puedo evitar pensar: esto es sólo el principio, ¿no? La IA está evolucionando de un "estudiante parcial" unimodal a un "generalista" polifacético. Texto, imagen y voz se están integrando en una cadena interactiva, y el cambio es mucho más profundo de lo que imaginábamos. Tomemos el campo del diseño, en el pasado, los diseñadores pueden necesitar para escribir la guía de copia, a continuación, bocetos, y, finalmente, hacer la representación, y ahora, siempre y cuando una descripción en lenguaje natural, AI puede vincular estos enlaces para completar. Este cambio no consiste simplemente en "mejorar la eficiencia", sino en remodelar todo el proceso de producción creativa.

¿Cómo está cambiando la multimodalidad la interacción persona-ordenador?

Tenemos que admitir que nos encontramos en el punto de inflexión del cambio del modo de interacción. Recuerdo que hace unos años, el sistema de IA dominante seguía estando básicamente en la fase de "máquina de preguntas y respuestas", tienes que buscar palabras clave y luego filtrar la imagen que quieres. Ahora esta situación se está subvirtiendo: estaba probando gpt-image-1, y le dije directamente al teléfono: "Ayúdame a dibujar un patrón de flor de cerezo adecuado para fundas de móvil, degradado rosa, pero no demasiado femenino", e incluso yo me sorprendí de que pudiera captar con precisión las necesidades estéticas de este difuso. Incluso a mí me sorprende que pueda captar con precisión este tipo de demanda estética tan vaga. Este tipo de interacción "expresión humana natural + comprensión precisa de la IA" es quizá la parte más valiosa del multimodal.

Cuellos de botella y avances tecnológicos

Pero, ¿es realmente todo coser y cantar para el desarrollo multimodal? Yo creo que no. Recientemente, he descubierto un fenómeno interesante en la prueba: la comprensión del modelo de "mezcla y combinación de estilos" aún no es estable, de modo que al generar una "pintura de paisaje clásico estilo cyberpunk", las obras de 80% se inclinan más por uno de los estilos. De hecho, esto revela el problema más profundo de la comprensión de la representación intermodal: la alineación semántica entre distintas modalidades requiere una potencia aritmética y un soporte de datos asombrosos.

Pero parece que OpenAI ha encontrado la manera. Su último blog técnico menciona una estrategia de "aprendizaje por contraste multimodal" que permite exponer los modelos tanto a descripciones textuales como a las imágenes correspondientes durante el entrenamiento. Curiosamente, esto es un poco como enseñar a un niño a leer señalando un objeto real. El modelo actual con 27B parámetros puede lograr este efecto, ¿qué ocurrirá cuando supere los 100B parámetros? ¿Qué ocurrirá cuando se supere el parámetro 100B?