Quel est l'avenir de l'IA multimodale ?

En regardant le lancement du modèle multimodal gpt-image-1 d'OpenAI, je ne peux m'empêcher de penser : ce n'est que le début, n'est-ce pas ? L'IA évolue d'un "étudiant partial" unimodal à un "généraliste" polyvalent. Le texte, l'image et la voix sont intégrés dans une chaîne interactive, et le changement est bien plus profond que nous ne l'imaginions. Si l'on prend l'exemple du domaine de la conception, dans le passé, les concepteurs pouvaient avoir besoin de rédiger des conseils, puis des croquis, et enfin de faire le rendu, et maintenant, à partir d'une description en langage naturel, l'IA peut relier ces liens pour les compléter. Ce changement ne consiste pas simplement à "améliorer l'efficacité", mais à remodeler l'ensemble du processus de production créative.

Comment la multimodalité modifie-t-elle l'interaction homme-machine ?

Nous devons admettre que nous nous trouvons au point d'inflexion du changement de mode d'interaction. Je me souviens qu'il y a quelques années, les systèmes d'IA grand public en étaient encore au stade de la "machine à questions et réponses" : vous deviez rechercher des mots clés, puis filtrer l'image que vous vouliez. Aujourd'hui, cette situation est en train d'être renversée - je testais gpt-image-1 et j'ai dit directement au téléphone : "Aide-moi à dessiner un motif de fleurs de cerisier adapté aux coques de téléphone portable, avec un dégradé de rose, mais pas trop girly", et j'ai été surpris de constater qu'il pouvait répondre avec précision aux besoins esthétiques de ce flou. Je suis même surpris qu'il puisse répondre avec précision à ce type de demande esthétique vague. Ce type d'interaction "expression humaine naturelle + compréhension précise par l'IA" est peut-être l'élément le plus précieux de la multimodalité.

Goulets d'étranglement et avancées technologiques

Mais le développement multimodal est-il vraiment en bonne voie ? Je ne le crois pas. Récemment, j'ai découvert un phénomène intéressant dans le test : la compréhension par le modèle du "mélange de styles" n'est pas encore stable, de sorte que lorsqu'il génère une "peinture de paysage classique de style cyberpunk", les travaux de 80% sont plus enclins à l'un des styles. Cela révèle en fait le problème plus profond de la compréhension des représentations intermodales : l'alignement sémantique entre différentes modalités nécessite une puissance arithmétique et un support de données étonnants.

Mais OpenAI a apparemment trouvé une solution. Son dernier blog technologique mentionne une stratégie d'"apprentissage par contraste multimodal" qui permet aux modèles d'être exposés à la fois à des descriptions textuelles et à des images correspondantes au cours de la formation. Il est intéressant de noter que c'est un peu comme apprendre à lire à un enfant en lui montrant un objet réel. Le modèle actuel, qui compte 27 milliards de paramètres, peut produire cet effet. Que se passera-t-il lorsqu'il dépassera les 100 milliards de paramètres ? Que se passera-t-il lorsque le paramètre 100B sera dépassé ?