Comment l'IA permet-elle les mouvements naturels du corps ?

C'est un sujet fascinant que de parler de la façon dont l'IA permet des mouvements corporels naturels. J'ai récemment découvert le système OmniAvatar de l'université de Zhejiang et d'Alibaba, qui est capable de transformer une photo et un morceau de musique en mouvements corporels animés ! Cela me rappelle les films de science-fiction que je regardais quand j'étais enfant, et je n'aurais jamais pensé que cela deviendrait une réalité. Le principe de cette technologie est toutefois assez complexe, et il ne s'agit pas simplement d'assembler quelques animations.

De la magie statique à la magie dynamique

Vous êtes-vous déjà demandé pourquoi de nombreuses animations générées par l'IA semblent toujours un peu "fausses" ? OmniAvatar utilise une méthode très intelligente : l'intégration audio multicouche pixel par pixel. En d'autres termes, l'IA écoute attentivement chaque syllabe de l'audio, puis applique la signature sonore comme une peinture sur chaque pixel de la vidéo, couche par couche. Par exemple, lorsque vous dites "hello", "n" et "h" correspondent à des formes de bouche et à des mouvements du corps différents, que l'IA doit reproduire avec précision.

L'origine du langage corporel

Ce qui m'a le plus surpris, c'est le naturel avec lequel OmniAvatar a pu gérer les mouvements du corps. Saviez-vous que la technologie traditionnelle permet à l'avatar de bouger sa bouche au mieux, et son corps comme un homme de bois ? En analysant 1 320 heures de données vidéo réelles, le nouveau système apprend les mouvements corporels subtils que font les humains lorsqu'ils parlent - par exemple, un léger affaissement des épaules en cas d'excitation, ou une inclinaison involontaire de la tête lorsqu'ils réfléchissent. Ce sont ces détails qui, ajoutés les uns aux autres, donnent à l'homme numérique un aspect réaliste.

Mais ce n'est pas parfait. J'ai remarqué que les vidéos générées sur de longues périodes peuvent encore occasionnellement "dériver", comme une vieille télévision dont le signal est instable. Les chercheurs ont eu recours à une astuce : ils ont donné à l'IA une "ancre de mémoire" - en utilisant la première image de l'image comme référence, comme la corde d'un cerf-volant - pour continuer à tirer la personne numérique en arrière, en s'assurant que l'image ne dérape pas. pour s'assurer que l'image ne déraille pas.

Possibilités futures

Honnêtement, si cette technologie était plus mûre, il y aurait trop d'applications à imaginer ! Je peux déjà imaginer des enseignants virtuels plus vrais que nature dans l'enseignement à distance, ou des présentateurs numériques infatigables dans le commerce électronique en direct. Cependant, il reste encore de nombreux goulets d'étranglement techniques à éliminer pour que les mouvements de l'IA atteignent la fluidité naturelle des mouvements humains - comme la gestion du langage corporel lors d'interactions avec plusieurs personnes, ou l'expression de changements émotionnels plus subtils.

Il semble que pour que les IA deviennent vraiment "vivantes", elles doivent apprendre à observer davantage les codes du langage corporel des humains. Après tout, nous, les êtres humains, qui sommes de petits bébés, n'avons-nous pas mis plus de dix ans à apprendre à faire des mouvements naturels et fluides ? Pour l'IA, il s'agit également d'un processus qui prend du temps à s'accumuler. Mais à en juger par le rythme de développement actuel, peut-être verrons-nous des percées encore plus étonnantes dans quelques années.

Alors que j'écris ces lignes, je me dis que ce serait une sensation extraordinaire si un jour une personne numérique pouvait imiter mes mouvements caractéristiques de manière totalement naturelle - c'est à la fois excitant et un peu effrayant !