Comment les systèmes corporels intelligents permettent-ils l'apprentissage autonome ?

Comment les systèmes intelligents apprennent-ils par eux-mêmes ? Ce sujet me rappelle la manière dont AlphaGo a appris le jeu de go par lui-même : au lieu de se voir enseigner chaque mouvement étape par étape, il a amélioré son jeu par tâtonnements et par jeu. Le mécanisme qui sous-tend cette capacité d'auto-apprentissage est fascinant. L'apprentissage autonome dans les intelligences modernes est souvent basé sur des architectures d'apprentissage par renforcement, mais la mise en œuvre est beaucoup plus complexe que cela. Tout comme un nouveau venu dans un nouvel emploi, les intelligences doivent passer par le processus d'évolution de "débutant" à "expert".

Le cas le plus intéressant est sans doute le projet Hide&Seek de l'OpenAI. Dans cet environnement virtuel, les intelligences artificielles ne savaient pas du tout comment jouer à cache-cache au début, mais après des centaines de milliers de parties, elles ont non seulement maîtrisé les règles de base, mais aussi développé spontanément des stratégies avancées telles que l'utilisation d'outils pour bloquer les passages. Ce processus d'apprentissage "épiphanique" montre comment les systèmes intelligents peuvent acquérir des capacités grâce aux interactions avec l'environnement plutôt qu'à des règles codées en dur. De nombreuses équipes de recherche explorent actuellement ce paradigme de l'apprentissage autonome basé sur l'environnement.

Architecture à plusieurs niveaux des mécanismes d'apprentissage

Un examen plus approfondi révèle que l'apprentissage autonome dans les systèmes intelligents se manifeste généralement à trois niveaux : l'apprentissage par imitation le plus élémentaire (par exemple, grâce à des données de démonstration humaine), l'apprentissage par renforcement plus avancé (modification du comportement grâce à un retour d'information sur l'environnement) et le méta-apprentissage de plus haut niveau (apprendre à apprendre plus efficacement). Les recherches de deepmind ont montré que les intelligences combinant les trois types d'apprentissage peuvent s'adapter à de nouvelles tâches de 5 à 8 fois plus rapidement. La vitesse d'apprentissage est multipliée par un facteur de 5 à 8. Il est intéressant de noter que ce processus ressemble étrangement au parcours d'apprentissage de l'être humain !

L'introduction du concept de "modélisation du monde" constitue une nouvelle orientation passionnante. Les organismes intelligents construiront en interne une représentation abstraite de leur environnement externe, à l'instar de la carte mentale de notre esprit. Grâce à ce modèle, ils peuvent mener des "expériences de pensée" avant de prendre des mesures réelles, ce qui réduit considérablement le coût des essais et des erreurs. Une expérience menée par Google l'année dernière a montré que les intelligences équipées du modèle mondial amélioraient leur efficacité d'apprentissage de 70% pour certaines tâches de prise de décision.

Bien entendu, l'apprentissage autonome est également confronté à d'énormes défis. Le plus évident est le dilemme "exploration-exploitation" : jusqu'où un organisme intelligent doit-il essayer de nouveaux comportements et quand doit-il suivre des stratégies éprouvées ? Une équipe de chercheurs de l'université Carnegie Mellon a récemment trouvé une solution intéressante en concevant un algorithme qui ajuste dynamiquement l'intensité de l'exploration, de sorte que les intelligences soient plus enclines à utiliser leurs connaissances existantes dans des environnements stables, et à renforcer l'exploration dans des environnements instables.

Pour être honnête, on attend beaucoup de la capacité des intelligences à apprendre par elles-mêmes, mais la réalité est que les progrès ont tendance à se faire en spirale. Comme dans la vidéo que j'ai vue il y a quelque temps d'un robot apprenant à visser un bouchon de bouteille, il a échoué des centaines de fois avant de maîtriser la technique, un processus lent mais instructif. Peut-être que les percées futures résideront dans la manière de permettre aux intelligences de transférer plus efficacement l'apprentissage d'un domaine à de nouvelles tâches.