¿Cómo aprenden los sistemas inteligentes por sí solos? Este tema me recuerda a cómo AlphaGo aprendió Go por sí solo: en lugar de que le enseñaran cada movimiento paso a paso, mejoró su juego a base de ensayo y error y de jugar. El mecanismo que hay detrás de esta capacidad de autoaprendizaje es fascinante. El aprendizaje autónomo en las inteligencias modernas suele basarse en arquitecturas de aprendizaje por refuerzo, pero la implementación es mucho más compleja que eso. Al igual que un recién llegado a un nuevo trabajo, las inteligencias necesitan pasar por el proceso de crecer de "novato" a "experto".
El caso más interesante quizá sea el proyecto Hide&Seek de OpenAI. En este entorno virtual, las inteligencias IA no tenían ni idea de cómo jugar al escondite al principio, pero después de cientos de miles de partidas, no sólo dominaron las reglas básicas, sino que desarrollaron espontáneamente estrategias avanzadas como el uso de herramientas para bloquear los pasillos. Este proceso de aprendizaje "epifánico" demuestra cómo los sistemas inteligentes pueden adquirir capacidades a través de interacciones con el entorno en lugar de mediante reglas codificadas. Muchos equipos de investigación exploran ahora este paradigma de aprendizaje autónomo basado en el entorno.
Arquitectura multinivel de los mecanismos de aprendizaje
Un examen más detallado revela que el aprendizaje autónomo en los sistemas inteligentes suele manifestarse en tres niveles: el aprendizaje por imitación más básico (por ejemplo, a través de datos de demostraciones humanas), el aprendizaje por refuerzo más avanzado (que modifica el comportamiento a través de la retroalimentación del entorno) y el metaaprendizaje de orden superior (que aprende a aprender de forma más eficiente). La investigación de deepmind ha demostrado que las inteligencias que combinan los tres tipos de aprendizaje pueden adaptarse a nuevas tareas entre 5 y 8 veces más rápido. se multiplican por 5-8. Es interesante observar que este proceso es muy similar al proceso de aprendizaje humano.
Una nueva y emocionante dirección es la introducción del concepto de "modelización del mundo". Los cuerpos inteligentes construirán internamente una representación abstracta de su entorno externo, muy parecida a un mapa mental de nuestras mentes. Con este modelo, podrán realizar "experimentos mentales" antes de emprender acciones reales, lo que reducirá enormemente el coste del ensayo y error. Un experimento realizado por Google el año pasado demostró que las inteligencias equipadas con el modelo del mundo mejoraban su eficacia de aprendizaje en un 70% en determinadas tareas de toma de decisiones.
Por supuesto, el aprendizaje autodirigido también se enfrenta a enormes retos. El más obvio es el llamado "dilema exploración-explotación": ¿hasta qué punto debe un organismo inteligente probar nuevos comportamientos y cuándo debe seguir estrategias probadas? Un equipo de investigadores de la Universidad Carnegie Mellon ha encontrado recientemente una solución interesante diseñando un algoritmo que ajusta dinámicamente la intensidad de la exploración, de modo que las inteligencias se inclinen más por utilizar sus conocimientos existentes en entornos estables y potencien la exploración en entornos volátiles.
Para ser sinceros, las expectativas son bastante altas en cuanto a la capacidad de las inteligencias para aprender por sí solas, pero la realidad es que el progreso tiende a ir en espiral. Como en el vídeo que vi hace un tiempo de un robot que aprendía a enroscar un tapón de botella, falló cientos de veces antes de dominar la técnica, un proceso lento pero esclarecedor. Quizá los avances futuros residan en cómo permitir que las inteligencias transfieran el aprendizaje de un dominio a nuevas tareas de forma más eficaz.
评论列表 (0条):
加载更多评论 Cargando...