インテリジェントな身体システムは、どのようにして自己学習を可能にするのか？

知的システムはどのようにして自ら学習するのか？この話題は、アルファ碁がどのように独学で囲碁を覚えたかを思い起こさせる。一つひとつの手を段階的に教えられるのではなく、試行錯誤と棋力向上を通じて、碁を上達していったのだ。この自己学習能力の背後にあるメカニズムは魅力的だ。現代の知能における自律学習は、強化学習アーキテクチャに基づいていることが多いが、実装はそれよりもはるかに複雑だ。新しい仕事に就いた新人のように、インテリジェンスも「新人」から「熟練者」へと成長する過程を経る必要があるのだ。

最も興味深いケースは、OpenAIのHide&Seekプロジェクトだろう。この仮想環境では、AI知能は最初はかくれんぼのやり方を知らなかったが、何十万回ものゲームの後、基本的なルールをマスターしただけでなく、道具を使って通路をふさぐなどの高度な戦略も自発的に開発した。この「啓示的な」学習プロセスは、知的システムがハードコードされたルールではなく、環境との相互作用を通じていかに能力を獲得できるかを示している。現在、多くの研究チームがこの環境ベースの自律学習というパラダイムを模索している。

学習メカニズムのマルチレベル・アーキテクチャ

詳しく見てみると、知的システムにおける自律学習は、一般的に3つのレベルで現れることがわかる。最も基本的な模倣学習（人間の実演データなどによる）、より高度な強化学習（環境フィードバックによる行動の修正）、そして最も高次のメタ学習（より効率的に学習する方法の学習）である。ディープマインドの研究によると、3つのタイプの学習をすべて組み合わせたインテリジェンスは、新しいタスクに5～8倍速く適応できることがわかった。5～8倍速くなる。興味深いことに、このプロセスは人間の学習の旅と驚くほど似ていることに気づくだろう！

エキサイティングな新しい方向性は、「世界モデリング」という概念の導入である。知的身体は、私たちの頭の中のメンタルマップのように、外部環境の抽象的な表現を内部に構築する。このモデルがあれば、実際の行動を起こす前に「思考実験」を行うことができ、試行錯誤のコストを大幅に削減できる。昨年グーグルが行った実験によると、ワールドモデルを搭載した知能体は、特定の意思決定タスクにおいて学習効率を70%向上させたという。

もちろん、自己主導的な学習は大きな課題にも直面している。その最たるものが、いわゆる「探索-搾取のジレンマ」である。知的身体はどこまで新しい行動を試すべきで、いつ実績のある戦略に従うべきなのか？カーネギーメロン大学の研究チームは最近、探索の強度を動的に調整するアルゴリズムを設計することで、知的生命体が安定した環境では既存の知識を活用し、不安定な環境では探索を強化するような、興味深い解決策を導き出した。

正直なところ、知能が自ら学習する能力に対する期待はかなり高いが、現実はスパイラル的に進歩する傾向がある。少し前に見たボトルキャップのねじ締めを学習するロボットのビデオのように、その技術をマスターするまでに何百回も失敗している。おそらく将来のブレークスルーは、知能がある領域から新しいタスクに学習をより効果的に移行させる方法にあるのだろう。