AIの研究課題を最適化するには？

AIのリサーチクエスチョンを最適化する鍵は、優秀なインターンと同じように正確に指示を出せることだ。先週、Geminiを使って2024年第2四半期の暗号通貨トレンドを分析したときのことを思い出す。暗号通貨市場の分析 "と入力し、一般的な概要を得たが、"米国のETF政策の影響に焦点を当て、2024年3月から5月の取引量、機関投資家のポジション、オンチェーン活動の3つの次元でSOLとETHのデータパフォーマンスを比較する。「そして、ブルームバーグのデータを引用した38ページの詳細なレポートが提供された。このシフトは、網を使った漁業から深海の定置漁業に移行するようなもので、効率は少なくとも5倍は向上する。

ワイドレンズをマイクロスコープに交換

最もよくある間違いは、あまりに広範な質問をすることだ。例えば、AIチップ市場を分析する際、「エヌビディアの強みは何ですか」といった質問をすると、AIは選択を迫られる。CUDAエコシステムについて語るべきか、それともH100の演算能力のパフォーマンスについて語るべきか。それとも最新のBlackwellアーキテクチャ？また、「MLPerfベンチマークデータを使って、LLM推論タスクにおけるNVIDIA H100とAMD MI300Xのエネルギー効率を比較する」と明示的に尋ねると、モデルは即座に最も関連性の高い技術ホワイトペーパーやベンチマークを引き出します。MITのある研究グループは、研究の範囲を限定した質問によって、AIが引用した権威ある文献の数が2,40%増加したことさえ発見している。

しかし、スコープコントロールには技術も必要だ。私がジェネレーティブAIの著作権論争を調査した際、質問を「2023年ゲッティイメージズ対安定AI事件に関わるデータ収集の詳細」に限定したため、業界全体の文脈を組織的に無視する結果となった。その後、「生成AIの訓練データの合法性の議論におけるこの事件の代表的な立場を分析し、EUのAI法の関連規定と比較する」ように調整し、報告書は本当の意味で政策的な参照価値を持つようになった。範囲を限定することは、砂に線を引くことではなく、座標軸を確立することであるという教訓である。

AIにナビゲーターをつける

スタンフォードHAI研究所の最近の報告書によると、明確な分析フレームワークを含む質問は、結果の精度を57%向上させることができる。 例えば、自動運転の安全性能を研究するためには、「ウェイモは安全か」と問う代わりに、「2023年のウェイモ・ジェン5とクルーズ・オリジンの安全記録を、衝突試験データ、離脱率、異常気象性能の3つの次元で比較する」というマトリックスを構築すべきである。ウェイモは安全か」と問うのではなく、「2023年のウェイモ・ジェン5とクルーズ・オリジンの安全記録を、衝突試験データ、離脱率、異常気象性能の3つの次元で比較し、NHTSAのオリジナルデータを含むクロスチェックを求める」というマトリックスを構築すべきだ。このような構造化された質問は、AIにGPSを搭載するようなもので、報告書の専門性に質的な違いが出ることを個人的にテストしたことがある。

興味深いことに、この手法はビジネス分析で特に効果を発揮する。先月、私は「2023年のエンタープライズ市場におけるZoomとTeamsの普及戦略を比較し、1)大企業の調達意思決定プロセス、2)ISVエコシステムの構築、3)APIのオープン度」の分析に焦点を当て、SaaSトラックのリサーチを行った。これで思い出した。良いリサーチ・クエスチョンとは、コンサルタントが答えられるものだ。そういえば、良いリサーチクエスチョンとは、それ自体が分析モデルであるべきだ。

期待管理におけるちょっとした魔法

AIから20ページの論文を渡されて、プレゼン資料だけ欲しいという気まずい思いをしたことはないだろうか？質問で直接出力要件を指定するのは、コーヒーメーカーのカップサイズを選ぶようなものだと私は気づいた。箇条書きで要約する」「取締役会プレゼンテーション用に5ページのPowerPointアウトラインを作成する」といった指示を追加し、ジェミニのレポート長コントロールと組み合わせれば、編集後の時間を大幅に節約できる。さらに良いことに、「結果をSWOT表に整理する」や「引用されたDOI番号にラベルを付ける」など、特定の書式設定が必要な場合、AIは基本的にこの作業に最適である。-後から手作業で整理するよりもはるかに効率的だ。

最後に、直感に反する発見がある。それは、質問に「人間の顔」をつけたほうがいい場合があるということだ。例えば、ブレイン・コンピューター・インターフェースの倫理について研究していたとき、私は2種類の質問を試してみた。ステレオタイプな「ニューロテクノロジーの倫理的リスクを挙げてください」という質問と、好奇心をそそる「もし来年ニューラリンクが民間利用として承認された場合、最も引き起こされる可能性が高いと思われる3種類の社会的論争は何ですか？科学技術倫理の専門家の立場から分析してください」。後者では、学術界のより先端的な議論まで引用され、事前に印刷された論文までいくつか掲載されている。AIだって、温かい質問と対話するのが好きなようだ。