AIモデルの性能を評価するのは決して簡単なことではない。正直なところ、様々なモデルがいかに正確であるかを謳っているのを見るたびに、"この数字は本当に信頼できるのだろうか?"と疑問に思う。 ランニングスコアだけを見て電子製品をテストできないように、AIモデルもあらゆる側面を考慮して評価する必要がある。研究室ではうまくいっている妖精のようなモデルが、現実の世界では耐えられないこともある。少し前のことだが、友人が自分のNLPモデルがテストセットでは95%と同じ精度だと文句を言っていた。つまり、AIの性能評価というものを額面通りに受け取ってはいけないということだ。
評価指標は万能ではない
精度やリコールといった指標がAIモデルの強さを完全に表していると考えているなら、それは甘いかもしれない。現実には、Kaggleのコンペティションでは無敵のモデルでも、実稼働環境に投入されたときには合格点に達しないかもしれないのです。よくある精度を例にとってみましょう。99%の陰性サンプルのデータセットにおいて、モデルが何もせずに陰性を予測したとしても、精度は99%と高いままです。しかし、このようなモデルで、役に立つと思いますか?
時間のコストを見落とさないで
私は、多くのチームがモデルを評価する際に、特に時間的要素を無視しがちであることに気づく。精度が0.5%向上したモデルを2週間かけてトレーニングし、この0.5%向上によってどれだけのコンピューティング・リソースが消費されたかを計算せずに喜ぶのです。現実には、「十分な精度」と「タイムリーな対応」の間でトレードオフをする必要があることが多い。オンライン・カスタマーサービス・シナリオのように、ユーザーは、10秒で95点の回答をするシステムよりも、1秒で80点の回答をするモデルを望むでしょう。
そしてまた、AIのパフォーマンスを評価する際に最も頭を悩ませるのがデータの偏りの問題だ。せっかくハイパーパラメータを調整したのに、本当のボトルネックはデータの質にあると判明することもある。以前、私たちは顔の感情認識システムを作ったが、研究室ではまるでマインド・リーダーのような性能を発揮したが、アジア系のユーザーに使うと頻繁に間違えることが判明した。このような時、完璧なアルゴリズムは役に立たない。
本当のシナリオは最終試験会場
A/Bテストはモデルの究極のテストであり、私はそれをよく知っている。ラボ環境は温室のようなものですが、実際のユーザーシナリオは荒野のようなものです。開発者でさえ、あなたのAIがどのように使われるかわからないことがあります。開発者でさえ、ユーザーがどのような姿勢でAIを使うか想像できないことがあります。社内テストでは完璧に動作した対話システムがありますが、実際に稼働してみると、ユーザーは常にあらゆる方言やスラングで質問しており、モデルが混乱していることがわかりました。つまり、AIの性能評価はエンジニアだけの問題ではなく、製品や運用の役割の参加も必要なのです。結局のところ、AIは最終的に人々に奉仕するものなのですね。
评论列表 (0条):
加载更多评论 読み込み中...