PR

AIをもっと賢くするには、だましてやればいい? フェイスブックが新プロジェクトを立ち上げた理由

PR

 人工知能(AI)と、それをだまそうとする人間たちを闘わせる--。そんなユニークな実験プラットフォームを、このほどフェイスブックが立ち上げた。その目的は、既存のテストでは計りきれないAIの「真の賢さ」を計測することにある。

TEXT BY TOM SIMONITE

TRANSLATION BY MUTSUMI FUNAYAMA

WIRED(US)

EUGENE MYMRIN/GETTY IMAGES
EUGENE MYMRIN/GETTY IMAGES

フェイスブックの人工知能(AI)研究者たちは、アルゴリズムを人間の“悪知恵”に触れさせることで改良しようとしている。

フェイスブックのAI研究所は9月24日、「Dynabench」という名のプロジェクトを立ち上げた。このプロジェクトでは仮想の円形闘技場のようなものがつくられ、そこで人間たちがAIシステムをあの手この手でだまそうとする。

例えば、文章に込められた感情を評価するAIシステムに、ネガティブに見えるように工夫して書かれたポジティブな文章を読ませて誤解させたり、ヘイトスピーチのフィルターをだましたりといった具合だ。最初はテキスト処理ソフトウェアを対象に実験が進められるが、今後は音声や画像、インタラクティブゲームなどの分野も扱うことになるかもしれない。

AIの賢さをより正確に計測する

人間にAIを挑発させる目的は、AIの本当の賢さを(あるいは愚かさを)計測し、さらなる改良のためのデータを得ることだ。

AIの賢さを評価するとき、科学者たちは通常「ベンチマーク」と呼ばれる標準的なデータセットを使い、AIがどれほど正確に画像をラベリングしたり、複数選択肢の質問に答えられたりするかスコアをつけていく。

しかし、フェイスブックの研究者ダウ・キーラによると、これらのテストでは研究者たちが重視している内容を計測できないのだという。「本当に興味があるのは、AIが人間とかかわったときに間違いを犯す頻度です。現在のベンチマークでは、わたしたちがAIの自然言語処理で素晴らしい成果を出しているように見えますが、それは勘違いです。まだまだ、やるべきことはたくさんあるのですから」

研究者たちはAIが人間にだまされたケースを分析することで、アルゴリズムをもっとだまされにくくできるはずだと期待している。

一般のネットユーザーも、AI研究者たちと同じように、AIと対戦してバーチャルバッジを獲得する体験を楽しんでくれればとキーラは期待している。だが、このプラットフォームでは、アマゾンのクラウドソーシング・サービス「Amazon Mechanical Turk」を通じて、研究者たちが研究に貢献したユーザーに報酬を支払うこともできるようになる。

また、Dynabenchプラットフォームでは、スタンフォード大学やノースカロライナ大学、ユニバーシティ・カレッジ・ロンドンのAI研究室もAIのテストを実施していくという。

答えを察してしまうAIの問題

より複雑で現実に近い状況にコンピューターを対応させるには、この分野の研究をさらに広げる必要がある。フェイスブックでAI担当バイスプレジデントのジェローム・ペセンティをはじめ、そう唱えるAI研究者は増えてきた。フェイスブックによる今回のプロジェクトも、こうした流れのなかで始まったものだ。

この8年間、ディープラーニング(深層学習)と呼ばれるAI技術の躍進によって、消費者向けの音声認識は性能を上げ、犬の写真を自動的に仕分けるスマートフォンや愉快なSnapchatフィルターといったものが実現し、奇妙なほど明晰な文章を生成するアルゴリズムも誕生した。

とはいえ、ディープラーニングを使ったソフトウェアも、訓練を受けた特定の領域を超えた状況ではつまずいてしまう。最良のテキスト処理アルゴリズムでも、皮肉や文化的なコンテクストによる言葉の意味の変化など、言語のニュアンスによって足をすくわれることがあるのだ。これは、フェイスブックのヘイトスピーチ探知にとっても大きな課題である。また、テキスト生成プログラムは、しばしば現実から離れたナンセンスな文を吐き出す。

こうした限界は、AI研究で使われている標準的なベンチマークからはわかりにくいものだ。AIの読解力テストのなかには再設計が必要になったものもあり、近年では以前より難易度を上げている。どうすれば高得点を得られるかアルゴリズムが学習してしまい、人間のスコアを超えるようになったからだ。

こうした結果は当てにならないと、ワシントン大学教授でアレン人工知能研究所のリサーチマネジャーを務めるチェ・イェジンは言う。機械学習アルゴリズムは統計的な力によって、人間には見えないテスト用データベース内の小さな相関関係を見つけ出す。この相関関係がわかれば、人間がもつような世界に対する広い理解がなくとも、正しい答えが導き出せてしまうのだ。

「『賢馬ハンス』のような状態ですね」と、彼女は言う。賢馬ハンスは、昔ドイツで計算ができるとして有名になったが、実際には計算ができるわけではなく、周りの人間のボディーランゲージから答えを察していたのだった。

研究者に求められるクリエイティビティ

AIの進歩を計測・促進する別の方法を探すAI研究者も増えている。チェも独自の方法を試してみた。例えば、掲示板サイト「reddit」の投稿に対するテキスト生成アルゴリズムの反応を人間の反応と比較し、それがどの程度のレベルであるかをスコアリングする方法だ。

また別の研究者は、人間にテキストアルゴリズムをだましてもらった人もいる。この研究者は、実際にこの方法で集められた事例を使ってAIシステムを改良できることを証明している。

アルゴリズムをより難しいテストに挑戦させると、それほど賢くないように見えてくる。フェイスブックのDynabenchプラットフォームでも同じことが起きるのではないかと、チェは考えた。

このプロジェクトは、言ってみればAIという皇帝たちの服をはぎ取ろうとするものだ。このプロジェクトに触発された研究者たちは、もっと新鮮なアイデアを考え出して、何とか突破口を見つけようとするかもしれない。

「研究者たちに、AIの学習方法は本来どうあるべきか熟考させるのです」と、チェは言う。「わたしたちは、もっとクリエイティブになるべきです」

この記事を共有する

おすすめ情報