静かに広がる機械学習の誤用が、科学に「再現性の危機」をもたらしている

「4時間のオンラインコースを受講するだけで機械学習を研究に利用できる点が誇張されすぎているのです」と、カプールは言う。「うまくいかない可能性があることについて、人々は立ち止まって考えていません」

AIの可能性に期待し、研究で活用することに大きく賭けている科学者もいる。新しい素材の探究にAIを広く活用しているマサチューセッツ工科大学(MIT)教授のトニオ・ブオナッシージも、そのひとりだ。

新型太陽電池の研究をしているブオナッシージは、機械学習は使い方を間違いやすいが強力なツールであり、放棄すべきものではないと指摘する。そして異なる分野の科学者がベストプラクティスを確立して共有すれば、多くの問題は防げるとも言う。「機械学習の本当の専門家でなくても、正しく使うことはできます」と、ブオナッシージは語る。

懸念される「再現性の危機」

機械学習を利用した研究で起きる、いわゆる「再現性の危機」について注意を喚起するワークショップをカプールとナラヤナンが開催したのは、22年7月末のことだった。30人程度の参加を見込んでいたが、1,500人以上からの登録があったという。その多さに驚くと同時に、これは科学の分野において機械学習に関する問題が広まっていることを示唆していると、ふたりは考えている。

このイベントには、医学や社会科学などの分野でAIが誤用されている事例に遭遇した研究者たちを、登壇者として招待した。このうちケンブリッジ大学の上級研究教授のマイケル・ロバーツは、新型コロナウイルスとの戦いに機械学習を用いたとする数十の論文の問題点について指摘している。そのうちいくつかで、多様な画像処理装置から得ていたことが原因でデータが歪んでいるものがあったという。

ノースウェスタン大学准教授のジェシカ・ハルマンは、機械学習を用いた研究の問題点について、心理学で主要な結果が再現不可能である問題になぞらえる。どちらの場合も使用するデータが少なすぎたり、結果の統計的な意味を見誤ったりしがちであると、ハルマンは指摘する。

メイヨークリニックのデータサイエンティストであるモーミン・マリクは、科学の分野で機械学習が誤った使われ方をしている研究を特定する活動について語るために招待された。機械学習の導入時における一般的な誤りのほか、研究者は利用に適さないことに機械学習を用いてしまうことがあるのだと、マリクは指摘する。

そしてマリクは、機械学習が誤った予測を出した顕著な例を挙げた。機械学習を活用し、インターネットのユーザーが入力した検索クエリのログからインフルエンザの流行をより迅速に特定しようとグーグルが08年に開発したツール「Google インフル トレンド」である。

このプロジェクトに対する評判はよかったものの、13年のインフルエンザの流行の予測には見事に失敗した。のちに実施された外部の調査は、この予測モデルはインフルエンザの流行とは無関係の季節的な用語に引っ張られていたと結論づけている。「大規模な機械学習モデルにすべてを放り込んで、何か出てくることを期待してはいけません」と、マリクは指摘する。

有害で長期的な影響をもたらす可能性

こうした機械学習にまつわる大きな問題の複雑さを考えると、すべての科学者が機械学習を習得することは不可能かもしれないと主張するワークショップの参加者もいた。

科学者がソフトウェア工学の原則を学び、統計の技術を習得してデータセットのメンテナンスに時間をかけることは重要だが、代わりに研究分野の知識が犠牲になってはならないと、プリンストン大学情報技術政策センターのデータサイエンティストのエイミー・ワインコフは説明する。

「例えば統合失調症の研究者が、病気の原因よりもソフトウェア工学についての知識が豊富な状態は理想的ではありません」と、ワインコフは指摘する。科学者と情報科学の研究者の協力を促進することで適切なバランスを保てるのではないかというのが、ワインコフの提案だ。

科学における機械学習の誤用はそれ自体も問題だが、これは外部の目が届きにくい企業や政府のAIプロジェクトでも同様の問題が多発している可能性を示していると捉えることもできる。AIアルゴリズムの誤用によって、誰かが医療を受けることを不当に拒否されたり、仮釈放に不当に反対されたりといった現実世界に影響が及ぶことを最も心配しているのだと、マリクは語る。

「一般的な教訓として、機械学習はすべての問題にとって最適な解決法ではないということです」と、マリクは説明する。「耳ざわりのいい説明や誇大広告、成功事例や期待はさておき、機械学習とは限定的な解決法なのです」

科学界がこの問題について考え始めることが重要だと、プリンストン大学のカプールは指摘する。「機械学習を活用した科学は、まだ始まったばかりです」と、カプールは言う。「しかし、これは緊急の課題であり、実に有害で長期的な影響をもたらす可能性があります」

(WIRED US/Translation by Nozomi Okuma)


会員限定記事会員サービス詳細