PR

WIRED WIRED

AIの基盤となるデータに「ラベル付けの間違い」が蔓延、その影響の深刻度

さらに最近の研究では、AIモデル(アルゴリズムによる予測)の訓練とテストに使われるデータに基本的な間違いが潜んでおり、これによってモデルの実際のよしあしがわからなくなる場合があることに焦点が当てられている。

MITの博士課程の大学院生で今回の研究を主導したカーティス・ノースカットは、「この研究が世界に示しているのは、間違いを修正する必要があるということです」と語る。「さもないと、現実世界のビジネスで問題に最適だと考えたモデルが、実際は間違っているということになりかねません」

パフォーマンスに影響する危険性

画像のデータセットが抱える問題を明らかにする別の研究を20年に主導したMIT教授のアレクサンダー・マドリー(今回の研究には関与していない)は、今回の研究について重要な問題に光をあてるものだと評価しながらも、示唆されているほど間違いが蔓延しているのか判断するには研究手法を慎重に検討する必要があると指摘する。

似たような大規模データセットは、さまざまな産業用AIのアルゴリズムの開発に使われている。例えば、自律走行車が路面の障害物を認識するアルゴリズムには、道路の場面のアノテーション付き画像が大量に与えられている。また、特定の疾患の可能性をアルゴリズムで予測する際には、ラベルのついた医療記録の膨大なコレクションが役立てられている。

今回指摘されているような間違いが存在していると、さまざまなAIモデルからひとつを選ぼうとしている機械学習エンジニアが、選択を誤ることにつながりなりかねない。「実際には現実世界ではパフォーマンスが劣ってしまうモデルを選択している可能性があります」と、ノースカットは語る。

開発者が想定していたようなパフォーマンスが実際には出ていない恐れがある重大なシステムの例として、ノースカットは自律走行車の前方路面のオブジェクト識別に使われるアルゴリズムを挙げる。

アノテーションやラベルは低賃金のクラウドワーカーによってつけられることが普通であり、AIのデータセットに間違いが含まれていてもまったく驚きではない。これはAIの研究では公然の秘密のようなものだが、こうした間違いの頻度を正確に突き止めようとする研究者はこれまでほとんどいなかった。また、さまざまなAIモデルのパフォーマンスへの影響も明らかにされることがなかった。

誤ったラベル付けの影響の深刻度

MITの研究者らが今回、ImageNetのテスト・データセット(訓練されたアルゴリズムのテストに使われる一部画像)を調査したところ、画像の6%にラベルの間違いが見つかった。また、映画レビューの肯定と否定、製品レビューが集める星の数、動画に映っているものなどを判断するAIプログラムで訓練に使われているデータセットでも、同じような割合で間違いが見つかった。

続きを読む

あなたへのおすすめ

PR

PR

PR

PR

ブランドコンテンツ