PR

WIRED WIRED

AIの進歩は頭打ちに? このままでは「膨大な計算量」が壁になるという研究結果が意味すること

また、グーグルのチームによって19年に開発された翻訳アルゴリズムは、1週間でおよそ12,000枚の特殊チップを必要とした。ある試算によると、この膨大な計算能力をクラウド経由で利用すると、最大300万ドル(約3億2,000万円)かかるという。

「ディープニューラルネットワークは計算コストが非常に高いのです」と、MITの助教授でディープラーニングの効率化を専門とする韓松(ハン・ソン)は語る。韓はトンプソンの論文の共著者ではない。「これは重大な問題です」

韓のグループは、新たな構造のニューラルネットワークと特殊な構造のチップを使って、一般的なAIアルゴリズムのさらに効率的なバージョンを作成している。しかし、「ディープラーニングに必要な計算量を減らすには、まだまだ長い道のりです」と、韓は言う。

同じ手法での進歩は、ほぼ不可能?

ほかの研究者たちも計算需要の高まりを指摘してきた。フェイスブックのAI研究部門の責任者を務めるジェローム・ペゼンティは19年の『WIRED』US版のインタヴューに対し、AI研究者は計算リソース不足の影響を感じ始めていると語っている。

さらに優れた新しいアルゴリズムが登場しなければ、こうしたディープラーニングの限界によって複数の分野で進歩が滞り、コンピューターが人間の仕事にとって代わるペースに影響を及ぼす可能性がある--。MITのトンプソンらは、そう考えている。

「仕事の自動化は、恐らく予想よりゆっくりと進みます。人間レベルのパフォーマンスに達するには、予想されていたよりずっと高額のコストが必要になるからです」と、トンプソンは語る。「仕事の観点から見ると、自動化がゆっくり進むことはいいことに思えるかもしれません」と彼は指摘するが、これによって生活水準を高める上で鍵となる生産性の向上も遅くなってしまう。

トンプソンらは研究において、新しいアルゴリズムを提案した1,000を超えるAIの研究論文を参照した。すべての論文が計算の要件について詳細に説明していたわけではないが、性能の向上に必要なコストを割り出すには十分である。こうした示されたのは、これまでと同じ方法でさらに進歩を遂げることは、ほぼ不可能であるということだった。

研究者からは計算コストの不満も

英語からフランス語への機械翻訳を例に挙げよう。現在、このタスクのエラー率は約50パーセントだが、これを計算能力だけに頼って10パーセントまで改善しようとすると、実に現在の10の31乗倍という途方もない計算能力が必要になる。この論文は査読前論文の掲載サイト「arXiv」に投稿されており、まだ査読を受けたり、ジャーナルに掲載されたりはしていない。

「わたしたちは、すでにこの壁にぶつかっています」と、トンプソンは語る。トンプソンによると、特に大規模で最先端のAIプロジェクトに取り組む研究者らが最近、計算コストが非常に高くて複数のアルゴリズムの設計を試したり実験をやり直したりできないと、講演や論文で不満を言い始めたという。

確かに、よりパワフルなチップやより効率的なソフトウェアが登場すれば、AIがある種の限界に近づいているという考えを覆せるかもしれない。チップの部品の小型化による進歩は、原子スケールの製造に課題があるにせよ続いている。それにAI向けの新しい特殊チップは、ディープラーニングの計算をより効率的に実施できるのだ。

続きを読む

あなたへのおすすめ

PR

PR

PR

PR

ブランドコンテンツ