「手話を身近に」 日本財団がAI使った学習ゲーム開発

手話タウンのプレー画面。動画を見て手話を覚えた後、カメラに向かって質問に手話で答え、AIが判定する
手話タウンのプレー画面。動画を見て手話を覚えた後、カメラに向かって質問に手話で答え、AIが判定する

多くの人に気軽に手話を学んでもらおうと、日本財団は香港中文大と共同で、情報通信技術(ICT)を活用したパソコン向けの学習ゲーム「手話タウン」を開発した。街のカフェなどを舞台に手話で質問に答えると、カメラを通して人工知能(AI)が体の動きや表情などから正しく表現できているかを判定する。ゲームに搭載した機能をもとに、将来的には手話を自動で音声言語に翻訳する技術の開発を目指す。

「耳の聞こえないろう者にとって、手話は単なるコミュニケーションの手段ではなく、物事を考えたりする際に使う第1言語」。日本財団の担当者、川俣郁美さんはそう話す。国連総会で2006年に採択された障害者権利条約で「手話は言語」と明記されるなど、近年は音声言語と対等な言語として国際的に認められている。だが、日常的に手話を使う家族や知人がいない人にとっては、身近な存在とはいえない。そこで「手話に触れる入り口になれば」(川俣さん)と学習ゲームを企画した。

アジア太平洋地域の手話言語学研究に取り組む香港中文大とともに、約1年半前から開発に着手。グーグルと関西学院大の協力も得て完成させ、国連の「手話言語の国際デー」(9月23日)に発表した。

手話タウン(https://signtown.org/)で学べるのは日本手話と香港手話で、現在は各36単語。ホテルやカフェなどさまざまなシーンにかかわる手話を動画で覚えた後、カメラに向かって質問に手話で回答。AIが正しいと判断すればクリアとなる。また、画面上のキャラクターが「手話がよく見える明るい場所が好き」など、手話で話す人たちの文化も紹介する。

今後は学べる単語を増やし、スマートフォンなどでも遊べるよう対応する。またAIによる手話認識技術を活用し、手話からも意味を調べられる「手話辞書」を作成。最終的な目標は、手話での会話をスマートフォンなどを使って音声言語に変換する技術の開発だ。川俣さんは「手話が身近になることでろう者への理解が深まり、手話を勉強したいという人が増えれば」と期待する。(藤井沙織)

手話

手の形や動き、表情も使った独自の文法体系をもつ。日本では平成23年施行の改正障害者基本法で「言語」と明記された。全国の自治体で手話を言語として認め普及させる「手話言語条例」の成立が進んでおり、今年10月1日時点で420自治体に及ぶ。