頭蓋内脳波を解析、脳で想像したものと「同じ意味」の画像表示に成功 大阪大
大阪大学の研究グループが、被験者が見た画像の意味を頭蓋内脳波から推定できる技術を開発したと発表した。実験では被験者が想像した意味の画像を画面に表示できることを世界で初めて確認できたという。研究グループでは将来的に「想像する」ことで画像検索できたり、意思伝達困難な人が活用できる新しいコミュニケーションツールとしての応用が期待できるとしている。
研究成果を発表したのは、大阪大学大学院医学系研究科の福間良平特任助教（常勤）、大阪大学高等共創研究院 栁澤琢史教授らの研究グループ。画像を見ている際の脳活動は、見ている画像の色や形、意味だけでなく、見ている人の注意や想像によって影響を受けることが知られている。先行研究では、脳活動をAIで解読することでヒトが見た画像を推定できることが示され、また、目を閉じた状態で想像した画像を脳信号から推定できることも報告されている。しかし、ヒトが画面を見ながら異なる画像を想像することで、想像した意味の画像を画面に表示できるかは明らかではなかった。
今回、栁澤教授らの研究グループは、大阪大学大学院生命機能研究科の西本伸志教授と共同で、Wikipediaにある大量の文章から学習した言語モデルを用いて、頭蓋内脳波からヒトが見ている画像の意味内容を推定する脳情報解読技術を開発した。この技術を用いた脳情報解読の精度を評価するため、大阪大学大学院医学系研究科脳神経外科 貴島晴彦教授、順天堂大学脳神経外科 菅野秀宣先任准教授、奈良県立医科大学脳神経外科 田村健太郎講師らの協力のもと、てんかんなどの治療目的で視覚野周辺に頭蓋内電極を留置された17人の被験者が動画を視聴した際の頭蓋内脳波を計測した。計測した頭蓋内脳波を解析したところ、被験者が視聴している動画の意味内容を、頭蓋内脳波から推定できることが明らかになりました（精度約70％）。
さらに研究グループは、同技術を用いヒトが想像することで画像表示するシステムを開発した。画像制御実験では、頭蓋内脳波を計測されている４人の被験者に、頭蓋内脳波から推定された画像を250msごとに画面に提示。次に、被験者には、ランダムな順番で3つの指示（風景・文字・人の顔）を与え、それぞれが意味する画像を想像し、同じ意味の画像を画面に提示するように指示した。するとすべての被験者について、指示された意味の画像が偶然で起こる場合よりも高い確率で表示されました（風景・文字・人の顔のそれぞれについて55～74%の精度）。これにより、被験者が想像することで、想像したカテゴリの画像（風景・文字・人の顔）を表示できることが明らかになったとしている。
研究グループでは、この研究成果は「想像すること」で画像を検索・生成する新しい情報通信技術や、重度麻痺により意思伝達が困難な方が、視覚的想像に基づいて画像を提示して意思伝達を行う新しいコミュニケーションツールなどへの応用が期待されるとしている。