頭で想起したイメージを「脳信号翻訳機」と生成AIで世界で初めて再現に成功 量研とNICTら
Brain Machin Interface（BMI）研究を次のステージに引き上げる成果が、日本の研究チームから報告された。人が心の中で思い描いた任意の風景・物体などの「メンタルイメージ」を脳信号から読み出したうえで、イメージを描画するために不足している情報を生成系AIの機能を補助的に使って補完する手法を開発。生成した画像でイメージさせる元となった画像を特定できるか検証したところ、約75%の確率で正答が得られたという。目視した画像ではなく「イメージさせた画像」を精度高く再現したのは世界初とみられる。
「脳内でイメージする画像」の再現に挑戦
研究成果を発表したのは、量子科学技術研究開発機構 量子生命・医学部門 量子生命科学研究所 量子生命情報科学研究チームの間島慶研究員、情報通信研究機構(NICT)未来 ICT 研究所の小出(間島)真子研究員、大阪大学大学院生命機能研究科の西本伸志教授からなる研究グループ。
計測された脳の信号から被験者の知覚・記憶内容・運動意図などを読み出す技術は脳情報解読技術(脳情報デコーディング技術)と呼ばれ、近年発展の目覚ましい機械学習・AI を使うことにより大きな進歩を遂げている。すでにヒトが目視した画像(視覚画像)を fMRI によって計測した脳信号から復元できることは先行研究で示されているが1)、心の中に思い描く画像(メンタルイメージ)の復元は復元精度が著しく低く、他の研究においても、アルファベットの文字や単純な幾何学図形、人の顔といった特定の種類の画像でしか成功例がない。
まず研究チームは、目視した画像について、脳信号から読み出せる情報の正確さを調べた。画像の情報は色や形、線分といった低次なものから、質感やおおまかな形などの中間的なもの、意味や概念といった高次なものに分類することができるが、研究チームは今回、低次から高次までの画像情報を9つの階層に分け、その階層ごとに脳から読み出せる情報の正確さを評価した。次に目視時とメンタルイメージ時とで脳から読み出せる情報の正確さを比較した結果、メンタルイメージ時では色や形、線分といった低次画像情報の正確さが特に大きく低減していることが分かった（図1）。そこで研究チームは、生成系 AI の画像生成機能を補助的に使うことで、このような部分的・不正確な情報からでも画像を復元できる手法を新たに開発したという。
脳波解析＋生成系AI導入で精度向上
まず、被験者が見ている画像と脳信号を数値化する作業から開発を開始。1,200 枚の風景や物体などの写真を準備し、AI 分野において画像認識のために設計された訓練済みの AI に入力した。AI は 1 枚 1 枚の画像について、低次から高次にわたるさまざまな画像特徴を約 613 万個の数値で表現した「採点表」を作成。あわせて、AI に入力したものと同じ写真を被験者に見せながら脳活動を fMRI で計測し、合計 1,200 枚分の脳信号データを取得した。本研究では、2019 年に報告された研究1)で取得したデータを用いた。
人の脳信号の中には見ている画像の特徴に関する情報が豊富に含まれているはずだが、脳信号は意味のある信号とノイズが入り混じり複雑で、そのまま利用することはできない。研究チームは最初に取得した画像 1,200 枚分の「採点表」と、1,200 枚分の被験者の脳信号データをもとに、脳信号を「採点表」に翻訳する「脳信号翻訳機」を構築した。これを用い、心の中で画像を思い描いている時の脳信号から「採点表」を取得。復元されたメンタルイメージと、元の画像とを比べることで、復元精度の検証を行った。
次に、「脳信号翻訳機」による翻訳の後、生成系 AI に画像を描かせその精度を磨き上げる訓練を行った。生成系 AI には最初にランダムに画像を作成させ、脳信号から翻訳された「採点表」を参照しながら、画像の評価、修正・更新を繰り返させていく。画像のもっともらしさの評価(妥当性)は、「採点表と比べた画像としての近さ」、「採点表と比べた意味としての近さ」、「画像としての自然さ」の三つを統合して計算した。研究チームは統計学・確率論におけるベイズ推定※1の方法を用い、「総合的な画像のもっともらしさ(妥当性)」を計算する数式を考案。さらに妥当性の高い画像を生成系 AI に描かせるために、化学分野で分子・原子の運動をシミュレーションする際に使われる「ランジュバン動力学法」※2を利用した。これにより、無作為に生成を行うよりも効率的に妥当性の高い画像を生成することが可能になった(図 3)。500 回ほどの修正、4分ほどの時間で脳信号からメンタルイメージを復元することができるようになったという。
最後に、脳信号から復元されたメンタルイメージとその元画像(被験者の思い浮かべる対象とした画像)との近さを定量的に評価するため、脳信号から復元されたメンタルイメージをもとに、元画像を当てることができるかを調べた。一つの復元画像に対し、その元画像とランダムに選んだ画像1枚の二択を提示し、どちらが復元した画像の元画像であるかを人の知覚に準じた判断ができる機械に当てさせたところ、従来法1)による復元画像の場合の正解率は 50.3%だったのに対し、研究チームが開発した新手法では 75.6%と有意に高い正解率が得られた。
研究チームは、今回得られた成果は、意思疎通が困難な患者から医師や家族に意思をスムーズに伝えることができたり、思いのままに義手を動かせるようになったりなど、医療や福祉分野においてより革新的な技術を生み出すことが期待できるとしている。
1）1.Shen G, Horikawa T, Majima K, Kamitani Y (2019) Deep image reconstruction from human brainactivity. PLoS Comput Biol 15(1): e1006633.
※1 ベイズ推定
統計学・確率論における推定手法の一つ。観測されたデータを元に、観測のできていないデータの推定を行うもの。天気予報にも用いられるもので、予測結果が確率的なものとなる(例:雨=30%、晴れ=10%、曇り=60%)。本研究では脳信号から読み出した(翻訳した)心の中に描かれた画像の特徴データを元に、心の中に描かれた画像を推定している。
※2 ランジュバン動力学法
化学の分野において、原子・分子の動きをシミュレーションするための計算方法の一つ。近年、AI 分野において転用され、ベイズ推定の計算結果を効率的に算出するためにも用いられている。本研究では、ベイズ推定によって、心の中に描いた画像を脳信号から復元する際、この方法で復元画像を構成している。ランダムな画像を最初に用意し、ランジュバン動力学法の更新ルールに従い、修正を繰り返すことで、十分な回数(本研究では 500 回)の修正後に、ベイズ推定の予測確率に合った画像を手に入れることができる。