医用画像と診療情報の同時学習でAI開発、肝腫瘤の画像判定で正診率向上 東大病院とグルーヴノーツ
医用画像だけでなく、テキストなどその疾患に関する別の診療情報についても同時学習するAIで開発した疾患画像判別モデルが、画像だけで開発したモデルよりも肝腫瘤の判定において判別能が高いことを、東京大学医学部附属病院とグルーヴノーツ（福岡県福岡市）の研究チームが研究で明らかにした。研究チームではこの開発手法は他の医療分野でも応用可能だとしている。
異なる種類の情報を統合し学習する「マルチモーダル深層学習」により開発
研究成果を発表したのは、東京大学医学部附属病院 検査部の佐藤雅哉 講師、小林玉宜 臨床検査技師、矢冨裕 教授、消化器内科の中塚拓馬 助教、建石良介 講師、小池和彦 教授（研究当時）ら、および株式会社グルーヴノーツの田中孝 コンサルタントらのグループ。肝癌のスクリーニングでもっとも活用される腹部超音波検査は、現状この画像のみでの良性／悪性の鑑別が難しいため、疑い例が見つかった場合改めてCTやMRIで検査することがほとんどだという。研究チームでは超音波画像による鑑別ができるようになれば、CTやMRI検査による被爆や医療費の削減に繋がるとし、画像と数値など異なる種類のデータを同時に学習できる「マルチモーダル深層学習（マルチモーダルAI）」の手法を用い、診療情報と超音波Bモード画像を同時に投入して判別モデルを開発。どの程度正確に肝腫瘤の診断ができるかを検証した。具体的には、2016年4月から2018年11月までに東京大学医学部附属病院で腹部超音波検査を受け、超音波Bモード画像から指摘された1080例の肝腫瘤（悪性腫瘍548例、良性腫瘍532例）に対し、マルチモーダル深層学習の技術を用いた5つの判別モデルの作成と精度の評価を行った※1。
※1 モデル1：超音波画像のみ、モデル2：モデル1＋患者背景情報（年齢、性別）、モデル3：モデル2＋肝臓の炎症情報（AST、ALT）、モデル4：モデル3＋肝臓の線維化情報（血小板）、モデル5：モデル4＋アルブミン
その結果、超音波画像のみで作成されたモデル1（超音波画像のみで開発）における肝腫瘤の良悪性の正診率およびAUROC値は68.52%、0.721であった一方、マルチモーダル深層学習で開発したモデル2は正診率71.30%／AUROC値0.803、モデル3は87.04%／0.9547、モデル4が91.67%／0.9822、モデル5が 96.30%／0.994と、同時解析した情報が豊富になるほど値が向上した。研究チームではこの手法であれば、標本とする症例が1000例程度であっても非常に精度の高いで判別モデルを開発できることが分かったとしており、さまざまな医療分野への応用が期待できるとしている。