音声アシスタントの医療情報に関する応答能力に疑問? 米スタンフォード大の研究
コロナ禍で世界的に対面診療の機会が減少するなか、Web検索や音声アシスタントで医療分野の質問を行う利用者が増えているといわれる。米スタンフォード大の研究チームが、現在市販されている主要製品に対しがん検診についての質問を行い、その内容について比較調査したところ、その回答精度に問題があることが判明した。
全製品がガイドラインが示す基準を満たさず
調査研究を行ったのは、スタンフォード大学医学部で臨床研修プログラムを受講する学生らで構成される研究チーム。音声アシスタントに対し11の部位のがん検診を受けるべきか質問し、それぞれの回答精度を米国予防医学専門委員会(USPSTF)のがん検診ガイドラインを基準に評価した。対象となった音声アシスタントはAmazon Alexa、Apple Siri、Googleアシスタント、Microsoft Cortanaの4つで、研究チーム5人が音声で質問し、画面表示または音声で回答があったものが、検診ガイドラインが示すものとどれだけ一致しているか調べた。
結果、各音声アシスタントの回答内容に精度の課題が存在することが明らかになった。まずAlexaは質問の意味を理解できずに「分かりません」と返し、応答できなかった。他の3製品については、質問内容は理解したものの、検診ガイドラインが提示している情報源の比較してほぼ7割弱程度の精度だった。音声による回答の場合精度がさらに低くなり、Microsoft Cortanaでは45%にまで低下した。
研究チームでは先行研究と同様に、音声アシスタントの医療分野に関する応答能力には課題があると評価し、各ベンダーにはエビデンスに基づいた情報を提供するアカデミアと連携する必要性を指摘している。