顔画像の分析で精神状態やバイタル値を測定しようとする研究は世界中で行われ、いくつか成果が出つつあるが、東京理科大を中心とした研究グループが心拍数の推定においてより実用化に近づく研究成果を発表した。医療、看護、フィットネスなどの場面におけるバイタルモニタリング技術としての応用が期待できるとしている。
環境光が変化する状況でも高精度に心拍数を推定
研究成果を発表したのは、東京理科大学大学院工学研究科電気工学専攻の栗原康佑氏、同大学工学部電気工学科の前田慶博講師、浜本隆之教授、津田塾大学学芸学部情報科学科の杉村大輔准教授らの研究グループ。心拍数は健康管理や感情分析の指標の1つだが、現在は心拍数の計測にはパルスオキシメーターなどの接触型の計測機器が必要だ。医療、介護の現場のみならず、日々の健康管理にも重要な指標であり、またさらなる遠隔医療（オンライン診療）の普及の要請も考えれば、そうした機器がない環境でもある程度信頼できる計測技術が開発されるのが望ましい。現状の非接触の心拍数測定法としては、撮影した顔の映像から心拍由来のわずかな色変化を抽出する容積脈波測定法が知られているが、被写体の顔の動きや環境光に変動が生じると脈波由来の時系列成分の抽出が困難となり、心拍数推定の精度が著しく低下するという課題があった。
研究グループは、脈波が非線形性や準周期性などの特性を有することを考慮し、顔が撮影された映像から抽出した多次元時系列信号に対して「動的モード分解」※1を適用することで、脈波由来の時空間構造から脈波信号を抽出する新たな心拍数推定法の開発を行い、その妥当性の評価を行った。
具体的な手法としてはまず、顔映像の各フレーム画像から色信号(RGB)を抽出、次に、脈波が非線形かつ準周期的なダイナミクス特性を示すことをモデル化した、動的モード分解を実行し、脈波信号を抽出した。そして、推定された脈波信号の心拍変動量の解析を行うことにより、心拍数を推定した。
次に、公開データセット(TokyoTech Remote PPGデータセット、MR-NIRPデータセット、UBFC-rPPGデータセット)を用いた実験により、今回開発した手法の有効性を検討した。安定した環境光環境で作成されたTokyoTech Remote PPGデータセットと MR-NIRPデータセットにおいては、本手法、従来法のいずれでも正確な心拍数推定を行うことができた。環境光が変化する環境で作成されたUBFCデータセットにおいては、従来法ではノイズと脈波成分を区別できず、精度が低くなることが確認できた一方、本手法では、精度の高い心拍数推定を実現できることが明らかになった。これは脈波のダイナミクス特性を取り入れた動的モード分解による時空間解析を適用することで、環境光が変動するシーンにおいても脈波信号と心拍数を精度良く推定できることを示唆しているという。
この研究成果について、研究グループの前田講師は「本手法はビデオ会議システムを利用した遠隔医療やスマートフォンなどのカメラを用いた健康モニタリングへの応用が期待できる」と述べている。
※1 動的モード分解: 実験や数値シミュレーションで得られる時空間データから特徴構造を抽出する手法。空間的な構造と時間的な構造の両方を得ることができる。