世界初、顔データまで含めたコミュニケーション解析用データセットを公開
100分のグループディスカッション時のデータを提供
NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）は、2015年度に「次世代人工知能・ロボット中核技術開発プロジェクト」を立ち上げ、場面に合わせて柔軟に対応する人工知能（AI）や、ロボットが円滑に作業するためのセンサーやアクチュエーションなどの要素技術開発を進めている。2017年度には「次世代人工知能技術の社会実装に関するグローバル研究開発」の先導研究テーマの一つとして、学校法人東京電機大学とともに、次世代AIの深層学習のための大量データを収集・整理し、時系列分析技術の確立とデータへの注釈付け（アノテーション）の半自動化を目指したプロジェクトに取り組んでいる。
東京電機大学はこのプロジェクトにおいて、カメラやセンサーを用い学生の行動を詳細に把握することで、行動とコミュニケーションスキルとの因果関係を科学的に抽出し、コミュニケーションスキル向上に役立てるための基本技術の確立を目指した研究を行っており、学生の行動とコミュニケーションスキルをひも付け、双方の因果関係を体系化することに成功した。
今回、NEDOと東京電機大学はグループコミュニケーション時の人の表情などの映像や音声、各種センサーによる体の動きなどのデータセット（コーパス）を作成し、大学や企業の研究機関向けに2月7日より提供を開始した。このコーパスには、グループディスカッションにおける発言や顔の表情、腕の上がり・下がり具合などのジェスチャー、視線などのデータを収録。実験協力者の同意を得て表情や視線などの顔データも取り込めたほか、発話や行動のアノテーションを付与しており、AIシステムの設計に利用可能な世界初のグループコミュニケーションコーパスであるという。
提供されるのは、東京電機大学の学生（2年生）6人による議論2セッション、社会人6人による議論2セッションの合計100分のグループディスカッションに関するコーパス。各ディスカッションには、個人の振る舞いを正面から観察するためのカメラを3台、ディスカッションの様子を俯瞰するカメラを1台、360度のパノラマ画像を撮影するカメラを1台、着座位置・顔の向きを見るためのカメラを天井に1台配置して撮影したほか、ヘッドセットマイクで音声も収録している。複数のカメラで同時撮影したデータにより、多方向からのコミュニケーション観察が可能で、また、音声は個人ごとに収録しているため参加者個々の発言を選択して分析できる。さらに、加速度・角速度センサーを参加者の頭部、胸部、両腕部の計4カ所に装着。体の動きや姿勢などのデータも収録している。
コーパスには発言、ジェスチャー、視線などの行動に対してのラベル付けがされているため、会話分析にも利用可能。機械学習を用いた行動認識システムの学習データとしても活用だとしている。
研究進展のためのコンソーシアムも設立
この分野の研究をさらに進めるため、東京電機大学は、全国の研究機関から同一のデータ収集規格のもとで分散データを収集・公開することを目的としたコンソーシアムを2月1日に設立した。東京電機大学のほか、東京農工大学、湘南工科大学、豊橋技術科学大学など全国10大学以上の研究者が賛同しており、今後も広く参画を呼びかけるという。