大規模言語モデルで「認知の歪み」を自動抽出し、認知行動療法の一部を支援できる分類モデル開発
米コーネル大学の研究グループが、LLM（大規模言語解析モデル）を活用し、認知行動療法のメソッドを支援できるツールを開発した。同療法で活用される「認知の歪み」の分類をLLMで行えるもので、患者と医療者との対話データのサンプルセットを使った検証では、GPT-4をベースとしたものが良好な成績を示し、専門家の評価も高かったという。
LLMベースで開発した分類モデルを先行研究のデータセットで検証
認知行動療法のステップはまず、患者の思考体系を顕在化させるために様々な話をしてもらい、その内容から後ろ向きな思い込みなどの「認知の歪み」を明らかにすることから始まる。このステップは患者との信頼関係や守秘義務、機微情報であることからなかなか他者に公開されたり、研究するためのデータが存在していなかった。しかし近年AIや大規模言語モデルの開発でこうした分野にも応用の機運が高まり、2021年に研究に活用可能なデータセットが公開された。※1このデータセットは10種類の一般的な認知の歪みが注釈された2,531例の患者の発話から構成され、63.1%のデータにいずれかの種類の認知の歪みがあり、アノテーションもされているものだ（図１）。
研究グループはこのデータを活用し、図２のようなフレームワークで10種類の認知の歪みを分類できるかを検証した。分類モデル「DoT(Diagnoses of Thought)」はプロンプトのかたちで開発し、ChatGPTとGPT4に投入する手法で同時に検証した。対象群として、2022年に先行研究で開発されているプロンプト「ZCoT」※2も同時に検証した。
それぞれのモデルは図３のように個々のデータ分類においても、多数のデータセットを分類した統計上においても性能差を示した。特にGPT-4ベースの「DoT」がもっとも高精度で、データセット公開時に開発されたサポートベクターマシン（SVM）ベースのAIモデルよりにも成績良好だった。さらにこの分類結果100例についての各段階における分類根拠について専門家に評価を求めたところ、特にGPT-4ベースの「DoT」において概ね正しいという評価を得られた。評価は1例につき2人の専門家がそれぞれ行い、一致率は80％以上だった（図４および図５）。研究グループではこの結果について、心理療法における大規模言語モデルの有用性を示したとしており、診療支援ツール開発の可能性を拓くものだとしている。
※2 Large Language Models are Zero-Shot Reasoners