特開 2024-164554 抑うつ度推定装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164554

(43)【公開日】2024-11-27

(54)【発明の名称】抑うつ度推定装置および方法

(51)【国際特許分類】

   A61B 5/16 20060101AFI20241120BHJP

【ＦＩ】

A61B5/16 100

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023080126

(22)【出願日】2023-05-15

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人科学技術振興機構、研究成果展開事業「共創の場形成支援（ＣＯＩプログラム 令和４年度加速支援）」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】510108951

【氏名又は名称】公立大学法人広島市立大学

(74)【代理人】

【識別番号】100163186

【弁理士】

【氏名又は名称】松永 裕吉

(72)【発明者】

【氏名】目良 和也

(72)【発明者】

【氏名】森 浩貴

(72)【発明者】

【氏名】黒澤 義明

(72)【発明者】

【氏名】竹澤 寿幸

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038PP03

4C038PQ00

4C038PS05

(57)【要約】

【課題】被験者の発話音声から被験者の抑うつの程度を推定する。
【解決手段】抑うつ度推定装置１００は、被験者２００の発話音声から音響特徴量を抽出する音響特徴量抽出部１０と、複数話者の発話音声から抽出した音響特徴量を入力データ、当該複数話者の自己評価による抑うつ度を出力データとしてあらかじめ学習させた機械学習器２０であって、被験者２００の発話音声から抽出された音響特徴量を受けて、被験者２００の抑うつ度の推定値を出力する機械学習器２０とを備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

被験者の発話音声から当該被験者の抑うつ度を推定する装置であって、
被験者の発話音声から音響特徴量を抽出する音響特徴量抽出部と、
複数話者の発話音声から抽出した音響特徴量を入力データ、当該複数話者の自己評価による抑うつ度を出力データとしてあらかじめ学習させた機械学習器であって、前記被験者の発話音声から抽出された音響特徴量を受けて、前記被験者の抑うつ度の推定値を出力する機械学習器と、
を備えた抑うつ度推定装置。

【請求項2】

前記機械学習器が、勾配ブースティング決定木で構成され、前記複数話者の発話音声に対してSurfboardを用いて得られる音響特徴量のうち大うつ病障害に関連があると認められる音響特徴量を入力データ、前記複数話者の自己評価による抑うつ度を出力データとしてあらかじめ学習したものであり、
前記音響特徴量抽出部が、前記被験者の発話音声からSurfboardを用いて得られる音響特徴量のうち大うつ病障害に関連があると認められる音響特徴量を抽出する、
請求項１に記載の抑うつ度推定装置。

【請求項3】

前記機械学習器が、前記Surfboardを用いて得られる音響特徴量のうち１３分割されたメル周波数ケプストラム係数のうちの前半の８成分と倍音ノイズ比率に絞り込んだ音響特徴量を入力データ、前記複数話者の自己評価による抑うつ度を出力データとしてあらかじめ学習したものであり、
前記音響特徴量抽出部が、前記Surfboardを用いて得られる音響特徴量のうち１３分割されたメル周波数ケプストラム係数のうちの前半の８成分と倍音ノイズ比率に絞り込んだ音響特徴量を抽出する、
請求項２に記載の抑うつ度推定装置。

【請求項4】

前記機械学習器が、勾配ブースティング決定木で構成され、前記複数話者の発話音声に対してopenSMILEを用いて得られる音響特徴量のうち音声に関する音響特徴量を入力データ、前記複数話者の自己評価による抑うつ度を出力データとしてあらかじめ学習したものであり、
前記音響特徴量抽出部が、前記被験者の発話音声からopenSMILEを用いて得られる音響特徴量のうち音声に関する音響特徴量を抽出する、
請求項１に記載の抑うつ度推定装置。

【請求項5】

前記機械学習器が、前記openSMILEを用いて得られる音響特徴量のうち２７.５Ｈｚを基準とした基本周波数の算術平均、調波成分と雑音成分の音響エネルギー比の上から２０％番目の値と８０％番目の値の幅、および第３フォルマントの中心周波数の変動係数に絞り込んだ音響特徴量を入力データ、前記複数話者の自己評価による抑うつ度を出力データとしてあらかじめ学習したものであり、
前記音響特徴量抽出部が、前記openSMILEを用いて得られる音響特徴量のうち２７.５Ｈｚを基準とした基本周波数の算術平均、調波成分と雑音成分の音響エネルギー比の上から２０％番目の値と８０％番目の値の幅、および第３フォルマントの中心周波数の変動係数に絞り込んだ音響特徴量を抽出する、
請求項４に記載の抑うつ度推定装置。

【請求項6】

前記抑うつ度がベックうつ病特性尺度に基づく点数である、請求項１ないし５のいずれかに記載の抑うつ度推定装置。

【請求項7】

被験者の発話音声から当該被験者の抑うつ度を推定する方法であって、
音響特徴量抽出部が、被験者の発話音声から音響特徴量を抽出するステップと、
複数話者の発話音声から抽出した音響特徴量を入力データ、当該複数話者の自己評価による抑うつ度を出力データとしてあらかじめ学習させた機械学習器が、前記被験者の発話音声から抽出された音響特徴量を受けて、前記被験者の抑うつ度の推定値を出力するステップと、
を備えた抑うつ度推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被験者の抑うつ度を推定する技術に関する。

【背景技術】

【0002】

うつ病は、早期発見し、できるだけ早く治療を開始することにより、状態を改善しやすくなる。そのため、うつ病の症状があれば、病院へ受診することが推奨される。しかし、「うつ病の症状が強く出ている」、「どこの病院に行けばいいかわからない」、「周りの目が怖い」、「先生に怒られそう」などといった理由から、行きたくてもいけない場合がある。また、うつ病の診断基準は患者自身が条件に当てはまっているかを判断し、主観的な診断がされているため、診断結果に納得せず、薬の処方を拒む患者も見受けられている。

【0003】

このような状況に対して、これまで発話音声を用いてうつ状態の有無や心の状態を知る技術などが開発されてきた（例えば、非特許文献１、２を参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】宗 未来，竹林由武，関沢洋一，下地貴明:“声”だけで、うつ病はどこまで診断可能か？～音声感情認識技術にアンサンブル型機械学習モデルを応用したうつ病スクリーニング機能に関する精度の検証，RIETI Discussion Paper Series 16-J-054，2016年9月

【非特許文献2】大塚 寛, 第24回 PST社の音声から病態を分析する技術, ファルマシア, 2021, 57巻, 7号, p. 662-664, 2021年7月1日

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術によると音声から得られたデータから高精度でうつ病診断ができるようになったものの、具体的にどの程度のうつ状態であるのかといった抑うつ度の推定まではできていない。

【0006】

上記問題に鑑み、本発明は、被験者の発話音声から被験者の抑うつの程度を推定することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一局面に従うと、被験者の発話音声から当該被験者の抑うつ度を推定する装置であって、被験者の発話音声から音響特徴量を抽出する音響特徴量抽出部と、複数話者の発話音声から抽出した音響特徴量を入力データ、当該複数話者の自己評価による抑うつ度を出力データとしてあらかじめ学習させた機械学習器であって、前記被験者の発話音声から抽出された音響特徴量を受けて、前記被験者の抑うつ度の推定値を出力する機械学習器と、を備えた抑うつ度推定装置が提供される。

【0008】

本発明の別の局面に従うと、被験者の発話音声から当該被験者の抑うつ度を推定する方法であって、音響特徴量抽出部が、被験者の発話音声から音響特徴量を抽出するステップと、複数話者の発話音声から抽出した音響特徴量を入力データ、当該複数話者の自己評価による抑うつ度を出力データとしてあらかじめ学習させた機械学習器が、前記被験者の発話音声から抽出された音響特徴量を受けて、前記被験者の抑うつ度の推定値を出力するステップと、を備えた抑うつ度推定方法が提供される。

【発明の効果】

【0009】

本発明によると、被験者の発話音声から当該被験者の抑うつ度を推定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る抑うつ度推定装置のブロック図である。

【図2】BDIの点数ごとの抑うつの状態と適した処置の一覧表である。

【図3】Surfboardにより抽出される音響特徴量のうちMDDに関係する音響特徴量の一覧表である。

【図4A】OpenSMILEのeGeMAPSv02 feature setで計測できる波形の一覧表である。

【図4B】OpenSMILEのeGeMAPSv02 feature setで計測できる波形に対して算出できる静的特徴量の一覧表である。

【図5】Surfboardにより抽出される音響特徴量のうち抑うつ度推定精度の向上が見込める音響特徴量の一覧表である。

【図6】OpenSMILEのeGeMAPSv02 feature setにより抽出される音響特徴量のうち抑うつ度推定精度の向上が見込める音響特徴量の一覧表である。

【図7】実験参加者に読んでもらったセリフの一覧表である。

【図8】特徴量セットごとのleave-one-out交差検証によるSVR機械学習結果の散布図である。

【図9】特徴量セットごとのleave-one-out交差検証によるLightGBM機械学習結果の散布図である。

【図10】特徴量セットごとのleave-one-person-out交差検証によるSVR機械学習結果の散布図である。

【図11】特徴量セットごとのleave-one-person-out交差検証によるLightGBM機械学習結果の散布図である。

【図12】図８ないし１１に示した機械学習結果をまとめた表である。

【図13】自己評価の抑うつ度が極端に高いまたは低い人のデータを除いたleave-one-person-out交差検証によるLightGBM機械学習結果の実験結果をまとめた表である。

【発明を実施するための形態】

【0011】

以下、適宜図面を参照しながら、本発明の実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。また、図面に描かれた各部材の寸法、細部の詳細形状などは実際のものとは異なることがある。

【0012】

（実施形態）
図１は、本発明の一実施形態に係る抑うつ度推定装置のブロック図である。本実施形態に係る抑うつ度推定装置１００は、被験者２００の発話音声から被験者２００の抑うつ度を推定するものである。

【0013】

抑うつ度を表す指標にはさまざまなものがあるが、本実施形態ではベックうつ病調査表（Beck Depression Inventory:BDI）に基づく点数を採用する。BDIは、認知行動療法を提唱したアメリカのアーロン T ベック博士によって考案されたもので、抑うつの程度を客観的に測る自己評価表の一つである。定期的にBDIテストを行うことによって、自分自身の気分の傾向を数値として測定することが可能となる。BDIによって自分自身を客観的に見つめることができ、BDIはうつ病判定の一つとして利用されている。

【0014】

BDIの使い方としては、各項目をよく読み、最近２、３日の気分に一番近い答えを選ぶ。各項目の選択肢には０～３の点数が与えられている。２１個すべての項目に答え、その合計点数が対象者の現在の抑うつ度となる。抑うつ度によって適した処置が必要となる。図２は、BDIの点数ごとの抑うつの状態と適した処置の一覧表である。

【0015】

このように、本来BDIの点数は各項目の問いに答える形式のテストを通じて算出されるものであるが、抑うつ度推定装置１００はそのようなテストなしに被験者２００の発話音声から直接的にBDIの点数を推定することができる。

【0016】

図１へ戻り、抑うつ度推定装置１００は、音響特徴量抽出部１０と、機械学習器２０とを備えている。これら各構成要素はハードウェアまたはソフトウェアとして構成することができる。ソフトウェアとして構成する場合、汎用コンピューターやサーバー装置のプロセッサに、上記構成要素を実現するためのコンピュータープログラムあるいは学習済みパラメーターや機械学習モデルを読み込ませて実行させることで、プロセッサが上記各構成要素として機能することができる。また、上記各構成要素は一つの装置に集約されている必要はなく、分散配置して通信回線で互いに接続されていてもよい。

【0017】

音響特徴量抽出部１０は、被験者２００の発話音声を受け、当該音声信号から音響特徴量を抽出する。なお、被験者２００の発話音声を図略のマイクロフォンで採取してその音声信号をリアルタイムで音響特徴量抽出部１０に入力するようにしてもよいし、録音しておいた被験者２００の発話音声を適宜読み出して音響特徴量抽出部１０に入力するようにしてもよい。

【0018】

音声信号から音響特徴量を抽出するためのさまざまな音響解析ツールが提供されている。その中でも本実施形態では音響特徴量抽出部１０にオープンソースのSurfboardとopenSMILEを用いる。

【0019】

SurfboardはNovoic社が発表した音声の特徴量抽出ライブラリであり、元々は医療分野への応用として開発されたオープンソースのPythonライブラリである。Surfboardではさまざまな疾病に関連する音声変化を捉えるための音響特徴量を扱っており、MDD（大うつ病障害）との臨床的関連性が実証された音響特徴量についても抽出されている。本実施形態ではMDDとの臨床的関連性が実証されている音響特徴量（一例として２９種類）を使用する。図３は、Surfboardにより抽出される音響特徴量のうちMDDに関係する音響特徴量の一覧表である。表中の↑は健常者の音声と比較して特徴が増加、↓は健常者の音声と比較して特徴が減少、⇔は特徴に違いは見られるがどのように変化するかは不明であることを示している。

【0020】

一方、openSMILEについては、本実施形態では音声に関する音響特徴量、一例としてeGeMAPSv02 feature setを使用する。図４Ａは、OpenSMILEのeGeMAPSv02 feature setで計測できる波形の一覧表である。図４Ｂは、OpenSMILEのeGeMAPSv02 feature setで計測できる波形に対して算出できる静的特徴量の一覧表である。図４Ａの表中の波形のうち、F0semitoneFrom27.5Hz、loudnessについては図４Ｂの表中の１０種類の静的特徴量がすべて算出され、そのほかは算術平均と変動係数の２種類の静的特徴量あるいは算術平均のみの算出となっており、計８８種類の静的特徴量である。

【0021】

さらに、SurfboardおよびopenSMILEそれぞれについて抑うつ度推定精度の向上が見込める音響特徴量に絞り込んでもよい。図５は、Surfboardにより抽出される音響特徴量のうち抑うつ度推定精度の向上が見込める音響特徴量の一覧である。一例として、当該音響特徴量は８種類ある。図６は、OpenSMILEのeGeMAPSv02 feature setにより抽出される音響特徴量のうち抑うつ度推定精度の向上が見込める音響特徴量の一覧表である。一例として、当該音響特徴量は３種類ある。なお、音響特徴量の絞り込みの考え方ついては後述する。

【0022】

図１へ戻り、機械学習器２０は、あらかじめ、複数話者の発話音声から抽出した音響特徴量を入力データ（説明変数）とし、当該複数話者の自己評価による抑うつ度を出力データ（目的変数）として学習させたものである。すなわち、あらかじめ学習させた機械学習器２０は、抑うつ度が未知である被験者２００の発話音声から抽出した音響特徴量を入力することで被験者２００の抑うつ度の推定値を出力する。

【0023】

機械学習器にはさまざまなタイプがあるが、本実施形態では機械学習器２０にSVR（Support Vector Regression）とLightGBM（Light Gradient Boosting Machine）を用いる。

【0024】

SVRは、主に２クラス分類に用いられているSVM（Support Vector Machine）を回帰分析へ拡張したものである。SVMとは、統計的学習理論の枠組みで提案された学習機械のことである。SVMは線形入力素子として２クラスのパターン識別器を構成する。学習には訓練サンプルから各データ点との距離（マージン）が最大になる分離超平面を求めるマージン最大化という基準で線形入力素子のパラメータを学習する。SVRでは、入力からなる特徴空間への非線形写像を考え、写像後の特徴空間において線形回帰を行う。出力では、εチューブと呼ばれる定められた範囲内に含まれない場合はその外れた距離を表すスラック変数ξに応じた罰則が与えられるため、その値が小さくなるような最適な回帰係数を算出する。

【0025】

LightGBMは、GBDT（Gradient Boosting Decision Tree，勾配ブースティング決定木）を用いた決定木による機械学習の手法で、「Light（軽い，高速）」なことが特徴である。勾配ブースティングの場合は、誤差を最小化するように分割の要素、基準を見つけるため、データ量に応じて計算量が増える。それに対して、LightGBMは一つ一つの決定木の精度をなるべく落とさずに、高速に学習できるようにしたことに特徴がある。

【0026】

（実施例）
次に、抑うつ度推定装置１００の実施例、特に、機械学習器２０の事前学習について説明する。学習用の教師データは次のようにして収集した。２０代１１人（男８人：女３人）、５０代２人（男１人：女２人）、７０代２人（男１人：女２人)の計１５人の実験参加者に１０種のセリフ（株式会社オケイオスおよび広島大学開発・監修の『みらい健康手帳』より抜粋）を同じ順に連続して読んでもらってその音声を録音するとともに、その直後にベックうつ病調査表に答えてもらい各自のBDIの点数を算出した。図７は、実験参加者に読んでもらったセリフの一覧表である。いずれもポジティブな内容であるため、このようなセリフを音読しているにもかかわらずネガティブな感情になれば心に何らかの問題があるのではないかと推測できる。

【0027】

録音した音声を音響特徴量抽出部１０に入力して、Surfboardによる２９種類の音響特徴量、その絞り込み９種類の音響特徴量、openSMILEのeGeMAPSv02 feature setによる８８種類の音響特徴量、およびその絞り込み３種類の計４パターンの特徴量セットを抽出した。機械学習器２０にはSVRとLightGBMの２種類を用いた。そして、各特徴量セットを入力データ、実験参加者が自己評価したBDIの点数を出力データとして機械学習させて計８種類の機械学習器２０を構築した。こうして構築した機械学習器２０についてleave-one-out交差検証とleave-one-person-out交差検証の２種類の検証を行った。

【0028】

ここで、音響特徴量の絞り込みについて説明する。SurfboardあるいはopenSMILEにより多くの音響特徴量が抽出されるが、そのすべてが抑うつ度と相関しているわけでなく、その中の抑うつ度と特に高い相関があると考えられ、そのような音響特徴量に絞り込みことで抑うつ度推定の精度が向上することが見込める。そこで、LightGBMで各音響特徴量の重要度を算出し、leave-one-outとleave-one-person-outのどちらの交差検証でも重要度が所定値以上の音響特徴量のみに絞り込みを行う。音響特徴量の重要度の算出には、ある特徴量が機械学習モデル全体において目的関数の改善に貢献した度合いを示す、式（１）で表されるgainを用いる。

【数1】

【0029】

なお、G_jとH_jは、I_jをj番目の葉に割り当てられたデータのセットとして式（２）（３）のように求められる。

【数2】

【0030】

g_i、h_iは式（４）（５）で求められる。y_iはあるステップ数tにおける予測値であり、lは微分可能な損失関数である。

【数3】

【0031】

上記考えに基づいて、Surfboardによる２９種類の音響特徴量およびopenSMILEのeGeMAPSv02 feature setによる８８種類の音響特徴量のそれぞれについて絞り込みを行った結果が、図５および図６に示した音響特徴量である。

【0032】

図８は、特徴量セットごとのleave-one-out交差検証によるSVR機械学習結果の散布図である。図９は、特徴量セットごとのleave-one-out交差検証によるLightGBM機械学習結果の散布図である。図１０は、特徴量セットごとのleave-one-person-out交差検証によるSVR機械学習結果の散布図である。図１１は、特徴量セットごとのleave-one-person-out交差検証によるLightGBM機械学習結果の散布図である。図１２は、図８ないし１１に示した機械学習結果をまとめた表である。

【0033】

leave-one-out交差検証ではLightGBMがすべての特徴量セットにおいて正解値との相関の高い推定値が得られている。一方、leave-one-person-out交差検証では、LightGBMを用いてSurfboard絞り込み特徴量で学習した場合が最も相関が高くなるが、全体的に相関が弱い傾向にある。

【0034】

図１１に示したleave-one-person-out交差検証によるLightGBM機械学習結果を見ると、自己評価の抑うつ度が１、３、１８、１９の人のデータを除くと強い正の相関があるように見受けられる。そこで、これらの人のデータを除外してleave-one-person-out交差検証を行った。図１３は、自己評価の抑うつ度が極端に高いまたは低い人のデータを除いたleave-one-person-out交差検証によるLightGBM機械学習結果の実験結果をまとめた表である。自己評価の抑うつ度が極端に高い人と低い人のデータを除くと、相関係数０.８７、決定係数０.７５７という結果が得られた。このことから、本実施形態に係る抑うつ度推定装置１００によると未知の被験者について中程度の抑うつ度までであれば十分に推定可能であることが示される。

【0035】

≪変形例≫
上記実施形態では抑うつ度としてBDIの点数を採用したが、別の指標を用いてもよい。

【0036】

また、上記実施形態では計算負荷を考慮して機械学習器２０にLightGBMを採用したが、XGBoostなどの他の勾配ブースティング決定木を用いてもよい。

【0037】

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【符号の説明】

【0038】

１００ 抑うつ度推定装置
１０ 音響特徴量抽出部
２０ 機械学習器

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】