IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ PST株式会社の特許一覧 ▶ 国立大学法人 東京大学の特許一覧

<>
  • 特許-精神・神経系疾患を推定する装置 図1
  • 特許-精神・神経系疾患を推定する装置 図2
  • 特許-精神・神経系疾患を推定する装置 図3
  • 特許-精神・神経系疾患を推定する装置 図4
  • 特許-精神・神経系疾患を推定する装置 図5
  • 特許-精神・神経系疾患を推定する装置 図6
  • 特許-精神・神経系疾患を推定する装置 図7
  • 特許-精神・神経系疾患を推定する装置 図8
  • 特許-精神・神経系疾患を推定する装置 図9
  • 特許-精神・神経系疾患を推定する装置 図10
  • 特許-精神・神経系疾患を推定する装置 図11
  • 特許-精神・神経系疾患を推定する装置 図12
  • 特許-精神・神経系疾患を推定する装置 図13A
  • 特許-精神・神経系疾患を推定する装置 図13B
  • 特許-精神・神経系疾患を推定する装置 図14
  • 特許-精神・神経系疾患を推定する装置 図15
  • 特許-精神・神経系疾患を推定する装置 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】精神・神経系疾患を推定する装置
(51)【国際特許分類】
   A61B 10/00 20060101AFI20241001BHJP
   G10L 25/66 20130101ALI20241001BHJP
【FI】
A61B10/00 H
G10L25/66
【請求項の数】 5
(21)【出願番号】P 2023190849
(22)【出願日】2023-11-08
(62)【分割の表示】P 2020530269の分割
【原出願日】2019-07-11
(65)【公開番号】P2024020321
(43)【公開日】2024-02-14
【審査請求日】2023-11-16
(31)【優先権主張番号】P 2018133333
(32)【優先日】2018-07-13
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成30年度国立研究開発法人科学技術振興機構、センター・オブ・イノベーション(COI)プログラム「自分で守る健康社会拠点」委託研究開発、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】322006559
【氏名又は名称】PST株式会社
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】徳野 慎一
(72)【発明者】
【氏名】篠原 修二
(72)【発明者】
【氏名】中村 光晃
(72)【発明者】
【氏名】大宮 康宏
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開2011-255106(JP,A)
【文献】特表2017-532082(JP,A)
【文献】特許第6337362(JP,B1)
【文献】米国特許出願公開第2017/0354363(US,A1)
【文献】米国特許出願公開第2003/0078768(US,A1)
【文献】国際公開第2015/168606(WO,A1)
【文献】国際公開第2017/138376(WO,A1)
【文献】特開2018-121749(JP,A)
【文献】HIGUCHI, M. et al.,CLASSIFICATION OF BIPOLAR DISORDER, MAJOR DEPRESSIVE DISORDER, AND HEALTHY STATE USING VOICE,Asian Journal of Pharmaceutical and Clinical Research,2018年10月,Vol.11, No.15,pp.89-93,DOI:10.22159/ajpcr.2018.v11s3.30042
【文献】2018 CBEES-BBS BALI, INDONESIA CONFERENCE ABSTRACT,[online],2018年04月23日,pp.1-7,16,48,http://www.icpps.org/ICPPS2018-program.pdf,[検索日 2019年9月17日], インターネット <URL:http://www.icpps.org/ICPPS2018-program.pdf>
(58)【調査した分野】(Int.Cl.,DB名)
A61B 10/00
A61B 5/00
A61B 5/16
(57)【特許請求の範囲】
【請求項1】
被験者が発話した音声データから精神・神経系の疾患を推定する装置であって、演算処理装置と、前記演算処理装置が処理を実行するための推定プログラムを記録した記録装置、を備え、
予め疾患と関連付けされた第2の音響パラメータから特徴量を作成し、前記特徴量と第1の音響パラメータを用いて被験者のスコアを算出する、算出部であって、前記第1の音響パラメータは、前記被験者から取得した前記音声データから算出される、算出部と、
前記特徴量に基づき基準範囲を設定して、前記スコアが前記基準範囲を超える疾患を検出する、検出部と、
前記検出部で1つ以上の疾患が検出された場合に、前記精神・神経系の疾患を推定する、推定部、
を備え、
前記精神・神経系の疾患の候補は、アルツハイマー型認知症、レビー小体型認知症、パーキンソン病、大うつ病、非定型うつ病、および双極性障害を含み、前記第2の音響パラメータは、選択された前記疾患の候補と相関性を有し、
前記特徴量は、機械学習モデルの処理を実行して作成される
装置。
【請求項2】
前記基準範囲を超えて検出された前記疾患が1つ以下である場合は、検出する作業を終了し、
前記基準範囲を超えて検出された前記疾患が2つ以上ある場合は、検出された前記疾患どうしの前記特徴量を比較して、前記特徴量を改善する、
請求項1に記載の装置。
【請求項3】
音声入力部と、推定結果を表示する映像出力部をさらに備える、請求項1に記載の装置。
【請求項4】
請求項1、2又は3に記載の医療装置を実行させるための推定プログラムが記録された記録媒体。
【請求項5】
被験者が発話した音声データから精神・神経系の疾患を推定するための、医療装置の作動方法であって、前記医療装置は、演算処理装置と、前記演算処理装置が処理を実行するための推定プログラムを記録した記録装置と、を備え、
前記演算処理装置の算出部が、予め疾患と関連付けされた第2の音響パラメータから特徴量を作成し、前記特徴量と第1の音響パラメータを用いて被験者のスコアを算出するステップであって、前記第1の音響パラメータは、前記被験者から取得した前記音声データから算出される、ステップと、
前記演算処理装置の検出部が、前記特徴量に基づき健康の基準範囲を設定して、前記スコアが前記基準範囲を超える疾患を検出する、ステップと、
前記演算処理装置の推定部が、前記検出部で1つ以上の疾患が検出された場合に、前記精神・神経系の疾患を推定する、ステップと、
を備え、
前記精神・神経系の疾患の候補は、アルツハイマー型認知症、レビー小体型認知症、パーキンソン病、大うつ病、非定型うつ病、および双極性障害を含み、前記第2の音響パラメータは、選択された前記疾患の候補と相関性を有し、
前記特徴量は、機械学習モデルの処理を実行して作成される
医療装置の作動方法。

【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、平成30年7月13日に出願された特願2018-133333の優先権を主張する。
【0002】
本発明は、精神・神経系疾患を推定する装置に関する。
【背景技術】
【0003】
被験者の音声を分析して感情を推定する技術が普及しつつある。特許文献1は、被験者の音声を周波数スペクトルに変換して、周波数軸上でずらしながら自己相関波形を求め、そこからピッチ周波数を算出して感情状態を推定する技術を開示する。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第2006/132159号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の技術で推定可能な範囲は、怒り、喜び、緊張、悲しみ、または抑うつ症状など人の「感情」の状態を推定する範囲に止まり、疾患を推定する精度は高くなかった。
【0006】
本発明は、このような状況を鑑みてなされたものであり、精神・神経系疾患を高い精度で推定する医療装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明は、被験者が発話した音声データから精神・神経系の疾患を推定する装置であって、演算処理装置と、演算処理装置が処理を実行するための推定プログラムを記録した記録装置、を備え、被験者から取得した音声データから第1の音響パラメータを算出するとともに、予め疾患と関連付けされた第2の音響パラメータにより特徴量を算出して、被験者のスコアを算出する、算出部と、特徴量に基づき基準範囲を設定して、スコアが基準範囲を超える疾患を検出する、検出部と、検出部で1つ以上の疾患が検出された場合に、精神・神経系の疾患を推定する、推定部、を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、精神・神経系疾患を高い精度で推定する医療装置を提供することができる。
【図面の簡単な説明】
【0009】
図1】本願発明の構成図である。
図2】本願発明の構成図である。
図3】第2の音響パラメータの説明図である。
図4】第2の音響パラメータの説明図である。
図5】第2の音響パラメータの説明図である。
図6】第2の音響パラメータの説明図である。
図7】第2の音響パラメータの説明図である。
図8】第2の音響パラメータの説明図である。
図9】スコアリングの一例を示す図である。
図10】本願発明のフローチャートである。
図11】本願発明のフローチャートである。
図12】本願発明のフローチャートである。
図13A】本願発明の推定の精度を示すROC曲線である。
図13B】本願発明の推定の精度を示すROC曲線である。
図14】第2の音響パラメータの説明図である。
図15】本願発明の回帰分析の図である。
図16】本願発明の回帰分析の図である。
【発明を実施するための形態】
【0010】
(実施形態)
【0011】
以下、本発明を実施するための形態について図面などを参照して説明する。
【0012】
図1は、本願発明の推定装置100の構成図を示す。
【0013】
図1の推定装置100は、演算処理装置110(CPU)と、演算処理装置110が処理を実行するための推定プログラムを記録したハードディスク等の記録装置120を備えるコンピュータである。演算処理装置110は、算出部111と、検出部112と、推定部113の各機能部を備える。推定装置100は、有線または無線を介して通信端末200に接続される。通信端末200は、マイクロホン等の音声入力部201と、推定結果を表示する映像出力部202を備える。なお、算出部111、検出部112および推定部113は、ハードウェアにより実現されてもよい。
【0014】
図2は、ネットワークNWを介した推定装置100の一実施形態を示す。推定装置100は、演算処理機能を有し、かつ推定プログラムを記録する記録機能を有するサーバAと、疾患別に分類された音声データが保存されるデータベース(DB)サーバBにより実現される。サーバAが単独でデータベース(DB)サーバBの処理を行ってもよい。図2に示す推定装置100の場合、通信端末200はネットワークNWを介してサーバAと接続され、さらにサーバAはデータベース(DB)サーバBと有線または無線を介して接続される。
【0015】
推定装置100は、通信端末200により実現されてもよい。この場合には、ネットワークNWを介してサーバAに格納される推定プログラムがダウンロードされ、通信端末200の記録装置120に記録される。通信端末200に含まれるCPUが、通信端末200の記録装置120に記録されるアプリケーションを実行することにより、通信端末200が算出部111、検出部112および推定部113として機能してもよい。
【0016】
推定プログラムは、DVD等の光ディスクやUSBメモリ等の可搬型記録媒体に記録して頒布されてもよい。
【0017】
通信端末200は、音声の入力部201と、映像の出力部202を備える装置である。例えば、スマートフォン、タブレット型の端末、またはマイクロホンを備えるノートパソコンやデスクトップパソコン等である。通信端末200は、通信端末200のマイクロホンを介して被験者が発話する音声信号を取得し、音声信号を所定のサンプリング周波数(例えば、11キロヘルツ等)でサンプリングすることでデジタル信号の音声データを生成する。生成した音声データは、推定装置100に送信される。
【0018】
通信端末200は、推定装置100により推定された結果を、映像の出力部202であるディスプレイに表示する。ディスプレイは、有機EL(Organic Electro-Luminescence)や液晶等である。
【0019】
なお、マイクロホンは有線または無線を介して推定装置100に直接接続されてもよい。この場合、推定装置100はマイクロホンからの音声の信号を、所定のサンプリング周波数でサンプリングし、デジタル信号の音声データを取得してもよい。
【0020】
(第1実施形態)
図10は、図1に示した推定装置100における推定処理の一例を示す。図10に示す処理は、推定装置100の演算処理装置110が推定装置100の記録装置120に記録された推定プログラムを実行することにより実現される。図10を用いて、演算処理装置110の算出部111、検出部112および推定部113の各機能についてそれぞれ説明する。
【0021】
(算出部111)
処理を開始すると、ステップS101において、算出部111は音声データが取得済みであるか否かを判定する。音声データには2種類のデータがあり、1つは対象とする被験者から取得する第1の音声データである。もう1つは、図2のデータベース(DB)サーバB等から取得する第2の音声データである。第2の音声データは、各疾患と予め関連付けがされている。第2の音声データは、推定プログラムと一緒に推定装置100の記録装置120に予め記録されていてもよい。
【0022】
音声データが取得済みである場合には、ステップS103へ進む。音声データが未だ取得されていない場合には、ステップS102において、通信端末200およびデータベース(DB)サーバB等を介して音声データを取得する。
【0023】
次に、ステップS103において、算出部111は取得した2種類の音声データから第1の音響パラメータおよび第2の音響パラメータを算出する。音響パラメータは、音が伝わる際の特徴をパラメータ化したものであり、以降に登場する特徴量の変数f(n)として使用される。第1の音響パラメータは、疾患を推定する対象である被験者の第1の音声データから算出する。
【0024】
第2の音響パラメータは、データベース(DB)サーバB等から取得する第2の音声データから算出する。第2の音声データは、各疾患と予め関連付けがされているため、算出後の第2の音響パラメータにおいても、各疾患と音響パラメータが関連付けされている。第2の音響パラメータについては、推定プログラムと一緒に推定装置100の記録装置120に予め記録されていてもよい。
【0025】
推定装置100を用いて推定可能な疾患群、すなわち、第2の音声データと予め関連付けがされている疾患群は、レビー小体型認知症、アルツハイマー型認知症、パーキンソン病、大うつ病、双極性障害、または非特定うつ病を含む。但し、疾患群はこれに限定されるものではない。
【0026】
音響パラメータには、以下のような項目がある。
【0027】
【表1】
【0028】
上記の音響パラメータの項目の中から、変数f(n)として使用する任意の音響パラメータを1つまたは複数選択し、選択された任意の音響パラメータに対し係数を付すことにより特徴量F(a)が作成される。使用される任意の音響パラメータは、推定を行うべき特定の疾患と相関性を有する音響パラメータが選択される。変数f(n)およびそれらの係数については、ユーザが選択した後に、データベースに蓄積される情報などから機械学習により推定プログラムが特徴量の品質の改善を行ってもよい。
【0029】
音響パラメータは、数値に大きな開きがあるためそれぞれを正規化してもよい。また、2つ以上の疾患で共通項が存在する場合には、特徴量を2つ以上に正規化してもよい。
【0030】
次に、ステップS104において、算出部111は疾患に固有の線形モデルが作成済みであるか否かを判定する。既に線形モデルが作成済みである場合には、ステップS106へ進む。未だ線形モデルが作成されていない場合には、ステップS105において、各疾患と音響パラメータが関連付けされている第2の音響パラメータに基づいて、線形モデルを作成する。
【0031】
次に、ステップS106において、作成された線形モデルに基づいて特徴量を作成する。特徴量は、以下の式F(a)で示すことができる。次の検出部112において用いられる被験者のスコアは、特徴量F(a)に基づいて第1の音響パラメータから算出される。
【0032】
【数1】
【0033】
ここで、f(n)は、上記の音響パラメータの項目(1)ないし(11)の中からいずれか1つ以上の第2の音響パラメータを任意に選択したものである。xnは疾患に固有の係数である。f(n)、xnは、予め推定プログラムの記録装置120に記録されていてもよい。また、推定プログラムの機械学習の過程で特徴量を改善してもよい。
【0034】
推定プログラムは、人工知能による学習機能を有しその学習機能によって推定処理を行う。ニューラルネットワーク型のディープラーニングが利用されてもよいし、部分的に学習分野を強化する強化学習等が利用されてもよいし、その他、遺伝的アルゴリズム、クラスタ分析、自己組織化マップ、アンサンブル学習、等が利用されてもよい。もちろん、これら以外の人工知能に関する技術が利用されてもよい。アンサンブル学習においては、ブースティングと決定木を併用した手法により分類アルゴリズムを作成してもよい。
【0035】
2つ以上の疾患に共通項が存在する場合は、特徴量を2つ以上に分割してもよい。例えば、次式のような分割が可能である。
【0036】
【数2】
【0037】
ここで、音響パラメータの詳細について説明する。
(1.音量のエンベロープ)
【0038】
図3は、音量のエンベロープに関する説明図である。横軸は時間tを示し、縦軸は正規化したパワースペクトル密度を示す。
【0039】
音量のエンベロープは、アタックタイム、ディケイタイム、サステインレベル、リリースタイムから構成される。アタックタイム(「Attack」)は、音の立ち上がりから最大音量になるまでの時間である。ディケイタイム(「Decay」)は、発音してからある一定の音量(サステインレベル)に落ちつくまでの減衰時間である。リリースタイムは、発音してから音が完全に無くなるまでの消失時間である。
【0040】
(2.波形の波動情報)
図4は、波形の波動情報に関する説明図である。横軸は時間tを示し、縦軸は音圧を示す。
【0041】
波形の波動情報には、ジッター(Jitter)やシマー(Shimmer)が含まれる。ジッター(Jitter)とは、一周期当たりの時間をTiとした場合の時間軸における周期の乱れを示し、以下の式で説明することができる。
【0042】
【数3】
【0043】
シマー(Shimmer)とは、一振幅当たりの音圧をAiとした場合の音圧に対する振幅の乱れを示し、以下の式で説明することができる。
【0044】
【数4】
【0045】
(3.ゼロ点交差率)
図5は、ゼロ点交差率に関する説明図である。ゼロ点交差率は、音声の音圧の波形が基準圧力を横切る単位時間あたりの回数を、音声における波形の変化の激しさの度合いとして算出したものである。ゼロ点交差率に関しては、後に詳述する。
【0046】
(4.ハースト指数)
図6は、ハースト指数に関する説明図である。ハースト指数は、音声の波形における変化の相関性を示す。ハースト指数に関しては、後に詳述する。
【0047】
(5.VOT(Voice Onset Time))
図7は、VOT(Voice Onset Time)に関する説明図である。VOTとは、空気が流れだしてから(Start of Voicing)、声帯が振動を始めるまで(Stop Release)の時間、すなわち有声開始時間(VOT)を意味する。図7では、横軸に時間tを示し、縦軸に音圧を示す。
【0048】
(6.ないし11.発話データ内の各種統計量)
図8は、発話データ内の統計量に関する各種説明図である。上段は、ある周波数成分の音声の強度について、横軸を時間tとして示し、縦軸を周波数軸としてグラフを示す。上段のグラフでは、音声の強度の高低を色の濃淡で示している。上段のグラフのうち、処理対象とする周波数の領域をトリミングして、トリミングされた領域における各点の周波数スペクトルを中段に示す。
【0049】
中段のグラフは、上段のグラフの時間軸上の各点における周波数スペクトルを示しているため、上段の濃色で示す部分は音声強度が高く描かれ、淡色で示す部分は音声強度が低く描かれる。さらに、中段の周波数スペクトルをスペクトル解析し、縦軸をパワースペクトル密度、横軸を時間軸として示したのが下段のグラフである。
【0050】
下段のグラフより、メル周波数ケプストラムのある係数に関する発話内分布の統計値(第1四分位点、中央値、第3四分位点、95パーセント点、算術平均、幾何平均、第3四分位点と中央値の差など)、周波数スペクトラムの変化の速さにおける発話内分布の統計値(第1四分位点、中央値、第3四分位点、95パーセント点、算術平均、幾何平均、第3四分位点と中央値の差など)、メル周波数ケプストラムのある係数の時間変化に関する発話内分布の統計値(第1四分位点、中央値、第3四分位点、95パーセント点、算術平均、幾何平均、第3四分位点と中央値の差など)、メル周波数ケプストラムのある係数の時間変化の時間変化に関する発話内分布の統計値(第1四分位点、中央値、第3四分位点、95パーセント点、算術平均、幾何平均、第3四分位点と中央値の差など)、周波数スペクトラム90%ロールオフの発話内時間変化における2次回帰近似に対する二乗誤差、または周波数スペクトラム重心の発話内時間変化における2次回帰近似に対する算術誤差を算出する。
【0051】
次に、図10のステップS106において、特徴量が設定された後に被験者のスコアリングが行われる。スコアリングは、疾患に固有の特徴量F(a)と、第1の音響パラメータに基づき、被験者のスコアを算出する処理である。スコアリングによって取得された被験者のスコアは、検出部112と推定部113に送信される。
【0052】
(検出部112)
次に、ステップS107において、検出部112は特徴量を基に作成された健康の基準範囲が設定されているか否かを判定する。健康の基準範囲とは、特徴量F(a)により作成される回帰直線から、健常な被験者と個々の疾患を有する被験者とを区別する領域である。
【0053】
検出部112は、ステップS107で健康の基準範囲が設定されていると判定した場合にはステップS109へ進む。健康の基準範囲が設定されてないと判定した場合には、ステップS108において、特徴量に基づいて健康の基準範囲を設定する。基準範囲の情報は、推定部113へ送信される。
【0054】
次に、ステップS109において、検出部112は算出部111で算出した被験者のスコアの中から健康の基準範囲を超える疾患を検出する。
【0055】
次に、ステップS110において、検出部112は検出された疾患が複数あるか否かを判定する。検出された疾患が無かった場合、あるいは検出された疾患が1つであった場合には、ステップS112へ進む。
【0056】
ステップS110で検出された疾患が複数あると判定された場合には、ステップS111において、検出された疾患どうしの特徴量の共通項、係数を比較して、特徴量の改善を行う。特徴量の改善の結果は、機械学習のためにデータベース(DB)サーバBまたは推定プログラムを記録する記録装置120に出力されてもよい。特徴量の改善は、複数の特徴量に有意な差が生じるまで比較・検証されてもよい。検出された疾患の特徴量どうしに共通項がある場合には、まず共通項における差異を比較し、次いで個々の特徴量の比較をおこなってもよい。
【0057】
また、比較の方法には乗算による比較の他、レンジ計算による比較を行っても良い。例えば、疾患固有の特徴量を比較し最大値を選ぶ、あるいはそれらを加算することで、疾患固有の特徴量を改善してもよい。
【0058】
また、検出された複数の疾患が健康の基準範囲と十分な差が確認される場合には、複数の疾患を最終的な候補として検出してもよい。また、特徴量の改善はユーザが手動で調整を行ってもよい。
【0059】
特徴量が改善された後は、必要であればステップS106で取得した被験者のスコアを再計算する。改善された特徴量および再計算されたスコア結果は、推定部113に送信される。検出部112における全ての処理が終了した後、ステップS112へ進む。
【0060】
(推定部113)
次に、ステップS112において、推定部113は算出部111および検出部112で取得した特徴量およびそれに基づく被験者のスコアから、疾患の推定を行う。
【0061】
次に、ステップS113において、推定部113は通信端末200に推定結果を出力する。疾患の推定方法としては、被験者のスコアと健康の基準範囲との差の中で最も大きな値を持つ疾患を選択し、疾患を推定してもよい。また、検出された複数の疾患のうち十分な差が認められる場合には、図9に示す様に複数の疾患のスコアを示し、最終的な判断をユーザに委ねてもよい。
【0062】
推定部113は、ステップS106で算出された被験者のスコアと、ステップS108で設定された基準範囲の境界線との間の距離に応じて、被験者の健康の度合いを推定してもよい。そして、推定部113は、推定した被験者の健康状態と健康の度合いとを示す情報を、通信端末200に出力してもよい。
【0063】
最後に、推定装置100は、推定処理を終了する。推定装置100は、通信端末200から被験者の音声データを受信する度に、ステップS101ないしステップS113の処理を繰り返し実行する。
【0064】
なお、図10に示した処理において、基準範囲の情報が、推定装置100または外部のコンピュータ装置により予め決定され、推定装置100の記録装置120に記録されている場合、ステップS104、ステップS105、ステップS107およびステップS108の処理は、省略されてもよい。
【0065】
以上、実施形態1では、算出部111は、通信端末200から取得した被験者の音声データを用いて、特徴量に基づき被験者のスコアを算出する。推定部113は、算出された被験者のスコアと、検出部112により設定された基準範囲との比較に基づいて被験者の健康状態または疾患を推定する。
【0066】
以上のステップS101ないしステップS113によって推定された結果の一例を図13に示す。図13は、健常者または特定疾患と、それ以外の分離性能を示すROC曲線のグラフである。横軸が特異度を示し、縦軸が感度を示す。言い換えると、横軸が偽陽性率を示し、縦軸が真陽性率を示す。図13のROC曲線は、いずれも偽陽性立が低い時点で真陽性率が高い値を示した。
【0067】
また、AUC(Area under an ROC curve)はいずれも0.5より高く、ランダムに識別した場合と有意な差が確認できた。分離性能の検証が行われた疾患は、レビー小体型認知症、アルツハイマー型認知症、パーキンソン病、大うつ病、双極性障害、非特定うつ病である。それぞれのROC曲線におけるAUCは、レビー小体型認知症が0.794、アルツハイマー型認知症が0.799、パーキンソン病が0.771、大うつ病が0.869、双極性障害が0.86、非特定うつ病が0.86であった。なお、本願発明を用いて推定可能な疾患は上記のものに限定されない。
【0068】
以上に示す様に、図10に示すステップS101ないしステップS113を行うことにより、推定装置100は、複数の精神・神経系疾患の中から特定の疾患を高度・専門的に高精度で推定することができる。
【0069】
(第2実施形態)
次に、第2の音響パラメータとして、ゼロ点交差率、ハースト指数を選択した場合の一実施例について詳述する。
【0070】
算出部111は、音声における波形の変化の激しさの度合いとしてゼロ点交差率を算出する。また、算出部111は、音声の波形における変化の相関性を示すハースト指数を算出する。算出部111は、算出した被験者のゼロ点交差率およびハースト指数を、検出部112および推定部113に出力する。
【0071】
検出部112は、算出部111が算出した被験者のゼロ点交差率およびハースト指数から被験者の健康状態を推定部113が推定するために、うつ病等の病を患っていない健康な状態を示す健康の基準範囲を設定する。
【0072】
例えば、算出部111は、うつ病等の病を患っているか否かの健康状態が既知である複数の人の音声データをデータベースまたは推定装置100の記録装置120から読み出し、読み出した音声データから複数の人の各々のゼロ点交差率およびハースト指数を含む第2の音響パラメータを算出する。
【0073】
さらに、算出部111は、ゼロ点交差率とハースト指数との2次元空間において、算出部111により算出された複数の人のゼロ点交差率およびハースト指数の分布に対して、線形判別式やロジスティック回帰分析等の線形分類の処理を実行して、これらの線形モデルを基にして特徴量を作成する。
【0074】
次に、検出部112は、算出部111で作成した特徴量に基づいてうつ病等を患っている人の領域と、うつ病等を患っていない健康な人の基準範囲とを分ける境界線を設定する。検出部112は、決定した境界線を含む基準範囲を示す情報を推定部113に出力する。
【0075】
なお、特徴量が作成済みであって、疾患どうしの区別をする必要がなく、健康の基準範囲を示す情報が、推定装置100または外部のコンピュータ装置により予め設定され、推定装置100の記録装置120に記録されている場合、検出部112は省略されてもよい。
【0076】
推定部113は、算出部111により算出された被験者のゼロ点交差率およびハースト指数のスコアと、検出部112により設定された基準範囲とに基づいて被験者における健康状態(例えば、うつ状態等か否か)を推定する。そして、推定部113は、推定した健康状態を示す情報を通信端末200に出力する。
【0077】
図14は、図1に示した通信端末200を介して取得した音声データの一例を示す。図14は、通信端末200を介して取得した被験者が発話した音声の音圧の時間変化を示す。図14の横軸は時刻tを示し、縦軸は音圧を示す。
【0078】
図14では、被験者による発話の音声データのうち、“ありがとう”と発話した発話単位のデータを示す。時刻t0、t1、t2、t3、t4は、発話単位に含まれる“あ”、“り”、“が”、“と”、“う”の各語が発話された開始の時刻を示す。なお、“ありがとう”の発話単位のうち、“り”の語が発話された音声データに対する算出部111の算出処理について説明するが、算出部111は、“ありがとう”の他の語および他の発話単位に対しても、同一または同様に算出処理を実行する。
【0079】
算出部111は、通信端末200から取得した音声データを用いて、ゼロ点交差率およびハースト指数を、512等のサンプル数のウィンドウWD毎に算出する。図14に示すように、音圧は各語の発話において大きく変化するため、例えば、算出部111は、ゼロ点交差率を算出するために、ウィンドウWDより小さい30等のサンプル数のウィンドウWD1毎に音圧の平均値を算出し、各ウィンドウWD1で算出した平均値を各ウィンドウWD1の基準圧力とする。算出部111は、各ウィンドウWD1において、算出した基準圧力(平均値)を被験者の音圧が横切る回数を計測し、ゼロ点交差率を算出する。
【0080】
算出部111は、各ウィンドウWD1で算出したゼロ点交差率の平均値をウィンドウWDのゼロ点交差率ZCRとして算出する。
【0081】
一方、時刻tの音圧x(t)と時刻tから時間τ離れた音圧x(t+τ)との差分の標準偏差σ(τ)は、式(1)に示すように関係付けられる。また、時間間隔τと標準偏差σ(τ)の間には、式(2)に示すようなべき則の関係があることが知られている。そして、式(2)におけるHがハースト指数である。
【0082】
【数5】
【0083】
例えば、ホワイトノイズのような音声データの場合、音声データの各データ間において互いに時間的な相関がないため、ハースト指数Hは“0”となる。また、音声データがホワイトノイズからピンクノイズやブラウンノイズになるに従い、すなわち音声の波形が時間的な相関性を有するに従い、ハースト指数Hは“0”より大きな値を示す。
【0084】
例えば、音声データがブラウンノイズの場合、ハースト指数Hは0.5となる。さらに、音声データがブラウンノイズより強い相関性を有する、すなわち音声データが過去の状態に依存する度合いが増すに従い、ハースト指数Hは、0.5から1の間の値を示す。
【0085】
算出部111は、例えば、ウィンドウWDにおいて、時間間隔τが1から15の間の各τに対して音声データの標準偏差σ(τ)を求め、求めた各時間間隔τの標準偏差σ(τ)に対して回帰分析を実行することによりハースト指数Hを算出する。
【0086】
算出部111は、ウィンドウWDの幅の4分の1等の所定の間隔でウィンドウWDを移動させて、各ウィンドウWDにおけるゼロ点交差率ZCRおよびハースト指数Hを算出する。そして、算出部111は、算出した全てのウィンドウWDのゼロ点交差率ZCRおよびハースト指数Hを平均し、平均したゼロ点交差率ZCRおよびハースト指数Hを被験者PAのゼロ点交差率およびハースト指数として推定部113に出力する。
【0087】
図15は、図1に示した算出部111により算出された複数の人のゼロ点交差率ZCRおよびハースト指数Hの分布の一例を示す。図15では、縦軸はゼロ点交差率ZCRを示し、横軸はハースト指数Hを示す。
【0088】
また、図15では、うつ病等の病を患っている人のゼロ点交差率ZCRおよびハースト指数Hをバツ印で示し、健康な人のゼロ点交差率ZCRおよびハースト指数Hを丸印で示す。なお、図15に示したゼロ点交差率ZCRおよびハースト指数Hの分布は、1218人の音声データを用いて生成されている。そして、のべ1218人のうち、うつ病等の病を患っている人は697人であり、健康な人は521人である。
【0089】
算出部111は、図15に示した複数の人のゼロ点交差率ZCRおよびハースト指数Hの分布に対して、線形判別式やロジスティック回帰分析等の線形分類の処理を実行する。検出部112は、うつ病等の病を患っている人と、健康な人とを分ける破線で示した境界線を決定する。
【0090】
図15の場合、破線で示した境界線は、ZCR=-0.299H+0.299と表される。検出部112は、破線で示した境界線より下側の領域を基準範囲として、決定した境界線を含む基準範囲の情報を推定部113に出力し、推定部113に基準範囲を設定する。
【0091】
なお、図15では、ゼロ点交差率ZCRの縦軸およびハースト指数Hの横軸は、線形軸としたが、破線で示した境界線が指数関数やべき関数等で表される場合、境界線を直線で示すために対数軸にするのが好ましい。
【0092】
図16は、音声データの取得環境に応じたゼロ点交差率ZCRおよびハースト指数Hの分布の一例を示す。図16では、図15と同様に、縦軸はゼロ点交差率ZCRを示し、横軸はハースト指数Hを示す。また、図16は、図15に示したゼロ点交差率ZCRおよびハースト指数Hの分布から検出部112により決定された境界線を破線で示す。
【0093】
図16は、例えば、通信端末200が被験者の音声を11キロヘルツのサンプリング周波数でサンプリングした音声データを用いて算出されたゼロ点交差率ZCRおよびハースト指数Hの分布を黒色の三角で示す。
【0094】
一方、通信端末200は、例えば、ネットワークNWを介して音声データを推定装置100に送信するために、11キロヘルツでサンプリングした被験者PAの音声データを、8キロヘルツのサンプリング周波数でダウンサンプリングする。図16は、8キロヘルツにダウンサンプリングされた音声データを用いて算出されたゼロ点交差率ZCRおよびハースト指数Hの分布を白色の矩形で示す。
【0095】
図16に示すように、被験者PAのゼロ点交差率ZCRおよびハースト指数Hは、ダウンサンプリングによる音質の劣化(ノイズの増加)による影響を受けている。すなわち、ダウンサンプリングされた音声データのゼロ点交差率ZCRは、ノイズが増加し、音声の音圧が基準圧力を横切る回数が増加するため、11キロヘルツでサンプリングされた音声データのゼロ点交差率ZCRと比べて大きな値を示す。
【0096】
一方、ダウンサンプリングされた音声のハースト指数Hは、ノイズが増加することにより音声データがホワイトノイズに近づくため、11キロヘルツでサンプリングされた音声データのハースト指数Hと比べて小さな値を示す。
【0097】
しかしながら、ゼロ点交差率ZCRおよびハースト指数Hは、ダウンサンプリングによる影響を受けるが、互いに独立に変化するのではなく、関係性を有して変化する。すなわち、図16に示すように、ゼロ点交差率ZCRおよびハースト指数Hは、ダウンサンプリング等による音質の劣化に対して、互いの相関性を有しつつ破線で示した境界線に沿って変化する。
【0098】
このため、ダウンサンプリング等による音質の劣化は、被験者のゼロ点交差率ZCRおよびハースト指数Hが基準範囲に含まれるか否かを判定する推定部113の動作に影響を与えない。すなわち、ゼロ点交差率ZCRおよびハースト指数Hは、ダウンサンプリング等の音質の劣化に対してロバスト性を有する。そして、推定装置100は、音声データの取得環境に拘わらず、従来と比べて精度良く被験者の健康状態を推定できる。
【0099】
図11は、図1に示した推定装置100における推定処理の一例を示す。図11に示す処理は、推定装置100の演算処理装置110が推定装置100の記録装置120に記録された推定プログラムを実行することにより実現される。
【0100】
処理を開始すると、ステップS201において、算出部111は音声データが取得済みであるか否かを判定する。音声データには2種類のデータがあり、1つは対象とする被験者から取得する第1の音声データである。もう1つは、図2のデータベース(DB)サーバB等から取得する第2の音声データである。第2の音声データは、実施形態2の場合には、大うつ病と予め関連付けがされている。第2の音声データは、推定プログラムと一緒に推定装置100の記録装置120に予め記録されていてもよい。
【0101】
音声データが取得済みである場合には、ステップS203へ進む。音声データが未だ取得されていない場合には、ステップS202において、通信端末200およびデータベース(DB)サーバB等を介して音声データを取得する。
【0102】
次に、ステップS203において、算出部111は取得した2種類の音声データから第1の音響パラメータおよび第2の音響パラメータ、すなわちゼロ点交差率ZCRおよびハースト指数Hを算出する。第2の音響パラメータについては、推定プログラムと一緒に推定装置100の記録装置120に予め記録されていてもよい。
【0103】
次に、ステップS204において、算出部111は疾患に固有の特徴量が作成済みであるか否かを判定する。既に特徴量が作成済みである場合には、ステップS206へ進む。未だ特徴量が作成されていない場合には、ステップS205において、大うつ病と関連付けされているゼロ点交差率ZCRおよびハースト指数Hに基づいて、特徴量を作成する。具体的にはゼロ点交差率ZCRおよびハースト指数Hの分布に対して、線形判別式やロジスティック回帰分析等の線形分類の処理を実行する。
【0104】
次に、ステップS206において、被験者のスコアリングが行われる。スコアリングは、疾患に固有の特徴量と、第1の音響パラメータに基づき、被験者のスコアを算出する処理である。スコアリングによって取得された被験者のスコアは、検出部112と推定部113に送信される。
【0105】
次に、ステップS207において、検出部112は特徴量を基に作成された健康の基準範囲が設定されているか否かを判定する。
【0106】
検出部112は、ステップS207で健康の基準範囲が設定されていると判定した場合にはステップS209へ進む。健康の基準範囲が設定されてないと判定した場合には、ステップS208において、特徴量に基づいて健康の基準範囲を設定する。
【0107】
次に、ステップS209において、検出部112は算出部111で算出した被験者のゼロ点交差率ZCRおよびハースト指数Hに関連するスコアが健康の基準範囲内に位置するか否かを検出する。
【0108】
次に、ステップS212において、推定部113は、検出部112で被験者のスコアが基準範囲を超えた場合には、疾患を大うつ病を患っていると推定する。被験者のゼロ点交差率ZCRおよびハースト指数Hに関連するスコアが健康の基準範囲内に位置する場合には、推定部113は被験者が健康であると推定する。推定部113は、推定した被験者の健康状態を示す情報を、通信端末200へ出力する。
【0109】
なお、推定部113は、例えば、ステップS206で検出された被験者のゼロ点交差率ZCRおよびハースト指数Hに関連するスコアと、ステップS208で設定された基準範囲の境界線との間の距離に応じて、被験者の健康の度合いを推定してもよい。そして、推定部113は、推定した被験者の健康状態と健康の度合いとを示す情報を、通信端末200に出力してもよい。
【0110】
そして、推定装置100は、推定処理を終了する。推定装置100は、通信端末200から被験者の音声データを受信する度に、ステップS201からステップS213の処理を繰り返し実行する。
【0111】
なお、図11に示した処理において、基準範囲の情報が、推定装置100または外部のコンピュータ装置により予め決定され、推定装置100の記録装置120に記録されている場合、ステップS204、ステップS205、ステップS207およびステップS208の処理は、省略されてもよい。
【0112】
以上、実施形態2では、算出部111は、通信端末200から取得した被験者の音声データを用いて、被験者のゼロ点交差率ZCRおよびハースト指数Hに関連する特徴量のスコアを算出する。推定部113は、算出された被験者のゼロ点交差率ZCRおよびハースト指数Hの位置と、検出部112により設定された基準範囲との比較に基づいて被験者の健康状態を推定する。
【0113】
さらに、図16に示すように、ゼロ点交差率ZCRおよびハースト指数Hは、ダウンサンプリング等による音質の劣化の影響を受けるが、互いに独立に変化するのではなく、関係性を有して変化する。このため、ダウンサンプリング等による音質の劣化は、被験者のゼロ点交差率ZCRおよびハースト指数Hに関連するスコアが基準範囲に含まれるか否かを判定する推定部113の動作に影響を与えない。すなわち、推定装置100は、音声データの取得環境に拘わらず、従来と比べて精度良く被験者の健康状態を推定できる。
【0114】
また、推定装置100は、大うつ病等を患っている被験者の音声データや、長母音等を含む音声データ等からゼロ点交差率ZCRおよびハースト指数Hを求めることができる。このため、推定装置100は、音声のパラメータと感情状態との対応関係を示す情報を用いる従来と比べて、被験者の健康状態を精度良く推定できる。
【0115】
(実施形態3)
図1に示す推定装置100において、算出部111は、例えば、式(3)に示される音声の波形モデルを用い、音声に含まれるノイズの割合に応じて変化するゼロ点交差率ZCRとハースト指数Hとの関係性に基づいて特徴量を作成して、基準範囲の境界線を設定することができる。
【0116】
【数6】
【0117】
ここで、x(t-1)、x(t)、x(t+1)は、時刻t-1、t、t+1にサンプリングされた音声データを示す。αは、音声データx(t)が過去の状態に依存する度合いを示す。例えば、αが0の場合、音声データx(t)は、過去の状態に依存することなく独立した値を示し、ホワイトノイズであることを示す。
【0118】
rand1、rand2は、0から1の間の一様乱数を示す。scaleは、rand1の一様乱数に応じて音声データx(t)の波形が変動する変動量を調整し、例えば、0.1や0.2等の値に設定される。SIGNは、式(4)に示す関数であり、音声データx(t)の変動を決定する。
【0119】
【数7】
【0120】
音声データx(t)は、p>qの場合、増加または減少する状態を維持し、p<qの場合、増加から減少または減少から増加に状態を変化させる。また、音声データx(t)は、p=qの場合、現在と同じ状態を維持し変化しない。βは、関数SIGNを介して、rand2の一様乱数に応じて音声データx(t)の変動を調整する。例えば、αが1且つβが0.5に設定される場合、音声データx(t)は、ブラウンノイズと同様の波形が再現される。なお、式(3)に示した音声の波形モデルは、一例であり、他の関数を用いて表されてもよい。
【0121】
算出部111は、例えば、αが1に設定された式(3)の音声の波形モデルを用いて、βを0から1の間で変化させ、各βの値における音声データx(t)からゼロ点交差率ZCRおよびハースト指数Hを算出する。そして、算出部111は、算出した各βの値におけるゼロ点交差率ZCRとハースト指数Hとの分布に対して最小二乗法等の回帰分析の処理を実行する。算出部111は、各βの値のゼロ点交差率ZCRとハースト指数Hとを通る直線を、境界線として決定する。式(3)に示した音声の波形モデルの場合、算出部111により決定された境界線は、ZCR=-0.299H+0.305で表され、波線で示した図15の境界線と類似する直線となる。これにより、推定装置100は、基準範囲の境界線を決定するために複数の人の音声データを取得することなく、容易に基準範囲の境界線を設定できる。
【0122】
そして、算出部111は、決定した境界線を含む基準範囲の情報を推定部113に出力し、推定部113に基準範囲を設定する。
【0123】
なお、基準範囲の情報が、推定装置100または外部のコンピュータ装置により予め決定され、推定装置100の記録装置120に記録されている場合、算出部111は省略されてもよい。
【0124】
図12は、図1に示した推定装置100における推定処理の一例を示す。
【0125】
図12に示した処理は、推定装置100の演算処理装置110が推定装置100の記録装置120に記録された推定プログラムを実行することにより実現される。すなわち、図12に示した処理は、推定方法および推定プログラムの別の実施形態を示す。
【0126】
処理を開始すると、ステップS301において、算出部111は音声データが取得済みであるか否かを判定する。そして、音声データが取得済みである場合には、ステップS303へ進む。音声データが未だ取得されていない場合には、ステップS302において、通信端末200等を介して音声データを取得する。
【0127】
次に、ステップS303において、算出部111は取得した音声データから第1の音響パラメータ、すなわちゼロ点交差率ZCRおよびハースト指数Hを算出する。
【0128】
次に、ステップS307において、算出部111は健康の基準範囲が設定されているか否かを判定する。健康の基準範囲が設定されている場合、算出部111はステップS308aに進む。基準範囲が設定されていない場合、算出部111はステップS308に進む。
【0129】
ステップS308では、算出部111はαが1に設定された式(3)の音声の波形モデルを用いて、βを0から1の間で変化させ、各βの値における音声データx(t)からゼロ点交差率ZCRおよびハースト指数Hを算出する。そして、検出部112は、算出した各βの値におけるゼロ点交差率ZCRとハースト指数Hとの分布に対して最小二乗法等の回帰分析の処理を実行し、各βの値のゼロ点交差率ZCRとハースト指数Hとを通る直線を境界線として設定する。
【0130】
次に、ステップS308aでは、検出部112は、ステップS308で設定した境界線を含む基準範囲の情報を推定部113に出力し、基準範囲を設定する。
【0131】
次に、ステップS308aにおいて、被験者のスコアリングが行われる。実施形態3におけるスコアリングは、被験者の第1の音響パラメータ、すなわち被験者のゼロ点交差率ZCRおよびハースト指数Hが用いられる。スコアリングの結果は、検出部112および推定部113に出力される。
【0132】
次に、ステップS309において、検出部112はステップS308aで算出された被験者のゼロ点交差率ZCRおよびハースト指数Hが、ステップS308で設定された基準範囲内に位置するか否か検出する。
【0133】
次に、ステップS312において、推定部113は検出部112で被験者のスコアが基準範囲を超えた場合には、疾患を大うつ病を患っていると推定する。被験者のゼロ点交差率ZCRおよびハースト指数Hに関連するスコアが健康の基準範囲内に位置する場合には、推定部113は被験者が健康であると推定する。推定部113は、推定した被験者の健康状態を示す情報を、通信端末200へ出力する。
【0134】
なお、推定部113は、例えば、ステップS308aで算出された被験者のゼロ点交差率ZCRおよびハースト指数Hに関連するスコアと、ステップS308で設定された基準範囲の境界線との間の距離に応じて、被験者の健康の度合いを推定してもよい。そして、推定部113は、推定した被験者の健康状態と健康の度合いとを示す情報を、通信端末200に出力してもよい。
【0135】
そして、推定装置100は、推定処理を終了する。推定装置100は、通信端末200から被験者の音声データを受信する度に、ステップS301からステップS313の処理を繰り返し実行する。
【0136】
なお、図12に示した処理において、基準範囲の情報が、推定装置100または外部のコンピュータ装置により予め決定され、推定装置100の記録装置120に記録されている場合、ステップS307、ステップS308の処理は、省略されてもよい。
【0137】
以上、実施形態3では、算出部111は、通信端末200を介して取得した被験者の音声データを用いて、被験者のゼロ点交差率ZCRおよびハースト指数Hを算出する。推定部113は、算出された被験者のゼロ点交差率ZCRおよびハースト指数Hの位置と、検出部112により設定された基準範囲との比較に基づいて被験者PAの健康状態を推定する。
【0138】
そして、図16に示すように、ゼロ点交差率ZCRおよびハースト指数Hは、ダウンサンプリング等による音質の劣化の影響を受けるが、互いに独立に変化するのではなく、関係性を有して変化する。このため、ダウンサンプリング等による音質の劣化は、被験者のゼロ点交差率ZCRおよびハースト指数Hが基準範囲に含まれるか否かを判定する推定部113の動作に影響を与えない。すなわち、推定装置100は、音声データの取得環境に拘わらず、従来と比べて精度良く被験者の健康状態を推定できる。
【0139】
また、推定装置100は、大うつ病等を患っている被験者の音声データや、長母音等を含む音声データ等からゼロ点交差率ZCRおよびハースト指数Hを求めることができる。このため、推定装置100は、音声のパラメータと感情状態との対応関係を示す情報を用いる従来と比べて、被験者の健康状態を精度良く推定できる。
【0140】
なお、推定装置は、例えば、ロボット、人工知能や自動車、あるいはコールセンター、インターネット、スマートフォンやタブレット型端末等の携帯端末装置アプリケーションやサービス、検索システムへ応用されてもよい。また、推定装置は、診断装置、自動問診装置、災害トリアージ等に応用されてもよい。
【0141】
なお、これまで主として推定装置について説明したが、推定装置を備える医療装置を上述したように作動させる医療装置の作動方法であっても良いし、コンピュータに医療装置と同様の処理を行わせるための推定プログラム、該推定プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【0142】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【産業上の利用可能性】
【0143】
精神・神経系疾患を高い精度で推定する医療装置を提供することができる。
【符号の説明】
【0144】
111…算出部
112…検出部
113…推定部
100…推定装置
200…通信端末

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13A
図13B
図14
図15
図16