(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に記載の方法では、正確なパターンを得ることが必須となり、心拍の測定だけでも90分の時間を要し、また外的因子の無い状態での測定を要する等被験者に過度の負担を強いるものであった。
また、特許文献2の方法は、本格的にうつ病であるか否かを判定する際には有効であるが、血液を採らなければならず簡易にうつ病の傾向を知るという用途には不向きなものである。
要するに、従来提案されているうつ傾向の判定方法は、いずれも簡易的に測定できるものではなく、より簡易且つ簡便にうつの傾向があるか否かを判定できる装置及び方法の開発が要望されているのが現状である。
従って、本発明の目的は、簡易且つ簡便にうつの傾向があるか否か等精神状態等の心身状態を物理的に判定できる心身状態判定装置を提供することにある。
【課題を解決するための手段】
【0005】
本発明者らは、上記課題を解消すべく鋭意検討した結果、身体の一部の画像処理により血流を測定し、かかる血流を演算すると脈波が測定できることを応用し、脈波の変化を測定すればうつの傾向が判定できることを知見し、かかる知見を基に携帯型端末に適用できるように創意工夫を行い、本発明を完成するに至った。
すなわち、本発明は以下の各発明を提供するものである。
1.被験者の体に光を照射する射光部と、
該射光部により光を照射した部位の画像を連続的に取得する画像取得部と、
取得した画像を演算処理して脈波を算出すると共に継時的な脈波の状態を計算するコンピュータ部と、
被験者に環境音楽を聞かせるための音声出力部と、
被験者に環境映像を見せるための映像出力部と、
を具備する心身状態判定装置を動作させて心身状態を判定する判定プログラムであって、
上記映像出力部に指示を表示して被験者による操作を受け付ける操作入力手段、
上記操作入力手段に被験者が応答した場合に、被験者に求めるべき動作を表示して指示する指示手段、
上記指示手段に従って被験者が行動した場合に、該行動に応じて光の照射と画像取得とを所定時間行う画像取得手段、
画像取得手段により取得した画像を演算処理して脈波に換算し、上記映像出力部に測定時間と共に連続的に表示し、演算処理して得られたデータを積分してLF(Low Frequency:0.04−0.15Hz)とHF(High Frequency:0.15−0.4Hz)とを演算して得る演算表示手段、
測定終了後、所定時間、上記映像出力部に環境映像を表示すると共に上記音声出力部に環境音楽を流す映像音楽手段、
映像の表示及び音楽の演奏終了後、上記指示手段、上記画像取得手段、上記演算表示手段を作用させて再度脈波の測定を行う再演算手段、
及び
上記演算手段で得られたLF及びHFのデータと上記再演算手段で得られたLF及びHFのデータとを比較して心身状態を判定する判定手段と具備する心身状態判定プログラム。
2. 1記載の精神判定プログラムを実行するための装置であって、
被験者の体に光を照射する射光部と、
該射光部により光を照射した部位の画像を連続的に取得する画像取得部と、
取得した画像を演算処理して脈波を算出すると共に継時的な脈波の状態を計算するコンピュータ部と、
被験者に環境音楽を聞かせるための音声出力部と、
被験者に環境映像を見せるための映像出力部と、
を具備し、
上記コンピュータ部は、
取得した画像データを一時的に保存すると共に演算処理後の出力データを一時的に保存するメモリ部と
演算処理する演算処理部と、
コンピュータを動作させるプログラムを収容するドライブ部とからなる
心身状態判定装置。
【発明の効果】
【0006】
本発明の心身状態判定装置は、簡易且つ簡便に、うつの傾向があるか否か等精神状態や、糖尿病等の身体状態等心身状態を物理的に測定して判定できるものである。
また、本発明の心身状態判定プログラムは、既存の携帯型端末に適用可能であり、手軽に上記精神状態や身体状態等の心身状態を判定できるものである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、添付図面を参照して説明する。
<心身状態判定装置>
まず、
図1及び2を参照して本発明の心身状態判定装置としての精神状態判定装置について説明する。
図1及び2に示す精神状態判定装置1は、
被験者の体に光を照射する射光部としての光源10と、
光源10により光を照射した部位の画像を連続的に取得する画像取得部としてのカメラ20と、
取得した画像を演算処理して脈波を算出すると共に継時的な脈波の状態を計算するコンピュータ部30と、
被験者に環境音楽を聞かせるための音声出力部としてのイヤホン50と、
被験者に環境映像を見せるための映像出力部としてのディスプレイ40と、を具備する。
また、コンピュータ部30は、取得した画像データを一時的に保存すると共に演算処理後の出力データを一時的に保存するメモリ部31と、演算処理する演算処理部としての中央処理演算装置(CPU)32と、コンピュータを動作させるプログラムを収容する記憶媒体(本実施例においてはソリッドステートドライブ:SSD)33とからなる。
【0010】
以上のように構成された本実施形態の精神状態判定装置1は、
図1から明らかなように通常の携帯電話や携帯型端末と同様に構成されているが、以下、各部材について説明する。
光源10は、本実施形態においてはLEDライトにより構成されており、
図2に示すようにコンピュータ部と配線(図示せず)を介して連結されて、CPU32からの指示に従って照射と消灯とを適宜行えるようになされている。
カメラ20は、通常この種の携帯型端末に用いられるCCDカメラを用いており、光源10と並置されている。メモリを介して又は直接CPUに連結されており、撮像の実行及び停止を適宜行えるようになされている。また、取得したデータを、メモリを介して又は直接CPUに移送し、データ処理を行えるようになされている。
コンピュータ部30は、
図1に示す装置の内部に配置されており、メモリ31及び記憶媒体33に連結されたCPU32からなり、CPU32は、メモリを介して又は直接各部位に配線(図示せず)を介して連結されている。
イヤホン50は、図示しないイヤホンジャックに連結されたものであり、これ以外に本装置にはスピーカーも配設されている(図示せず)。しかし、本装置を使用して精神状態の判定を行う際には、スピーカーではなくイヤホンを使用することが好ましい。
ディスプレイ40は、光源10及びカメラ20とは反対側の面に設置されており、本実施形態においては公知のタッチ式液晶パネルにより構成されて、液晶パネルに直接触れることで操作が可能になされている。
【0011】
<精神状態判定プログラム>
そして、本実施形態の装置1は、その記憶媒体33に心身状態判定プログラムとしての精神状態判定プログラムが収容されており、かかる精神状態判定プログラムにより精神状態の判定を行う。
本実施形態の判定プログラムは、精神状態判定装置におけるコンピュータ部を動作させて精神状態を判定するものであ
る。判定プログラムが収容されているコンピュータ部30は、ディスプレイ40に指示を表示して被験者による操作を受け付ける操作入力手段、
上記操作入力手段に被験者が応答した場合に、被験者に求めるべき動作を表示して指示する指示手段、
上記指示手段に従って被験者が行動した場合に、該行動に応じて光の照射と画像取得とを所定時間行う画像取得手段、
画像取得手段により取得した画像を演算処理して脈波に換算し、ディスプレイ40に測定時間と共に連続的に表示し、演算処理して得られたデータを積分してLF(Low Frequency:0.04−0.15Hz)とHF(High Frequency:0.15−0.4Hz)とを演算して得る演算表示手段、
測定終了後、所定時間、ディスプレイ40に環境映像を表示すると共にイヤホン50に環境音楽を流す映像音楽手段、
映像の表示及び音楽の演奏終了後、上記指示手段、上記画像取得手段、上記演算表示手段を作用させて再度脈波の測定を行う再演算手段、
及び
上記演算手段で得られたLF及びHFのデータと上記再演算手段で得られたLF及びHFのデータを比較して精神状態を判定する判定手段を具備
する。判定プログラムは、これらの手段
を、命令をコンピュータ部30に指令して実行させる。
以下、各手段について詳述する。
【0012】
(操作入力手段)
まず、図示しないが、ディスプレイ40にアプリケーションボタンを表示し、該アプリケーションボタンに触れるとアプリケーションが起動するようにプログラムを構成してある。
(指示手段)
そして、被験者(使用者)が当該アプリケーションボタンに触れるとアプリケーションが起動し、初期画面が表示され、ここで
図3(a)に示すように被験者に所定位置に身体の一部としての指を置くように指示する説明文と操作指示の写真とを表示するように構成されている。また、
図3(a)に示す表示画面においても、脈波の波形と測定時間の経過を示すグラフと脈拍数とは表示されるように構成されている。
【0013】
(画像取得手段)
この指示に従って被験者が指を置き、光源から光を指に照射し、照射した個所の画像をカメラで撮影し、得られた画像について2値化処理を行って計測が可能であるか否かを確認するように構成されている。
この確認は、以下のように行う。
まず、カメラから取得した画像を任意の基準、具体的には後述する式(3)に基づき、2値化処理を行う。
2値化処理の結果得られた黒ピクセル和と白ピクセル和とを式(1)及び(2)により求め、これらの比率が均等に、具体的には下記式(3)を満たすまで、2値化の閾値を自動で調整し続ける。具体的には、式(3)の範囲外にある場合には2値化の値を1づつ増加又は減少させて調整する。
なお、式(1)及び(2)は、以下のような処理を行う式である。
カメラ画像の横画素数をh、縦画素数をwとした時、解像度はh_wであり、画像ピクセルをPi;(ただしiは画素位置を示す)とすることで、2値化画像における白色ピクセル値の合計SWと黒色ピクセル値の合計SBを求めることができる。
【数1】
次にSW;SBの割合が次式(3)を満たす場合、自動閾値調整を停止し、適切な閾値が見つかったと判断する。
これにより脈波取得に必要な画像調整を自動で可能となる。
適切な閾値検索には、大津らによる手法(大津:判別および最小2乗基準に基づく自動しきい値選定法、電子通信学会論文誌 D、Vol.63、No.4、 pp.349-356 (1989).)を用いると、より高速な閾値検索が可能となる。ただしこの際も、常に閾値を調整し続けると脈波を計測できないため、ある程度の範囲、具体的には下記式(3)の範囲内において適切な値が見つかったら、閾値再設定を行わない処理が必要となる。ただし、実際には式(3)の範囲内で適切な閾値が見つかっていない場合は、0.46 ≦ Sw/ (Sw+Sb) ≦ 0.56の仮設定式で最初に閾値を決定し、かかる閾値をもって脈波の測定を行い、脈拍検知中は、(3)式の条件をみたす限りは、閾値の再設定は行わない。なお、この場合は一旦上記仮設定式で閾値を設定した後、(3)式の範囲になるように再度調整を行い、再度脈拍を検知できなくなった場合、再度上記仮設定式で閾値を定め、脈波の測定を再実行する。
【数2】
【0014】
(演算表示手段)
上記式(3)を満たす場合には、2値化処理可能で脈波の測定が可能であると判断し、
図3(b)の画面を表示して、脈波の測定を開始する。
図3(b)に示す測定中画面においては、計測中の脈波を表示するグラフと、経過時間を示す円グラフと、脈拍とを表示する。
脈波の計測アルゴリズムは次のとおりである。
2値化の処理は上述の通りに行い、そのうちSWの値に着目する。SWは白色画素のピクセル和であり、カメラの取得フレームレート毎に値が更新される。
そこで、任意の時刻tにおける白色画素のピクセル和をSW(t)とし、更に次式(4)において、その変化速度グラフを作成する。実際のプロトタイプアプリケーション内で取得されたグラフを
図4に示す。ただしこのグラフは被験者には示さず、コンピュータ部内で処理されるものである。
【0015】
【数3】
図4の下段に示すチャートにあるように、脈波位置が推定できる。そこで、次にこの脈波位置を特定する。これには様々な手法が考えられるが、単純な閾値設定でも十分正確な脈波位置を特定できることが実験からわかっているため、本実施形態のプログラムでは単純に閾値設定により脈波位置を特定する。なお、本実施形態における閾値は具体的には0.121[px/MS]である。
次に、HRVを求めるために、まず、周波数のスペクトル関数を得る。通常心電図から求められる自律神経活性評価指標である心拍数変動指標(Heart Rate
Variability:HRV)は自律神経の活性を表す指標であり、心拍のRR間隔の揺らぎの大きさを低周波領域と高周波領域に分けて算出した指標である。交感神経と副交感神経の双方の影響を受けるLF(Low Frequency:0.04−0.15Hz)と副交感神経の影響を受けるHF(High Frequency:0.15−0.4Hz)が広く用いられている。両者の比、LF/HFは交感神経活性の指標であるが、ストレスの評価手法としても用いられているためである。
これに際しては、まず、各脈波計測時間を横軸、各脈波間の時間(心拍間隔)を縦軸にとり、グラフを作成する。一回の計測に必要な計測時間は64秒(これはFFTの計算制限によるもの)として、0.25秒ごとにグラフをリサンプル処理し、その後、周波数解析を行う。なお、リサンプル処理には線形補間を用いており、周波数解析はハニング窓関数処理をした後、FFTによって計算することにより行う。これにより取得できたスペクトル関数をF(ω)とする(ただし「ω」は周波数)。
なお、周波数スペクトルを求める方法としては、次のような手法もある。測定された脈波から心拍のピークを求め、その間隔(P-P Interval :心電図のRR間隔に対応)の時系列を求める。次に、高速フーリエ変換(FFT)を用いてHRVを求めるためには、一定時間間隔でサンプリングする必要があるが、P-P Intervalは自律神経活動に伴い揺らいでいるので、P-P Intervalの時系列を、多項式を用いてスムージングし、一定時間間隔でリサンプリングする。そして、一定時間間隔でリサンプリングしたP-P IntervalにFFTを施し、周波数スペクトルを得る手法である。
【0016】
そして、最後に、HF、LFを下記式より算出し、算出結果をメモリに保存しておく。
【数4】
【0017】
(映像音楽手段)
計測が終了した段階で、
図3(c)に示すディスプレイ40に環境映像を表示すると共に環境音楽をイヤホン50から流すように構成されている。
ここで環境映像とは、見ることで気分が落ち着くとされる自然や動物の写真であり、スライドショー形式で2〜5秒ごとに映像が切り替わるように設定しておく。また、環境音楽とは、聞くことで気分が落ち着くとされる音楽や自然界の音の総称である。
この環境映像と環境音楽との表示及び放送は好ましくは3分〜7分間行うが、さらに好ましくは4分〜6分間である。
【0018】
(再演算手段)
そして、映像音楽手段の終了後、再度
図3(a)の画面を表示して被験者に指示をだし、指をカメラにあてがうように促がす。そして、画像取得手段を行って脈波の測定が可能な状態に設定し、次いで
図3(d)に示す画面を表示して演算表示手段を行い、脈波の計測を行い、LF及びHFを得る。
【0019】
(判定手段)
メモリに保存されている演算表示手段により得られたHF;LFをHF1;LF1とし、再演算手段で得られた環境映像を見せ、環境音楽を聞かせた後のHF;LFをHF2;LF2とする。
ここで、本発明者らは、その研究により、HFの減少傾向が有意差とともに示され、健常者であれば環境映像を見せ、環境音楽を聞かせる前のHFよりも、見せ、聞かせた後のHFの方が減少傾向にあることを知見しており、かかる知見に基づいてさらに検討した結果、下記式(7)〜(9)に従って判定すればうつの傾向の有無を簡易的に判定できることを見出している。すなわち、LFについては無視してもいいことを見出している。すなわち、健常者とうつ病患者とに環境映像を見せると同時に環境音楽を聞かせた際にその前後でHFとLFとが如何に変動するかを心電図をとることで計測した結果
図5に示すようにHFについては健常者とうつ病患者との間で差異が生じたが、LFについては差異が生じなかった。この結果を元に、HFについてのみ検討することでうつ傾向を判断することとした。
そこで以下の式(7)〜(9)に従って場合分けして判定するように本手段を構成している。
【数5】
そして、場合分けした結果とHFの値の変化を
図3(e)に示すように結果説明文と判定結果により示し、被験者に現在の精神状態、特にうつ傾向があるか否かについての簡易的な判断結果を示す。
【0020】
<使用方法及び精神状態判定方法>
本実施形態の精神状態判定装置及び精神状態判定プログラムを使用した心身状態としての精神状態の判定は、
被験者の身体の一部に光を当てて該一部の画像を連続的に取得する画像取得工程と、
取得した画像により血流状態を分析して脈波を計測する計測工程と、
該被験者に環境音楽聞かせると共に環境映像を見せてリラックスさせる安定化工程と、
安定化工程終了後、再度被験者の身体の一部に光を当てて該一部の画像を連続的に取得し、取得した画像により血流状態を分析して脈波を計測する再測定工程と、
上記判定工程及び上記再測定工程で得られた結果を基に被験者の精神状態を判定する精神状態判定工程とを行うことにより実施することができる。
以下、各工程について説明する。
【0021】
(画像取得工程)
まず
図3(a)に示すように、指先を携帯電話のカメラに当たるように配置してもらう。そして、カメラ横の光源(白色LEDライト)を点灯させることで、指先が透けた画像を取得する。すると、血液は心拍に合わせて運ばれており、それにより血管中において血液濃度の差が生じ、これをカメラで連続して撮像して、上記演算表示手段により解析することで、心拍間隔を計測することができる。
図3(a)における画面中央のグラフはSW の変位を表示するもので、脈波波形を示すものである。
図3(a)においては、その下の円状グラフは、進行状況を示すものであり、脈拍を計測し続けることでゲージがたまり、任意の時間計測し続けられると
図3(b)に示す演算過程の計測を行う画面の表示を行う。これにより、被験者はキャリブレーション作業を行うことなく手軽に脈波を計測できる。なお、途中で脈波が計測できないことがあると蓄えられたゲージの値は0となり、再度計測しなおすことになる。要するに、一定時間脈波を計測出来たことを確認できた場合、安定して脈波の計測が行えるとプログラムが判断して、演算表示手段を実施するための
図3(b)に示す画面を表示する。
【0022】
(判定工程)
そして、
図3(b)に示す画面において実際に被験者の心拍を64秒間計測し、上述の演算表示手段を用いてHF、LFを算出する。
図3(a)に示す画面と同様に画面内にはSwを示す脈波波形と円形ゲージからなる進行状況を示すグラフが表示されており、ゲージが貯まると計測終了となる。ただし、画像取得工程と同様に心拍を計測できなことが一度でも起きた場合はゲージが0へと戻り再計測となる。
(安定化工程)
計測終了となると
図3(c)に示す画面に移行し、被験者に映像を見せると共に音楽も聞かせてリラックスさせる。この映像提示時間はおおよそ5分間であり、この間はユーザの脈波も計測しない。
(再測定工程)
安定化工程の終了後、被験者は再度計測するよう促される。この際の手順は画像取得工程及び判定工程と同じである。
(精神状態判定工程)
再測定工程終了後、判定工程で得られたHF、LF値と再測定工程で得られたHF、LF値とを用いて上述の判定手段の手法を用いて被験者のうつ傾向度合いを、
図3(e)に示す画面において3段階で表示する。
【0023】
以上本発明の心身状態判定装置及び心身状態判定プログラムについて説明したが本発明はこれらに制限されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更可能である。
例えば、上述の実施形態では精神状態を判定する装置及びプログラムについて説明したが、これに制限されず、A 糖尿病の簡易スクリーニング(患者ではHRVのLFが低下するので、その低下を検知すれば判定可能である)、B 心筋梗塞後の患者の生存率判定(LF/HF<0.7の場合には5年生存率が低下する傾向があるのでその点を利用すれば判定可能である)、C 敗血症患者が治るか多臓器不全に移行するかの予測(敗血症患者においてHRVが低下する場合には多臓器不全に移行する傾向があることを利用すれば判定可能である)、など種々の身体状態を判定する装置及びプログラムとして利用できる。