(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024129145
(43)【公開日】2024-09-26
(54)【発明の名称】脳活動推定装置
(51)【国際特許分類】
A61B 5/16 20060101AFI20240918BHJP
A61B 5/02 20060101ALI20240918BHJP
【FI】
A61B5/16 100
A61B5/02 310Z
【審査請求】有
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2024109377
(22)【出願日】2024-07-08
(62)【分割の表示】P 2023565472の分割
【原出願日】2022-08-10
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(71)【出願人】
【識別番号】514116671
【氏名又は名称】株式会社カレアコーポレーション
(74)【代理人】
【識別番号】110001461
【氏名又は名称】弁理士法人きさ特許商標事務所
(72)【発明者】
【氏名】森岡 怜司
(72)【発明者】
【氏名】吉田 一雄
(57)【要約】
【課題】脳活動の度合いを高精度に推定することが可能な脳活動推定装置を提供する。
【解決手段】脳活動推定装置は、人体の脈波を非接触で検出するドップラーセンサーと、ドップラーセンサーから出力された脈波の信号を解析する解析部と、を備え、解析部は、脈波の信号の高さが小さい時に、入力信号増幅率を調整して、脈波の信号の高さを大きくし、その脈波の信号からリアプノフ指数を計算し、リアプノフ指数に基づいて作業や行動における人体の脳活動の度合いを推定するものである。
【選択図】
図1
【特許請求の範囲】
【請求項1】
人体の脈波を非接触で検出するドップラーセンサーと、
前記ドップラーセンサーから出力された前記脈波の信号を解析する解析部と、を備え、
前記解析部は、
前記脈波の信号の高さが小さい時に、入力信号増幅率を調整して、前記脈波の信号の高さを大きくし、その前記脈波の信号からリアプノフ指数を計算し、前記リアプノフ指数に基づいて作業や行動における前記人体の脳活動の度合いを推定するものである、脳活動推定装置。
【請求項2】
前記解析部は、
前記脈波の信号の高さの偏差を算出し、前記偏差が予め設定された閾値より小さい時に、前記入力信号増幅率を大きくする、請求項1に記載の脳活動推定装置。
【請求項3】
前記解析部は、
前記脈波の信号の高さの偏差を算出し、前記偏差が予め設定された第1閾値より大きい時は、前記入力信号増幅率を1倍とし、前記偏差が前記第1閾値よりも小さい時は、前記入力信号増幅率を前記1倍よりも大きくする、請求項1に記載の脳活動推定装置。
【請求項4】
前記解析部は、
前記脈波の信号の高さの偏差を算出し、前記ドップラーセンサーから前記人体までの距離が遠くなって前記偏差が小さくなるほど、前記入力信号増幅率を大きくする、請求項1に記載の脳活動推定装置。
【請求項5】
前記解析部は
前記脈波の信号の高さの時系列データと予め設定した遅延時間とから特定されるベクトルを計算する第1ステップと、
前記ベクトルを3次元以上の状態空間内に時系列順に配列したアトラクターを生成する第2ステップと、
前記アトラクターの軌道に基づいて前記リアプノフ指数を計算する第3ステップと、
を順次実施する、請求項1に記載の脳活動推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人体の脳活動を推定する脳活動推定装置に関するものである。
【背景技術】
【0002】
従来、撮像手段で取得した動画像または連続して得た静止画像から、目の瞬き回数、手または体の動き量、瞳孔の開閉度などを判別し、判別結果に基づいてユーザの集中度の度合いを推定する集中度推定装置がある(例えば、特許文献1参照)。この集中度推定装置は、集中度合いが上昇している場合、手の動きが多くなる体の動き量が少なくなる、瞬き回数が少なくなる、瞳孔が開き気味となる等といった動作および状態となることを前提として集中度合いを推定している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の集中度推定装置は、瞬き回数が少なくなった場合、集中度合いが上昇しているなど、予め想定した前提に基づいて集中度合いを推定している。しかし、瞬き回数が少なくなったからといって集中度が上昇しているとは限らず、特許文献1の集中度推定装置は、推定精度の向上に改善の余地があった。
【0005】
また、集中度合いは、脳活動の度合いにも関連していると考えられるが、特許文献1では脳活動の度合いを評価することについては検討されていない。脳活動の度合いは、人の感情にも関わる指標であるため、脳活動の度合いが推定できると、人の感情の推定にも展開でき、脳活動の度合いを推定することは、今後の展開も踏まえると重要である。
【0006】
上記のような問題点を解決するためのものであり、脳活動の度合いを高精度に推定することが可能な脳活動推定装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示に係る脳活動推定装置は、人体の脈波を非接触で検出するドップラーセンサーと、ドップラーセンサーから出力された脈波の信号を解析する解析部と、を備え、解析部は、脈波の信号の高さが小さい時に、入力信号増幅率を調整して、脈波の信号の高さを大きくし、その脈波の信号からリアプノフ指数を計算し、リアプノフ指数に基づいて作業や行動における人体の脳活動の度合いを推定するものである。
【発明の効果】
【0008】
本開示によれば、脳活動推定装置は、ドップラーセンサーで非接触に検出した脈波の信号の高さが小さい時に入力信号増幅率を調整して脈波の信号の高さを大きくするので、脈波の形状が明確になり、解析部は精度の高い解析を行える。ここで、脈波は心臓の脈動ひいては脳の神経系の活動に関連しているバイタルデータであり、脳活動推定装置は、このような脈波に基づいて数値化したリアプノフ指数に基づいて脳活動を推定するため、脳活動の度合いを高精度に推定できる。
【図面の簡単な説明】
【0009】
【
図1】実施の形態1に係る脳活動推定装置の構成および脳活動推定装置の利用構成を示すブロック図である。
【
図2】実施の形態1に係るドップラーセンサーのアンテナ面の模式図である。
【
図3】実施の形態1に係るドップラーセンサーの基板部品実装面の模式図である。
【
図4】実施の形態1に係るドップラーセンサーで検出された脈波の例を示す図である。
【
図5】実施の形態1に係る脳活動推定装置の脈波形状変位の時系列データを示す図である。
【
図6】実施の形態1に係る脳活動推定装置のカオス解析におけるアトラクターの概念図である。
【
図7】実施の形態1に係る脳活動推定装置におけるリアプノフ指数化の概念図である。
【
図8】リアプノフ指数と、中枢神経系の脳活動が異なる様々な行動と、の関係性を棒グラフで示す図である。
【
図9】人体が脳活動の異なる行動を順次行った場合のリアプノフ指数の変化例を示す図である。
【
図10】実施の形態1に係る脳活動推定装置における脳活動の推定処理のフローチャートである。
【
図11】実施の形態2に係る脳活動推定装置の構成および脳活動推定装置の利用構成を示すブロック図である。
【
図12】ラッセルの感情円環モデルを示す図である。
【
図13】実施の形態2に係る脳活動推定装置の感情モデルの一例を示す図である。
【
図14】実施の形態3に係る空調装置の構成を示す図である。
【
図15】実施の形態3に係る空調装置のブロック図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本開示の実施の形態について説明する。なお、各図中、同一または相当する部分には、同一符号を付して、その説明を適宜省略または簡略化する。
【0011】
図1は、実施の形態1に係る脳活動推定装置1の構成および脳活動推定装置1の利用構成を示すブロック図である。
図2は、実施の形態1に係るドップラーセンサー10のアンテナ面の模式図である。
図3は、実施の形態1に係るドップラーセンサー10の基板部品実装面の模式図である。脳活動推定装置1は、人体の脳活動の度合いを推定する装置である。脳活動推定装置1は、人体の脳活動の度合いを数値化することで、脳活動の度合いを客観化できる。
【0012】
脳活動推定装置1は、ドップラーセンサー10と解析部103とを有する。ドップラーセンサー10は、マイクロ波帯または準ミリ波帯と呼ばれるおよそ24GHzの一定正弦波の電波を、脳活動の推定対象の人体に向けて発振する。人体は、心臓の脈動に伴って血流が変化しており、人体の体表面とドップラーセンサー10との距離が変化すると、ドップラー効果によって人体の体表面で反射した反射波が変化する。
【0013】
ドップラーセンサー10は、血管の動きに応じた人体からの反射波を受信し、反射波とドップラーセンサー10から発振された送信波との周波数差に基づいて人体の中枢神経系の脈波を検出する。脈波とは、心臓の脈動による人の体表面の動きの変化を示す波形であり、血管の動きの変化の波形および心臓部分の体表面の変化の波形を含む。血管は人体の至る部分に通っており、ドップラーセンサー10は、心臓でなくても頭の一部または腕の一部など人体の一部を対象として血管の動きを検出できる。
【0014】
ところで、距離測定用途では、60GHz~79GHzの測定周波数が分解能の高さから用いられることが多い。しかし、ここでは動きの大きい体動などとは異なり脈波の検出を目的としており、約1Hzという超低周波特性の微小なゆらぎを解析する必要がある。このため、24GHzのドップラー方式によるアナログ検出は脈波の検出に好適である。
【0015】
ドップラーセンサー10は、上記の様に電波を用いることで、人体の脈波を非接触で検出できるメリットを有する。よって、ドップラーセンサー10は、人体の広い範囲を測定対象とできる。なお、ドップラーセンサー10は、脈波のピーク間隔を解析することで、脈拍数、呼吸数、体動、睡眠状態および自律神経バランスといったバイタルデータを測定できるものであるが、実施の形態1では脈波の検出に用いられる。
【0016】
なお、ここでは、人体の脈波を検出するセンサーがドップラーセンサー10であるとしたが、ドップラーセンサー10に限られたものではない。人体の脈波を検出するセンサーは、24GHz~79GHzのFMCW方式センサーを用いても良い。FMCW方式センサーは、対象までの距離変化を検出して速度変換することで脈波の測定を行える。
【0017】
また、人体の脈波を検出するセンサーは、非接触型のセンサーに限らず、人体に接触して検出を行う接触型センサーでもよい。非接触型のセンサーは、接触型センサーに比べて脈波を高精度に測定できる可能性がある。接触型として脈拍を測定する機器は多数あるが、ウエアラブル機器には光電方式の脈波センサーがよく使われる。脈波センサーは、心臓が血液を送り出すことに伴い発生する、血管の容積変化を波形としてとらえるもので、この容積変化をモニタする検知器を備えている。脈波センサーは、得られた脈波のピークとピークとの間隔を数えることで、脈拍間隔を得ることができる。1分間あたりの脈拍数は、脈拍間隔を逆数にすることで算出できる。例えば、脈拍間隔が平均で800ms(0.8秒)であると、脈拍数は、60÷0.8で1分間に75回となる。
【0018】
脈波センサーには、測定方法の違いから透過型と反射型とがある。透過型の脈波センサーは、体表面から赤外線または赤色光を照射し、心臓の脈動に伴って変化する血流量の変化を、体内を透過する光の変化量として計測することで脈波を測定できる。ただし、透過型の脈波センサーでは、測定できる個所が、指先または耳たぶなど赤外線または赤色光が透過しやすい個所に限定されてしまう。
【0019】
一方で、反射型の脈波センサーは、赤外線、赤色光、または550ナノメートル付近の緑色波長の光を生体に向けて照射し、フォトダイオードまたはフォトトランジスタを用いて、生体内を反射した光を計測する。動脈の血液内には酸化ヘモグロビンが存在し、入射光を吸収する特性がある。このため、反射型の脈波センサーは、心臓の脈動に伴って変化する血流量(血管の圧力変化)を時系列にセンシングすることで脈波信号を計測できる。反射型の脈波センサーは、反射光を計測するので、透過型のような、測定個所を限定する必要がなくなる利点がある。スポーツウオッチなど屋外使用する用途での脈波計測では、血液中のヘモグロビンの吸収率が高く、外乱光の影響の少ない緑色の光源が適していることから、照射光には緑色LEDを使用することが多い。
【0020】
ただし、接触型の計測器では、装着して測定する必要があり、装着が煩わしい、離れたところから測定ができないなどの課題はあり、機器に組み込む場合は、非接触型のセンサーが適している。なお、以下では、人体の脈波を検出するセンサーがドップラーセンサー10であるものとして説明を行う。
【0021】
ドップラーセンサー10は、具体的には、アンテナ部100と、無線部101と、アナログ回路部102と、基板部10aと、を有する。アンテナ部100は、中枢神経活動である人体の脈波を取得する部分である。アンテナ部100は、発振部であるTXと、受信部であるRXと、を有する。アンテナ部100は、
図2に示すように複数(ここでは12個)のアンテナ100aを有する。TXおよびRXは、それぞれここでは6個のアンテナ100aを有している。
【0022】
無線部101は、RF(Radio Frequency)と呼ばれる24GHzの電波を作り出し、TXから電波を発振して、RXで反射波を受信する。アナログ回路部102は、反射波のドップラー変化である周波数成分を変換する回路部を有する。また、アナログ回路部102は、
図3に示すように必要な周波数帯を取り出して増幅するアナログ増幅フィルター部(OPAMP)と、数値解析を可能にするためのアナログデジタル変換部(LDO)と、を有する。
【0023】
基板部10aは、解析部103または脳活動推定装置1を備えた機器に情報を出力するためのコネクタ部およびメモリーなどを備えている。無線部101、アナログ回路部102および解析部103は、
図3に示すように金属製のシールドケースで覆われている。
図3において、シールドケース部分をドットで示している。
【0024】
解析部103は、ドップラーセンサー10で検出された脈波を解析する部分である。解析部103は、脈波の波形形状(以下、脈波形状という)の時系列変位である脈波形状変位を解析元にしたカオス解析に基づいて脈波を数値化した指標値を生成し、指標値に基づいて人体の脳活動の度合いを推定する。解析部103における脳活動の推定については改めて説明する。解析部103は、脳活動の推定結果を示す脳活動情報を出力する。脳活動情報とは、脳活動の度合いを示す情報である。解析部103から出力された脳活動情報は、後述の制御内容決定部104またはクラウド部106などに入力される。
【0025】
解析部103は、マイクロプロセッサユニットにより構成されている。解析部103は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などを備えており、ROMには制御プログラム等が記憶されている。なお、解析部103は、マイクロプロセッサユニットに限定するものではない。例えば、解析部103は、ファームウェア等の更新可能なもので構成されていてもよい。また、解析部103は、プログラムモジュールであって、図示しないCPU等からの指令により、実行されるものでもよい。また、解析部103は、ドップラーセンサー10の外部にドップラーセンサー10とは別体として備えても良いし、ドップラーセンサー10内の基板上に備えて1つのセンサー内でエッジ処理しても良い。
【0026】
解析部103で推定された脳活動の度合いは、脳活動推定装置1を備えた機器の制御に用いることができる。脳活動推定装置1を備えた機器とは、具体的には例えば空調装置などがあるが、その詳細については後述の実施の形態3で改めて説明する。脳活動推定装置1を備えた機器は、制御内容決定部104と、機器制御部105と、を有する。制御内容決定部104は、解析部103で得られた脳活動情報に基づいて機器の制御内容を決定し、制御データを生成して機器制御部105に出力する。機器制御部105は、制御内容決定部104からの制御データに基づいて機器の各種アクチュエータを制御する。
【0027】
また、脳活動推定装置1の利用形態として、解析部103から出力された脳活動情報はクラウド部106に入力されてもよい。クラウド部106は、解析部103から入力された脳活動情報を蓄積する。解析部103は更に、ドップラーセンサー10で得られた脈波データであるバイタルデータ自体を出力してクラウド部106に蓄積させてもよい。クラウド部106に蓄積された脳活動情報およびバイタルデータは、表示部107に表示することで視覚化できる。また、クラウド部106に蓄積された脳活動情報およびバイタルデータは、視覚化することに限られず、クラウド部106を介して別のクラウドからデータ収集部108に提供して、様々な用途に活用することもできる。
【0028】
表示部107は、表示を行う液晶パネルなどのディスプレイである。表示部107は、スマートフォンの表示部でもよく、スマートフォンにインストールされたアプリケーション上に脳活動情報を表示して視覚化するものでもよい。
【0029】
ところで、従来の撮像手段で取得した画像から人の集中度合いを推定する方式では、瞬き回数が少なくなると、集中度合いが上昇しているなど、予め想定した前提に基づいて集中度合いを推定している。しかし、瞬き回数が少なくなったからといって集中度が上昇しているとは限らず、この方式では、推定精度の向上に改善の余地がある。また、従来、脳波計を用いて人の感情を推定する装置があるが、脳波のα波およびβ波の定量化が簡単ではない。また、脳波計を用いた推定装置は、推定処理にあたってある一定期間の測定データが必要であるためリアルタイムに推定を行えない、脳波計を頭に装着する必要がある、システムが複雑化する、といった実用性および分析時間の課題があった。
【0030】
これに対し、本実施の形態1の脳活動推定装置1は、ドップラーセンサー10を用いて非接触で検出した脈波から、以下に説明するカオス解析によって中枢神経系の脳活動の度合いを短時間で推定できる。
【0031】
ここで、カオス解析の詳細について説明する。生理心理学は、生体信号に現れる生理的変化から、人の生理状態および心理状態の推定を行うものである。従来の生理心理学において、種々の生体信号である脳波、心電図、心拍間隔、血圧および呼吸指尖容積脈波などが様々な手法を用いて解析され、多くの知見が得られてきた。しかし、多くの解析の大半は、線形理論に基づく解析手法が主流であった。しかしながら、生体信号には非線形的性質が含まれており、これらはカオス(chaos)と呼ばれる非線形的性質により変動することが知られている。カオスとは、システムの状態遷移規則が決定論的であるにも関わらず、システム自体の非線形性によって確率系と等価な複雑さを生み出す現象のことを指す。対象の状態は、方程式などによって決定論的に記述されうるが、対象の状態の様相には法則性が見い出せず、様相はランダムネスのような非常に複雑な挙動を表す。
【0032】
しかし、カオス現象は、一見無秩序に見えるものの、実際にその背景に確固たる規則が存在する現象である。言い換えると、次に起こる現象が確率で決まるのではなく、ある一定のルールに従って決定論的に決まるのである。規則に従っているのに対象が無秩序に見えるのは、その対象を構成する要素の一つ一つの動きが、単純であっても、集合体として振る舞うと複雑になるからである。その複雑系から産出される生体信号には、カオス情報が存在する可能性が高いと判断されてきた。
【0033】
近年、人の生理心理状態を推定するカオス解析(chaos analysis)の有効性が様々な実験により証明されている。従来のカオス解析では、人が感じる温冷感または心理状態など、一義的に決まらない情報をカオス対象として、カオス解析することで、一見関連性がなさそうな情報から関連性を見出している。カオス解析では、何をカオス対象とするかが重要である。対象とするものが変わると、それは全くの別の概念となる。
【0034】
脳活動推定装置1は、中枢神経系の脳活動をカオス対象としている。従来、中枢神経系の脳活動をカオス対象としたものはない。脳活動推定装置1は、波形自体の動き方に着目した脈波形状ゆらぎを解析元にしてカオス解析する。脈波形状ゆらぎは、脈波の波形形状の変位の時系列データ、言い換えれば、脈波の波形形状の時系列変位データで表現される。脳活動推定装置1は、脈波の波形形状の時系列変位である脈波形状変位を解析元にしたカオス解析に基づいて脈波を数値化した指標値を生成し、指標値に基づいて人体の脳活動の度合いを推定する。
【0035】
カオス解析は、以下の(1)~(3)の3つのステップを順次実施するものである。なお、各ステップの詳細については改めて説明する。
(1)第1ステップは、脈波形状変位の時系列データと予め設定した遅延時間とから特定されるベクトルを計算するステップである。
(2)第2ステップは、ベクトルを3次元状態空間内に時系列順に配列したアトラクターを生成するステップである。
(3)第3ステップは、アトラクターの軌道に基づいて指標値であるリアプノフ指数を計算するステップである。
【0036】
ところで、心臓の脈動間隔は1拍ごとに変動があるが、その起源は脳にあり自律神経を通じて心臓に伝達されている。そこで、本発明者らは、脳活動の度合いを推定するにあたり、自律神経系に限らず中枢神経系にも心臓の脈動との関連があると考え、心臓の脈動と脳活動との相関性を見出すことで、中枢神経系の脳活動の度合いを推定することに着想した。
【0037】
また、従来、脈拍の変化を利用して脳の覚醒度合いを推定する技術がある。例えば、脈拍の変化が大きければ覚醒度合いが高い状態にあり、脈拍の変化が小さければ覚醒度合いが低く眠気が働いている状態にある、と判断する技術である。脈拍の変化は、脈波のピークとピークとの間隔の時間変動であり、脈波のピーク情報のみをピンポイントで使用して検出される。以下、脈波のピークとピークとの間隔の時間変動を1次元パターン脈拍変位または脈拍ゆらぎと呼ぶことがある。脈波のピークとピークとの間隔の時間変動には脈波の高さは関係なく、脈拍間隔の変位のみから周波数変換してバイタルデータを得るので、1次元と表現している。
【0038】
上記従来の覚醒度合いを図る技術は、脈拍の変化を用いた技術であるが、本発明者らは、脈拍の変化だけでは生体の複雑な神経活動情報を判断しきれないと考えた。そして、本発明者らは、脈波のピーク情報のみのピンポイント検出とは違う方法を模索し、脈波波形の変位に着目するに至った。ただし、ピーク間隔ゆらぎと、脈波自体の波形から波形への2次元の波形パターンのゆらぎと、のそれぞれの複雑さを比較すると、2次元の波形パターンのゆらぎ(つまり脈波形状のゆらぎ)の複雑さは、1次元の脈拍間隔のゆらぎに対して比較にならないほど複雑である。これは、脈波形状ゆらぎが、6層の大脳皮質からなる神経細胞活動に関連しているからと考えられる。このため、本発明者らは、従来の解析手法ではなく、脳活動を解析するための手法としてカオスを用いることとした。
【0039】
次に、脳活動推定装置1の解析部103で行われるカオス解析について説明する。まず、解析部103は、ドップラーセンサー10から脈波を得る。次の
図4は、ドップラーセンサー10で検出された脈波の例を示している。
【0040】
図4は、実施の形態1に係るドップラーセンサー10で検出された脈波の例を示す図である。
図4の横軸は時間、縦軸はアナログ脈波高さを示している。ここで脈波高さとは、パワーである。脈波高さは、最も脈波のパワーが高いピーク部分のみのパワーを指し示す言葉ではなく、脈波のピーク部分を含む時系列における時間ごとのパワーのことである。ドップラーセンサー10は
図4に示すアナログ波形を得て解析部103に出力する。脈波高さは、ドップラーセンサー10と測定対象の人体との距離が離れるにつれて減少する。しかし、本実施の形態1のカオス解析では、脈波高さの変位を解析するため、脈波の数値化においては脈波高さの絶対値は必要な情報ではない。ただし、脈波高さが大きい方が、脈波形状が明確になり、後述のアトラクター化の精度は高まる。このため、ドップラーセンサー10から人体までの距離は近いほうが好ましい。
【0041】
解析部103は、脈波形状の時系列データの解析にあたり、精度確保に必要な脈波高さを得たい場合には、次のようにすればよい。解析部103は、脈波高さの偏差を算出し、偏差が予め設定された閾値より小さい場合、入力信号増幅率を自動的に調整し、アナログ脈波波形を疑似的に大きくする。こうすることで、脈波の形状が明確になり、解析部103は、ドップラーセンサー10から人体迄の距離が遠くても精度の高い解析を行える。
【0042】
例えば、ドップラーセンサー10から人体迄の距離が近い場合は、入力信号倍率は1倍でよい。一方、ドップラーセンサー10から人体迄の距離が遠くなるに連れて脈波自体が小さくなり、脈波形状の変位が見にくくなって偏差も小さくなる。このため、解析部103は、偏差の小ささに応じて倍率を決めればよい。具体的には例えば、解析部103は、偏差が第1閾値よりも小さい場合は、入力信号倍率を2倍に設定し、偏差が第1閾値よりも小さい第2閾値よりも小さい場合は、入力信号倍率を3倍に設定するなどとすればよい。つまり、解析部103は、ドップラーセンサー10から人体迄の距離が遠いほど、入力信号増幅率を自動的で大きくして、アナログ波形を大きくする。これにより、解析部103は、ドップラーセンサー10から人体迄の距離が遠くても、脈波形状ゆらぎ(脈波形状の時系列変位データ)の解析が可能になる。
【0043】
また、ドップラーセンサー10から人体迄の距離が同じでも、幼児など人体の面積および血管に送る血流のパワーが小さい場合、脈波レベルが小さいので解析がしにくくなる。このため、解析部103は、人体の面積が小さいほど、また、脈波高さの偏差が小さいほど、入力信号増幅率を自動的で大きくして、アナログ波形を大きくする。これにより、解析部103は、脈波レベルが小さい場合に解析しにくい問題を解決できる。
【0044】
次に、解析部103は、脈波形状から後述のアトラクターを生成する。脈波形状とは、脈波の2次元波形パターンである。脈波の波形から波形への脈波形状の時系列データは、規則を見出すのは困難なデータであるものの、脈波形状の時系列データをアトラクターに変換すると、一定のパターンが存在している。アトラクターとは、ある力学系がそこに向かって時間発展をする集合のことである。ある力学系においてアトラクターに十分近い点から運動するとき、その系は、そのアトラクターに十分近いままであり続ける。アトラクターに含まれる軌道は、そのアトラクターの内部にとどまり続けること以外に制限はない。
【0045】
次に、カオス解析の第1ステップから第3ステップを順に説明する。本実施の形態1は、中枢神経系の脳活動をカオス対象とし、カオス解析の解析元に、脈波の波形形状の時系列変位である脈波形状変位を用いたことを特徴としており、カオス解析の手法自体は従来公知の手法を用いる。このため、以下のカオス解析の説明では、概要を説明する。
【0046】
(第1ステップ)
第1ステップは、上述したように脈波形状変位の時系列データと予め設定した遅延時間とから特定されるベクトルを計算するステップである。
【0047】
図5は、実施の形態1に係る脳活動推定装置1の脈波形状変位の時系列データを示す図である。
図5の横軸は時間、縦軸はアナログ脈波高さを示している。x(i)(i=1、2、…、n)は、ドップラーセンサー10にて得られたセンサデータに基づく脈波形状の時系列データである。x(i)のときの脈波高さとx(i+1)のときの脈波高さとの差が脈波形状変位である。なお、x(0)は、計算窓長の時間で得られたセンサデータの初期値である。計算窓長とは、任意に設定した時間長さであり、例えば20秒などである。計算窓長が短い方が計算は早くできるが、計算窓長が長い方が脈波形状の形状データが多く、精度が高い。
【0048】
この時系列データを用いて、2次元の時系列変化をd次元状態空間に埋め込むために、言い換えればd次元状態空間の中に軌跡を描くために、解析部103は、適当な遅延時間となる時間遅れτを設定してベクトルをつくる。具体的には、解析部103は、ベクトルX(i)={x(i)、x(i+τ)、x(i+2τ)、…、x(i+(d-1)τ)}をつくる。例えば、dを3とし、2次元の時系列変化を3次元状態空間に埋め込むとすると、解析部103は、状態変数の個数が3個であるベクトルをつくる。3次元状態空間の場合のベクトルX(i)は、X(i)={x(i)、x(i+τ)、x(i+2τ)}である。i=1、2、…、nであるため、ベクトルXはn個作られる。ここで、τは埋め込み遅延時間と呼ばれるパラメータである。
【0049】
(第2ステップ)
第2ステップは、ベクトルを3次元状態空間内に時系列順に配列したアトラクターを生成するステップである。
【0050】
図6は、実施の形態1に係る脳活動推定装置1のカオス解析におけるアトラクターの概念図である。このベクトルX(i)を、座標軸x(i)、x(i+τ)、x(i+2τ)、…、x(i+(d-1)τ)に順次プロットしていくと、軌道が得られる。
図6は、3次元状態空間であり、座標軸はx(i)と、x(i+τ)と、x(i+2τ)と、の3つである。例えば、d=3、遅延時間を0.05秒などとして、第1ステップで得たベクトルを3次元状態空間内に時系列順にプロット(配列)していくと、
図6のような軌跡が得られる。この軌跡がアトラクターの軌道である。アトラクターの軌道の形状を見ると、渦状の軌跡が得られているので、2次元パターン脈波形状のゆらぎ方の中にカオス情報が存在することが実証されている。
【0051】
(第3ステップ)
第3ステップは、アトラクターの軌道に基づいて指標値であるリアプノフ指数を計算するステップである。リアプノフ指数は、アトラクターの軌道の不安定性または発散性を評価して求められる。
【0052】
図7は、実施の形態1に係る脳活動推定装置1におけるリアプノフ指数化の概念図である。最終的に脳活動の度合いを推定するためには、脈波形状の時系列変位を数値化する必要がある。この数値化した指標値には、リアプノフ指数が用いられる。3次元状態空間のアトラクターには軌道の不安定性がある。不安定性は発散性とも言い換えることができる。この軌道不安定性を定量化したのがリアプノフ指数である。リアプノフ指数とは、近接した2点から出発した二つの軌道が、どのくらい離れていくかを表す尺度である。言い換えれば、リアプノフ指数とは、力学系においてごく接近した軌道が離れていく度合いを表す値である。ここで、リアプノフ指数が大きいほど、アトラクターの変動幅は大きくなり、ゆらぎの幅が大きい。
【0053】
図7に示すように、3次元のカオス力学系に初期値として半径εの微少球(超球)を与えたとする。そうすると、最初は球であったものが、任意に設定するスライド時間Sを経て、1回写像されることによって、e1方向には引き延ばされ、e2方向にはほぼ変わらず、e3方向には押し潰される結果、球が楕円体となる。ここで、e1、e2、e3方向に対する単位時間当たりの拡大率の対数がλ1、λ2、λ3であるとすると、このλ1、λ2、λ3がリアプノフ指数である。
【0054】
これらのリアプノフ指数の組はリアプノフスペクトラムと呼ばれる。スライド時間Sごとに、この球を引き延ばす作業をくり返して、拡大率が計算される。それらの総和を取って平均化することにより全体のリアプノフスペクトラムが算出される。計算されたリアプノフ指数の中で最大のリアプノフ指数が最大リアプノフ指数と呼ばれる。その系の初期値から軌道が離れていく度合いは、最大リアプノフ指数をみることでわかる。つまり、リアプノフ指数は、初期の状態に対して、n番目の状態がどの程度離れているかを示しており、脳活動で言えば、初期状態から離れているほど人の脳が活発に動いていて、初期状態と変わらないほど脳は動いていないことがわかる。もちろん、精度は下がるが、スライド時間Sごとに複数回計算するのでなく、スライド時間を1区間分として、2つの状態を比較してリアプノフ指数を計算しても良い。
【0055】
リアプノフ指数は、具体的には以下のようにして計算される。例えば、球の半径が0.08、計算窓長が20秒、スライド時間が1秒、測定周波数が200Hzとする。測定周波数が200Hzであるため、1秒間に得られるデータ数は200個であり、計算開始から計算窓長の時間で得られるデータは4000個である。リアプノフ指数は、状態空間の次元数が3次元である場合、測定開始から20秒で4000個のデータを用いて3次元分のλ1、λ2、λ3からなるリアプノフスペクトラムが得られる。そして、次の1秒間で同様にλ1、λ2、λ3からなるリアプノフスペクトラムが得られる。
【0056】
出力窓長が60秒に設定された場合には、60秒間、上記作業が繰り返される。つまり、最初の20秒で1つ目のリアプノフスペクトラムが得られ、その後の40秒間にスライド時間の1秒毎にリアプノフスペクトラムが得られ、計40個のリアプノフスペクトラムが得られる。そして、40個のリアプノフスペクトラムをλ1、λ2、λ3毎に総和を取って平均化して、平均化したλ1、λ2、λ3を決定する。これらのうち最大のリアプノフ指数が最大リアプノフ指数であり、この最大リアプノフ指数が出力総長で得られる1つのデータである。つまり、最大リアプノフ指数が、その系の初期値からの離れていく度合として採用される。
【0057】
ここで、バイタルデータである脈波データの測定数について検討する。例えば、測定周波数が200Hz、出力窓長が60秒に設定された場合、60秒間で12000個のデータが得られる。解析部103は、12000個のデータを用いてアトラクターの軌道をつくり、リアプノフ指数を算出する。なお、出力窓長とは、上述したように1データを出力するために必要な時間であり、1つのリアプノフ指数を算出するために必要な時間である。また、例えば測定周波数が500Hz、出力窓長が60秒に設定された場合には、60秒間で30000個のデータが得られる。この場合、解析部103は、30000個のデータを用いてアトラクターの軌道をつくり、リアプノフ指数を計算する。
【0058】
データ数が多いほど正確性は高まるメリットがある。しかし、データ数が多い場合、測定時間が長くなる、脳活動の度合いの変化に追従できない、CPUの処理時間が長くなったり計算できなくなったりする、といったデメリットがある。逆にデータ数が少ないほど精度は下がる。しかし、データ数が少ない場合、測定時間が短い、CPUの処理時間が短い、追従性が良いといったメリットがある。
【0059】
従って、測定周波数は100Hzから1000Hz程度が好ましい。また、出力窓長は、30秒以上5分以下が好ましい。中枢神経系の反応時間は早いので、出力窓長は、自律神経系の測定を行う場合よりも短い時間がよく、30秒以上60秒以下が好ましい。更に、解析部103は、精度を高めるために次のようにしてもよい。解析部103は、出力された1データを、設定時間毎に集めて平均化してもよい。例えば出力窓長が30秒、設定時間が5秒であるとすると、解析部103は、5秒毎のタイミングでそのタイミング前の30秒間のバイタルデータに基づき出力された1データを集める。解析部103は、30データ分、集まったところで、その30データを平均化し、1つのデータを得てもよい。この場合、解析部103は、数値化に3分をかけた精度の高い1つのデータ(リアプノフ指数)を得ることができる。
【0060】
次に、本発明者らが見い出した、リアプノフ指数と、中枢神経系の脳活動が異なる様々な行動と、に相関がある点について
図8および
図9を用いて説明する。次の
図8および
図9は、人体に、脳活動が異なる様々な行動をさせ、その行動を行っている人体から取得した脈波に基づいてリアプノフ指数を計算した実験結果に基づいて作成された図である。
【0061】
図8は、リアプノフ指数と、中枢神経系の脳活動が異なる様々な行動と、の関係性を棒グラフで示す図である。縦軸の数値は、安静の場合を1として規格化した値である。つまり、安静以外の他の行動の場合の縦軸の数値は、その行動のときのリアプノフ指数を、安静の場合のリアプノフ指数で除算した値である。横軸は、脳活動の度合いが異なる人間の行動を示している。横軸の行動には、次の4つの行動を採用した。4つの行動は、安静にする、記事を読む、メールを打つ、資料をタイピングで書き写す、である。記事を読むとは、例えば資料をパソコンまたはスマートフォンで読む行動を指す。また、資料をタイピングで書き写すとは、資料に記載の文字をタイピング作業でパソコンに入力する行動を指す。
【0062】
図8より、安静にする、記事を読むといった軽作業に比べて、メールを打つ、資料をタイピングで書き写すなど、主観申告でも脳活動の度合いが高いとされる重作業の方が、縦軸の数値が大きいことが確認できた。つまり、脳活動の度合いが高い方が、高いリアプノフ指数が得られることが確認できた。よって、中枢神経系の脳活動の度合いとリアプノフ指数とには関係性があることが確認できた。
【0063】
また、安静時は集中度が低い状態であり、計算タイピング時は集中度が高い状態である。これは主観評価結果とも相関していることを確認している。よって、行動とリアプノフ指数と集中度とは相関がありリアプノフ指数は、集中度というメンタル指標としても扱うことが可能である。具体的には、リアプノフ指数が大きい場合、集中度が高い、リアプノフ指数が小さい場合、集中度が低いと評価できる。よって、
図8の縦軸は、集中度の指標としてみることもできる。つまり、縦軸の数値が大きい方が、集中度が高く、縦軸の数値が小さい方が、集中度が低いといった具合である。よって、縦軸の数値は、例えば集中度合いを示す集中指数として捉えてもよい。
【0064】
図9は、人体が脳活動の異なる行動を順次行った場合のリアプノフ指数の変化例を示す図である。縦軸は行動の経過時間(分)、横軸はその行動のときのリアプノフ指数を示している。
図9は、作業前の安静状態から計算タイピング作業状態を経て、計算タイピング作業停止へと行動を変化させた時のリアプノフ指数の変化を示している。安静状態のときに小さかったリアプノフ指数は、計算タイピング作業中に上昇し、作業を停止すると低下することが確認できた。このことから、リアプノフ指数と脳活動の度合いとに関係があることが分かる。つまり、リアプノフ指数が大きい場合、脳活動の度合いが高く、リアプノフ指数が小さい場合、脳活動の度合いが低いことが分かる。
【0065】
以上の関係を踏まえ、脳活動推定装置1は、リアプノフ指数に基づいて中枢神経系の脳活動を推定する。具体的には、解析部103は、リアプノフ指数が大きければ脳活動の度合いが高いと推定し、リアプノフ指数が小さければ脳活動の度合いが低いと推定する。
【0066】
ところで、
図9の縦軸のリアプノフ指数は、脳活動推定装置1を一時的に実験用の装置として用いて計算して得られた値である。このため、
図9より、リアプノフ指数が脳活動推定装置1により1分間隔で得られることが分かる。そして、脈波からリアプノフ指数を算出する処理が、一般的に短時間と言える1分で行えることが
図9より証明された。なお、ここでは
図9が脳活動推定装置1を用いて得られた実験結果であるとしたが、
図9は、あくまでもリアプノフ指数と行動との相関を測定した実験結果を示したものであり、脳活動推定装置1ではなく実験専用の装置を用いて作成されたものでもよい。
【0067】
図10は、実施の形態1に係る脳活動推定装置1における脳活動の推定処理のフローチャートである。脳活動推定装置1は、脈波形状データを取得するステップ(ステップS1)と、脳波形状データに基づいてカオス解析を行うステップ(ステップS2)と、を有する。カオス解析を行うステップは、上述したように、3つのステップ(ステップS21~ステップS23)を有する。第1ステップは、脈波形状変位の時系列データと予め設定した遅延時間とから特定されるベクトルを計算するステップ(ステップS21)である。第2ステップは、ベクトルを3次元状態空間内に時系列順に配列したアトラクターを生成するステップ(ステップS22)である。第3ステップは、アトラクターの軌道に基づいて指標値であるリアプノフ指数を計算するステップ(ステップS23)である。
【0068】
解析部103は、リアプノフ指数に基づいて脳活動の度合いを推定(ステップS3)し、推定結果を示す脳活動情報を出力する。解析部103は、例えばリアプノフ指数を、脳活動の度合い示す段階数値(例えば、1~10)に変換して出力する。段階数値は、例えば、数値の小さい方から大きい方の順に、脳活動の度合いが低い状態から高い状態にあることを示す数値である。また、解析部103は、例えば安静時のリアプノフ指数を保持しておき、安静時のリアプノフ指数に対する、解析部103で解析して得たリアプノフ指数の100分率(%)の数値を、脳活動の度合いを示す数値として出力してもよい。また、解析部103は、上記の様に脳活動の度合いを数値で出力することに限られず、他に例えば段階画像などで出力してもよい。段階画像とは、例えば、顔の表情が脳活動の度合いに応じて段階的に異なる画像を指す。
【0069】
解析部103から出力された脳活動情報は、クラウド部106を介して表示部107に入力されて表示される。このように脳活動推定装置1は、脳活動情報を解析部103から出力して視覚化するので、ユーザは脳活動の度合いを把握することができる。なお、解析部103から出力された脳活動情報は、クラウド部106を介してデータ収集部108に蓄積されてもよい。また、解析部103から出力された脳活動情報は、クラウド部106を介さず直接、表示部107に入力されて表示されてもよい。また、解析部103から出力された脳活動情報は、制御内容決定部104に入力され、脳活動推定装置1を備えた機器の制御内容を決定するために用いられてもよい。
【0070】
脳活動の度合いは集中度の度合いと関連するため、解析部103は、脳活動情報として、リアプノフ指数に基づいて推定した集中度を示す集中度情報を出力するようにしてもよい。集中度情報は、例えば上記集中指数でもよいし、脳活動の度合いと同様に100分率(%)の数値または段階画像などでもよい。なお、集中度情報は、リアプノフ指数が大きいほど集中度が高いことを示し、リアプノフ指数が小さいほど集中度が低いことを示す情報である。また、集中度情報は、現在の集中度または時系列の集中度またはその両方を示す情報としてもよい。
【0071】
前述のように、主観申告で集中度が高い行動は、脳活動が高く、リアプノフ指数が高くなる。従って、脳活動推定装置1は、リアプノフ指数が大きいほど、集中度が高いとして解析部103から出力して好適である。
【0072】
なお、集中度は眠気度の逆の指標として捉えることもできるため、解析部103は、集中度情報に代えて眠気度情報を出力するようにしてもよい。これにより、ユーザは、眠気度を視覚的に確認できる。
【0073】
以上説明したように、実施の形態1の脳活動推定装置1は、人体の脈波を検出するセンサーであるドップラーセンサー10と、ドップラーセンサー10で検出された脈波を解析する解析部103と、を備える。解析部103は、脈波の波形形状の時系列変位である脈波形状変位を解析元にしたカオス解析に基づいて脈波を数値化した指標値を生成し、指標値に基づいて人体の脳活動の度合いを推定する。
【0074】
このように、脳活動推定装置1は、脈波の波形形状の時系列変位に基づいて生成した指標値に基づいて、脳活動の度合いを推定できる。また、脈波は心臓の脈動ひいては脳の神経系の活動に関連しているバイタルデータである。脳活動推定装置1は、このような脈波に基づいて計算された指標値に基づき脳活動を推定するため、従来の目の瞬き等による推定方法に比べて高精度に脳活動の度合いを推定できる。
【0075】
また、脳活動推定装置1は、人体の脈波を非接触で検出するセンサーとしてドップラーセンサー10を用いており、非接触で人体の脈波を検出でき、脳活動の度合いの推定を非接触で行える。また、脳活動推定装置1は、脳波計を用いない。このため、脳活動推定装置1は、脳波計を用いる場合の装着の手間が無く、また、脳波計を用いないため解析に時間がかからず、短時間で解析を行える。
【0076】
また、従来の人体の活動量を推定する装置では、撮像手段を用いて瞳孔の開閉度を測定する装置があるが、この装置では瞳孔を撮影するため、装置と目との距離が近距離である必要がある。これに対し、脳活動推定装置1は、ドップラーセンサー10を用いているため、遠距離でも測定ができて使い勝手がよく、また、瞳孔といった個人特有の情報を測定するものではないため、プライバシーに配慮できる。
【0077】
カオス解析は、脈波形状変位の時系列データと予め設定した遅延時間とから特定されるベクトルを計算するステップと、ベクトルを3次元状態空間内に時系列順に配列したアトラクターを生成するステップと、アトラクターの軌道に基づいて指標値であるリアプノフ指数を計算するステップと、を順次実施する処理である。
【0078】
このように、脳活動推定装置1は、カオス解析により、指標値であるリアプノフ指数を計算できる。
【0079】
解析部103は、脳活動の度合いの推定結果を示す脳活動情報として、指標値に基づいて推定した集中度を示す集中度情報を出力する。また、解析部103は、指標値が大きいほど集中度が高いことを示し、指標値が小さいほど集中度が低いことを示す集中度情報を出力する。
【0080】
これにより、ユーザは集中度情報に基づいて集中度を把握できる。
【0081】
解析部103は、脈波形状に基づく脈波高さの偏差を算出し、偏差が予め設定された閾値より小さい場合、入力信号増幅率を自動的に調整し、ドップラーセンサー10で取得された脈波の波形を大きくする。
【0082】
これにより、脳活動推定装置1は、脈波の形状を明確にでき、ドップラーセンサー10から人体迄の距離が遠くても解析の精度を高めることができる。
【0083】
実施の形態2.
実施の形態1の脳活動推定装置1は、脈波形状のゆらぎを解析して中枢神経の脳活動の度合いを推定するものであった。実施の形態2の脳活動推定装置1は、脳活動の度合いに加えて更に、脈拍間隔ゆらぎに基づいて自律神経系の活動度合いを推定する。つまり、実施の形態2の脳活動推定装置1は、中枢神経活動と自律神経活動との両方を推定する。以下、実施の形態2が実施の形態1と異なる点を中心に説明するものとし、実施の形態2で説明されていない構成は実施の形態1と同様である。
【0084】
図11は、実施の形態2に係る脳活動推定装置1の構成および脳活動推定装置1の利用構成を示すブロック図である。ドップラーセンサー10は、人体の脈波に加えて更に、人体の脈拍も検出する。
【0085】
脈拍間隔は、一般的にR-R Interval(RRI)と呼ばれる。RRIは、周波数変換されることで、後述する自律神経バランスなど、様々な情報に変換される。脈拍、血圧および呼吸などを解析するバイタル解析では、体動解析などとは異なり、約1Hzという超低周波特性の微小なゆらぎを解析する。このため、バイタル解析では、分解能が高く距離測定用途でよく使われる60GHz~79GHzに比べて、24GHzのドップラー方式によるアナログ検出が好ましい。
【0086】
ドップラーセンサー10は、人体の脈拍間隔の変位(1次元パターン脈拍変位)から自律神経バランスを検出する。自律神経バランスは、交感神経と副交感神経とのバランスである。自律神経バランスは、LF(Low Frequency)とHF(High Frequency)との比率であり、LF/HFで計算される。LFは交感神経活動を示しており、HFは副交感神経活動を示している。交感神経は、昼間または活性状態において優位となり、副交感神経は夜間または鎮静状態において優位となると言われている。
【0087】
LFは、特性曲線において例えば0.05Hzから0.15Hzといった低い周波数帯域におけるパワーの積算値で求められる。HFは、特性曲線において例えば0.15Hzから0.40Hzといった高い周波数帯域におけるパワーの積算値で求められる。特性曲線とは、脈拍間隔の時系列間隔を周波数展開して得られた曲線であり、横軸が周波数、縦軸がパワーである座標軸上に描かれる曲線である。
【0088】
自律神経バランスはLF/HFであるため、LFが相対的に大きくなると、交感神経が優位であり、興奮状態または活性状態にあると推定でき、LFが相対的に小さくなると、副交感神経が優位であり、リラックス状態にあると推定できる。また、自律神経バランスの数値が大きい場合、興奮状態にあり、自律神経バランスの数値が小さい場合、リラックス状態にあると推定できる。よって、自律神経バランスは、自律神経系の活動度合いを示す指標として用いられる。人体が興奮状態または活性状態にある場合、自律神経系の活動度合いが大きく、自律神経バランスの値が大きくなる。一方、人体がリラックス状態にある場合、自律神経系の活動度合いが小さく、自律神経バランスの値が小さくなる。
【0089】
このように、ドップラーセンサー10は、自律神経系の活動度合いを検出でき、また、上述したように脈波に基づく中枢神経系の脳活動の度合いを検出できる。つまり、ドップラーセンサー10は、それ1つで自律神経活動と中枢神経活動とを検出できる。
【0090】
なお、実施の形態2の脳活動推定装置1で用いるセンサーは、実施の形態1と同様に、ドップラーセンサー10に限るものではなく、脈波と脈拍とを測定できるセンサーであればよい。ここで、センサーで測定できる脈拍とは、脈拍数または脈の動きを指すものであり、脈拍数の大小または脈拍数の時系列増減、脈拍間隔の大小または脈拍間隔の時系列増減、LFの大小またはLFの時系列増減、LF/HFの大小またはLF/HFの時系列増減を含む。
【0091】
解析部103は、脳活動の度合いと自律神経系の活動度合いとの両方を、予め作成した感情モデルに当てはめることで人の感情を推定する。
【0092】
感情モデルには、一般的に用いられるものとして次の
図12に示すラッセルの感情円環モデル、という心理学モデルがある。
【0093】
図12は、ラッセルの感情円環モデルを示す図である。この感情円環モデルは、縦軸をActivation:覚醒度、横軸をPleasant:快適度とした2軸平面上に、幸福な、のどかな、退屈したおよび緊張したなどの感情を円環上に配置したものである。縦軸には眠気-覚醒が設定され、横軸には不快-快が設定されている。
【0094】
この感情円環モデルにより、人の感情は、横軸の快適度と縦軸の覚醒度との組み合わせにより推定できる。
【0095】
ここで、「縦軸の覚醒度」は、従来、撮像手段で取得した画像または脳波計で得た脳波から推定できる。また、従来、自律神経から算出したTP(Total Power、単位[ms2])を覚醒度とする技術もあった。TPは、1次元パターン脈拍変位から得られたLFとHFとのパワーを合計したものである。また、ある文献では、「縦軸の覚醒度」がエントロピーと表現されており、この文献において、「縦軸の覚醒度」はLFおよびHFを元に算出されている。これら従来の方法では、覚醒度を非接触で高精度に推定することはできなかった。特に高周波成分のHFでは、呼吸成分および体動成分がノイズとして加わるため、正確な検出が困難である。また、高周波成分のHFでは、周波数変換する際の変換精度、および周波数帯を特定して0.15Hz~0.40Hzを切り出す部分での検出精度にも課題があった。なお、TPまたはエントロピーを覚醒度とする技術では、覚醒度を推定するための元データは、TPおよびエントロピーのどちらの場合も脈拍間隔である。
【0096】
このように、従来、感情を推定するにあたって用いられる感情モデルの縦軸の覚醒度は、上述したように撮像手段または脳波計などを用いて得たデータから推定された結果を用いるか、または自律神経から算出したTPまたはエントロピーなどが用いられる。撮像手段または脳波計を用いた方法では、感情モデルの縦軸を示す指標を高精度に短時間に推定することはできない。
【0097】
実施の形態2の脳活動推定装置1では、感情を推定するにあたって用いられる感情モデルの縦軸に、脈波形状変位を解析元にしたカオス解析に基づいて推定された中枢神経系の脳活動の度合いを用いる。つまり、脳活動推定装置1は、感情モデルの縦軸に設定される指標に、脈波に基づいて推定された中枢神経系の脳活動の度合いを用いており、この点で従来と大きく異なる。
【0098】
脳活動推定装置1は、上述したように自律神経の活動度合いを推定できる。このため、実施の形態2では、縦軸を「中枢神経の脳活動の度合い」、横軸を「自律神経の活動度合い」とした独自の感情モデルを予め作成しておき、脳活動推定装置1は、この感情モデルに基づいて感情の推定を行う。
【0099】
図13は、実施の形態2に係る脳活動推定装置1の感情モデルの一例を示す図である。縦軸は、中枢神経活動である、脈波形状ゆらぎから得た脳活動の度合いである。横軸は、自律神経系活動である、脈拍ゆらぎである。言い換えれば、縦軸は、2次元脈波パターン形状変位(ゆらぎ方)に基づいて推定された中枢神経系の脳活動の度合いである。横軸は、1次元パターン脈拍変位(ゆらぎ方)に基づいて推定された自律神経系の活動度合いである。この感情モデルでは、縦軸が集中度または眠気度を示す「集中-眠気」、横軸が「リラックス-興奮・活性」とした2次元で表示される平面上に、複数の感情が配置されている。このように、感情モデルは、脳活動の度合いおよび自立神経系の活動度合いと、感情との関係を示すものである。ここで、感情とは、例えば、集中度、眠気度、疲労度、活性度およびリラックス度などに起因する感情である。
【0100】
上述の
図9に示したように、リアプノフ指数は、一例として0から15の範囲の値を取り得る。このため、
図13の感情モデルでは、例えば、縦軸の「眠気-集中」をリアプノフ指数の0-15に割り当てる。つまり、リアプノフ指数が0であれば「眠気」、リアプノフ指数が15であれば「集中」の状態であり、リアプノフ指数が中間の7であれば縦軸が横軸に交差する位置である、といった具合である。なお、ここで説明した縦軸に対するリアプノフ指数の割り当ては一例であって、リアプノフ指数の100分率の数値で割り当てるなどとしてもよい。
【0101】
また、
図13の感情モデルでは、横軸の「リラックス-興奮・活性」を自律神経バランスの値によって割り当てる。自律神経バランスの値が大きいほど、割り当て位置が「興奮・活性」側に向かい、自律神経バランスの値が小さいほど、割り当て位置が「リラックス」側に向かう。
【0102】
ところで、人は、LFの交感神経が高い時、興奮、活性、昼間の良いストレス、不快といった感情を感じている。また、人は、脈拍間隔RRIが狭い、脈拍数が多い(1分あたりの脈拍数:bpm:Beat per minute)、または脈拍間隔偏差(RRI SD)が小さい時も、興奮、活性、昼間の良いストレスまたは不快といった感情を感じている。
【0103】
逆に、人は、LFの交感神経が低い時には、リラックスまたは快といった感情を感じている。また、人は、HFの副交感神経が高い、脈拍間隔が広い、脈拍数が少ない、または脈拍間隔偏差が大きい時も、リラックスまたは快といった感情を感じている。これらの自律神経の活動度合いと感情との関係は、従来から知られている。また、実際に、集中度が高い作業を行う際に、リアプノフ指数が高まることが確認されている。また、眠気度が高い場合にもリアプノフ指数は減少する。集中度は、快不快感情または自律神経にはほとんど影響されずに、反応性の良い中枢神経活動によって高められる。
図13の感情モデルは、従来からのこれらの知見も踏まえて作成される。
【0104】
また、
図13の感情モデルでは、「集中度が高く」かつ「リラックス度が高い」時には、嬉しいまたは喜びといった感情が割り当てられている。また、「集中度が高く」かつ「興奮または活性感情が高い」時には、緊張またははかどるといった感情が割り当てられている。また、「集中度が低く」かつ「リラックス度が高い」時には、くつろぐ、落ち着く、または穏やか、といった感情が割り当てられている。「集中度が低く」かつ「興奮または活性感情が高い」時には、憂鬱または退屈といった感情が割り当てられる。なお、横軸は、ラッセルの感情円環モデルと同様に快適度とし、「快-不快」の軸としてもよい。
【0105】
脳活動推定装置1は、以上の感情モデルを用いて感情を推定する。以下、実施の形態2の脳活動推定装置1の動作について説明する。
【0106】
脳活動推定装置1は、ドップラーセンサー10により人体の脈波と脈拍とを検出する。解析部103は、ドップラーセンサー10で検出された脈波を解析して中枢神経系の脳活動の度合いを推定すると共に、脈拍から自立神経系の活動度合いを推定する。解析部103は、脳活動の度合いと自律神経系の活動度合いと感情モデルとに基づいて感情を推定する。具体的には、解析部103は、脳活動の度合いを示すリアプノフ指数から感情モデルにおける縦軸の位置を特定し、自律神経系の活動度合いを示す自律神経バランスから感情モデルにおける横軸の位置を特定する。
【0107】
そして、解析部103は、特定された縦軸の位置と横軸の位置とを感情モデルに当てはめて感情を推定し、推定結果を示す感情情報を推定結果として出力する。感情情報は、喜び、落ち着く、憂鬱または緊張などの文字であってもよいし、感情を特定できる顔画像などでもよい。
【0108】
ここで、「横軸の快適度」は、脈拍ゆらぎに基づく自律神経系の活動度合いによって特定できる。自律神経系の活動度合いは、具体的には上述したようにドップラーセンサー10で得られた自律神経バランスによって特定できる。言い換えれば、「横軸の快適度」は、人体の脈拍間隔の変位から検出されたバイタルデータに基づいて特定できる。
【0109】
「横軸の快適度」は、自律神経バランスによって特定することに限られず、他のデータによって特定してもよい。「横軸の快適度」は、他に例えば、「脈拍間隔の変化または偏差」、「脈拍数の変化または偏差」、「前述の自律神経系のLFの増減またはバランスの変化」のいずれかによっても特定できる。これらのいずれの方法も、「横軸の快適度」の位置を特定する元データは脈拍である。つまり、「横軸の快適度」は、脈拍によって特定される。解析部103は、脈拍間隔を検出するにあたっては、ノイズ、呼吸、体動または動きなどによる影響は排除して、正確な脈拍間隔を検出する。
【0110】
解析部103から出力された感情情報は、クラウド部106を介して表示部107に入力されて表示される。このように脳活動推定装置1は、感情情報を解析部103から出力して視覚化するので、ユーザは感情を把握することができる。なお、解析部103から出力された感情情報は、クラウド部106を介してデータ収集部108に蓄積されてもよい。また、解析部103から出力された感情情報は、クラウド部106を介さず直接、表示部107に入力されて表示されてもよい。また、解析部103から出力された感情情報は、制御内容決定部104に入力され、脳活動推定装置1の機器の制御内容を決定するために用いられてもよい。
【0111】
ところで、人間は1日中自律神経を稼働させるが、主に日中のワーク中および勉強中においては、良いストレスと言われている自律神経系の交感神経が高い状態である。また、人間は、自律神経系の交感神経が高い状態にあるとき、脳を興奮させて、気管を広げて、心拍を速めにして、血管を収縮させて、血圧をあげて、胃腸の働きを抑えて、発汗を促進する。よって、自律神経系の交感神経が高い状態は、ワークおよび勉強に対して良い状態にあると言える。すなわち、LFの交感神経が高い、またはLF/HFで表される自律神経バランスの比率が高い時、人体は、ワークおよび勉強に対して良い状態にある。また、「集中度が高く」かつ「興奮または活性感情が高い」時には、人体は、はかどる状態にある。
【0112】
つまり、集中度が高く且つ自律神経バランスの比率が高いときは、最もワークおよび勉強に適した状態、言い換えれば人体による作業効率が高い状態と評価することができる。よって、解析部103は、脳活動の度合いが予め設定された第1閾値より高く且つ自律神経系の活動度合いが予め設定された第2閾値よりも高い場合、人体による作業効率が高いことを示す作業効率情報を出力するようにしてもよい。このように、解析部103は、感情モデルに基づいて感情情報を出力する他に、脳活動の度合いと自律神経系の活動度合いとから特定される他の情報を出力するようにしてもよい。
【0113】
以上説明したように、実施の形態2の脳活動推定装置1は、実施の形態1と同様の効果が得られると共に、ドップラーセンサー10によって脈拍を検出することで自律神経系の活動度合いを推定できる。このため、脳活動推定装置1は、中枢神経系の脳活動の度合いに加えて自律神経系の活動度合いを推定し、中枢神経系の脳活動の度合いと自律神経系の活動度合いと感情モデルと、から感情を推定できる。また、中枢神経活動と自律神経活動とは1つのドップラーセンサー10で測定できるため、脳活動推定装置1は、脳波計または撮像手段を用いる装置に比べて、装着が不要で短時間かつ遠距離でも感情推定を行える。
【0114】
実施の形態3.
実施の形態3は、実施の形態1または実施の形態2で説明した脳活動推定装置1を備えた機器に関するもので、特にここでは空調装置について説明する。
【0115】
<空調装置201の構成>
図14は、実施の形態3に係る空調装置201の構成を示す図である。空調装置201は、空調空間である室内空間271を空調する設備である。空調とは、空調空間の空気の温度、湿度、清浄度および気流などを調整することであって、具体的には、暖房、冷房、除湿、加湿および空気清浄などである。
【0116】
図14に示すように、空調装置201は、家屋203に設置される。空調装置201は、例えばHFC(ハイドロフルオロカーボン)などを冷媒として用いたヒートポンプ式の空調設備である。空調装置201は、蒸気圧縮式の冷媒回路を搭載しており、図示しない商用電源、発電設備または蓄電設備などから電力を得て動作する。
【0117】
図14に示すように、空調装置201は、家屋203の外側に設けられる室外機211と、家屋203の内側に設けられる室内機213と、ユーザによって操作されるリモートコントローラ255と、を備える。室外機211と室内機213とは、冷媒が流れる冷媒配管261と、各種信号が転送される通信線263と、を介して接続されている。空調装置201は、室内機213から空調空気、例えば、冷風を吹き出すことで室内空間271を冷房し、温風を吹き出すことで室内空間271を暖房する。
【0118】
室外機211は、圧縮機221と、四方弁222と、室外熱交換器223と、膨張弁224と、室外送風機231と、室外機制御部251と、を備える。室内機213は、室内熱交換器225と、室内送風機233と、室内機制御部252と、を備える。冷媒配管261は、圧縮機221と、四方弁222と、室外熱交換器223と、膨張弁224と、室内熱交換器225と、を環状に接続している。空調装置201は、圧縮機221と、四方弁222と、室外熱交換器223と、膨張弁224と、室内熱交換器225と、を冷媒配管261によって接続して構成された冷媒回路を有する。冷媒回路は、冷媒を循環させて冷凍サイクルの動作を行う。
【0119】
圧縮機221は、冷媒を圧縮して冷媒配管261を循環させる。具体的に説明すると、圧縮機221は、低温かつ低圧の冷媒を圧縮し、高圧かつ高温となった冷媒を四方弁222に吐出する。圧縮機221は、駆動周波数に応じて運転容量を変化させることができるインバータ回路を備える。運転容量とは、圧縮機221が単位時間当たりに冷媒を送り出す量である。圧縮機221は、室外機制御部251からの指示に従って運転容量を変更する。
【0120】
四方弁222は、圧縮機221の吐出側に設置されている。四方弁222は、空調装置201の運転が冷房運転もしくは除湿運転であるか、または暖房運転であるかに応じて、冷媒配管261中の冷媒の流れ方向を切り替える。膨張弁224は、室外熱交換器223と室内熱交換器225との間に設置されており、冷媒配管261を流れる冷媒を減圧して膨張させる。膨張弁224は、その開度が変更可能に制御可能な電子式膨張弁である。膨張弁224は、室外機制御部251からの指示に従って開度を変更して、冷媒の圧力を調整する。
【0121】
室外熱交換器223は、冷媒配管261を流れる冷媒と、室内空間271の外部である室外空間(外部空間)272の空気と、の間で熱交換を行う。室外送風機231は、室外熱交換器223の傍に設けられており、室外空間272の空気を吸い込み、吸い込んだ空気を室外熱交換器223に送る。室外熱交換器223に送られた空気は、冷媒配管261を流れる冷媒と熱交換した後、室外空間272に吹き出される。
【0122】
室内熱交換器225は、冷媒配管261を流れる冷媒と、室内空間271の空気と、の間で熱交換を行う。室内送風機233は、室内熱交換器225の傍に設けられており、室内空間271の空気を吸い込み、吸い込んだ空気を室内熱交換器225に送る。室内熱交換器225に送られた空気は、冷媒配管261を流れる冷媒と熱交換した後、室内空間271に吹き出される。室内熱交換器225で熱交換された空気は、空調空気として室内空間271に供給される。これにより、室内空間271が空調される。
【0123】
室外機制御部251は、室外機211の動作を制御する。室内機制御部252は、室内機213の動作を制御する。
【0124】
室内空間271にはリモートコントローラ255が配置されている。リモートコントローラ255は、室内機213が備えている室内機制御部252との間で各種信号を送受信する。リモートコントローラ255は、後述の
図15に示すように表示部255aを備えている。表示部255aは、タッチスクリーン、液晶ディスプレイおよびLED(Light Emitting Diode)などを備えている。また、リモートコントローラ
255は、押圧ボタン(図示せず)を備えている。リモートコントローラ255は、ユーザからの各種指令を受け付ける指令受付部、および、各種情報をユーザに表示する表示部として機能する。ユーザは、リモートコントローラ255を操作することで、空調装置201に指令を入力する。指令は、例えば、運転と停止との切替指令、または、運転モード、設定温度、設定湿度、風量、風向若しくはタイマーなどの切替指令である。空調装置201は、入力された指令に従って運転する。
【0125】
図15は、実施の形態3に係る空調装置201のブロック図である。空調装置201は、制御装置250と、空調部280と、実施の形態1の脳活動推定装置1と、を備えている。また、空調装置201には、ユーザによって操作される情報機器290がネットワークNを介して接続されている。
【0126】
制御装置250は、空調装置201全体を制御する。また、制御装置250は、脳活動推定装置1で推定された脳活動の度合いに基づいて機器本体、言い換えれば空調部280の運転を制御する。制御装置250は、上述の室外機制御部251と室内機制御部252とを備えている。また、
図15では図示省略しているが、制御装置250は、実施の形態1で説明した制御内容決定部104と、機器制御部105と、を備えている。制御内容決定部104および機器制御部105は、室外機制御部251および室内機制御部252のどちらに備えられてもよい。
【0127】
室外機制御部251は、制御部251aと、記憶部251bと、計時部251cと、通信部251dと、を備える。これら各部はバス(図示せず)を介して接続されている。
【0128】
制御部251aは、室外機全体の制御を行う。記憶部251bは、RAMまたはROMなどのメモリーで構成されており、制御に必要なデータを記憶している。計時部251cは、時間を計時する部分である。通信部251dは、通信線263(
図14参照)を介して室内機制御部252と通信するためのインタフェースである。
【0129】
室外機制御部251は、
図14に示したように通信線263によって室内機制御部252と接続されている。室外機制御部251は、室内機制御部252と通信線263を介して各種信号を受信することにより室外機制御部251と協調動作する。
【0130】
室内機制御部252は、室外機制御部251およびリモートコントローラ255との通信を行う通信部252aを備えている。通信部252aは、室外機制御部251およびリモートコントローラ255と通信するためのインタフェースである。通信部251dは更に、ネットワークNを介して情報機器290に接続されている。通信部252aは、ユーザからの各種指令をリモートコントローラ255から受信する処理と、リモートコントローラ255から受信した各種指令を室内機制御部252に送信する処理と、を行う。また、通信部252aは、ユーザに報知するための報知情報をリモートコントローラ255に送信する処理と、を行う。
【0131】
室外機制御部251および室内機制御部252は、マイクロプロセッサユニットにより構成されている。室外機制御部251および室内機制御部252は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などを備えており、ROMには制御プログラム等が記憶されている。なお、室外機制御部251および室内機制御部252は、マイクロプロセッサユニットに限定するものではない。例えば、室外機制御部251および室内機制御部252は、ファームウェア等の更新可能なもので構成されていてもよい。また、室外機制御部251および室内機制御部252は、プログラムモジュールであって、図示しないCPU等からの指令により、実行されるものでもよい。また、ここでは、制御装置250が室外機制御部251と室内機制御部252とを有し、室外機211と室内機213とに分けて構成した例を示したが、両方の機能を備えた一つの制御部で構成してもよい。
【0132】
空調部280は、室内空間271を空調する部分であり、
図14の冷媒回路、室外送風機231および室内送風機233に相当する。
【0133】
以上のように構成された空調装置201は、脳活動推定装置1で推定された脳活動の度合いに基づいて空調部280の運転を制御する。つまり、制御装置250は、脳活動の度合いに基づく集中度に応じて空調部280の運転を制御する。具体的には、制御装置250は、例えば、集中度が低い場合には、ユーザの覚醒を促すために以下の制御を行う。従来、風があたることでユーザが覚醒することが確認されている。よって、制御装置250は、集中度が低い場合、室内送風機233の回転数を上げて送風量を増やす。
【0134】
また、空調装置201がユーザの位置を感知する人感センサー(図示せず)を備えている場合には、制御装置250は以下の制御を行ってもよい。制御装置250は、室内機213に設けられた上下風向板(図示せず)を上下に動かすスイング動作によって風が間欠的にユーザにあたるようにするか、左右風向板(図示せず)を左右に動かすスイング動作によって風が間欠的にユーザにあたるようにする。以上の制御により、空調装置201は、集中度が低い場合にユーザの覚醒を促すことができる。
【0135】
また、ユーザが適温と感じる温度より1℃程度低めの方が、脳を冷やす効果があって作業効率が良いとされている。特に暖房時は、設定温度が高すぎることで集中度が低下すると言われている。このため、集中度が低い場合には、制御装置250は、室内の設定温度を現在の温度よりやや低めの温度に調節する制御を行う。
【0136】
反対に、集中度が高い場合には、制御装置250は、室内送風機233の回転数を下げて送風量を減らすか、上下風向板をなるべく上方向に制御してユーザに風があたらないようにする。また、空調装置201が人感センサー(図示せず)を備えている場合には、制御装置250は、ユーザに風があたらないように上下風向板(図示せず)および左右風向板(図示せず)の一方または両方を制御する。以上の制御により、空調装置201は、ユーザに風があたることでユーザの意識が風に向かい、集中度の低下を招くことを抑制できる。言い換えれば、空調装置201は、集中度が高い状態のユーザが風を意識することなく作業を行える効果が得られる。
【0137】
ところで、リモートコントローラ255は、空調装置201の構成品の一部としての位置づけであるが、情報機器290はユーザ所有の機器との位置づけである。情報機器290は、液晶パネルなどの表示部281を有し、表示部281に各種の情報が表示される。情報機器290は、例えばスマートフォンまたはタブレットなどで構成される。情報機器290には人体の集中度などを表示するためのアプリケーションがインストールされている。また、情報機器290は、空調制御用のアプリケーションがインストールされることで、リモートコントローラ255の代わりとして用いることもできる。
【0138】
情報機器290は、ユーザによって操作が行われると、アプリケーションを起動し、脳活動推定装置1で推定された情報を脳活動の度合いに関連する情報をネットワークNを介して取得し、表示部281に表示する。脳活動の度合いに関連する情報とは、脳活動の度合いを示す情報の他、集中度に関する集中度情報でもよいし、感情に関する感情情報でもよい。集中度情報は、現在の集中度または時系列の集中度またはその両方を示す情報である。具体的な制御としては、空調装置201の制御装置250が、情報機器290からの要求に応じて脳活動推定装置1で得られた脳活動の度合いに関連する情報を通信部252aを介して情報機器290に送信し、情報機器290に表示させる処理を行う。なお、ここでは脳活動の度合いに関連する情報が情報機器290に表示されるとしたが、リモートコントローラ255の表示部255aに表示されてもよい。
【0139】
このように、空調装置201は、集中度情報を情報機器290またはリモートコントローラ255の表示部255aに表示して視覚化することで、ユーザは集中度を視覚的に確認できる。
【0140】
なお、ここでは、脳活動推定装置1を備えた機器が空調装置201であるものとして説明したが、空調装置201に限られず、電気機器、車または娯楽機器など様々な機器に組み込むことができる。また、脳活動推定装置1は、例えば労務管理装置または学習管理装置などにも組み込むことができる。
【0141】
また、脳活動推定装置1は、ヘルスケア、労務、教育、睡眠、マインドフルネス、メディテーション、カスタマーサービス、マーケティングまたはスポーツメンタルトレーニングなど幅広い分野の機器に組み込むことができる。脳活動推定装置1がこれらの機器に組み込まれた場合、機器は、脳活動の判定結果を利用した機器制御およびユーザへの脳活動の判定結果の提示を行える。このように、脳活動推定装置1が様々な機器に適用されることで、その機器のユーザに対し、脳活動の度合い、集中度合い、および感情を視覚化して提示できる。
【符号の説明】
【0142】
1 脳活動推定装置、10 ドップラーセンサー、10a 基板部、100 アンテナ部、100a アンテナ、101 無線部、102 アナログ回路部、103 解析部、104 制御内容決定部、105 機器制御部、106 クラウド部、107 表示部、108 データ収集部、201 空調装置、203 家屋、211 室外機、213 室内機、221 圧縮機、222 四方弁、223 室外熱交換器、224 膨張弁、225 室内熱交換器、231 室外送風機、233 室内送風機、250 制御装置、251 室外機制御部、251a 制御部、251b 記憶部、251c 計時部、251d 通信部、252 室内機制御部、252a 通信部、255 リモートコントローラ、255a 表示部、261 冷媒配管、263 通信線、271 室内空間、272 室外空間、280 空調部、281 表示部、290 情報機器、300 空調システム。