IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイシン精機株式会社の特許一覧

特開2022-73269状態推定装置および状態推定プログラム
<>
  • 特開-状態推定装置および状態推定プログラム 図1
  • 特開-状態推定装置および状態推定プログラム 図2
  • 特開-状態推定装置および状態推定プログラム 図3
  • 特開-状態推定装置および状態推定プログラム 図4
  • 特開-状態推定装置および状態推定プログラム 図5
  • 特開-状態推定装置および状態推定プログラム 図6
  • 特開-状態推定装置および状態推定プログラム 図7
  • 特開-状態推定装置および状態推定プログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022073269
(43)【公開日】2022-05-17
(54)【発明の名称】状態推定装置および状態推定プログラム
(51)【国際特許分類】
   A61B 5/16 20060101AFI20220510BHJP
   A61B 5/1455 20060101ALI20220510BHJP
   A61B 10/00 20060101ALI20220510BHJP
【FI】
A61B5/16 120
A61B5/1455
A61B10/00 E
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2020183147
(22)【出願日】2020-10-30
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110000534
【氏名又は名称】特許業務法人しんめいセンチュリー
(72)【発明者】
【氏名】酒井 雅子
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038KK01
4C038KL05
4C038KL07
4C038KX01
4C038PP03
4C038PS00
(57)【要約】
【課題】ユーザの脳血流情報から脳活動および感情の高ぶりの双方に応じた適切なユーザの状態を推定でき、推定された状態に応じたきめ細やかな情報を出力できる状態推定装置および状態推定プログラムを提供すること。
【解決手段】脳血流計測装置2から取得されたユーザHのオキシHb濃度とデオキシHb濃度とから脳機能成分と全身性成分とが取得される。取得された脳機能成分と全身性成分とを組み合わせてユーザHの状態が推定される。脳機能成分には脳活動に関する情報が含まれ、全身性成分には感情の高ぶりに関する情報が含まれる。脳機能成分と全身性成分とを組み合わせることで、脳活動および感情の高ぶりの双方に応じた適切なユーザHの状態を推定できる。かかるユーザHの状態に応じたメッセージが表示されることで、ユーザHの脳活動および感情の高ぶりの双方に応じたきめ細やかな教示等を出力できる。
【選択図】図5
【特許請求の範囲】
【請求項1】
ユーザの脳血流情報を取得する脳血流取得手段と、
その脳血流取得手段で取得された脳血流情報から、前記ユーザの脳活動に関する情報を含む脳機能成分と前記ユーザの頭皮の血流変化に関する情報を含む全身性成分とを取得する成分取得手段と、
その成分取得手段で取得された脳機能成分および全身性成分を組み合わせて前記ユーザの状態を推定する状態推定手段と、
その状態推定手段で推定された前記ユーザの状態に応じた情報を出力する出力手段とを備えていることを特徴とする状態推定装置。
【請求項2】
前記脳血流取得手段は、前記ユーザにおける複数箇所の脳血流情報を取得するものであり、
前記成分取得手段は、前記脳血流取得手段で取得された複数箇所の脳血流情報から、それぞれの脳機能成分と全身性成分とを取得するものであり、
前記状態推定手段は、前記成分取得手段で取得された複数箇所の脳機能成分のうち時間推移の傾きが第1所定値以上であるものの数と、前記成分取得手段で取得された複数箇所の全身性成分のうち時間推移の傾きが第2所定値以上であるものの数とに応じて、前記ユーザの状態を推定するものであることを特徴とする請求項1記載の状態推定装置。
【請求項3】
前記脳機能成分および前記全身性成分に対応する前記ユーザの状態を機械学習させた学習モデルである状態推定モデルを備え、
前記状態推定手段は、前記状態推定モデルに基づいて前記ユーザの状態を推定するものであることを特徴とする請求項1記載の状態推定装置。
【請求項4】
前記脳血流取得手段は、前記ユーザの頭皮からの距離に応じた複数の階層の脳血流情報を取得するものであり、
前記成分取得手段は、前記脳血流取得手段で取得された複数の階層の脳血流情報からそれぞれの脳機能成分と全身性成分とを取得するものであり、
前記状態推定手段は、前記成分取得手段で取得された1又は複数の階層の脳機能成分と1又は複数の階層の全身性成分とに応じて、前記ユーザの状態を推定するものであることを特徴とする請求項1から3のいずれかに記載の状態推定装置。
【請求項5】
前記成分取得手段で取得された脳機能成分の時間推移において増減が切り替わる変化点を検出する脳活動変化点検出手段と、
前記成分取得手段で取得された全身性成分の時間推移において増減が切り替わる変化点を検出する感情変化点検出手段と、
前記脳活動変化点検出手段で検出された変化点と前記感情変化点検出手段で検出された変化点とに応じて、前記ユーザの状態の変化を推定する状態変化推定手段とを備え、
前記出力手段は、その状態変化推定手段で推定された前記ユーザの状態の変化に応じた情報を出力するものであることを特徴とする請求項1から4のいずれかに記載の状態推定装置。
【請求項6】
前記脳血流取得手段は、前記ユーザの額の脳血流情報を取得するものであることを特徴とする請求項1から5のいずれかに記載の状態推定装置。
【請求項7】
コンピュータに、ユーザの状態を推定する処理を実行させる状態推定プログラムであって、
前記ユーザの脳血流情報を取得する脳血流取得ステップと、
その脳血流取得ステップで取得された脳血流情報から、前記ユーザの脳活動に関する情報を含む脳機能成分と前記ユーザの頭皮の血流変化に関する情報を含む全身性成分とを取得する成分取得ステップと、
その成分取得ステップで取得された脳機能成分および全身性成分を組み合わせて前記ユーザの状態を推定する状態推定ステップと、
その状態推定ステップで推定された前記ユーザの状態に応じた情報を出力する出力ステップと、
を前記コンピュータに実行させることを特徴とする状態推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、状態推定装置および状態推定プログラムに関するものである。
【背景技術】
【0002】
特許文献1には、被験者(ユーザ)の頭部に装着されるサンバイザー型の計測装置2から取得された酸素化ヘモグロビン(以下「オキシHb」と略す)濃度変化および脱酸素化ヘモグロビン(以下「デオキシHb」と略す)濃度変化に基づき、被験者の感情(状態)を識別する感情識別装置1が開示されている。該装置1によれば、被験者がサンバイザー型の計測装置2を装着するのみで被験者の感情を識別できる。また、特許文献1には、取得された酸素化ヘモグロビン濃度変化等から、被験者の皮膚における血流情報の影響をキャンセルした上で感情の識別を行うことにより、その識別精度の向上を図ることも記載されている。
【0003】
このように、頭部で計測した脳血流の酸素化ヘモグロビン濃度変化および脱酸素化ヘモグロビン濃度変化には、脳活動以外の生理反応に由来する変化が含まれていることが知られている。代表的な生理反応には自律神経反応があり、例えば上記の皮膚における血流変化もこれに含まれる。これはヘモグロビン濃度の「全身性成分」と呼ばれ、逆に本来の脳活動、即ちニューロンの代謝活動に由来する成分は「脳機能成分」と呼ばれる(非特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2019-136183号公報(例えば、段落0025-0040,0066)
【非特許文献】
【0005】
【非特許文献1】Toru Yamada, Shinji Umeyama, and Keiji Matsuda, "Separation of fNIRSSignals into Functional and Systemic Components Based on Differences inHemodynamic Modalities";, PLOS ONE, Vol..7, Issue 11, e50271, 2012.
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、より正確に脳活動だけを計測したい場合は、脳活動以外の生理反応に由来する変化分、即ち全身性成分をノイズとして除去する必要があり、その方式が上記の他にも知られている(非特許文献1)。しかしながら、除去される全身性成分は、必ずしも脳活動を直接反映するものではないとはいえ、脳活動の結果の顔面蒼白あるいは顔面紅潮のような「感情の高ぶり」に伴う皮膚血流の変化に関する情報を含んでいる。
【0007】
そのため、脳活動に限定したユーザの状態を推定するため、全身性成分をノイズとして除去すると、推定されるユーザの状態から感情の高ぶりに関する情報も除去されてしまう。一方で、全身性成分を除去せずに、オキシHb濃度とデオキシHb濃度とをそのまま用いてユーザの状態を推定すると、脳活動と感情の高ぶりとを区別したユーザの状態が推定できない。いずれの場合においても、ユーザの状態を適切に推定できないという問題点があった。
【0008】
本発明は、上述した問題点を解決するためになされたものであり、ユーザの脳血流情報から脳活動および感情の高ぶりの双方に応じた適切なユーザの状態を推定でき、推定された状態に応じたきめ細やかな情報を出力できる状態推定装置および状態推定プログラムを提供することを目的としている。
【課題を解決するための手段】
【0009】
この目的を達成するために本発明の状態推定装置は、ユーザの脳血流情報を取得する脳血流取得手段と、その脳血流取得手段で取得された脳血流情報から、前記ユーザの脳活動に関する情報を含む脳機能成分と前記ユーザの頭皮の血流変化に関する情報を含む全身性成分とを取得する成分取得手段と、その成分取得手段で取得された脳機能成分および全身性成分を組み合わせて前記ユーザの状態を推定する状態推定手段と、その状態推定手段で推定された前記ユーザの状態に応じた情報を出力する出力手段とを備えている。
【0010】
また本発明の状態推定プログラムは、コンピュータに、ユーザの状態を推定する処理を実行させるプログラムであって、前記ユーザの脳血流情報を取得する脳血流取得ステップと、その脳血流取得ステップで取得された脳血流情報から、前記ユーザの脳活動に関する情報を含む脳機能成分と前記ユーザの頭皮の血流変化に関する情報を含む全身性成分とを取得する成分取得ステップと、その成分取得ステップで取得された脳機能成分および全身性成分を組み合わせて前記ユーザの状態を推定する状態推定ステップと、その状態推定ステップで推定された前記ユーザの状態に応じた情報を出力する出力ステップと、を前記コンピュータに実行させる。
【発明の効果】
【0011】
請求項1記載の状態推定装置によれば、ユーザの脳血流情報から脳機能成分と全身性成分とが取得され、取得された脳機能成分および全身性成分を組み合わせてユーザの状態が推定される。ここで、脳機能成分にはユーザの脳活動に関する情報が含まれ、全身性成分にはユーザの頭皮の血流変化に関する情報が含まれ、かかる頭皮の血流変化にはユーザの感情の高ぶりに関する情報が含まれるとされる。よって、脳機能成分および全身性成分を組み合わせることで、脳活動および感情の高ぶりの双方に応じた適切なユーザの状態を推定できる。このように推定されたユーザの状態に応じた情報が出力される。これにより、ユーザの状態、即ちユーザの脳活動および感情の高ぶりに応じたきめ細やかな情報を出力できるという効果がある。
【0012】
なお、「脳活動」としては物事の認知や理解、判断が例示され、「感情の高ぶり」としては、驚きや興奮等の情動反応や緊張状態、やる気や努力の度合いが例示される。
【0013】
請求項2記載の状態推定装置によれば、請求項1記載の状態推定装置の奏する効果に加え、次の効果を奏する。ユーザにおける複数箇所の脳血流情報が取得され、取得された複数箇所の脳血流情報からそれぞれの脳機能成分と全身性成分とが取得される。複数箇所の脳機能成分のうち時間推移の傾きが第1所定値以上であるものの数と、複数箇所の全身性成分のうち時間推移の傾きが第2所定値以上であるものの数とに応じてユーザの状態が推定される。複数箇所の脳機能成分のうち増加しているものの数および複数箇所の全身性成分のうち増加しているものの数に応じることで、ユーザの脳活動および感情の高ぶりの高低をその広がり(脳領域の広がり及び頭皮面内での広がり)として精度良く取得できる。これにより、ユーザの状態を精度良く推定できるという効果がある。
【0014】
請求項3記載の状態推定装置によれば、請求項1記載の状態推定装置の奏する効果に加え、次の効果を奏する。脳機能成分および全身性成分に対応するユーザの状態を機械学習させた状態推定モデルを備え、ユーザの状態が状態推定モデルに基づいて推定される。これにより、脳機能成分および全身性成分に応じたユーザの状態を、精度良く推定できるという効果がある。
【0015】
請求項4記載の状態推定装置によれば、請求項1から3のいずれかに記載の状態推定装置の奏する効果に加え、次の効果を奏する。ユーザの頭皮からの距離に応じた複数の階層の脳血流情報が取得され、複数の階層の脳血流情報からそれぞれの脳機能成分と全身性成分とが取得され、取得された1又は複数の階層の脳機能成分と、1又は複数の全身性成分とに応じてユーザの状態を推定される。
【0016】
ユーザの脳血流情報は、ユーザの頭皮からの距離、即ち階層毎に様々に変化するが、階層に応じて、ユーザの脳活動および感情の高ぶりにそれぞれ特化した情報を含んでいるとされる。そこで、複数の階層の脳血流情報を取得し、1又は複数の階層の脳機能成分と、1又は複数の全身性成分とによってユーザの脳活動および感情の高ぶりの高低を精度良く取得でき、これによって、ユーザの状態を精度良く推定できるという効果がある。
【0017】
請求項5記載の状態推定装置によれば、請求項1から4のいずれかに記載の状態推定装置の奏する効果に加え、次の効果を奏する。脳機能成分の時間推移における増減の変化点と、全身性成分の時間推移における増減の変化点とが検出され、これらの変化点に応じてユーザの状態の変化が推定される。そして、推定されたユーザの状態の変化に応じた情報が出力される。これにより、ユーザの状態の変化およびそのタイミングを把握できると共に、ユーザの状態の変化およびそのタイミングに応じたきめ細やかな教示やアドバイス等をユーザに提供できるという効果がある。
【0018】
請求項6記載の状態推定装置によれば、請求項1から5のいずれかに記載の状態推定装置の奏する効果に加え、次の効果を奏する。脳血流取得手段によってユーザの額の脳血流情報が取得される。ユーザの額の奥に位置する前頭葉は認知や判断を司るとされるので、ユーザの額から前頭葉に基づく詳細な脳機能成分を取得できる。また、ユーザの額の頭皮は概ね露出しているので、頭皮の血流変化に関する全身性成分を正確に取得できる。このようなユーザの額における脳機能成分および全身性成分から、ユーザの状態を精度良く推定できるという効果がある。
【0019】
請求項7記載の状態推定プログラムによれば、請求項1記載の状態推定装置と同様の効果を奏する。
【図面の簡単な説明】
【0020】
図1】(a)は、状態推定装置の外観図であり、(b)は、脳血流計測装置を装着したユーザを表す図である。
図2】(a)は、状態推定装置の電気的構成を示すブロック図であり、(b)は、脳血流データを模式的に示す図である。
図3】(a)は、オキシHb濃度およびデオキシHb濃度の時間推移を表すグラフであり、(b)は、オキシHb濃度の脳機能成分およびその回帰直線を表すグラフであり、(c)は、オキシHb濃度の全身性成分およびその回帰直線を表すグラフである。
図4】(a)は、状態推定テーブルを模式的に示す図であり、(b)は、メッセージテーブルを模式的に示す図である。
図5】メイン処理のフローチャートである。
図6】(a)は、第2実施形態における表面層のユーザのオキシHb濃度の分布を模式的に示す図であり、図6(b)は、ユーザの中間層のオキシHb濃度の分布を模式的に示す図であり、図6(c)は、ユーザの深層のオキシHb濃度の分布を模式的に示す図である。
図7】(a)は、第2実施形態における状態推定装置の電気的構成を示すブロック図であり、(b)は、第2実施形態における脳血流データを模式的に示す図である。
図8】第2実施形態におけるメイン処理のフローチャートである。
【発明を実施するための形態】
【0021】
以下、本発明の好ましい実施形態について、添付図面を参照して説明する。まず、図1を参照して、本実施形態における状態推定装置1の構成を説明する。図1(a)は、状態推定装置1の外観図であり、図1(b)は、脳血流計測装置2を装着したユーザHを表す図である。状態推定装置1は、ユーザHの脳血流に関する情報である脳血流情報に基づいてユーザHの状態を推定し、推定されたユーザHの状態に応じたメッセージを出力(表示)する装置である。状態推定装置1には、脳血流計測装置2と、ユーザHへ提示するメッセージ等が表示される表示装置3と、ユーザHからの指示が入力される入力装置4とが設けられる。
【0022】
脳血流計測装置2は、ユーザHの額に装着され、ユーザHの額における頭皮から大脳表面付近までの脳血流情報を取得する装置である。本実施形態の脳血流計測装置2は、脳血流情報としてオキシヘモグロビン(以下「オキシHb」と略す)濃度およびデオキシヘモグロビン(以下「デオキシHb」と略す)濃度が取得される。
【0023】
図1(b)に示す通り、脳血流計測装置2においてユーザHの額と接する面には、ch1~ch48の48チャンネルの検出部が設けられ、検出部ごとに近赤外線分光法(NIRS)によってユーザHのオキシHb濃度およびデオキシHb濃度が検出される。
【0024】
各chの検出部は、具体的に、脳血流計測装置2に複数設けられる近赤外線の発光部と受光部と(共に図示せず)を結ぶ光経路の中間に概念的に形成されるものである。発光部と受光部との間隔を短くすると、検出部は頭皮に近い表層部における同一の面上に形成され、逆に発光部と受光部との間隔を長くすると、検出部は大脳に近い深層部における同一の面上に形成される。本実施形態の脳血流計測装置2では、各発光部と受光部との間隔が3.0cmである場合の脳血流のオキシHb濃度およびデオキシHb濃度が取得される。
【0025】
状態推定装置1は、表示装置3に表示された文章を読んでいるユーザHから脳血流計測装置2でオキシHb濃度およびデオキシHb濃度を読み取り、血流動態分離法を用いて脳機能成分と全身性成分とを取得し、取得された脳機能成分と全身性成分とを組み合わせることで、ユーザHの状態が推定される。
【0026】
ここで、脳機能成分には、ユーザHの理解度(脳活動)に関する情報が含まれるとされる。一方で全身性成分には頭皮の血流変化に関する情報が含まれるとされ、この頭皮の血流変化はユーザHの努力の度合い(感情の高ぶり)に関する情報が含まれるとされる。よって、これら脳機能成分と全身性成分とを組み合わせることで、ユーザHの理解度および努力の双方に応じた適切なユーザHの状態を推定できる。
【0027】
そして、推定されたユーザHの状態に応じたメッセージが表示装置3に表示される。これにより、ユーザHの状態、即ちユーザHの理解度および努力の双方に応じたきめ細やかな教示やアドバイス、例えば、文章を読んでいるユーザHの理解を助ける文言や、ユーザHへの激励や休憩を促す文言を表示できる。
【0028】
次に、図2~4を参照して、状態推定装置1の電気的構成を説明する。図2(a)は、状態推定装置1の電気的構成を示すブロック図である。図2(a)に示す通り、状態推定装置1は、CPU10と、ハードディスクドライブ(以下「HDD」という)11と、RAM12とを有し、これらはバスライン13を介して入出力ポート14にそれぞれ接続されている。入出力ポート14には更に、上記した脳血流計測装置2、表示装置3及び入力装置4が接続される。
【0029】
CPU10は、バスライン13により接続された各部を制御する演算装置である。HDD11は、書き換え可能な不揮発性の記憶装置であり、状態推定プログラム11aと、脳血流データ11bと、状態推定テーブル11cと、メッセージテーブル11dとが保存される。CPU10によって状態推定プログラム11aが実行されると、図5のメイン処理が実行される。
【0030】
脳血流データ11bには、脳血流計測装置2で計測された脳血流に関する情報が記憶される。図2(b)及び図3を参照して、脳血流データ11bを説明する。
【0031】
図2(b)は、脳血流データ11bを模式的に示す図である。本実施形態の脳血流データ11bは、脳血流計測装置2の各チャンネル(即ちch1~ch48)で検出されたオキシHb濃度における、脳機能成分および全身性成分の傾きが記憶される。ここで図3を参照して、脳機能成分および全身性成分のそれぞれの傾きについて説明する。
【0032】
図3(a)は、オキシHb濃度およびデオキシHb濃度の時間推移を表すグラフであり、図3(b)は、オキシHb濃度の脳機能成分およびその回帰直線を表すグラフであり、図3(c)は、オキシHb濃度の全身性成分およびその回帰直線を表すグラフである。図3(a)~(c)では、脳血流計測装置2のch1~ch48のいずれか1つのチャンネルにおける、脳機能成分および全身性成分のそれぞれの傾きの算出を例示する。
【0033】
まず、図3(a)に示す通り、脳血流計測装置2からはユーザHの脳血流におけるオキシHb濃度およびデオキシHb濃度が検出される。図3(a)においては、オキシHb濃度の時間推移Fsを実線で、デオキシHb濃度の時間推移Fdを破線でそれぞれ表している。本実施形態では、これらオキシHb濃度の過去20秒間分の時間推移Fsと、デオキシHb濃度の過去20秒間分の時間推移FdとがRAM12に記憶される。
【0034】
かかるオキシHb濃度の過去20秒間分の時間推移Fsと、デオキシHb濃度の過去20秒間分の時間推移Fdとから、公知の血流動態分離法を用いてオキシHb濃度の脳機能成分および全身性成分と、デオキシHb濃度の脳機能成分および全身性成分とがそれぞれ取得される。
【0035】
この脳血流動態分離法は、オキシHb濃度の変化とデオキシHb濃度の変化との相互の関係を用いて、各濃度の脳機能成分および全身性成分がそれぞれ計算されるものである。そのため、後述のようにユーザHの状態の推定に用いるのがオキシHb濃度の脳機能成分および全身性成分だけであっても、ここではオキシHb濃度とデオキシHb濃度との両方の脳機能成分および全身性成分が取得される。
【0036】
図3(b)には、オキシHb濃度の脳機能成分の時間推移Fsnが表され、図3(c)には、オキシHb濃度の全身性成分の時間推移Fszが表される。脳機能成分の時間推移Fsnにおける回帰直線Dnと、全身性成分の時間推移Fszの回帰直線Dzとが、最小二乗法等の既知の手法によって算出される。そして、回帰直線Dnおよび回帰直線Dzの傾きが、それぞれ脳機能成分および全身性成分の傾きとして、脳血流データ11b(図2(b))に記憶される。
【0037】
このような脳機能成分および全身性成分の傾きの算出および脳血流データ11bへの記憶が脳血流計測装置2の全チャンネルについて行われる。そして、記憶された全チャンネルのオキシHb濃度の脳機能成分および全身性成分の傾きに基づいて、ユーザHの状態が推定される。
【0038】
なお、これらオキシHb濃度の脳機能成分および全身性成分の傾きに、更にデオキシHb濃度の全身性成分の傾きを加えてユーザの状態を推定しても良い。一方、デオキシHb濃度の脳機能成分は、血流動態分離法の原理から常にオキシHb濃度の脳機能成分の定数倍の値を取るため、その傾きはオキシHb濃度の脳機能成分の傾きと略同一となる。従って、デオキシHb濃度の脳機能成分の傾きをオキシHb濃度の脳機能成分および全身性成分の傾きに加えてユーザの状態を推定しても、その精度の向上は期待できない。以下では、オキシHb濃度の脳機能成分および全身性成分の2つの傾きを用いてユーザの状態を推定する場合を説明する。
【0039】
次に図4を参照して、状態推定テーブル11cとメッセージテーブル11dとを説明する。図4(a)は、状態推定テーブル11cを模式的に示す図である。状態推定テーブル11cは、脳機能成分および全身性成分の組み合わせと、これらの組み合わせに該当するユーザHの状態とが関連付けられて記憶されるデータテーブルである。
【0040】
具体的に、状態推定テーブル11cには、脳血流データ11bに記憶される脳機能成分の傾きのうち傾きが第1所定値(例えば、2.0)よりも大きいものの割合(以下「脳機能成分の増加ch割合」という)と、脳血流データ11bに記憶される全身性成分の傾きのうち傾きが第2所定値(例えば、1.5)よりも大きいものの割合(以下「全身性成分の増加ch割合」という)とに該当するユーザHの状態が記憶される。
【0041】
ユーザHの状態としては、脳機能成分の増加ch割合が閾値αより小かつ全身性成分の増加ch割合が閾値γより小の場合は「状態AX」が設定される。脳機能成分の増加ch割合が閾値αより小の場合はユーザHの理解度が低いとされ、全身性成分の増加ch割合が閾値γより小の場合はユーザHの努力の度合いが小さいとされるので、状態AXは、ユーザHの理解度が低く、努力の度合いも小さいとされる状態である。
【0042】
状態BXは、脳機能成分の増加ch割合が閾値α以上閾値β以下の場合でユーザHの理解度が中程度、かつ全身性成分の増加ch割合が閾値γより小の場合でユーザHの努力の度合いが小さい状態であるとされ、状態CXは、脳機能成分の増加ch割合が閾値β以上の場合でユーザHの理解度が高くかつ全身性成分の増加ch割合が閾値γより小の場合でユーザHの努力の度合いが小さい状態であるとされる。
【0043】
同様に、状態AYは、脳機能成分の増加ch割合が閾値α以下の場合でユーザHの理解度が小さく、且つ全身性成分の増加ch割合が閾値γ以上の場合でユーザHの努力の度合いが大きい状態であるとされ、状態BYは、脳機能成分の増加ch割合が閾値α以上閾値β以下の場合でユーザHの理解度が中程度、かつ全身性成分の増加ch割合が閾値γ以上の場合でユーザHの努力の度合いが大きい状態であるとされ、状態CYは、脳機能成分の増加ch割合が閾値β以上の場合でユーザHの理解度が高く、かつ全身性成分の増加ch割合が閾値γ以上の場合でユーザHの努力の度合いが大きい状態であるとされる。
【0044】
次にメッセージテーブル11dを説明する。図4(b)は、メッセージテーブル11dを模式的に示す図である。メッセージテーブル11dは、ユーザHの状態(即ち状態AX,状態BX,・・・,状態CY)に該当するメッセージの種類(メッセージタイプ)が記憶されるデータテーブルである。
【0045】
具体的にメッセージテーブル11dには、ユーザHの理解度が低く努力の度合いが小さい状態AXには、ユーザHに休憩を薦める「休憩推奨メッセージ」が記憶され、ユーザHの理解度が中程度で努力の度合いが小さい状態BXには、ユーザHに簡単なヒントを与える「簡易ヒントメッセージ」が記憶され、ユーザHの理解度が高く努力の度合いが小さい状態BXには、ユーザHにその状態を維持する旨の「継続メッセージ」が記憶される。
【0046】
また、ユーザHの理解度が低く努力の度合いが大きい状態AYには、ユーザHを激励すると共に詳細なヒントを与える「激励・詳細ヒントメッセージ」が記憶され、ユーザHの理解度が中程度で努力の度合いが大きい状態BXには、ユーザHを激励すると共に簡単なヒントを与える「激励・簡易ヒントメッセージ」が記憶され、ユーザHの理解度が高く努力の度合いが大きい状態BXには、ユーザHを賞賛すると共にその状態を維持する旨の「賞賛・継続メッセージ」が記憶される。
【0047】
図2(a)に戻る。RAM12は、CPU10が状態推定プログラム11aの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するためのメモリであり、増加ch割合データ12aと、ユーザHの状態が記憶されるユーザ状態メモリ12bとが記憶される。増加ch割合データ12aは、脳機能成分および全身性成分の増加ch割合が記憶される。増加ch割合データ12aには、脳機能成分の増加ch割合が記憶される脳機能成分12a1と、全身性成分の増加ch割合が記憶される全身性成分12a2とが設けられる。
【0048】
次に図5を参照して、状態推定装置1のCPU10で実行されるメイン処理を説明する。図5は、メイン処理のフローチャートである。メイン処理は、状態推定装置1の電源投入後に実行される処理である。メイン処理はまず、脳血流計測装置2から各チャンネル(ch1~ch48)のオキシHb濃度およびデオキシHb濃度を取得する(S1)。
【0049】
S1の処理の後、各チャンネルの過去20秒間のオキシHb濃度とデオキシHb濃度とから、血流動態分離法を用いて、オキシHb濃度とデオキシHb濃度との脳機能成分および全身性成分をそれぞれ取得する(S2)。この際、メイン処理の開始直後等、S1の処理によって20秒間分のオキシHb濃度およびデオキシHb濃度が取得できていない場合は、それまでに取得できたオキシHb濃度およびデオキシHb濃度から、それぞれの脳機能成分と全身性成分とを取得する。これによって、各チャンネルのオキシHb濃度の脳機能成分の時間推移Fsn(図3(b)参照)及び全身性成分の時間推移Fsz(図3(c)参照)が取得される。
【0050】
S2の処理の後、各チャンネルのオキシHb濃度の脳機能成分の時間推移Fsnの回帰直線Dn(図3(b)参照)を算出し、算出された回帰直線Dnの傾きをそれぞれ脳血流データ11bに保存し(S3)、各チャンネルのオキシHb濃度の全身性成分の時間推移Fszの回帰直線Dz(図3(c)参照)を算出し、算出された回帰直線Dnの傾きをそれぞれ脳血流データ11bに保存する(S4)。
【0051】
S4の処理の後、脳血流データ11bに記憶される脳機能成分の傾きにおいて、傾きが第1所定値以上のチャンネル数を取得し、取得したチャンネル数を総チャンネル数(即ち48)で除算することで脳機能成分の増加ch割合を算出し、増加ch割合データ12aの脳機能成分12a1に記憶する(S5)。
【0052】
S5の処理の後、S5の処理と同様に、脳血流データ11bに記憶される全身性成分の傾きにおいて、傾きが第2所定値以上のチャンネル数を取得し、取得したチャンネル数を総チャンネル数で除算することで全身性成分の増加ch割合を算出し、増加ch割合データ12aの全身性成分12a2に記憶する(S6)。
【0053】
S6の処理の後、増加ch割合データ12aの脳機能成分12a1の脳機能成分の増加ch割合と全身性成分12a2の全身性成分の増加ch割合とを状態推定テーブル11cで参照し、該当するユーザHの状態をユーザ状態メモリ12bに保存する(S7)。これによって、ユーザHの脳機能成分および全身性成分の組み合わせに応じたユーザHの状態が推定され、推定されたユーザHの状態がユーザ状態メモリ12bに記憶される。
【0054】
S7の処理の後、ユーザ状態メモリ12bに記憶されるユーザHの状態をメッセージテーブル11dで参照し、該当するメッセージタイプのメッセージを表示装置3へ出力する(S8)。S8の処理の後、S1以下の処理を繰り返す。
【0055】
以上説明した通り、本実施形態における状態推定装置1では、脳血流計測装置2から各チャンネルのオキシHb濃度とデオキシHb濃度とが取得され、各チャンネルのオキシHb濃度とデオキシHb濃度の過去20秒間の時間推移Fs,Fdから脳機能成分と全身性成分とがそれぞれ取得される。取得された各チャンネルのオキシHb濃度の脳機能成分および全身性成分からそれぞれの増加ch割合が算出され、脳機能成分の増加ch割合および全身性成分の増加ch割合の組み合わせに応じたユーザHの状態が、状態推定テーブル11cから取得される。これにより、脳機能成分に基づくユーザHの理解度(脳活動)と、全身性成分に基づくユーザHの努力(感情の高ぶり)の双方に応じた適切なユーザHの状態を推定できる。
【0056】
この際、脳機能成分および全身性成分の増加ch割合に基づいてユーザHの状態が推定される。ここで、脳機能成分の増加ch割合、即ち脳機能成分が増加しているものの割合が大きい場合は、それだけユーザHの脳活動が活発であり、理解度が高い状態とされる。一方で脳機能成分が増加しているものの割合が小さい場合は、それだけユーザHの脳活動が活発ではなく、理解度が低い状態とされる。
【0057】
また、全身性成分の増加ch割合、即ち全身性成分が増加しているものの割合が大きい場合は、それだけユーザHの頭皮付近の血流変化が大きく、ユーザHの感情の高ぶりが大きく、努力が大きい状態とされる。一方で全身性成分が増加しているものの割合が小さい場合は、ユーザHの感情の高ぶりが小さく、努力が小さい状態とされる。よって、脳機能成分および全身性成分の増加ch割合に基づいてユーザHの状態を推定することで、ユーザの理解度の高低および努力の大小をその広がり(脳領域の広がり及び頭皮面内での広がり)として精度良く取得でき、これによって、ユーザHの状態を精度良く推定できる。
【0058】
そして、このように推定されたユーザHの状態に応じたメッセージが表示される。これにより、ユーザの脳活動および感情の高ぶりの状態に適した教示やアドバイスをユーザに提供できる。
【0059】
次に、図6図8を参照して、第2実施形態の状態推定装置100を説明する。上記した第1実施形態の状態推定装置1では、脳血流計測装置2からユーザHの頭皮から一定の深さにおけるオキシHb濃度およびデオキシHb濃度が取得され、取得されたオキシHb濃度の脳機能成分および全身性成分の傾きからユーザHの脳活動および感情の高ぶりが推定された。
【0060】
第2実施形態の状態推定装置100では、脳血流計測装置2からユーザHの頭皮からの距離に応じた3つの階層のオキシHb濃度およびデオキシHb濃度が取得され、それぞれの階層のオキシHb濃度から学習モデル(具体的には後述の状態推定モデル11e)を用いた人工知能によってユーザHの状態が推定される。第2実施形態において、上述した第1実施形態と同一の部分については、同一の符号を付し、その説明は省略する。
【0061】
まず、図6を参照して、脳血流計測装置2で取得されるユーザHの3つの階層のオキシHb濃度について説明する。図6(a)は、第2実施形態におけるユーザHの表面層のオキシHb濃度の分布を模式的に示す図であり、図6(b)は、第2実施形態におけるユーザHの中間層のオキシHb濃度の分布を模式的に示す図であり、図6(c)は、第2実施形態におけるユーザHの深層のオキシHb濃度の分布を模式的に示す図である。なお、図6(a)~(c)においては、オキシHb濃度が高い程、点(ドット)の密度が高いハッチングで表現している。
【0062】
第2実施形態の脳血流計測装置2では、ユーザHの頭皮からの距離に応じた3つの階層のオキシHb濃度およびデオキシHb濃度が取得される。具体的には、脳血流計測装置2の発光部と受光部との間隔が1.5cmである表面層(図6(a))と、発光部と受光部との間隔が3.0cmである中間層(図6(b))と、発光部と受光部との間隔が3.5cmである深層(図6(c))とにおける、それぞれオキシHb濃度等が同時に取得される。
【0063】
図6(a)~(c)に示す通り、各層で取得されるオキシHb濃度の分布はそれぞれ異なっている。これは、表面層は、ユーザHの頭皮に近いため、頭皮の血流変化が大きく反映され、深層は、ユーザHの大脳に近いため、大脳皮質の血流変化が大きく反映され、また中間層は、これら表面層と深層との間に位置するので頭皮の血流変化と大脳皮質との両方の血流変化が反映されるためである。
【0064】
第2実施形態では、表面層ではオキシHb濃度の全身性成分が抽出され、深層ではオキシHb濃度の脳機能成分が抽出され、中間層ではオキシHb濃度がそのまま抽出され、これらが組み合わせて用いられる。そして、抽出された表面層、中間層および深層のオキシHb濃度等と、後述の状態推定モデル11eとによってユーザHの状態が推定される。
【0065】
これにより、もともと頭皮の血流変化をより反映する位置である表面層のオキシHb濃度の、更に頭皮の血流変化をより反映する成分である全身性成分を用いることで、頭皮の血流変化に起因する感情の高ぶりをより精度良く推定できる。また、もともと大脳活動変化をより反映する位置である深層のオキシHb濃度の、更に脳活動をより反映する成分である脳機能成分を用いることで、脳活動をより精度良く推定できる。
【0066】
更にユーザHの状態の推定には、中間層のオキシHb濃度もそのまま用いられる。中間層には、頭皮の血流変化と大脳活動変化とが両方含まれている。よって、表面層の全身性成分で推定されるユーザHの感情の高ぶりや、深層の脳機能成分で推定されるユーザHの脳活動が極端な傾向を表しても、中間層のオキシHb濃度によってこれらの傾向が「中和」され、よりユーザHに即した、ユーザHの状態を推定できる。このように、脳機能成分、全身性成分をその階層の特徴に合わせて選択的に組み合わせて用いることで、状態推定の精度を高める効果が得られる。
【0067】
次に図7を参照して、状態推定装置100の電気的構成を説明する。図7(a)は、第2実施形態における状態推定装置100の電気的構成を示すブロック図であり、図7(b)は、第2実施形態における脳血流データ11bを模式的に示す図である。第2実施形態における脳血流データ11bには、チャンネル毎に、表面層における全身性成分の平均値と、中間層におけるオキシHb濃度の平均値と、深層における脳機能成分の平均値とが対応付けて記憶される。
【0068】
以下、脳血流データ11bに記憶される、表面層における全身性成分の平均値の全チャンネルの分布、中間層におけるオキシHb濃度の平均値の全チャンネルの分布および深層における脳機能成分の平均値の全チャンネルの分布のことをまとめて「脳血流分布」という。
【0069】
また第2実施形態のHDD11には、第1実施形態の状態推定テーブル11cの代わりに、状態推定モデル11eが記憶される。状態推定モデル11eは、多数の脳血流分布と、対応するユーザHの状態とを機械学習させた学習モデルである。状態推定モデル11eの作成手法としては、予め多数の脳血流分布と対応するユーザHの状態(即ち図4(b),(c)の状態AX,BX,・・・,CY)とを用意し、ある脳血流分布が状態推定モデル11eに入力された場合に、その脳血流分布に対応するユーザHの状態が出力されるように状態推定モデル11eのパラメータが調整(機械学習)される。かかるパラメータ調整を、脳血流分布および対応するユーザHの状態の多数の組み合わせについて行うことで、状態推定モデル11eが作成される。
【0070】
このように作成された状態推定モデル11eの学習モデルと脳血流データ11bに記憶される脳血流分布とによって、ユーザHの状態が推定される。
【0071】
次に図8を参照して、状態推定装置100のCPU10で実行されるメイン処理を説明する。図8は、第2実施形態におけるメイン処理のフローチャートである。第2実施形態のメイン処理はまず、脳血流計測装置2から各チャンネル(ch1~ch48)及び各階層(表面層、中間層および深層)のオキシHb濃度およびデオキシHb濃度を取得する(S100)。
【0072】
S100の処理の後、各チャンネル及び各階層の過去20秒間のオキシHb濃度とデオキシHb濃度とから、血流動態分離法を用いて、各チャンネル及び各階層のオキシHb濃度とデオキシHb濃度との脳機能成分および全身性成分をそれぞれ取得する(S101)。この際、図5のS2の処理と同様に、メイン処理の開始直後等、S100の処理によって20秒間分のオキシHb濃度およびデオキシHb濃度が取得できていない場合は、それまでに取得できたオキシHb濃度およびデオキシHb濃度から、それぞれの脳機能成分と全身性成分とが取得される。
【0073】
S101の処理の後、各チャンネルの表面層におけるオキシHb濃度の全身性成分の過去20秒間の平均値をそれぞれ算出し、脳血流データ11bに保存する(S102)。S102の処理の後、各チャンネルの中間層におけるオキシHb濃度の過去20秒間の平均値をそれぞれ算出し、脳血流データ11bに保存する(S103)。S103の処理の後、各チャンネルの深層におけるオキシHb濃度の脳機能成分の過去20秒間の平均値をそれぞれ算出し、脳血流データ11bに保存する(S104)。S102~S104の処理によって、ユーザHの脳血流分布が取得され、脳血流データ11bに記憶される。
【0074】
S104の処理の後、脳血流データ11bの脳血流分布を状態推定モデル11eの学習モデルに入力することで、該当するユーザHの状態を取得し、ユーザ状態メモリ12bに保存する(S105)。S105の処理の後、上記のS8以下の処理を実行する。
【0075】
以上説明した通り、第2実施形態の状態推定装置100では、脳血流計測装置2から表面層、中間層および深層のそれぞれのオキシHb濃度等が取得される。そして、表面層ではオキシHb濃度の全身性成分が、深層ではオキシHb濃度の脳機能成分が、中間層ではオキシHb濃度がそのまま抽出される。これら階層、即ちユーザHの頭皮からの距離に応じて、ユーザHの脳活動および感情の高ぶりに特化した情報を含んでいるとされる。そこで、表面層、中間層および深層による複数の階層の脳血流分布を用いることで、ユーザHに即した、ユーザHの状態を推定できる。
【0076】
また、ユーザHの状態が、脳血流データ11bの脳血流分布と状態推定モデル11eの学習モデルとから推定される。状態推定モデル11eの学習モデルは、予め多数の脳血流分布と対応するユーザHの状態から機械学習することで作成されるので、このような学習モデルに基づくことで、ユーザHの状態を精度良く推定できる。
【0077】
以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。
【0078】
上記実施形態では、脳血流計測装置2から取得されたオキシHb濃度からユーザHの状態を推定した。しかし、これに限られず、オキシHb濃度からユーザHの状態の変化点(例えば、状態が「状態AX」から「状態BX」に切り替わるタイミング)を検出し、検出された変化点に応じたメッセージを表示装置3に表示しても良い。
【0079】
この場合、例えば、オキシHb濃度における脳機能成分の時間推移Fsnの変曲点と全身性成分の時間推移Fszの変曲点とを検出し、これらの変曲点の組み合わせからユーザHの状態の変化点を検出すれば良い。この場合、脳機能成分または全身性成分のいずれかの変曲点をユーザHの状態の変化点としても良いし、脳機能成分と全身性成分との両方の変曲点が略同時に検出された場合をユーザHの状態の変化点としても良い。
【0080】
このようなユーザHの状態の変化点を検出することにより、ユーザHの状態の変化およびその変化したタイミングを把握できると共に、これらの変化およびタイミングに応じた、きめ細やかな教示やアドバイス等をユーザHに提供できる。
【0081】
第1実施形態では、脳血流計測装置2から、頭皮から一定の距離におけるオキシHb濃度等を取得し、取得されたオキシHb濃度の脳機能成分および全身性成分の増加ch割合からユーザHの状態を推定した。また、第2実施形態では、脳血流計測装置2から複数の階層のオキシHb濃度等を取得し、取得された複数の階層のオキシHb濃度等(即ち脳血流分布)と状態推定モデル11eの学習モデルとからユーザHの状態を推定した。しかし、ユーザHの状態を推定する手法は、第1実施形態および第2実施形態のような組み合わせに限られない。
【0082】
例えば、第1実施形態のように脳血流計測装置2から、頭皮から一定の距離におけるオキシHb濃度等を取得し、取得されたオキシHb濃度等と第2実施形態の状態推定モデル11eの学習モデルとからユーザHの状態を推定しても良い。この場合の状態推定モデル11eの学習モデルは、例えば、頭皮から一定の距離におけるオキシHb濃度の脳機能成分および全身性成分と、対応するユーザHの状態とを機械学習することで構成すれば良い。また、第2実施形態のように脳血流計測装置2から複数の階層のオキシHb濃度等を取得し、取得された複数の階層のオキシHb濃度の脳機能成分および全身性成分の増加ch割合から、第1実施形態のようにユーザHの状態を推定しても良い。
【0083】
更には、脳機能成分および全身性成分の増加ch割合によるユーザHの状態の推定と、状態推定モデル11eの学習モデルによるユーザHの状態の推定とを両方行っても良い。この場合、例えば、脳機能成分および全身性成分の増加ch割合によって推定されたユーザHの状態と、状態推定モデル11eの学習モデルによって推定されたユーザHの状態とを、それぞれ重み付けすることで、最終的なユーザHの状態を推定しても良いし、その他の手法で最終的なユーザHの脳活動および感情の高ぶりを推定しても良い。
【0084】
第1実施形態では、ユーザHの状態を推定において、脳機能成分および全身性成分の増加ch割合を用いたが、これに限られない。例えば、脳機能成分の増加ch割合の代わりに、脳血流データ11bに記憶される脳機能成分の傾きが第1所定値よりも大きいもののチャンネル数を用いても良いし、同様に、全身性成分の増加ch割合の代わりに、脳血流データ11bに記憶される全身性成分の傾きが第2所定値よりも大きいもののチャンネル数を用いても良い。この場合、状態推定テーブル11c(図4(a)参照)には、これらのチャンネル数に応じたユーザHの状態を記憶すれば良い。
【0085】
また、傾きが大きなチャンネル数や増加ch割合の代わりに、脳機能成分および全身性成分の傾きが0付近の変化がないもののチャンネル数やその割合を用いてユーザHの状態を推定しても良いし、脳機能成分および全身性成分の傾きが0より小さいもののチャンネル数やその割合を用いてユーザHの状態を推定しても良い。これら場合も、状態推定テーブル11cにはこれらのチャンネル数や割合に応じたユーザHの状態を記憶すれば良い。
【0086】
第2実施形態では、表面層の全身性成分、中間層のオキシHb濃度および深層の脳機能成分のそれぞれの平均値と、状態推定モデル11eの学習モデルとに基づいてユーザHの状態を推定した。しかし、ユーザHの状態の推定に用いられるのは、表面層の全身性成分等の平均値に限られず、中央値や最大値、最小値、標準偏差等の他の値を用いても良い。
【0087】
上記実施形態では、ユーザHの脳活動として理解度を推定し、感情の高ぶりとして努力の大小を推定した。しかし、これに限られず、ユーザHの脳活動として認知や判断等を推定しても良いし、ユーザHの感情の高ぶりとして驚きや興奮等の情動反応や緊張状態や、喜びや怒り、悲しみの度合いを推定しても良い。
【0088】
また、ユーザHの理解度を高・中・低の3段階で推定したが、これに限られない。ユーザHの理解度を3段階以下で推定しても良いし、3段階以上で推定しても良い。同様に、ユーザHの努力を大・小の2段階で推定したが、これに限られない。ユーザHの努力を2段階以下で推定しても良いし、2段階以上で推定しても良い。
【0089】
第1実施形態では、ユーザHの理解度を脳機能成分の増加ch割合と固定の閾値α,βとで推定し、ユーザHの努力を全身性成分の増加ch割合と、固定の閾値α,βとで推定した。しかし、これに限られず、閾値α,β,γを可変の値としても良い。例えば、ユーザH毎に閾値α,β,γを設定しても良い。
【0090】
また、まずユーザHの理解度を脳機能成分の増加ch割合と固定の閾値α,βとで推定し、推定されたユーザHの理解度に応じて変化させた閾値γ(例えば、ユーザHの理解度が高の場合の閾値γはユーザHの理解度が低の場合の閾値γよりも大きな値とする)と全身性成分の増加ch割合とでユーザHの努力を推定しても良いし、これとは逆に、まず、ユーザHの努力を全身性成分の増加ch割合と固定の閾値γとで推定し、推定されたユーザHの努力に応じて変化させた閾値α,βを変化させても良い。これにより、先に推定されたユーザHの理解度または努力に応じた、ユーザHの努力または理解度を推定できるので、ユーザHの状態をより精度よく推定できる。
【0091】
第2実施形態では、脳血流計測装置2で取得される階層を表面層、中間層および深層の3つとした。しかし、これに限られず、脳血流計測装置2で取得される階層は2つでも良いし、4つ以上でも良い。
【0092】
上記実施形態では、ユーザHの額に脳血流計測装置2が装着されたが、これに限られない。ユーザHの後頭部や側頭部、頭頂部等のユーザHの頭部の他の位置に、脳血流計測装置2が装着されても良い。
【0093】
上記実施形態では、出力装置として表示装置3を例示したが、これに限られない。例えば、スピーカで出力装置を構成し、スピーカから出力される音声によって、ユーザHの状態に応じた教示等を提示しても良いし、振動装置で出力装置を構成し、振動装置からの振動によって、ユーザHの状態に応じた教示等を提示しても良い。
【0094】
上記実施形態では、状態推定プログラム11aが組み込まれた状態推定装置1を例示したが、これに限られず、パーソナルコンピュータやスマートフォン、タブレット端末等の情報処理装置(コンピュータ)によって状態推定プログラム11aを実行する構成としても良い。
【0095】
上記実施形態に挙げた数値は一例であり、他の数値を採用することは当然可能である。
【符号の説明】
【0096】
1,100 状態推定装置
H ユーザ
11a 状態推定プログラム
11e 状態推定モデル
S1,S100 脳血流取得手段、脳血流取得ステップ
S2,S101 成分取得手段、成分取得ステップ
S7,S105 状態推定手段、状態推定ステップ
S8 出力手段、出力ステップ
図1
図2
図3
図4
図5
図6
図7
図8