特許 7504376 ユーザ状態判定装置、ユーザ状態判定方法、プログラム、コンピュータ、および、ユーザ状態判定装置作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】ユーザ状態判定装置、ユーザ状態判定方法、プログラム、コンピュータ、および、ユーザ状態判定装置作成方法

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240617BHJP

   A61B 5/372 20210101ALI20240617BHJP

   A61B 5/398 20210101ALI20240617BHJP

   A61B 5/245 20210101ALI20240617BHJP

【ＦＩ】

A61B5/16 130

A61B5/372

A61B5/398

A61B5/245

【請求項の数】 12

(21)【出願番号】P 2020208799

(22)【出願日】2020-12-16

(65)【公開番号】P2022095462

(43)【公開日】2022-06-28

【審査請求日】2023-08-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】松下 詩穂

(72)【発明者】

【氏名】ギョルゲ ルチアン

(72)【発明者】

【氏名】清水 俊行

(72)【発明者】

【氏名】小谷 泰則

(72)【発明者】

【氏名】大上 淑美

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】特開２０１５－０５４２４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０３１９８６９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－ ５／０５３８

５／０６－ ５／３９８

Ｇ０６Ｑ ５０／２２

Ｇ１６Ｈ １０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するユーザ状態判定装置であって、
前記ユーザの脳活動状態を計測する脳計測手段と、
前記ユーザの目の瞬き動作を検出する瞬き検出手段と、
前記瞬き検出手段により検出された前記瞬き動作時における前記脳活動状態に基づいて、前記ユーザ状態を判定する判定手段と、
を備えたことを特徴とするユーザ状態判定装置。

【請求項2】

請求項１に記載のユーザ状態判定装置において、
前記脳計測手段は、
前記脳活動を、脳波計、脳磁計、または、脳電位計により検出する
ことを特徴とするユーザ状態判定装置。

【請求項3】

請求項１または２に記載のユーザ状態判定装置において、
前記瞬き検出手段は、
前記瞬き動作を、前記脳計測手段の信号から抽出した眼電位に基づいて検出する
ことを特徴とするユーザ状態判定装置。

【請求項4】

請求項１乃至３のいずれか一つに記載のユーザ状態判定装置において、
前記判定手段は、
前記瞬き動作時における前記脳活動の活動量の大きさに基づいて、前記ユーザの注意状態もしくは前記ユーザの没入度合いを含む、前記ユーザ状態を判定する
ことを特徴とするユーザ状態判定装置。

【請求項5】

請求項４に記載のユーザ状態判定装置において、
前記判定手段は、
複数回の前記瞬き動作時における前記脳活動の活動量の大きさの平均に基づいて前記ユーザ状態を判定する
ことを特徴とするユーザ状態判定装置。

【請求項6】

請求項１乃至５のいずれか一つに記載のユーザ状態判定装置において、
前記判定手段は、
前記瞬き動作時における前記脳活動状態について、個人毎の判定基準に基づいて前記ユーザ状態を判定する
ことを特徴とするユーザ状態判定装置。

【請求項7】

請求項１乃至６のいずれか一つに記載のユーザ状態判定装置において、
前記判定手段は、
前記瞬き動作時における前記脳活動状態について、視認対象毎の判定基準に基づいて前記ユーザ状態を判定する
ことを特徴とするユーザ状態判定装置。

【請求項8】

ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するユーザ状態判定方法であって、
前記ユーザの脳活動状態を計測し、前記ユーザの目の瞬き動作を検出した場合に、検出された前記瞬き動作時における、前記脳活動状態に基づいて、前記ユーザ状態を判定する
ことを特徴とするユーザ状態判定方法。

【請求項9】

ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するユーザ状態判定方法を、コンピュータに実行させるためのプログラムであって、
前記ユーザの脳活動状態を計測する脳計測ステップと、
前記ユーザの目の瞬き動作を検出する瞬き検出ステップと、
前記瞬き検出ステップにて検出された前記瞬き動作時における前記脳活動状態に基づいて、前記ユーザ状態を判定する判定ステップと、
をコンピュータに実行させるためのプログラム。

【請求項10】

ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するユーザ状態判定装置であって、
前記ユーザの脳活動状態を計測する脳計測手段と、
前記ユーザの目の瞬き動作を検出する瞬き検出手段と、
に接続された場合、
前記瞬き検出手段により検出された前記瞬き動作時における前記脳活動状態に基づいて、前記ユーザ状態を判定するユーザ状態判定装置。

【請求項11】

ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するユーザ状態判定装置をコンピュータにおいて実現するユーザ状態判定装置作成方法であって、
前記ユーザの脳活動状態を計測する脳計測手段と、
前記ユーザの目の瞬き動作を検出する瞬き検出手段と、
に接続されるよう制御するステップと、
前記瞬き検出手段により検出された前記瞬き動作時における前記脳活動状態に基づいて、前記ユーザ状態の判定が行われるよう制御するステップと、
を含むユーザ状態判定装置作成方法。

【請求項12】

ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するユーザ状態判定装置をコンピュータにおいて実現するためのプログラムであって、
前記ユーザの脳活動状態を計測する脳計測手段と、
前記ユーザの目の瞬き動作を検出する瞬き検出手段と、
に接続されるよう制御するステップと、
前記瞬き検出手段により検出された前記瞬き動作時における前記脳活動状態に基づいて、前記ユーザ状態の判定が行われるよう制御するステップと、
を含む方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザ状態判定装置、ユーザ状態判定方法、プログラム、コンピュータ、および、ユーザ状態判定装置作成方法に関するものである。

【背景技術】

【0002】

従来、ユーザの注意状態を判定する注意状態判別システムが開示されている。例えば、特許文献１では、ユーザの脳波信号と眼球運動を計測し、計測された眼球運動から眼球停留の開始時刻を起点とした眼球停留関連電位（EFRP：Eye Fixation Related Potential）を利用して、ユーザの注意状態を判別する注意状態判別システムについて開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５５７０３８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、脳波の解析タイミングを、眼球停留時としているので、運転中のユーザなど、常に視認対象が動いている場合には適用できるものの、画面視聴時など視認対象や視線（眼球）が動かない継続的な刺激の場合には適用できない。

【0005】

本発明は、上記課題に鑑みて成されたものであり、その目的は、画面視聴時など視認対象や視線（眼球）が動かない場合であっても、精度よくユーザ状態を判定できる、ユーザ状態判定装置、ユーザ状態判定方法、プログラム、コンピュータ、および、ユーザ状態判定装置作成方法を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様は、ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するため、前記ユーザの脳活動状態を計測し、前記ユーザの目の瞬き動作を検出した場合に、検出された前記瞬き動作時における、前記脳活動状態に基づいて、前記ユーザ状態を判定する。

【発明の効果】

【0007】

本発明によれば、視認対象や視線が動かない場合であっても、精度よくユーザ状態を判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施の形態にかかるユーザ状態判定装置１００の構成の一例を示すブロック図である。

【図2】図２は、瞬き誘発電位（EEP：Eyeblink-Evoked Potential）と没入状態の関係を示す図である。

【図3】図３は、高没入、低没入、および、参考として設定した別条件において、瞬き時点（０ｍｓ）以降の瞬き誘発電位（ＥＥＰ）の変動を示すグラフ図である。

【図4】図４は、本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例（実施例１）を示すフローチャートである。

【図5】図５は、本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例（実施例２）を示すフローチャートである。

【図6】図６は、本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例（実施例３）を示すフローチャートである。

【発明を実施するための形態】

【0009】

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。なお、以下では、自動運転中の移動体に乗車しているユーザ（利用者）に適用した場合を一例として説明する場合があるが、これに限られず、本発明が対象とするユーザは、任意の状態及び動作を行っている人間を利用者とすることが可能である。

【0010】

（ユーザ状態判定装置の構成）
図１は、本実施の形態にかかるユーザ状態判定装置１００の構成の一例を示すブロック図である。図１のブロック図に示すように、本実施形態が適用されるユーザ状態判定装置１００の構成は、該構成のうち本実施形態に関係する部分のみを概念的に示している。なお、自動運転中の利用者を想定した場合、ユーザ状態判定装置１００は、一例として車両内の任意の場所に設置されてもよく、あるいは、制御部１０２や記憶部１０２は遠隔の場所に設置され、通信ネットワークなどを介して車両内の脳計測部１１２や瞬き検出部１１４等と通信を行ってもよい。

【0011】

図１において、ユーザ状態判定装置１００は、概略的に、ユーザ状態判定装置１００の全体を統括的に制御するＣＰＵ等の制御部１０２、脳計測部１１２、瞬き検出部１１４、および、各種のデータベースなどを格納する記憶部１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。ここで、ユーザ状態判定装置１００は、ＥＣＵ（engine control unit)や、マイクロコンピュータや、パーソナルコンピュータ、サーバ用コンピュータなどであってもよい。

【0012】

記憶部１０６に格納される各種のデータベースやテーブル（例えば、個人データベース１０６ａや視認対象別データベースファイル１０６ｂ等）は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を用いて構成される小容量高速メモリ（例えば、キャッシュメモリ）等や、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベース等を格納する。

【0013】

このうち、個人データベース１０６ａは、瞬き動作時の脳活動の個人毎のデータベースである。一例として、個人データベース１０６ａは、ある個人における、脳活動とユーザ状態（没入度合等）との相関を示すデータを記憶する。例えば、乗車中の利用者個人によって、脳活動状態（脳電位等）とユーザ状態（没入度合等）との相関関係は異なることが起こり得る。後述する判定部１０２ａは、個人データベース１０６ａを参照することにより、特定の個人の瞬き動作時における脳活動状態から、精度よくユーザ状態を判定することができる。また、後述する学習部１０２ｂは、ある個人における、脳活動状態とユーザ状態とを対応付けて個人データベース１０６ａに格納してもよく、個人データベース１０６ａを参照して個人毎の判定基準（例えば、高没入状態と判定する脳活動状態の閾値）等を学習してもよい。

【0014】

また、視認対象別データベース１０６ｂは、瞬き動作時の脳活動の視認対象毎のデータベースである。一例として、個人データベース１０６ａは、視認対象毎に、脳活動とユーザ状態（没入度合等）とを対応付けて記憶する。例えば、乗車中の利用者が、動画やカーナビなどの画面を視聴している場合と、車両周囲の環境を視認している場合とでは、脳活動状態（脳電位等）とユーザ状態（没入度合等）との相関関係は異なることが起こり得る。後述する判定部１０２ａは、視認対象別データベース１０６ｂを参照することにより、特定の視認対象における、瞬き動作時の脳活動状態から、精度よくユーザ状態を判定することができる。また、後述する学習部１０２ｂは、視認対象毎に、脳活動状態とユーザ状態とを対応付けて視認対象別データベース１０６ｂに格納してもよく、視認対象別データベース１０６ｂを参照して個人毎の判定基準（例えば、画面視聴時において高没入状態と判定する脳活動状態の閾値）等を学習してもよい。

【0015】

また、脳計測部１１２は、ユーザの脳活動状態（脳電位、脳磁場、脳波など）を計測する脳計測手段である。脳計測部１１２は、一例として、脳活動に起因する磁場計測手段、電波計測手段（Freer）、頭皮表面の電位計測手段であってもよく、脳波計、脳磁計、または、脳電位計と呼ばれるものであってもよい。脳計測部１１２は、高い時間分解能で計測できるものが望ましい。脳計測部１１２は、好適には、非接触式が望ましいが、接触式であってもよい。

【0016】

例えば、非接触式の脳計測部１１２としては、Freer Logic社製Neurobiomonitor headrestを用いてもよい（http://freerlogic.com/products/hardware）。また、非接触式の脳計測部１１２は、以下の脳電位計等であってもよい（特許第5981506号）／（特願2019-201280）／（Takamasa Ando他, Non-contact acquisition of brain function using a time-extracted compact camera，Scientific Reports | (2019) 9:17854 | https://doi.org/10.1038/s41598-019-54458-7）。また、医療用であるが、脳磁計測システム「RICOH MEG」を利用して車載用の脳計測部１１２を構成してもよい（脳磁計測システム RICOH160-1（医療機器認証番号：22100BZX00914000），https://jp.ricoh.com/release/2018/0709_1.html）

【0017】

また、瞬き検出部１１４は、ユーザの目の瞬き動作を検出する瞬き検出手段である。なお、瞬き検出部１１４は、脳計測部１１２と別筐体として図示しているが、これに限られず、同一のもの（ハードウェアおよび／またはソフトウェア）であってもよい。例えば、脳計測部１１２の信号から抽出した眼電位（EOG：Electro Oculo Graphy）に基づいて瞬き動作を検出することができる。なお、瞬き検出部１１４は、ハードウェアとして、および／または、ソフトウェアとして実現されてもよい。また、瞬き検出部１１４は、制御部１０２の一部として構成してもよい。

【0018】

一例として、瞬き検出部１１４は、脳波解析システム（BESA Research 7.0）の瞬き電位除去技術を応用して、予め作成した、瞬きによりどのような頭皮上の電位が生じるかに関するモデルに基づいて、瞬きによる電位推定してもよい。また、以下に列挙する技術を用いて、瞬き検出部１１４は、ユーザの目の瞬き動作を検出してもよい。
・Berg, P., and Scherg, M. A multiple source approach to the correction of eye artifacts, Electroenceph. clin. Neurophysiol., 1994, 90: 229-241.
・Ille N., Berg P., and Scherg M. A Spatial Components Method for Continuous Artifact Correction in EEG and MEG. Biomed. Tech., 1997, 42 (suppl. 1): 80-83.
・Ille, N., Berg, P., Scherg, M. Artifact correction of the ongoing EEG using spatial filters based on artifact and brain signal topographies. J. Clin. Neurophysiol. 2002, 19: 113-124.
・Uusitalo, M.A., Ilmoniemi, R.J. Signal-space projection method for separating MEG or EEG into components. Med. Biol. Eng. Comput., 1997, 35: 135-140.
・http://wiki.besa.de/index.php?title=BESA_Research_Artifact_Correction

【0019】

また、図１において、制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行うＣＰＵ等のプロセッサである。制御部１０２は、機能概念的に、判定部１０２ａ、および、学習部１０２ｂを備えて構成される。

【0020】

このうち、判定部１０２ａは、瞬き検出部１１４により検出された瞬き動作時における脳活動状態に基づいて、ユーザ状態（ユーザの注意状態もしくはユーザの没入度合い等）を判定する判定手段である。ここで、「瞬き動作時」とは、「瞬き直後」、「瞬きの目を閉じた直後」、「瞬き直前」、「瞬き前後」、「瞬き時」、「瞬きの瞬間」、「瞬きの期間」、または「瞬きの目を閉じてから完全に開くまでの期間」であってもよい。なお、瞬き検出部１１４により検出される瞬き動作時が、時点である場合であっても、判定部１０２ａは、その時点の前後や、その時点の以降（直後）の一定の時間（期間）の脳活動状態（脳電位、脳磁場、脳波等）を切り出して、それに基づいてユーザ状態の判定を行ってもよい。

【0021】

ここで、判定の精度を高めるため、判定部１０２ａは、複数回の瞬き動作時における脳活動量の活動量の大きさの平均を求めて、それに基づいてユーザ状態を判定してもよい。例えば、判定部１０２ａは、瞬き検出部１１４により検出された瞬き動作をトリガーとして、脳波を加算平均することにより、脳のリセットを反映した陰性の頭皮上の電位である瞬き誘発電位（EEP：Eyeblink-Evoked Potential）を得てもよい。

【0022】

一例として、判定部１０２ａは、瞬き検出部１１４により検出された瞬き動作時における脳活動の活動量の大きさに基づいて、ユーザの注意状態もしくはユーザの没入度合いを含むユーザ状態を判定してもよい。例えば、判定部１０２ａは、瞬き直後の脳電位が大きければユーザ状態を低没入状態と判定し、瞬き直後の脳電位が小さければユーザ状態を高没入状態と判定してもよい。ここで、図２は、瞬き誘発電位（EEP：Eyeblink-Evoked Potential）と没入状態の関係を示す図である。図３は、高没入、低没入、および、参考として設定した別条件において、瞬き時点（０ｍｓ）以降の瞬き誘発電位（ＥＥＰ）の変動を示すグラフ図である。

【0023】

瞬きをした瞬間にDMN（Default Mode Network：安静状態の時に賦活するネットワーク）の活動が高まることより、瞬きは脳をリセットすることが知られている。ここで、瞬きをトリガーとして脳波を加算平均する等により、瞬き誘発電位（EEP）が得られる。図２および図３に示すように、動画に没入した状態、すなわち没入度合が高い状態では、瞬きによる脳のリセット度合が浅くなるので瞬き誘発電位（EEP）（脳のリセットを反映した陰性の頭皮上の電位）が小さくなり、没入度合が低い時は、瞬きによる脳のリセット度合が深くなるので瞬き誘発電位（EEP）が大きくなる。そのため、判定部１０２ａは、瞬き時の脳活動量の大きさ（例えば瞬き直後一定期間の脳波形の極大値）に基づいて、脳活動量が大きければユーザ状態を低没入状態と判定し、瞬き直後の脳活動量が小さければユーザ状態を高没入状態と判定することができる。

【0024】

また、判定部１０２ａは、瞬き動作時における脳活動状態について、個人毎の判定基準に基づいてユーザ状態を判定してもよい。瞬き動作時における脳活動状態は個人間でばらつきが生じるので、これにより精度よくユーザ状態を判定することができる。一例として、判定部１０２ａは、瞬き動作時における脳活動状態について、個人データベース１０６ａを参照して、ユーザ状態を判定してもよい。また、判定部１０２ａは、個人データベース１０６ａに基づく学習部１０２ｂの学習結果（高没入状態と判定する脳活動状態の閾値などの判定基準等）に応じて、ユーザ状態を判定してもよい。

【0025】

また、判定部１０２ａは、瞬き動作時における脳活動状態について、視認対象毎の判定基準に基づいてユーザ状態を判定してもよい。何を見ているときの瞬きかによって脳活動状態はばらつきが生じるので、これにより精度よくユーザ状態を判定することができる。一例として、判定部１０２ａは、瞬き動作時における脳活動状態について、視認対象別データベース１０６ｂを参照して、ユーザ状態を判定してもよい。また、判定部１０２ａは、視認対象別データベース１０６ｂに基づく学習部１０２ｂの学習結果（高没入状態と判定する脳活動状態の閾値などの判定基準等）に応じて、ユーザ状態を判定してもよい。

【0026】

また、学習部１０２ｂは、瞬き動作時における脳活動状態に対するユーザ状態の判定基準等を学習する機械学習手段である。学習部１０２ｂは、ある個人における、脳活動状態とユーザ状態とを対応付けて個人データベース１０６ａに格納してもよく、個人データベース１０６ａを参照して個人毎の判定基準（例えば、高没入状態と判定する脳活動状態の閾値）等を学習してもよい。また、学習部１０２ｂは、視認対象毎に、脳活動状態とユーザ状態とを対応付けて視認対象別データベース１０６ｂに格納してもよく、視認対象別データベース１０６ｂを参照して個人毎の判定基準（例えば、画面視聴時において高没入状態と判定する脳活動状態の閾値）等を学習してもよい。

【0027】

ここで、学習は、教師付き学習、教師無し学習、強化学習であってもよい。学習アルゴリズムの例として、サポートベクターマシン(SVM)、決定木学習、ニューラルネットワーク(NN)、遺伝的(Genetic)プログラミング(GP)、ベイジアンネットワーク等を用いてもよい。

【0028】

以上で、本実施形態のユーザ状態判定装置１００の各構成の説明を終える。なお、本実施形態は、車両等のＥＣＵやコンピュータにおいて、はじめからユーザ状態判定装置１００として機能することを前提としなくともよい。例えば、記憶部１０６に、個人データベース１０６ａや視認対象データベース１０６ｂが備えられていない場合であっても、制御部１０２が脳計測部１１２や瞬き検出部１１４等のデータを記憶部１０６に格納することにより、個人データベース１０６ａや視認対象データベース１０６ｂを作成してもよい。同様に、制御部１０２に判定部１０２ａの機能がない場合であっても、学習部１０２ｂが、個人データベース１０６ａや視認対象データベース１０６ｂなど記憶部１０６に記憶されたデータに基づいて、ユーザ状態の判定基準を機械学習で得ることにより、制御部１０２において判定部１０２ａとしての機能が実現するように制御してもよい。また、制御部１０２に脳計測部１１２や瞬き検出部１１４が接続されていない場合であっても、所定のプログラム等により、これら周辺機器等との接続が実現するように制御されてもよい。これにより、画面視聴時など視認対象や視線（眼球）が動かない場合であっても、精度よくユーザ状態を判定できる、ユーザ状態判定装置を作ることができる。

【0029】

（ユーザ状態判定処理）
次に、このように構成された本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例について、以下に図４～図６を参照して詳細に説明する。図４は、本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例（実施例１）を示すフローチャートである。

【0030】

（実施例１）
図４に示すように、まず、脳計測部１１２は、ユーザの脳活動状態の計測を開始する（ステップＳ０１）。

【0031】

脳波計測中（Ｓ０２）において、瞬き検出部１１４が瞬きを検出すると（ステップＳ０３，Ｙｅｓ）、判定部１０２ａは、脳計測部１１２の信号から、瞬きタイミング前後の脳波を抽出する（ステップＳ０４）。例えば、判定部１０２ａは、瞬き直後から一定時間（例えば１００ｍｓ）における極大値を、瞬き動作時の脳活動量として抽出してもよい。

【0032】

そして、判定部１０２ａは、抽出した脳波の値が、所定の閾値を超えるか否かを判定し（ステップＳ０５）、一例として、閾値を超えていなければ（Ｓ０５，Ｎｏ）没入度が高いと判定し（ステップＳ０７）、閾値を超えていれば没入度が低いと判定する（ステップＳ０６）。

【0033】

そして、判定部１０２ａは、没入度のユーザ状態の判別結果を出力して（ステップＳ０８）、処理を終了する（ステップＳ０９）。

【0034】

以上により、視認対象に対する没入度合を判別することができる。また、非接触式の脳計測部１１２を用いた場合、眼電位計測装置等の装着が不要になるので煩わしさを抑えることができる。また、車両周囲ではなく、車両内に設置された画面を見ている場合などのように視線が動かない視認対象であっても適用することが可能となる。

【0035】

（実施例２）
本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例として実施例２について、以下に図５を参照して詳細に説明する。

【0036】

図５は、本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例（実施例２）を示すフローチャートである。なお、処理の流れは実施例１と同様であるので、実施例１と異なる部分を中心に説明する。

【0037】

実施例２では、判定の精度を高めるため、判定部１０２ａは、複数回の瞬き動作時における脳活動量の平均を求めて、それに基づいてユーザ状態を判定する。

【0038】

すなわち、図５に示すように、判定部１０２ａは、脳計測部１１２の信号から、瞬き動作タイミングの脳波を抽出して値を加算するステップＳ０４２を必要回数繰り返し（ステップＳ０４３）、瞬き動作時の脳活動量の平均を求め、平均の脳活動量と閾値に基づいて没入度を判定する（ステップＳ０５～Ｓ０８）。

【0039】

これにより、実施例１に比べて、視認対象に対する没入度合を、より高精度に判別することが可能となる。

【0040】

（実施例３）
本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例として実施例３について、以下に図６を参照して詳細に説明する。

【0041】

図６は、本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例（実施例３）を示すフローチャートである。なお、処理の流れは実施例１，２と同様であるので、実施例１，２と異なる部分を中心に説明する。

【0042】

自動車における視認対象は、一例として、車周囲環境と情報提示装置（テレビやカーナビなどの表示画面）が想定され、ユーザがいずれを見ているかによって瞬き時の脳活動状態は変動し得る。そこで、実施例３では、その場合の判定の精度を高めるため、学習部１０２ｂは、脳活動状態とユーザ状態とを対応付けた視認対象別データベース１０６ｂを構築し、判定部１０２ａは、視認対象別データベース１０６ｂを参照することにより精度よくユーザ状態を判定することを目的とする。

【0043】

すなわち、図６に示すように、学習部１０２ｂは、ステップＳ０４において判定部１０２ａにより切り出された脳活動量と、ステップＳ１１およびＳ１６において判定部１０２ａにより判定された没入度の判定結果を、対応付けて視認対象別データベース１０６ｂに格納する（ステップＳ０５）。その際、学習部１０２ｂは、ステップＳ０６にて決定した視認対象の情報（この場合、没入対象が車両周辺環境（Ｓ０７）か情報提示装置（Ｓ１２）かの情報）も対応付けて、視認対象別データベース１０６ｂに格納する。

【0044】

これにより、学習部１０２ｂは、視認対象別データベース１０６ｂに基づく教師付き機械学習を実行して、視認対象別の閾値（Ｓ０８，Ｓ１３）を、判定部１０２ａの判定基準として生成することができる。

【0045】

なお、この実施例３では、視認対象別にデータベースを構築し、視認対象別の判定基準を生成する例について説明したが、これに限られず、これと同様の手順にて、個人別にデータベース（すなわち、個人データベース１０６ａ）を構築して、個人別の判定基準を生成してもよい。

【0046】

以上により、視認対象毎あるいは個人毎に、瞬き時の脳活動量と没入度の関係にばらつきがある場合であっても、精度よくユーザ状態を判定することが可能となる。

【0047】

（本実施形態の作用効果）
以上説明したように、本実施形態によれば、以下の作用効果が得られる。

【0048】

本実施の形態では、ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するため、ユーザの脳活動状態を計測し、ユーザの目の瞬き動作を検出した場合に、検出された瞬き動作時における脳活動状態に基づいて、ユーザ状態を判定する。

【0049】

これにより、従来の眼球停留関連電位（EFRP）を基準とした判定方法のように眼球の動きがあることを条件とすることがなく、ユーザの目の瞬き動作時の脳活動状態に基づいてユーザ状態を判定することができるので、画面視聴時など視認対象や視線（眼球）が動かない場合であっても、精度よくユーザ状態を判定できる。

【0050】

また、本実施形態によれば、脳計測は、脳活動を、脳波計、脳磁計、または、脳電位計により検出するので、高い時間分解能で計測できるセンサ等による脳波、脳磁場、脳電位に基づいて精度よくユーザ状態を判定することができる。

【0051】

また、本実施形態によれば、瞬き動作を、脳計測の信号から抽出した眼電位（ＥＯＧ）に基づいて検出するので、脳計測のためのセンサ等とは別に、瞬き動作検出のためのセンサ等を設ける必要がなく、眼電位計測装置等を装着する必要がないため煩わしくなく、コスト等にも優れる。

【0052】

また、本実施形態によれば、瞬き動作時における脳活動の活動量の大きさに基づいて、ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するので、没入度合に応じ瞬き時のリセット度合の深さが変化する原理に基づいて、精度よくユーザ状態を判定することができる。

【0053】

また、本実施形態によれば、複数回の瞬き動作時における脳活動の活動量の大きさの平均に基づいてユーザ状態を判定するので、１回の瞬き動作時における脳活動状態がノイズ等の影響がある場合であっても、平均に基づいて精度よくユーザ状態を判定することができる。

【0054】

また、本実施形態によれば、瞬き動作時における脳活動状態について、個人毎または視認対象別の判定基準に基づいてユーザ状態を判定するので、視認対象毎あるいは個人毎に、瞬き時の脳活動量と没入度の関係にばらつきがある場合であっても、精度よくユーザ状態を判定することが可能となる。

【0055】

（その他の実施形態）
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。

【0056】

例えば、ユーザ状態判定装置１００は、スタンドアローンの形態で処理を行うよう一体として構成された例について説明を行ったが、これに限られず、外部のサーバ等として、車両内クライアント端末からの要求に応じて処理を行い、その処理結果を当該車両内クライアント端末に返却してもよい。

【0057】

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

【0058】

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

【0059】

また、ユーザ状態判定装置１００等に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、ユーザ状態判定装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサおよび当該プロセッサにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアプロセッサとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じてユーザ状態判定装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

【0060】

また、このコンピュータプログラムは、ユーザ状態判定装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

【0061】

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

【0062】

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。

【0063】

記憶部１０６に格納される各種のデータベース等（個人データベース１０６ａ，視認対象別データベース１０６ｂ等）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。

【0064】

また、ユーザ状態判定装置１００は、既知のパーソナルコンピュータ、ＥＣＵ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、ユーザ状態判定装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

【0065】

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

【符号の説明】

【0066】

１００ ユーザ状態判定装置
１０２ 制御部
１０２ａ 判定部
１０２ｂ 学習部
１０６ 記憶部
１０６ａ 個人データベース
１０６ｂ 視認対象別データベース
１１２ 脳計測部
１１４ 瞬き検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】