2024-158777ユーザ状態判定装置、ユーザ状態判定方法、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024158777
(43)【公開日】2024-11-08
(54)【発明の名称】ユーザ状態判定装置、ユーザ状態判定方法、及びコンピュータプログラム
(51)【国際特許分類】
A61B 5/16 20060101AFI20241031BHJP
A61B 5/245 20210101ALI20241031BHJP
A61B 5/372 20210101ALI20241031BHJP
A61B 5/398 20210101ALI20241031BHJP
【ＦＩ】
A61B5/16 100
A61B5/245
A61B5/372
A61B5/398
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023074295
(22)【出願日】2023-04-28
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(71)【出願人】
【識別番号】304021417
【氏名又は名称】国立大学法人東京科学大学
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】天本 奈々子
(72)【発明者】
【氏名】宝来 淳史
(72)【発明者】
【氏名】清水 俊行
(72)【発明者】
【氏名】小谷 泰則
(72)【発明者】
【氏名】大上 淑美
【テーマコード（参考）】
4C038
4C127
【Ｆターム（参考）】
4C038PP03
4C038PQ00
4C038PS03
4C038PS07
4C127AA03
4C127AA10
4C127KK03
4C127KK05
(57)【要約】
【課題】 ユーザの瞬き動作に応じた脳活動状態に基づいてユーザ状態を精度良く判定する。
【解決手段】 本発明は、ユーザの注意状態又は没入度合いを含むユーザ状態を判定するユーザ状態判定装置である。前記装置は、前記ユーザの脳活動状態を計測する脳活動状態計測部と、前記ユーザの目の瞬き動作を検出する瞬き検出部と、前記瞬き検出部により検出された前記瞬き動作に応じた前記脳活動状態に基づいて、前記ユーザ状態を判定する判定部とを備える。前記判定部は、前記瞬き動作を検出した時点から所定時間における脳活動状態が示す極大値と極小値との差の平均電位を算出し、算出された前記平均電位に基づいて前記ユーザ状態を判定する。
【選択図】 図１
【解決手段】 本発明は、ユーザの注意状態又は没入度合いを含むユーザ状態を判定するユーザ状態判定装置である。前記装置は、前記ユーザの脳活動状態を計測する脳活動状態計測部と、前記ユーザの目の瞬き動作を検出する瞬き検出部と、前記瞬き検出部により検出された前記瞬き動作に応じた前記脳活動状態に基づいて、前記ユーザ状態を判定する判定部とを備える。前記判定部は、前記瞬き動作を検出した時点から所定時間における脳活動状態が示す極大値と極小値との差の平均電位を算出し、算出された前記平均電位に基づいて前記ユーザ状態を判定する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
ユーザの注意状態又は没入度合いを含むユーザ状態を判定するユーザ状態判定装置であって、
前記ユーザの脳活動状態を計測する脳活動状態計測部と、
前記ユーザの目の瞬き動作を検出する瞬き検出部と、
前記瞬き検出部により検出された前記瞬き動作に応じた前記脳活動状態に基づいて、前記ユーザ状態を判定する判定部と、を備え、
前記判定部は、前記瞬き動作を検出した時点から所定時間における前記脳活動状態が示す極大値と極小値との差の平均電位を算出し、算出された前記平均電位に基づいて前記ユーザ状態を判定する、
ユーザ状態判定装置。
前記ユーザの脳活動状態を計測する脳活動状態計測部と、
前記ユーザの目の瞬き動作を検出する瞬き検出部と、
前記瞬き検出部により検出された前記瞬き動作に応じた前記脳活動状態に基づいて、前記ユーザ状態を判定する判定部と、を備え、
前記判定部は、前記瞬き動作を検出した時点から所定時間における前記脳活動状態が示す極大値と極小値との差の平均電位を算出し、算出された前記平均電位に基づいて前記ユーザ状態を判定する、
ユーザ状態判定装置。
【請求項2】
前記脳活動状態計測部は、前記脳活動状態を、脳波計、脳磁計、脳電位計、及び脳血流測定器の少なくともいずれかにより検出する、
請求項１に記載のユーザ状態判定装置。
請求項１に記載のユーザ状態判定装置。
【請求項3】
前記瞬き検出部は、前記瞬き動作を、前記脳活動状態計測部から出力される信号から抽出した眼電位に基づいて検出する、
請求項１に記載のユーザ状態判定装置。
請求項１に記載のユーザ状態判定装置。
【請求項4】
前記判定部は、前記瞬き動作に応じた前記平均電位の大きさに基づいて、前記ユーザの注意状態又は没入度合いを含む前記ユーザ状態を判定する、
請求項１に記載のユーザ状態判定装置。
請求項１に記載のユーザ状態判定装置。
【請求項5】
前記判定部は、
前記平均電位が第１しきい値以上である場合に、前記ユーザの注意状態又は没入度合いが低いと判定し、
前記平均電位が前記第１しきい値より小さく、第２しきい値以上である場合に、前記ユーザの注意状態又は没入度合いがやや低いと判定し、
前記平均電位が前記第２しきい値より小さく、第３しきい値以上である場合に、前記ユーザの注意状態又は没入度合いがやや高いと判定し、
前記平均電位が前記第３しきい値より小さい場合に、前記ユーザの注意状態又は没入度合いが高いと判定する、
請求項４に記載のユーザ状態判定装置。
前記平均電位が第１しきい値以上である場合に、前記ユーザの注意状態又は没入度合いが低いと判定し、
前記平均電位が前記第１しきい値より小さく、第２しきい値以上である場合に、前記ユーザの注意状態又は没入度合いがやや低いと判定し、
前記平均電位が前記第２しきい値より小さく、第３しきい値以上である場合に、前記ユーザの注意状態又は没入度合いがやや高いと判定し、
前記平均電位が前記第３しきい値より小さい場合に、前記ユーザの注意状態又は没入度合いが高いと判定する、
請求項４に記載のユーザ状態判定装置。
【請求項6】
前記判定部は、複数回の前記瞬き動作の各々に応じた前記平均電位に基づいた総平均電位に基づいて前記ユーザ状態を判定する、
請求項１に記載のユーザ状態判定装置。
請求項１に記載のユーザ状態判定装置。
【請求項7】
前記判定部は、前記瞬き動作に応じた前記脳活動状態について、ユーザごとの判定基準に基づいて前記ユーザ状態を判定する、
請求項１に記載のユーザ状態判定装置。
請求項１に記載のユーザ状態判定装置。
【請求項8】
前記判定部は、前記瞬き動作に応じた前記脳活動状態について、前記ユーザの視認対象ごとの判定基準に基づいて前記ユーザ状態を判定する、
請求項１に記載のユーザ状態判定装置。
請求項１に記載のユーザ状態判定装置。
【請求項9】
前記ユーザの視認対象ごとの前記判定基準が出力されるように、所定の機械学習アルゴリズムに従って機械学習が施された学習部を更に備える、
請求項８に記載のユーザ状態判定装置。
請求項８に記載のユーザ状態判定装置。
【請求項10】
ユーザの注意状態又は没入度合いを含むユーザ状態を判定するユーザ状態判定装置であって、
前記ユーザの脳活動状態を計測する脳活動状態計測部と、
前記ユーザの目の瞬き動作を検出する瞬き検出部と、
前記瞬き検出部により検出された前記瞬き動作に応じた前記脳活動状態に基づいて、前記ユーザ状態を判定する判定部と、を備え、
前記判定部は、前記瞬き動作に応じた前記脳活動状態を示す脳電位に対する主成分分析による影響度が相対的に高い電位成分の最大値を算出し、算出された前記最大値に基づいて前記ユーザ状態を判定する、
ユーザ状態判定装置。
前記ユーザの脳活動状態を計測する脳活動状態計測部と、
前記ユーザの目の瞬き動作を検出する瞬き検出部と、
前記瞬き検出部により検出された前記瞬き動作に応じた前記脳活動状態に基づいて、前記ユーザ状態を判定する判定部と、を備え、
前記判定部は、前記瞬き動作に応じた前記脳活動状態を示す脳電位に対する主成分分析による影響度が相対的に高い電位成分の最大値を算出し、算出された前記最大値に基づいて前記ユーザ状態を判定する、
ユーザ状態判定装置。
【請求項11】
ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するユーザ状態判定方法であって、
前記ユーザの脳活動状態を計測することと、
前記ユーザの目の瞬き動作を検出することと、
前記瞬き検出部により検出された前記瞬き動作に応じた前記脳活動状態に基づいて、前記ユーザ状態を判定することと、を含み、
前記判定部することは、前記瞬き動作を検出した時点から所定時間における前記脳活動状態が示す極大値と極小値との差の平均電位を算出し、算出された前記平均電位に基づいて前記ユーザ状態を判定することを含む、
ユーザ状態判定方法。
前記ユーザの脳活動状態を計測することと、
前記ユーザの目の瞬き動作を検出することと、
前記瞬き検出部により検出された前記瞬き動作に応じた前記脳活動状態に基づいて、前記ユーザ状態を判定することと、を含み、
前記判定部することは、前記瞬き動作を検出した時点から所定時間における前記脳活動状態が示す極大値と極小値との差の平均電位を算出し、算出された前記平均電位に基づいて前記ユーザ状態を判定することを含む、
ユーザ状態判定方法。
【請求項12】
ユーザの注意状態もしくはユーザの没入度合いを含むユーザ状態を判定するユーザ状態判定方法を、コンピュータに実行させるためのプログラムであって、
前記ユーザの脳活動状態を計測する脳計測ステップと、
前記ユーザの目の瞬き動作を検出する瞬き検出ステップと、
前記瞬き検出ステップにて検出された前記瞬き動作時における前記脳活動状態に基づいて、前記ユーザ状態を判定する判定ステップと、
をコンピュータに実行させるためのプログラム。
前記ユーザの脳活動状態を計測する脳計測ステップと、
前記ユーザの目の瞬き動作を検出する瞬き検出ステップと、
前記瞬き検出ステップにて検出された前記瞬き動作時における前記脳活動状態に基づいて、前記ユーザ状態を判定する判定ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、本発明は、ユーザ状態判定装置、ユーザ状態判定方法、及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来、ユーザの注意状態を判定する注意状態判定システムが提案されている。例えば、下記特許文献１には、ユーザの脳波信号と眼球運動を計測し、計測された眼球運動から眼球停留の開始時刻を起点とした眼球停留関連電位（EFRP：Eye Fixation Related Potential）を利用して、ユーザの注意状態を判定する注意状態判定システムが開示されている。
【0003】
また、例えば、特許文献２には、ユーザの注意状態又は没入度合いを含むユーザ状態を判定するため、ユーザの脳活動状態を計測し、ユーザの目の瞬き動作を検出した場合に、検出された瞬き動作時における、脳活動状態に基づいて、ユーザ状態を判定する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第５５７０３８６号公報
【特許文献2】特開２０２２－０９５４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に開示された技術では、脳波の解析タイミングを、眼球停留時としているので、運転中のユーザなど、常に視認対象が動いている場合には適用できるものの、画面視聴時など視認対象や視線（眼球）が動かない継続的な刺激の場合には適用できない。
【0006】
また、特許文献２に記載された技術は、ユーザの視認対象や視線が動かない場合であっても、精度良くユーザ状態を判定することができるものの、更なる精度の向上が望まれる。
【0007】
そこで、本発明は、ユーザが画面を視聴している場合など視認対象や視線（眼球）が動かない場合であっても、より精度良くユーザ状態を判定できるユーザ状態判定装置、ユーザ状態判定方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
ある観点に従う本発明は、ユーザの注意状態又は没入度合いを含むユーザ状態を判定するユーザ状態判定装置である。前記ユーザ状態判定装置は、前記ユーザの脳活動状態を計測する脳活動状態計測部と、前記ユーザの目の瞬き動作を検出する瞬き検出部と、前記瞬き検出部により検出された前記瞬き動作に応じた前記脳活動状態に基づいて、前記ユーザ状態を判定する判定部と、を備える。そして、前記判定部は、前記瞬き動作を検出した時点から所定時間における前記脳活動状態が示す極大値と極小値との差の平均電位を算出し、算出された前記平均電位に基づいて前記ユーザ状態を判定する。
【0009】
また、別の観点に従う本発明は、ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するユーザ状態判定方法である。前記ユーザ状態判定方法は、前記ユーザの脳活動状態を計測することと、前記ユーザの目の瞬き動作を検出することと、前記瞬き検出部により検出された前記瞬き動作に応じた前記脳活動状態に基づいて、前記ユーザ状態を判定することと、を含む。そして、前記判定部することは、前記瞬き動作を検出した時点から所定時間における前記脳活動状態が示す極大値と極小値との差の平均電位を算出し、算出された前記平均電位に基づいて前記ユーザ状態を判定することを含む。
【0010】
また、本発明は、前記瞬き動作を検出した時点から所定時間における前記脳活動状態が示す極大値と極小値との差の平均電位を算出することに代えて、前記瞬き動作に応じた前記脳活動状態を示す脳電位に対する主成分分析による影響度が相対的に高い電位成分の最大値を算出し、算出された前記最大値に基づいて前記ユーザ状態を判定しても良い。
【0011】
本発明は、上記方法を実行するためのコンピュータプログラム又はこれを非一時的に記録したコンピュータ読取可能な記録媒体としても把握し得る。
【0012】
なお、本明細書等において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されても良い。また、「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことをいい、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【発明の効果】
【0013】
本発明によれば、視認対象や視線が動かない場合であっても、精度良くユーザ状態を判定することができる。とりわけ、本発明によれば、ユーザの没入度及び／又は集中度といったユーザ状態の差が小さい場合であっても、より精度良く判定することができる。
【0014】
本発明の他の技術的特徴、目的、及び作用効果乃至は利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があっても良い。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本発明は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
【0017】
（ユーザ状態判定装置の構成）
図１は、本発明の一実施形態に係るユーザ状態判定装置の構成の一例を示すブロック図である。同図では、ユーザ状態判定装置１００において本実施形態に特に関係する構成要素が概念的に示されている。なお、自動運転中の利用者を想定した場合、ユーザ状態判定装置１００は、例えば、車両内の任意の場所に設置されても良く、或いは、遠隔の場所に設置された制御部１０２及び／又は記憶部１０６が通信ネットワークなどを介して車両内の脳活動状態計測部１１２や瞬き検出部１１４等と通信を行うように構成されても良い。
図１は、本発明の一実施形態に係るユーザ状態判定装置の構成の一例を示すブロック図である。同図では、ユーザ状態判定装置１００において本実施形態に特に関係する構成要素が概念的に示されている。なお、自動運転中の利用者を想定した場合、ユーザ状態判定装置１００は、例えば、車両内の任意の場所に設置されても良く、或いは、遠隔の場所に設置された制御部１０２及び／又は記憶部１０６が通信ネットワークなどを介して車両内の脳活動状態計測部１１２や瞬き検出部１１４等と通信を行うように構成されても良い。
【0018】
同図において、ユーザ状態判定装置１００は、例えば、ユーザ状態判定装置１００の全体を統括的に制御するＣＰＵ等の制御部１０２と、脳活動状態計測部１１２と、瞬き検出部１１４と、記憶部１０６とを含み構成され、これらの構成要素は、任意の通信路を介して通信可能に接続される。ユーザ状態判定装置１００は、ＥＣＵ（Engine Control Unit）や、マイクロコンピュータや、パーソナルコンピュータ、又はサーバ用コンピュータなどであっても良い。
【0019】
記憶部１０６は、各種のプログラム、各種のデータベース及びテーブルなどを格納する。一例として、データベースは、ユーザ情報データベース１０６ａ及び視認対象データベース１０６ｂ等を含む。記憶部１０６は、例えば、不揮発性メモリやハードディスクドライブ等の２次記憶装置からなる。
【0020】
ユーザ情報データベース１０６ａは、ユーザごとに、該ユーザの瞬き動作に応じた脳活動状態（例えば脳電位、脳磁場、及び脳波等）に関する情報を管理するデータベースである。一例として、ユーザ情報データベース１０６ａは、あるユーザに対する脳活動状態とユーザ状態（例えば注意状態や没入度合い等）との相関関係を示すデータを記憶する。例えば、乗車中のユーザごとに、脳活動状態とユーザ状態との相関関係は異なることが起こり得る。後述する判定部１０２ａは、ユーザ情報データベース１０６ａを参照することにより、ユーザの瞬き動作に応じた脳活動状態に基づいて精度良くユーザ状態を判定する。この場合、判定部１０２ａは、複数のしきい値（判定基準）を用いてユーザ状態のレベル（例えば、注意状態又は没入度（以下では単に「没入度」ということがある。）が低い、やや低い、やや高い、高い等）を判定し得る。
【0021】
また、後述する学習部１０２ｂは、あるユーザに対する脳活動状態とユーザ状態とを関連付けてユーザ情報データベース１０６ａに格納し得る。また、学習部１０２ｂは、ユーザ情報データベース１０６ａを参照して、ユーザごとの判定基準（例えば、ユーザ状態のレベルを判定基準となる複数のしきい値）等を学習しても良い。
【0022】
視認対象データベース１０６ｂは、ユーザの視認対象ごとの瞬き動作に対応した脳活動状態を管理するデータベースである。例えば、視認対象データベース１０６ｂは、視認対象ごとに、脳活動状態とユーザ状態とを関連付けて格納する。より具体的には、乗車中のユーザが、動画やカーナビなどの画面を視聴している場合と、車両周囲の環境を視認している場合とでは、脳活動状態とユーザ状態との間の相関関係は異なることが起こり得る。後述するように、判定部１０２ａは、視認対象データベース１０６ｂを参照することにより、ユーザの視認対象に応じて、ユーザの瞬き動作に対応する脳活動状態から、精度良くユーザ状態を判定する。また、後述するように、学習部１０２ｂは、視認対象ごとに、脳活動状態とユーザ状態とを関連付けて視認対象データベース１０６ｂに格納しても良く、視認対象データベース１０６ｂを参照してユーザごとの判定基準（例えば、画面視聴時において高没入状態と判定する脳活動状態の閾値）等を学習しても良い。
【0023】
脳活動状態計測部１１２は、ユーザの脳活動状態に関する生体信号を計測する脳計測機器である。脳活動状態計測部１１２は、一例として、磁場計測器、電波計測器（Freer）、頭皮表面の電位計測器、及び脳血流測定器の少なくともいずれかであっても良く、脳波計、脳磁計、脳電位計、又は脳血流計と呼ばれるものであっても良い。脳活動状態計測部１１２は、高い時間分解能で計測できるものが望ましい。脳活動状態計測部１１２は、好適には、非接触式が望ましいが、接触式であっても良い。
【0024】
例えば、非接触式の脳活動状態計測部１１２としては、Ｆｒｅｅｒ Ｌｏｇｉｃ社製Ｎｅｕｒｏｂｉｏｍｏｎｉｔｏｒ ｈｅａｄｒｅｓｔを適用し得る（http://freerlogic.com/products/hardware）。また、非接触式の脳活動状態計測部１１２は、以下の脳電位計等であっても良い（特許第5981506号）／（特願2019-201280）／（Takamasa Ando他, Non-contact acquisition of brain function using a time-extracted compact camera，Scientific Reports | (2019) 9:17854 | https://doi.org/10.1038/s41598-019-54458-7）。また、脳磁計測システム「RICOH MEG」を利用して車載用の脳活動状態計測部１１２を構成しても良い（脳磁計測システム RICOH160-1（医療機器認証番号：22100BZX00914000），https://jp.ricoh.com/release/2018/0709_1.html）。
【0025】
瞬き検出部１１４は、ユーザの目の瞬き動作を検出する瞬き検出器である。なお、瞬き検出部１１４は、脳活動状態計測部１１２と別体として構成されているが、これに限られず、ハードウェア及び／又はソフトウェア的に一体的に構成されても良い。例えば、脳活動状態計測部１１２の信号から抽出した眼電位（EOG：Electro Oculo Graphy）に基づいて瞬き動作を検出することができる。なお、瞬き検出部１１４は、ハードウェアとして、および／または、ソフトウェアとして実現されても良い。また、瞬き検出部１１４は、制御部１０２の一部として構成しても良い。
【0026】
一例として、瞬き検出部１１４は、脳波解析システム（BESA Research 7.0）の瞬き電位除去技術を応用して、予め作成した、瞬きによりどのような頭皮上の電位が生じるかに関するモデルに基づいて、瞬きによる電位推定しても良い。また、以下に列挙する技術を用いて、瞬き検出部１１４は、ユーザの目の瞬き動作を検出しても良い。
・Berg, P., and Scherg, M. A multiple source approach to the correction of eye artifacts, Electroenceph. clin. Neurophysiol., 1994, 90: 229-241.
・Ille N., Berg P., and SchergM. A Spatial Components Method for Continuous Artifact Correction in EEG and MEG. Biomed. Tech., 1997, 42 (suppl. 1): 80-83.
・Ille, N., Berg, P., Scherg, M. Artifact correction of the ongoing EEG using spatial filters based on artifact and brain signal topographies. J. Clin. Neurophysiol. 2002, 19: 113-124.
・Uusitalo, M.A., Ilmoniemi, R.J. Signal-space projection method for separating MEG or EEG into components. Med. Biol. Eng. Comput., 1997, 35: 135-140.
・http://wiki.besa.de/index.php?title=BESA_Research_Artifact_Correction
・Berg, P., and Scherg, M. A multiple source approach to the correction of eye artifacts, Electroenceph. clin. Neurophysiol., 1994, 90: 229-241.
・Ille N., Berg P., and SchergM. A Spatial Components Method for Continuous Artifact Correction in EEG and MEG. Biomed. Tech., 1997, 42 (suppl. 1): 80-83.
・Ille, N., Berg, P., Scherg, M. Artifact correction of the ongoing EEG using spatial filters based on artifact and brain signal topographies. J. Clin. Neurophysiol. 2002, 19: 113-124.
・Uusitalo, M.A., Ilmoniemi, R.J. Signal-space projection method for separating MEG or EEG into components. Med. Biol. Eng. Comput., 1997, 35: 135-140.
・http://wiki.besa.de/index.php?title=BESA_Research_Artifact_Correction
【0027】
制御部１０２は、プロセッサと、ＯＳ（Operating System）等の制御プログラム及びドライバ、各種の処理手順等を規定したプログラム、並びに種々のデータを格納するための内部メモリとを有し、プロセッサの制御の下、ＯＳ上で各種のプログラム等を実行することにより、種々の情報処理を実行するチップ回路である。制御部１０２は、機能概念的に、判定部１０２ａと、学習部１０２ｂとを備えて構成される。
【0028】
判定部１０２ａは、瞬き検出部１１４により検出された瞬き動作に対応する脳活動状態に基づいて、ユーザ状態（ユーザの注意状態又はユーザの没入度合い等）を判定する。ここで、「瞬き動作」とは、「瞬き直後」、「瞬きの目を閉じた直後」、「瞬き直前」、「瞬き前後」、「瞬き時」、「瞬きの瞬間」、「瞬きの期間」、及び「瞬きの目を閉じてから完全に開くまでの期間」等を含む。判定部１０２ａは、瞬き検出部１１４により検出される瞬き動作時点の前後や、その時点の以降の所定時間における脳活動状態を抽出し、抽出された脳活動状態に基づいてユーザ状態の判定を行い得る。
【0029】
判定部１０２ａは、判定の精度を高めるため、複数回の瞬き動作に応じた脳電位の大きさ（所定時間における電位の極大値と極小値との差の平均電位）の平均値を求めて、それに基づいてユーザ状態を判定しても良い。例えば、判定部１０２ａは、瞬き検出部１１４により検出された瞬き動作をトリガーとして、脳波を加算平均することにより、瞬き誘発電位（ＥＥＰ：Eyeblink-Evoked Potential）を取得しても良い。ＥＥＰは、脳活動状態のリセットを反映した陰性の頭皮上の電位である。
【0030】
或いは、判定部１０２ａは、前記の平均値に代えて、脳電位の主成分分析により得られる脳活動の影響度の高い電位の最大値に基づいてユーザ状態を判定しても良い。主成分分析とは、多くの説明変数を持つデータをより少ない変数（主成分）に要約し、該データを理解しやすくする統計学上のデータ解析手法と知られている。本開示において、脳電位は、複数の脳計測点で測定した脳電位データを平均したもので、異なる発生源及び発生要因を含む値となっている。そこで、主成分分析を用いて、該脳電位データを説明する主な変数（主成分）が抽出される。脳活動の影響度が高い電位とは、該主性分となる電位のうち、統計分析により没入度との相関性がある電位である。
【0031】
一例として、判定部１０２ａは、瞬き検出部１１４により検出された瞬き動作における脳活動状態の活動量（脳活動量）の大きさに基づいて、ユーザ状態を判定し得る。例えば、判定部１０２ａは、瞬き直後の脳電位が大きいと判断する場合、ユーザ状態が低没入状態であると判定し、瞬き直後の脳電位が小さいと判断する場合、ユーザ状態が高没入状態であると判定する。図２は、瞬き誘発電位（ＥＥＰ）と没入状態の関係を示す図である。また、図３は、高没入、低没入、及び参考として設定した別条件において、瞬き時点（０ｍｓ）以降のＥＥＰの変動を示すグラフ図である。
【0032】
ユーザが瞬きをした瞬間に、脳が安静状態の時に賦活するネットワークであるデフォルトモードネットワーク（ＤＭＮ：Default Mode Network）の活動が高まることより、瞬きは脳活動状態をリセットすることが知られている。したがって、瞬きの発生をトリガーとして脳電位を加算平均することにより、ＥＥＰを取得することができる。図２及び図３に示すように、ユーザが視聴している動画に没入した状態、すなわち、没入度合いが高い状態では、瞬きによる脳活動状態のリセット度合が浅くなるのでＥＥＰが小さくなり、没入度合いが低い時は、瞬きによる脳活動状態のリセット度合が深くなるのでＥＥＰが大きくなる。そのため、判定部１０２ａは、瞬き時の脳活動量の大きさ（例えば瞬き直後一定期間の脳電位の極大値）に基づいて、脳活動量が大きいと判断する場合、ユーザ状態が低没入状態であると判定し、瞬き直後の脳活動量が小さいと判断する場合、ユーザ状態が高没入状態であると判定し得る。
【0033】
しかしながら、瞬きをトリガーとして発生し計測される電位には、ユーザ状態を反映したＤＭＮ以外のノイズとなる種々の要因による電位が重畳しており、相互に干渉を受けているため、ユーザ状態の判定精度を高めるためには、ノイズとなる他の要因の電位を除外する必要がある。例えば、瞬き動作直後の極大電位には、瞬き動作により生じる眼電位（ＥＯＧ）が重畳している可能性が高いため、このような眼電位は計測される電位から除外される必要がある。
【0034】
したがって、判定部１０２ａは、瞬きの発生をトリガーとして計測される電位について、瞬き直後から一定期間における電位の極大値と極小値との差の平均値（平均電位）を算出することにより、より精度良くユーザ状態を判定することができるようになる。判定部１０２ａは、脳電位の主成分分析により得られる影響度の高い電位の最大値に基づいてユーザ状態を判定しても良く、これにより、より精度良くユーザ状態を判定することができるようになる。
【0035】
また、判定部１０２ａは、瞬き動作に対応する脳活動状態について、ユーザごとの判定基準に基づいてユーザ状態を判定しても良い。瞬き動作における脳活動状態は個人間でばらつきが生じるので、ユーザごとの判定基準を用いることにより、精度良くユーザ状態を判定することができる。一例として、判定部１０２ａは、瞬き動作における脳活動状態について、ユーザ情報データベース１０６ａを参照して、ユーザ状態を判定し得る。また、判定部１０２ａは、ユーザ情報データベース１０６ａに基づく学習部１０２ｂの学習結果（高没入状態と判定する脳活動状態の閾値などの判定基準等）に応じて、ユーザ状態を判定しても良い。
【0036】
また、判定部１０２ａは、瞬き動作に対応する脳活動状態について、視認対象ごとの判定基準に基づいてユーザ状態を判定しても良い。ユーザが何を見ているときの瞬きかによって脳活動状態はばらつきが生じるので、これにより、精度良くユーザ状態を判定することができる。一例として、判定部１０２ａは、瞬き動作に対応する脳活動状態について、視認対象データベース１０６ｂを参照して、ユーザ状態を判定しても良い。また、判定部１０２ａは、視認対象データベース１０６ｂに基づく学習部１０２ｂの学習結果（没入状態のレベルを判定する脳活動状態のしきい値などの判定基準等）に応じて、ユーザ状態を判定しても良い。
【0037】
また、学習部１０２ｂは、所定の機械学習アルゴリズムに従って、瞬き動作に対応する脳活動状態に対してユーザ状態の判定基準等を出力するように機械学習が施された機械学習モデルであり得る。学習部１０２ｂは、あるユーザにおける、脳活動状態とユーザ状態とを関連付けてユーザ情報データベース１０６ａに格納し得る。また、学習部１０２ｂは、ユーザ情報データベース１０６ａを参照して、ユーザごとの判定基準（例えば、高没入状態と判定する脳活動状態の閾値）等を学習しても良い。また、学習部１０２ｂは、視認対象ごとに、脳活動状態とユーザ状態とを関連付けて視認対象データベース１０６ｂに格納し得る。学習部１０２ｂは、視認対象データベース１０６ｂを参照して、ユーザごとの判定基準（例えば、画面視聴時において高没入状態と判定する脳活動状態の閾値）等を学習しても良い。
【0038】
学習は、教師有り学習、教師無し学習、及び強化学習のいずれであっても良い。機会学習アルゴリズムの例として、サポートベクターマシン（ＳＶＭ）、決定木学習、ニューラルネットワーク（ＮＮ）、遺伝的プログラミング（ＧＰ）、及びベイジアンネットワーク等のいずれが用いられても良い。
【0039】
なお、本実施形態は、車両等のＥＣＵやコンピュータにおいて、はじめからユーザ状態判定装置１００として機能することを前提としなくとも良い。例えば、記憶部１０６に、ユーザ情報データベース１０６ａや視認対象データベース１０６ｂが備えられていない場合であっても、制御部１０２が脳活動状態計測部１１２や瞬き検出部１１４等のデータを記憶部１０６に蓄積し格納することにより、ユーザ情報データベース１０６ａや視認対象データベース１０６ｂを作成しても良い。また、制御部１０２に判定部１０２ａの機能がない場合であっても、学習部１０２ｂが、ユーザ情報データベース１０６ａや視認対象データベース１０６ｂなど記憶部１０６に記憶されたデータに基づいて、ユーザ状態の判定基準を機械学習で得ることにより、制御部１０２において判定部１０２ａとしての機能が実現するように制御しても良い。また、制御部１０２に脳活動状態計測部１１２や瞬き検出部１１４が接続されていない場合であっても、所定のプログラム等により、これら周辺機器等との接続が実現するように制御されても良い。これにより、画面視聴時など視認対象や視線（眼球）が動かない場合であっても、精度よくユーザ状態を判定できる、ユーザ状態判定装置を作ることができる。
【0040】
（ユーザ状態判定処理）
次に、このように構成された本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例について、以下に図４～図６を参照して詳細に説明する。図４は、本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例（実施例１）を示すフローチャートである。
次に、このように構成された本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例について、以下に図４～図６を参照して詳細に説明する。図４は、本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例（実施例１）を示すフローチャートである。
【0041】
（実施例１）
図４に示すように、まず、脳活動状態計測部１１２は、ユーザの脳活動状態を判定するための脳波の計測を開始する（Ｓ４０１）。脳波の計測中、瞬き検出部１１４は、ユーザの瞬きの発生を監視する（Ｓ４０２）。瞬き検出部１１４がユーザの瞬きを検出すると（Ｓ４０２のＹｅｓ）、判定部１０２ａは、脳活動状態計測部１１２の信号から、瞬き動作に応じたユーザ状態を反映した脳電位を抽出する（Ｓ４０３）。例えば、判定部１０２ａは、瞬き発生時点の前後から所定時間（例えば２５０ｍｓ）における脳電位を取得する。
図４に示すように、まず、脳活動状態計測部１１２は、ユーザの脳活動状態を判定するための脳波の計測を開始する（Ｓ４０１）。脳波の計測中、瞬き検出部１１４は、ユーザの瞬きの発生を監視する（Ｓ４０２）。瞬き検出部１１４がユーザの瞬きを検出すると（Ｓ４０２のＹｅｓ）、判定部１０２ａは、脳活動状態計測部１１２の信号から、瞬き動作に応じたユーザ状態を反映した脳電位を抽出する（Ｓ４０３）。例えば、判定部１０２ａは、瞬き発生時点の前後から所定時間（例えば２５０ｍｓ）における脳電位を取得する。
【0042】
次に、判定部１０２ａは、取得した電位のうちの極大値及び極小値を抽出し（Ｓ４０４）、続いて、抽出した極大値と極小値との差の平均値（平均電位）を算出する（Ｓ４０５）。
【0043】
次に、判定部１０２ａは、ユーザ状態の没入度のレベルを判定するために、算出された平均電位を複数のしきい値（本例では、第１～第３しきい値）と比較する。ここでは、第１しきい値＞第２しきい値＞第３しきい値である。
【0044】
すなわち、判定部１０２ａは、まず、算出された平均電位が第１しきい値以上であるか否かを判断し（Ｓ４０６）、判定部１０２ａは、平均電位が第１しきい値以上であると判断する場合（Ｓ４０６のＹｅｓ）、ユーザの没入度は「低」であると判定する（Ｓ４０７）。一方、判定部１０２ａは、算出された平均電位が第１しきい値以上でないと判断する場合（Ｓ４０６のＮｏ）、判定部１０２ａは、次に、平均電位が第２しきい値以上であるか否かを判断する（Ｓ４０８）。判定部１０２ａは、平均電位が第２しきい値以上であると判断する場合（Ｓ４０８のＹｅｓ）、ユーザの没入度は「やや低」であると判定する（Ｓ４０９）。
【0045】
また、判定部１０２ａは、算出された平均電位が第２しきい値以上でないと判断する場合（Ｓ４０８のＮｏ）、判定部１０２ａは、更に、平均電位が第３しきい値以上であるか否かを判断する（Ｓ４１０）。判定部１０２ａは、平均電位が第３しきい値以上であると判断する場合（Ｓ４１０のＹｅｓ）、ユーザの没入度は「やや高い」であると判定する（Ｓ４１１）。一方、判定部１０２ａは、平均電位が第３しきい値以上でないと判断する場合（Ｓ４１０のＮｏ）、ユーザの没入度は「高い」であると判定する（Ｓ４１２）。
【0046】
続いて、判定部１０２ａは、没入度のユーザ状態の判定結果を出力して（Ｓ４１３）、計測処理を終了する。
【0047】
以上により、瞬き動作に応じたユーザ状態を反映する脳電位を検出しているので、視認対象に対するユーザの没入度合を的確に判定することができる。また、非接触式の脳活動状態計測部１１２を用いた場合、眼電位計測装置等の装着が不要になるので煩わしさを抑えることができる。また、車両周囲ではなく、車両内に設置された画面を見ている場合などのように視線が動かない視認対象であっても適用することが可能となる。
【0048】
また、本例では、瞬き動作に応じて所定時間における電位のピーク値（極大値及び極小値）の平均電位に基づいて、複数の判断基準を用いて、ユーザ状態を判定しているので、ユーザ状態の僅かな差であっても精度良く判定することができる。
【0049】
（実施例２）
本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例として実施例２について、以下に図５を参照して詳細に説明する。
本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例として実施例２について、以下に図５を参照して詳細に説明する。
【0050】
図５は、本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例（実施例２）を示すフローチャートである。本実施例は、所定時間におけるピーク値の差の平均電位を必要回数だけ算出し、更にそれらの平均電位（総平均電位）を算出している点で、上記実施例１と異なる。以下では、実施例１と異なる点を中心に説明する。
【0051】
すなわち、本実施例では、判定の精度を高めるため、判定部１０２ａは、複数回の瞬き動作の各々に応じた所定時間におけるピーク値の差の平均電位を必要回数だけ算出し、更に、それらの総平均電位に基づいてユーザ状態を判定する。
【0052】
より具体的には、図５に示すように、判定部１０２ａは、脳活動状態計測部１１２の信号から、瞬き動作に応じたユーザ状態を反映した脳電位を抽出し、更に、所定時間における極大値と極小値との差の平均電位を算出する処理を必要回数だけ繰り返し、複数回の瞬き動作に応じたユーザ状態を反映した脳電位の平均電位に基づく総平均電位を算出する（Ｓ５０１～Ｓ５０６）。
【0053】
判定部１０２ａは、必要回数だけ繰り返したと判断した場合（Ｓ５０６のＹｅｓ）、上述したように、算出された総平均電位に対して複数のしきい値に基づいてユーザの没入度を判定する（Ｓ５０７～Ｓ５１３）、判定結果を出力する（Ｓ５１４）。
【0054】
以上のように、本例によれば、複数回の瞬き動作の各々に応じた所定時間におけるピーク値の差の平均電位を必要回数だけ算出し、更に、それらから算出される総平均電位に基づいてユーザの没入度を判定しているので、より高精度に判定することが可能となる。
【0055】
（実施例３）
本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例として実施例３について、以下に図６及び７を参照して詳細に説明する。本実施例は、ユーザの視認対象に応じて没入度を判定している点で、上記実施例と異なる。このため、ユーザの視認対象に応じて没入度を判定可能にするために、学習部１０２ｂにより視認対象データベース１０６ｂが構築される。以下では、上記実施例と異なる点を中心に説明する。
本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例として実施例３について、以下に図６及び７を参照して詳細に説明する。本実施例は、ユーザの視認対象に応じて没入度を判定している点で、上記実施例と異なる。このため、ユーザの視認対象に応じて没入度を判定可能にするために、学習部１０２ｂにより視認対象データベース１０６ｂが構築される。以下では、上記実施例と異なる点を中心に説明する。
【0056】
すなわち、自動車を運転しているユーザの視認対象は、例えば、車周囲環境と情報提示装置（テレビやカーナビなどの表示画面）が想定される。したがって、このようなユーザがいずれを視認対象としているかによって、瞬き動作による脳活動状態は変動し得る。そこで、本実施例では、異なる視認対象ごとにユーザ状態の判定の精度を高めるため、学習部１０２ｂは、脳活動状態とユーザ状態とを対応付けた視認対象データベース１０６ｂを構築し、判定部１０２ａは、視認対象データベース１０６ｂを参照することにより精度良くユーザ状態を判定する。
【0057】
まず、学習部１０２ｂによる視認対象データベース１０６ｂの構築について説明する。ここでは、ユーザの視認対象は、車両周辺環境であるものとする。図６は、本実施形態のユーザ状態判定装置１００における視認対象データベース構築処理の一例を示すフローチャートである。
【0058】
図６に示すように、判定部１０２ａは、脳活動状態計測部１１２の信号から、瞬き動作に応じたユーザ状態を反映した脳電位を抽出し、更に、所定時間の極大値と極小値との差の平均電位を算出する（Ｓ６０１～Ｓ６０５）。
【0059】
続いて、学習部１０２ｂは、算出された平均電位を入力として、車両周辺環境に対するユーザの没入度のレベルを出力するように、機械学習を実行する（Ｓ６０６）。つまり、学習部１０２ｂは、特定の視認対象について、教師有り機械学習アルゴリズムに従って、瞬き動作に応じたユーザ状態を反映した脳電位の所定時間における極大値と極小値との差の平均電位に基づく没入度レベルを判定するように、判定部１０２ａにおいて用いられる第１～第３しきい値を調整する。続いて、学習部１０２ｂは、このような機械学習による第１～第３しきい値の調整を所定回数だけ繰り返し行う（Ｓ６０７）。
【0060】
学習部１０２ｂは、機械学習を所定回数だけ行った後（Ｓ６０７のＹｅｓ）、得られた第１～第３しきい値を車両周辺環境に対する判定基準として視認対象データベース１０６ｂに格納する。これにより、車両周辺環境に対する没入度レベルの判定に適合された第１～第３しきい値が得られる。
【0061】
同様に、学習部１０２ｂは、ユーザの視認対象が情報提示装置に対する場合について、算出された平均電位を入力として、車両周辺環境に対するユーザの没入度のレベルを出力するように、機械学習を実行し、第１～第３しきい値を調整する。これにより、情報提示装置に対する没入度レベルの判定に適合された第１～第３しきい値が得られる。
【0062】
以上のようにして、視認対象ごとの没入度レベルの判定基準としての複数のしきい値を有する視認対象データベース１０６ｂが構築される。
【0063】
次に、視認対象データベース１０６ｂを用いた、ユーザ状態判定装置１００におけるユーザ状態判定処の一例を説明する。図７は、本実施形態のユーザ状態判定装置１００におけるユーザ状態判定処理の一例を示すフローチャートである。以下では、上記実施例と異なる点を中心に説明する。
【0064】
同図に示すように、判定部１０２ａは、脳活動状態計測部１１２の信号から、瞬き動作に応じたユーザ状態を反映した脳電位を抽出し、更に、所定時間の極大値と極小値との差の平均電位を算出する（Ｓ７０１～Ｓ７０５）。
【0065】
続いて、判定部１０２ａは、ユーザの視認対象を判別する（Ｓ７０６）。ユーザの視認対象は、例えば視線方向を検出することにより判別される。判定部１０２ａは、判別された視認対象が車両周辺環境である場合、車両周辺環境に対する第１～第３しきい値を決定するために、視認対象データベース１０６ｂを参照する（Ｓ７０７）。続いて、判定部１０２ａは、車両周辺環境に対する第１～第３しきい値を用いて、車両周辺環境に対する没入度レベルの判定を行う（Ｓ７０８）。なお、車両周辺環境に対する没入度レベルの判定処理（Ｓ７０８）は、車両周辺環境に対する判定基準（第１～第３しきい値）を用いる点を除き、図４に示したＳ４０６～Ｓ４１２の処理と同じである。
【0066】
一方、判定部１０２ａは、判別された視認対象が情報提示装置である場合、情報提示装置に対する第１～第３しきい値を決定するために、視認対象データベース１０６ｂを参照する（Ｓ７０９）。続いて、判定部１０２ａは、情報提示装置に対する第１～第３しきい値を用いて、車両周辺環境に対する没入度レベルの判定を行う（Ｓ７０８）。なお、車両周辺環境に対する没入度レベルの判定処理（Ｓ７０８）は、図４に示したＳ４０６～Ｓ４１２の処理と同じである。
【0067】
続いて、判定部１０２ａは、没入度のユーザ状態の判定結果を出力する（Ｓ７１１）。また、学習部１０２ｂは、判別された視認対象について、判定部１０２ａにより算出された平均電位と没入度の判定結果とを関連付けて、視認対象データベース１０６ｂに格納する（Ｓ７１２）。この場合、学習部１０２ｂは、上述したように、機械学習を実行し、第１～第３しきい値を更新しても良い。
【0068】
なお、本実施例では、視認対象別にデータベースを構築し、視認対象別の判定基準を生成する例について説明したが、これに限られず、これと同様の手順にて、ユーザ個人ごとにデータベース（すなわち、ユーザ情報データベース１０６ａ）を構築して、ユーザごとの判定基準を生成しても良い。
【0069】
以上のように、本実施例によれば、視認対象ごと及び／又はユーザごとに、瞬き時の脳活動量と没入度の関係にばらつきがある場合であっても、精度良くユーザ状態を判定することが可能となる。
【0070】
（本実施形態の作用効果）
以上説明したように、本実施形態によれば、以下の作用効果が得られる。
以上説明したように、本実施形態によれば、以下の作用効果が得られる。
【0071】
本実施の形態では、ユーザの注意状態もしくはユーザの没入度合いを含む、ユーザ状態を判定するため、ユーザの脳活動状態（脳電位）を計測し、ユーザの目の瞬き動作を検出した場合に、検出された瞬き動作に応じた脳活動状態に基づいて、ユーザ状態を判定する。
【0072】
これにより、従来の眼球停留関連電位（ＥＦＲＰ）を基準とした判定方法のように眼球の動きがあることを条件とすることがなく、ユーザの目の瞬き動作時の脳活動状態に基づいてユーザ状態を判定することができるので、画面視聴時など視認対象や視線（眼球）が動かない場合であっても、精度よくユーザ状態を判定できる。
【0073】
とりわけ、本実施形態によれば、瞬き動作の発生から所定時間における電位の極大値と極小値とを抽出し、該極大値と該極小値との差の平均電位に基づいて、ユーザ状態を判定しているので、ユーザの没入度及び／又は集中度といったユーザ状態の差が小さい場合であっても、より精度良く判定することができる。
【0074】
また、本実施形態によれば、脳計測は、脳活動を、脳波計、脳磁計、脳電位計、及び／又は脳血流測定器等により検出するので、脳波、脳磁場、脳電位、及び／又は脳血流に基づいて精度良くユーザ状態を判定することができる。
【0075】
また、本実施形態によれば、瞬き動作を、脳計測の信号から抽出した眼電位（ＥＯＧ）に基づいて検出するので、脳計測のためのセンサ等とは別に、瞬き動作検出のためのセンサ等を設ける必要がなく、眼電位計測装置等を装着する必要がないため煩わしくなく、コスト等にも優れる。
【0076】
また、本実施形態によれば、瞬き動作に応じた一定時間における脳活動量（平均電位）の大きさ、又は瞬き動作に応じた前記脳活動状態を示す脳電位に対する主成分分析による影響度が相対的に高い電位成分の最大値、に基づいて、ユーザの注意状態又はユーザの没入度合いを含む、ユーザ状態を判定するので、没入度合に応じ瞬き時のリセット度合の深さが変化する原理に基づいて、精度良くユーザ状態を判定することができる。
【0077】
また、本実施形態によれば、複数回の瞬き動作の各々に応じた所定時間における電位の極大値と極小値との差の平均電位を算出し、更に、それらの平均電位（総平均電位）に基づいて、ユーザ状態を判定するので、１回の瞬き動作に応じた脳活動状態がノイズ等の影響を受ける場合であっても、精度良くユーザ状態を判定することができる。
【0078】
また、本実施形態によれば、瞬き動作に応じた脳活動状態について、視認対象ごと及び／又はユーザごと判定基準に基づいてユーザ状態を判定するので、視認対象ごと及び／又はユーザごとに、瞬き動作時の脳活動量と没入度との関係にばらつきがある場合であっても、精度良くユーザ状態を判定することが可能となる。
【0079】
（その他の実施形態）
【0080】
上記各実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱しない限り、さまざまな形態で実施することができる。
【0081】
例えば、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちのいくつかは、発明の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしてもよく、また、他のステップ、動作又は機能を追加してもよい。
【0082】
また、本明細書では、さまざまな実施形態が開示されているが、一の実施形態における特定のフィーチャ（技術的事項）を、適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本発明の要旨に含まれる。
【0083】
また、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0084】
また、例えば、ユーザ状態判定装置１００は、スタンドアローンの形態で処理を行うよう一体として構成された例について説明を行ったが、これに限られず、外部のサーバ等として、車両内クライアント端末からの要求に応じて処理を行い、その処理結果を当該車両内クライアント端末に返却しても良い。
【0085】
また、実施形態において説明した各処理のうち、自動で行われるものとして説明した処理の全部又は一部を手動で又は半自動で行うこともでき、或いは、手動で行われるものとして説明した処理の全部又は一部を自動で行うこともできる。
【0086】
また、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
【0087】
また、ユーザ状態判定装置１００等に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、ユーザ状態判定装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Central Processing Unit）などのプロセッサ及び当該プロセッサにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアプロセッサとして実現しても良い。なお、プログラムは、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じてユーザ状態判定装置１００に機械的に読み取られる。すなわち、ソリッドステートドライブやハードディスクドライブ等の記憶部１０６には、ＯＳ（Operating System）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録される。このコンピュータプログラムは、ＣＰＵの利用に供されるメモリにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。
【0088】
また、このコンピュータプログラムは、ユーザ状態判定装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
【0089】
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。
【0090】
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成しても良い。
【0091】
記憶部１０６に格納される各種のデータベース等（ユーザ情報データベース１０６ａ及び視認対象データベース１０６ｂ等）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、及び光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。
【0092】
また、ユーザ状態判定装置１００は、既知のパーソナルコンピュータ、ＥＣＵ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成しても良い。また、ユーザ状態判定装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現しても良い。
【符号の説明】
【0093】
１００…ユーザ状態判定装置
１０２…制御部
１０２ａ…判定部
１０２ｂ…学習部
１０６…記憶部
１０６ａ…ユーザ情報データベース
１０６ｂ…視認対象データベース
１１２…脳活動状態計測部
１１４…瞬き検出部
１０２…制御部
１０２ａ…判定部
１０２ｂ…学習部
１０６…記憶部
１０６ａ…ユーザ情報データベース
１０６ｂ…視認対象データベース
１１２…脳活動状態計測部
１１４…瞬き検出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】