特開2017-200632(P2017-200632A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ダイキン工業株式会社の特許一覧
特開2017-200632運転者状態判定装置及び運転者状態判定方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-200632(P2017-200632A)
(43)【公開日】2017年11月9日
(54)【発明の名称】運転者状態判定装置及び運転者状態判定方法
(51)【国際特許分類】
   A61B 5/18 20060101AFI20171013BHJP
   A61B 5/00 20060101ALI20171013BHJP
   A61B 5/01 20060101ALI20171013BHJP
【FI】
   A61B5/18
   A61B5/00 102A
   A61B5/00 101K
   A61B5/00 G
【審査請求】未請求
【請求項の数】19
【出願形態】OL
【全頁数】56
(21)【出願番号】特願2017-157482(P2017-157482)
(22)【出願日】2017年8月17日
(62)【分割の表示】特願2016-203571(P2016-203571)の分割
【原出願日】2016年10月17日
(31)【優先権主張番号】特願2015-203355(P2015-203355)
(32)【優先日】2015年10月15日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2016-38480(P2016-38480)
(32)【優先日】2016年2月29日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2016-38482(P2016-38482)
(32)【優先日】2016年2月29日
(33)【優先権主張国】JP
(71)【出願人】
【識別番号】000002853
【氏名又は名称】ダイキン工業株式会社
(71)【出願人】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】110000202
【氏名又は名称】新樹グローバル・アイピー特許業務法人
(72)【発明者】
【氏名】新井 潤一郎
(72)【発明者】
【氏名】後藤 尚志
(72)【発明者】
【氏名】岩亀 誠
(72)【発明者】
【氏名】日野 健一
(72)【発明者】
【氏名】平野 智也
(72)【発明者】
【氏名】小谷 泰則
(72)【発明者】
【氏名】大上 淑美
(72)【発明者】
【氏名】戸松 太郎
【テーマコード(参考)】
4C038
4C117
【Fターム(参考)】
4C038PP05
4C038PQ03
4C117XA05
4C117XB16
4C117XC06
4C117XD04
4C117XE16
4C117XE23
4C117XE43
4C117XE48
4C117XF13
4C117XH16
4C117XJ13
4C117XJ17
4C117XJ45
4C117XR02
4C117XR12
4C117XR13
(57)【要約】
【課題】機器を運転する対象者の運転者状態を容易に判定し得る運転者状態判定装置及び運転者状態判定方法を提供する。
【解決手段】運転者状態判定装置(10,110,400,400A,400B)は、顔面変化情報取得部(20,120,415,442)と、顔面変化情報分解部(30,130,443)と、運転者状態判定部(200,445)と、を備える。顔面変化情報取得部(20,120,415,442)は、対象者の顔面データの時系列変化を示す顔面変化情報を取得する。顔面変化情報分解部(30,130,443)は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する。運転者状態判定部(200,445)は、複数の成分1,2,3,・・・から抽出された「判定用成分」に基づいて、対象者の運転者状態を判定する。
【選択図】図19
【特許請求の範囲】
【請求項1】
対象者の顔面データの時系列変化を示す顔面変化情報を取得する顔面変化情報取得部(20,120,415,442)と、
前記顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解部(30,130,443)と、
前記複数の成分から抽出された判定用成分に基づいて、前記対象者の運転者状態を判定する運転者状態判定部(200,445)と、
を備える、運転者状態判定装置(10,110,400,400A,400B)。
【請求項2】
機器(350)を運転する対象者(300)に、人間の脳機能を賦活する脳機能賦活情報を提供する脳機能賦活情報提供部(441)と、
前記複数の成分から、前記脳機能賦活情報と関連する成分を判定用成分として抽出する判定用成分抽出部(444)と、
をさらに備える、請求項1に記載の運転者状態判定装置(400)。
【請求項3】
機器を運転する対象者に提供される、人間の脳機能を賦活する脳機能賦活情報を検知する脳機能賦活情報検知部(441A)と、
前記複数の成分から、前記脳機能賦活情報と関連する成分を判定用成分として抽出する判定用成分抽出部と、
をさらに備える、請求項1に記載の運転者状態判定装置(400A)。
【請求項4】
機器(350)に対する所定の操作により生じる所定の変化量から、人間の脳活動に関連する変化量を脳活動関連変化量として抽出する脳活動関連変化量抽出部(441B)と、
前記複数の成分から、前記脳活動関連変化量と関連する成分を判定用成分として抽出する判定用成分抽出部と、
をさらに備える、請求項1に記載の運転者状態判定装置(400B)。
【請求項5】
前記判定用成分抽出部は、危険率の値に基づいて、前記判定用成分を抽出する、
請求項2から4いずれか1項に記載の運転者状態判定装置。
【請求項6】
脳機能賦活情報又は脳活動関連変化量に対して算出される判定用成分の相関値の、前記脳機能賦活情報又は前記脳活動関連変化量に対して算出された基準判定用成分の基準相関値からの所定範囲の変化量を、運転者状態レベルに関連付けて判定情報として記憶する判定情報記憶部(432)をさらに備え、
前記運転者状態判定部が、前記脳機能賦活情報又は前記脳活動関連変化量に対する前記判定用成分の相関値を算出し、算出した相関値及び前記判定情報に基づいて、前記対象者の運転者状態レベルを判定する、
請求項2から5のいずれか1項に記載の運転者状態判定装置。
【請求項7】
ネットワーク上の判定情報提供装置(500)が、脳機能賦活情報又は脳活動関連変化量に対して算出される判定用成分の相関値の、前記脳機能賦活情報又は前記脳活動関連変化量に対して算出された基準判定用成分の基準相関値からの所定範囲の変化量を、運転者状態レベルに関連付けて判定情報として記憶する判定情報記憶部(532)を備え、
前記運転者状態判定部が、前記脳機能賦活情報又は前記脳活動関連変化量に対する判定用成分の相関値を算出し、算出した相関値及び前記判定情報に基づいて、前記対象者の運転者状態レベルを判定する、
請求項2から6のいずれ1項に記載の運転者状態判定装置。
【請求項8】
前記機器は、自動車、鉄道車両、飛行機、原子力発電機器、各種プラントを含む自動機械である、
請求項2から7のいずれか1項に記載の運転者状態判定装置。
【請求項9】
前記機器は、自動車、鉄道車両、飛行機、原子力発電機器、各種プラントを含む自動機械である、
前記脳活動関連変化量抽出部は、前記自動機械への指示信号の変化量から、前記脳活動関連変化量を抽出する、
請求項4に記載の運転者状態判定装置。
【請求項10】
前記機器は、自動車、鉄道車両、及び飛行機を含む交通機器であり、
前記脳活動関連変化量抽出部は、前記交通機器の加速度の変化量から、前記脳活動関連変化量を抽出する、
請求項4に記載の運転者状態判定装置。
【請求項11】
前記運転者状態判定部は、
前記複数の成分に基づき、前記対象者の脳活動を推定する脳活動推定手段と、
前記脳活動推定手段により推定された前記対象者の脳活動に基づき、前記対象者の生理状態を監視する状態監視手段(200)と、
をさらに備える、請求項1に記載の運転者状態判定装置(10,110)。
【請求項12】
前記状態監視手段は、前記対象者の脳活動に基づき前記対象者の操縦に対する意識レベルを解析する解析部(201)を有する、
請求項11に記載の運転者状態判定装置。
【請求項13】
前記状態監視手段は、前記解析部により解析された前記意識レベルが一定以下に低下した場合に、前記対象者に注意を促すための報知を行う報知部(203)を有する、
請求項12に記載の運転者状態判定装置。
【請求項14】
前記対象者の操縦する機器を管理する管理者が、前記対象者の生理状態に関する情報を取得するための情報取得手段(202)、を備える、
請求項11から13のいずれか1項に記載の運転者状態判定装置。
【請求項15】
機器(350)を運転する対象者(300)に、人間の脳機能を賦活する脳機能賦活情報を提供する脳機能賦活情報提供ステップ、機器を運転する対象者に提供される、人間の脳機能を賦活する脳機能賦活情報を検知する脳機能賦活情報検知ステップ、又は、機器(350)に対する所定の操作により生じる所定の変化量を検出する機器変化量検出ステップ、及び前記機器変化量検出ステップにより検出された変化量から、前記機器を運転する対象者(300)の脳活動に関連する変化量を脳活動関連変化量として抽出する脳活動関連変化量抽出ステップと、
前記対象者の顔面データの時系列変化を示す顔面変化情報を取得する顔面変化情報取得ステップと、
前記顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解ステップと、
前記複数の成分から、前記脳機能賦活情報又は前記脳活動関連変化量に関連する成分を判定用成分として抽出する判定用成分抽出ステップと、
前記判定用成分に基づいて、前記対象者の運転者状態を判定する運転者状態判定ステップと、
を備える、運転者状態判定方法。
【請求項16】
脳機能賦活情報又は脳活動関連変化量に対して算出される判定用成分の相関値の、前記脳機能賦活情報又は前記脳活動関連変化量に対して算出された基準判定用成分の基準相関値からの所定範囲の変化量が、運転者状態レベルに関連付けられて判定情報として判定情報記憶部(432,532)に記憶されており、
前記運転者状態判定ステップで、前記脳機能賦活情報又は前記脳活動関連変化量に対する前記判定用成分の相関値を算出し、算出した相関値及び前記判定情報に基づいて、前記対象者の運転者状態レベルを判定する、
請求項15に記載の運転者状態判定方法。
【請求項17】
所定のタイミングで、前記脳機能賦活情報検知ステップ、前記脳機能賦活情報提供ステップ、又は、前記機器変化量検出ステップ及び前記脳活動関連変化量抽出ステップ、並びに、前記顔面変化情報取得ステップ、前記顔面変化情報分解ステップ、及び前記判定用成分抽出ステップを実行し、前記脳機能賦活情報又は前記脳活動関連変化量に関連する成分を基準判定用成分として抽出する、
請求項16に記載の運転者状態判定方法。
【請求項18】
前記判定情報記憶部(532)は、ネットワーク上の判定情報提供装置(500)に格納されており、
前記運転者状態判定ステップが、前記運転者状態レベルを判定する際に、前記判定情報提供装置にアクセスする、
請求項16又は17に記載の運転者状態判定方法。
【請求項19】
前記基準相関値は、前記対象者以外の者に、前記脳機能賦活情報を提供して得られた基準判定用成分に基づいて算出されるものである、又は正常運転時の脳活動関連変化量から得られた基準判定用成分に基づいて算出されるものである、
請求項18に記載の運転者状態判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転者状態判定装置及び運転者状態判定方法に関する。
【背景技術】
【0002】
近年、機器を運転する対象者の運転者状態を監視する技術が検討されている。例えば、特許文献1(特開2014−100227号公報)等には、脳波計を用いて、自動車を運転する対象者の集中度を判定する装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、脳波計測をする際には、前処理の必要な電極を対象者が装着しなければならない等、準備段階の作業が繁雑である。また、多大なコストを要するという問題もある。結果として、機器を運転する対象者の運転者状態を適切に監視することが困難である。
【0004】
本発明の課題は、機器を運転する対象者の運転者状態を容易に判定し得る運転者状態判定装置及び運転者状態判定方法を提供することにある。
【課題を解決するための手段】
【0005】
本発明の第1観点に係る運転者状態判定装置は、顔面変化情報取得部と、顔面変化情報分解部と、運転者状態判定部と、を備える。顔面変化情報取得部は、対象者の顔面データの時系列変化を示す顔面変化情報を取得する。顔面変化情報分解部は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する。運転者状態判定部は、複数の成分から抽出された判定用成分に基づいて、対象者の運転者状態を判定する。
【0006】
ここで、「運転者状態」とは、機器を運転する対象者の精神状態及び身体状態を表すものである。例えば、精神状態は、精神疲労、精神的ストレス、漫然状態、集中状態等に対応した指標で表される。また、身体状態は、身体疲労、身体的ストレス等に対応した指標で表される。
【0007】
第1観点に係る運転者状態判定装置では、顔面変化情報を、特異値分解・主成分分析・独立成分分析することで得られた複数の成分から判定用成分を抽出するので、装着前に前処理の必要な電極等を使用しなくても、対象者の脳活動の有無を容易に推定できる。これにより、対象者の脳機能に対応する判定用成分に基づいて、機器を運転する対象者の運転者状態を容易に判定できる。
【0008】
本発明の第2観点に係る運転者状態判定装置は、第1観点の運転者状態判定装置において、脳機能賦活情報提供部と、判定用成分抽出部と、をさらに備える。脳機能賦活情報提供部は、機器を運転する対象者に、人間の脳機能を賦活する脳機能賦活情報を提供する。判定用成分抽出部は、複数の成分から、脳機能賦活情報と関連する成分を判定用成分として抽出する。
【0009】
第2観点に係る運転者状態判定装置では、顔面変化情報を、特異値分解・主成分分析・独立成分分析することで得られた複数の成分から、提供した脳機能賦活情報と関連する判定用成分を抽出するので、装着前に前処理の必要な電極等を使用しなくても、対象者の脳活動の有無を容易に推定できる。これにより、対象者の脳機能に対応する判定用成分に基づいて、機器を運転する対象者の運転者状態を容易に判定できる。
【0010】
本発明の第3観点に係る運転者状態判定装置は、第1観点の運転者状態判定装置において、脳機能賦活情報検知部と、判定用成分抽出部と、をさらに備える。脳機能賦活情報検知部は、機器を運転する対象者に提供される、人間の脳機能を賦活する脳機能賦活情報を検知する。判定用成分抽出部は、複数の成分から、脳機能賦活情報と関連する成分を判定用成分として抽出する。
【0011】
第3観点に係る運転者状態判定装置では、顔面変化情報を、特異値分解・主成分分析・独立成分分析することで得られた複数の成分から、検知した脳機能賦活情報と関連する判定用成分を抽出するので、装着前に前処理の必要な電極等を使用しなくても、対象者の脳活動の有無を容易に推定できる。これにより、対象者の脳機能に対応する判定用成分に基づいて、機器を運転する対象者の運転者状態を容易に判定できる。
【0012】
本発明の第4観点に係る運転者状態判定装置は、第1観点の運転者状態判定装置において、脳活動関連変化量抽出部と、判定用成分抽出部と、をさらに備える。脳活動関連変化量抽出部は、機器に対する所定の操作により生じる所定の変化量から、人間の脳活動に関連する変化量を脳活動関連変化量として抽出する。判定用成分抽出部は、複数の成分から、脳活動関連変化量と関連する成分を判定用成分として抽出する。
【0013】
第4観点に係る運転者状態判定装置では、顔面変化情報を、特異値分解・主成分分析・独立成分分析することで得られた複数の成分から、脳活動関連変化量と関連する判定用成分を抽出するので、装着前に前処理の必要な電極等を使用しなくても、対象者の脳活動の有無を推定できる。そして、対象者の脳機能に対応する成分に基づいて、機器を運転する対象者の運転者状態を容易に判定できる。
【0014】
本発明の第5観点に係る運転者状態判定装置は、第2観点から第4観点のいずれかの運転者状態判定装置において、判定用成分抽出部が、危険率の値に基づいて、判定用成分を抽出する。
【0015】
第5観点に係る運転者状態判定装置では、危険率の値に基づいて、脳機能賦活情報と関連する成分を抽出するので、判定の信頼性を高めることができる。
【0016】
本発明の第6観点に係る運転者状態判定装置は、第2観点から第5観点のいずれかの運転者状態判定装置において、判定情報記憶部をさらに備える。判定情報記憶部は、脳機能賦活情報又は脳活動関連変化量に対して算出される判定用成分の相関値の、脳機能賦活情報又は脳活動関連変化量に対して算出された基準判定用成分の基準相関値からの所定範囲の変化量を、運転者状態レベルに関連付けて判定情報として記憶する。また、運転者状態判定部が、脳機能賦活情報又は脳活動関連変化量に対する判定用成分の相関値を算出し、算出した相関値及び判定情報に基づいて、対象者の運転者状態レベルを判定する。
【0017】
第6観点に係る運転者状態判定装置では、所定行動前に得られた基準判定用成分を利用して、運転者状態レベルを容易に判定できる。
【0018】
本発明の第7観点に係る運転者状態判定装置は、第2観点から第6観点のいずれかの運転者状態判定装置において、運転者状態判定部が、脳機能賦活情報又は脳活動関連変化量に対する判定用成分の相関値を算出し、算出した相関値及び判定情報に基づいて、対象者の運転者状態レベルを判定する。ここでは、ネットワーク上の判定情報提供装置が、脳機能賦活情報又は脳活動関連変化量に対して算出される判定用成分の相関値の、脳機能賦活情報又は脳活動関連変化量に対して算出された基準判定用成分の基準相関値からの所定範囲の変化量を、運転者状態レベルに関連付けて判定情報として記憶する判定情報記憶部を備える。
【0019】
第7観点に係る運転者状態判定装置では、ネットワーク上の判定情報提供装置を利用して、対象者の運転者状態レベルを判定できる。
【0020】
本発明の第8観点に係る運転者状態判定装置は、第2観点から第7観点のいずれかの運転者状態判定装置において、対象者が運転する機器が、自動車、鉄道車両、飛行機、原子力発電機器、各種プラントを含む自動機械である。
【0021】
第8観点に係る運転者状態判定装置では、自動車、鉄道車両、飛行機、原子力発電機器、各種プラントを含む自動機械の運転者状態を判定できる。
【0022】
本発明の第9観点に係る運転者状態判定装置は、第4観点の運転者状態判定装置において、対象者が運転する機器が、自動車、鉄道車両、飛行機、原子力発電機器、各種プラントを含む自動機械であり、脳活動関連変化量抽出部が、自動機械への指示信号の変化量から、脳活動関連変化量を抽出する。
【0023】
第9観点に係る運転者状態判定装置では、自動車、鉄道車両、飛行機、原子力発電機器、各種プラントを含む自動機械を運転する対象者の運転者状態を判定できる。
【0024】
本発明の第10観点に係る運転者状態判定装置は、第4観点の運転者状態判定装置において、対象者が運転する機器が、自動車、鉄道車両、及び飛行機を含む交通機器であり、脳活動関連変化量抽出部は、交通機器の加速度の変化量から、脳活動関連変化量を抽出する。
【0025】
第10観点に係る運転者状態判定装置では、自動車、鉄道車両、及び飛行機を含む交通機器を運転する対象者の運転者状態を加速度に基づいて判定できる。
【0026】
本発明の第11観点に係る運転者状態判定装置は、第1観点の運転者状態判定装置において、運転者状態判定部が、脳活動推定手段と、状態監視手段と、をさらに備える。脳活動推定手段は、複数の成分に基づき、対象者の脳活動を推定する。状態監視手段は、脳活動推定手段により推定された対象者の脳活動に基づき、対象者の生理状態を監視する。
【0027】
第11観点の係る運転者状態判定装置では、顔面変化情報取得部によって取得された時系列の顔面皮膚温度データ及び/又は顔面血行量データに基づき操縦士の脳活動が推定される。このため、この運転者状態判定装置では、脳波電極等の装着前に処理が必要なセンサを装着しなくても、操縦士の脳活動を推定することができる。したがって、簡便に操縦士の脳活動を推定することができる。
【0028】
本発明の第12観点に係る運転者状態判定装置は、第11観点の運転者状態判定装置において、状態監視手段は、解析部を有する。解析部は、対象者の脳活動に基づき、対象者の操縦に対する意識レベルを解析する。このため、この運転者状態判定装置では、操縦士の操縦に対する意識レベルを解析することができる。
【0029】
本発明の第13観点に係る運転者状態判定装置は、第12観点の運転者状態判定装置において、状態監視手段は、報知部を有する。報知部は、解析部により解析された意識レベルが一定以下に低下した場合に、対象者に注意を促すための報知を行う。このため、この運転者状態判定装置では、操縦士の意識レベルが低下した場合に、操縦士に注意を促すことができる。
【0030】
本発明の第14観点に係る運転者状態判定装置は、第11観点から第13観点のいずれかの運転者状態判定装置において、情報取得手段を備える。情報取得手段は、対象者の操縦する機器を管理する管理者が、対象者の生理状態に関する情報を取得するための手段である。このため、この運転者状態判定装置では、管理者が操縦士の生理状態を知ることができる。
【0031】
本発明の第15観点に係る運転者状態判定装置は、脳機能賦活情報提供ステップ、脳機能賦活情報検知ステップ、又は、機器変化量検出ステップ及び脳活動関連変化量抽出ステップと、並びに、顔面変化情報取得ステップ、顔面変化情報分解ステップ、判定用成分抽出ステップ、及び運転者状態判定ステップと、を備える。脳機能賦活情報提供ステップは、機器を運転する対象者に、人間の脳機能を賦活する脳機能賦活情報を提供する。脳機能賦活情報検知ステップは、機器を運転する対象者に提供される、人間の脳機能を賦活する脳機能賦活情報を検知する。機器変化量検出ステップは、機器に対する所定の操作により生じる所定の変化量を検出する。脳活動関連変化量抽出ステップは、機器変化量検出ステップにより検出された変化量から、機器を運転する対象者の脳活動に関連する変化量を脳活動関連変化量として抽出する。そして、顔面変化情報取得ステップは、対象者の顔面データの時系列変化を示す顔面変化情報を取得する。顔面変化情報分解ステップは、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する。判定用成分抽出ステップは、複数の成分から、脳機能賦活情報又は脳活動関連変化量に関連する成分を判定用成分として抽出する。運転者状態判定ステップは、判定用成分に基づいて、機器を運転する対象者の運転者状態を判定する。
【0032】
第15観点に係る運転者状態判定方法では、顔面変化情報を、特異値分解・主成分分析・独立成分分析することで得られた複数の成分から、脳機能賦活情報又は脳活動関連変化量と関連する判定用成分を抽出するので、装着前に前処理の必要な電極等を使用しなくても、対象者の脳活動の有無を容易に推定できる。これにより、対象者の脳機能に対応する判定用成分に基づいて、機器を運転する対象者の運転者状態を容易に判定できる。
【0033】
本発明の第16観点に係る運転者状態判定方法は、第15観点の運転者状態判定方法において、運転者状態判定ステップで、脳機能賦活情報又は脳活動関連変化量に対する判定用成分の相関値を算出し、算出した相関値及び判定情報に基づいて、機器を運転する対象者の運転者状態レベルを判定する。ここでは、脳機能賦活情報又は脳活動関連変化量に対して算出される判定用成分の相関値の、脳機能賦活情報又は脳活動関連変化量に対して算出された基準判定用成分の基準相関値からの所定範囲の変化量が、運転者状態レベルに関連付けられて判定情報として判定情報記憶部に記憶されている。
【0034】
第16観点に係る運転者状態判定方法では、判定情報記憶部に記憶された判定情報を利用して、運転者状態レベルを容易に判定できる。
【0035】
本発明の第17観点に係る運転者状態判定方法は、第16観点の運転者状態判定方法において、所定のタイミングで、脳機能賦活情報検知ステップ、脳機能賦活情報提供ステップ、又は、前記機器変化量検出ステップ及び前記脳活動関連変化量抽出ステップ、並びに、顔面変化情報取得ステップ、顔面変化情報分解ステップ、及び判定用成分抽出ステップを実行し、脳機能賦活情報又は前記脳活動関連変化量に関連する成分を基準判定用成分として抽出する。
【0036】
第17観点に係る運転者状態判定方法では、所定のタイミングで、対象者の顔面変化情報から基準判定用成分を抽出するので、その後の対象者の運転者状態を高精度に判定できる。
【0037】
本発明の第18観点に係る運転者状態判定方法は、第16観点又は第17観点の運転者状態判定方法において、運転者状態判定ステップが、運転者状態レベルを判定する際に、判定情報提供装置にアクセスする。ここで、判定情報記憶部は、ネットワーク上の判定情報提供装置に格納されている。
【0038】
第18観点に係る運転者状態判定方法では、外部ネットワーク上の判定情報提供装置に記憶された基準判定用成分を用いて運転者状態を判定するので、基準設定作業を簡略化できる。また、上記方法により、例えばビッグデータを用いた運転者状態の判定を実現できる。
【0039】
本発明の第19観点に係る運転者状態判定方法は、第18観点の運転者状態判定方法において、基準相関値が、対象者以外の者に、脳機能賦活情報を提供して得られた基準判定用成分に基づいて算出されるものである、又は正常運転時の脳活動関連変化量から得られた基準判定用成分に基づいて算出されるものである。
【0040】
第19観点に係る運転者状態判定方法では、対象者以外の者から得られたビッグデータ又は正常運転時に得られたビッグデータ等を利用して、運転者状態の判定を実現できる。
【発明の効果】
【0041】
第1観点に係る運転者状態判定装置では、機器を運転する対象者の運転者状態を容易に判定できる。
【0042】
第2観点に係る運転者状態判定装置では、機器を運転する対象者の運転者状態を容易に判定できる。
【0043】
第3観点に係る運転者状態判定装置では、機器を運転する対象者の運転者状態を容易に判定できる。
【0044】
第4観点に係る運転者状態判定装置では、機器を運転する対象者の運転者状態を容易に判定できる。
【0045】
第5観点に係る運転者状態判定装置では、判定の信頼性を高めることができる。
【0046】
第6観点に係る運転者状態判定装置では、運転者状態レベルを容易に判定できる。
【0047】
第7観点に係る運転者状態判定装置では、ネットワーク上の判定情報提供装置を利用して、対象者の運転者状態レベルを判定できる。
【0048】
第8観点に係る運転者状態判定装置では、自動車、鉄道車両、飛行機、原子力発電機器、各種プラントを含む自動機械を運転する対象者の運転者状態を判定できる。
【0049】
第9観点に係る運転者状態判定装置では、自動車、鉄道車両、飛行機、原子力発電機器、各種プラントを含む自動機械を運転する対象者の運転者状態を判定できる。
【0050】
第10観点に係る運転者状態判定装置では、自動車、鉄道車両、及び飛行機を含む交通機器を運転する対象者の運転者状態を加速度に基づいて判定できる。
【0051】
第11観点に係る運転者状態判定装置では、簡便に操縦士の脳活動を推定することができる。
【0052】
第12観点に係る運転者状態判定装置では、操縦士の操縦に対する意識レベルを解析することができる。
【0053】
第13観点に係る運転者状態判定装置では、操縦士の意識レベルが低下した場合に、操縦士に注意を促すことができる。
【0054】
第14観点に係る運転者状態判定装置では、管理者が操縦士の生理状態を知ることができる。
【0055】
第15観点に係る運転者状態判定方法では、機器を運転する対象者の運転者状態を容易に判定できる。
【0056】
第16観点に係る運転者状態判定方法では、運転者状態レベルを容易に判定できる。
【0057】
第17観点に係る運転者状態判定方法では、所定のタイミング後の対象者の運転者状態を高精度に判定できる。
【0058】
第18観点に係る運転者状態判定方法では、基準設定作業を簡略化できる。
【0059】
第19観点に係る運転者状態判定方法では、ビッグデータ等を利用して、運転者状態の判定を実現できる。
【図面の簡単な説明】
【0060】
図1】撮影画像データ及びこれを解析した結果の一例を示す図。
図2】顔面皮膚温度データを解析した結果の一部を示す図。
図3】顔面皮膚温度データを解析した結果の一部を示す図。
図4】成分2の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図。
図5】成分3の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図。
図6】対照実験で得られた顔面皮膚温度データを解析した結果の一部を示す図。
図7】顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。
図8】顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。
図9】顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。
図10】顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。
図11】顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。
図12】顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。
図13】顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。
図14】顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。
図15】顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。
図16】顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。
図17】顔面の撮影画像データに基づく成分波形を解析した結果の一部を示す図。
図18】顔面皮膚温度データに基づく成分波形を解析した結果の一部を示す図。
図19】本発明の一実施形態に係る脳活動可視化装置の概略図。
図20】脳活動可視化装置において脳機能を反映した皮膚温度の変化を示す成分を同定する際の処理の流れを示すフローチャート。
図21】本発明の一実施形態に係る脳活動可視化装置の概略図。
図22】脳活動可視化装置において脳機能を反映した顔面のRGB変化を示す成分を同定する際の処理の流れの一例を示すフローチャート。
図23】第1実施形態に係る運転者状態判定装置400の構成を示す模式図。
図24】第1実施形態に係る判定情報データベース432の構成を示す模式図。
図25A】第1実施形態に係る運転者状態判定装置400の動作を示すフローチャート。
図25B】第1実施形態に係る運転者状態判定装置400の動作を示すフローチャート。
図26】第1実施形態に係る運転者状態判定装置400の具体的構成の例を示す図。
図27】第1実施形態に係る運転者状態判定装置400において赤外線カメラ415aを用いた例を示す図。
図28】第1実施形態に係る運転者状態判定装置400の変形例の構成を示す模式図。
図29】第1実施形態に係る運転者状態判定装置400の変形例の動作を示すフローチャート。
図30】第2実施形態に係る運転者状態判定装置400Aの構成を示す模式図。
図31A】第2実施形態に係る運転者状態判定装置400Aの動作を示すフローチャート。
図31B】第2実施形態に係る運転者状態判定装置400Aの動作を示すフローチャート。
図32】第2実施形態に係る運転者状態判定装置400Aの変形例の構成を示す模式図。
図33】第2実施形態に係る運転者状態判定装置400Aの変形例の動作を示すフローチャート。
図34】第3実施形態に係る運転者状態判定装置400Bの構成を示す模式図。
図35A】第3実施形態に係る運転者状態判定装置400Bの動作を示すフローチャート。
図35B】第3実施形態に係る運転者状態判定装置400Bの動作を示すフローチャート。
図36】第3実施形態に係る運転者状態判定装置400Bの変形例の構成を示す模式図。
図37】第3実施形態に係る運転者状態判定装置400Bの変形例の動作を示すフローチャート。
図38】第3実施形態に係る運転者状態判定方法の検証結果を示す図。
図39】第3実施形態に係る運転者状態判定方法の検証結果を示す図。
図40】第4実施形態に係る運転者状態判定装置の利用例を示す図。
【発明を実施するための形態】
【0061】
本発明の実施形態を説明する前に、まず、本発明者らが本発明を為すにあたって重要な基礎となった、本発明者らによる知見について説明する。
【0062】
(1)本発明者らによる知見の要点
人間の脳活動には、人間の知的活動(認知活動等)及び情動活動(快/不快等の活動)が反映されていることが知られている。そして、従来より、人間の脳活動を推定する試みがされているが、この場合、脳波計測法、磁気共鳴画像法及び近赤外線分光法のいずれかの方法によって検出されたデータが利用されることが多い。
【0063】
ここで、検出方法として、例えば、脳波計測法が採用される場合には、被験者に対して脳波電極を装着する必要がある。そして、脳波電極を装着する際には皮膚と電極との間の抵抗を小さくする必要があるため、皮膚を研磨する処理を行ったり電極にペーストを塗布したりする等の作業が必要になる。また、磁気共鳴画像法が採用される場合には、MRI室以外での測定が不可能であるとともに、測定室内に金属を持ち込むことができない等の測定条件に制約がある。さらに、近赤外線分光法が採用される場合には、被験者に対してプローブを装着する必要があるが、プローブを長時間装着することで被験者が痛みを感じたり、被験者の髪とプローブとの接触具合によっては正確に検出できなかったりすることがある。このように、人間の脳活動を測定するために従来の検出方法が採用される場合、脳波電極やプローブ等を装着する際の前処理が必要であったり、測定条件が限定されたりする等、被験者に与える負担が大きくなる。
【0064】
したがって、被験者の負担を軽減し、かつ簡便に人間の脳活動を推定できる手段の開発が求められている。
【0065】
そして、本発明者らは、人間の顔面の皮膚温度又は顔面の皮膚温度に比例すると考えられている顔面の血行状態に基づき人間の脳活動を推定することができるのではないか、と考えた。人間の顔面の皮膚温度であればサーモグラフィ等の測定装置を用いることで取得することができ、顔面の血行状態すなわち顔面の血行量であれば撮影装置を利用して得られる顔面の撮影画像のRGBデータから推定することができる。このように、顔面の皮膚温度や顔面の撮影画像であれば、脳波電極やプローブ等の装着前に処理が必要なセンサを装着することなく取得することができる。
【0066】
一方で、人間の顔面の皮膚温度は、外気温度及び/又は自律神経の活動等の様々な要因の影響を受けて変化することが知られている。このため、顔面の皮膚温度に基づいて又は顔面の皮膚温度に比例すると考えられる顔面の血行量に基づいて脳活動を推定しようとすると、取得したデータが脳活動のみを反映しているかどうかを判断することは、非常に困難であると考えられる。
【0067】
本発明者らは、鋭意検討した結果、顔面の皮膚温度を検出し、検出した温度データ及び検出部位の位置データ(座標データ)を含む時系列の顔面皮膚温度データを、或いは、時系列の顔面の撮影画像データから得られるRGBデータに基づき算出された時系列の顔面の血行量データを、特異値分解法、主成分分析法若しくは独立成分分析法を用いて複数の成分に分解し、分解した複数の成分について解析を行うことで、脳活動を反映した顔面の皮膚温度の変化或いは顔面の血行量の変化を示す成分を同定することができることを見いだした。そして、本発明者らは、対象者の脳活動を推定し、これを解析することで、推定した脳活動に基づき対象者の生理状態を可視化することのできる本発明に到達した。
【0068】
(2)顔面の各種データの取得方法、及び取得した各種データの解析方法
(2−1)顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法
次に、本発明者らが上記の知見を得るに際して用いた顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法について説明する。
【0069】
この試験では、6名の被験者から顔面皮膚温度データを取得した。具体的には、室温25℃を維持した人工気象室内に設置した椅子に被験者を座らせて、赤外線サーモグラフィ装置を用いて、被験者の顔面全体から顔面皮膚温度データを取得した。赤外線サーモグラフィ装置は、対象物から出ている赤外線放射エネルギーを赤外線カメラで検出し、検出した赤外線放射エネルギーを対象物表面の温度(ここでは、摂氏での温度)に変換して、その温度分布を顔面皮膚温度データ(例えば、温度分布を表した画像データ)として表示、蓄積することが可能な装置である。なお、この試験では、赤外線サーモグラフィ装置として、NEC Avio 赤外線テクノロジー株式会社製のR300を使用した。また、赤外線カメラは、被験者の正面であって、被験者から1.5m離れた地点に設置した。そして、顔面皮膚温度データは、30分間取得した。
【0070】
また、この試験では、顔面皮膚温度データを取得している間に、被験者に対して脳機能賦活課題を与えた。これにより、脳の非賦活時の顔面皮膚温度データ、及び脳の賦活時の顔面皮膚温度データを取得した。脳機能賦活課題としては、被験者が表示装置等に表示された映像に基づいて、計算、又は、数値、形状及び色の認知、或いは、記号、文字ないし言語の記憶などの心理的作業が挙げられる。この試験では、脳機能賦活課題として「かけ算の暗算」を採用し、被験者に、表示装置に筆算形式で表示される数字を計算させ、その回答をキーボードに入力させる作業を課した。なお、この試験では、顔面皮膚温度データの取得開始から5分経過後から10分間継続して、被験者に対して脳機能賦活課題を与えた。
【0071】
顔面皮膚温度データの解析としては、取得した顔面皮膚温度データを対象として、MATLAB(登録商標)のSVD(Singular Value Decomposition)を分析ツールとして用いて特異値分解を行った。特異値分解では、時系列で取得した全ての顔面皮膚温度データ(30分間のデータ)を対象とし、要因を30秒毎の時間データ(30分間で60 time point)とし、測度をその期間(30秒間)における顔面皮膚温度データ(240×320 pixels)とした。そして、特異値分解により、顔面皮膚温度データXを、複数の成分に分解し、それぞれの成分の時間分布Vと、空間分布Uと、各成分の大きさを示す特異値Sとを算出した。なお、これらの関係は、以下の式で表される。また、V’は、Vの行と列とを入れ替えた行列である。
【0072】
【数1】
【0073】
そして、特異値分解によって求められた各成分の時間分布V及び空間分布Uをグラフにプロットし、各成分の成分波形図と温度分布図とを作成した。
【0074】
さらに、作成した各成分の成分波形図及び温度分布図について、脳活動を反映した皮膚温度の変化を示す成分を同定するための解析を行った。
【0075】
各成分の成分波形図については、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。具体的には、各成分の成分波形図に示された振幅と、脳の非賦活期間/脳の賦活期間との間に相関関係があるか否かを評価した。この試験では、顔面皮膚温度データを取得している期間のうち、被験者に対して脳機能賦活課題が与えられていない期間であるデータ取得開始時点から5分が経過した時点までの5分間の期間、及びデータ取得開始時から15分が経過した時点からデータ取得終了時点までの15分間の期間を脳の非賦活時とし、被験者に対して脳機能賦活課題が与えられている期間であるデータ取得開始時から5分が経過した時点から10分が経過した時点までの10分間の期間を脳の賦活時とした。そして、各成分の成分波形図に示された振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について評価した。なお、相関関係の有無については、統計的相関分析を行い、有意水準(α)が0.05以下の場合に相関があると判断した。
【0076】
各成分の温度分布図については、顔面の所定部位における温度変化の有無について解析した。ここで、脳には、選択的脳冷却機構(Selective Brain Cooling System)という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び副鼻腔周辺(眉間及び鼻部周辺を含む)を用いて排熱していることが知られている。そこで、この試験では、各成分の温度分布図において、副鼻腔周辺及び前額部における温度変化があるか否かを評価した。なお、温度分布図における副鼻腔周辺及び前額部の温度変化の有無については、目視(visual inspection)による温度変化の有無、もしくは副鼻腔周辺及び前額部の温度が測定データ全体の平均温度から1標準偏差(SD)以上異なるか否かを温度変化の有無の基準とした。
【0077】
なお、空間分布U、特異値S及び時間分布Vの値の関係で、顔面皮膚温度データXの極性(プラスマイナス)が決定するため、各成分の成分波形図及び温度分布図において極性が反転して現れることがある。このため、成分波形図及び温度分布図の評価に関して、極性については評価対象としないこととした。
【0078】
ここで、この赤外線サーモグラフィ装置では、上述しているように、対象物から検出された赤外線放射エネルギーを温度に変換して、その温度分布を顔面皮膚温度データとしている。ところで、人間を対象として赤外線サーモグラフィ装置を用いて顔面の皮膚温度を取得する場合、顔面の動き及び/又は自律神経の活動等の様々な脳活動とは関連しない温度変化(いわゆるノイズ)についても顔面皮膚温度データとして取得してしまう(図1(a)参照)。そこで、このような脳活動とは関連しない温度変化を検出するために、30秒毎の顔面皮膚温度データに含まれる温度データの全平均値を「0」とした相対的な顔面皮膚温度データを作成し、作成した顔面皮膚温度データについても、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図と温度分布図とを作成し、脳活動を反映した皮膚温度の変化を示す成分を同定するための解析を行った。
【0079】
なお、以下より、説明の便宜上、赤外線サーモグラフィ装置で取得した顔面皮膚温度データを「温度換算データに応じた顔面皮膚温度データ」といい、所定時間毎(この試験では30秒毎)の温度換算データに応じた顔面皮膚温度データに含まれる温度データの全平均値を「0」とした相対的な顔面皮膚温度データを「相対温度換算データに応じた顔面皮膚温度データ」という。
【0080】
また、6名の被験者のうちの1名に対しては、赤外線サーモグラフィ装置による顔面皮膚温度の検出の他に、被験者の頭皮上に電極を接続して脳波を測定し、覚醒時や意識が緊張した時に現れる波形として知られているβ波(14〜30Hzの周波数の脳波)の振幅と、成分波形図の振幅との間の相関関係についても評価した。なお、脳波測定では、国際式10−20法に基づき、6つの部位(F3、F4,C3、C4、Cz、Pz)に電極を配置した。
【0081】
ところで、被験者に脳機能賦活課題が与えられている間、被験者の頭が上下に動くことが考えられる。そうすると、赤外線カメラに対する被験者の顔面の位置が変化することになる。この顔面の位置の変化が皮膚温度の変化に影響しているか否かを検証するために、被験者1名に対して対照試験を行った。顔面皮膚温度データを取得する際の被験者の動きの影響を検証するための対照試験では、上記試験と同様に赤外線サーモグラフィ装置を用いて被験者の顔面皮膚温度データを取得するが、脳機能賦活課題が与えられていない間(すなわち、脳の非賦活時)についてもランダムなタイミングでキーボードを押す作業を被験者に課した。この対照実験によって得られた温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データについても、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図と温度分布図とを作成し、脳活動を反映した皮膚温度の変化を示す成分を同定するための解析を行った。
【0082】
(2−2)顔面撮影画像データの取得方法、及び顔面撮影画像データの解析方法
図1(a)は、撮影装置にて撮影した被験者の顔面の副鼻腔周辺の撮影画像データの一例を示す図である。図1(b)は、血行量分布図(画像マップ)の一例を示す図である。
【0083】
次に、本発明者らが上記の知見を得るに際して用いた顔面撮影画像データの取得方法、及び顔面撮影画像データの解析方法について説明する。
【0084】
この試験では、6名の被験者から顔面の撮影画像データを取得した。具体的には、室温25℃を維持した人工気象室内に設置した椅子に被験者を座らせて、時系列で画像を取得可能な撮影装置を用いて、被験者の顔面全体の副鼻腔周辺の撮影画像データを時系列で取得した。
【0085】
また、上述した選択的脳冷却機構に基づくと、脳活動に伴う顔面皮膚温度に比例すると考えられる顔面の血行量の変化は、前額部及び/又は副鼻腔周辺に出現すると考えられる。このことから、本発明者らは、少なくとも前額部及び/又は副鼻腔周辺の顔面の血行量の変化を捉えることができれば、精度良く脳活動を推定することができる、と考えた。そして、この試験では、被験者の顔面の副鼻腔周辺の撮影画像データを時系列で取得した。
【0086】
また、この試験では、撮影装置として、Apple社製のiPad Air(登録商標)の備える液晶画面側の撮影装置を使用し、時系列の撮影画像データとしてカラーの動画データを取得した。また、撮影装置を、被験者の正面側であって、被験者から1.0m離れた地点に設置した。そして、撮影装置によって、30フレーム/秒の撮影周期で時間軸に沿って30分間の撮影画像データを連続撮影することで、顔面の動画データを得た。
【0087】
さらに、この試験では、顔面の動画データを取得している間に、被験者に対して脳機能賦活課題を与えた。これにより、脳の非賦活時の顔面の動画データ、及び脳の賦活時の顔面の動画データを取得した。この試験では、上記試験と同様に、脳機能賦活課題として「かけ算の暗算」を採用し、被験者に、表示装置に筆算形式で表示される数字を計算させ、その回答をキーボードに入力させる作業を課した。なお、この試験では、顔面の動画データの取得開始から5分経過後から10分間継続して、被験者に対して脳機能賦活課題を与えた。
【0088】
顔面の動画データの解析としては、撮影した顔面の動画データより得られたRGBデータに基づき血行量データを算出し、算出した時系列の血行量データを対象として、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行った。ここでは、CIE−L***表色系に従って、画像のRGBデータより演算される肌の赤みやヘモグロビン量と相関のある紅斑指数「a*」を求め、これを血行量データとした。また、特異値分解では、時系列で取得した全ての動画データ(30分間のデータ)から得られたRGBデータに基づく血行量データ(ここでは、紅斑指数)を対象とし、要因を30秒毎の時間データ(30分間で60 time point)とし、測度をその期間(30秒毎)におけるRGBデータから演算した紅斑指数(30秒毎に1秒間のフレームデータを取り出し、該フレームデータから得られるRGB値の平均値から演算した紅斑指数;240×320 pixels)とした。そして、特異値分解により、顔面の動画データより得られたRGBデータに基づく時系列の血行量データを、複数の成分に分解し、それぞれの成分の時間分布Vと、空間分布Uと、各成分の大きさを示す特異値Sとを算出した。なお、これらの関係は、上記式(数1)と同様の式で表される。
【0089】
そして、特異値分解によって求められた各成分の時間分布V及び空間分布Uをグラフにプロットし、各成分の成分波形図と血行量分布図とを作成した。
【0090】
さらに、作成した各成分の成分波形図及び血行量分布図について、脳活動を反映した顔面の血行量の変化すなわち顔面のRGB変化を示す成分を同定するための解析を行った。
【0091】
各成分の成分波形図については、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。具体的には、各成分の成分波形図に示された振幅と、脳の非賦活期間/脳の賦活期間との間に相関関係があるか否かを評価した。この試験では、顔面の撮影画像データを取得している期間のうち、被験者に対して脳機能賦活課題が与えられていない期間であるデータ取得開始時点から5分が経過した時点までの5分間の期間、及びデータ取得開始時から15分が経過した時点からデータ取得終了時点までの15分間の期間を脳の非賦活時とし、被験者に対して脳機能賦活課題が与えられている期間であるデータ取得開始時から5分が経過した時点から10分が経過した時点までの10分間の期間を脳の賦活時とした。そして、各成分の成分波形図に示された振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について評価した。なお、相関関係の有無については、統計的相関分析を行い、有意水準(α)が0.01以下の場合に相関があると判断した。
【0092】
各成分の血行量分布図については、顔面の所定部位における血行量変化の有無について解析した。血行量分布図は、ピクセル毎に算出された空間分布Uを各ピクセルの位置に並べることで作成される。このように作成された各成分の血行量分布図において、副鼻腔周辺及び前額部における血行量の変化があるか否かを評価した。なお、血行量分布図における副鼻腔周辺及び前額部の血行量変化の有無については、目視(visual inspection)による血行量変化の有無、もしくは図1(b)に示す副鼻腔周辺及び前額部の血行量の値が「0.000」でないことを血行量変化の有無の基準とした。
【0093】
なお、空間分布U、特異値S及び時間分布Vの値の関係で、血行量データXの極性(プラスマイナス)が決定するため、各成分の成分波形図及び血行量分布図において極性が反転して現れることがある。このため、成分波形図及び血行量分布図の評価に関して、極性については評価対象としないこととした。
【0094】
さらに、顔面の皮膚温度と顔面の血行量との相関関係を検証するために、6名の被験者から顔面の撮影画像データを時系列で取得している間、赤外線サーモグラフィ装置により顔面皮膚温度データも時系列で取得し、取得した顔面皮膚温度データについてもMATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図を作成し、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。なお、この試験では、赤外線サーモグラフィ装置として、上記試験と同様の装置を用いた。また、赤外線カメラは、被験者の正面であって、被験者から1.5m離れた地点に設置した。
【0095】
ところで、撮影装置を用いて顔面の撮影画像データを取得する場合、撮影中に太陽の光等が顔に当たることで光が顔で反射し、この反射光が撮影装置のレンズに入り込んでしまうことがある。そうすると、撮影された顔面の撮影画像データにはこの反射光が記録されてしまうことになる。ここで、撮影画像データから得られるRGBデータにおいて、顔面の血行量に基づく明度の変化は反射光に基づく明度の変化よりも小さいため、反射光の記録された撮影画像データから得られるRGBデータに基づいて算出された血行量が解析されると、脳活動とは関連しない顔面のRGB変化(いわゆるノイズ)が混入してしまう可能性があると考えられた。そこで、このような脳活動とは関連しない顔面のRGB変化の混入を防ぐために、30秒毎のRGBデータの全平均値を「0」とした相対的なRGBデータから相対的な血行量データを作成し、作成した血行量データについても、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図と血行量分布図とを作成し、脳活動を反映した顔面のRGB変化を示す成分を同定するための解析を行った。
【0096】
なお、以下より、説明の便宜上、所定時間毎(この試験では30秒毎)のRGBデータの全平均値を「0」とした相対的なRGBデータに基づく相対的な血行量データを「相対換算血行量データ」といい、相対的なRGBデータに換算する前のRGBデータに基づく血行量データを単に「血行量データ」という。
【0097】
また、6名の被験者に対して撮影装置によって顔面の時系列の撮影画像データを取得している間、各被験者の頭皮上に電極を接続して脳波を測定し、覚醒時等の脳細胞が活動している時に現れる波形として知られているβ波(13〜30Hzの周波数の脳波)の振幅と、成分波形図の振幅との間の相関関係についても評価した。なお、脳波測定では、国際式10−20法に基づき、頭皮上19の部位(Fp1、Fp2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、Fz、Cz及びPz)に電極を配置した。
【0098】
さらに、被験者に脳機能賦活課題が与えられている間、被験者の頭が上下に動くことが考えられる。そうすると、撮影装置に対する被験者の顔面の位置が変化することになる。この顔面の位置の変化が顔面のRGB変化に影響しているか否かを検証するために、被験者1名に対して対照試験を行った。対照試験では、上記試験と同様に撮影装置を用いて被験者の顔面の時系列の撮影画像データを取得するが、脳機能賦活課題が与えられていない間(すなわち、脳の非賦活時)についてもランダムなタイミングでキーボードを押す作業を被験者に対して課した。この対照実験によって撮影された顔面の時系列の撮影画像データから得られたRGBデータに基づく時系列の血行量データについても、MATLAB(登録商標)のSVDを分析ツールとして用いて特異値分解を行い、特異値Sに応じた各成分の成分波形図を作成し、その成分波形の振幅と、脳の非賦活時及び脳の賦活時との相関関係の有無について解析した。また、各成分波形の振幅と、実際の顔面の動きとの相関関係の有無について解析した。実際の顔面の動きは、撮影画像データから顔の同一箇所の2次元座標を取得し、対照実験開始時の撮影画像データを基準として撮影時における30秒毎の顔面の移動距離を算出することで評価した。さらに、各成分波形の振幅と、撮影中のキーボードの入力数との相関関係の有無についても解析した。撮影中のキーボードの入力数は、時系列の撮影画像データにおける30秒毎の単純移動平均を算出することで評価した。
【0099】
(3)解析結果
(3−1)顔面皮膚温度データの解析結果
図2は、温度換算データに応じた顔面皮膚温度データを解析した結果の一部を示す図である。図2(a)は、被験者1の成分2の成分波形図を示している。図2(b)は、被験者1の成分2の温度分布図を示している。図3(a)は、被験者1の成分3の成分波形図を示している。図3(b)は、被験者1の成分3の温度分布図を示している。図4及び図5は、成分波形の振幅と、脳波との関係を示す図である。図4は、被験者1の成分2の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図5は、被験者1の成分3の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図6は、対照実験で得られた顔面皮膚温度データを解析した結果の一部を示す図である。図6(a)は、成分3の成分波形図を示している。図6(b)は、成分3の温度分布図を示している。
【0100】
表1は、各被験者に対する顔面皮膚温度データの解析結果を示したものである。
【0101】
上記の顔面皮膚温度データの解析によって得られた結果から、時系列の顔面皮膚温度データを特異値分解により分解して得られた複数の成分のうち、成分2及び/又は成分3と、人間の脳活動との間に有意な相関があることが確認された。
【0102】
【表1】
【0103】
また、図4及び図5に示すように、脳波解析の結果から、成分2及び成分3の各成分波形の振幅と、脳波のβ波の振幅との間に有意な相関が確認された。
【0104】
さらに、対照実験では、顔面皮膚温度データを取得している間に被験者に動きがある状態であっても、成分3と人間の脳活動との間に有意な相関があった(図6参照)。このことから、複数の成分のうち、成分3については、顔面皮膚温度データを取得する際の被験者の動きが影響していないことが認められた。
【0105】
これらの結果から、本発明者らは、以下の知見を得た。
【0106】
被験者から取得した時系列の顔面皮膚温度データを特異値分解により複数の成分に分解し、分解した各成分について解析した結果、複数の成分のうちの成分3が脳活動に関連する成分であると認められた。すなわち、時系列の顔面皮膚温度データを特異値分解により複数の成分に分解し、分解した複数の成分から脳の賦活/非賦活と相関のある成分を抽出し、抽出した成分について選択的脳冷却機構を利用した解析を行うことで、複数の成分から脳活動を反映した皮膚温度の変化を示す成分を同定することができることが判明した。このことから、本発明者らは、人間の顔面の皮膚温度に基づいて、脳活動を推定することができる、という知見を得た。
【0107】
(3−2)顔面の撮影画像データの解析結果
図7図18は、顔面の撮影画像データ(血行量データ)又は顔面皮膚温度データに基づく成分波形図を解析した結果の一部を示す図である。図7は、被験者1の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者1の脳波のうちのβ波の振幅とを示す図である。図8は、被験者1の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者1の脳波のうちのβ波の振幅とを示す図である。図9は、被験者2の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者2の脳波のうちのβ波の振幅とを示す図である。図10は、被験者2の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者2の脳波のうちのβ波の振幅とを示す図である。図11は、被験者3の撮影画像データに基づく成分4の成分波形の振幅と、測定された被験者3の脳波のうちのβ波の振幅とを示す図である。図12は、被験者3の顔面皮膚温度データに基づく成分3の成分波形の振幅と、測定された被験者3の脳波のうちのβ波の振幅とを示す図である。図13は、被験者4の撮影画像データに基づく成分3の成分波形の振幅と、測定された被験者4の脳波のうちのβ波の振幅とを示す図である。図14は、被験者4の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者4の脳波のうちのβ波の振幅とを示す図である。図15は、被験者5の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者5の脳波のうちのβ波の振幅とを示す図である。図16は、被験者5の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者5の脳波のうちのβ波の振幅とを示す図である。図17は、被験者6の撮影画像データに基づく成分4の成分波形の振幅と、測定された被験者6の脳波のうちのβ波の振幅とを示す図である。図18は、被験者6の顔面皮膚温度データに基づく成分3の成分波形の振幅と、測定された被験者6の脳波のうちのβ波の振幅とを示す図である。
【0108】
図7図18に示すように、各成分波形と脳波解析との結果から、顔面の皮膚温度と顔面の血行量とが相関関係にあることが確認された。なお、顔面の皮膚温度データ及び顔面の血行量データのいずれのデータに基づく解析においても、各成分波形の振幅と、頭頂部又は後頭部に装着した電極が測定した脳波のβ波の振幅との間に有意な相関が確認された。
【0109】
以下に示す表2は、各被験者に対する顔面の撮影画像データの解析結果を示したものである。
【0110】
【表2】
【0111】
表2に示すように、上記の顔面の撮影画像データの解析によって得られた結果から、顔面の撮影画像データに基づく時系列の血行量データを特異値分解により分解して得られた複数の成分のうち、成分1,2,3,4,5と人間の脳活動との間に有意な相関があることが確認された。なお、ここでは、血行量データに基づく相関において有意な相関が見られかつ相対換算血行量データに基づく相関において有意な相関が見られた成分だけでなく、血行量データに基づく相関においては有意な相関が見られなかったが相対換算血行量データに基づく相関において有意な相関が見られた成分も、人間の脳活動と有意な相関があると認めるようにした。
【0112】
また、以下に示す表3は、対照実験の結果を示したものである。
【0113】
【表3】
【0114】
表3に示すように、対照実験では、顔面の撮影画像データを取得している間に被験者に動きがある場合、その成分波形の振幅と脳の非賦活時及び脳の賦活時との間に有意な相関のあった成分のうちの成分2については、移動距離及びキーボード入力数それぞれとの間に有意な相関が認められなかった。このことから、顔面の撮影画像データから取得したRGBデータに基づく血行量データを特異値分解することで得られる複数の成分において、脳活動との間に有意な相関がある成分については、顔面の時系列の撮影画像データを取得する際の被験者の動きによる影響を受けたとしても、その影響は脳の脳活動による影響(脳の賦活や非賦活による影響)よりも遙かに小さいことが確認された。
【0115】
これらの結果から、本発明者らは、以下の知見を得た。
【0116】
被験者から取得した時系列の顔面の撮影画像データに基づく顔面のRGBデータから得られる血行量データを特異値分解により複数の成分に分解し、分解した各成分について解析した結果、複数の成分のうちの成分1,2,3,4,5が脳活動に関連する成分であると認められた。すなわち、時系列の顔面の撮影画像データに基づく顔面のRGBデータから得られる血行量データを特異値分解により複数の成分に分解し、分解した複数の成分から脳の賦活/非賦活と相関のある成分を抽出し、抽出した成分について解析することで、複数の成分から脳活動を反映した顔面のRGB変化を示す成分を同定することができることが判明した。このことから、本発明者らは、人間の顔面の時系列の撮影画像データに基づいて、脳活動を推定することができる、という知見を得た。
【0117】
(4)脳活動可視化装置
次に、上記に説明した知見に基づいて、本発明者らが完成するに至った本発明の一実施形態に係る脳活動可視化装置10,110について説明する。なお、本発明に係る脳活動可視化装置は、以下の実施形態に限定されるものではなく、要旨を逸脱しない範囲で適宜変更可能である。
【0118】
本発明の一実施形態に係る脳活動可視化装置10,110は、顔面皮膚温度データに基づき脳活動を推定する脳活動推定手段30、及び/又は顔面の撮影画像データに基づき脳活動を推定する脳活動推定手段130を備えている。以下では、本発明の一実施形態に係る脳活動可視化装置10,110を説明する前に、各脳活動推定手段30,130について説明する。
【0119】
(4−1)顔面皮膚温度データに基づき脳活動を推定する脳活動推定手段30
図19は、本発明の一実施形態に係る脳活動可視化装置10の概略図である。図20は、脳活動可視化装置10において脳機能を反映した皮膚温度の変化を示す成分を同定する際の処理の流れを示すフローチャートである。
【0120】
脳活動可視化装置10の備える脳活動推定手段30は、個人(被験者)の顔面の皮膚温度から、個人の脳活動を推定する。脳活動可視化装置10は、図19に示すように、顔面皮膚温度取得手段20と、脳活動推定手段30と、状態可視化手段200と、を備える。
【0121】
顔面皮膚温度取得手段20は、個人の顔面の少なくとも一部の皮膚温度を検出し、検出した温度データ及びその検出部位の位置データを含む顔面皮膚温度データを時系列で取得する(ステップS1)。なお、ここでは、顔面皮膚温度取得手段20は、赤外線サーモグラフィ装置であり、図19に示すように、赤外線カメラ21と、処理部22と、を有する。赤外線カメラ21は、個人の顔面から出ている赤外線放射エネルギーを検出するためのものである。そして、ここでは、赤外線カメラ21は、個人の顔面全体から赤外線放射エネルギーを検出しているものとする。処理部22は、赤外線カメラ21によって検出した赤外線放射エネルギーを温度に変換して温度データとし、赤外線放射エネルギーの検出された部位を位置データ(座標データ)とした顔面全体における顔面皮膚温度の温度分布図を作成し、作成した温度分布図を温度換算データに応じた顔面皮膚温度データとして処理する。温度換算データに応じた顔面皮膚温度データは、処理部22の有する記憶部(図示せず)に蓄積される。
【0122】
ここでは、処理部22において、顔面全体における顔面皮膚温度の温度分布図が作成されているが、これに限定されず、少なくとも副鼻腔周辺及び/又は前額部を含む顔面皮膚温度の温度分布図が作成され、これが温度換算データに応じた顔面皮膚温度データとされてもよい。
【0123】
また、ここでは、顔面皮膚温度取得手段20により温度換算データに応じた顔面皮膚温度データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられる。すなわち、顔面皮膚温度取得手段20により取得される温度換算データに応じた顔面皮膚温度データには、個人に対して脳機能賦活課題が与えられている期間のデータが含まれていることになる。なお、個人に対して与えられる脳機能賦活課題としては、脳が賦活状態になると推定されるものであれば特に限定されるものではなく、例えば、脳活動可視化装置10の利用目的に応じてその内容が適宜決定されるよう構成されていてもよい。
【0124】
脳活動推定手段30は、顔面皮膚温度取得手段20により取得された温度換算データに応じた顔面皮膚温度データに基づき、人間の脳活動を推定する。具体的には、脳活動推定手段30は、図19に示すように、換算部31と、解析部32と、推定部33と、を有する。
【0125】
換算部31は、温度換算データに応じた顔面皮膚温度データに含まれる温度データを相対的な温度データに換算し、換算した相対的な温度データに基づく顔面皮膚温度データすなわち相対温度換算データに応じた顔面皮膚温度データを作成する(ステップS2)。具体的には、換算部31は、所定時間毎(例えば、30秒)の温度換算データに応じた顔面皮膚温度データに含まれる温度データの平均値を基準値として、該温度データを相対的な温度データに換算する。そして、換算部31は、換算した相対的な温度データ及び位置データを利用して、相対温度換算データに応じた顔面皮膚温度データを作成する。
【0126】
解析部32は、時系列の温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データのそれぞれを、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する(ステップS3)。ここでは、解析部32は、取得した温度換算データに応じた顔面皮膚温度データ及び換算した相対温度換算データに応じた顔面皮膚温度データのそれぞれを対象として、MATLAB(登録商標)のSVDを分析ツールとして用いて、特異値分解を行う。特異値分解は、時系列で取得した温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データについて、要因を所定期間(例えば、30秒)毎の時間データとし、測度をその期間における温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データとして行われる。そして、特異値分解により、温度換算データに応じた顔面皮膚温度データ及び相対温度換算データに応じた顔面皮膚温度データのそれぞれを複数の成分に分解し、時間分布と、空間分布と、各成分の大きさを示す特異値とを算出する。
【0127】
また、解析部32は、特異値分解によって分解した複数の成分から脳活動を反映した皮膚温度の変化を示す成分を同定するために、各成分が第1条件及び第2条件を満たすか否かを判定する(ステップS4a、ステップS4b、ステップS5a、及びステップS5b)。なお、ここでは、解析部32において、まず、温度換算データに応じた顔面皮膚温度データに基づく各成分について第1条件が満たされているか否かが判定され(ステップS4a)、ステップS4aにおいて第1条件が満たされていると判定された温度換算データに応じた顔面皮膚温度データに基づく成分について第2条件が満たされているか否かが判定される(ステップS4b)。そして、相対温度換算データに応じた顔面皮膚温度データに基づく各成分のうちステップS4a及びステップS4bにおいて第1条件及び第2条件を満たすと判定された成分と一致する成分についてのみ第1条件が満たされているか否かが判定され(ステップS5a)、その後、ステップS5aにおいて第1条件が満たされていると判定された相対温度換算データに応じた顔面皮膚温度データに基づく成分について第2条件が満たされているか否かが判定される(ステップS5b)。しかしながら、解析部32における該判定の順序はこれに限定されるものではなく、例えば、温度換算データに応じた顔面皮膚温度データに基づく各成分と、相対温度換算データに応じた顔面皮膚温度データに基づく各成分とが、第1条件及び第2条件を満たすか否かがそれぞれ判定され、判定結果の一致する成分が最終的に抽出されてもよい。
【0128】
第1条件とは、特異値分解によって分解した成分の成分波形の振幅が、脳の非賦活時及び脳の賦活時の変化と相関関係にある、という条件である。解析部32は、複数の成分のうち、第1条件を満たす成分を、判定用成分として抽出する。なお、ここでは、温度換算データに応じた顔面皮膚温度データを取得している間に、個人に対して脳機能賦活課題が与えられている期間が一定期間ある。解析部32は、個人に対して脳機能賦活課題が与えられていない期間を脳の非賦活時とし、個人に対して脳機能賦活課題が与えられている期間を脳の賦活時として、脳機能賦活課題が与えられている期間及び与えられていない期間と、各成分の成分波形とを比較解析する。解析部32は、成分波形データに基づく比較解析結果を利用して、各成分の成分波形と脳の非賦活時及び脳の賦活時とが相関関係にあるか否かを評価し、複数の成分のうち相関関係にあると評価した成分を、第1条件を満たす判定用成分として抽出する。一方、解析部32は、複数の成分のうち相関関係にないと評価した成分を、第1条件を満たさず人間の脳活動を反映した温度変化を示す成分ではないと判定する(ステップS6)。
【0129】
ここでは、温度換算データに応じた顔面皮膚温度データの取得時に個人に対して脳機能賦活課題が一定期間与えられており、これに基づき解析部32は判定用成分を抽出しているが、第1条件の内容、すなわち解析部32における判定用成分の抽出手段はこれに限定されない。例えば、予め実験等がされていることで複数の成分のうち脳の非賦活時及び脳の賦活時と相関関係にある成分波形を示す成分が特定されている場合には、解析部32は、複数の成分から特定されている該成分を判定用成分として抽出する。また、本脳活動可視化装置において眼球運動又はまたたき等の脳の賦活/非賦活に関連することが知られている人間の動作が検出される場合には、解析部32が、この検出結果と各成分の成分波形とを比較解析及び評価することで、複数の成分から判定用成分を抽出してもよい。なお、解析部32による第1条件を満たすか否かの判定の基準は、脳活動可視化装置10の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。
【0130】
第2条件は、抽出した判定用成分において、人間の顔面の所定部位における温度変化がある、という条件である。解析部32は、判定用成分のうち、第2条件を満たす成分を、人間の脳活動に関連している可能性の高い成分と判定し、候補成分として抽出する。すなわち、解析部32は、人間の顔面の所定部位における温度変化の有無に基づき、判定用成分が人間の脳活動に関連しているか否かを判定する。具体的には、解析部32は、抽出した判定用成分の温度分布データに基づき、副鼻腔周辺及び/又は前額部において温度変化が生じているか否かを判定し、温度変化が生じている場合には該判定用成分が第2条件を満たす人間の脳活動に関連する可能性の高い成分であると判定し、候補成分として抽出する。一方で、解析部32は、副鼻腔周辺及び/又は前額部において温度変化が生じていない場合には、該判定用成分は第2条件を満たさず脳活動を反映した皮膚温度の変化を示す成分ではない、と判定する(ステップS6)。なお、解析部32による第2条件を満たすか否かの判定の基準は、脳活動可視化装置10の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。
【0131】
そして、解析部32は、ステップS5bにおいて第2条件を満たすと判定した成分を、脳活動を反映した皮膚温度の変化を示す成分として同定する(ステップS7)。すなわち、ステップS7において脳活動を反映した皮膚温度の変化を示す成分として同定される成分は、温度換算データに応じた顔面皮膚温度データを特異値分解により分解し解析することで抽出された候補成分と、相対温度換算データに応じた顔面皮膚温度データを特異値分解により分解し解析することで抽出された候補成分と、の間で一致している成分ということになる。なお、両解析で一致していない候補成分については、ステップS6において脳活動を反映した皮膚温度の変化を示す成分ではない、と判定されている。
【0132】
推定部33は、解析部32において人間の脳活動を反映した皮膚温度の変化を示す成分として同定された成分に基づいて、人間の脳活動を推定する。具体的には、推定部33は、解析部32において同定された成分の成分波形データに基づいて、顔面皮膚温度データの取得時における脳活動量を推定する。
【0133】
(4−1−1)変形例1A
上記脳活動推定手段30は換算部31を有しており、換算部31によって相対温度換算データに応じた顔面皮膚温度データが作成されている。そして、解析部32が、顔面皮膚温度取得手段20により取得された温度換算データに応じた顔面皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた顔面皮膚温度データについても、特異値分解により複数の成分に分解し、各成分についての解析を行っている。
【0134】
これに代えて、脳活動推定手段30が換算部31を有していなくてもよい。この場合、相対温度換算データに応じた顔面皮膚温度データを作成したり、相対温度換算データに応じた顔面皮膚温度データに基づくデータの解析を行ったりする処理を省くことができる。
【0135】
ただし、人間の脳活動に関連する成分を精度よく同定するためには、上記実施形態のように脳活動推定手段30が換算部31を有しており、解析部32によって、顔面皮膚温度取得手段20により取得された温度換算データに応じた顔面皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた顔面皮膚温度データについても、特異値分解により複数の成分に分解され、各成分についての解析が行われるほうが望ましい。
【0136】
(4−1−2)変形例1B
また、上記顔面皮膚温度取得手段20は、対象物と非接触の状態で温度データを取得することができる赤外線サーモグラフィ装置である。
【0137】
しかしながら、個人の顔面の少なくとも一部の皮膚温度を検出し、検出した温度データ及びその検出部位の位置データを含む顔面皮膚温度データを時系列で取得することができれば、顔面皮膚温度取得手段は赤外線サーモグラフィ装置に限定されない。
【0138】
例えば、顔面皮膚温度取得手段が温度センサを含む装置であってもよい。具体的には、個人の顔面の所定部位に温度センサを装着し、温度センサによって検出される温度データと、温度センサを装着した部位の位置データとに基づいて、時系列の顔面皮膚温度データが取得されてもよい。このように、温度センサにより対象となる個人に接触した状態で顔面皮膚温度データが取得される場合であっても、温度センサは脳波電極等のように装着前の処理が必要ではないため、脳波計測法、磁気共鳴画像法、及び近赤外線分光法等の従来の検出方法と比較して、簡便にデータを取得することができる。これにより、簡便に人間の脳活動を推定することができる。
【0139】
(4−2)顔面の撮影画像データに基づき脳活動を推定する脳活動推定手段130
図21は、本発明の実施形態に係る脳活動可視化装置110の概略図である。図22は、脳活動可視化装置110において脳機能を反映した顔面のRGB変化を示す成分を同定する際の処理の流れの一例を示すフローチャートである。
【0140】
脳活動可視化装置110の備える脳活動推定手段130は、個人(被験者)の顔面の撮影画像データから、個人の脳活動を推定するための装置である。脳活動可視化装置110は、図21に示すように、画像データ取得手段120と、脳活動推定手段130と、状態可視化手段200と、を備える。
【0141】
画像データ取得手段120は、個人の顔面の少なくとも一部の撮影画像データを時系列で取得する(ステップS101)。なお、画像データ取得手段120は、少なくとも撮影装置を有するものであれば特に限定されるものではなく、例えば、スマートフォンやタブレット(例えば、iPad:登録商標)等の撮影装置内蔵型ポータブル端末等が挙げられる。ここでは、画像データ取得手段120は、図21に示すように、撮影装置としてのカメラ121と、記憶部122とを有する。カメラ121は、個人の顔面の撮影画像データを時系列で取得するためのものである。ここでは、カメラ121は、個人の顔面全体の動画を撮影し、撮影した動画データを取得する。記憶部122は、撮影装置により撮影された時系列の撮影画像データを蓄積する。ここでは、記憶部122は、カメラ121によって取得された動画データを蓄積する。
【0142】
なお、ここでは、カメラ121によって顔面全体の動画が撮影されているが、これに限定されず、顔面の少なくとも前額部及び/又は副鼻腔周辺の画像を含む動画が撮影されていればよい。
【0143】
また、ここでは、画像データ取得手段120により顔面の時系列の撮影画像データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられる。すなわち、画像データ取得手段120により取得される撮影画像データには、個人に対して脳機能賦活課題が与えられている期間のデータが含まれていることになる。なお、個人に対して与えられる脳機能賦活課題としては、脳が賦活状態になると推定されるものであれば特に限定されるものではなく、例えば、脳活動可視化装置110の利用目的に応じてその内容が適宜決定されるよう構成されていてもよい。
【0144】
脳活動推定手段130は、画像データ取得手段120により取得された顔面の時系列の撮影画像データに基づき、人間の脳活動を推定する。具体的には、脳活動推定手段130は、図21に示すように、RGB処理部131と、換算部132と、血行量算出部133と、解析部134と、推定部135と、を有する。なお、図21では、脳活動推定手段130が、RGB処理部131、換算部132、血行量算出部133、解析部134及び推定部135を有する1つの装置として存在している態様が示されているが、本発明はこれに限定されるものではなく、RGB処理部131、換算部132、血行量算出部133、解析部134及び推定部135の一部或いはそれぞれが独立した装置として存在していてもよい。また、ここでは、画像データ取得手段120、RGB処理部131、換算部132、及び血行量算出部133により顔面血行量取得手段が構成されている。
【0145】
RGB処理部131は、画像データ取得手段120により取得された撮影画像データに対して、R成分、G成分及びB成分の3つの色成分に分解するRGB処理を行う(ステップS102)。ここで、顔面全体の撮影画像データに対してRGB処理を行ってもよいが、ここでは、演算処理量及びノイズを減らすために、撮影画像データから前額部及び/又は副鼻腔周辺のデータを抽出し、抽出したデータについてのみRGB処理を行うものとする。
【0146】
換算部132は、RGB処理により得られた撮影画像データのRGBデータを相対的なRGBデータに換算する(ステップS103)。具体的には、換算部132は、取得された所定時間毎(例えば、30秒)の撮影画像データから得られるRGBデータの平均値を基準値として、該RGBデータを相対的なRGBデータに換算する。
【0147】
血行量算出部133は、RGB処理により得られた撮影画像データのRGBデータに基づき、顔面の時系列の血行量データを算出する(ステップS104)。
【0148】
解析部134は、時系列の相対換算血行量データを、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する(ステップS105)。ここでは、解析部134は、相対換算血行量データに対して、MATLAB(登録商標)のSVDを分析ツールとして用いて、特異値分解を行う。具体的には、特異値分解は、時系列の相対換算血行量データを対象として、要因を所定期間(例えば、30秒)毎の時間データとし、測度をその期間毎における相対的なRGBデータから演算したピクセル毎の相対換算血行量データとして行われる。そして、特異値分解により、時系列の相対換算血行量データを複数の成分に分解し、時間分布と、空間分布と、各成分の大きさを示す特異値とを算出する。
【0149】
また、解析部134は、特異値分解によって分解した複数の成分から脳活動を反映した顔面のRGB変化を示す成分を同定するために、各成分が所定条件を満たすか否かを判定する(ステップS106)。ここで、所定条件としては、例えば、特異値分解によって分解した成分の成分波形の振幅が、脳の非賦活時及び脳の賦活時の変化と相関関係にあるという条件(以下、第1条件という)や、特異値分解によって分解した成分において人間の顔面の所定部位に血行量変化があるという条件(以下、第2条件という)等が含まれる。解析部134において判定される所定条件としては、1又は複数の条件が設定されていればよく、ここでは、所定条件として第1条件が設定されているものとする。
【0150】
そして、解析部134は、複数の成分のうち所定条件を満たす成分を、判定用成分として抽出する。さらに、解析部134は、抽出した判定用成分のうち所定条件に含まれる全ての条件を満たす成分を、脳活動を反映した顔面のRGB変化を示す成分として同定する(ステップS107)。一方、解析部134は、複数の成分のうち所定条件に含まれる少なくとも1つの条件を満たさないと判定した成分を、脳活動を反映した顔面のRGB変化を示す成分ではないと判定する(ステップS108)。
【0151】
ここでは、上述のように所定条件として1つの条件(第1条件)のみが設定されており、顔面の時系列の撮影画像データを取得している間に、個人に対して脳機能賦活課題が与えられている期間が一定期間ある。このため、解析部134は、個人に対して脳機能賦活課題が与えられていない期間を脳の非賦活時とし、個人に対して脳機能賦活課題が与えられている期間を脳の賦活時として、脳機能賦活課題が与えられている期間及び与えられていない期間と、各成分の成分波形とを比較解析する。そして、解析部134は、成分波形データに基づく比較解析結果を利用して、各成分の成分波形と脳の非賦活時及び脳の賦活時とが相関関係にあるか否かを評価し、複数の成分のうち相関関係にあると評価した成分を、所定条件を満たす判定用成分として抽出すると共に、脳活動を反映した顔面のRGB変化を示す成分として同定する。一方、解析部134は、複数の成分のうち相関関係にないと評価した成分を、所定条件を満たさず人間の脳活動を反映した顔面のRGB変化を示す成分ではないと判定する。
【0152】
ここでは、顔面の時系列の撮影画像データが取得される際に個人に対して脳機能賦活課題が一定期間与えられており、これに基づき解析部134が判定用成分を抽出しているが、第1条件の内容、すなわち解析部134における判定用成分の抽出手段はこれに限定されない。例えば、予め実験等がされていることで複数の成分のうち脳の非賦活時及び脳の賦活時と相関関係にある成分波形を示す成分が特定されている場合には、解析部134は、複数の成分から特定されている該成分を判定用成分として抽出する。また、脳活動可視化装置110において眼球運動又はまたたき等の脳の賦活/非賦活に関連することが知られている人間の動作についても検出される場合には、解析部134が、この検出結果と各成分の成分波形とを比較解析及び評価することで、複数の成分から判定用成分を抽出してもよい。なお、解析部134による第1条件を満たすか否かの判定の基準は、脳活動可視化装置110の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定される。
【0153】
また、所定条件として第2条件が設定されている場合には、解析部134は、人間の顔面の所定部位における顔面の血行量変化の有無に基づき、判定用成分を抽出する。具体的には、解析部134は、特異値分解によって分解された複数の成分に応じた血行量分布図に基づき、副鼻腔周辺及び/又は前額部において血行量の変化が生じているか否かを判定し、血行量の変化が生じている場合には該成分が第2条件を満たしていると判定する。一方で、副鼻腔周辺及び/又は前額部において血行量の変化が生じていない場合には、解析部134は、該成分が第2条件を満たしていないと判定する。なお、解析部134による第2条件を満たすか否かの判定の基準は、脳活動可視化装置110の利用目的等に応じて、シミュレーションや実験、机上計算等によって適宜決定されるものとする。
【0154】
さらに、血行量算出部133によって相対的なRGBデータに換算される前のRGBデータに基づく時系列の血行量データが算出される場合には、解析部134によって、該血行量データを特異値分解等することで得られた複数の成分についても、上記第1条件及び/又は第2条件が満たされるか否かが判定され、判定用成分が抽出されてもよい。
【0155】
推定部135は、解析部134において人間の脳活動を反映した顔面のRGB変化を示す成分として同定された成分に基づいて、人間の脳活動を推定する。具体的には、推定部135は、解析部134において同定された成分の成分波形データに基づいて、顔面の撮影画像データの取得時における脳活動量を推定する。
【0156】
(4−2−1)変形例2A
上述したように、カメラ121としては、例えば、スマートフォンやタブレット(例えば、iPad:登録商標)等の撮影装置内蔵型ポータブル端末等を利用することができる。すなわち、上述の撮影画像データは、可視光領域の画像を撮像するものを採用することができる。
【0157】
また、上記血行量算出部133において、RGBデータに含まれる各画素のうちの主にR成分を用いて顔面の血行量データが算出されてもよい。また、RGBデータに基づき血行量データを算出できるのであれば、血行量データは必ずしも紅斑指数に限定されるものではない。
【0158】
(4−2−2)変形例2B
上記血行量算出部133は、換算部132によって換算された相対的なRGBデータに基づき相対換算血行量データを算出するが、これに代えて或いはこれに加えて、相対的なRGBデータに換算される前のRGBデータに基づき血行量データが算出されてもよい。ここで、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データには、脳活動と相関する成分が出やすい(検定力が高い)ため、例えば、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データを、相対的なRGBデータに基づき算出された相対換算血行量データよりも先行して解析してもよい。また、例えば、まず、血行量データを解析して有意な相関のある成分を抽出し、相対換算血行量データに関しては、前記抽出した成分に対応する成分のみを解析することで、演算処理量を減らすことができる。
【0159】
(4−2−3)変形例2C
上記カメラ121は可視光領域の通常のカメラを前提としていたが、赤外線カメラを用いることもできる。この場合、赤外光を照射し、その反射波を赤外線カメラで撮像する。これにより、対象者の顔面変化等の撮影画像データを得ることができる。本発明者らにより、赤外線の反射により得られた撮影画像データから算出された血行量データと、可視光領域で撮影されたRGBデータに含まれる各画素のうちの主にR成分を用いて算出された血行量データとには相関があることが確認された。したがって、このような赤外線の反射から得られた撮影画像データを用いても、人間の脳活動を推定することができる。
【0160】
(4−2−4)変形例2D
なお、上記説明においては、脳活動可視化装置110が、画像データ取得手段120と、脳活動推定手段130とを備える形態としていたが、本実施形態に係る脳活動可視化装置は、このような形態に限定されるものではない。すなわち、本実施形態に係る脳活動可視化装置は、血行量算出部133、解析部134及び推定部135を含むものであれば、その他の構成については任意の形態を採り得るものである。具体的には、本実施形態に係る脳活動可視化装置は、当該装置自体が画像データを撮影する形態だけではなく、外部の装置から撮影画像データを受け取り、それを解析する形態を含むものである。
【0161】
(4−3)状態可視化手段200
状態可視化手段200は、脳活動推定手段30及び/又は脳活動推定手段130により推定された対象者の脳活動に基づき、対象者の生理状態を表示することにより可視化する。例えば、状態可視化手段200が、対象者の脳活動量の変化を解析することで、対象者の生理状態を解析する解析部201を有していてもよい。具体的には、解析部201が、対象者に対して与えられた刺激(視覚刺激、聴覚刺激、触覚刺激、臭覚刺激或いは味覚刺激等)に対する脳活動量の変化を解析することで、対象者の生理状態を判定する。なお、生理状態の種類やレベルについては、脳活動量の上昇度合い及び/又は持続時間に基づき、脳活動可視化装置10,110の用途に応じて適宜設置可能になっていてもよい。そして、解析部201により解析された対象者の生理状態を状態可視化手段200の表示部202から管理者へと出力されることで、管理者は対象者の生理状態を知ることができる。表示部202としては、画像やメッセージを表示する表示デバイス等、解析した対象者の生理状態に関する情報を管理者に対して可視化できるものであればどのようなものであっても採用することができる。
【0162】
また、解析部32,134において脳活動を反映する成分が同定された後に、さらに顔面皮膚温度取得手段20及び/又は画像データ取得手段120により時系列の各種データが取得される場合には、脳活動可視化装置10,110において、さらに取得された各種データが特異値分解により複数の成分に分解され、同定された成分のみが解析されることで、対象者の生理状態をリアルタイムで知ることができる。
【0163】
さらに、被験者の顔面の皮膚温度や撮影した画像から被験者の心拍情報や生体情報等を取得する技術が従来よりあるが、顔面皮膚温度取得手段20及び/又は画像データ取得手段120から得られた各種データが特異値分解等されることで得られる成分に対して従来の技術を採用することで、心拍情報や生体情報を精度良く取得することができる。したがって、特異値分解した複数の成分を解析して心拍情報や生体情報を取得する機能を、解析部32及び/又は解析部134に持たせ、取得した心拍情報や生体情報に基づき交換神経/副交感神経の働きを推定する機能を上記実施形態の推定部33,135に持たせてもよい。
【0164】
(5)特徴
(5−1)
本実施形態では、顔面皮膚温度取得手段20及び/又は画像データ取得手段120によって取得された時系列の顔面皮膚温度データ及び/又は顔面血行量データに基づき人間の脳活動が推定される。このため、脳波電極等の装着前に処理が必要なセンサを装着しなくても、人間の脳活動を推定することができる。したがって、簡便に人間の脳活動を推定し、推定した脳活動に基づき対象者の生理状態を可視化することができている。
【0165】
(5−2)
ここで、時系列の顔面の皮膚温度データ及び/又は画像データが取得される際に、人間に対して実際に脳機能賦活課題が与えられたり与えられなかったりすることにより、人間の脳が賦活化したり賦活化しなかったりする状況が作られている場合、各成分の成分波形と脳の賦活時及び非賦活時との間に相関関係のある成分は、脳活動を反映した皮膚温度及び/又は血行量の変化を示す成分である可能性が高い成分であるといえる。
【0166】
本実施形態では、顔面皮膚温度取得手段20及び/又は画像データ取得手段120により時系列の顔面の皮膚温度データ及び/又は画像データが取得されている間に、個人に対して脳機能賦活課題が一定期間与えられている。すなわち、本実施形態では、個人に対して実際に脳機能賦活課題を与えたり与えなかったりすることにより、人間の脳が賦活化したり賦活化しなかったりする状況が作られている。そして、このように取得された時系列の各種データが特異値分解により複数の成分に分解され、各成分についてその成分波形と脳の賦活時及び非賦活時との相関関係が評価され、相関関係にある成分が判定用成分として複数の成分から抽出される。このため、例えば、予め実験等により特定された所定の成分が抽出用成分として複数の成分から抽出される場合と比較して、人間の脳活動と関連性の低い成分が抽出用成分として複数の成分から抽出されるおそれを低減することができている。
【0167】
(5−3)
ここで、脳には、選択的脳冷却機構という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び副鼻腔周辺を用いて排熱していることが知られている。そうすると、脳活動に伴う顔面皮膚温度や顔面皮膚温度に相関する顔面の血行量の変化は、前額部及び/又は副鼻腔周辺に出現することになる。
【0168】
本実施形態では、前額部及び/又は副鼻腔周辺の各種データが解析されて、判定用成分が抽出されている。このため、人間の脳活動に関連する成分を精度よく抽出することができている。
【0169】
(5−4)
本実施形態に係る脳活動可視化装置は、機器の操縦士が対象者である場合には、その操縦士の状態を監視する「操縦士監視装置(運転者状態判定装置)」として利用できる。さらに、本実施形態において、状態可視化手段200が出力部を有している場合には、管理者は操縦士の生理状態を知ることができる。
【0170】
(5−4−1)運転者を監視するために用いた場合
上記実施形態又は上記変形例の操縦士監視装置(運転者状態判定装置)10,110を、自動車や建機等を操縦する運転者に対して用いる場合の一例を説明する。この場合、操縦士監視装置10,110は、操縦士としての運転者の機器操作に基づき運転者の生理状態、特に意識レベルを解析し、解析した意識レベルに応じて管理者へと意識レベルに関する情報を出力する。例えば、解析により建機等の運転者の生理状態が漫然運転状態であると判定した場合には、この情報が建機等の管理者へと出力されることで、管理者は運転者の意識レベルを認識することができる。また、状態可視化手段200が、解析した意識レベルに応じて運転者に注意を促すための報知を行う報知部203を有していてもよい。状態可視化手段200が報知部203を有している場合には、例えば、意識レベルが一定以下に低下した場合に、自動車や建機等の運転者に対して注意喚起が行われる。より具体的には、通常の機器操作時における脳活動量の変化(上昇度合い及びその継続時間)を記録し、この通常時における脳活動量の変化(上昇度合い及び/又はその継続時間)を所定量以上下回った場合には、集中度が低下したと見なされ、報知部203より音声やブザー音等が発せられる。これにより、運転者に対して注意喚起を促すことができる。このように、操縦士監視装置10,110を、運転者を監視するために用いた場合、顔面皮膚温度取得手段や画像データ取得手段等の操縦士に非接触な手段を用いて運転者の生理状態が監視され、生理状態が管理者及び/又は運転者へと出力されることで、居眠り運転や脇見運転等の発生を抑制することができる。
【0171】
(5−4−2)パイロットを監視するために用いた場合
上記実施形態又は上記変形例の操縦士監視装置(運転者状態判定装置)10,110を、航空機やその訓練装置を操縦するパイロットに対して用いる場合の一例を説明する。この場合、操縦士監視装置10,110は、操縦士としてのパイロットの生理状態、特に意識レベルを解析し、解析した意識レベルに応じて管理者へと意識レベルに関する情報を出力する。例えば、解析によりパイロットの生理状態が意識のない状態(例えば、失神状態)であると判定した場合には、この情報が航空機等の管理者へと出力されることで、管理者はパイロットの意識レベルを認識することができる。また、例えば、状態可視化手段200においてパイロットの生理状態が失神状態であると判定された時に、手動操縦から自動操縦へと切り換えられる構成になっていてもよい。このように、操縦士監視装置10,110を、パイロットを監視するために用いた場合、顔面皮膚温度取得手段や画像データ取得手段等の操縦士に非接触な手段を用いてパイロットの生理状態が監視され、生理状態が管理者へと出力されることで、パイロットが意識を失った状態で操縦が継続されるのを抑制することができる。
【0172】
また、操縦士監視装置10,110を加速度訓練装置のセンサとして戦闘機のパイロット等に対して用いる場合には、例えば、パイロットの脳活動量が解析され、加速度の変化に基づくパイロットの脳活動量が管理者へと出力されるように構成されていてもよい。このとき、加速度の増加に対して脳活動量が低下していれば、管理者はパイロットの脳に血液が十分に流れていない状態であると推定することができる。ここで、戦闘機のパイロット等の加速度に対する訓練を行う操縦士は、加圧スーツや特殊な呼吸法を用いることにより脳の血流の低下や失神を防いでいる。このため、出力される解析結果から、パイロットの脳に血液が十分に流れていない状態であると推定される場合、パイロットの技量不足或いは適応不足を判断することができる。
【0173】
(6)脳活動可視化装置の用途例(運転者状態判定装置)
次に、本発明に係る脳活動可視化装置を応用した運転者状態判定装置について説明する。
【0174】
(6−1)第1実施形態
(6−1−1)運転者状態判定装置400の構成
図23は第1実施形態に係る運転者状態判定装置400の一例を示す模式図である。
【0175】
運転者状態判定装置400は、入力部410、撮像部415、出力部420、記憶部430、及び処理部440を備える。そして、運転者状態判定装置400は、機器350を運転する対象者300の運転者状態を判定する。ここで、「機器」とは、自動車、鉄道車両、飛行機等の交通機器、並びに、原子力発電機器、各種プラント等のその他の自動機械のことである。また、「運転者状態」とは、機器を運転する対象者の精神状態及び身体状態を表すものである。例えば、精神状態は、精神疲労、精神的ストレス、漫然状態、集中状態等に対応した指標で表される。また、身体状態は、身体疲労、身体的ストレス等に対応した指標で表される。
【0176】
入力部410は、運転者状態判定装置400に各種情報を入力するものである。例えば入力部410は、キーボード、マウス、及び/又はタッチスクリーン等により構成される。この入力部410を介して、運転者状態判定装置400に各種命令が入力され、処理部440において命令に応じた処理が実行される。
【0177】
撮像部415は、対象者300の顔面を含む「顔面画像」を撮像するものである。例えば撮像部415は、RGB画像を取得するCCD及びCMOS等の固体撮像素子や、サーモグラムを取得する赤外線カメラ等により構成される。撮像部415に赤外線カメラ415aを用いることにより、周囲の明るさに影響を受けることなく、運転者状態の判定が可能となる。特に、夜間に疲労による事故等が生じやすい。このような場面においても、第1実施形態に係る運転者状態判定装置400に赤外線カメラ415aを搭載することで、夜間での運転者状態の監視が可能となる。赤外線カメラ等は通常の室温条件で、29.0℃から37.0℃を高感度で検出できるものが望ましい。また、撮像部415は、所定の間隔で継続的な撮像が可能である。顔面画像を撮像する場合には正面からの撮像、一定照明撮像が望ましい。姿勢変動により正面画像が得られない場合には、摂動空間法を用い、姿勢変動画像については顔の3次元形状を推定し、正面像にレンダリングすることにより顔面画像を得る。照明変動画像については、拡散反射モデルをベースに構築した顔の照明基底モデルを用いて、一定照明条件の顔面画像を得る。そして、撮像部415により、継続的に撮像された顔面画像は処理部440に送出される。
【0178】
出力部420は、運転者状態判定装置400から各種情報を出力するものである。例えば出力部420は、ディスプレイ及びスピーカー等により構成される。ここでは、出力部420を介して、後述する脳機能賦活情報が対象者300に提供される。
【0179】
記憶部430は、運転者状態判定装置400に入力される情報及び運転者状態判定装置400で計算される情報等を記憶するものである。例えば記憶部430は、メモリ及びハードディスク装置等により構成される。また記憶部430は、後述する処理部440の各機能を実現するためのプログラムを記憶する。ここでは、記憶部430は、脳機能賦活情報データベース431及び判定情報データベース432を有する。
【0180】
脳機能賦活情報データベース431は、人間の脳機能を賦活する脳機能賦活情報を記憶するものである。「脳機能賦活情報」は、自動車、鉄道車両、及び飛行機、並びに、原子力発電機器、及び各種プラント等のその他の自動機械の運転に関する任意の事象・時点から得られる情報である。例えば、対象者300が、自動車、鉄道車両、及び飛行機等の交通機器の運転者である場合、脳機能賦活情報として、警告音等を利用できる。
【0181】
判定情報データベース432は、図24に示すように、後述する判定用成分抽出部444により抽出される脳機能賦活情報に対する判定用成分の相関値r2の、脳機能賦活情報に対する基準判定用成分の「基準相関値」r1からの所定範囲の変化量Δr(=r1−r2)を、「運転者状態レベル」と関連付けて予め「判定情報」として記憶するものである。「基準判定用成分」は、所定行動の前に抽出した判定用成分のデータ、前回抽出した判定用成分のデータ、及び外部から提供される判定用成分のデータ等により設定される。図24には、運転者状態の一例として、漫然状態がレベル別に判定情報データベース432に記憶されている。すなわち、判定情報データベース432は、変化量Δrの値の範囲に応じて、Δr=Δra〜Δrbまでを「正常」、Δrb〜Δrcまでを「軽い漫然状態」、Δrc〜Δrdまでを「漫然状態」として記憶する。ここでは、Δra、Δrb、Δrc、Δrdの順に値が大きくなっている。なお、基準判定用成分のデータも判定情報データベース432に格納される。
【0182】
処理部440は、運転者状態判定装置400における情報処理を実行するものである。具体的には、処理部440は、CPU及びキャッシュメモリ等により構成される。処理部440は、記憶部430に組み込まれたプログラムが実行されることで、脳機能賦活情報提供部441、顔面変化情報取得部442、顔面変化情報分解部443、判定用成分抽出部444、及び、運転者状態判定部445として機能する。
【0183】
脳機能賦活情報提供部441は、機器350を運転する対象者300に、脳機能賦活情報を提供するものである。例えば脳機能賦活情報提供部441は、入力部410の操作に応じて、脳機能賦活情報データベース431から脳機能賦活情報を読み出し、出力部420に出力する。
【0184】
顔面変化情報取得部442は、撮像部415で撮像された顔面画像から「顔面データ」及び顔面データの時系列変化を示す「顔面変化情報」を取得するものである。具体的には、顔面変化情報取得部442は、脳機能賦活情報提供部441が脳機能賦活情報を提供しているタイミングに同期して、撮像部415を介して顔面データを取得する。そして、顔面変化情報取得部442は、継続的に取得した顔面データから、対象者300の顔面データの時系列変化を示す顔面変化情報を取得する。例えば、顔面変化情報は、240×320ピクセルの顔面データを所定間隔で60点取得した場合には、4,608,000のデータの集合となる。取得した顔面変化情報は、顔面変化情報分解部443に送出される。なお、撮像部415が赤外線カメラの場合、顔面変化情報取得部442は、顔面データとして、対象者300の顔面の皮膚温度を示す顔面皮膚温度データを取得する。また、撮像部415がCCD及びCMOS等の固体撮像素子の場合、顔面変化情報取得部442は、顔面データとして、対象者300の顔面のRGBデータに基づく顔面血行量データを取得する。なお、顔面変化情報取得部442は、顔面データとして、対象者300の、副鼻腔周辺及び/又は前額部のデータだけを取得するものでもよい。
【0185】
顔面変化情報分解部443は、多数のデータの集合である顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する。分解した各成分の情報は、判定用成分抽出部444に送出される。ここで、顔面変化情報を特異値分解等した場合、特異値の高いものから成分1,2,3,・・・と設定される。また特異値の高い成分ほど、変動の大きいものの影響が反映されやすい。そのため、成分1には、脳機能賦活情報が提供されることの影響より、外部環境のノイズ等の影響が反映されることが少なくない。
【0186】
判定用成分抽出部444は、複数の成分1,2,3・・・から、脳機能賦活情報と関連する成分を「判定用成分」として抽出するものである。また、判定用成分抽出部444は、抽出した判定用成分の脳機能賦活情報に対する相関値rを算出する。具体的には、判定用成分抽出部444は、顔面変化情報分解部443により求められた複数の成分1,2,3,・・・と脳機能賦活情報との相関値rを算出する。次に、判定用成分抽出部444は、算出した相関値rが所定値以上である場合、その相関値rに対応する成分を脳機能賦活情報に関連するものとして設定する。そして、判定用成分抽出部444は、危険率の値に基づいて、判定用成分を抽出する。すなわち、判定用成分抽出部444は、危険率が低い成分を判定用成分として抽出する。抽出された判定用成分及び算出した相関値rは、記憶部430又は運転者状態判定部445に送出される。
【0187】
運転者状態判定部445は、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定するものである。具体的には、運転者状態判定部450は、所定のタイミングで抽出された基準判定用成分に対する脳機能賦活情報の基準相関値r1と、その後に抽出された判定用成分に対する脳機能賦活情報の相関値r2との差Δrを算出する。そして、運転者状態判定部450は、判定情報データベース432に記憶された判定情報に基づいて、基準相関値r1と今回の相関値r2との差Δrに対応する運転者状態レベルを決定する。決定された運転者状態レベルは、出力部420を介して表示装置等に出力される。
【0188】
(6−1−2)運転者状態判定装置400の動作
図25は第1実施形態に係る運転者状態判定装置400の動作を示すフローチャートである。
【0189】
まず、機器350を運転中の所定のタイミングで、「基準設定モード」が選択され、基準判定用成分の抽出が行なわれる(S1)。具体的には、入力部410を介して脳機能賦活情報の出力指示が運転者状態判定装置400に入力される。続いて、脳機能賦活情報データベース431から脳機能賦活情報が読み出され、出力部420に出力される(S2)。例えば、ここでは、脳機能賦活情報として「警告音」が出力される。
【0190】
次に、脳機能賦活情報の出力と同時又は所定のタイミングで、撮像部415により出力部420の前方にいる対象者300の顔面を含む顔面画像が所定間隔毎に撮像される(S3)。撮像された顔面画像は顔面変化情報取得部442に送出される。
【0191】
続いて、顔面変化情報取得部442により、撮像された顔面画像から、対象者300の顔面データの時系列変化を示す顔面変化情報が取得される。そして、顔面変化情報分解部443により、顔面変化情報が、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解される(S4)。
【0192】
次に、判定用成分抽出部444により、顔面変化情報分解部443により分解された複数の成分1,2,3・・・と、脳機能賦活情報との相関値が算出される。そして、判定用成分抽出部444により、相関値が所定値以上であるか否かが判定される(S5)。所定値以上であると判定された場合、脳機能賦活情報と当該成分とには相関があると判断される(S5−Yes)。そして、判定用成分抽出部444により、相関がある成分のうち、危険率の低い成分が「基準判定用成分」として抽出される(S6)。また、判定用成分抽出部444により、基準判定用成分と脳機能賦活情報との相関値が基準相関値r1として設定される。これらの基準判定用成分の情報は記憶部430に格納される(S7)。一方、脳機能賦活情報と、各成分1,2,3・・・との相関値が所定値未満である場合は、両者には相関がないと判断され、その情報が記憶部430に格納される(S5−No,S7)。
【0193】
この後、機器350を運転中の任意のタイミングで「判定モード」が選択され、その後の運転者状態の判定が実行される(S8)。判定モードの選択は、自動で実行されてもよく、手動で実行されてもよい。
【0194】
まず、上記S2〜S6と同様の処理が実行され、顔面変化情報から抽出した判定用成分と、脳機能賦活情報との相関値r2が算出される(S9〜S13)。
【0195】
そして、運転者状態判定部445により、基準設定モードで抽出された基準判定用成分に対する脳機能賦活情報の基準相関値r1と、判定モードで抽出された判定用成分に対する脳機能賦活情報の相関値r2との差である変化量Δrが算出される(S14)。続いて、運転者状態判定部450により、基準相関値r1に対する相関値r2の変化量Δrが所定範囲内であるか否かが判定される。所定範囲であるか否かは、判定情報データベース432に記憶された判定情報に基づいて判断される。基準相関値r1に対する相関値r2の変化量Δrが所定範囲である場合、運転者状態判定部445により、機器350を運転する対象者300の運転者状態が「正常」であると判定される(S14−Yes,S15)。一方、基準相関値r1に対する相関値r2の変化量Δrが所定範囲でない場合、運転者状態判定部445により、機器350を運転する対象者300の運転者状態が「正常でない」と判定される(S14−No,S16)。例えば、運転者状態判定部445は、変化量Δrが上記Δra〜Δrbの範囲内であるときには正常と判定し、変化量ΔrがΔrbを超えているときには正常でない、と判定する。これらの判定結果は、出力部420を介して表示装置等に出力される(S17)。
【0196】
(6−1−3)運転者状態判定装置400の特徴
(6−1−3−1)
以上説明したように、第1実施形態に係る運転者状態判定装置400は、脳機能賦活情報提供部441と、顔面変化情報取得部442と、顔面変化情報分解部443と、判定用成分抽出部444と、運転者状態判定部445と、を備える。脳機能賦活情報提供部441は、機器350を運転する対象者300に、人間の脳機能を賦活する「脳機能賦活情報」を提供する。顔面変化情報取得部442は、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する。顔面変化情報分解部443は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する。判定用成分抽出部444は、複数の成分1,2,3,・・・から、脳機能賦活情報と関連する成分を「判定用成分」として抽出する。運転者状態判定部445は、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する。
【0197】
したがって、第1実施形態に係る運転者状態判定装置400では、顔面変化情報を、特異値分解・主成分分析・独立成分分析することで得られた複数の成分から、提供した脳機能賦活情報と関連する判定用成分を抽出するので、装着前に前処理の必要な電極等を使用しなくても、対象者300の脳活動の有無を容易に推定できる。これにより、対象者300の脳機能に対応する判定用成分に基づいて、機器350を運転する対象者300の運転者状態を容易に判定できる。
【0198】
なお、機器350が自動車である場合、図26に示すように、対象者300の前方にビデオカメラ415b及び赤外線カメラ415aからなる撮像部415を数cmの幅に収まるように設置してもよい。通常、運転者は前方を向いており、このような構成であれば、動き少ない顔面画像を撮像することができ、判定用成分の抽出精度を高めることができる。また、これらの撮像部415を、出力部420及び処理部440が一体構成されたタッチパネル式の装置400sに、無線又は有線で接続する構成を採用してもよい。例えば、装置400sの表示画面は10cm四方のものとすることで、車内への設置が容易となる。
【0199】
また、第1実施形態に係る運転者状態判定装置400は、スマートデバイスに組み込まれる形態であってもよい。これにより、車内機器にスマートデバイスを接続することで、容易に運転者状態判定を実行できる。
【0200】
(6−1−3−2)
また、第1実施形態に係る運転者状態判定装置400は、顔面変化情報取得部442が、顔面データとして、対象者300の、副鼻腔周辺及び/又は前額部のデータを取得するので、脳活動と関連する判定用成分を高精度に抽出できる。ここで、脳には、選択的脳冷却機構(Selective Brain Cooling System)という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を、副鼻腔及び前額部周辺を用いて排熱していることが知られている。よって、これらの部位のデータを解析することで脳活動と関連する成分を高精度に抽出できる。結果として、第1実施形態に係る運転者状態判定装置400は、運転者状態判定を高精度に実行することができる。
【0201】
(6−1−3−3)
また、第1実施形態に係る運転者状態判定装置400は、顔面変化情報取得部442が、顔面データとして、対象者300の顔面の皮膚温度を示す顔面皮膚温度データを取得する。換言すると、運転者状態判定装置400は、赤外線カメラ等を利用して運転者状態を判定できるものである。例えば、図27に示すように、撮像部415に赤外線カメラ415aを用いることにより、周囲の明るさに影響を受けることなく、運転者状態判定が可能となる。特に、自動車の場合は夜間に不注意運転が生じやすい。このような場面においても、第1実施形態に係る運転者状態判定装置400に赤外線カメラ415aを搭載することで、夜間での運転者状態の監視が可能となる。また、赤外線カメラ415aの使用は、トンネルの有無に関わらずに運転者状態を判定できるというメリットもある。
【0202】
(6−1−3−4)
また、第1実施形態に係る運転者状態判定装置400は、顔面変化情報取得部442が、顔面データとして、対象者300の顔面のRGBデータに基づく顔面血行量データを取得する。すなわち、運転者状態判定装置400は、固体撮像素子(CCD,CMOS)を利用して運転者状態を判定できる。これにより、運転者状態判定を簡易な構成で実行することができる。
【0203】
(6−1−3−5)
また、第1実施形態に係る運転者状態判定装置400は、判定用成分抽出部444が、危険率の値に基づいて、判定用成分を抽出する。運転者状態判定装置400では、危険率の値に基づいて、脳機能賦活情報と関連する判定用成分を抽出するので、運転者状態判定の信頼性を高めることができる。
【0204】
(6−1−3−6)
また、第1実施形態に係る運転者状態判定装置400は、脳機能賦活情報に対して算出される判定用成分の相関値r2の、脳機能賦活情報に対して算出された基準判定用成分の基準相関値r1からの所定範囲の変化量Δrを、運転者状態レベルに関連付けて「判定情報」として記憶する判定情報データベース432を備える。そして、運転者状態判定部445が、脳機能賦活情報に対する判定用成分の相関値r2を算出し、算出した相関値r2及び判定情報に基づいて、対象者300の運転者状態を容易に判定できる。
【0205】
このような構成により、運転者状態判定装置400は、所定のタイミングで得られた基準判定用成分を利用して、運転者状態レベルを容易に判定できる。要するに、運転者状態判定装置400は、単に正常か否かを判定するだけでなく、運転者状態レベルを容易に判定して出力することができる。
【0206】
(6−1−3−7)
また、第1実施形態に係る運転者状態判定装置400は、対象者300が運転する機器350が、自動車、鉄道車両、及び飛行機等の交通機器、並びに、原子力発電機器、各種プラントを含むその他の自動機械である。したがって、第1実施形態に係る運転者状態判定装置400では、これらの自動機械を運転する対象者300の運転者状態を判定できる。
【0207】
(6−1−3−8)
第1実施形態に係る運転者状態判定方法は、必ずしも運転者状態判定装置400を必要とするものではない。すなわち、本実施形態に係る運転者状態判定方法は、運転者状態判定装置400の有無に関わらず、所定のタイミングで、人間の脳機能を賦活する「脳機能賦活情報」を対象者300に提供する脳機能賦活情報提供ステップと、その後に、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する顔面変化情報取得ステップと、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解ステップと、複数の成分から、脳機能賦活情報と関連する成分を「判定用成分」として抽出する判定用成分抽出ステップと、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する運転者状態判定ステップと、を備えるものであればよい。
【0208】
このような運転者状態判定方法によれば、所定のタイミング後に、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析することで得られた複数の成分から、脳機能賦活情報と関連する判定用成分を抽出して、機器350を運転する対象者300の運転者状態を容易に判定できる。
【0209】
(6−1−4)運転者状態判定装置400の変形例
本実施形態に係る運転者状態判定装置400は、図28に示すように、ネットワーク上に設けられた判定情報提供装置500等を利用するものでもよい。
【0210】
ここで、判定情報提供装置500は、記憶部530と処理部540とを備える。
【0211】
記憶部530は、判定情報データベース532を有する。この判定情報データベース532は、上述した判定情報データベース432と同様の構成である。すなわち、判定情報データベース532は、脳機能賦活情報に対して算出される判定用成分の相関値r2の、脳機能賦活情報に対して算出された基準判定用成分の基準相関値r1からの所定範囲の変化量Δrを、運転者状態レベルに関連付けて判定情報として記憶する。
【0212】
処理部540は、運転者状態判定装置400からの要求に応じて、判定情報データベース532に格納された判定情報を送信する。なお、処理部540は、運転者状態判定装置400で抽出された判定用成分とは独立して、所定の情報に基づいて判定情報をビッグデータとして生成する機能を有するものでもよい。また、処理部540は、運転者状態判定装置400で基準相関値r1が算出された場合、判定情報データベース432に記憶されている基準相関値r1を更新する処理を随時実行する。
【0213】
本変形例では、上述した判定情報提供装置500に、運転者状態判定部445が判定情報の提供を要求する。詳しくは、本変形例では、判定情報データベース532が、ネットワーク上の判定情報提供装置500に格納されており、運転者状態判定部445が、運転者状態レベルを判定する際に、判定情報提供装置500にアクセスする。そして、運転者状態判定部445が、算出した相関値r2及び判定情報に基づいて、対象者300の運転者状態レベルを判定する。
【0214】
したがって、本変形例の運転者状態判定装置400であれば、運転者状態判定部445が、外部ネットワークを利用して、対象者300の運転者状態レベルを判定できる。また、運転者状態判定部445が、外部ネットワーク上の判定情報提供装置500に記憶された基準判定用成分を用いて運転者状態を判定するので、基準設定作業を簡略化することもできる。すなわち、上述した「基準設定モード」を省略し、図29に示すように「判定モード」だけを実行する形態を採用することが可能である。ここでは、ステップV1〜V6,V8〜V11において、ステップS8〜S17と同様の処理が行なわれる。また、ステップV7においては、運転者状態判定装置400から判定情報提供装置500に対して判定情報の送信要求が行なわれる。なお、上述した各ステップの一部は運転者状態判定装置400を用いずに実行されてもよいものである。
【0215】
また、本変形例の方法によれば、ビッグデータを用いた運転者状態の判定を実現できる。すなわち、基準相関値r1及び所定の変化量Δrをビッグデータから求める。具体的には、対象者以外の者に、脳機能賦活情報を提供して得られた基準判定用成分に基づいて算出された基準相関値r1を用いる。これにより、判定情報を随時最適化することができる。
【0216】
(6−2)第2実施形態
(6−2−1)運転者状態判定装置400Aの構成
以下、既に説明した部分と同一の部分には略同一の符号を付し、重複した説明を省略する。他の実施形態と区別するために、本実施形態では異なる構成に添え字Aを付すことがある。
【0217】
図30は第2実施形態に係る運転者状態判定装置400Aの一例を示す模式図である。第2実施形態では、第1実施形態とは異なり、脳機能賦活情報を外部から検知する。
【0218】
運転者状態判定装置400Aは、入力部410、撮像部415、周辺情報取得部416、出力部420、記憶部430、及び処理部440Aを備える。そして、運転者状態判定装置400Aは、機器350を運転する対象者300の運転者状態を判定する。ここで、「機器」とは、自動車、鉄道車両、及び飛行機等の交通機器、並びに、原子力発電機器、及び各種プラント等のその他の自動機械のことである。
【0219】
第2実施形態では、機器350の周辺に脳機能賦活情報提供物600が存在する。脳機能賦活情報提供物600とは、人間の脳機能を賦活する脳機能賦活情報を提供するものである。ここで、「脳機能賦活情報」は、自動車、鉄道車両、及び飛行機等の交通機器、並びに、原子力発電機器、及び各種プラント等のその他の自動機械の運転に関する任意の事象・時点から得られる情報である。例えば、対象者300が自動車のドライバーである場合、脳機能賦活情報として「赤信号の表示」等を利用できる。なお、この場合、脳機能賦活情報提供物600は信号機である。
【0220】
周辺情報取得部416は、機器350の周辺に存する脳機能賦活情報提供物600から提供される脳機能賦活情報を検知するものである。例えば、脳機能賦活情報として赤信号の表示が採用される場合、周辺情報取得部416は機器350の「周辺画像」を取得する。周辺情報取得部416で取得された情報は、処理部440Aの脳機能賦活情報検知部441Aに送出される。
【0221】
処理部440Aは、運転者状態判定装置400Aにおける情報処理を実行するものである。具体的には、処理部440Aは、CPU及びキャッシュメモリ等により構成される。処理部440Aは、記憶部430に組み込まれたプログラムが実行されることで、脳機能賦活情報検知部441A、顔面変化情報取得部442、顔面変化情報分解部443、判定用成分抽出部444、及び、運転者状態判定部445として機能する。
【0222】
脳機能賦活情報検知部441Aは、人間の脳機能を賦活する「脳機能賦活情報」を検知するものである。脳機能賦活情報は、脳機能賦活情報提供物600から機器350を操作する対象者300に提供される。詳しくは、脳機能賦活情報検知部441Aは、周辺情報取得部416を介して、脳機能賦活情報を検知する。例えば、脳機能賦活情報として「赤信号の表示」が採用される場合、脳機能賦活情報検知部441Aは、周辺情報取得部416に周辺画像の送信要求を行なう。この送信要求に応じて周辺情報取得部416から周辺画像が送出された場合、脳機能賦活情報検知部441Aは、周辺画像に赤信号が表示されているか否かを検知する。脳機能賦活情報検知部441Aが脳機能情報を検知した場合、検知した脳機能賦活情報と判定用成分との相関値rが、判定用成分抽出部444により算出される。
【0223】
(6−2−2)運転者状態判定装置400Aの動作
図31は第2実施形態に係る運転者状態判定装置400Aの動作を示すフローチャートである。
【0224】
まず、機器350を運転中の所定のタイミングで、「基準設定モード」が選択され、基準判定用成分の抽出が行なわれる(T1)。具体的には、周辺情報取得部416により、機器350の周辺の状態を示す周辺情報が取得される(T2)。続いて、脳機能賦活情報検知部441Aにより、脳機能賦活情報データベース431に記憶されている情報が照合されて、周辺情報から脳機能賦活情報が検知される(T3)。例えば、ここでは、脳機能賦活情報として「赤信号の表示」が検知される。
【0225】
一方、基準設定モードが選択されると、所定のタイミングで、撮像部415により出力部420の前方にいる対象者300の顔面画像が所定間隔毎に撮像される(T4)。撮像された顔面画像は顔面変化情報取得部442に送出される。
【0226】
続いて、顔面変化情報取得部442により、撮像された顔面画像から、対象者300の顔面データの時系列変化を示す顔面変化情報が取得される。そして、顔面変化情報分解部443により、顔面変化情報が、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3・・・に分解される(T5)。
【0227】
次に、判定用成分抽出部444により、顔面変化情報分解部443により分解された複数の成分1,2,3・・・と、脳機能賦活情報との相関値が算出される。そして、判定用成分抽出部444により、相関値が所定値以上であるか否かが判定される(T6)。所定値以上であると判定された場合、脳機能賦活情報と当該成分とには相関があると判断される(T6−Yes)。そして、判定用成分抽出部444により、相関がある成分のうち、危険率の低い成分が「基準判定用成分」として抽出される(T7)。また、判定用成分抽出部444により、基準判定用成分と脳機能賦活情報との相関値が基準相関値r1として設定される。これらの基準判定用成分の情報は記憶部430に格納される(T8)。一方、脳機能賦活情報と、各成分1,2,3・・・との相関値が所定値未満である場合は、両者には相関がないと判断され、その情報が記憶部430に格納される(T6−No,T8)。
【0228】
次に、機器350を運転中の任意のタイミングで「判定モード」が選択され、その後の運転者状態の判定が実行される(T9)。まず、上記ステップT2〜T8と同様の処理が実行され、顔面変化情報から抽出した判定用成分と、脳機能賦活情報との相関値r2が算出される(T10〜T15)。なお、判定モードの選択は、自動で実行されてもよいし、手動で実行されてもよい。
【0229】
そして、運転者状態判定部445により、基準設定モードで抽出された基準判定用成分に対する脳機能賦活情報の基準相関値r1と、判定モードで抽出された判定用成分に対する脳機能賦活情報の相関値r2との差である変化量Δrが算出される(T16)。続いて、運転者状態判定部450により、基準相関値r1に対する相関値r2の変化量Δrが所定範囲内であるか否かが判定される。所定範囲であるか否かは、判定情報データベース432に記憶された判定情報に基づいて判断される。基準相関値r1に対する相関値r2の変化量Δrが所定範囲である場合、運転者状態判定部445により、機器350を運転する対象者300の運転者状態が「正常」であると判定される(T16−Yes,T17)。一方、基準相関値r1に対する相関値r2の変化量Δrが所定範囲でない場合、運転者状態判定部445により、機器350を運転する対象者300の運転者状態が「正常でない」と判定される(T16−No,T18)。例えば、運転者状態判定部445は、変化量Δrが上記Δra〜Δrbの範囲内であるときには正常と判定し、変化量ΔrがΔrbを超えているときには正常でない、と判定する。これらの判定結果は、出力部420を介して表示装置等に出力される(T19)。
【0230】
(6−2−3)運転者状態判定装置400Aの特徴
(6−2−3−1)
以上説明したように、第2実施形態に係る運転者状態判定装置400Aは、脳機能賦活情報検知部441Aと、顔面変化情報取得部442と、顔面変化情報分解部443と、判定用成分抽出部444と、運転者状態判定部445と、を備える。脳機能賦活情報検知部441Aは、脳機能賦活情報提供物600から、人間の脳機能を賦活する「脳機能賦活情報」を検知する。顔面変化情報取得部442は、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する。顔面変化情報分解部443は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する。判定用成分抽出部444は、複数の成分1,2,3,・・・から、脳機能賦活情報と関連する成分を「判定用成分」として抽出する。運転者状態判定部445は、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する。
【0231】
したがって、第2実施形態に係る運転者状態判定装置400Aでは、顔面変化情報を、特異値分解・主成分分析・独立成分分析することで得られた複数の成分から、検知した脳機能賦活情報と関連する判定用成分を抽出するので、装着前に前処理の必要な電極等を使用しなくても、対象者300の脳活動の有無を容易に推定できる。これにより、対象者300の脳機能に対応する判定用成分に基づいて、機器350を運転する対象者300の運転者状態を容易に判定できる。
【0232】
(6−2−3−2)
第2実施形態に係る運転者状態判定方法は、必ずしも運転者状態判定装置400Aを必要とするものではない。すなわち、本実施形態に係る運転者状態判定方法は、運転者状態判定装置400Aの有無に関わらず、所定のタイミングで、人間の脳機能を賦活する「脳機能賦活情報」を脳機能賦活情報提供物600から検知する脳機能賦活情報検知ステップと、その後に、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する顔面変化情報取得ステップと、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解ステップと、複数の成分から、脳機能賦活情報と関連する成分を「判定用成分」として抽出する判定用成分抽出ステップと、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する運転者状態判定ステップと、を備えるものであればよい。
【0233】
このような運転者状態判定方法によれば、所定のタイミング後に、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析することで得られた複数の成分から、脳機能賦活情報と関連する判定用成分を抽出して、機器350を運転する対象者300の運転者状態を容易に判定できる。
【0234】
(6−2−3−3)
その他、第2実施形態においても、第1実施形態の(6−1−3)で説明した特徴と同様の特徴を有する。
【0235】
(6−2−4)運転者状態判定装置400Aの変形例
第2実施形態に係る運転者状態判定装置400Aは、図32に示すように、ネットワーク上に設けられた判定情報提供装置500等を利用するものでもよい。
【0236】
本変形例では、上述の判定情報提供装置500に、運転者状態判定装置400Aが判定情報の提供を要求する。詳しくは、本変形例では、判定情報データベース532が、ネットワーク上の判定情報提供装置500に格納されており、運転者状態判定部445が、運転者状態レベルを判定する際に、判定情報提供装置500にアクセスする。そして、運転者状態判定部445が、算出した相関値r2及び判定情報に基づいて、対象者300の運転者状態レベルを判定する。
【0237】
したがって、本変形例の運転者状態判定装置400Aであれば、運転者状態判定部445が、外部ネットワークを利用して、対象者300の運転者状態レベルを判定できる。また、運転者状態判定部445が、外部ネットワーク上の判定情報提供装置500に記憶された基準判定用成分を用いて運転者状態を判定するので、基準設定作業を簡略化することもできる。すなわち、上述した「基準設定モード」を省略し、図33に示すように「判定モード」だけを実行する形態を採用することが可能である。ここでは、ステップU1〜U7,U9〜U12において、ステップT9〜T19と同様の処理が行なわれる。また、ステップU8においては、運転者状態判定装置400Aから判定情報提供装置500に対して判定情報の送信要求が行なわれる。なお、上述した各ステップの一部は運転者状態判定装置400Aを用いずに実行されてもよいものである。
【0238】
また、本変形例の方法によれば、ビッグデータを用いた運転者状態の判定が実現できる。すなわち、基準相関値r1及び所定の変化量Δrをビッグデータから求める。具体的には、対象者以外の者に、脳機能賦活情報を提供して取得された基準判定用成分に基づいて算出された基準相関値r1を用いる。これにより、判定情報を随時最適化することができる。
【0239】
(6−3)第3実施形態
(6−3−1)運転者状態判定装置400Bの構成
以下、既に説明した部分と同一の部分には略同一の符号を付し、重複した説明を省略する。他の実施形態と区別するために、本実施形態では異なる構成に添え字Bを付すことがある。
【0240】
図34は第3実施形態に係る運転者状態判定装置400Bの一例を示す模式図である。第3の実施形態では、第1の実施形態とは異なり、機器350に対する所定の操作が生じたときに脳機能が賦活したものとみなす。「所定の操作」として、例えば、自動車のハンドル操作、ブレーキの踏み込み等が挙げられる。
【0241】
運転者状態判定装置400は、入力部410、撮像部415、出力部420、記憶部430、及び処理部440Bを備える。そして、運転者状態判定装置400Bは、機器350を運転する対象者300の運転者状態を判定する。ここで、「機器」とは、自動車、鉄道車両、飛行機、原子力発電機器、各種プラント等の自動機械のことである。
【0242】
第3実施形態では、機器350に、変化量検出装置700が設けられている。変化量検出装置700は、機器350に対する所定の操作により生じる所定の変化量を検出する。例えば、機器350が自動車である場合、所定の変化量として「加速度変化量」を採用できる。検出した変化量は、脳活動関連変化量抽出部441Bに送出される。
【0243】
処理部440Bは、運転者状態判定装置400Bにおける情報処理を実行するものである。具体的には、処理部440Bは、CPU及びキャッシュメモリ等により構成される。処理部440Bは、記憶部430に組み込まれたプログラムが実行されることで、脳活動関連変化量抽出部441B、顔面変化情報取得部442、顔面変化情報分解部443、判定用成分抽出部444、及び、運転者状態判定部445として機能する。
【0244】
脳活動関連変化量抽出部441Bは、機器350に対する所定の操作により生じる所定の変化量から、人間の脳活動に関連する変化量を「脳活動関連変化量」として抽出するものである。具体的には、脳活動関連変化量抽出部441Bは、変化量検出部75から送出される情報から、脳活動関連変化量を抽出する。例えば、所定の変化量として「加速度変化量」が採用される場合、脳活動関連変化量抽出部441Bは、計測された加速度変化量のうち、所定値以上の加速度変化量及び所定の条件に適合する加速度変化量を脳活動関連変化量として抽出する。脳活動関連変化量抽出部441Bが脳活動関連変化量を抽出した場合、抽出した脳活動関連変化量と判定用成分との相関値rが、判定用成分抽出部444により算出される。
【0245】
(6−3−2)運転者状態判定装置400Bの動作
図35は第2実施形態に係る運転者状態判定装置400Bの動作を示すフローチャートである。
【0246】
まず、機器350を運転中の所定のタイミングで、「基準設定モード」が選択され、基準判定用成分の抽出が行なわれる(W1)。具体的には、変化量検出装置700から機器350に対する所定の操作により生じる所定の変化量が検出される(W2)。例えば、交通機器においては加速度変化量が検出される。続いて、脳活動関連変化量抽出部441Bが、脳機能賦活情報データベース431の情報と照合して、所定の変化量の情報から脳活動関連変化量が抽出される(W3)。
【0247】
一方、基準設定モードが選択されると、所定のタイミングで、撮像部415により出力部420の前方にいる対象者300の顔面を含む顔面画像が所定間隔毎に撮像される(W4)。撮像された顔面画像は顔面変化情報取得部442に送出される。
【0248】
続いて、顔面変化情報取得部442により、撮像された顔面画像から、対象者300の顔面データの時系列変化を示す顔面変化情報が取得される。そして、顔面変化情報分解部443により、顔面変化情報が、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解される(W5)。
【0249】
次に、判定用成分抽出部444により、顔面変化情報分解部443により分解された複数の成分1,2,3・・・と、脳活動関連変化量との相関値が算出される。そして、判定用成分抽出部444により、相関値が所定値以上であるか否かが判定される(W6)。所定値以上であると判定された場合、脳活動関連変化量と当該成分とには相関があると判断される(W6−Yes)。そして、判定用成分抽出部444により、相関がある成分のうち、危険率の低い成分が「基準判定用成分」として抽出される(W7)。また、判定用成分抽出部444により、基準判定用成分と脳活動関連変化量との相関値が基準相関値r1として設定される。これらの基準判定用成分の情報は記憶部430に格納される(W8)。一方、脳活動関連変化量と、各成分1,2,3・・・との相関値が所定値未満である場合は、両者には相関がないと判断され、その情報が記憶部430に格納される(W6−No,W8)。
【0250】
次に、機器350を運転中の任意のタイミングで「判定モード」が選択され、その後の運転者状態の判定が実行される(W9)。まず、上記ステップW2〜W7と同様の処理が実行され、顔面変化情報から抽出した判定用成分と、脳活動関連変化量との相関値r2が算出される(W10〜W15)。なお、判定モードの選択は、自動で実行されてもよいし、手動で実行されてもよい。
【0251】
そして、運転者状態判定部445により、基準設定モードで抽出された基準判定用成分に対する脳活動関連変化量の基準相関値r1と、判定モードで抽出された判定用成分に対する脳活動関連変化量の相関値r2との差である変化量Δrが算出される(W16)。続いて、運転者状態判定部450により、基準相関値r1に対する相関値r2の変化量Δrが所定範囲内であるか否かが判定される。所定範囲であるか否かは、判定情報データベース432に記憶された判定情報に基づいて判断される。基準相関値r1に対する相関値r2の変化量Δrが所定範囲である場合、運転者状態判定部445により、機器350を運転する対象者300の運転者状態が「正常」であると判定される(W16−Yes,W17)。一方、基準相関値r1に対する相関値r2の変化量Δrが所定範囲でない場合、運転者状態判定部445により、機器350を運転する対象者300の運転者状態が「正常でない」と判定される(W16−No,W18)。例えば、変化量Δrが上記Δra〜Δrbの範囲内であるときには正常と判定され、変化量ΔrがΔrbを超えているときには正常でない、と判定される。これらの判定結果は、出力部420を介して表示装置等に出力される(W19)。
【0252】
(6−3−3)運転者状態判定装置400Bの特徴
(6−3−3−1)
以上説明したように、第3実施形態に係る運転者状態判定装置400Bは、脳活動関連変化量抽出部441Bと、顔面変化情報取得部442と、顔面変化情報分解部443と、判定用成分抽出部444と、運転者状態判定部445と、を備える。脳活動関連変化量抽出部441Bは、変化量検出装置700から、機器350に対する所定の操作により生じる所定の変化量を取得する。そして、脳活動関連変化量抽出部441Bは、取得した変化量のうち、人間の脳活動に関連する変化量を「脳活動関連変化量」として抽出する。顔面変化情報取得部442は、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する。顔面変化情報分解部443は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する。判定用成分抽出部444は、複数の成分1,2,3,・・・から、脳活動関連変化量と関連する成分を「判定用成分」として抽出する。運転者状態判定部445は、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する。
【0253】
したがって、第3実施形態に係る運転者状態判定装置400Bでは、顔面変化情報を、特異値分解・主成分分析・独立成分分析することで得られた複数の成分から、脳活動関連変化量と関連する判定用成分を抽出するので、装着前に前処理の必要な電極等を使用しなくても、対象者300の脳活動の有無を推定できる。そして、対象者300の脳機能に対応する成分に基づいて、機器350を運転する対象者300の運転者状態を容易に判定できる。
【0254】
(6−3−3−2)
第3実施形態に係る運転者状態判定方法は、必ずしも運転者状態判定装置400Bを必要とするものではない。すなわち、本実施形態に係る運転者状態判定方法は、運転者状態判定装置400Bの有無に関わらず、所定のタイミングで、機器350に対する所定の操作により生じる所定の変化量を検出する機器変化量検出ステップと、機器変化量検出ステップにより検出された変化量から、機器350を操作する対象者300の脳活動に関連する変化量を「脳活動関連変化量」として抽出する脳活動関連変化量抽出ステップと、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する顔面変化情報取得ステップと、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する顔面変化情報分解ステップと、複数の成分1,2,3,・・・から、脳活動関連変化量に関連する成分を「判定用成分」として抽出する判定用成分抽出ステップと、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する運転者状態判定ステップと、を備えるものであればよい。
【0255】
このような運転者状態判定方法によれば、所定のタイミング後に、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析することで得られた複数の成分から、脳活動関連変化量と関連する判定用成分を抽出して、機器350を運転する対象者300の運転者状態を容易に判定できる。
【0256】
(6−3−3−3)
その他、第3実施形態においても、第1実施形態の(6−1−3)で説明した特徴と同様の特徴を有する。
【0257】
(6−3−4)運転者状態判定装置400Bの変形例
第3実施形態に係る運転者状態判定装置400Bは、図36に示すように、ネットワーク上に設けられた判定情報提供装置500等を利用するものでもよい。
【0258】
本変形例では、上述した判定情報提供装置500に、運転者状態判定装置400Bが判定情報の提供を要求する。詳しくは、本変形例では、判定情報データベース532が、ネットワーク上の判定情報提供装置500に格納されており、運転者状態判定部445が、運転者状態レベルを判定する際に、判定情報提供装置500にアクセスする。そして、運転者状態判定部445が、算出した相関値r2及び判定情報に基づいて、機器350を運転する対象者300の運転者状態レベルを判定する。
【0259】
したがって、本変形例の運転者状態判定装置400Bであれば、運転者状態判定部445が、外部ネットワークを利用して、対象者300の運転者状態レベルを判定できる。また、運転者状態判定部445が、外部ネットワーク上の判定情報提供装置500に記憶された基準判定用成分を用いて運転者状態を判定するので、基準設定作業を簡略化することもできる。すなわち、上述した「基準設定モード」を省略し、図37に示すように「判定モード」だけを実行する形態を採用することが可能である。ここでは、ステップX1〜X7,X9〜X12において、ステップW9〜W19と同様の処理が行なわれる。また、ステップX8においては、運転者状態判定装置400Bから判定情報提供装置500に対して判定情報の送信要求が行なわれる。なお、上述した各ステップの一部は運転者状態判定装置400Bを用いずに実行されてもよいものである。
【0260】
また、本変形例の方法によれば、ビッグデータを用いた運転者状態の判定が実現できる。すなわち、基準相関値r1及び所定の変化量Δrをビッグデータから求める。具体的には、正常運転時の脳活動関連変化量から得られた基準判定用成分に基づいて算出された基準相関値r1を用いる。これにより、判定情報を随時最適化することができる。
【0261】
(6−3−5)運転者状態判定方法の検証
(6−3−5−1)
図38は、機器350を「自動車」とし、所定の操作を「急ブレーキ」としたときの、判定用成分の変化を示す図である。実線が急ブレーキの変化を示し、点線が判定用成分の変化を示している。なお、判定用成分は紅斑指数から算出したものである。図38に示されるように、急ブレーキと判定用成分とには相関があることが特定された。したがって、ブレーキの変化量に基づいて運転者状態を判定できることが確認された。
【0262】
(6−3−5−2)
図39は、機器350を「自動車」とし、所定の操作を「タッピング」としたときの、判定用成分の変化を示す図である。(b)の部分がタッピング動作をしている状態を示し、(a)の部分が判定用成分の変化を示している。ここでは、タッピング動作として、右手親指で小指から人差し指までを順にタッチする動作を採用した。また、判定用成分は紅斑指数から算出したものである。図39に示されるように、タッピングと判定用成分とには相関があることが特定された。したがって、タッピングの変化量に基づいて運転者状態を判定できることが確認された。
【0263】
(6−4)第4実施形態
第4実施形態に係る運転者状態判定装置は、第1実施形態〜第3実施形態に係る運転者状態判定装置を組み合わせたものである。これにより、図40に示すように各種の自動機械に対する運転者状態を判定できる。
【0264】
例えば、対象者300が自動車のドライバーである場合、脳機能賦活情報又は所定の操作として、運転開始及び終了を示す信号、ハンドル・ブレーキの操作量、走行量、車外の情報、信号機の情報、対向車の情報、及び歩行者の情報等を利用して、運転者状態を判定できる。また、対象者300が原子力発電所等の自動機械のオペレータである場合、脳機能賦活情報として、稼動開始・停止・異常なし等の状態に対応する自動機械の信号を利用して、運転者状態を判定できる。また、対象者300が電車の運転者である場合、脳機能賦活情報として、線路脇に設置された信号、鉄道標識、停止位置目標等を利用して、運転者状態を判定できる。対象者300が飛行機のパイロットである場合、脳機能賦活情報として、計器からの信号や管制塔からの指示等を利用して、運転者状態を判定できる。
【0265】
さらに、テロ行為を実行しようとする者は、脳活動が興奮状態にあり、被害を発生させる情報に高い反応を示す傾向がある。例えば、乗客の人数やテロ行為の発生場所の情報等に高い反応を示す。そこで、脳機能賦活情報として、被害を発生させるような情報を利用することで、対象者300がテロ行為を実行しようとする者であるか否かを判定することもできる。
【産業上の利用可能性】
【0266】
本発明によれば、簡便に脳活動を推定することができるため、脳活動に基づき対象者の生理状態を可視化する脳活動可視化装置への適用が有効である。
【符号の説明】
【0267】
300 対象者
350 機器
400 運転者状態判定装置
400A 運転者状態判定装置
400B 運転者状態判定装置
410 入力部
415 撮像部
416 周辺情報取得部
420 出力部
430 記憶部
431 脳機能賦活情報データベース
432 判定情報データベース
440 処理部
440A 処理部
440B 処理部
441 脳機能賦活情報提供部
441A 脳機能賦活情報検知部
441B 脳活動関連変化量抽出部
442 顔面変化情報取得部
443 顔面変化情報分解部
444 判定用成分抽出部
445 運転者状態判定部
500 判定情報提供装置
530 記憶部
532 判定情報データベース
540 処理部
600 脳機能賦活情報提供物
700 変化量検出装置
【先行技術文献】
【特許文献】
【0268】
【特許文献1】特開2013−176406号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25A
図25B
図26
図27
図28
図29
図30
図31A
図31B
図32
図33
図34
図35A
図35B
図36
図37
図38
図39
図40