特許 7099037 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-04

(45)【発行日】2022-07-12

(54)【発明の名称】データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20220705BHJP

   A61B 5/18 20060101ALI20220705BHJP

   A61B 5/11 20060101ALI20220705BHJP

   A61B 3/113 20060101ALI20220705BHJP

【ＦＩ】

A61B5/16 130

A61B5/18

A61B5/11 120

A61B3/113

【請求項の数】 14

(21)【出願番号】P 2018089368

(22)【出願日】2018-05-07

(65)【公開番号】P2019195377

(43)【公開日】2019-11-14

【審査請求日】2021-03-05

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100096080

【弁理士】

【氏名又は名称】井内 龍二

(74)【代理人】

【識別番号】100194098

【弁理士】

【氏名又は名称】高田 一

(72)【発明者】

【氏名】竹本 あゆみ

(72)【発明者】

【氏名】木下 航一

(72)【発明者】

【氏名】向井 仁志

(72)【発明者】

【氏名】長江 成典

(72)【発明者】

【氏名】竹内 倭

【審査官】岡▲さき▼ 潤

(56)【参考文献】

【文献】国際公開第２０１０／０３２４２４（ＷＯ，Ａ１）

【文献】特表２００７－５２４１３４（ＪＰ，Ａ）

【文献】特開２０１３－０５４７３５（ＪＰ，Ａ）

【文献】特開２０１１－０１５９１３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００９０４７５（ＵＳ，Ａ１）

【文献】国際公開第２０１１／０４８６６１（ＷＯ，Ａ１）

【文献】特開２０１６－１７４８３８（ＪＰ，Ａ）

【文献】特表２００５－５１０７８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／１６

Ａ６１Ｂ ５／１８

Ａ６１Ｂ ５／１１

Ａ６１Ｂ ３／１１３

(57)【特許請求の範囲】

【請求項1】

人をモニタリングするためのデータ処理を行うデータ処理装置であって、
前記人の瞳孔運動及び頭部運動を算出する算出部と、
前記人の前庭動眼反射運動を算出する際の状況の適性度を評価する評価部と、
前記算出部により算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価部により評価された前記適性度を付与する付与部と、
前記データに付与された前記適性度に基づいて、前記人の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は該第１の手法とは異なる第２の手法を選択する選択部と、
該選択部により前記第１の手法が選択された場合、前記第１の手法に基づいて眠気を算出する第１の眠気算出部と、
前記選択部により前記第２の手法が選択された場合、前記第２の手法に基づいて眠気を算出する第２の眠気算出部とを備えていることを特徴とするデータ処理装置。

【請求項2】

前記選択部が、
前記適性度が所定の条件を満たしている場合に、前記第１の手法を選択し、
前記適性度が前記所定の条件を満たしていない場合に、前記第２の手法を選択するものであることを特徴とする請求項１記載のデータ処理装置。

【請求項3】

前記第１の眠気算出部が、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出部を備え、
該反射運動算出部により算出された前記人の前庭動眼反射運動に基づいて眠気を算出するものであることを特徴とする請求項１又は請求項２記載のデータ処理装置。

【請求項4】

前記第２の眠気算出部が、
前記人の眼のサッカード運動を算出するサッカード運動算出部を備え、
該サッカード運動算出部により算出された前記人のサッカード運動に基づいて眠気を算出する構成を含んでいることを特徴とする請求項１又は請求項２記載のデータ処理装置。

【請求項5】

前記第２の眠気算出部が、
前記人の瞼の運動に基づく指標を算出する瞼運動算出部を備え、
該瞼運動算出部により算出された前記瞼の運動に基づく指標に基づいて眠気を算出する構成を含んでいることを特徴とする請求項１又は請求項２記載のデータ処理装置。

【請求項6】

前記第１の眠気算出部、又は前記第２の眠気算出部により算出された前記眠気に基づいて、前記人を覚醒させるための制御を行う覚醒制御部を備えていることを特徴とする請求項１～５のいずれかの項に記載のデータ処理装置。

【請求項7】

前記評価部が、前記人又は該人が操作する物の状態に基づいて、前記適性度を評価するものであることを特徴とする請求項１～６のいずれかの項に記載のデータ処理装置。

【請求項8】

前記物が車両であり、
前記人が前記車両の運転者であることを特徴とする請求項７記載のデータ処理装置。

【請求項9】

前記評価部が、
前記データに含まれるノイズ成分、前記運転者の視線方向、前記車両の走行状態、及び前記車両の進行方向に存在する物体の検出状態のうちの少なくともいずれかに基づいて、前記適性度を評価するものであることを特徴とする請求項８記載のデータ処理装置。

【請求項10】

前記車両の加速度を取得する取得部を備え、
前記評価部が
前記車両から取得した該車両の加速度の変化と、前記算出部により算出された前記運転者の頭部運動又は瞳孔運動との関係に基づいて、前記適性度を評価するものであることを特徴とする請求項８記載のデータ処理装置。

【請求項11】

請求項１～１０のいずれかの項に記載のデータ処理装置と、
前記人を含む画像を撮像する撮像装置とを含み、
前記データ処理装置の前記算出部が、
前記撮像装置から取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を算出するものであることを特徴とするモニタリングシステム。

【請求項12】

請求項６記載のデータ処理装置と、
該データ処理装置の前記覚醒制御部により制御される覚醒装置とを含んで構成されていることを特徴とする覚醒システム。

【請求項13】

人をモニタリングするためのデータ処理方法であって、
前記人の瞳孔運動及び頭部運動を算出する算出ステップと、
前記人の前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップと、
前記算出ステップにより算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップにより評価された前記適性度を付与する付与ステップと、
前記データに付与された前記適性度に基づいて、前記人の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は該第１の手法とは異なる第２の手法を選択する選択ステップと、
該選択ステップにより前記第１の手法が選択された場合、前記第１の手法に基づいて眠気を算出する第１の眠気算出ステップと、
前記選択ステップにより前記第２の手法が選択された場合、前記第２の手法に基づいて眠気を算出する第２の眠気算出ステップとを含むことを特徴とするデータ処理方法。

【請求項14】

人をモニタリングするためのデータ処理を少なくとも１つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも１つのコンピュータに、
前記人の瞳孔運動及び頭部運動を算出する算出ステップと、
前記人の前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップと、
前記算出ステップにより算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップにより評価された前記適性度を付与する付与ステップと、
前記データに付与された前記適性度に基づいて、前記人の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は該第１の手法とは異なる第２の手法を選択する選択ステップと、
該選択ステップにより前記第１の手法が選択された場合、前記第１の手法に基づいて眠気を算出する第１の眠気算出ステップと、
前記選択ステップにより前記第２の手法が選択された場合、前記第２の手法に基づいて眠気を算出する第２の眠気算出ステップとを実行させることを特徴とするデータ処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムに関する。

【背景技術】

【0002】

下記の特許文献１には、頭部運動に伴い誘発される前庭動眼反射を利用して、車両の運転者などが眠気を自覚する前の予兆を検出することを目的とする眠気予兆検出装置が開示されている。

【0003】

特許文献１記載の眠気予兆検出装置は、頭部運動を検出する頭部運動検出手段と、眼球運動を検出する眼球運動検出手段と、前記頭部運動検出手段により検出された頭部運動データに基づいて理想眼球運動角速度を算出する理想眼球運動角速度算出手段と、前記眼球運動検出手段により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出手段と、理想眼球運動角速度と眼球回転角速度とから前庭動眼反射（Ｖｅｓｔｉｂｕｌｏ－Ｏｃｕｌａｒ Ｒｅｆｌｅｘ：ＶＯＲ）を検出し、この前庭動眼反射に基づいて眠気の予兆を判定する眠気予兆判定手段と、を備えている。

【0004】

［発明が解決しようとする課題］
特許文献１には、自動車運転時を模擬した実験システム、すなわちドライビングシミュレータシステムを用い、スクリーンに投影される前方車両のナンバープレート上部を注視点として固視させるなどの実験タスクを被験者に課した状態で試験を行った結果が開示されている。

【0005】

しかしながら、ドライビングシミュレータシステムを用いた疑似的な実験環境は、実際の車両の走行環境とは大きく異なっている。本発明者は、実際の車両の走行環境（以下、実車環境という）で検証を行った結果、実車環境では、前庭動眼反射運動を精度良く取得することが極めて難しいことを見出した。

【0006】

例えば、眼球運動の中には、前庭動眼反射運動の他に、サッカード運動（衝動性眼球運動ともいう）、及び輻輳性運動などがある。実験環境では、前庭動眼反射運動が発生しやすくなるように、予め定められた前記注視点を固視させるようにすればよいが、実車環境では、車外の状況、路面の状況、車両の挙動、及び運転者の頭部や眼の動きなどは一定ではなく、前庭動眼反射運動以外の眼球運動も複合的に発生している。

【0007】

また、前庭動眼反射運動は頭部運動に伴い誘発される。実験環境では、ドライバーシートを振動させて、頭部運動を誘発させているが、実車環境では、必ずしも都合よく、頭部運動が誘発される振動状態が発生するとは限らない。
そのため、様々な種類の眼球運動が発生し得る状況、又は前庭動眼反射運動が誘発されにくい状況で、前庭動眼反射運動に基づいて眠気を判定しようとしても、眠気を精度良く判定することが難しいという課題があった。また、実車環境に限らず、設備等の操作環境や作業環境などの様々な現実環境においても、同様の課題が生じ得る。

【先行技術文献】

【特許文献】

【0008】

【文献】特許第５２５５０６３号公報

【発明の概要】

【課題を解決するための手段及びその効果】

【0009】

本発明は上記課題に鑑みなされたものであって、前庭動眼反射運動に基づいて眠気を算出するのに適していない状況であっても、眠気を精度良く算出することができるデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムを提供することを目的としている。

【0010】

上記目的を達成するために本開示に係るデータ処理装置（１）は、人をモニタリングするためのデータ処理を行うデータ処理装置であって、
前記人の瞳孔運動及び頭部運動を算出する算出部と、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価部と、
前記算出部により算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価部により評価された前記適性度を付与する付与部と、
前記データに付与された前記適性度に基づいて、前記人の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は該第１の手法とは異なる第２の手法を選択する選択部と、
該選択部により前記第１の手法が選択された場合、前記第１の手法に基づいて眠気を算出する第１の眠気算出部と、
前記選択部により前記第２の手法が選択された場合、前記第２の手法に基づいて眠気を算出する第２の眠気算出部とを備えていることを特徴としている。

【0011】

上記データ処理装置（１）によれば、前記評価部により前記前庭動眼反射運動を算出する際の状況の適性度が評価され、前記付与部により前記データに前記適性度が付与される。したがって、前記データに付与された前記適性度によって、前記データが、前記前庭動眼反射運動を算出する際の状況として、どのような適性を有しているのかを判別することが可能となる。そして、前記選択部により、前記適性度に基づいて、前記第１の手法、又は前記第２の手法が選択され、該選択された手法に基づいて眠気が算出される。これにより、前記第１の手法で眠気を算出するのに適していない状況、換言すれば、前記人の前庭動眼反射運動に基づいて眠気を算出するのに適していない状況であっても、前記第２の手法によって眠気を算出することができ、現実環境下における眠気の算出を精度良く行うことができる。

【0012】

また本開示に係るデータ処理装置（２）は、上記データ処理装置（１）において、
前記選択部が、
前記適性度が所定の条件を満たしている場合に、前記第１の手法を選択し、
前記適性度が前記所定の条件を満たしていない場合に、前記第２の手法を選択するものであることを特徴としている。

【0013】

上記データ処理装置（２）によれば、前記適性度が所定の条件を満たしている場合、換言すれば、前記前庭動眼反射運動を算出する際の状況として適している場合は、前記第１の手法が選択され、前記人の前庭動眼反射運動に基づいて眠気が算出される。
一方、前記適性度が前記所定の条件を満たしていない場合、換言すれば、前庭動眼反射運動を算出する際の状況として適していない場合であっても、前記第２の手法により眠気が算出される。したがって、前記所定の条件に基づいて、前記第１の手法又は前記第２の手法が適切に選択されることによって、現実環境下における眠気の算出精度を高めることができる。

【0014】

また本開示に係るデータ処理装置（３）は、上記データ処理装置（１）又は（２）において、前記第１の眠気算出部が、前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出部を備え、
該反射運動算出部により算出された前記人の前庭動眼反射運動に基づいて眠気を算出するものであることを特徴としている。

【0015】

上記データ処理装置（３）によれば、前記第１の眠気算出部により、前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動が算出され、該算出された前記人の前庭動眼反射運動に基づいて眠気が算出される。これにより、前記データのうち、前記適性度が考慮された適切なデータを用いることにより、前記人の前庭動眼反射運動の算出精度を高めることが可能になるとともに、前記人の前庭動眼反射運動に基づく眠気の算出も精度良く行うことができ、また、現実環境下における前記眠気の予兆も精度良く検出することができる。

【0016】

また本開示に係るデータ処理装置（４）は、上記データ処理装置（１）又は（２）において、前記第２の眠気算出部が、前記人のサッカード運動を算出するサッカード運動算出部を備え、
該サッカード運動算出部により算出された前記人のサッカード運動に基づいて眠気を算出する構成を含んでいることを特徴としている。

【0017】

上記データ処理装置（４）によれば、前記第２の眠気算出部により、前記人のサッカード運動が算出され、該算出された前記人のサッカード運動に基づいて眠気が算出される。前記サッカード運動は、衝動性眼球運動とも呼ばれ、視線位置を変える際に生じる、高速で持続時間の短い眼球運動であり、低速の前記前庭動眼反射運動とは、その特性が大きく異なっている。また、前記前庭動眼反射運動の算出に適してない状況としては、前記サッカード運動が高頻度で発生している状況が挙げられる。したがって、前記前庭動眼反射運動を算出する際の状況として適していない場合であっても、前記人のサッカード運動に基づいて眠気を算出することにより、眠気を精度良く算出することができる。

【0018】

また本開示に係るデータ処理装置（５）は、上記データ処理装置（１）又は（２）において、前記第２の眠気算出部が、前記人の瞼の運動に基づく指標を算出する瞼運動算出部を備え、
該瞼運動算出部により算出された前記瞼の運動に基づく指標に基づいて眠気を算出する構成を含んでいることを特徴としている。

【0019】

上記データ処理装置（５）によれば、前記第２の眠気算出部により、前記人の瞼の運動に基づく指標が算出され、該算出された前記瞼の運動に基づく指標に基づいて眠気が算出される。前記人の瞼の運動に基づく指標には、例えば、開瞼度（眼の開き度合）、瞬きの頻度、及び単位時間に対する閉眼時間の割合を示すＰＥＲＣＬＯＳ（Percent of the time eyelids are closed）のうちの少なくともいずれかが含まれる。これにより、前庭動眼反射運動を算出する際の状況として適していない場合であっても、前記瞼の運動に基づく指標に基づいて眠気を算出することにより、眠気を精度良く算出することができる。

【0020】

また本開示に係るデータ処理装置（６）は、上記データ処理装置（１）～（５）のいずれかにおいて、前記第１の眠気算出部、又は前記第２の眠気算出部により算出された前記眠気に基づいて、前記人を覚醒させるための制御を行う覚醒制御部を備えていることを特徴としている。

【0021】

上記データ処理装置（６）によれば、前記覚醒制御部により、前記第１の眠気算出部、又は前記第２の眠気算出部により算出された前記眠気に基づいて前記人を覚醒させる制御が行われるので、前記人を眠気から覚醒させることができる。

【0022】

また本開示に係るデータ処理装置（７）は、上記データ処理装置（１）～（６）のいずれかにおいて、前記評価部が、前記人又は該人が操作する物の状態に基づいて、前記適性度を評価するものであることを特徴としている。

【0023】

上記データ処理装置（７）によれば、前記人又は該人が操作する物の状態に基づいて、前記適性度が評価される。したがって、前記人又は該人が操作する物の状態を考慮することで、前記前庭動眼反射運動を算出する際の状況としての適性をより正確に評価することが可能となり、前記適性度をより正確に評価することができる。これにより、前記選択部による前記第１の手法又は前記第２の手法の選択もより適切に行うことができ、前記第１の手法又は前記第２の手法による眠気の算出精度を高めることができる。

【0024】

また本開示に係るデータ処理装置（８）は、上記データ処理装置（７）において、前記物が車両であり、前記人が前記車両の運転者であることを特徴としている。

【0025】

上記データ処理装置（８）によれば、前記物が車両であり、前記人が車両を運転する運転者であるので、実車環境において前記運転者の眠気を精度良く算出することができる。

【0026】

また本開示に係るデータ処理装置（９）は、上記データ処理装置（８）において、
前記評価部が、
前記データに含まれるノイズ成分、前記運転者の視線方向、前記車両の走行状態、及び前記車両の進行方向に存在する物体の検出状態のうちの少なくともいずれかに基づいて、前記適性度を評価するものであることを特徴としている。

【0027】

上記データ処理装置（９）によれば、前記データに含まれるノイズ成分、前記運転者の視線方向、前記車両の走行状態、及び前記車両の進行方向に存在する物体の検出状態のうちの少なくともいずれかに基づいて、前記適性度が評価される。

【0028】

例えば、前記ノイズ成分が少ない場合、前記適性度が高いと評価されるようにしてもよい。また、前記運転者の視線方向が前方の一定の範囲内にある場合、前記車両が直線走行している場合、又は前記車両の進行方向に前記物体が検出されていない場合、前記適性度が高いと評価されるようにしてもよい。

【0029】

したがって、前記データに含まれるノイズ成分、前記運転者の視線方向、前記車両の走行状態、及び前記車両の進行方向に存在する物体の検出状態のうちの少なくともいずれかを考慮することで、実車環境における前記適性度をより正確に評価することが可能となる。これにより、前記選択部による前記第１の手法又は前記第２の手法の選択をより適切に行うことができ、前記第１の手法又は前記第２の手法による眠気の算出精度を高めることができる。なお、前記データに含まれるノイズ成分には、前記前庭動眼反射運動の算出を妨げる眼球や頭部の運動成分が含まれ、例えば、前記前庭動眼反射運動以外の眼球運動の成分が含まれる。

【0030】

また本開示に係るデータ処理装置（１０）は、上記データ処理装置（８）において、
前記車両の加速度を取得する取得部を備え、
前記評価部が
前記車両から取得した該車両の加速度の変化と、前記算出部により算出された前記運転者の頭部運動又は瞳孔運動との関係に基づいて、前記適性度を評価するものであることを特徴としている。

【0031】

上記データ処理装置（１０）によれば、例えば、前記車両の加速度の変化に応じて、換言すれば、前記車両に生じる振動に追従して、前記運転者の頭部運動又は瞳孔運動が算出された場合、前記適性度が高いと評価される。したがって、実車環境において前記前庭動眼反射運動が発生しやすい状況を的確に評価して、前記適性度を正確に評価することが可能となる。これにより、前記選択部による前記第１の手法又は前記第２の手法の選択をより適切に行うことができ、前記第１の手法又は前記第２の手法による眠気の算出精度を高めることができる。

【0032】

また本開示に係るモニタリングシステム（１）は、上記データ処理装置（１）～（１０）のいずれかと、前記人を含む画像を撮像する撮像装置とを含み、
前記データ処理装置の前記算出部が、
前記撮像装置から取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を算出するものであることを特徴としている。

【0033】

上記モニタリングシステム（１）によれば、上記データ処理装置（１）～（１０）のいずれかと、前記撮像装置とを含んで構成されているので、上記データ処理装置（１）～（１０）のいずれかの効果が得られる、様々な現実環境下において導入しやすいシステムを提供することができる。

【0034】

また本開示に係る覚醒システムは、上記データ処理装置（６）と、該データ処理装置（６）の前記覚醒制御部により制御される覚醒装置とを含んで構成されていることを特徴としている。
上記覚醒システムによれば、前記覚醒制御部により前記覚醒装置が制御されるので、該覚醒装置により前記人を適切に覚醒させることができる。

【0035】

また本開示に係るデータ処理方法は、人をモニタリングするためのデータ処理方法であって、
前記人の瞳孔運動及び頭部運動を算出する算出ステップと、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップと、
前記算出ステップにより算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップにより評価された前記適性度を付与する付与ステップと、
前記データに付与された前記適性度に基づいて、前記人の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は該第１の手法とは異なる第２の手法を選択する選択ステップと、
該選択ステップにより前記第１の手法が選択された場合、前記第１の手法に基づいて眠気を算出する第１の眠気算出ステップと、
前記選択ステップにより前記第２の手法が選択された場合、前記第２の手法に基づいて眠気を算出する第２の眠気算出ステップとを含むことを特徴としている。

【0036】

上記データ処理方法によれば、前記評価ステップにより前記前庭動眼反射運動を算出する際の状況の適性度が評価され、前記付与ステップにより前記データに前記適性度が付与される。したがって、前記データに付与された前記適性度によって、前記データが、前記前庭動眼反射運動を算出する際の状況として、どのような適性を有しているのかを判別することが可能となる。そして、前記選択ステップにより、前記適性度に基づいて、前記第１の手法、又は前記第２の手法が選択され、該選択された手法に基づいて眠気が算出される。これにより、前記第１の手法で眠気を算出するのに適していない状況、換言すれば、前記人の前庭動眼反射運動に基づいて眠気を算出するのに適していない状況であっても、前記第２の手法によって眠気を算出することができ、現実環境下における眠気の算出を精度良く行うことができる。

【0037】

また本開示に係るデータ処理プログラムは、人をモニタリングするためのデータ処理を少なくとも１つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも１つのコンピュータに、
前記人の瞳孔運動及び頭部運動を算出する算出ステップと、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップと、
前記算出ステップにより算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップにより評価された前記適性度を付与する付与ステップと、
前記データに付与された前記適性度に基づいて、前記人の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は該第１の手法とは異なる第２の手法を選択する選択ステップと、
該選択ステップにより前記第１の手法が選択された場合、前記第１の手法に基づいて眠気を算出する第１の眠気算出ステップと、
前記選択ステップにより前記第２の手法が選択された場合、前記第２の手法に基づいて眠気を算出する第２の眠気算出ステップとを実行させることを特徴としている。

【0038】

上記データ処理プログラムによれば、前記評価ステップにより前記前庭動眼反射運動を算出する際の状況の適性度が評価され、前記付与ステップにより前記データに前記適性度が付与される。したがって、前記データに付与された前記適性度によって、前記データが、前記前庭動眼反射運動を算出する際の状況として、どのような適性を有しているのかを判別することが可能となる。そして、前記選択ステップにより、前記適性度に基づいて、前記第１の手法、又は前記第２の手法が選択され、該選択された手法に基づいて眠気が算出される。これにより、前記第１の手法で眠気を算出するのに適していない状況、換言すれば、前記人の前庭動眼反射運動に基づいて眠気を算出するのに適していない状況であっても、前記第２の手法によって眠気を算出することができ、現実環境下における眠気の算出を精度良く行うことが可能なデータ処理装置を実現できる。

【図面の簡単な説明】

【0039】

【図1】実施の形態に係るデータ処理装置を用いたモニタリングシステムの一例を模式的に示す図である。

【図2】実施の形態に係るモニタリングシステムのハードウェア構成の一例を示すブロック図である。

【図3】実施の形態に係るデータ処理装置の機能構成の一例を示すブロック図である。

【図4A】実施の形態に係るデータ処理装置の制御ユニットが行う処理動作の一例を示すフローチャートである。

【図4B】実施の形態に係るデータ処理装置の制御ユニットが行う処理動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0040】

以下、本発明に係るデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムの実施の形態を図面に基づいて説明する。
本発明に係るデータ処理装置は、例えば、人（対象者）をモニタリングするシステムに広く適用可能である。例えば、車両、鉄道車両、飛行機、及び船舶などの各種移動体の運転者（操縦者）をモニタリングするシステムの他、工場内の機械や装置などの各種設備を操作したり、監視したり、所定の作業をしたりする人などをモニタリングするシステムなどにも適用可能である。

【0041】

［システム構成例］
図１は、実施の形態に係るデータ処理装置を用いたモニタリングシステムの一例を模式的に示す図である。
モニタリングシステム１は、車両２に搭載されるドライバモニタリングシステムであり、データ処理装置１０とカメラ２０とを含んで構成されている。データ処理装置１０は、車両２の運転者３をモニタリングするためのデータ処理を行うコンピュータである。カメラ２０は、本発明の「撮像装置」の一例である。カメラ２０は、データ処理装置１０に接続され、運転者３の顔を含む画像が撮像できるように配置されている。

【0042】

車両２は、自動車であるが、二輪車等の車両であってもよく、車両２の種類は特に限定されない。また、車両２は、米国自動車技術会（ＳＡＥともいう）が提示している自動運転レベルにおけるレベル０（運転自動化なし）の車両（いわゆる手動運転車両）でもよいし、自動運転車両であってもよい。自動運転車両は、ＳＡＥが提示している自動運転レベルにおけるレベル１（ドライバ支援）、レベル２（部分的自動運転）、レベル３（条件付自動運転）、レベル４（高度自動運転）、及びレベル５（完全自動運転）のうちのいずれのレベルの車両であってもよい。

【0043】

また、データ処理装置１０は、車両２に搭載されている各種機器、例えば、車載センサ３０、始動スイッチ４０、及びナビゲーション装置５０などに接続可能に構成されている。また、データ処理装置１０は、車両２の駆動部、制動部、操舵部、又はサスペンション部などの各部を制御する１つ以上の電子制御ユニット（ＥＣＵ：Electronic Control Unit）６０に接続可能に構成されてもよい。始動スイッチ４０は、例えば、イグニッションスイッチである。

【0044】

データ処理装置１０では、現実環境の一例である実車環境下における運転者３の眠気の算出精度を高めることを目的の一つとしている。

【0045】

背景技術の欄に記載したように、実車環境では、車外の状況、路面の状況、車両の挙動、及び運転者の頭部や眼の動きなどは一定ではない。そのため、運転者の瞳孔運動及び頭部運動のデータには、前庭動眼反射運動の成分（シグナル成分ともいう）とは異なる運動成分、例えば、サッカード運動や輻輳性運動などの成分（ノイズ成分ともいう）が複合的に含まれている。また、実車環境では、前庭動眼反射運動を誘発する頭部運動が常に生じているわけではない。

【0046】

その結果、実車環境では、前庭動眼反射運動を検出するためのデータのシグナルノイズ（ＳＮ）比が低くなる状況も発生している。このような状況において、前庭動眼反射運動に基づいて眠気を算出したとしても、眠気を精度良く算出することが難しいという課題があった。なお、前庭動眼反射運動（以下、ＶＯＲともいう）は、人の頭部運動に伴ない誘発される眼球運動であり、頭部の動きの反対方向へ眼球を動かすことで、網膜像のブレを抑制する不随意的眼球運動である。

【0047】

係る課題を解決すべく、実施の形態に係るデータ処理装置１０では、次の構成が採用されている。
データ処理装置１０は、カメラ２０から撮像画像を取得し、取得した撮像画像から、少なくとも運転者３の瞳孔運動及び頭部運動を算出する。また、データ処理装置１０は、運転者３の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する。

【0048】

この適性度は、例えば、撮像画像から検出された運転者３の状態、又は車載センサ３０などで検出された車両２の状態のうちの少なくともいずれかの状態に基づいて評価される。
運転者３の状態には、運転者３の視線方向が含まれる。例えば、運転者３が特定の方向や特定の箇所を注視している状態は、前庭動眼反射運動以外の眼球運動（例えば、サッカード運動や輻輳性運動など）が生じにくい状態、換言すれば、前庭動眼反射運動のノイズ成分が小さくなり、Ｓ／Ｎ比が高くなりやすい状態にある。運転者３がこのような状態にある場合、例えば、適性が有る、又は適性が高いと判定され、適性度が高く評価される。

【0049】

また、車両２の状態には、車両２の走行状態、又は車両２の進行方向に存在する物体（人や他車両など）の検出状態などが含まれる。また、車両２の加速度の変化と、運転者３の瞳孔運動又は頭部運動との関係に基づいて、適性度を評価してもよい。
例えば、車両２の状態が、運転者３の頭部が上下、左右又は前後方向、或いはヨー又はピッチ方向に変位又は振動しやすい状態、換言すれば、前庭動眼反射運動のシグナル成分、特に変位量が大きくなりやすい状態にある場合、例えば、適性が有る、又は適性が高いと判定され、適性度が高く評価される。

【0050】

また、車両２の状態が、運転者３の前庭動眼反射運動以外の眼球運動（例えば、サッカード運動や輻輳性運動など）が生じにくい走行状態、換言すれば、前庭動眼反射運動のノイズ成分が小さくなる走行状態、具体的には、車両２が直線道路を走行している状態にある場合、例えば、適性が有る、又は適性が高いと判定され、適性度が高く評価される。

【0051】

上記のように評価された適性度は、コンピュータで認識可能なデータとして表される。適性度は、例えば、ＶＯＲを算出する適性の有無、又は適性の高低を示す２値データで表してもよいし、適性の程度に応じた（例えば、ランク付け又は重み付けされた）多値データで表してもよい。適性の程度とは、例えば、ＶＯＲを算出する状態としての適性度合いを示す。

【0052】

そして、データ処理装置１０は、撮像画像をもとに算出された運転者３の瞳孔運動及び頭部運動に係るデータ（以下、算出データともいう）に適性度を付与する。適性度が付与される運転者３の瞳孔運動及び頭部運動に係るデータは、運転者３の瞳孔運動及び頭部運動のデータでもよいし、運転者３の瞳孔運動及び頭部運動のデータから算出された値、又は運転者３の瞳孔運動と頭部運動の関連性を示す値などであってもよい。データ処理装置１０は、例えば、瞳孔運動と頭部運動の相関関係を示す係数などの値に適性度を付与してもよい。

【0053】

さらにデータ処理装置１０は、運転者３の瞳孔運動及び頭部運動に係るデータに付与された適性度に基づいて、運転者３の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は該第１の手法とは異なる第２の手法を選択する。なお、第２の手法には、複数の手法が含まれてもよく、これら複数の手法の中から、所定の条件に適合した手法を選択するようにしてもよい。

【0054】

例えば、適性度が所定の条件を満たしている場合、データ処理装置１０は、第１の手法を選択し、該第１の手法に基づいて（すなわち、運転者３の前庭動眼反射運動に基づいて）眠気を算出する。

【0055】

適性度が所定の条件を満たしている場合には、例えば、所定時間分記憶された算出データのうち、適性度が高く評価されたデータ（例えば、適性度が所定の閾値以上であるデータ、又はＶＯＲを算出する状況として適性が有ると評価されたデータ）が所定の割合以上である場合が挙げられる。また、適性度が所定の条件を満たしている場合には、所定時間分記憶された算出データに付与された適性度の統計値（平均値、又は最頻値など）が所定の閾値以上である場合なども挙げられる。

【0056】

一方、適性度が所定の条件を満たしていない場合、データ処理装置１０は、第２の手法を選択し、該第２の手法に基づいて眠気を算出する。第２の手法は、前庭動眼反射運動に基づいて眠気を算出する第１の手法とは異なる手法であれば、特に限定されない。好ましくは、前庭動眼反射運動が誘発されにくい状況でも、眠気を精度良く算出可能な手法が採用される。

【0057】

第２の手法には、例えば、サッカード運動に基づいて眠気を算出する手法、運転者３の瞼の運動に基づく指標に基づいて眠気を算出する手法、撮像画像から検出される瞳孔の面積の変化に基づいて眠気を算出する手法、及び撮像画像から検出される瞳孔の縦径と横径との比の変化に基づいて眠気を算出する手法のうちの少なくともいずれかが含まれる。瞼の運動に基づく指標には、例えば、開瞼度（眼の開き度合）、瞬きの頻度、及び単位時間に対する閉眼時間の割合を示すＰＥＲＣＬＯＳのうちの少なくともいずれかが含まれる。

【0058】

データ処理装置１０により算出される眠気は、例えば、眠気の予兆段階から居眠り状態までの眠気の程度に応じたデータ（眠気度）として算出されるが、眠気の有無を示すデータとして算出されてもよい。

【0059】

このようなデータ処理装置１０によれば、第１の手法で眠気を精度良く算出することが難しい状況、換言すれば、運転者３の前庭動眼反射運動に基づいて眠気を精度良く算出することが難しい状況であっても、第２の手法に基づいて眠気を算出することが可能となる。したがって、複雑な眼球運動などが発生する実車環境下における眠気を常に精度良く算出することが可能となる。

【0060】

［ハードウェア構成例］
図２は、実施の形態に係るモニタリングシステム１のハードウェア構成の一例を示すブロック図である。
モニタリングシステム１は、データ処理装置１０とカメラ２０とを含んで構成されている。

【0061】

データ処理装置１０は、外部インターフェース（外部Ｉ／Ｆとも記す）１１、制御ユニット１２、及び記憶ユニット１３が電気的に接続されたコンピュータで構成されている。
制御ユニット１２は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）１２１、ＲＡＭ（Random Access Memory）１２２、ＲＯＭ（Read Only Memory）１２３を含んで構成され、データ処理に応じた各種制御を行う。なお、制御ユニット１２は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、ＣＰＵ１２１の他、マイクロプロセッサ、Graphics processing unit（ＧＰＵ）などを含んで構成されてもよい。

【0062】

記憶ユニット１３は、例えば、ＲＡＭ、ＲＯＭ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、その他の不揮発性メモリや揮発性メモリなど、半導体素子などによってデータを記憶可能な１つ以上の記憶装置で構成されている。

【0063】

記憶ユニット１３は、画像記憶部１３１、取得データ記憶部１３２、及び算出データ記憶部１３３を備えている。また、記憶ユニット１３にはプログラム１３４が格納されている。プログラム１３４は、運転者３をモニタリングするための各種のデータ処理をデータ処理装置１０に実行させるための命令を含むプログラムである。なお、プログラム１３４は、制御ユニット１２のＲＯＭ１２３に格納されてもよい。また、記憶ユニット１３の各部を、制御ユニット１２のＲＡＭ１２２に設けてもよい。

【0064】

外部Ｉ／Ｆ１１は、車両２に搭載される各種機器と接続するためのインターフェースであり、接続される機器に応じて適宜構成されている。外部Ｉ／Ｆ１１は、たとえば、ＣＡＮ（Controller Area Network）などの車載ネットワークを介して、カメラ２０、車載センサ３０、始動スイッチ４０、ナビゲーション装置５０、電子制御ユニット６０、及び覚醒装置７０に接続されている。なお、外部Ｉ／Ｆ１１は、接続される機器毎に設けてもよい。また、外部Ｉ／Ｆ１１には上記以外の機器が接続されてもよい。

【0065】

カメラ２０は、運転者３の顔を含む画像を撮像するための装置であり、例えば、図示しないレンズ部、撮像素子部、光照射部、これら各部を制御する制御部などを含んで構成されている。撮像素子部は、例えば、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。

【0066】

撮像素子部は、可視領域の光を受けて撮像画像を形成できるものを含む他、紫外線又は赤外線を受けて撮像画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等の赤外線センサを含んで構成されてもよい。

【0067】

光照射部は、ＬＥＤ(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線ＬＥＤなどを用いてもよい。制御部は、例えば、ＣＰＵ、メモリ、画像処理回路などを含んで構成されている。

【0068】

制御部が、撮像素子部や光照射部を制御して、該光照射部から光（例えば、近赤外線など）を照射し、撮像素子部でその反射光を撮像する制御などを行う。カメラ２０は所定のフレームレート（例えば、毎秒３０～６０フレーム）で画像を撮像し、カメラ２０で撮像された画像データがデータ処理装置１０に出力され、画像記憶部１３１に記憶される。

【0069】

カメラ２０は、１台で構成されているが、２台以上で構成してもよい。また、カメラ２０は、データ処理装置１０と別体（別筐体）で構成してもよいし、データ処理装置１０と一体（同一筐体）で構成してもよい。また、カメラ２０は、単眼カメラでもよいし、ステレオカメラであってもよい。

【0070】

カメラ２０の車室内での設置位置は、少なくとも運転者３の顔を含む視野を撮像できる位置であれば、特に限定されない。例えば車両２のダッシュボード中央付近の他、ステアリング部分、ステアリングコラム部分、メーターパネル部分、ルームミラー近傍位置、Ａピラー部分、又はナビゲーション装置５０などに設置してもよい。また、カメラ２０の仕様（画角や画素数（縦×横）など）及び位置姿勢（取付角度や所定の原点（ハンドル中央位置など）からの距離など）を含む情報がカメラ２０又はデータ処理装置１０に記憶されてもよい。

【0071】

車載センサ３０には、車外センサ３１、加速度センサ３２、ジャイロセンサ３３、及び操舵センサ３４などが含まれているが、これら以外のセンサを含んでもよい。

【0072】

車外センサ３１は、車両２の周辺に存在する対象物を検出するセンサである。対象物には、他車両、自転車、人などの移動物体の他、白線など路面標示、ガードレール、中央分離帯、その他、車両２の走行に影響を与える構造物などが含まれてもよい。車外センサ３１は、前方監視カメラ、後方監視カメラ、レーダ（Ｒａｄａｒ）、ライダー、即ちLight Detection and Ranging、又はLaser Imaging Detection and Ranging（ＬＩＤＡＲ）、及び超音波センサのうち少なくとも１つを含んで構成されている。車外センサ３１で検出された対象物の検出データがデータ処理装置１０に出力される他、電子制御ユニット６０に出力されてもよい。
前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。

【0073】

加速度センサ３２は、車両２の加速度を検出するセンサであり、ＸＹＺ軸の３方向の加速度を検出する３軸加速度センサを用いてもよいし、２軸、１軸の加速度センサを用いてもよい。３軸加速度センサには、静電容量型の他、ピエゾ抵抗型などの半導体方式の加速度センサを用いてもよい。加速度センサ３２で検出された加速度データが、データ処理装置１０に出力される他、ナビゲーション装置５０又は電子制御ユニット６０に出力されてもよい。

【0074】

ジャイロセンサ３３は、車両２の回転角速度（例えば、ヨーレート）を検出する角速度センサである。ジャイロセンサ３３で検出された回転角速度の信号がデータ処理装置１０に出力される他、ナビゲーション装置５０又は電子制御ユニット６０に出力されてもよい。

【0075】

操舵センサ３４は、車両２のステアリングに対する操舵量を検出するセンサであり、例えば、車両２のステアリングシャフトに設けられ、運転者３によりステアリングに与えられる操舵トルク又はステアリングの操舵角を検出する。操舵センサ３４で検出された、運転者３のステアリング操作に応じた信号が、データ処理装置１０に出力される他、電子制御ユニット６０に出力されてもよい。

【0076】

ナビゲーション装置５０は、図示しない制御部、表示部、音声出力部、操作部、地図データ記憶部、ＧＰＳ受信部などを含んで構成されている。ナビゲーション装置５０は、例えば、ＧＰＳ受信部などで計測された車両２の位置情報と地図データ記憶部の地図情報とに基づいて、車両２が走行する道路や車線を割り出し、車両２の現在位置から目的地までの経路などを演算し、該経路を表示部（図示せず）へ表示し、音声出力部（図示せず）から経路案内などの音声出力を行う。ナビゲーション装置５０で求められた、車両２の位置情報、走行道路の情報、又は走行予定経路の情報などがデータ処理装置１０へ出力されるように構成されている。

【0077】

電子制御ユニット６０は、車両２の駆動部、制動部、操舵部、又はサスペンション部などの車両２の各部を制御する１つ以上のコンピュータ装置で構成されている。
データ処理装置１０は、車載センサ３０、ナビゲーション装置５０、及び電子制御ユニット６０などから取得したデータを取得データ記憶部１３２に記憶する。

【0078】

覚醒装置７０は、データ処理装置１０により制御される装置であり、データ処理装置１０からの制御信号に基づいて、運転者３を覚醒させるための動作を実行する。覚醒装置７０は、例えば、音又は光などで運転者３に警告を発する警報装置で構成されてもよい。また、冷風、温風、又は香気成分或いは臭気成分を含む気体などを運転者３に吹き付ける空調装置で構成されてもよい。或いは、ステアリング、シートベルト、又は座席シートなどを振動させる振動装置などで構成されてもよい。

【0079】

［機能構成例］
図３は、実施の形態に係るデータ処理装置１０の制御ユニット１２の機能構成の一例を示すブロック図である。

【0080】

データ処理装置１０の制御ユニット１２は、図２に示す記憶ユニット１３に記憶されたプログラム１３４をＲＡＭ１２２に展開する。そして、制御ユニット１２は、ＲＡＭ１２２に展開されたプログラム１３４をＣＰＵ１２１により解釈及び実行して、各構成要素を制御する。
これによって、データ処理装置１０は、図３に示す、画像取得部１２ａ、データ取得部１２ｂ、算出部１２ｃ、適性度評価部１２ｄ、付与部１２ｅ、選択部１２ｆ、第１の眠気算出部１２ｇ、ＶＯＲ算出部１２ｈ、第２の眠気算出部１２ｉ、サッカード運動算出部１２ｊ、瞼運動算出部１２ｋ、及び覚醒制御部１２ｍを制御ユニット１２に備えたコンピュータとして構成される。制御ユニット１２に装備されたこれら各部は、ソフトウェアモジュールとして構成されてもよい。

【0081】

画像取得部１２ａは、カメラ２０から撮像画像を取得する。画像取得部１２ａで取得された撮像画像のデータは、算出部１２ｃに出力される。なお、画像取得部１２ａで取得された撮像画像のデータを画像記憶部１３１に記憶し、画像記憶部１３１から算出部１２ｃに撮像画像のデータを出力してもよい。

【0082】

データ取得部１２ｂは、車載センサ３０、始動スイッチ４０、ナビゲーション装置５０、及び電子制御ユニット６０などから車両２の状態を示すデータを取得する。データ取得部１２ｂで取得された、車両２の状態を示すデータは、適性度評価部１２ｄに出力される。なお、データ取得部１２ｂで取得された、車両２の状態を示すデータを取得データ記憶部１３２に記憶し、取得データ記憶部１３２から適性度評価部１２ｄに車両２の状態を示すデータを出力してもよい。

【0083】

算出部１２ｃは、運転者３の瞳孔運動及び頭部運動を算出する処理を行う。本実施の形態では、運転者３の瞳孔運動及び頭部運動は、カメラ２０から取得した撮像画像を画像解析することで算出される。当該算出処理は、例えば、撮像画像のフレーム毎に実行されるが、所定のフレーム間隔毎に実行されてもよい。

【0084】

次に算出部１２ｃが行う瞳孔運動の算出処理の一例を説明する。
算出部１２ｃは、まず、テンプレートマッチングによりカメラ２０で撮像された画像から運転者３の顔（例えば、顔領域）を検出する。顔領域の検出は、予め用意された顔のテンプレート画像を用いてよい。次に、算出部１２ｃは、撮像画像から検出された運転者３の顔領域に対して、テンプレートマッチングにより運転者３の顔領域から瞳孔の位置を検出する。瞳孔の位置は、予め用意された瞳孔のテンプレート画像を用いて検出してもよい。そして、算出部１２ｃは、撮像画像のフレーム毎に運転者３の瞳孔の位置を検出し、これらフレーム毎の瞳孔の位置変化（移動量）から瞳孔運動（例えば、眼球運動角速度）を算出する。

【0085】

次に算出部１２ｃが行う頭部運動の算出処理の一例を説明する。
算出部１２ｃは、まず、テンプレートマッチングによりカメラ２０で撮像された画像から運転者３の顔（例えば、顔領域）を検出する。顔領域の検出は、予め用意された顔のテンプレート画像を用いてよい。また、上記した瞳孔運動を算出する処理で検出された運転者３の顔領域のデータを用いてもよい。

【0086】

次に、算出部１２ｃは、撮像画像から検出された運転者３の顔領域に対して、テンプレートマッチングにより顔領域から眼の位置を検出する。眼の位置は、予め用意された眼のテンプレート画像を用いて検出してもよい。眼のテンプレート画像には、例えば、目尻と目頭の位置を示す座標が予め紐付けられている。眼のテンプレート画像における目尻と目頭の座標から撮像画像中における運転者３の目尻と目頭の位置を検出することが可能となっている。目尻と目頭の位置は、瞬きなどの眼の開閉動作によっては移動しないため、目尻と目頭の位置変化は頭部運動により動いたものと推定できる。
そして、算出部１２ｃは、撮像画像のフレーム毎に運転者３の目尻と目頭の位置を検出し、これらフレーム毎の目尻と目頭の位置変化（移動量）から頭部運動（例えば、頭部運動角速度）を算出する。なお、目尻又は目頭の位置を検出するようにしてもよい。

【0087】

なお、撮像画像から運転者３の目尻と目頭の位置を検出する場合に、二次元の画像データを用いる他、三次元の位置情報を含む距離画像データと組み合わせて検出してもよい。
このような距離画像データを取得するために、例えば、モニタリングシステム１に三次元画像計測部を装備してもよい。三次元画像計測部は、撮像画像の各画素に対象物までの距離の値（奥行きに関する情報）を持たせた三次元画像（距離画像）を取得するように構成されている。このような三次元画像計測部は、例えば、ステレオ法などの受動型計測部であってもよいし、光レーダやパターン光などの光を投影する方式の能動型計測部であってもよい。

【0088】

このように二次元画像と距離画像とを組み合わせることによって、運転者３の目尻と目頭の位置の変化が、頭部の平行運動（上下、又は左右方向の運動）によるものであるのか、又は回転運動（ヨー又はピッチ方向の運動）によるものであるのかを精度よく検出することが可能になる。このような構成により、瞳孔運動及び頭部運動をより正確に算出することが可能となり、前庭動眼反射運動のモニタリング精度をより高めることができる。

【0089】

なお、運転者３の瞳孔運動及び頭部運動の算出処理は、上記した例に限定されるものではなく、公知の各種手法を採用することもできる。例えば、国際公開第２００６／０５１６０７号パンフレット、特開２００７－２４９２８０号公報に開示されているように、画像のフレーム毎に顔の各器官（眼、口、鼻、耳等）の特徴点を検出し、顔の各器官の特徴点の位置から顔の向きを求め、これらフレーム毎の顔の向きの変化（移動量）から頭部運動を算出するようにしてもよい。

【0090】

また、算出部１２ｃには、フレーム毎に、運転者３の瞳孔運動及び頭部運動を算出する構成の他、フレーム毎に、撮像画像から検出された瞳孔の面積（ピクセル数）を算出する構成、又は撮像画像から検出された瞳孔の縦径と横径との比（縦径／横径）を算出する構成を備えてもよい。さらに、算出部１２ｃには、視線の方向、及び目の開閉に関する情報を算出する構成を備えてもよい。なお、運転者３の瞳孔運動をカメラ２０から取得した撮像画像の画像解析で算出し、運転者３の頭部運動を運転者３の頭部に装着したジャイロセンサなどから取得したデータに基づいて算出してもよい。
そして、算出部１２ｃで算出された運転者３の瞳孔運動及び頭部運動に係るデータ（算出データ）は、付与部１２ｅと適性度評価部１２ｄに出力される。

【0091】

適性度評価部１２ｄは、データ取得部１２ｂで取得された車両２の状態を示すデータ、及び算出部１２ｃで算出された運転者３の状態を示すデータを取り込み、これらデータを用いて、運転者３の前庭動眼反射運動を算出する際の状況の適性度を評価する処理を行う。適性度評価部１２ｄは、例えば、運転者３の状態、又は車両２の状態が、前庭動眼反射運動の算出に適した所定の状態にあるか否か等を判定することにより、適性度を評価する処理を行う。

【0092】

上記した所定の状態には、運転者３の頭部が振動しやすい状態、換言すれば、前庭動眼反射運動のシグナル成分、特に変位量が大きくなる状態が含まれる。より具体的には、運転者３の頭部が上下、左右又は前後方向、或いはヨー又はピッチ方向に、変位又は振動しやすい状態などが含まれる。

【0093】

また、所定の状態には、前庭動眼反射運動以外の眼球運動（例えば、サッカード運動や輻輳性運動など）が生じにくい状態、換言すれば、前庭動眼反射運動のノイズ成分が小さくなる状態が含まれる。より具体的には、車両２が直線道路を走行している状態、又は運転者３が特定の箇所を注視している状態などが含まれる。

【0094】

次に適性度評価部１２ｄが行う処理の一例を説明する。
（１）適性度評価部１２ｄは、運転者３の瞳孔運動及び頭部運動が算出部１２ｃで算出できたか否かを判定する。そもそも、瞳孔運動及び頭部運動が適切に算出できていなければ、前庭動眼反射運動の算出を行うことができない。

【0095】

そこで、適性度評価部１２ｄは、算出部１２ｃから算出データを取得した場合、テンプレートマッチングにより画像から抽出された顔領域と顔のテンプレート画像との類似度、又は画像から抽出された眼領域と眼のテンプレート画像との類似度を判定する。それぞれの類似度が所定の閾値より低い場合は、画像から頭部（眼、すなわち目尻と目頭）の位置、又は瞳孔の位置を適切に取得できていない、すなわち、前庭動眼反射運動を算出する状態として適していない（例えば、適性が無い、又は適性が低い）と評価してもよい。

【0096】

（２）適性度評価部１２ｄは、瞳孔運動のデータが、前庭動眼反射運動以外の眼球運動、すなわちサッカード運動などのノイズ成分を多く含むデータであるか否かを判定してもよい。
例えば、瞳孔の運動量が頭部の運動量よりも大きい場合など、眼球の回転速度や回転角などの眼球運動が所定の閾値より大きい場合、又は頭部の移動又は回転方向に追従して（すなわち、略同一方向に）瞳孔が移動又は回転している場合、瞳孔運動のデータには、サッカード運動などのノイズ成分が多く含まれる。このような場合、前庭動眼反射運動を算出する状態として適していないと評価してもよい。

【0097】

また、顔の向きが大きく動いたときは、運転者３が一定の方向を集中して見ようとしている状態にはないため、顔の回転速度や回転角などの頭部の運動が所定の閾値より大きい場合、頭部運動のデータにはノイズ成分が多く含まれる。このような場合、前庭動眼反射運動を算出する状態として適していないと評価してもよい。

【0098】

（３）適性度評価部１２ｄは、算出部１２ｃに取り込まれる撮像画像の取得周期に合わせて、データ取得部１２ｂを介して車速データを取得し、車速データが所定の速度より小さいか否か、又は車速データが所定の速度より大きいか否かを判定してもよい。この判定により、算出部１２ｃで算出されたデータが前庭動眼反射運動の算出に適したデータであるか否か、すなわち、前庭動眼反射運動を算出する際の状況の適性度（例えば、適性の有無、或いは適性の高低などの２値判定による適性度、又は適性度合いなどの多値判定による適性度）を評価できる。

【0099】

一般的に車速が大きい場合、運転者３は前方の狭い範囲を集中して見ている傾向がある。一方で車速が小さい場合、運転者３は周辺の安全を確保するため、広い範囲を随意的に見渡す傾向にある。前庭動眼反射運動を算出する場合、運転者３が狭い範囲を集中して見ている状態での眼球運動及び頭部運動のデータを使用することが好ましい。
そこで、適性度評価部１２ｄは、車速データが所定の速度（例えば、徐行速度）より小さい場合、前庭動眼反射運動を算出する状態として適していないと評価し、車速データが所定の速度より大きい場合、前庭動眼反射運動を算出する状態として適していると評価してもよい。

【0100】

また、適性度評価部１２ｄは、所定の速度を閾値にして、適性を２値判定するのではなく、車速に応じて重み付けされた重み係数を適性度として用いてもよい。例えば、算出部１２ｃで瞳孔運動及び頭部運動を算出しているときの車速が時速０～２０ｋｍであれば重み係数を０．２、時速２０～４０ｋｍであれば重み係数を０．５、時速４０～６０ｋｍであれば重み係数を０．８、時速６０ｋｍ以上であれば重み係数を１．０とし、これら重み係数を適性度として用いてもよい。

【0101】

（４）適性度評価部１２ｄは、算出部１２ｃに取り込まれる撮像画像の取得周期に合わせて、データ取得部１２ｂを介して操舵データを取得し、操舵データが所定の操舵角より大きいか否かを判定してもよい。この判定により、算出部１２ｃで算出されたデータが前庭動眼反射運動の算出に適したデータであるか否か、すなわち、前庭動眼反射運動を算出する際の状況の適性度（例えば、適性の有無、或いは適性の高低などの２値判定による適性度、又は適性度合いなどの多値判定による適性度）を評価できる。

【0102】

前庭動眼反射運動を算出する場合、運転者３が前方の狭い範囲を集中して見ている状態での眼球運動及び頭部運動のデータを使用することが好ましい。運転者３が前方の狭い範囲を集中して見ている傾向が高いのは、カーブが連続する道路を走行している場合よりも直線道路を走行している場合である。そこで、適性度評価部１２ｄは、操舵データが所定の操舵角より大きい場合、前庭動眼反射運動を算出する状態として適していないと評価してもよい。

【0103】

（５）適性度評価部１２ｄは、算出部１２ｃに取り込まれる撮像画像の取得周期に合わせて、データ取得部１２ｂを介して車両２の位置データ又は走行道路データなどを取得し、車両２が直線道路を走行中であるか否かを判定してもよい。この判定により、算出部１２ｃで算出されたデータが前庭動眼反射運動の算出に適したデータであるか否か、すなわち、前庭動眼反射運動を算出する際の状況の適性度（例えば、適性の有無、或いは適性の高低などの２値判定による適性度、又は適性度合いなどの多値判定による適性度）を評価できる。車両２の位置データ又は走行道路データなどは、ナビゲーション装置５０から取得される。

【0104】

運転者３が前方の狭い範囲を集中して見ている傾向が高いのは、カーブが連続する道路を走行している場合よりも直線道路を走行している場合である。そこで、適性度評価部１２ｄは、車両２が直線道路を走行していない場合、前庭動眼反射運動を算出する状態として適していないと評価してもよい。

【0105】

（６）適性度評価部１２ｄは、算出部１２ｃに取り込まれる撮像画像の取得周期に合わせて、データ取得部１２ｂを介して、車外センサ３１で取得された周辺監視データを取得し、車両２の周辺に障害物や先行車両などが存在するか否かを判定してもよい。この判定により、算出部１２ｃで算出されたデータが前庭動眼反射運動の算出に適したデータであるか否か、すなわち、前庭動眼反射運動を算出する際の状況の適性度（例えば、適性の有無、或いは適性の高低などの２値判定による適性度、又は適性度合いなどの多値判定による適性度）を評価できる。

【0106】

車両２に対して相対的に移動している先行車両や障害物などが存在する場合、運転者３は、相対移動している先行車両や障害物を目で追跡する傾向があり、運転者３の眼が能動的に動いている状態にある。眼を能動的に動かしている状態は、前庭動眼反射運動の算出に適した状態にはない。そこで、適性度評価部１２ｄは、車両２に対して相対移動している先行車両や障害物などが検出されている場合、前庭動眼反射運動を算出する状態として適していないと評価してもよい。

【0107】

（７）適性度評価部１２ｄは、算出部１２ｃから運転者３の視線の向きを取得し、運転者３の視線の向きに基づいて、算出部１２ｃで算出されたデータが前庭動眼反射運動の算出に適したデータであるか否か、すなわち、前庭動眼反射運動を算出する際の状況の適性度（例えば、適性の有無、或いは適性の高低などの２値判定による適性度、又は適性度合いなどの多値判定による適性度）を評価してもよい。運転者３の顔が撮像された画像から運転者３の視線の向きを評価する方法には、公知の視線検出方法が採用される。

【0108】

例えば、運転者３が、地平線の方向などの前方の遠い場所を見ている場合、前方を集中して見ている可能性が高いので、例えば、視線の向きが、車両の前方（基準方向）に対して所定角度（例えば、上下±５度、又は左右±５度）以内である場合、前方を集中して見ている状態、すなわち、前庭動眼反射運動を算出する状態として適していると評価してもよい。

【0109】

また、運転者３が、ナビゲーション装置５０などの車内の操作部や表示部を見ている場合も、狭い範囲を注視している可能性が高い。したがって、例えば、運転者３の視線の向きが、ナビゲーション装置５０などの設置方向である場合、前庭動眼反射運動を算出する状態として適していると評価してもよい。ただし、車内の装備を注視しているときの算出データから前庭動眼反射運動を算出する場合は、安全性の観点から、自動運転レベルが上記したＳＡＥのレベル３以上の自動運転車両などにおいて適用することが好ましい。

【0110】

（８）適性度評価部１２ｄは、算出部１２ｃで算出した頭部運動の運動量（平行移動又は回転移動）に基づいて、前庭動眼反射運動の算出に適したデータであるか否かを判定することにより、前庭動眼反射運動を算出する際の状況の適性度を評価してもよい。
前庭動眼反射運動は、運転者３の頭部が運動しなければ発生しない眼球運動である。したがって、適性度評価部１２ｄは、算出部１２ｃで算出した頭部運動の運動量（平行移動又は回転移動）が、所定の運動量より小さい場合、前庭動眼反射運動を算出する状態として適していないと評価してもよい。

【0111】

（９）適性度評価部１２ｄは、算出部１２ｃに取り込まれる撮像画像の取得周期に合わせて、データ取得部１２ｂを介して車両の加速度データを取得し、車両２の加速度データに基づいて、算出部１２ｃで算出されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定することにより、前庭動眼反射運動を算出する際の状況の適性度（例えば、適性の有無、或いは適性の高低などの２値判定による適性度、又は適性度合いなどの多値判定による適性度）を評価してもよい。
車両２の上下、左右又は前後方向に所定の加速度が発生している場合、運転者３の頭部が上下、左右又はピッチ方向に運動しやすい状態になる。

【0112】

したがって、適性度評価部１２ｄは、車両２の加速度データが、運転者３の頭部運動が発生しやすい閾値より大きい場合、前庭動眼反射運動を算出する状態として適していると評価してもよい。
また、適性度評価部１２ｄは、車両２の加速度データから得られた車両２の振動と頭部運動とが、同じ方向に同等の周波数で振動しているなどの一定の関係にある場合、前庭動眼反射運動を算出する状態として適していると評価してもよい。
車両２の加速度データは、車両２に装備した加速度センサ３２からのデータを用いることができる他、車外センサ３１で認識された物体との距離の時系列変化から車両２の速度を求め、該速度から求めた加速度データを用いてもよい。

【0113】

このように適性度評価部１２ｄにおいて、前庭動眼反射運動を算出する状態として適性が有る、又は適性が高いと判定された場合、適性度評価部１２ｄは、適性が有る、又は適性が高いことを示す判定データを適性度として付与部１２ｅに出力する。
一方、適性度評価部１２ｄにおいて、前庭動眼反射運動を算出する状態として適性が無い、又は適性が低いと判定された場合、適性度評価部１２ｄは、例えば、適性が無い、又は適性が低いことを示す判定データを適性度として付与部１２ｅに出力する。
また、適性度評価部１２ｄにおいて、前庭動眼反射運動を算出する状態として適性の程度が評価された場合、適性度評価部１２ｄは、適性の程度を示すデータを適性度として付与部１２ｅに出力する。

【0114】

なお、適性度評価部１２ｄでは、上記（１）～（９）のいずれかの評価を行うように構成してもよいし、車両２又は運転者３の状態に応じて、上記（１）～（９）のうちの２以上の評価を適宜組み合わせて実行するように構成してもよい。また、算出部１２ｃで算出に用いられる画像フレーム毎に適性度が得られるように、算出部１２ｃと適性度評価部１２ｄとにおける処理のタイミングが制御されている。例えば、算出部１２ｃでの撮像画像の取り込み周期に合わせて、画像フレーム毎に適性度が評価されるようになっている。

【0115】

付与部１２ｅは、算出部１２ｃで算出された算出データと、適性度評価部１２ｄで評価された適性度とを取得した場合、算出部１２ｃで算出された運転者３の瞳孔運動及び頭部運動に係るデータ（各画像フレームの算出データ）に、適性度評価部１２ｄで評価された適性度を付与する処理を行う。

【0116】

そして付与部１２ｅは、運転者３の瞳孔運動及び頭部運動に係るデータと、該データに付与された適性度とを、画像フレーム毎に紐付けた状態で算出データ記憶部１３３に記憶する処理を行う。

【0117】

適性度は、例えば、ＶＯＲを算出する状態としての適性の有無を示す２値データでもよいし、適性の程度に応じた、換言すれば、重み付けされた多値データでもよい。適性の程度に応じた多値データを適性度として用いる場合、ＶＯＲを算出する状態としての適性を、重み付けによって細かく判別できる。

【0118】

算出データ記憶部１３３に所定時間分の算出データが記憶されると、選択部１２ｆは、所定時間分の算出データに付与された適性度に基づいて、運転者３の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は第１の手法とは異なる第２の手法を選択する処理を行う。

【0119】

選択部１２ｆは、例えば、適性度が所定の条件を満たしている場合に、第１の手法を選択し、適性度が所定の条件を満たしていない場合に、第２の手法を選択する。
例えば、適性度が、適性の有無などを示す２値データである場合、所定の条件として、所定時間分の算出データのうち、適性が有ることを示す適性度が付与されたデータが、所定の割合（例えば、８０％）以上であることを条件として設定することができる。
また、適性度が、適性の程度（適性度合い）を示す多値データである場合、所定の条件として、所定時間分の算出データのうち、所定の閾値以上の適性度合いを示す適性度が付与されたデータが、所定の割合（例えば、８０％）以上であることを条件として設定することができる。

【0120】

選択部１２ｆにおいて、第１の手法が選択されると、第１の手法の選択信号が第１の眠気算出部１２ｇに出力される。一方、選択部１２ｆにおいて、第２の手法が選択されると、第２の手法の選択信号が第２の眠気算出部１２ｉに出力される。

【0121】

第１の眠気算出部１２ｇは、選択部１２ｆにより第１の手法が選択された場合、第１の手法に基づいて眠気を算出する処理を行う。
より具体的には、第１の眠気算出部１２ｇは、適性度を考慮し、算出データに基づいて、運転者３の前庭動眼反射運動を算出するＶＯＲ算出部１２ｈを備え、ＶＯＲ算出部１２ｈで算出された運転者３の前庭動眼反射運動に基づいて眠気を算出する処理を行う。

【0122】

ＶＯＲ算出部１２ｈは、算出データ記憶部１３３から読み出された、所定時間分の算出データのうち、適性度が所定の条件を満たしているデータを用いて、運転者３の前庭動眼反射運動を算出する処理を行う。
所定時間分の算出データのうち、適性度が所定の条件を満たしているデータとは、例えば、適性が有ることを示す適性度が付与されたデータ、適性度合いを示す適性度が所定の閾値より高いデータ、又は適性度合いを示す適性度が高い方から所定数のデータなどである。

【0123】

ＶＯＲ算出部１２ｈで算出される前庭動眼反射運動に関する算出データには、例えば、ＶＯＲゲイン、残差標準偏差、及び遅れ時間のうちの少なくともいずれかのデータ（パラメータともいう）が含まれているが、少なくともＶＯＲゲインを含むことが好ましい。
ＶＯＲゲインは、原理的には頭部運動（頭部回転角速度）に対する瞳孔運動（眼球回転角速度）の応答度合を意味し、瞳孔運動（眼球回転角速度）／頭部運動（頭部回転角速度）で表すことができる。

【0124】

例えば、ＶＯＲゲインは、目的変数を眼球回転角速度ｅ（ｔ）、説明変数を理想眼球角速度ｈ（ｔ）と定数項ｄｃとする式［数１］の回帰モデルの係数Ｇとして式［数２］により最小二乗推定して求めることができる。ここで、ε（ｔ）は回帰モデルの残差である。また、τは理想眼球運動に対する眼球運動の遅れ時間である。
眼球回転角速度ｅ（ｔ）は、算出部１２ｃで算出された瞳孔運動データに基づいて眼球運動角を求め、該眼球運動角を微分処理して求めることができる。理想眼球角速度ｈ（ｔ）は、算出部１２ｃで算出された頭部運動データに基づいて頭部運動角を求め、該頭部運動角を微分処理して求めることができる。なお、ＶＯＲゲインは、運転者３の前後、上下、左右、ヨー、及びピッチ方向の少なくとも１つの方向について算出すればよい。

【0125】

【数1】

【0126】

【数2】

【0127】

また、残差標準偏差（ＳＤｒｅｓ）は、式［数３］により算出することができる。

【数3】

【0128】

なお、ＶＯＲゲインと残差標準偏差は、充分な推定精度が得られるように第１の時間（例えば、数十秒、又は所定フレーム数）のデータを１セグメントとし、第１の時間より短い第２の時間のオーバーラップを持たせながら、第２の時間より短い第３の時間毎に各セグメントにおける値を算出してもよい。また、一般的に運転者３が眠気を催すと、ＶＯＲゲインが減少するとともに、残差標準偏差が増加する傾向が見られる。したがって、眠気の予兆を精度よく判定するため、ＶＯＲゲインの減少率などの変化率、又は残差標準偏差の増加率などの変化率を求めてもよい。

【0129】

第１の眠気算出部１２ｇは、ＶＯＲ算出部１２ｈで算出された前庭動眼反射運動に関する算出データを用いて、運転者３の眠気を算出する。例えば、ＶＯＲゲイン、残差標準偏差、及び遅れ時間のうちの少なくともいずれかのパラメータを用いて、所定の閾値との比較等を行い、運転者３の眠気の程度を示す眠気度を算出する。第１の眠気算出部１２ｇは、運転者３の眠気を算出した後、運転者３の眠気の算出結果、例えば、眠気度を覚醒制御部１２ｍに出力する。

【0130】

第２の眠気算出部１２ｉは、選択部１２ｆにより第２の手法が選択された場合、第２の手法に基づいて眠気を算出する処理を行う。
より具体的には、第２の眠気算出部１２ｉは、サッカード運動算出部１２ｊと瞼運動算出部１２ｋとを備え、サッカード運動算出部１２ｊで算出された運転者３のサッカード運動に基づいて眠気を算出する処理を行う構成と、瞼運動算出部１２ｋで算出された瞼の運動に基づく指標に基づいて眠気を算出する処理を行う構成とを備えている。
第２の眠気算出部１２ｉは、例えば、所定時間分の算出データのうち、瞳孔が検出されたデータが所定の割合（例えば、８０％）以上である場合、サッカード運動算出部１２ｊを選択する一方、所定の割合（例えば、８０％）未満である場合、瞼運動算出部１２ｋを選択するように構成されている。

【0131】

サッカード運動算出部１２ｊは、算出データ記憶部１３３から読み出された、所定時間分の算出データを用いて、運転者３のサッカード運動を算出する処理を行う。
サッカード運動は、衝動性眼球運動とも呼ばれ、視線位置を変える際に生じる、高速で持続時間の短い眼球運動である。サッカード運動に要する時間は、通常２０～７０ミリ秒程度の短時間であり、サッカード運動の速度は、視角で表すと通常３００～５００度／秒程度であるといわれている。また、サッカード運動は、前後に眼球停留を有する直線的な眼球運動である。
したがって、眼球運動（換言すれば、瞳孔運動）の方向が所定時間（例えば、２０～７０ミリ秒）連続して同じであり、かつ、当該所定時間の平均角速度が所定値以上である眼球運動をサッカード運動として検出することができる。

【0132】

第２の眠気算出部１２ｉが行うサッカード運動に基づく眠気の算出処理には、次のような処理例が適用できる。
実車環境において、覚醒度が高い状態と、覚醒度が低下し始めた状態とにおけるサッカード運動を比較した場合、覚醒度が低下すると、サッカード運動による眼球運動の振幅（移動量）、及び運動速度が小さくなる傾向があり、また、サッカード運動の時間間隔が短くなる傾向がある。換言すれば、覚醒度が低下した場合、振幅の小さい、かつ時間間隔の短いサッカード運動が、高頻度に発生する傾向がある。したがって、サッカード運動に基づいて眠気を算出するための特徴量として、例えば、サッカード運動の振幅（移動量）、時間間隔、及び単位時間あたりの発生頻度を用いることができる。

【0133】

まず、サッカード運動算出部１２ｊは、所定時間分の算出データに基づいて、所定時間内に発生したサッカード運動を評価し、評価したそれぞれのサッカード運動の振幅（移動量）、時間間隔、及び所定時間内の発生回数を求める。

【0134】

次に、第２の眠気算出部１２ｉでは、サッカード運動算出部１２ｊで算出された、サッカード運動の振幅（移動量）、時間間隔、及び所定時間内の発生回数に基づいて、眠気を算出する。例えば、振幅が所定値以下で、かつ、時間間隔が所定時間以下のサッカード運動の発生回数を求め、発生回数に応じて眠気の程度を示す眠気度を算出するようにしてもよいし、発生回数が所定回数以上の場合に、眠気度が高いと判定してもよい。

【0135】

また、瞼運動算出部１２ｋは、撮像画像から人の瞼の運動に基づく指標を算出する。
人の瞼の運動に基づく指標には、例えば、開瞼度（眼の開き度合）、瞬きの頻度、及びＰＥＲＣＬＯＳのうちの少なくともいずれかが含まれる。

【0136】

開瞼度は、眼の開き度合（％）を示し、例えば、撮像画像から検出された、上瞼から下瞼までの距離と虹彩の横方向の直径との比で表すことができる。
瞬きの頻度は、所定時間における瞬きの回数を示し、撮像画像から検出された閉眼状態が一般的な瞬きの時間（例えば、１００～３００ミリ秒）未満であった場合を瞬きとしてカウントする。閉眼状態は、瞼で瞳孔が隠れる程度以下の閉眼状態、例えば、開瞼度が所定値以下（例えば、２０％以下）の状態として検出してもよい。

【0137】

ＰＥＲＣＬＯＳは、単位時間に対する閉眼時間の割合を示す。閉眼時間は、瞼で瞳孔が隠れる程度以下の閉眼状態、例えば、開瞼度が所定値以下（例えば、２０％以下）の状態、又は瞳孔の縦径と横径との比（縦径／横径）が所定値以下（例えば、０．８以下）の状態が、所定の瞬き時間以上継続した時間を累積した時間として示すことができる。

【0138】

第２の眠気算出部１２ｉが行う、瞼の運動に基づく指標に基づいて眠気を算出する処理には、次のような処理例が適用できる。
まず、瞼運動算出部１２ｋは、所定時間分の算出データ、又は所定時間分の撮像画像のデータに基づいて瞼の運動に基づく指標（例えば、開瞼度、瞬きの頻度、及びＰＥＲＣＬＯＳのうちの少なくともいずれか）を算出する。

【0139】

次に、第２の眠気算出部１２ｉでは、瞼運動算出部１２ｋで算出された、瞼の運動に基づく指標に基づいて、眠気を算出する。
例えば、所定時間内において、開瞼度（％）が所定値以下（例えば、２０％以下）の状態が所定時間継続していたことを検出した場合、眠気度合いが高いことを示す眠気度を算出する。また、所定時間内において、瞬きの頻度が所定回数以上であることを評価した場合、眠気度合いが高いことを示す眠気度を算出してもよい。また、所定時間内における閉眼時間の割合（ＰＥＲＣＬＯＳ）の値（％）に応じた眠気度合いを示す眠気度を算出してもよい。

【0140】

覚醒制御部１２ｍは、第１の眠気算出部１２ｇ、又は第２の眠気算出部１２ｉから取得した眠気度に基づいて、覚醒装置７０に対し、運転者３を覚醒させるための制御信号を出力する処理を行う。
覚醒装置７０が、例えば、音又は光などで運転者３に警告を発する警報装置で構成されている場合、覚醒制御部１２ｍは、警報装置を所定期間作動させる制御信号を警報装置に出力する。
また、覚醒装置７０が、冷風、温風、又は香気成分や臭気成分を含む気体などを運転者３に吹き付ける空調装置で構成されている場合、覚醒制御部１２ｍは、空調装置を所定期間作動させる制御信号を空調装置に出力する。
また、覚醒装置７０が、ステアリング、シートベルト、又は座席シートなどを振動させる振動装置で構成されている場合、覚醒制御部１２ｍは、振動装置を所定期間作動させる制御信号を振動装置に出力する。

【0141】

また、ナビゲーション装置５０に対し、運転者３を覚醒させるための制御信号を出力する処理を行ってもよい。この場合の制御信号には、ナビゲーション装置５０に対して、運転者３を覚醒させるための警告音や警告表示を出力させる制御信号などが含まれる。

【0142】

［処理動作例］
図４Ａ、図４Ｂは、実施の形態に係るデータ処理装置１０における制御ユニット１２が行う処理動作の一例を示すフローチャートである。なお、以下で説明する処理動作は一例に過ぎず、適宜、処理ステップの省略、置換、及び追加などの変更が可能である。

【0143】

（モニタリングシステム１の起動）
まず、運転者３により車両２の始動スイッチ４０がオンされると、モニタリングシステム１を構成するデータ処理装置１０とカメラ２０とが起動され、データ処理装置１０の制御ユニット１２がプログラム１３４に基づいて運転者３のモニタリング処理を開始する。

【0144】

ステップＳ１において、制御ユニット１２は、画像取得部１２ａとして動作し、運転者３の顔を撮像するように配置されたカメラ２０から撮像画像を取得する処理を行う。カメラ２０では、毎秒所定フレーム数の画像が撮像される。制御ユニット１２は、これら撮像画像を時系列で取得し、毎フレーム又は所定間隔のフレーム毎に処理を実行する。撮像画像を取得すると、制御ユニット１２は、次のステップＳ２に処理を進める。

【0145】

ステップＳ２では、制御ユニット１２は、データ取得部１２ｂとして動作し、車載センサ３０、及びナビゲーション装置５０などから車両２の状態を示すデータを取得する処理を行う。例えば、車載センサ３０から各センサの検出データを取得してもよいし、走行している道路の形状（直線、カーブなど）などを含む道路データをナビゲーション装置５０から取得してもよい。車両２の状態を示すデータを取得すると、制御ユニット１２は、次のステップＳ３に処理を進める。

【0146】

ステップＳ３では、制御ユニット１２は、算出部１２ｃとして動作し、運転者３の瞳孔運動を算出する処理を行う。算出部１２ｃが行う瞳孔運動の算出には、上記説明した方法が採用される。例えば、ステップＳ１で取得した撮像画像のフレーム毎に瞳孔運動を算出する処理を実行する。運転者３の瞳孔運動を算出すると、制御ユニット１２は、次のステップＳ４に処理を進める。また、ステップＳ３において、制御ユニット１２は、瞳孔運動とともに、瞳孔の縦径及び横径、又は面積などの瞳孔サイズを算出してもよい。

【0147】

ステップＳ４では、制御ユニット１２は、算出部１２ｃとして動作し、運転者３の頭部運動を算出する処理を行う。算出部１２ｃが行う頭部運動の算出には、上記説明した方法が採用される。例えば、ステップＳ１で取得した撮像画像のフレーム毎に頭部運動を算出する処理を実行する。運転者３の頭部運動を算出すると、制御ユニット１２は、次のステップＳ５に処理を進める。なお、ステップＳ３、Ｓ４の順序を入れ替えてもよい。また、ステップＳ２を、ステップＳ４の後に置き換えてもよい。

【0148】

ステップＳ５では、制御ユニット１２は、適性度評価部１２ｄとして動作し、運転者３の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する処理を行う。適性度評価部１２ｄが行う処理は、上記説明した（１）～（９）のいずれかの方法により適性度を評価するようにしてもよいし、車両２又は運転者３の状態に応じて、上記（１）～（９）のうちの２以上の方法を適宜組み合わせて適性度を評価するようにしてもよい。前庭動眼反射運動を算出する際の状況の適性度を評価すると、制御ユニット１２は、次のステップＳ６に処理を進める。

【0149】

ステップＳ６では、制御ユニット１２は、付与部１２ｅとして動作し、ステップＳ３、Ｓ４で算出された瞳孔運動及び頭部運動に係るデータに、ステップＳ５で評価された適性度を付与する処理を行う。各画像フレームの瞳孔運動及び頭部運動に係るデータに適性度を付与すると、制御ユニット１２は、次のステップＳ７に処理を進める。

【0150】

ステップＳ７では、制御ユニット１２は、ステップＳ３、Ｓ４で算出された瞳孔運動及び頭部運動に係るデータ（算出データ）と、該算出データに付与された適性度とを紐付けて算出データ記憶部１３３に記憶する処理を行う。算出データ記憶部１３３への記憶処理を行うと、制御ユニット１２は、次のステップＳ８に処理を進める。

【0151】

なお、ステップＳ３において、算出データとともに瞳孔サイズを算出した場合、制御ユニット１２は、算出データとともに、瞳孔サイズのデータを算出データ記憶部１３３に記憶する。

【0152】

ステップＳ８では、制御ユニット１２は、算出データ記憶部１３３に、算出データが所定時間分（例えば、ｔ秒間分：ｔ秒は数秒から数十秒を示す。例えば、４０秒間分。）記憶されたか否かを判断する。なお、所定時間に代えて、所定の画像フレーム数分の算出データが記憶されたか否かを判定してもよい。

【0153】

ステップＳ８において、算出データ記憶部１３３に、算出データがｔ秒間分記憶されていないと判断すれば、制御ユニット１２は、ステップＳ１の処理に戻り、その後ステップＳ１～７の処理を実行する。
一方、ステップＳ８において、算出データ記憶部１３３に、算出データがｔ秒間分記憶されたと判断すれば、制御ユニット１２は、図４Ｂに示す、次のステップＳ９に処理を進める。

【0154】

ステップＳ９では、制御ユニット１２は、選択部１２ｆとして動作し、算出データ記憶部１３３からｔ秒間分の算出データ及び適性度を読み出し、ｔ秒間分の算出データのうち、第１の閾値より高い適性度が付与された算出データの割合が、ｎ％以上（例えば、８０％以上）であるか否かを判定する。なお、第１の閾値は、ＶＯＲに基づいて眠気を算出する適性の有無を判定するための閾値として設定される。

【0155】

ステップＳ９において、ｔ秒間分の算出データのうち、第１の閾値より高い適性度が付与された算出データの割合が、ｎ％以上であると判断すれば、制御ユニット１２は、ステップＳ１０に処理を進める。

【0156】

ステップＳ１０では、制御ユニット１２は、ＶＯＲ算出部１２ｈとして動作し、算出データに付与された適性度を考慮し、ｔ秒間分の算出データに基づいて、運転者３の前庭動眼反射運動を算出する処理を行う。
例えば、ｔ秒間分の算出データのうち、第２の閾値より高い適性度が付与された算出データを用いて、運転者３の前庭動眼反射運動を算出する。第２の閾値は、第１の閾値と同じ値に設定してもよいし、異なる値に設定してもよいが、ＶＯＲの算出精度を高める観点から、第２の閾値を第１の閾値よりも大きな値に設定することが好ましい。

【0157】

また、第２の閾値は、予め設定された閾値でもよいし、ｔ秒間分の各算出データに付与された適性度を統計処理して求めた値、例えば、平均値、中央値、最頻値、又は標準偏差などに応じて適宜変更できるようにしてもよい。例えば、適性度の平均値、中央値、又は最頻値が高いほど、閾値が高くなるように設定してもよい。適性度の平均値などが高ければ、少ない算出データ数であっても、ＶＯＲを精度良く算出することが可能となり、算出処理の効率も高めることが可能となる。また、適性度の標準偏差が大きい場合は、閾値を高くして、高い適性度が付与された算出データを用いることで、ＶＯＲの算出精度を高めることが可能となる。

【0158】

ステップＳ１０で算出される前庭動眼反射運動の特徴を示すパラメータには、上記説明したＶＯＲゲイン、残差標準偏差、及び遅れ時間のうちの少なくともいずれかが含まれる。運転者３の前庭動眼反射運動を算出すると、制御ユニット１２は、次のステップＳ１１に処理を進める。

【0159】

ステップＳ１１では、制御ユニット１２は、第１の眠気算出部１２ｇとして動作し、ステップＳ１０で算出された運転者３の前庭動眼反射運動に基づいて運転者３の眠気、例えば、眠気度を算出する処理を行う。
運転者３の眠気度は、上記したように、例えば、ＶＯＲゲイン、残差標準偏差、及び遅れ時間のうちの少なくともいずれかのパラメータを用いて算出される。運転者３の眠気度の算出処理を行うと、制御ユニット１２は、次のステップＳ１７に処理を進める。

【0160】

一方ステップＳ９において、ｔ秒間分の算出データのうち、第１の閾値より高い適性度が付与された算出データの割合が、ｎ％未満であると判断すれば、制御ユニット１２は、ステップＳ１２に処理を進める。

【0161】

ステップＳ１２では、制御ユニット１２は、第２の眠気算出部１２ｉとして動作し、ｔ秒間分の算出データのうち、瞳孔が検出されたデータ（換言すれば、瞳孔が隠れない程度の開瞼度を示すデータ）の割合が、所定の割合（ｍ％）以上（例えば、８０％以上）であるか否かを判断する。

【0162】

ステップＳ１２において、制御ユニット１２が、ｔ秒間分の算出データのうち、瞳孔が検出されたデータの割合が、ｍ％以上であると判断すれば、制御ユニット１２は、ステップＳ１３に処理を進める。

【0163】

ステップＳ１３では、制御ユニット１２は、サッカード運動算出部１２ｊとして動作し、ｔ秒間分の算出データに基づいて、運転者３のサッカード運動を算出する処理を行う。ステップＳ１３で算出されるサッカード運動の特徴を示すパラメータには、ｔ秒間に発生したサッカード運動の振幅（移動量）、時間間隔、及びｔ秒間の発生回数が含まれる。運転者３のサッカード運動を算出すると、制御ユニット１２は、次のステップＳ１４に処理を進める。

【0164】

ステップＳ１４では、制御ユニット１２は、第２の眠気算出部１２ｉとして動作し、ステップＳ１３で算出された運転者３のサッカード運動に基づいて運転者３の眠気、例えば、眠気度を算出する処理を行う。
運転者３の眠気度は、上記したように、例えば、サッカード運動の振幅（移動量）、時間間隔、及びｔ秒間の発生回数に基づいて算出される。サッカード運動に基づく眠気度の算出処理を行うと、制御ユニット１２は、次のステップＳ１７に処理を進める。

【0165】

一方ステップＳ１２において、制御ユニット１２が、ｔ秒間分の算出データのうち、瞳孔が検出されたデータの割合が、ｍ％未満であると判断すれば、制御ユニット１２は、ステップＳ１５に処理を進める。

【0166】

ステップＳ１５では、制御ユニット１２は、瞼運動算出部１２ｋとして動作し、ｔ秒間分の算出データに基づいて、運転者３の瞼の運動に基づく指標を算出する処理を行う。瞼の運動に基づく指標には、上記した開瞼度、瞬きの頻度、及びＰＥＲＣＬＯＳのうちの少なくともいずれかが適用され得るが、ここではＰＥＲＣＬＯＳを適用した場合について説明する。

【0167】

ステップＳ１５において、制御ユニット１２は、ｔ秒間分の算出データ又は撮像画像のデータから、瞼で瞳孔が隠れる程度以下の閉眼状態の累積時間を算出する。閉眼状態は、例えば、開瞼度が所定値以下（例えば、２０％以下）の状態、又は瞳孔の縦径と横径との比（縦径／横径）が所定値以下（例えば、０．８以下）の状態として検出する。そして、制御ユニット１２は、閉眼状態が検出された画像フレーム数の累積数から累積時間を算出し、ｔ秒間に対する累積時間の割合（（累積時間／ｔ秒間）×１００（％））をＰＥＲＣＬＯＳの値として算出する。その後、制御ユニット１２は、ステップＳ１６に処理を進める。

【0168】

ステップＳ１６では、制御ユニット１２は、第２の眠気算出部１２ｉとして動作し、ステップＳ１５で算出された運転者３のＰＥＲＣＬＯＳの値から運転者３の眠気、例えば、眠気度を評価する処理を行う。
例えば、ＰＲＥＣＬＯＳの値と眠気度とを対応付けた眠気度テーブル、又はＰＲＥＣＬＯＳの値と眠気度との関係を示す関係式をＲＯＭ１２３又はプログラム１３４内に予め記憶しておき、算出したＰＥＲＣＬＯＳの値に対応する眠気度を眠気度テーブルから求めたり、関係式から求めたりしてもよい。ＰＥＲＣＬＯＳに基づいて眠気度を算出すると、制御ユニット１２は、ステップＳ１７に処理を進める。

【0169】

ステップＳ１７では、制御ユニット１２は、覚醒制御部１２ｍとして動作し、ステップＳ１１、Ｓ１４、又はＳ１６で算出された眠気度が、所定の閾値（例えば、眠気が生じていると判定できる閾値）より小さいか否かを判断する。なお、所定の閾値は、１つでもよいし、眠気の程度（例えば、眠気の予兆段階から居眠りの状態）に応じて２以上の閾値を設けてもよい。
ステップＳ１７において、制御ユニット１２は、眠気度が所定の閾値以上である（眠気が生じている）と判断すれば、制御ユニット１２は次のステップＳ１８に処理を進める。一方ステップＳ１７において、制御ユニット１２は、眠気度が所定の閾値より小さい（眠気が生じていない）と判断すれば、制御ユニット１２はステップＳ１９に処理を進める。

【0170】

ステップＳ１８では、制御ユニット１２は、覚醒制御部１２ｍとして動作し、覚醒装置７０に、運転者３を覚醒させるための所定の制御信号を出力する処理を行う。運転者３に対する覚醒制御を行うと、制御ユニット１２は、次のステップＳ１９に処理を進める。
なお、ステップＳ１７において、所定の閾値として、２以上の閾値を設けた場合、各閾値に応じた覚醒制御信号を出力してもよい。例えば、眠気度が、眠気の予兆段階以上で眠気の初期段階未満の場合、音声等で注意を喚起する制御信号を出力する一方、眠気の初期段階以上（居眠り状態）である場合、振動等で警告する制御信号を出力するようにしてもよい。

【0171】

ステップＳ１９では、制御ユニット１２は、始動スイッチ４０がオフされたか否かを判断し、始動スイッチ４０がオフされていないと判断すれば、制御ユニット１２はステップＳ１の処理に戻る。一方、ステップＳ１９において、始動スイッチ４０がオフされたと判断すれば、制御ユニット１２はステップＳ２０に処理を進める。ステップＳ２０では、制御ユニット１２が、モニタリング動作を停止し、その後処理を終える。

【0172】

［作用及び効果］
上記実施の形態に係るデータ処理装置１０によれば、適性度評価部１２ｄにより前庭動眼反射運動を算出する際の状況の適性度が評価され、付与部１２ｅにより算出データに適性度（例えば、適性の有無を示す２値データ、又は適性度合いを示す多値データ）が付与される。したがって、算出データに付与された適性度によって、算出データが、前庭動眼反射運動を算出する状態として、どのような適性を有しているのかを判別することが可能となる。

【0173】

そして、選択部１２ｆにより、適性度に基づいて、前庭動眼反射運動に基づいて眠気を算出する第１の手法、又はサッカード運動或いは瞼の運動に関する指標に基づいて眠気を算出する第２の手法が選択され、該選択された手法に基づいて眠気が算出される。
例えば、所定時間分記憶された算出データのうち、第１の閾値以上の適性度が付与されたデータが、所定の割合（例えば、８０％）以上である場合は、第１の手法が選択され、前庭動眼反射運動に基づいて眠気が算出される。

【0174】

一方、所定時間分記憶された算出データのうち、第１の閾値以上の適性度が付与されたデータが、所定の割合（例えば、８０％）未満である場合（換言すれば、ＶＯＲを算出する際の状況として適していない場合）であっても、第２の手法により眠気が算出される。
これにより、第１の手法で眠気を算出するのに適していない状況、換言すれば、前庭動眼反射運動に基づいて眠気を算出するのに適していない状況（例えば、ノイズ成分が多い状況）であっても、第２の手法に基づいて眠気を算出することができ、現実環境下における眠気の算出を安定的に精度良く行うことができる。

【0175】

また、データ処理装置１０によれば、第１の眠気算出部１２ｇにより、適性度を考慮し、算出データに基づいて、運転者３の前庭動眼反射運動が算出され、該算出された前庭動眼反射運動に基づいて眠気が算出される。これにより、算出データのうち、適性度が考慮された適切なデータを用いることにより、前庭動眼反射運動の算出精度を高めることが可能になるとともに、前庭動眼反射運動に基づく眠気の算出も精度良く行うことができ、また、現実環境下における眠気の予兆も精度良く評価することができる。

【0176】

また、データ処理装置１０によれば、第２の眠気算出部１２ｉにより、サッカード運動が算出され、該算出されたサッカード運動に基づいて眠気が算出される。これにより、前庭動眼反射運動を算出する際の状況として適していない場合には、サッカード運動に基づいて眠気を精度良く算出することができる。
また、データ処理装置１０によれば、第２の眠気算出部１２ｉにより、ＰＥＲＣＬＯＳなどの瞼の運動に基づく指標が算出され、該算出された瞼の運動に基づく指標に基づいて眠気が算出される。これにより、前庭動眼反射運動を算出する際の状況として適していない場合には、瞼の運動に基づく指標に基づいて眠気を精度良く算出することができる。

【0177】

また、データ処理装置１０のＶＯＲ算出部１２ｈによれば、算出データ記憶部１３３に記憶された、ｔ秒間分の算出データのうち、第２の閾値より高い適性度が付与された算出データを用いて、運転者３の前庭動眼反射運動が算出される。
したがって、ＶＯＲの算出に用いる算出データを、適性の高いデータに絞り込むことによって、ＶＯＲの算出にかかる演算量を削減することができ、運転者３の前庭動眼反射運動を効率的かつ精度良く算出することができる。

【0178】

また、データ処理装置１０によれば、第１の眠気算出部１２ｇと第２の眠気算出部１２ｉを備えているので、実車環境下における運転者３の眠気度を精度良く算出することができ、また、覚醒制御部１２ｍを備えているので、眠気度に応じて運転者３を適切に覚醒させる制御を行うことができる。

【0179】

また、データ処理装置１０とカメラ２０とを備えたモニタリングシステム１によれば、実車環境下において導入しやすいドライバモニタリングシステムを提供することができる。
また、データ処理装置１０と覚醒装置７０とを備えた覚醒システムにより、実車環境下において、運転者３を適切に覚醒させることができるシステムを提供することができる。

【0180】

［他の実施の形態例］
以上、本発明の実施の形態を詳細に説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。

【0181】

（変形例１）
データ処理装置１０の制御ユニット１２は、図３に示した各部を全て備えている必要はい。別の実施の形態では、制御ユニット１２が、少なくとも算出部１２ｃ、適性度評価部１２ｄ、付与部１２ｅ、選択部１２ｆ、第１の眠気算出部１２ｇ、及び第２の眠気算出部１２ｉを備えた第１の構成、該第１の構成に覚醒制御部１２ｍをさらに備えた第２の構成によって構成されてもよい。

【0182】

また、第２の眠気算出部１２ｉは、サッカード運動算出部１２ｊと瞼運動算出部１２ｋとを備えているが、いずれか一方のみ備えもよい。また、眠気の算出に有効な、さらに別の眼球運動の算出部などを備えてもよい。

【0183】

（変形例２）
図４Ｂに示した制御ユニット１２が行う眠気の算出処理動作では、ステップＳ９において、ｔ秒間分の算出データのうち、第１の閾値より高い適性度が付与された算出データの割合が、ｎ％以上であるか否かを判定するように構成されている。
適性度は、適性の度合いを示す多値データに限定されるものではなく、適性の有無、又は適性の高低を示す２値データであってもよい。このように適性度が２値データである場合は、ステップＳ９において、ｔ秒間分の算出データのうち、適性が有る、又は適性が高いことを示す適性度が付与された算出データの割合が、ｎ％以上であるか否かを判定するようにしてもよい。

【0184】

（変形例３）
図４Ｂに示した制御ユニット１２が行う眠気の算出処理では、ステップＳ１０において、算出データ記憶部１３３に記憶された、ｔ秒間分の算出データのうち、第２の閾値より高い適性度が付与された算出データを用いて、運転者３のＶＯＲを算出するように構成されている。

【0185】

別の実施の形態では、ステップＳ１０において、算出データ記憶部１３３に記憶された、ｔ秒間分の算出データのうち、適性度が最も高い方から所定フレーム数分の算出データを用いて、運転者３のＶＯＲを算出するように構成してもよい。係る構成によっても、ＶＯＲの算出に用いる算出データを、適性の高いデータに絞り込むことによって、ＶＯＲの算出にかかる演算量を削減することができ、運転者３のＶＯＲを効率的かつ精度良く算出することができる。

【0186】

（変形例４）
また、上記実施の形態では、モニタリングシステム１及びデータ処理装置１０が車両２に搭載されている場合について説明したが、モニタリングシステム１及びデータ処理装置１０は、車載用に限定されるものではない。

【0187】

別の実施の形態では、例えば、モニタリングシステム１及びデータ処理装置１０を工場内や事務所内に設置して、工場内に装備された設備を操作する人、机で所定の作業を行う人などの眠気をモニタリングするシステムなどにも広く適用することができる。この場合、工場内で人が操作する物には、例えば、生産装置などが挙げられる。また、事務所内で人が操作する物には、例えば、パーソナルコンピュータなどの事務機器などが挙げられる。

【0188】

［付記］
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
（付記１）
人をモニタリングするためのデータ処理を行うデータ処理装置（１０）であって、
前記人の瞳孔運動及び頭部運動を算出する算出部（１２ｃ）と、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価部（１２ｄ）と、
前記算出部（１２ｃ）により算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価部（１２ｄ）により評価された適性度を付与する付与部（１２ｅ）と、
前記データに付与された前記適性度に基づいて、前記人の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は該第１の手法とは異なる第２の手法を選択する選択部（１２ｆ）と、
該選択部（１２ｆ）により前記第１の手法が選択された場合、前記第１の手法に基づいて眠気を算出する第１の眠気算出部（１２ｇ）と、
前記選択部（１２ｆ）により前記第２の手法が選択された場合、前記第２の手法に基づいて眠気を算出する第２の眠気算出部（１２ｉ）とを備えていることを特徴とするデータ処理装置（１０）。

【0189】

（付記２）
データ処理装置（１０）と、
人を含む画像を撮像する撮像装置（２０）とを含み、
前記データ処理装置（１０）の前記算出部（１２ｃ）が、
前記撮像装置（２０）から取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を算出するものであることを特徴とするモニタリングシステム（１）。

【0190】

（付記３）
人をモニタリングするためのデータ処理方法であって、
前記人の瞳孔運動及び頭部運動を算出する算出ステップ（Ｓ３、Ｓ４）と、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップ（Ｓ５）と、
前記算出ステップ（Ｓ３、Ｓ４）により算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップ（Ｓ５）により評価された前記適性度を付与する付与ステップと（Ｓ６）、
前記データに付与された前記適性度に基づいて、前記人の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は該第１の手法とは異なる第２の手法を選択する選択ステップ（Ｓ９）と、
該選択ステップ（Ｓ９）により前記第１の手法が選択された場合、前記第１の手法に基づいて眠気を算出する第１の眠気算出ステップ（Ｓ１０、Ｓ１１）と、
前記選択ステップ（Ｓ９）により前記第２の手法が選択された場合、前記第２の手法に基づいて眠気を算出する第２の眠気算出ステップ（Ｓ１０、Ｓ１１）とを含むことを特徴とするデータ処理方法。

【0191】

（付記４）
人をモニタリングするためのデータ処理を少なくとも１つのコンピュータ（１２）に実行させるためのデータ処理プログラムであって、
前記少なくとも１つのコンピュータ（１２）に、
前記人の瞳孔運動及び頭部運動を算出する算出ステップ（Ｓ３、Ｓ４）と、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップ（Ｓ５）と、
前記算出ステップ（Ｓ３、Ｓ４）により算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップ（Ｓ５）により評価された前記適性度を付与する付与ステップ（Ｓ６）と、
前記データに付与された前記適性度に基づいて、前記人の前庭動眼反射運動に基づいて眠気を算出する第１の手法、又は該第１の手法とは異なる第２の手法を選択する選択ステップ（Ｓ９）と、
該選択ステップ（Ｓ９）により前記第１の手法が選択された場合、前記第１の手法に基づいて眠気を算出する第１の眠気算出ステップ（Ｓ１０、Ｓ１１）と、
前記選択ステップにより前記第２の手法が選択された場合、前記第２の手法に基づいて眠気を算出する第２の眠気算出ステップ（Ｓ１２～Ｓ１６）とを実行させることを特徴とするデータ処理プログラム。

【符号の説明】

【0192】

１ モニタリングシステム
２ 車両
３ 運転者
１０ データ処理装置
１１ 外部インターフェース（外部Ｉ／Ｆ）
１２ 制御ユニット
１２１ ＣＰＵ
１２２ ＲＡＭ
１２３ ＲＯＭ
１２ａ 画像取得部
１２ｂ データ取得部
１２ｃ 適性度評価部（評価部）
１２ｄ 算出部
１２ｅ 付与部
１２ｆ 選択部
１２ｇ 第１の眠気算出部
１２ｈ ＶＯＲ算出部（反射運動算出部）
１２ｉ 第２の眠気算出部
１２ｊ サッカード運動算出部
１２ｋ 瞼運動算出部
１２ｍ 覚醒制御部
１３ 記憶ユニット
１３１ 画像記憶部
１３２ 取得データ記憶部
１３３ 算出データ記憶部
１３４ プログラム
２０ カメラ
３０ 車載センサ
３１ 車外センサ
３２ 加速度センサ
３３ ジャイロセンサ
３４ 操舵センサ
４０ 始動スイッチ
５０ ナビゲーション装置
６０ 電子制御ユニット（ＥＣＵ）
７０ 覚醒装置

【図1】

【図2】

【図3】

【図4A】

【図4B】