特許 6910982 ドライバ状態推定装置及びドライバ状態推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6910982

(24)【登録日】2021年7月9日

(45)【発行日】2021年7月28日

(54)【発明の名称】ドライバ状態推定装置及びドライバ状態推定方法

(51)【国際特許分類】

   A61B 5/18 20060101AFI20210715BHJP

   B60R 11/04 20060101ALI20210715BHJP

   A61B 5/16 20060101ALI20210715BHJP

【ＦＩ】

   A61B5/18

   B60R11/04

   A61B5/16 200

   A61B5/16 110

   A61B5/16 130

【請求項の数】12

【全頁数】16

(21)【出願番号】特願2018-59493(P2018-59493)

(22)【出願日】2018年3月27日

(65)【公開番号】特開2019-170451(P2019-170451A)

(43)【公開日】2019年10月10日

【審査請求日】2020年8月11日

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100093067

【弁理士】

【氏名又は名称】二瓶 正敬

(72)【発明者】

【氏名】奥谷 知克

【審査官】 樋口 祐介

(56)【参考文献】

【文献】 特開平０８−１７８７１２（ＪＰ，Ａ）

【文献】 特開２０１０−２８２４３６（ＪＰ，Ａ）

【文献】 特開２０１２−２４３０４３（ＪＰ，Ａ）

【文献】 特開２００９−００２８８３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０１２８６１９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ５／０６−５／２２

Ｂ６０Ｒ９／００−１１／０６

Ｂ６０Ｒ２１／００−２１／１３，２１／３４−２１／３８

Ｂ６０Ｗ１０／００−１０／３０

Ｂ６０Ｗ３０／００−５０／１６

Ｇ０８Ｇ１／００−９９／００

(57)【特許請求の範囲】

【請求項1】

車両運転中のドライバの眠気、疲労度及び緊張度の少なくとも１つの状態を含む前記ドライバの状態を判定するドライバ状態判定装置であって、
前記ドライバの視線の方向を検出する視線方向検出部と、
前記ドライバの視線の方向の経時的変化から、所定時間当たりの前記ドライバの視線の移動距離を検出する視線移動距離検出部と、
前記ドライバの視線の移動距離が相対的に小さい時間帯の時間長を視線滞留間隔として抽出するものであって、前記ドライバの視線の移動距離の経時的変化が極大となるピークを検出し、前記隣接するピーク間の時間長を前記視線滞留間隔として抽出する視線滞留間隔抽出部と、
前記視線滞留間隔の経時的変化の傾向を特定して、前記特定された傾向から前記ドライバの状態を判定するドライバ状態判定部とを、
有するドライバ状態判定装置。

【請求項2】

前記ドライバ状態判定部は、所定の時間範囲内において前記視線滞留間隔として抽出される時間帯の個数を検出して、前記検出された個数の分布の分散を計算し、前記分散の経時的変化の傾向から前記ドライバの状態を判定するよう構成されている請求項１に記載のドライバ状態判定装置。

【請求項3】

前記ドライバ状態判定部は、所定の時間範囲内に含まれる複数の前記視線滞留間隔の分布の分散を計算し、前記分散の経時的変化の傾向から前記ドライバの状態を判定するよう構成されている請求項１に記載のドライバ状態判定装置。

【請求項4】

前記ドライバ状態判定部は、前記視線滞留間隔の時系列データに対して非線形解析処理を行うことによって前記視線滞留間隔に関するリアプノフ指数を算出し、前記リアプノフ指数に基づいて前記ドライバの状態を判定するよう構成されている請求項１に記載のドライバ状態判定装置。

【請求項5】

車両運転中のドライバの眠気、疲労度及び緊張度の少なくとも１つの状態を含む前記ドライバの状態を判定するドライバ状態判定装置であって、
前記ドライバの視線の方向を検出する視線方向検出部と、
前記ドライバの視線の方向の経時的変化から、所定時間当たりの前記ドライバの視線の移動距離を検出する視線移動距離検出部と、
前記ドライバの視線の移動距離が相対的に小さい時間帯の時間長を視線滞留間隔として抽出する視線滞留間隔抽出部と、
前記視線滞留間隔の経時的変化の傾向を特定して、前記特定された傾向から前記ドライバの状態を判定するドライバ状態判定部とを、
有し、
前記ドライバ状態判定部は、前記視線滞留間隔の時系列データに対して非線形解析処理を行うことによって前記視線滞留間隔に関するリアプノフ指数を算出し、前記リアプノフ指数に基づいて前記ドライバの状態を判定するよう構成されているドライバ状態判定装置。

【請求項6】

前記視線方向検出部は、前記ドライバの眼をカメラで撮像した画像から前記ドライバの視線の方向を検出するよう構成されている請求項１から５のいずれか１つに記載のドライバ状態判定装置。

【請求項7】

車両運転中のドライバの眠気、疲労度及び緊張度の少なくとも１つの状態を含む前記ドライバの状態を判定するドライバ状態判定方法であって、
前記ドライバの視線の方向を検出する視線方向検出ステップと、
前記ドライバの視線の方向の経時的変化から、所定時間当たりの前記ドライバの視線の移動距離を検出する視線移動距離検出ステップと、
前記ドライバの視線の移動距離が相対的に小さい時間帯の時間長を視線滞留間隔として抽出するものであって、前記ドライバの視線の移動距離の経時的変化が極大となるピークを検出し、前記隣接するピーク間の時間長を前記視線滞留間隔として抽出する視線滞留間隔抽出ステップと、
前記視線滞留間隔の経時的変化の傾向を特定して、前記特定された傾向から前記ドライバの状態を判定するドライバ状態判定ステップとを、
有するドライバ状態判定方法。

【請求項8】

前記ドライバ状態判定ステップにおいて、所定の時間範囲内において前記視線滞留間隔として抽出される時間帯の個数を検出して、前記検出された個数の分布の分散を計算し、前記分散の経時的変化の傾向から前記ドライバの状態を判定する請求項７に記載のドライバ状態判定方法。

【請求項9】

前記ドライバ状態判定ステップにおいて、所定の時間範囲内に含まれる複数の前記視線滞留間隔の分布の分散を計算し、前記分散の経時的変化の傾向から前記ドライバの状態を判定する請求項７記載のドライバ状態判定方法。

【請求項10】

前記ドライバ状態判定ステップにおいて、前記視線滞留間隔の時系列データに対して非線形解析処理を行うことによって前記視線滞留間隔に関するリアプノフ指数を算出し、前記リアプノフ指数に基づいて前記ドライバの状態を判定する請求項７に記載のドライバ状態判定方法。

【請求項11】

車両運転中のドライバの眠気、疲労度及び緊張度の少なくとも１つの状態を含む前記ドライバの状態を判定するドライバ状態判定方法であって、
前記ドライバの視線の方向を検出する視線方向検出ステップと、
前記ドライバの視線の方向の経時的変化から、所定時間当たりの前記ドライバの視線の移動距離を検出する視線移動距離検出ステップと、
前記ドライバの視線の移動距離が相対的に小さい時間帯の時間長を視線滞留間隔として抽出する視線滞留間隔抽出ステップと、
前記視線滞留間隔の経時的変化の傾向を特定して、前記特定された傾向から前記ドライバの状態を判定するドライバ状態判定ステップとを、
有し、
前記ドライバ状態判定ステップにおいて、前記視線滞留間隔の時系列データに対して非線形解析処理を行うことによって前記視線滞留間隔に関するリアプノフ指数を算出し、前記リアプノフ指数に基づいて前記ドライバの状態を判定するドライバ状態判定方法。

【請求項12】

前記視線方向検出ステップにおいて、前記ドライバの眼をカメラで撮像した画像から前記ドライバの視線の方向を検出する請求項７から１１のいずれか１つに記載のドライバ状態判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両運転中（ドライビングシミュレータによる模擬運転を含む）のドライバの状態を判定するドライバ状態判定装置及びドライバ状態判定方法に関する。なお、ドライバの状態とは、車両運転中におけるドライバの精神的又は感覚的な状態（眠気、疲労度及び緊張度の少なくとも１つの状態を含む）であり、人間が脳で感じる状態を指す。

【背景技術】

【0002】

特許文献１には、ドライバの眼をカメラで撮像した撮像画像に基づいてドライバの視線の方向を検出し、ドライバの視覚の範囲内において刺激が発生した位置までドライバの視線が移動する移動時間を検出することで、その移動時間に基づいてドライバの覚醒度を決定する技術が開示されている。特許文献２には、ドライバの眼をカメラで撮像した撮像画像に基づいてドライバの視線の方向を検出し、表示器に判定画像が表示されてから運転者が判定画像を視認するまでの反応時間を検出することで、その反応時間に基づいてドライバ状態を判定する技術が開示されている。

【0003】

特許文献３には、漫然状態の人間の場合は通常状態と比較して小振幅のサッカードの発生頻度が高くなるという知見に基づき、判定対象者の眼球運動であるサッカード運動を測定し、サッカード運動の振幅及び方向に係る条件に基づいて、判定対象者が漫然状態であると判定する技術が開示されている。特許文献４には、監視対象者の眼球におけるサッカードの発生頻度とマイクロサッカードの発生頻度とを取得して、これらの発生頻度に基づき監視対象者の状態を推定する技術が開示されている。

【0004】

非特許文献１では、覚醒低下に伴う縮瞳時に水平方向に小刻みなサッカード運動（いわゆるマイクロサッカード運動）が発生することに基づき、サッカード運動の振幅とピーク速度（サッカード運動の速度）が比例関係を示すことや、瞳孔面積の縮小と共にサッカード間隔（水平運動のサッカード運動の時間間隔）が短くなる傾向を示すことなどから、サッカード運動のピーク速度やサッカード間隔を覚醒低下検知の指標として利用する可能性が検討されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１４−１４４０９６号公報（要約書）

【特許文献2】特開２０１７−２０４１７７号公報（要約書）

【特許文献3】特開２０１１−１１５４５０号公報（要約書、段落［０００９］）

【特許文献4】特開２０１７−２３５１９号公報（要約書、段落［００１２］）

【非特許文献】

【0006】

【非特許文献1】「サッカード運動を指標とした覚醒低下検知」 和久井秀樹，平田豊 生体医工学５１（６），３２８−３４１，２０１３

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１及び２に開示されている技術では、ドライバに視覚的刺激（特許文献１ではドライバの視覚の範囲内における刺激、特許文献２では表示器に表示される判定画像）が与えられ、ドライバが視線を視覚的刺激に移動して視認するまでの視線の移動時間又は反応時間が検出される。すなわち、視線の移動時間又は反応時間を計測する開始タイミングとして、何らかの視覚的刺激がドライバに与えられたタイミングを使用しており、単にドライバの視線の方向を検出するだけではなく、視覚的刺激が発生したタイミングを検出する必要がある。

【0008】

一方、特許文献３及び４、非特許文献１には、被験者の眼球運動を測定して眼球のサッカード運動を検出し、サッカード運動の検出結果から被験者の状態を判定する技術が開示されている。しかしながら、サッカード運動は、跳躍性眼球運動とも呼ばれるように非常に高速の眼球運動であり、ある箇所から別の箇所に視点を移動するために要する時間が非常に短い（２０ｍｓ〜８０ｍｓ）という特徴がある。例えば特許文献４には、高速の眼球運動であるサッカード運動を検出するために、２００ｆｐｓ（１秒間に２００フレーム）程度のフレームレートで、０．０５度の角度差を検出できる高速かつ高精度のカメラが必要であることが記載されている。また、例えば非特許文献１には、サッカード運動を検出するために、急速眼球運動解析装置を用いて被験者の瞳孔面積及び両眼眼球位置を５００Ｈｚで測定することが記載されている。

【0009】

このように、高速の眼球運動であるサッカード運動に対応していない装置、例えば３０ｆｐｓ（１秒間に３０フレーム）程度の低フレームレートで撮像を行う低性能のカメラ（一般的な車載カメラなど）では、サッカード運動を検出することは困難である。したがって、サッカード運動を検出対象とする場合には、高速の眼球運動に対応した高性能の装置を設ける必要がある。

【0010】

さらに、上述した各文献に記載されている技術はいずれも、視線の移動時間や視線の方向が変わる反応時間、サッカード運動などの眼球運動の間隔や頻度、振幅のそれぞれのパラメータが、ドライバの状態変化の傾向と線形的に相関するという前提を設けているにすぎない。

【0011】

上記の課題に鑑み、本発明は、サッカード運動量を観測するのではなく視線が滞留する時系列な座標空間を観測するものであって、例えば車両運転中のドライバの視線を低性能のカメラで検出した場合であっても、その検出結果に基づいて生成される視線運動に係る時系列データから、注視及び不注視に関わらず視線が滞留運動する間隔を以って、ドライバの状態を判定（推定）するドライバ状態判定装置及びドライバ状態判定方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

上記の目的を達成するため、本発明のドライバ状態判定装置は、車両運転中のドライバの眠気、疲労度及び緊張度の少なくとも１つの状態を含む前記ドライバの状態を判定するドライバ状態判定装置であって、
前記ドライバの視線の方向を検出する視線方向検出部と、
前記ドライバの視線の方向の経時的変化から、所定時間当たりの前記ドライバの視線の移動距離を検出する視線移動距離検出部と、
前記ドライバの視線の移動距離が相対的に小さい時間帯の時間長を視線滞留間隔として抽出するものであって、前記ドライバの視線の移動距離の経時的変化が極大となるピークを検出し、前記隣接するピーク間の時間長を前記視線滞留間隔として抽出する視線滞留間隔抽出部と、
前記視線滞留間隔の経時的変化の傾向を特定して、前記特定された傾向から前記ドライバの状態を判定するドライバ状態判定部とを、
有する。
さらに、上記の目的を達成するため、本発明のドライバ状態判定装置は、車両運転中のドライバの眠気、疲労度及び緊張度の少なくとも１つの状態を含む前記ドライバの状態を判定するドライバ状態判定装置であって、
前記ドライバの視線の方向を検出する視線方向検出部と、
前記ドライバの視線の方向の経時的変化から、所定時間当たりの前記ドライバの視線の移動距離を検出する視線移動距離検出部と、
前記ドライバの視線の移動距離が相対的に小さい時間帯の時間長を視線滞留間隔として抽出する視線滞留間隔抽出部と、
前記視線滞留間隔の経時的変化の傾向を特定して、前記特定された傾向から前記ドライバの状態を判定するドライバ状態判定部とを、
有し、
前記ドライバ状態判定部は、前記視線滞留間隔の時系列データに対して非線形解析処理を行うことによって前記視線滞留間隔に関するリアプノフ指数を算出し、前記リアプノフ指数に基づいて前記ドライバの状態を判定するよう構成されている。

【0013】

また、上記の目的を達成するため、本発明のドライバ状態判定方法は、車両運転中のドライバの眠気、疲労度及び緊張度の少なくとも１つの状態を含む前記ドライバの状態を判定するドライバ状態判定方法であって、
前記ドライバの視線の方向を検出する視線方向検出ステップと、
前記ドライバの視線の方向の経時的変化から、所定時間当たりの前記ドライバの視線の移動距離を検出する視線移動距離検出ステップと、
前記ドライバの視線の移動距離が相対的に小さい時間帯の時間長を視線滞留間隔として抽出するものであって、前記ドライバの視線の移動距離の経時的変化が極大となるピークを検出し、前記隣接するピーク間の時間長を前記視線滞留間隔として抽出する視線滞留間隔抽出ステップと、
前記視線滞留間隔の経時的変化の傾向を特定して、前記特定された傾向から前記ドライバの状態を判定するドライバ状態判定ステップとを、
有する。
さらに、上記の目的を達成するため、本発明のドライバ状態判定方法は、
車両運転中のドライバの眠気、疲労度及び緊張度の少なくとも１つの状態を含む前記ドライバの状態を判定するドライバ状態判定方法であって、
前記ドライバの視線の方向を検出する視線方向検出ステップと、
前記ドライバの視線の方向の経時的変化から、所定時間当たりの前記ドライバの視線の移動距離を検出する視線移動距離検出ステップと、
前記ドライバの視線の移動距離が相対的に小さい時間帯の時間長を視線滞留間隔として抽出する視線滞留間隔抽出ステップと、
前記視線滞留間隔の経時的変化の傾向を特定して、前記特定された傾向から前記ドライバの状態を判定するドライバ状態判定ステップとを、
有し、
前記ドライバ状態判定ステップにおいて、前記視線滞留間隔の時系列データに対して非線形解析処理を行うことによって前記視線滞留間隔に関するリアプノフ指数を算出し、前記リアプノフ指数に基づいて前記ドライバの状態を判定する。

【発明の効果】

【0014】

本発明によれば、例えば車両運転中のドライバの視線を低性能のカメラで検出した場合であっても、その検出結果に基づいて生成される視線運動に係る時系列データから、ドライバの状態を判定（推定）することができるという効果を有する。

【図面の簡単な説明】

【0015】

【図1】本発明の実施の形態における検出対象として用いられる、車両運転中のドライバの視線運動について説明するためのイメージ図である。

【図2】車両運転中のドライバの視線運動の検出結果に基づいて生成された、ドライバの視線の移動距離の時系列データの一例を示すグラフである。

【図3】ドライバの視線の移動距離の時系列データに基づいて算出される時系列データであって、平均値を算出するためのデータ点数を変化させた場合の時系列データの一例を示すグラフである。

【図4】ドライバの視線の移動距離の時系列データから算出された、移動距離の平均値（累積移動平均）の時系列データの一例を示すグラフである。

【図5】本発明の実施の形態におけるドライバ状態判定装置の構成の一例を示すブロック図である。

【図6】本発明の実施の形態におけるドライバ状態判定装置で実行される処理の一例を示すフローチャートである。

【図7】本発明の実施の形態において、第３の数値解析処理で実行される非線形解析処理の概要を説明するための図である。

【発明を実施するための形態】

【0016】

以下、図面を参照しながら、本発明の概要及び実施の形態について説明する。

【0017】

車両運転中のドライバの視線運動は、視線が特定の空間に滞留する状態と、視線が空間を移動する状態とを含む。車両運転中のドライバの視線運動は、注視行為も含めて基本的には断続的なチラ見運動であると言える。チラ見運動とは、車両走行状態の確認、周囲の安全確認、ストレス解消などの様々な目的のために、車両運転中のドライバが視線を様々な空間に向ける行為である。例えば図１のイメージ図（運転席付近から車両前方を眺めた光景）に示すように、ドライバは、基本的には自車両前方（Ａ）の空間に視線を向けており、かつ、並走する別の車両（Ｂ）、左右のドアミラー（Ｃ）及び（Ｄ）、バックミラー（Ｅ）、スピードメータ（Ｆ）、外の景色（Ｇ）及び（Ｈ）などの様々な空間に対して断続的に視線を向けながら車両の運転を行う。なお、車両運転中のドライバは基本的に自車両前方（Ａ）の空間を見ており、ドライバの視線は、自車両前方（Ａ）の空間とその他の空間との間を往復する軌跡を描くことが多い。

【0018】

こうした断続的なチラ見運動において視線が滞留している時間は、個人差や加齢傾向の差、走行中の車両速度の差などはあるものの、その細やかさやバラツキや移動距離が一個人の体調（元気さ）に左右されるものと推察される。つまり、視線が滞留している時間にゆらぎ（バラツキの豊かさ）があれば、それは生体ゆらぎ（自律神経活性度）傾向を反映していると推察され、自律神経の活躍傾向からドライバの体調や生理状態を推定できる可能性が高いと言える。

【0019】

上記の前提に基づき、本発明では、車両運転中のドライバの「視線滞留間隔」に着目する。本発明の基本的な概念は、車両運転中のドライバの視線の方向を検出し、その検出結果から視線運動の経時的変化を示す時系列データを生成し、その時系列データに基づいて「視線滞留間隔」の傾向を捉えて、その傾向からドライバの状態を判定（推定）するものである。

【0020】

図２は、車両運転中のドライバの視線運動の検出結果に基づいて生成された、ドライバの視線の移動距離の時系列データの一例を示すグラフである。図２のグラフの縦軸はドライバの視線の移動距離を表し、横軸は経過時間を表す。図２のグラフでは、経過時間単位で各時刻におけるドライバの視線の移動距離が縦棒で表されており、視線の移動距離が時々刻々と変化する様子が示されている。ここで、移動距離の長短が交互に発生する状態は、ある程度の距離だけ離れた空間に視線が移動して滞留する運動が繰り返し行われていることを意味する。これは、ある程度の距離だけ視線を移動させるチラ見運動を行っている状態であると考えられる。図１のイメージ図を例に挙げると、ドライバは、基本的に自車両前方（Ａ）の空間を見ており、チラ見によってその他の空間に視線を移動させることで周辺外乱を観察している状態であると考えられる。

【0021】

また、図３は、ドライバの視線の移動距離の時系列データに基づいて算出される時系列データであって、平均値を算出するためのデータ点数を変化させた場合の時系列データの一例を示すグラフである。図３のグラフのＸ軸は経過時間を表し、Ｙ軸は時間窓点数を表し、Ｚ軸はドライバの視線の移動距離に関する平均値（累積移動平均）を表す。なお、時間窓点数とは、平均値を算出するためにサンプリングされるデータ数である。ここでは、窓の点数間隔を４０ｍｓとしており、Ｎ個の点を取った場合には、Ｎ×４０ｍｓの区間に含まれるＮ個のデータの移動距離を累積してＮで割った値（すなわち、平均値）が、Ｚ軸の累積移動平均として表されている。図３において、時間窓点数が１点の場合のグラフ（１点の場合の断面）は、図２のグラフに対応している。また、複数の点（例えば９点）を取って算出された、移動距離の平均値（累積移動平均）の時系列データの一例を、図４に示す。

【0022】

図３及び図４に示されているように、ドライバの視線の移動距離に関する平均値（累積移動平均）を取ると、視線遷移の運動ピークが得られる。この累積移動平均から得られる視線遷移の運動ピークは、視認行動の一単位（巡回視の単位）に対応していると考えることができる。

【0023】

例えば車線変更を行う際には、ドライバは、前方を気にしながら、追い越し車線の割込みスペースや後続車両との車間距離を目視及びミラー視の両方で視認するなど、巡回視と呼ばれる一連の作業を実施する。こうした視認行動に係る巡回視では、ある程度離れた空間への視線移動が多くなり、累積移動平均を算出した場合に得られる視線遷移の運動ピークと、視認行動の一単位である巡回視の作業とが対応付けられる。

【0024】

車両運転中のドライバの視線が滞留している時間は、例えば、図２のグラフにおける視線の移動距離が低い状態（低運動部位）の時間である。これは、狭義の視線滞留間隔と言えるものであり、図２のグラフに示す視線の移動距離の時系列データから読み取ることが可能である。この場合、図２のグラフから読み取れる様々な数値を、視線滞留間隔として抽出することが可能である。例えば、所定の閾値（適宜設定可能）を上回る移動距離を取ってから、再度同様に当該所定の閾値を上回る移動距離を取るまでの時間を視線滞留間隔として定義してもよい。また、所定の閾値（適宜設定可能）を下回る移動距離が継続している時間を視線滞留間隔として定義してもよい。

【0025】

一方、図３及び図４を用いて説明したように、ドライバの視線の移動距離に関する平均値（累積移動平均）を算出した場合に得られる運動ピーク間の時間を、視線滞留間隔としてもよい。なお、この運動ピークは、視認行動の一単位である巡回視に対応していると考えられる。したがって、累積移動平均のピーク間の時間は、厳密には、車両運転中のドライバの視線が滞留している時間と言えるものではなく、巡回視が行われているときと比較して視線が安定している時間であると言えるものである。ただし、累積移動平均のピーク間の時間は、移動距離に関して平均値を算出した場合に得られるものであることから、車両運転中のドライバの視線が滞留している時間（狭義の視線滞留間隔）と同様に、そのバラツキと生体ゆらぎ（自律神経活性度）傾向との間に相関があることが推察される。したがって、本明細書では、累積移動平均のピーク間の時間についても、（広義の）視線滞留間隔と呼ぶことにする。

【0026】

なお、図３及び図４のグラフでは、窓の点数間隔は４０ｍｓとしており、９点（合計３６０ｍｓ区間セット）の累積で見た場合、大きなピークの山（巡回視に対応）がバラツキを持って存在することがわかる。このように、累積移動平均を算出して時系列データを生成した場合には明確なピークが存在し、ピーク間の距離である広義の視線滞留間隔を容易に抽出することが可能である。

【0027】

また、図３のグラフから、時間窓点数が１点から徐々に増加していくにつれて、巡回視に対応するピークの山が現れることがわかる。具体的には、９点（合計３６０ｍｓ区間セット）の累積結果において存在する大きなピークの山は、３点（合計１２０ｍｓ区間セット）ないしは４点（合計１６０ｍｓ区間セット）から現れ始めることから、巡回視によって注目する行為が１２０ｍｓないしは１６０ｍｓ以上で遂行されると考えられる。

【0028】

以上のように、本明細書における「視線滞留間隔」は、視線の方向が安定しており、ドライバの視線の移動距離又は累積移動距離（複数の時間窓を含む所定の時間範囲内での移動距離の累計値）が相対的に小さい期間の長さを意味するものと定義する。したがって、本明細書における「視線滞留間隔」は、少なくとも、図２のグラフから読み取れる視線の移動距離が低い状態（低運動部位）の時間の長さと、図４のグラフから読み取れる累積移動平均のピーク間の時間の長さの両方の意味を包含するものである。そして、本発明は、視線が滞留する時系列な座標空間を観測するものであり、ドライバの視線運動に係る時系列データから、注視及び不注視に関わらず視線が滞留運動する間隔を以って、ドライバの状態を判定（推定）する。

【0029】

次に、図５を参照しながら、本発明の実施の形態におけるドライバ状態判定装置の構成について説明する。図５は、本発明の実施の形態におけるドライバ状態判定装置の構成の一例を示すブロック図である。図５に示すドライバ状態判定装置１０は、撮像データ取得部１１、視線運動検出部１２、ドライバ状態判定部１３を有する。

【0030】

なお、図５に示すブロック図は、本発明に関連した機能を表しているにすぎず、実際の実装では、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせによって実現されてもよい。ソフトウェアで実装される機能は、１つ又は複数の命令若しくはコードとして任意のコンピュータ可読媒体に記憶され、これらの命令又はコードは、ＣＰＵ（Central Processing Unit：中央処理ユニット）やＧＰＵ（Graphics Processing Unit：グラフィックスプロセッシングユニット）などのハードウェアベースの処理ユニットによって実行可能である。また、本発明に関連した機能は、ＩＣ（Integrated Circuit：集積回路）やＩＣチップセットなどを含む様々なデバイスによって実現されてもよい。

【0031】

撮像データ取得部１１は、カメラ２０で撮像されたドライバの顔（特にドライバの眼）の画像を含む撮像データを取得する機能を有する。カメラ２０による撮像で得られた撮像データは、カメラ２０の内部又は外部のデータ格納装置に格納される。撮像データ取得部１１は、撮像データが格納されたデータ格納装置に有線又は無線を介してアクセスして撮像データを取得する。

【0032】

カメラ２０には、例えば車両内に設置されてドライバの顔を撮像することが可能な車載カメラを利用することが可能である。本発明の実施の形態では、ドライバの視線の方向を検出できる撮像データが得られればよく、カメラ２０は、ドライバの視線の方向が判定できる程度の解像度（例えば、ＨＤ画質以下）、かつ、低フレームレート（例えば３０ｆｐｓ程度）で撮像を行う低性能のカメラであってもよい。現在広く普及している一般的な車載カメラは、例えば３０ｆｐｓ程度の低フレームレートで撮像を行うものが多く、こうした一般的な車載カメラを本発明の実施の形態に係るカメラ２０として用いてもよい。

【0033】

視線運動検出部１２は、撮像データ取得部１１で取得された撮像データに対して画像解析処理を行ってドライバの視線の方向を検出する機能（視線方向検出部）、さらに、視線の方向の経時的変化に基づいて、単位時間当たりのドライバの視線の移動距離を検出して、ドライバの視線の移動距離の時系列データ（以下、視線運動データと呼ぶこともある）を生成する機能（視線移動距離検出部）を有する。視線運動検出部１２によって検出された視線運動データは、ドライバ状態判定部１３に供給される。

【0034】

なお、ドライバの視線の移動距離は、例えば、ドライバの前に仮想的に設定されたスクリーン（ドライバの頭部から略等距離に広がりを持つ基準面）上における距離である。例えば時刻ｔ１から時刻ｔ２までの間に視線が移動した移動距離は、時刻ｔ１における視線の方向が仮想スクリーンと交差する仮想スクリーン上の座標と、時刻ｔ２における視線の方向が仮想スクリーンと交差する仮想スクリーン上の座標との間の距離（仮想スクリーン上での距離）で表される。

【0035】

ドライバの顔の画像（特にドライバの眼を撮像した画像）からドライバの視線の方向を検出する画像解析処理は、本発明では特に限定されるものではなく、既存の技術を用いることが可能である。ドライバの視線の方向は、例えば、所定の方向（視線の方向の初期値）を視認しているときの眼球位置を基準として、眼球の水平方向及び垂直方向の位置（眼球の水平方向及び垂直方向の回転角度）から特定することが可能である。

【0036】

また、市販されている視線計測装置を用いて、カメラ２０、撮像データ取得部１１、視線運動検出部１２を構成してもよい。現在、例えば頭部に装着可能な眼鏡型や帽子型の視線計測装置が普及しており、さらに、視線計測装置に搭載されたカメラによって撮像した眼の画像から、視線の方向などを解析するプログラムも普及している。こうした既存の装置やプログラムを活用して視線運動データを生成してもよい。

【0037】

また、ドライバ状態判定部１３は、視線運動検出部１２から供給されたドライバの視線運動データに基づいてドライバの状態を判定するドライバ状態判定処理を行い、その判定結果を出力する機能を有する。例えば、ドライバ状態判定部１３は、視線運動データから視線滞留間隔（ドライバの視線の移動距離又は累積移動距離が相対的に小さい期間）の時系列データを抽出し、視線滞留間隔の経時的変化の傾向（例えば、視線滞留間隔のゆらぎの傾向）からドライバの状態を判定する処理を行うよう構成される。ドライバ状態判定部１３による判定結果は、ドライバの状態（眠気、疲労度及び緊張度の少なくとも１つの状態を含む）の程度を含んでおり、ドライバの状態が劣化した際の注意喚起や状態回復、ドライバの体調や業務の管理など、様々な用途において活用できる。なお、ドライバの状態を判定するドライバ状態判定処理の詳細については後述する。

【0038】

本発明の実施の形態とサッカード運動の検出を行う従来の技術とを比較した場合、本発明の実施の形態におけるにおけるドライバ状態判定装置１０は、素早い眼球運動を捉える構成を有する必要はなく、カメラ２０の性能は視線の方向を検出できる程度でよいという利点がある。また、本発明の実施の形態と運転者の視線の移動時間又は反応時間を検出する従来の技術とを比較した場合、本発明の実施の形態におけるドライバ状態判定装置１０は、視覚的刺激の発生タイミングを検出する構成を有する必要はなく、ドライバの視線の方向から得られる視線運動データのみを用いればよいという利点がある。

【0039】

次に、図６を参照しながら、本発明の実施の形態におけるドライバ状態判定装置の動作について説明する。図６は、本発明の実施の形態におけるドライバ状態判定装置の動作の一例を示すフローチャートである。図６に示すフローチャートは、図５に示すドライバ状態判定装置１０で実行される処理の一例を示すものである。

【0040】

撮像データ取得部１１は、車両運転中のドライバの顔（特に、ドライバの眼）の画像を含む撮像データを取得する（ステップＳ１１０）。視線運動検出部１２は、撮像データに対して画像解析処理を行ってドライバの視線の方向を検出して、その検出結果からドライバの視線の移動距離を含む視線運動データを生成する（ステップＳ１２０）。

【0041】

なお、撮像データに含まれる画像ごとにドライバの視線の方向が特定できる場合には、カメラ２０のフレームレートに合わせてドライバの視線の方向を検出することが可能である。ただし、撮像データ取得部１１は、必ずしも、カメラ２０によって撮像されたすべての画像を取得する必要はなく、所定のサンプリングレートで画像を取得するよう構成されていてもよい。

【0042】

運転者状態判定部１３は、視線運動データに基づいてドライバの状態を判定するドライバ状態判定処理を行う（ステップＳ１３０）。このドライバ状態判定処理は、ドライバによる車両運転とほぼ同時に（ほぼリアルタイムで）実行されてもよい。この場合には、ステップＳ１１０〜Ｓ１３０の処理は車両運転中に実行される。一方、ドライバによる車両運転時には撮像データや視線運動データの収集のみを行い、車両運転後にドライバ状態判定処理が実行されてもよい。この場合には、撮像データや視線運動データをいったん記憶媒体に格納し、格納されたデータを車両運転後に回収してステップＳ１３０の処理が実行される。

【0043】

ステップＳ１３０におけるドライバ状態判定処理は、例えば、ドライバ状態判定部１３は、視線運動データから視線滞留間隔の時系列データを抽出する処理と、視線滞留間隔の時系列データについて数値解析を行って視線滞留間隔のゆらぎの傾向を捉える処理と、この視線滞留間隔のゆらぎの傾向に基づいてドライバの状態を判定する処理とを有する。

【0044】

視線滞留間隔の時系列データを抽出する処理は、図２〜図４を参照しながら上述したとおりであり、視線の移動距離の時系列データに基づき、ドライバの視線の移動距離又は累積移動距離が相対的に小さい期間（視線滞留間隔）の時系列データを抽出することが可能である。

【0045】

視線滞留間隔の時系列データについて数値解析を行って視線滞留間隔のゆらぎの傾向を捉える処理については、いくつかの方法が考えられ、例えば、下記に挙げる第１〜第３の数値解析方法を採用することが可能である。ただし、数値解析方法はこれらに限定されるものではない。

【0046】

例えば第１の数値解析方法として、所定の時間ウィンドウ内に含まれる視線滞留間隔の個数を、時間ウィンドウをずらしながらカウントする方法が考えられる。なお、視線滞留間隔を定めるピーク（視線滞留間隔の境目であり、視線遷移が大きい状態や巡回視を行っている状態に相当する）に着目すると、第１の数値解析方法は、所定の時間ウィンドウ内に含まれるピークの個数を、時間ウィンドウをずらしながらカウントする方法であるとも言える。なお、視線滞留間隔を定めるピークを心臓の鼓動（心拍）に見立てた場合、第１の数値解析方法は、一定の時間内の心拍数をカウントする方法と類似している。

【0047】

所定の時間ウィンドウの範囲は、視線滞留間隔又はピークの個数をカウントする範囲に対応しており、その範囲の大きさは適宜設定可能である。また、所定の時間ウィンドウをずらす幅は、カウントを行う頻度（間隔）に対応しており、その幅の大きさも適宜設定可能である。なお、時間ウィンドウをずらす幅の大きさは時間ウィンドウの範囲の大きさと同じであってもよく、あるいは、時間ウィンドウの範囲の大きさよりも小さくてもよい。一例として、時間ウィンドウの範囲を３０秒、時間ウィンドウをずらす幅を１０秒とした場合、３０秒の範囲内に含まれる視線滞留間隔又はピークの個数が１０秒おきにカウントされ、視線滞留間隔又はピークの個数の時系列データが生成される。

【0048】

さらに、上記のように所定の時間おきにカウントされた視線滞留間隔又はピークの個数について、所定の時間範囲に含まれる視線滞留間隔又はピークの個数の分布を求める。具体的には、例えば、所定の時間範囲を直近の１０分とし、３０秒の範囲内に含まれる視線滞留間隔又はピークの個数を１０秒おきにカウントした場合には、多数（この場合は６０個）の「３０秒の範囲内に含まれる視線滞留間隔又はピークの個数の値」が抽出され、これらの分布を求める。なお、この所定の時間範囲を時間と共にずらすことで、視線滞留間隔又はピークの個数の分布の時系列データを生成することができる。

【0049】

視線滞留間隔又はピークの個数の分布が正規分布に従っていると仮定すると、釣り鐘状の分布の幅に相当する分散が、視線滞留間隔又はピークの個数のばらつきの程度に対応している。したがって、この分散が大きいほどドライバの運動が活性化されており、一方、分散が小さいほどドライバの運動が単調であると言える。ドライバの状態を判定する処理においては、例えば、分散が大きいほどドライバの覚醒度は高く、分散が小さいほどドライバは眠気や疲労を感じていると判定することが可能である。

【0050】

また、例えば第２の数値解析方法として、視線滞留間隔のばらつきを調べる方法が考えられる。なお、視線滞留間隔を定めるピークを心臓の鼓動（心拍）に見立てた場合、視線滞留間隔は心拍間隔（ＲＲＩ）に対応していると言えることから、第２の数値解析方法は、ＲＲＩのばらつきを調べる方法と類似している。

【0051】

第２の数値解析方法の第１の例では、例えば、視線滞留間隔について、所定の時間範囲に含まれる視線滞留間隔の分布を求めることが可能である。所定の時間範囲は、視線滞留間隔よりも十分長い時間を設定することが望ましい。具体的には、例えば、所定の時間範囲を直近の１０分とすると、この所定の時間範囲内には多数の視線滞留間隔（数秒程度）が含まれており、多数の「視線滞留間隔の値」が抽出され、これらの分布を求める。なお、この所定の時間範囲を時間と共にずらすことで、視線滞留間隔の分布の時系列データを生成することができる。

【0052】

視線滞留間隔の分布が正規分布に従っていると仮定すると、釣り鐘状の分布の幅に相当する分散が、視線滞留間隔のばらつきの程度に対応している。したがって、この分散が大きいほど視線滞留間隔が単調ではなく、一方、分散が小さいほど視線滞留間隔が単調であると言える。ドライバの状態を判定する処理においては、例えば、分散が大きいほどドライバの覚醒度は高く、分散が小さいほどドライバは眠気や疲労を感じていると判定することが可能である。

【0053】

また、第２の数値解析方法の第２の例として、視線滞留間隔の周期的な構造に関連した特徴（周波数成分）を抽出してもよい。ここでは、生体ゆらぎを反映する周期的データにおいて、高周波数成分（ＨＦ成分）が副交感神経の活性度を反映し、低周波数成分（ＬＦ成分）／高周波数成分（ＨＦ成分）が交感神経の活性度を反映するという考えに基づいている。

【0054】

ここでは、経過時間と視線滞留間隔の値との関係を表す視線滞留間隔の時系列データを考える。なお、視線滞留間隔が例えば数秒程度である場合には数秒程度おきに値がプロットされることから、視線滞留間隔のデータは、時間軸方向に離散的なデータである。したがって、必要に応じて補間処理などを行うことで、時間軸方向に連続した視線滞留間隔の時系列データを生成してもよい。

【0055】

視線滞留間隔の時系列データに対して、パワースペクトル密度の計算を行うことで、視線滞留間隔の時系列データの周期構造を抽出することができる。視線滞留間隔の時系列データが生体ゆらぎを反映していれば、心拍変動の時系列データなどの場合と同じように、ＬＦ成分とＨＦ成分のそれぞれにパワースペクトルのピークが現れる。そして、ＬＦ成分を含む領域のパワースペクトル積分値（ＬＦ領域の積分値）と、ＨＦ成分を含む領域のパワースペクトル積分値（ＨＦ領域の積分値）とを計算して、例えば、ＨＦ領域の積分値が高いほどリラックス状態であり、（ＬＦ領域の積分値）／（ＨＦ領域の積分値）の値が高いほど緊張状態であると判定することが可能である。

【0056】

また、例えば第３の数値解析方法として、視線滞留間隔に対する非線形解析処理を行う方法が考えられる。具体的には、視線滞留間隔の時系列データから抽出される複数の視線滞留間隔の値に基づいてアトラクタを生成し、生成されたアトラクタに基づいてリアプノフ指数を算出する。

【0057】

第３の数値解析方法の概要を図７に示す。視線滞留間隔は、例えば、Ｐ［１］、Ｐ［２］、Ｐ［３］、Ｐ［Ｎ］、…などと表されるように、時系列に並ぶ情報として取り扱われる。非線形解析処理では、時系列に隣接するＮ個のデータのセット（Ｐ［１］、Ｐ［２］、…、Ｐ［Ｎ］）をＮ次元空間上にプロットするとともに、データのセットを順次ずらしながら、（Ｐ［２］、Ｐ［３］、…、Ｐ［Ｎ＋１］）、（Ｐ［３］、Ｐ［４］、…、Ｐ［Ｎ＋２］）、…のように、Ｎ次元空間の座標上に順次プロットする。なお、図７では、Ｎ＝３の場合の一例が模式的に表されている。視線滞留間隔のデータのセットがプロットされたＮ次元空間上の座標を結ぶ線は軌跡を描き、アトラクタを形成する。このように形成されたアトラクタからは、過去のアトラクタ群に対する安定傾向を解析することでリアプノフ指数を算出することが可能である。リアプノフ指数の算出は任意の周期で実行可能であり、その結果、リアプノフ指数の時系列データが生成される。視線滞留間隔のゆらぎが生体ゆらぎと相関しているという前提に基づくと、視線滞留間隔の時系列データから得られたリアプノフ指数は、身体機能や脳機能の状態を反映した数値であると言える。リアプノフ指数が低いほどドライバの身体機能や脳機能が低くなる傾向にあることから、例えば、リアプノフ指数が低いほどドライバは眠気や疲労を感じていると判定することが可能である。

【産業上の利用可能性】

【0058】

本発明は、車両運転中（ドライビングシミュレータによる模擬運転を含む）のドライバの状態を判定するための技術に適用可能である。

【符号の説明】

【0059】

１０ ドライバ状態判定装置
１１ 撮像データ取得部
１２ 視線運動検出部
１３ 運転者状態判定部
２０ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】