特許 7460362 ドライバー状態推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-25

(45)【発行日】2024-04-02

(54)【発明の名称】ドライバー状態推定装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240326BHJP

   G06T 7/70 20170101ALI20240326BHJP

   G06T 7/00 20170101ALI20240326BHJP

【ＦＩ】

G08G1/16 F

G06T7/70 B

G06T7/00 660A

【請求項の数】 7

(21)【出願番号】P 2019229448

(22)【出願日】2019-12-19

(65)【公開番号】P2021096784

(43)【公開日】2021-06-24

【審査請求日】2022-11-16

(73)【特許権者】

【識別番号】501418498

【氏名又は名称】矢崎エナジーシステム株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】鈴木 佑季

(72)【発明者】

【氏名】大石 啓之

(72)【発明者】

【氏名】小林 裕一

(72)【発明者】

【氏名】薮崎 広行

【審査官】西畑 智道

(56)【参考文献】

【文献】特開２０２０－８６９０７（ＪＰ，Ａ）

【文献】国際公開第２０１６／１６６７９１（ＷＯ，Ａ１）

【文献】特開２００５－０１８６５６（ＪＰ，Ａ）

【文献】特開平１０－２７２９６０（ＪＰ，Ａ）

【文献】特開２０１４－０４８８８５（ＪＰ，Ａ）

【文献】特開２０１６－０９５５７１（ＪＰ，Ａ）

【文献】特開２０１６－０７６１３１（ＪＰ，Ａ）

【文献】特開２０１９－１１４０８３（ＪＰ，Ａ）

【文献】特開２０１９－０８６８１３（ＪＰ，Ａ）

【文献】特開２０１７－３３１２５（ＪＰ，Ａ）

【文献】特開２０１４－０９２９６５（ＪＰ，Ａ）

【文献】特開２０１９－０７９１５０（ＪＰ，Ａ）

【文献】特開２００５－３１２８６８（ＪＰ，Ａ）

【文献】特開２００６－１７４９６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両のドライバーの眠気レベルを推定するドライバー状態推定装置であって、
前記ドライバーの頭頚部の内少なくとも顔を撮影した画像を逐次取得する画像取得部と、
前記画像における、前記ドライバーの、顔位置及び開眼度の少なくとも一の変化に基づいて、前記眠気レベルを判定する第一判定部と、
前記第一判定部によって前記眠気レベルが変化なしと判定された場合に、前記画像から前記ドライバーの安全確認行為を検出し、前記安全確認行為の時系列変化に基づいて、前記眠気レベルを判定する第二判定部と、を備える
ことを特徴とするドライバー状態推定装置。

【請求項2】

前記第一判定部は、
前記ドライバーが運転を開始した時の前記眠気レベル又は直前に判定した前記眠気レベルを基準値として、前記顔位置が変化する頻度が減少した場合、又は、一回当たりの瞬き時間が増加した場合、
閉じ切らない瞬きが現れた場合、及び、
開眼時間が閉眼時間より短い場合、
のいずれか一に該当すると、前記眠気レベルが前記基準値よりも高いと判定する
ことを特徴とする請求項１に記載のドライバー状態推定装置。

【請求項3】

前記第二判定部は、
前記ドライバーの顔向き、開眼度及び視線方向の少なくともいずれか一の変化から前記安全確認行為を検出し、
前記ドライバーが正面方向を向いている前記画像において、眠気抵抗行為を検出し、
前記ドライバーが運転を開始した時の前記眠気レベルを基準値として、前記安全確認行為の一回当たりに要する時間が増加した場合、又は、前記安全確認行為の頻度が減少した場合、及び、
前記眠気抵抗行為を検出した場合、
のいずれか一に該当すると、前記眠気レベルが前記基準値よりも高いと判定する
ことを特徴とする請求項１又は２に記載のドライバー状態推定装置。

【請求項4】

前記第二判定部は、
前記ドライバーの顔向きのピッチ方向、ヨー方向、及びロール方向の少なくともいずれか一の変化に基づいて、メータ確認行為、後側方確認行為、及び周囲確認行為の少なくともいずれか一を、前記安全確認行為として検出し、
前記安全確認行為が前記メータ確認行為であるかを判断した後、前記安全確認行為が前記後側方確認行為又は前記周囲確認行為であるかを判断する
ことを特徴とする請求項１～３のいずれか一項に記載のドライバー状態推定装置。

【請求項5】

前記眠気レベルは、最も低いレベルから最も高いレベルまで、任意の段階に区分され、
前記第一判定部又は前記第二判定部は、前記眠気レベルが予め定めた閾値を超えたか否かを示すフラグ情報を生成する
ことを特徴とする請求項１～４のいずれか一項に記載のドライバー状態推定装置。

【請求項6】

前記第一判定部又は前記第二判定部が前記眠気レベルの判定に用いた情報を、判定された前記眠気レベルに対応付けて記録する記録部を備え、
前記第一判定部及び前記第二判定部は、新たな判定に用いる情報が、前記記録部に記録された情報のうち、いずれの眠気レベルに対応付けたものに類似するかに基づいて、新たな眠気レベルを判定する
ことを特徴とする請求項１～５のいずれか一項に記載のドライバー状態推定装置。

【請求項7】

前記第一判定部は、
前記顔位置及び前記開眼度の少なくとも一の変化に基づいて、前記眠気レベルが、最も低いレベルから最も高いレベルまでの複数のレベルのうちの何れか１つのレベルに該当すると判定し、
前記第二判定部は、
前記第一判定部によって前記眠気レベルが前記最も高いレベル以外の複数のレベルのうちの何れに該当すると判定されている場合においても、前記安全確認行為の時系列変化に基づいて、前記眠気レベルが前記第一判定部によって判定されている現在のレベルより１つ高いレベルに該当するか否かを判定する
ことを特徴とする請求項１～６のいずれか一項に記載のドライバー状態推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ドライバー状態推定装置に関する。

【背景技術】

【0002】

車両のドライバーを支援する種々の技術が提案されている（例えば、特許文献１～３及び非特許文献１参照。）。特許文献１は、ドライバーの顔画像から、運転中の作業負荷を推定する技術を開示する。特許文献２は、車両の走行状態とドライバーの運転操作及び視線方向と、を検出して危険な状況を検知し、警報を出力する技術を開示する。特許文献３は、ドライバーの顔の向きと、車両の運転シーンとを検出し、これらに基づいてドライバーの安全確認行動を評価する技術を開示する。

【0003】

また、ドライバーの眠気具合を推定して警報を出すことで、ドライバーの居眠りを防止しようとする居眠り警報システムが検討されている。非特許文献１では、自動車運転中の眠気の変動を推定するための方法として、ドライバーの表情画像から眠気評定を行っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１２０５２９号公報

【文献】特開２０１８－６７１９８号公報

【文献】特開２０１７－１５１６９４号公報

【非特許文献】

【0005】

【文献】北島洋樹，沼田仲穂，山本恵一，五井美博、「自動車運転時の眠気の予測方法についての研究（第1報，眠気表情の評定法と眠気変動の予測に有効な指標について）」、日本機械学会論文集（C編）63巻，613号, PP93-100, 1997

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１では、ドライバーの表情画像を見た評定者が、ドライバーの眠気レベルを５段階に評定している。眠気推定アルゴリズムを検討する上では、そのドライバーが眠いのか否か、さらに、どれくらい眠いのか、という眠気レベル正解値が必要となる。しかしながら、非特許文献１に記載されたような方法では、眠気推定の際に着目する指標の種類や、その指標を保持する時間等が異なることから、眠気レベル正解値にぶれが生じる可能性が大きい。また、表情評定法において、ドライバーの表情、特に目の情報（目の開閉具合等）のみから、実車環境上で眠気レベルを推定しようとしても、そのドライバーの表情が本当にドライバーに眠気に起因するものか否かの判断が困難であった。例えば、日光の照射によりドライバーが目を細めたのか、眠気によってドライバーのまぶたが閉じかかったのか、区別することは困難であったため、眠気レベルの正確な推定が困難であった。尚、特許文献１～３には、眠気レベルの推定について開示がない。

【0007】

本発明は、上述した事情に鑑みてなされたものであり、その目的は、ドライバーの眠気レベルを正確に推定できるドライバー状態推定装置を提供することにある。

【課題を解決するための手段】

【0008】

前述した目的を達成するために、本発明に係るドライバー状態推定装置は、下記（１）～（７）を特徴としている。
（１） 車両のドライバーの眠気レベルを推定するドライバー状態推定装置であって、
前記ドライバーの頭頚部の内少なくとも顔を撮影した画像を逐次取得する画像取得部と、
前記画像における、前記ドライバーの、顔位置及び開眼度の少なくとも一の変化に基づいて、前記眠気レベルを判定する第一判定部と、
前記第一判定部によって前記眠気レベルが変化なしと判定された場合に、前記画像から前記ドライバーの安全確認行為を検出し、前記安全確認行為の時系列変化に基づいて、前記眠気レベルを判定する第二判定部と、を備える
ことを特徴とするドライバー状態推定装置。
（２） 前記第一判定部は、
前記ドライバーが運転を開始した時の前記眠気レベル又は直前に判定した前記眠気レベルを基準値として、前記顔位置が変化する頻度が減少した場合、又は、一回当たりの瞬き時間が増加した場合、
閉じ切らない瞬きが現れた場合、及び、
開眼時間が閉眼時間より短い場合、
のいずれか一に該当すると、前記眠気レベルが前記基準値よりも高いと判定する
ことを特徴とする上記（１）に記載のドライバー状態推定装置。
（３） 前記第二判定部は、
前記ドライバーの顔向き、開眼度及び視線方向の少なくともいずれか一の変化から前記安全確認行為を検出し、
前記ドライバーが正面方向を向いている前記画像において、眠気抵抗行為を検出し、
前記ドライバーが運転を開始した時の前記眠気レベルを基準値として、前記安全確認行為の一回当たりに要する時間が増加した場合、又は、前記安全確認行為の頻度が減少した場合、及び、
前記眠気抵抗行為を検出した場合、
のいずれか一に該当すると、前記眠気レベルが前記基準値よりも高いと判定する
ことを特徴とする上記（１）又は（２）に記載のドライバー状態推定装置。
（４） 前記第二判定部は、
前記ドライバーの顔向きのピッチ方向、ヨー方向、及びロール方向の少なくともいずれか一の変化に基づいて、メータ確認行為、後側方確認行為、及び周囲確認行為の少なくともいずれか一を、前記安全確認行為として検出し、
前記安全確認行為が、前記メータ確認行為であるかを判断した後、前記安全確認行為が前記後側方確認行為又は前記周囲確認行為であるかを判断する
ことを特徴とする上記（１）～（３）のいずれか一に記載のドライバー状態推定装置。
（５） 前記眠気レベルは、最も低いレベルから最も高いレベルまで、任意の段階に区分され、
前記第一判定部又は前記第二判定部は、前記眠気レベルが予め定めた閾値を超えたか否かを示すフラグ情報を生成する
ことを特徴とする上記（１）～（４）のいずれか一に記載のドライバー状態推定装置。
（６） 前記第一判定部又は前記第二判定部が前記眠気レベルの判定に用いた情報を、判定された前記眠気レベルに対応付けて記録する記録部を備え、
前記第一判定部及び前記第二判定部は、新たな判定に用いる情報が、前記記録部に記録された情報のうち、いずれの眠気レベルに対応付けたものに類似するかに基づいて、新たな眠気レベルを判定する
ことを特徴とする上記（１）～（５）のいずれか一に記載のドライバー状態推定装置。
（７） 前記第一判定部は、
前記顔位置及び前記開眼度の少なくとも一の変化に基づいて、前記眠気レベルが、最も低いレベルから最も高いレベルまでの複数のレベルのうちの何れか１つのレベルに該当すると判定し、
前記第二判定部は、
前記第一判定部によって前記眠気レベルが前記最も高いレベル以外の複数のレベルのうちの何れに該当すると判定されている場合においても、前記安全確認行為の時系列変化に基づいて、前記眠気レベルが前記第一判定部によって判定されている現在のレベルより１つ高いレベルに該当するか否かを判定する
ことを特徴とする上記（１）～（６）のいずれか一に記載のドライバー状態推定装置。

【0009】

上記（１）の構成のドライバー状態推定装置によれば、ドライバーの顔位置や開眼度（表情）から眠気レベルの変化なしと判定された場合に、安全確認行為の時系列変化に基づいて、眠気レベルの判定を行うことで、眠気レベル推定をより正確に行うことができる。また、眠気兆候行為の現れ方は各ドライバーによって異なるが、各ドライバーについて安全確認行為の時系列変化を検出することで、ドライバー毎に、より正確な眠気レベルを推定できる。本開示において、頭頚部は、頭部及び首を指し、頭部は、顔及び頭（正面視で目から上の部分）を含む、首から上の部位を指し、顔は、目、鼻、口などを含む頭部の前面の部位を指す。

【0010】

上記（２）の構成のドライバー状態推定装置によれば、運転開始時の眠気レベル又は直前に判定した眠気レベルを基準値とすることで、各ドライバーによる個人差及び運転時期の差異による評価のばらつきを抑制できる。一例として、眠気レベルが１～５の５段階に区分され、運転開始時の眠気レベルを最も低い１と定めた場合において、例えば、顔位置の変化頻度が運転開始時よりも減少した場合には、動きの活発さが低下しているとして、眠気レベルを２に引き上げることができる。

【0011】

上記（３）の構成のドライバー状態推定装置によれば、運転開始時の眠気レベル又は直前に判定した眠気レベルを基準値とすることで、各ドライバーによる個人差及び運転時期の差異による評価のばらつきを抑制できる。一例として、眠気レベルが１～５の５段階に区分され、運転開始時の眠気レベルを最も低い１と定めた場合において、例えば、安全確認行為の頻度が運転開始時よりも減少した場合には、動きの活発さが低下しているとして、眠気レベルを２に引き上げることができる。

【0012】

上記（４）の構成のドライバー状態推定装置によれば、眠気レベルの変化が現れやすいメータ確認行為を、やらなければ事故につながる可能性があり眠気があっても実施される後側方確認行為や周囲確認行為よりも先に判断する。これにより、眠気レベル推定の精度が向上する。本開示において、顔向きがピッチ方向（又はヨー方向）にのみ変化した場合とは、ピッチ方向（又はヨー方向）に所定量変化し、かつ、ヨー方向（ピッチ方向）又はロール方向にも変化したがその変化量が所定量に満たない場合を含む。

【0013】

上記（５）の構成のドライバー状態推定装置によれば、任意に設定した眠気レベルの閾値に応じて、例えば警報や通報を発するためのフラグとして扱うことができる。このため、危険な居眠り状態と推定される場合にのみ警報を発するようにして、眠気がさほどない場合に警報が鳴ることで生じる、「警報に対する慣れ」を防ぎ、ドライバーを適切にサポートすることができる。

【0014】

上記（６）の構成のドライバー状態推定装置によれば、例えば眠気レベルが上昇し眠気レベル４となった後に、ドライバーが覚醒して眠気レベルが３に低下する場合のように、眠気レベルが低下したことを判定できる。また、過去の記録情報を参照して最も類似する記録情報に対応する眠気レベルと判定するので、例えば眠気レベルが５から３に低下したことも判定できる。

【発明の効果】

【0015】

本発明によれば、ドライバーの眠気レベルを正確に推定できる。

【0016】

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の実施形態のドライバー状態推定装置の構成を示すブロック図である。

【図2】図２は、ドライバーの顔向き角度を説明するための図である。

【図3】図３は、図１のドライバー状態推定装置の動作を示すフローチャート（１）である。

【図4】図４は、図１のドライバー状態推定装置の動作を示すフローチャート（２）である。

【図5】図５は、図１のドライバー状態推定装置の動作を示すフローチャート（３）である。

【図6】図６は、図１のドライバー状態推定装置の動作を示すフローチャート（４）である。

【図7】図７は、図１のドライバー状態推定装置の動作を示すフローチャート（５）である。

【図8】図８は、図１のドライバー状態推定装置の動作を示すフローチャート（６）である。

【図9】図９は、図１のドライバー状態推定装置の動作を示すフローチャート（７）である。

【図10】図１０は、図１のドライバー状態推定装置の動作を示すフローチャート（８）である。

【発明を実施するための形態】

【0018】

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。本実施形態のドライバー状態推定装置は、車両のドライバーの眠気レベルを推定するものであり、車両に搭載されて用いられる。

【0019】

図１は、本発明の実施形態のドライバー状態推定装置１０の構成を示すブロック図である。ドライバー状態推定装置１０は、カメラ１１、顔位置検出部１２、顔向き検出部１３、開眼度検出部１４、ドライバー顔情報記録部１５、安全確認行為評価部１６、眠気抵抗行為評価部１７、眠気行為評価部１８、行為記録部１９、及び眠気レベル判定部２０を備える。

【0020】

カメラ１１は、車両内部のメータ前等に設置され、ドライバーの頭頚部の内少なくとも顔を含む車室内の様子を撮像して画像データを取得する。カメラ１１は、カメラ１１は、例えば３０万画素、１００万画素、２００万画素が撮像面に配置されたイメージセンサを少なくとも１つ有し、ステレオ画像等の画像を撮像可能である。イメージセンサは、ＣＭＯＳ（相補性金属酸化膜半導体）センサで構成されてもよいし、ＣＣＤ（電荷結合素子）センサで構成されてもよい。

【0021】

顔位置検出部１２は、カメラ１１が取得した画像データに基づいて、画像中におけるドライバーの顔位置を検出する。顔向き検出部１３は、カメラ１１が取得した画像データに基づいて、ドライバーの顔向きを検出する。

【0022】

顔向き検出部１３は、ドライバーの顔向きが、図２に示すピッチ方向、ロール方向、ヨー方向において、各何度変位したかを検出する。図２に示すように、ドライバーＤの顔が車両の進行方向（前方、正面）を向いている場合における、左右方向に延びる軸周りの回転方向がピッチ方向、前後方向に延びる軸周りの回転方向がロール方向、上下方向に延びる軸周りの回転方向がヨー方向である。

【0023】

開眼度検出部１４は、カメラ１１が取得した画像データに基づいて、ドライバーＤの目を画像処理により検出して開眼度を算出する。開眼度は、ドライバーＤの目の開き具合を表す。開眼度が所定の閾値以上である場合に開眼状態が検出され、開眼度が所定の閾値に満たない場合に閉眼状態が検出される。また、開眼度検出部１４は、１回当たりの瞬き時間、単位時間当たりの瞬き回数、まぶたを閉じるスピード、目閉じ時間等を検出する。

【0024】

ドライバー顔情報記録部１５は、カメラ１１が取得した画像データ、並びに、顔位置検出部１２、顔向き検出部１３、及び開眼度検出部１４の各検出結果を記録する。

【0025】

安全確認行為評価部１６は、ドライバー顔情報記録部１５の記録内容に基づいて、ドライバーの顔向き及び目動き（顔向き、開眼状態、及び視線方向）の変化から、ドライバーによる安全確認行為を検出する。安全確認行為評価部１６は、安全確認行為として、メータ確認行為、サイドミラー確認行為（後側方確認行為）、及び周囲確認行為（目視によって周囲を確認する行為）のいずれかが行われたか否かを検出する。後側方確認行為は、サイドミラーを確認する行為に加え、ルームミラーや、将来的に車両搭載が予想される電子ミラー（モニター）を確認する行為を含む。安全確認行為評価部１６は、ドライバーが開眼状態であり、顔向き及び目動きのピッチ方向の往復移動が１秒前後で行われ、かつ、ピッチ方向の移動量が設定値付近であった場合に、メータ確認行為が行われたと評価する。安全確認行為評価部１６は、ドライバーが、開眼状態で、顔向き及び目動きの設定値付近でのヨー方向移動を行い、かつ、このヨー方向の往復移動が１秒前後で行われた場合に、サイドミラー確認行為が行われたと評価する。安全確認行為評価部１６は、ドライバーが、開眼状態で、顔向き及び目動きの設定値付近でのピッチ方向、ヨー方向、及びロール方向の移動を行った場合に、周囲確認行為が行われたと評価する。

【0026】

眠気抵抗行為評価部１７は、ドライバー顔情報記録部１５の記録内容に基づいて、ドライバーが正面方向を向いている画像（正面画像）において、ドライバーの顔の一部が欠如（ロスト）している場合、眠気抵抗行為が行われたことを検出する。すなわち、眠気抵抗行為の一例として、ドライバーが眠気に抵抗しようとして顔や頭付近に手を添える行為が行われた場合、正面画像において顔の一部が手で隠される。よって、眠気抵抗行為評価部１７は、正面画像において顔の一部がロストしている場合に、眠気抵抗行為が行われたと評価する。

【0027】

眠気行為評価部１８は、ドライバー顔情報記録部１５の記録内容に基づいて、眠気行為が行われたことを検出する。眠気行為は、ドライバーに生じた眠気によって引き起こされる行為であり、あくびや頭部の揺れ等が一例として挙げられる。例えば、眠気行為評価部１８は、顔の画像処理により口の縦横比を算出し、その変化が所定時間継続した場合にあくびの検出を行う。尚、フローチャート（図３～図１０）では、眠気行為評価部１８の評価結果を用いなかったが、眠気抵抗行為評価部１７に代えて、又は、眠気抵抗行為評価部１７と共に、眠気行為評価部１８の出力を用いて、ドライバーの眠気レベルを判定してもよい。

【0028】

行為記録部１９は、安全確認行為評価部１６、眠気抵抗行為評価部１７、及び眠気行為評価部１８の検出結果を記録する。

【0029】

眠気レベル判定部２０は、行為記録部１９の記録内容に基づいて、ドライバーの眠気レベルを判定する。眠気レベル判定部２０は、カメラ１１が取得した画像における、ドライバーの顔位置及び開眼度の少なくとも一の変化に基づいて、眠気レベルの変化を判定する。また、眠気レベル判定部２０は、眠気レベルが変化なしと判定された場合には、カメラ１１が取得した画像からドライバーの安全確認行為を検出し、安全確認行為の時系列変化に基づいて、眠気レベルの変化を判定する。

【0030】

具体的には、眠気レベル判定部２０は、ドライバーの眠気レベルを、１～５の５段階で判定する。レベルが高くなるにつれ、眠気が高まる状態を示す。以下に、眠気レベル判定部２０が眠気レベル１～５を判定する流れの一例を示す。尚、各眠気レベルの判定において、眠気レベルが上昇しても、目情報に関する観察を続け重みづけを行うことで、より詳細に眠気レベルの推定を行うことができる。

【0031】

眠気レベル判定部２０は、ドライバーが運転を開始した時点（運転開始時）の状態を、通常状態として、眠気レベル１と判定する。ドライバー状態推定装置１０の各部は、運転開始時から一定時間（例えば６分間）、目情報及び安全確認行為に関する情報を収集して、キャリブレーションを行う。眠気レベル判定部２０は、キャリブレーション時間内に収集された目情報、安全確認行為に関する情報を基準値として、眠気レベル２以降の判定を行う。

【0032】

眠気レベル判定部２０は、眠気レベル１の通常状態と比較して、単位時間当たりの顔位置変化頻度が減少した状態を眠気レベル２と判定する。また、眠気レベル判定部２０は、顔位置変化頻度の減少が検知できなかった場合において、眠気レベル１の通常状態と比較して単位時間あたりに行う安全確認行為頻度が減少した状態を、眠気レベル２と判定する。眠気レベル２において、ドライバーは眠気をほとんど自覚していない。

【0033】

眠気レベル判定部２０は、１回あたりの瞬き時間の増加を設定回数だけ確認した状態を眠気レベル３と判定する。または、眠気レベル判定部２０は、１回あたりの瞬き時間の増加を設定回数だけ確認できなかった場合において、眠気レベル２の状態と比較して単位時間あたりに行う安全確認行為頻度が減した状態を、眠気レベル３と判定する。または、眠気レベル判定部２０は、１回あたりの瞬き時間の増加を設定回数だけ確認できなかった場合において、ある期間の中で眠気抵抗行為を検出した状態を、眠気レベル３と判定する。眠気レベル３において、ドライバーは眠気を自覚し始めている。

【0034】

眠気レベル判定部２０は、閉じ切らない瞬きの出現を検知した状態、もしくは、一定期間において保持される開眼度が眠気レベル３の判定時より小さくなったことを検知した状態を眠気レベル４と判定する。また、眠気レベル判定部２０は、一定期間において保持される開眼度が眠気レベル３の判定時より小さくなったことを検知できなかった場合において、眠気レベル３の状態と比較して単位時間あたりに行う安全確認行為頻度が減少した状態を、眠気レベル４と判定する。

【0035】

眠気レベル判定部２０は、一定時間における目閉じ時間の増加を検知した状態、もしくは、目閉じ時間の増加が検知できなかった場合において、眠気レベル４の状態と比較して単位時間あたりに行う安全確認行為頻度が減少した状態を眠気レベル５と判定する。ここで、目閉じ時間の増加とは、一定時間において、開眼状態である時間（開眼時間）が、閉眼状態である時間（閉眼時間）よりも短いことを意味する。

【0036】

次に、上記のように構成されたドライバー状態推定装置１０による眠気レベル判定動作について説明する。図３～図１０は、ドライバー状態推定装置１０の動作を示すフローチャート（１）～（８）である。ドライバーが運転を開始すると、ドライバー状態推定装置１０は、図３～図１０に示す処理を実行して眠気レベルを判定する。

【0037】

図３に示すように、ドライバーが車両の運転を開始すると、運転開始時点から例えば６分間にわたって、ドライバー状態推定装置１０は、カメラ１１が取得した画像データに基づいて、目情報に関するキャリブレーションを行う（ステップＳ１）。ステップＳ１において、ドライバー状態推定装置１０は、１回あたりの瞬き時間、単位時間あたりの瞬き回数、まぶたを閉じるスピード、開眼度、及び顔位置が変化する頻度等の各種情報Ａ１を基準値として記録して、通常状態、すなわち眠気レベル１とのフラグを立てる。すなわち、眠気レベル１の場合における１回あたりの瞬き時間等が、各種情報Ａ１として記録される。また運転開始時において、ドライバー状態推定装置１０は、顔向きと開眼状態を把握して、安全確認行為に関するキャリブレーションを行うが、この処理については、図４を参照して後述する。

【0038】

各種情報Ａ１を記録した後、ドライバー状態推定装置１０は、顔位置Ａ１と比較して、単位時間当たりの顔位置が変化する頻度が減少したか否かを判断し（ステップＳ２）、減少していれば、眠気レベル２と判定する（眠気レベル２のフラグを立てる）（ステップＳ３）。減少していなければ、後述する図５に示す処理に移行する。ドライバー状態推定装置１０は、眠気レベル２と判定した際の各種情報Ａ２を記録する（ステップＳ４）。

【0039】

ドライバー状態推定装置１０は、１回あたりの瞬き時間が、眠気レベル２の場合よりも増加したかを判断し（ステップＳ５）、増加していれば、眠気レベル３と判定する（眠気レベル３のフラグを立てる）（ステップＳ６）。増加していなければ、後述する図７に示す処理に移行する。ドライバー状態推定装置１０は、眠気レベル３と判定した際の各種情報Ａ３を記録する（ステップＳ７）。

【0040】

ドライバー状態推定装置１０は、閉じ切らない瞬きが出現したか否かを判断する（ステップＳ８）。すなわちステップＳ８において、ドライバー状態推定装置１０は、まぶたが閉じるスピードが遅くなり、かつ、開眼度が０でない瞬間が出現したか、を判断する。Ｙｅｓであれば、ドライバー状態推定装置１０は、眠気レベル４と判定する（眠気レベル４のフラグを立てる）（ステップＳ１０）。ステップＳ８においてＮｏであれば、ドライバー状態推定装置１０は、一定時間、開眼度が眠気レベル２の場合よりも小さい状態を保持したか否かを判断する（ステップＳ９）。ドライバー状態推定装置１０は、ステップＳ９において、ＹｅｓであればステップＳ１０の処理に移行し、Ｎｏであれば後述する図９に示す処理に移行する。ドライバー状態推定装置１０は、眠気レベル４と判定した際の各種情報Ａ４を記録する（ステップＳ１１）。

【0041】

ドライバー状態推定装置１０は、一定時間における目閉じ時間の増加が検知されたか否か、すなわち、開眼時間が閉眼時間よりも短いかを判断する（ステップＳ１２）。ステップＳ１２において、ドライバー状態推定装置１０は、一定時間あたりの瞬き時間の増加、かつ、開眼度が０となる瞬間が出願したか否かを判断する。ステップＳ１２において、Ｙｅｓであれば、ドライバー状態推定装置１０は、眠気レベル５と判定する（眠気レベル５のフラグを立てる）（ステップＳ１３）。１回あたりの瞬き時間ステップＳ１２においてＮｏであれば、後述する図１０に示す処理に移行する。

【0042】

図４を参照して、運転開始時における、安全確認行為に関するキャリブレーションについて説明する。ドライバーが車両の運転を開始すると、運転開始時点から例えば６分間にわたって、ドライバー状態推定装置１０は、カメラ１１が取得した画像データに基づいて、安全確認行為に関するに関するキャリブレーションを行う（ステップＳ２１）。ステップＳ２１において、ドライバー状態推定装置１０は、まず、メータ確認行為が行われたか否かを判断する。すなわちステップＳ２１において、ドライバー状態推定装置１０は、ドライバーが開眼状態であり、顔向き及び目動きのピッチ方向の往復移動が１秒前後で行われ、かつ、ピッチ方向の移動量が設定値付近であったか、否かを判断する。ステップＳ２１でＹｅｓであれば、ドライバー状態推定装置１０は、メータ確認行為が行われたと評価し（メータ確認行為フラグＢ１を立て）（ステップＳ２２）、顔向き角度、開眼度、及び行為実施時間を記録する（ステップＳ２３）。ステップＳ２１でＮｏであれば、ドライバー状態推定装置１０は、ステップＳ２４の処理に移行する。

【0043】

次に、ステップＳ２４において、ドライバー状態推定装置１０は、サイドミラー確認行為が行われたか否かを判断する。すなわちステップＳ２４において、ドライバー状態推定装置１０は、ドライバーが開眼状態であり、顔向き及び目動きのヨー方向の往復移動が１秒前後で行われ、かつ、ヨー方向の移動量が設定値付近であったか、否かを判断する。ステップＳ２４でＹｅｓであれば、ドライバー状態推定装置１０は、サイドミラー確認行為が行われたと評価し（サイドミラー確認行為フラグＣ１を立て）（ステップＳ２５）、顔向き角度、開眼度、及び行為実施時間を記録する（ステップＳ２６）。ステップＳ２４でＮｏであれば、ドライバー状態推定装置１０は、ステップＳ２７の処理に移行する。

【0044】

さらに、ステップＳ２７において、ドライバー状態推定装置１０は、周囲確認行為が行われたか否かを判断する。すなわちステップＳ２７において、ドライバー状態推定装置１０は、開眼状態で、顔向き及び目動きの設定値付近でのピッチ方向、ヨー方向、及びロール方向の移動を行ったか、否かを判断する。ステップＳ２７でＹｅｓであれば、ドライバー状態推定装置１０は、周囲確認行為が行われたと評価し（周囲確認行為フラグＤ１を立て）（ステップＳ２８）、顔向き角度、開眼度、及び行為実施時間を記録する（ステップＳ２９）。ステップＳ２７でＮｏであれば、ドライバー状態推定装置１０は、ステップＳ２１の処理に移行し、以降の処理を繰り返す。以上のようにして、ドライバー状態推定装置１０は、安全確認行為に関するキャリブレーションを実行する。

【0045】

図５を参照して、図３のステップＳ２においてＮｏであった場合、すなわち、ドライバーの顔位置の変化頻度が眠気レベル１の場合と比較して減少しなかった場合の処理について説明する。ドライバー状態推定装置１０は、ステップＳ３１において、ドライバーが開眼状態であり、かつ、顔向き及び目動きがピッチ方向にのみ変化したか否かを判断する。ステップＳ３１においてＹｅｓであれば、ドライバー状態推定装置１０は、メータ確認行為フラグＢ２を立てる（ステップＳ３２）。そして、ドライバー状態推定装置１０は、１回あたりの確認時間が通常状態（眠気レベル１の場合）より増加したか、又は、単位時間当たりの確認回数が通常状態（眠気レベル１の場合）より減少したか、を判断する（ステップＳ３３）。ステップＳ３３においてＹｅｓであれば、ドライバー状態推定装置１０は、図３のＳ３の処理に戻って、眠気レベル２のフラグを立てる。ステップＳ３３においてＮｏであれば、ドライバー状態推定装置１０は、後述する図６の処理に移行する。

【0046】

一方、ステップＳ３１においてＮｏであった場合、ドライバー状態推定装置１０は、ドライバーが開眼状態であり、かつ、顔向き及び目動きがヨー方向にのみ変化したか否かを判断する（ステップＳ３４）。ステップＳ３４においてＹｅｓであれば、ドライバー状態推定装置１０は、サイドミラー確認行為フラグＣ２を立てて（ステップＳ３５）、単位時間当たりの確認回数が通常状態（眠気レベル１の場合）より減少したか、を判断する（ステップＳ３６）。ステップＳ３６においてＹｅｓであれば、ドライバー状態推定装置１０は、図３のＳ３の処理に戻って、眠気レベル２のフラグを立てる。ステップＳ３６においてＮｏであれば、ドライバー状態推定装置１０は、後述する図６の処理に移行する。

【0047】

また、ステップＳ３４においてＮｏであった場合、ドライバー状態推定装置１０は、ドライバーが開眼状態であり、かつ、顔向き及び目動きがピッチ方向、ヨー方向、及びロール方向に変化したか否かを判断する（ステップＳ３７）。ステップＳ３７においてＮｏであれば、今回記録情報が眠気レベルを次レベル（眠気レベル２）へあげるための条件を満たさなかった場合であるため、ドライバー状態推定装置１０は、ステップＳ２の処理に戻り、再度次レベルへの判定フローを行う。ステップＳ３７においてＹｅｓであれば、ドライバー状態推定装置１０は、周囲確認行為フラグＤ２を立てて（ステップＳ３８）、単位時間当たりの確認回数が通常状態（眠気レベル１の場合）より減少したか、を判断する（ステップＳ３９）。ステップＳ３９においてＹｅｓであれば、ドライバー状態推定装置１０は、図３のＳ３の処理に戻って、眠気レベル２のフラグを立てる。ステップＳ３９においてＮｏであれば、ドライバー状態推定装置１０は、後述する図６の処理に移行する。

【0048】

図６は、図５のステップＳ３３、Ｓ３６、Ｓ３９、後述する図７のステップＳ４３、Ｓ４６、Ｓ４９等においてＮｏであった場合の処理を示す。この場合、ドライバー状態推定装置１０は、今回判定情報が、眠気レベル低下方向と判断できる値か否かを判断する（ステップＳ４０）。眠気レベル低下方向と判断できる値とは、今回判定情報が前回判定情報に対して、例えば、単位時間当たりの顔位置変化頻度の減少、１回あたりの瞬き時間の減少、まぶた閉じスピードの上昇、開眼度保持時間の上昇等を示す値である。ステップＳ４０においてＹｅｓであった場合、ドライバー状態推定装置１０は、今回判定情報と、過去記録情報Ａ１～Ａ４とを比較して、最も類似する記録情報がＡ１～Ａ４のいずれであるかを判断し、その類似記録情報を持つ眠気レベルへ戻る（ステップＳ４０Ａ）。ステップＳ４０Ａの処理は、図３のステップＳ１４、Ｓ１５、及びＳ１６に示す処理に相当する。例えば、眠気レベル４であったドライバーが途中で覚醒し、ドライバー状態推定装置１０が、今回判定情報が眠気レベル２の記録情報Ａ２と最も類似する（眠気レベル２まで低下した）と判断した場合、ドライバー状態推定装置１０は、眠気レベル２のフロー（図３のステップＳ３の処理）に戻る。一方、ステップＳ４０においてＮｏであった場合、ドライバー状態推定装置１０は、次眠気レベルのフラグを立てる方向へ処理を移行する（ステップＳ４０Ｂ）。

【0049】

図７を参照して、図３のステップＳ５においてＮｏであった場合、すなわち、１回あたりの瞬き時間が眠気レベル１の場合よりも増加しなかった場合の処理について説明する。ドライバー状態推定装置１０は、ステップＳ４１において、ドライバーが開眼状態であり、かつ、顔向き及び目動きがピッチ方向にのみ変化したか否かを判断する。ステップＳ４１においてＹｅｓであれば、ドライバー状態推定装置１０は、メータ確認行為フラグＢ３を立てる（ステップＳ４２）。そして、ドライバー状態推定装置１０は、１回あたりの確認時間が眠気レベル２の場合より増加したか、又は、単位時間当たりの確認回数が眠気レベル２の場合より減少したか、を判断する（ステップＳ４３）。ステップＳ４３においてＹｅｓであれば、ドライバー状態推定装置１０は、後述する図８の処理に移行する。ステップＳ４３においてＮｏであれば、ドライバー状態推定装置１０は、図６の処理に移行する。

【0050】

一方、ステップＳ４１においてＮｏであった場合、ドライバー状態推定装置１０は、ドライバーが開眼状態であり、かつ、顔向き及び目動きがヨー方向にのみ変化したか否かを判断する（ステップＳ４４）。ステップＳ３４においてＹｅｓであれば、ドライバー状態推定装置１０は、サイドミラー確認行為フラグＣ３を立てて（ステップＳ４５）、単位時間当たりの確認回数が眠気レベル２の場合より減少したか、を判断する（ステップＳ４６）。ステップＳ４６においてＹｅｓであれば、ドライバー状態推定装置１０は、後述する図８の処理に移行する。ステップＳ４６においてＮｏであれば、ドライバー状態推定装置１０は、図６の処理に移行する。

【0051】

また、ステップＳ４４においてＮｏであった場合、ドライバー状態推定装置１０は、ドライバーが開眼状態であり、かつ、顔向き及び目動きがピッチ方向、ヨー方向、及びロール方向に変化したか否かを判断する（ステップＳ４７）。ステップＳ４７においてＮｏであれば、今回記録情報が眠気レベルを次レベル（眠気レベル３）へあげるための条件を満たさなかった場合であるため、ドライバー状態推定装置１０は、ステップＳ５の処理に戻り、再度次レベルへの判定フローを行う。ステップＳ４７においてＹｅｓであれば、ドライバー状態推定装置１０は、周囲確認行為フラグＤ３を立てて（ステップＳ４８）、単位時間当たりの確認回数が眠気レベル２の場合より減少したか、を判断する（ステップＳ４９）。ステップＳ４９においてＹｅｓであれば、ドライバー状態推定装置１０は、後述する図８の処理に移行する。ステップＳ４９においてＮｏであれば、ドライバー状態推定装置１０は、前回判定された眠気レベル２を保持して（図６のステップＳ４０）、図３のステップＳ４の処理に戻る。

【0052】

図８を参照して、図７のステップＳ４３、Ｓ４６、Ｓ４９においてＹｅｓであった場合の処理について説明する。図８のフローでは、ドライバーが眠気抵抗行為を行ったか否かを判断する。眠気抵抗行為の具体例として、ドライバーがタバコ（電子タバコを含む）を吸う、飲食する、あくびをする、目をこする、といった行為が挙げられる。これらの行為は、例えばたばこや飲み物を口元に持っていく、あくびの際口元を手で覆う、のように、顔や頭付近に手を添える行為を伴う。そこで、ドライバー状態推定装置１０は、顔や頭付近に手を添える行為を眠気抵抗行為の一例として検出する。ステップＳ５１において、ドライバー状態推定装置１０は、ドライバーの顔が正面を向いている時に、顔パーツの一部がロストしているか、すなわち、ドライバーの正面向き顔画像において、一部が欠けているか、を判断する。ドライバー状態推定装置１０は、ステップＳ５１においてＹｅｓであれば、眠気抵抗行為フラグＥ１を立てて（ステップＳ５２）、図３のステップＳ６の処理に戻る。ステップＳ５１においてＮｏであれば、ドライバー状態推定装置１０は、図６の処理に移行する。

【0053】

図９を参照して、図３のステップＳ９においてＮｏであった場合、すなわち、閉じ切らない瞬きが出現せず、かつ、眠気レベル３の判定時よりも開眼度が小さくなったことを検知しなかった場合の処理について説明する。ドライバー状態推定装置１０は、ステップＳ６１において、ドライバーが開眼状態であり、かつ、顔向き及び目動きがピッチ方向にのみ変化したか否かを判断する。ステップＳ６１においてＹｅｓであれば、ドライバー状態推定装置１０は、メータ確認行為フラグＢ３を立てる（ステップＳ６２）。そして、ドライバー状態推定装置１０は、１回あたりの確認時間が眠気レベル３の場合より増加したか、又は、単位時間当たりの確認回数が眠気レベル３の場合より減少したか、を判断する（ステップＳ６３）。ステップＳ６３においてＹｅｓであれば、ドライバー状態推定装置１０は、図３のＳ１０の処理に戻って、眠気レベル４のフラグを立てる。ステップＳ６３においてＮｏであれば、ドライバー状態推定装置１０は、図６の処理に移行する。

【0054】

一方、ステップＳ６１においてＮｏであった場合、ドライバー状態推定装置１０は、ドライバーが開眼状態であり、かつ、顔向き及び目動きがヨー方向にのみ変化したか否かを判断する（ステップＳ６４）。ステップＳ６４においてＹｅｓであれば、ドライバー状態推定装置１０は、サイドミラー確認行為フラグＣ３を立てて（ステップＳ６５）、単位時間当たりの確認回数が眠気レベル３の場合より減少したか、を判断する（ステップＳ６６）。ステップＳ６６においてＹｅｓであれば、ドライバー状態推定装置１０は、図３のＳ１０の処理に戻って、眠気レベル４のフラグを立てる。ステップＳ６６においてＮｏであれば、ドライバー状態推定装置１０は、図６の処理に移行する。

【0055】

また、ステップＳ６４においてＮｏであった場合、ドライバー状態推定装置１０は、ドライバーが開眼状態であり、かつ、顔向き及び目動きがピッチ方向、ヨー方向、及びロール方向に変化したか否かを判断する（ステップＳ６７）。ステップＳ６７においてＹｅｓであれば、ドライバー状態推定装置１０は、周囲確認行為フラグＤ３を立てて（ステップＳ６８）、単位時間当たりの確認回数が眠気レベル３の場合より減少したか、を判断する（ステップＳ６９）。ステップＳ６９においてＮｏであれば、今回記録情報が眠気レベルを次レベル（眠気レベル４）へあげるための条件を満たさなかった場合であるため、ドライバー状態推定装置１０は、ステップＳ８の処理に戻り、再度次レベルへの判定フローを行う。ステップＳ６９においてＹｅｓであれば、ドライバー状態推定装置１０は、図３のＳ１０の処理に戻って、眠気レベル３のフラグを立てる。ステップＳ６９においてＮｏであれば、ドライバー状態推定装置１０は、図６の処理に移行する。

【0056】

図１０を参照して、図３のステップＳ１２においてＮｏであった場合、すなわち、一定時間において開眼時間が閉眼時間よりも短くない場合の処理について説明する。ドライバー状態推定装置１０は、ステップＳ７１において、ドライバーが開眼状態であり、かつ、顔向き及び目動きがピッチ方向にのみ変化したか否かを判断する。ステップＳ７１においてＹｅｓであれば、ドライバー状態推定装置１０は、メータ確認行為フラグＢ４を立てる（ステップＳ７２）。そして、ドライバー状態推定装置１０は、１回あたりの確認時間が眠気レベル４の場合より増加したか、又は、単位時間当たりの確認回数が眠気レベル４の場合より減少したか、を判断する（ステップＳ７３）。ステップＳ７３においてＹｅｓであれば、ドライバー状態推定装置１０は、図３のＳ１３の処理に戻って、眠気レベル５のフラグを立てる。ステップＳ７３においてＮｏであれば、ドライバー状態推定装置１０は、図６の処理に移行する。

【0057】

一方、ステップＳ７１においてＮｏであった場合、ドライバー状態推定装置１０は、ドライバーが開眼状態であり、かつ、顔向き及び目動きがヨー方向にのみ変化したか否かを判断する（ステップＳ７４）。ステップＳ７４においてＹｅｓであれば、ドライバー状態推定装置１０は、サイドミラー確認行為フラグＣ４を立てて（ステップＳ７５）、単位時間当たりの確認回数が眠気レベル４の場合より減少したか、を判断する（ステップＳ７６）。ステップＳ７６においてＹｅｓであれば、ドライバー状態推定装置１０は、図３のＳ１３の処理に戻って、眠気レベル５のフラグを立てる。ステップＳ７６においてＮｏであれば、ドライバー状態推定装置１０は、図６の処理に移行する。

【0058】

また、ステップＳ７４においてＮｏであった場合、ドライバー状態推定装置１０は、ドライバーが開眼状態であり、かつ、顔向き及び目動きがピッチ方向、ヨー方向、及びロール方向に変化したか否かを判断する（ステップＳ７７）。ステップＳ７７においてＮｏであれば、今回記録情報が眠気レベルを次レベル（眠気レベル５）へあげるための条件を満たさなかった場合であるため、ドライバー状態推定装置１０は、ステップＳ１２の処理に戻り、再度次レベルへの判定フローを行う。ステップＳ７７においてＹｅｓであれば、ドライバー状態推定装置１０は、周囲確認行為フラグＤ４を立てて（ステップＳ７８）、単位時間当たりの確認回数が眠気レベル４の場合より減少したか、を判断する（ステップＳ７９）。ステップＳ７９においてＹｅｓであれば、ドライバー状態推定装置１０は、図３のＳ１３の処理に戻って、眠気レベル５のフラグを立てる。ステップＳ７９においてＮｏであれば、ドライバー状態推定装置１０は、図６の処理に移行する。尚、ドライバー状態推定装置１０は、図３に示したフローにおいて、眠気レベル５のフラグを立てた（ステップＳ１３）後に、図６に示すフローを実行することで、眠気レベル５から覚醒した場合に眠気レベルの低下を判定できる。

【0059】

ドライバー状態推定装置１０は、眠気レベルの判定結果をフラグで管理するため、フラグデータを後方解析において使用することができ、ドライバーのサポートにつなげることができる。

【0060】

以上説明したように、ドライバー状態推定装置１０は、ドライバーの表情から眠気レベルの変化なしと判定された場合に、安全確認行為の時系列変化に基づく判定を行うことで、眠気レベル推定をより正確に行うことができる。また、眠気兆候行為の現れ方は各ドライバーによって異なるが、各ドライバーについて安全確認行為の時系列変化を検出することで、ドライバー毎に、より正確な眠気レベルを推定できる。また、ドライバーが運転を開始するたびに、運転開始時を通常状態（基準）として、眠気レベルを段階的に引き上げることにより、各ドライバーによる個人差及び運転時期の差異による評価のばらつきを抑制できる。

【0061】

また、安全確認行為の評価が、メータ確認行為、サイドミラー確認行為（後側方確認行為）、及び周囲確認行為、の順に行われることにより、眠気レベルの変化が現れやすい行為を順に検出することができるため、眠気レベル推定の精度が向上する。

【0062】

さらに、ドライバー状態推定装置１０は、眠気レベル５と判定した際、警報を発してもよい。ドライバー状態推定装置１０は、眠気レベルの危険な居眠り状態と推定される場合にのみ警報を発することで、眠気がさほどない場合に警報が鳴ることで生じる、「警報に対する慣れ」を防ぎ、ドライバーを適切にサポートすることができる。

【0063】

尚、本発明は、前述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、前述した実施形態における各構成要素の材質、形状、寸法、数値、形態、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。例えば、上記実施形態では、カメラ１１がドライバー状態推定装置１０の一部を構成しているが、ドライバー状態推定装置１０は、カメラ１１が撮影した映像データを取得できればよい。したがって、ドライバー状態推定装置１０は、カメラ１１に代えて、記録媒体等に記録された映像データを取得する画像取得部を有する構成であってもよい。尚、本実施形態のドライバー状態推定装置１０を、車両に搭載されるデジタルタコグラフ等の車載器として構成してもよい。

【0064】

ここで、上述した本発明の実施形態に係るドライバー状態推定装置の特徴をそれぞれ以下［１］～［６］に簡潔に纏めて列記する。
［１］ 車両のドライバー（Ｄ）の眠気レベルを推定するドライバー状態推定装置（１０）であって、
前記ドライバーの頭頚部の内少なくとも顔を撮影した画像を逐次取得する画像取得部（カメラ１１）と、
前記画像における、前記ドライバーの、顔位置及び開眼度の少なくとも一の変化に基づいて、前記眠気レベルを判定する第一判定部（眠気レベル判定部２０、Ｓ２、Ｓ５、Ｓ８、Ｓ９、Ｓ１２）と、
前記第一判定部によって前記眠気レベルが変化なしと判定された場合に、前記画像から前記ドライバーの安全確認行為を検出し、前記安全確認行為の時系列変化に基づいて、前記眠気レベルを判定する第二判定部（眠気レベル判定部２０、Ｓ３１、Ｓ３３、Ｓ３４、Ｓ３６、Ｓ３７、Ｓ３９、等）と、を備える
ことを特徴とするドライバー状態推定装置（１０）。
［２］ 前記第一判定部は、
前記ドライバーが運転を開始した時の前記眠気レベル又は直前に判定した前記眠気レベルを基準値として、前記顔位置が変化する頻度が減少した場合、又は、一回当たりの瞬き時間が増加した場合、
閉じ切らない瞬きが現れた場合、及び、
開眼時間が閉眼時間より短い場合、
のいずれか一に該当すると、前記眠気レベルが前記基準値よりも高いと判定する（Ｓ２、Ｓ５、Ｓ８、Ｓ９、Ｓ１２）
ことを特徴とする上記［１］に記載のドライバー状態推定装置。
［３］ 前記ドライバーの顔向き、開眼度及び視線方向の少なくともいずれか一の変化から前記安全確認行為を検出し、
前記ドライバーが正面方向を向いている前記画像において、眠気抵抗行為を検出し、
前記ドライバーが運転を開始した時の前記眠気レベルを基準値として、前記安全確認行為の一回当たりに要する時間が増加した場合、又は、前記安全確認行為の頻度が減少した場合、及び、
前記眠気抵抗行為を検出した場合、
のいずれか一に該当すると、前記眠気レベルが前記基準値よりも高いと判定する
（Ｓ３３、Ｓ３６、Ｓ３９等、Ｓ５１）
ことを特徴とする上記［１］又は［２］に記載のドライバー状態推定装置。
［４］ 前記第二判定部は、
前記ドライバーの顔向きのピッチ方向、ヨー方向、及びロール方向の少なくともいずれか一の変化に基づいて、メータ確認行為、後側方確認行為、及び周囲確認行為の少なくともいずれか一を、前記安全確認行為として検出し、
前記安全確認行為が、前記メータ確認行為であるかを判断した後、前記安全確認行為が前記後側方確認行為又は前記周囲確認行為であるかを判断する（Ｓ２１、Ｓ２４、Ｓ２７等）
ことを特徴とする上記［１］～［３］のいずれか一に記載のドライバー状態推定装置。
［５］ 前記眠気レベルは、最も低いレベルから最も高いレベルまで、任意の段階に区分され、
前記第一判定部又は前記第二判定部は、前記眠気レベルが予め定めた閾値を超えたか否かを示すフラグ情報を生成する
ことを特徴とする上記［１］～［４］のいずれか一に記載のドライバー状態推定装置。
［６］ 前記第一判定部又は前記第二判定部が前記眠気レベルの判定に用いた情報を、判定された前記眠気レベルに対応付けて記録する記録部を備え、
前記第一判定部及び前記第二判定部は、新たな判定に用いる情報が、前記記録部に記録された情報のうち、いずれの眠気レベルに対応付けたものに類似するかに基づいて、新たな眠気レベルを判定する
ことを特徴とする上記［１］～［５］のいずれか一に記載のドライバー状態推定装置。

【符号の説明】

【0065】

１０ ドライバー状態推定装置
１１ カメラ
１２ 顔位置検出部
１３ 顔向き検出部
１４ 開眼度検出部
１５ ドライバー顔情報記録部
１６ 安全確認行為評価部
１７ 眠気抵抗行為評価部
１８ 眠気行為評価部
１９ 行為記録部
２０ 眠気レベル判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】