特開 2024-63481 推定装置、推定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024063481

(43)【公開日】2024-05-13

(54)【発明の名称】推定装置、推定方法及びプログラム

(51)【国際特許分類】

   A61B 5/18 20060101AFI20240502BHJP

【ＦＩ】

A61B5/18

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022171478

(22)【出願日】2022-10-26

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】今村 知里

(72)【発明者】

【氏名】古山 孝好

(72)【発明者】

【氏名】仲井 渉

(72)【発明者】

【氏名】木村 聡一

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038PP05

4C038PQ03

4C038PS07

(57)【要約】

【課題】マイクロスリープ状態を精度良く推定することができる推定装置を提供する。
【解決手段】推定装置２は、運転者の眠気に関連する状態を検出する状態検出部１４と、運転者の眼の閉眼時間を検出する閉眼時間検出部１０と、状態検出部１４により運転者の眠気に関連する状態が検出され、且つ、閉眼時間検出部１０により閉眼時間が第１の時間以上第２の時間未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定するマイクロスリープ推定部１２とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の運転者がマイクロスリープ状態であることを推定するための推定装置であって、
前記運転者の眠気に関連する状態を検出する状態検出部と、
前記運転者の眼の閉眼時間を検出する閉眼時間検出部と、
前記状態検出部により前記運転者の眠気に関連する状態が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が第１の時間以上第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するマイクロスリープ推定部と、を備える
推定装置。

【請求項2】

前記第１の時間は０．５秒であり、前記第２の時間は３秒である
請求項１に記載の推定装置。

【請求項3】

前記推定装置は、さらに、前記状態検出部により前記運転者の眠気に関連する状態が検出された場合には、前記マイクロスリープ推定部による前記運転者のマイクロスリープ状態の推定を実施すると判定し、前記状態検出部により前記運転者の眠気に関連する状態が検出されない場合には、前記マイクロスリープ推定部による前記運転者のマイクロスリープ状態の推定を実施しないと判定する実施判定部を備える
請求項１に記載の推定装置。

【請求項4】

前記状態検出部は、前記運転者の生活に関する生活ログ情報を検出し、
前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記生活ログ情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定する
請求項１～３のいずれか１項に記載の推定装置。

【請求項5】

前記状態検出部は、前記運転者の顔特徴の動作を示す顔特徴動作情報を検出し、
前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記顔特徴動作情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定する
請求項１～３のいずれか１項に記載の推定装置。

【請求項6】

前記状態検出部は、前記運転者の頭部の動作を示す頭部動作情報を検出し、
前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記頭部動作情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定する
請求項１～３のいずれか１項に記載の推定装置。

【請求項7】

前記状態検出部は、前記車両の車内の状態を示す車内情報を検出し、
前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記車内情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定する
請求項１～３のいずれか１項に記載の推定装置。

【請求項8】

前記状態検出部は、前記運転者のバイタル情報を検出し、
前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記バイタル情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定する
請求項１～３のいずれか１項に記載の推定装置。

【請求項9】

前記状態検出部は、前記車両の挙動を示す車両挙動情報を検出し、
前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記車両挙動情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定する
請求項１～３のいずれか１項に記載の推定装置。

【請求項10】

前記状態検出部は、前記運転者の体動を示す体動情報を検出し、
前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記体動情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定する
請求項１～３のいずれか１項に記載の推定装置。

【請求項11】

前記推定装置は、さらに、前記マイクロスリープ推定部による前記運転者のマイクロスリープ状態の推定に影響を与える状況である誤推定状況を検出する誤推定状況検出部を備え、
前記マイクロスリープ推定部は、前記誤推定状況検出部により前記誤推定状況が検出された場合には、前記運転者のマイクロスリープ状態の推定を実施しない
請求項１～３のいずれか１項に記載の推定装置。

【請求項12】

車両の運転者がマイクロスリープ状態であることを推定するための推定方法であって、
（ａ）前記運転者の眠気に関連する状態を検出するステップと、
（ｂ）前記運転者の眼の閉眼時間を検出するステップと、
（ｃ）前記（ａ）において前記運転者の眠気に関連する状態が検出され、且つ、前記（ｂ）において前記閉眼時間が第１の時間以上第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するステップと、を含む
推定方法。

【請求項13】

請求項１２に記載の推定方法をコンピュータに実行させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、推定装置、推定方法及びプログラムに関する。

【背景技術】

【0002】

運転者が車両の運転中に強い眠気を催した際に、完全な居眠り状態に至る前段階において、「マイクロスリープ（Ｍｉｃｒｏｓｌｅｅｐ）」と呼ばれる瞬間的な睡眠状態に陥る場合があることが知られている。危険回避及び事故防止等の観点から、このような運転者のマイクロスリープ状態を検出するための検出装置が提案されている（例えば、特許文献１参照）。この種の検出装置は、運転者の眼の閉眼状態に基づいて、運転者のマイクロスリープ状態を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１８－５０８８７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の検出装置では、例えばコンタクトレンズがずれるなどして、運転者が意図的に眼を閉じた場合に、運転者のマイクロスリープ状態を誤検出するおそれがあるという課題が生じる。

【0005】

そこで、本開示は、マイクロスリープ状態を精度良く推定することができる推定装置、推定方法及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る推定装置は、車両の運転者がマイクロスリープ状態であることを推定するための推定装置であって、前記運転者の眠気に関連する状態を検出する状態検出部と、前記運転者の眼の閉眼時間を検出する閉眼時間検出部と、前記状態検出部により前記運転者の眠気に関連する状態が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が第１の時間以上第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するマイクロスリープ推定部と、を備える。

【0007】

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0008】

本開示の一態様に係る推定装置等によれば、マイクロスリープ状態を精度良く推定することができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る推定装置の構成を示すブロック図である。

【図2】実施の形態１に係る推定装置の動作の流れを示すフローチャートである。

【図3】実施の形態２に係る推定装置の構成を示すブロック図である。

【図4】実施の形態２に係る推定装置の動作の流れを示すフローチャートである。

【図5】実施の形態２の変形例１に係る推定装置の構成を示すブロック図である。

【図6】実施の形態２の変形例２に係る推定装置の構成を示すブロック図である。

【図7】状態検出部の適用例１における、実施の形態２に係る推定装置の構成を示すブロック図である。

【図8】状態検出部の適用例１における、実施の形態２に係る推定装置の動作の流れを示すフローチャートである。

【図9】状態検出部の適用例２における、実施の形態２に係る推定装置の構成を示すブロック図である。

【図10】状態検出部の適用例２における、実施の形態２に係る推定装置の動作の流れを示すフローチャートである。

【図11】状態検出部の適用例３における、実施の形態２に係る推定装置の構成を示すブロック図である。

【図12】状態検出部の適用例３における、実施の形態２に係る推定装置の動作の流れを示すフローチャートである。

【図13】状態検出部の適用例４における、実施の形態２に係る推定装置の構成を示すブロック図である。

【図14】状態検出部の適用例４における、実施の形態２に係る推定装置の動作の流れを示すフローチャートである。

【図15】状態検出部の適用例５における、実施の形態２に係る推定装置の構成を示すブロック図である。

【図16】状態検出部の適用例５における、実施の形態２に係る推定装置の動作の流れを示すフローチャートである。

【図17】状態検出部の適用例６における、実施の形態２に係る推定装置の構成を示すブロック図である。

【図18】状態検出部の適用例６における、実施の形態２に係る推定装置の動作の流れを示すフローチャートである。

【図19】状態検出部の適用例７における、実施の形態２に係る推定装置の構成を示すブロック図である。

【図20】状態検出部の適用例７における、実施の形態２に係る推定装置の動作の流れを示すフローチャートである。

【図21】実施の形態３に係る推定装置の構成を示すブロック図である。

【図22】実施の形態３に係る推定装置の動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

本開示の第１の態様に係る推定装置は、車両の運転者がマイクロスリープ状態であることを推定するための推定装置であって、前記運転者の眠気に関連する状態を検出する状態検出部と、前記運転者の眼の閉眼時間を検出する閉眼時間検出部と、前記状態検出部により前記運転者の眠気に関連する状態が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が第１の時間以上第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するマイクロスリープ推定部と、を備える。

【0011】

本態様によれば、マイクロスリープ推定部は、運転者の眠気に関連する状態、及び、運転者の眼の閉眼時間を考慮して、運転者がマイクロスリープ状態であると推定する。これにより、マイクロスリープ状態を精度良く推定することができる。

【0012】

また、本開示の第２の態様に係る推定装置では、第１の態様において、前記第１の時間は０．５秒であり、前記第２の時間は３秒であるように構成してもよい。

【0013】

本態様によれば、運転者が０．５秒以上３秒未満の瞬間的な睡眠状態に陥った場合に、運転者がマイクロスリープ状態であると推定することができる。

【0014】

また、本開示の第３の態様に係る推定装置では、第１の態様又は第２の態様において、前記推定装置は、さらに、前記状態検出部により前記運転者の眠気に関連する状態が検出された場合には、前記マイクロスリープ推定部による前記運転者のマイクロスリープ状態の推定を実施すると判定し、前記状態検出部により前記運転者の眠気に関連する状態が検出されない場合には、前記マイクロスリープ推定部による前記運転者のマイクロスリープ状態の推定を実施しないと判定する実施判定部を備えるように構成してもよい。

【0015】

本態様によれば、状態検出部により運転者の眠気に関連する状態が検出されない場合には、運転者は眠気を感じていない可能性が高い。このような場合に、マイクロスリープ推定部により運転者のマイクロスリープ状態を無駄に推定することを回避することができる。

【0016】

また、本開示の第４の態様に係る推定装置では、第１の態様～第３の態様のいずれか一態様において、前記状態検出部は、前記運転者の生活に関する生活ログ情報を検出し、前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記生活ログ情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するように構成してもよい。

【0017】

本態様によれば、マイクロスリープ推定部は、運転者の眠気に関連する生活ログ情報、及び、運転者の眼の閉眼時間を考慮して、運転者がマイクロスリープ状態であると推定する。これにより、マイクロスリープ状態を精度良く推定することができる。

【0018】

また、本開示の第５の態様に係る推定装置では、第１の態様～第３の態様のいずれか一態様において、前記状態検出部は、前記運転者の顔特徴の動作を示す顔特徴動作情報を検出し、前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記顔特徴動作情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するように構成してもよい。

【0019】

本態様によれば、マイクロスリープ推定部は、運転者の眠気に関連する顔特徴動作情報、及び、運転者の眼の閉眼時間を考慮して、運転者がマイクロスリープ状態であると推定する。これにより、マイクロスリープ状態を精度良く推定することができる。

【0020】

また、本開示の第６の態様に係る推定装置では、第１の態様～第３の態様のいずれか一態様において、前記状態検出部は、前記運転者の頭部の動作を示す頭部動作情報を検出し、前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記頭部動作情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するように構成してもよい。

【0021】

本態様によれば、マイクロスリープ推定部は、運転者の眠気に関連する頭部動作情報、及び、運転者の眼の閉眼時間を考慮して、運転者がマイクロスリープ状態であると推定する。これにより、マイクロスリープ状態を精度良く推定することができる。

【0022】

また、本開示の第７の態様に係る推定装置では、第１の態様～第３の態様のいずれか一態様において、前記状態検出部は、前記車両の車内の状態を示す車内情報を検出し、前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記車内情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するように構成してもよい。

【0023】

本態様によれば、マイクロスリープ推定部は、運転者の眠気に関連する車内情報、及び、運転者の眼の閉眼時間を考慮して、運転者がマイクロスリープ状態であると推定する。これにより、マイクロスリープ状態を精度良く推定することができる。

【0024】

また、本開示の第８の態様に係る推定装置では、第１の態様～第３の態様のいずれか一態様において、前記状態検出部は、前記運転者のバイタル情報を検出し、前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記バイタル情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するように構成してもよい。

【0025】

本態様によれば、マイクロスリープ推定部は、運転者の眠気に関連するバイタル情報、及び、運転者の眼の閉眼時間を考慮して、運転者がマイクロスリープ状態であると推定する。これにより、マイクロスリープ状態を精度良く推定することができる。

【0026】

また、本開示の第９の態様に係る推定装置では、第１の態様～第３の態様のいずれか一態様において、前記状態検出部は、前記車両の挙動を示す車両挙動情報を検出し、前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記車両挙動情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するように構成してもよい。

【0027】

本態様によれば、マイクロスリープ推定部は、運転者の眠気に関連する車両挙動情報、及び、運転者の眼の閉眼時間を考慮して、運転者がマイクロスリープ状態であると推定する。これにより、マイクロスリープ状態を精度良く推定することができる。

【0028】

また、本開示の第１０の態様に係る推定装置では、第１の態様～第３の態様のいずれか一態様において、前記状態検出部は、前記運転者の体動を示す体動情報を検出し、前記マイクロスリープ推定部は、前記状態検出部により前記運転者の眠気に関連する前記体動情報が検出され、且つ、前記閉眼時間検出部により前記閉眼時間が前記第１の時間以上前記第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するように構成してもよい。

【0029】

本態様によれば、マイクロスリープ推定部は、運転者の眠気に関連する体動情報、及び、運転者の眼の閉眼時間を考慮して、運転者がマイクロスリープ状態であると推定する。これにより、マイクロスリープ状態を精度良く推定することができる。

【0030】

また、本開示の第１１の態様に係る推定装置では、第１の態様～第１０の態様のいずれか一態様において、前記推定装置は、さらに、前記マイクロスリープ推定部による前記運転者のマイクロスリープ状態の推定に影響を与える状況である誤推定状況を検出する誤推定状況検出部を備え、前記マイクロスリープ推定部は、前記誤推定状況検出部により前記誤推定状況が検出された場合には、前記運転者のマイクロスリープ状態の推定を実施しないように構成してもよい。

【0031】

本態様によれば、マイクロスリープ推定部による運転者のマイクロスリープ状態の誤推定を抑制することができる。

【0032】

本開示の第１２の態様に係る推定方法は、車両の運転者がマイクロスリープ状態であることを推定するための推定方法であって、（ａ）前記運転者の眠気に関連する状態を検出するステップと、（ｂ）前記運転者の眼の閉眼時間を検出するステップと、（ｃ）前記（ａ）において前記運転者の眠気に関連する状態が検出され、且つ、前記（ｂ）において前記閉眼時間が第１の時間以上第２の時間未満であることが検出されたことを条件として、前記運転者がマイクロスリープ状態であると推定するステップと、を含む。

【0033】

本態様によれば、運転者の眠気に関連する状態、及び、運転者の眼の閉眼時間を考慮して、運転者がマイクロスリープ状態であると推定する。これにより、マイクロスリープ状態を精度良く推定することができる。

【0034】

本開示の第１３の態様に係るプログラムは、上述した推定方法をコンピュータに実行させるプログラムである。

【0035】

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

【0036】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0037】

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0038】

（実施の形態１）
［１－１．推定装置の構成］
まず、図１を参照しながら、実施の形態１に係る推定装置２の構成について説明する。図１は、実施の形態１に係る推定装置２の構成を示すブロック図である。

【0039】

図１に示すように、推定装置２は、車両の運転者のマイクロスリープ状態を検出するための装置である。車両には、推定装置２及びセンサ群４が搭載されている。車両は、例えば普通乗用車、バス又はトラック等の自動車である。なお、車両は、自動車に限定されず、例えば建機又は農機等であってもよい。

【0040】

センサ群４は、例えば、車両、及び／又は、当該車両の運転席に着座している運転者等に関する情報を検出し、検出結果を示すセンサ情報を出力するための１以上のセンサを含んでいる。例えば、センサ群４は、撮像部、生体センサ及び車両状態センサ等を含んでいる。

【0041】

撮像部は、車両の運転席に着座している運転者を撮像するためのカメラである。撮像部としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いたカメラ、又は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサを用いたカメラ等を適用可能である。撮像部は、運転者を撮像した画像情報を、センサ情報として推定装置２に出力する。

【0042】

生体センサは、車両の運転席に着座している運転者の生体情報（例えば、血圧、体温、呼吸数、心拍数及び筋肉の活動量等）を検出するためのセンサである。生体センサは、検出した生体情報を、センサ情報として推定装置２に出力する。

【0043】

車両状態センサは、車両の速度及び加速度等を検出するためのセンサである。車両状態センサは、検出した速度及び加速度等を示す車両状態情報を、センサ情報として推定装置２に出力する。

【0044】

推定装置２は、情報取得部６と、判定部８と、閉眼時間検出部１０と、マイクロスリープ推定部１２とを備えている。なお、推定装置２は、上述したセンサ群４に含まれる１以上のセンサを構成要件として備えていてもよい。

【0045】

情報取得部６は、センサ群４から出力されたセンサ情報を取得し、取得したセンサ情報を判定部８に出力する。また、情報取得部６は、センサ群４から取得したセンサ情報を、判定部８を介して閉眼時間検出部１０にも出力する。なお、情報取得部６は、センサ群４から取得したセンサ情報を、判定部８を介さずに、閉眼時間検出部１０に直接出力してもよい。

【0046】

判定部８は、状態検出部１４を有している。状態検出部１４は、情報取得部６からのセンサ情報に基づいて、運転者の眠気に関連する状態を検出する。なお、本明細書において、「運転者の眠気に関連する状態」とは、運転者が眠気を感じていると推定される運転者又は車両等の状態（状況）、及び、運転者の眠気を引き起こす可能性の高い運転者又は車両等の状態（状況）等を意味する。状態検出部１４は、運転者の眠気に関連する状態の検出結果を、閉眼時間検出部１０を介してマイクロスリープ推定部１２に出力する。なお、状態検出部１４は、運転者の眠気に関連する状態の検出結果を、閉眼時間検出部１０を介さずに、マイクロスリープ推定部１２に直接出力してもよい。

【0047】

閉眼時間検出部１０は、情報取得部６からのセンサ情報に基づいて、運転者の眼の閉眼時間を検出する。例えば、センサ情報が画像情報を含む場合に、閉眼時間検出部１０は、画像情報に含まれる運転者の眼の画像を解析することにより、運転者の眼の閉眼時間を検出する。ここで、閉眼時間とは、運転者の眼が閉じている時間、より具体的には、運転者の瞼が閉じ始めてから、瞼が閉じて再度開くまでの時間を意味する。閉眼時間検出部１０は、閉眼時間の検出結果をマイクロスリープ推定部１２に出力する。なお、本実施の形態では、閉眼時間検出部１０は、情報取得部６からのセンサ情報に基づいて、運転者の眼の閉眼時間を検出したが、これに限定されず、例えばディープラーニング等を用いて、運転者の眼の閉眼時間を検出してもよい。

【0048】

マイクロスリープ推定部１２は、状態検出部１４により運転者の眠気に関連する状態が検出され、且つ、閉眼時間検出部１０により閉眼時間が０．５秒（第１の時間の一例）以上３秒（第２の時間の一例）未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定する。

【0049】

なお、本実施の形態では、マイクロスリープ状態の推定を行う際の閉眼時間の条件を０．５秒以上３秒未満としたが、これに限定されず、例えば１秒以上４秒未満としてもよく、第１の時間及び第２の時間は任意に設定可能である。

【0050】

マイクロスリープ推定部１２の推定結果は、例えば車両のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に出力される。これにより、運転者がマイクロスリープ状態であると推定された場合には、例えば、運転者を覚醒させるために警報音を鳴らしたり、車両を安全に停止させるために車両を縮退動作させたりする制御が行われる。なお、縮退動作とは、例えば車両を車道の端（路肩）に寄せるようにステアリングを制御したり、車両を減速させるためにエンジン又はブレーキを制御したりする動作を意味する。

【0051】

［１－２．推定装置の動作］
次に、図２を参照しながら、実施の形態１に係る推定装置２の動作について説明する。図２は、実施の形態１に係る推定装置２の動作の流れを示すフローチャートである。

【0052】

図２に示すように、まず、情報取得部６は、センサ群４から出力されたセンサ情報を取得し（Ｓ１０１）、取得したセンサ情報を判定部８及び閉眼時間検出部１０の各々に出力する。

【0053】

次いで、状態検出部１４は、情報取得部６からのセンサ情報に基づいて、運転者の眠気に関連する状態を検出する（Ｓ１０２）。状態検出部１４は、運転者の眠気に関連する状態の検出結果を、マイクロスリープ推定部１２に出力する。

【0054】

次いで、閉眼時間検出部１０は、情報取得部６からのセンサ情報に基づいて、０．５秒以上３秒未満の閉眼時間を検出する（Ｓ１０３）。閉眼時間検出部１０は、閉眼時間の検出結果をマイクロスリープ推定部１２に出力する。

【0055】

次いで、マイクロスリープ推定部１２は、運転者がマイクロスリープ状態であると推定する（Ｓ１０４）。すなわち、マイクロスリープ推定部１２は、状態検出部１４により運転者の眠気に関連する状態が検出され、且つ、閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定する。

【0056】

［１－３．効果］
例えばコンタクトレンズがずれるなどして、運転者が意図的に眼を閉じた場合には、運転者は眠気を感じていない可能性が高いため、状態検出部１４により運転者の眠気に関連する状態が検出されない。本実施の形態では、マイクロスリープ推定部１２は、運転者の眠気に関連する状態、及び、運転者の眼の閉眼時間を考慮して、運転者がマイクロスリープ状態であると推定するので、例えば運転者が意図的に眼を閉じた場合などに、マイクロスリープ状態を誤検出するのを回避することができる。その結果、マイクロスリープ状態を精度良く推定することができる。

【0057】

（実施の形態２）
［２－１．推定装置の構成］
図３を参照しながら、実施の形態２に係る推定装置２Ａの構成について説明する。図３は、実施の形態２に係る推定装置２Ａの構成を示すブロック図である。なお、図３のブロック図において、上述した図１のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0058】

図３に示すように、本実施の形態では、推定装置２Ａの判定部８Ａは、上記実施の形態１で説明した状態検出部１４に加えて、実施判定部１６を有している。

【0059】

状態検出部１４は、運転者の眠気に関連する状態の検出結果を、閉眼時間検出部１０を介してマイクロスリープ推定部１２に出力するとともに、実施判定部１６にも出力する。なお、状態検出部１４の適用例については後述する。

【0060】

実施判定部１６は、状態検出部１４からの検出結果に基づいて、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定の実施の要否を判定する。具体的には、実施判定部１６は、状態検出部１４により運転者の眠気に関連する状態が検出された場合には、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施すると判定する。これは、状態検出部１４により運転者の眠気に関連する状態が検出された場合には、運転者は眠気を感じている可能性が高いと考えられるためである。一方、実施判定部１６は、状態検出部１４により運転者の眠気に関連する状態が検出されない場合には、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施しないと判定する。これは、状態検出部１４により運転者の眠気に関連する状態が検出されない場合には、運転者は眠気を感じていない可能性が高いと考えられるためである。実施判定部１６は、判定結果を、閉眼時間検出部１０を介してマイクロスリープ推定部１２に出力する。なお、実施判定部１６は、判定結果を、閉眼時間検出部１０を介さずにマイクロスリープ推定部１２に直接出力してもよい。

【0061】

［２－２．推定装置の動作］
次に、図４を参照しながら、実施の形態２に係る推定装置２Ａの動作について説明する。図４は、実施の形態２に係る推定装置２Ａの動作の流れを示すフローチャートである。

【0062】

図４に示すように、まず、情報取得部６は、センサ群４から出力されたセンサ情報を取得し（Ｓ２０１）、取得したセンサ情報を判定部８Ａの状態検出部１４及び閉眼時間検出部１０の各々に出力する。

【0063】

次いで、状態検出部１４は、情報取得部６からのセンサ情報に基づいて、運転者の眠気に関連する状態の検出を試みる。状態検出部１４が運転者の眠気に関連する状態を検出しない場合には（Ｓ２０２でＮＯ）、実施判定部１６は、状態検出部１４からの検出結果に基づいて、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施しないと判定する（Ｓ２０３）。この場合、マイクロスリープ推定部１２は、実施判定部１６からの判定結果に基づいて、運転者のマイクロスリープ状態を推定しない。

【0064】

ステップＳ２０２に戻り、状態検出部１４が運転者の眠気に関連する状態を検出した場合には（Ｓ２０２でＹＥＳ）、実施判定部１６は、状態検出部１４からの検出結果に基づいて、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施すると判定する（Ｓ２０４）。状態検出部１４は、運転者の眠気に関連する状態の検出結果を、マイクロスリープ推定部１２に出力する。

【0065】

ステップＳ２０４の後、閉眼時間検出部１０は、情報取得部６からのセンサ情報に基づいて、運転者の眼の閉眼時間を検出する。閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出された場合には（Ｓ２０５でＹＥＳ）、マイクロスリープ推定部１２は、運転者がマイクロスリープ状態であると推定する（Ｓ２０６）。すなわち、マイクロスリープ推定部１２は、状態検出部１４により運転者の眠気に関連する状態が検出され、且つ、閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定する。

【0066】

ステップＳ２０５に戻り、閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出されない場合には（Ｓ２０５でＮＯ）、マイクロスリープ推定部１２は、運転者がマイクロスリープ状態ではないと推定する（Ｓ２０７）。

【0067】

［２－３．効果］
本実施の形態では、実施判定部１６は、状態検出部１４により運転者の眠気に関連する状態が検出されない場合には、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施しないと判定する。状態検出部１４により運転者の眠気に関連する状態が検出されない場合には、運転者は眠気を感じていない可能性が高い。このような場合に、マイクロスリープ推定部１２により運転者のマイクロスリープ状態を無駄に推定することを回避することができる。

【0068】

［２－４．変形例１］
図５を参照しながら、実施の形態２の変形例１に係る推定装置２Ｂについて説明する。図５は、実施の形態２の変形例１に係る推定装置２Ｂの構成を示すブロック図である。なお、図５のブロック図において、上述した図３のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0069】

図５に示すように、本変形例では、推定装置２Ｂの判定部８Ｂは、状態検出部１４及び実施判定部１６に加えて、閉眼時間検出部１０を有している。すなわち、判定部８Ｂは、閉眼時間検出部１０の機能を有している。このような構成であっても、上述と同様の効果を得ることができる。

【0070】

［２－５．変形例２］
図６を参照しながら、実施の形態２の変形例２に係る推定装置２Ｃについて説明する。図６は、実施の形態２の変形例２に係る推定装置２Ｃの構成を示すブロック図である。なお、図６のブロック図において、上述した図３のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0071】

図６に示すように、本変形例では、推定装置２Ｃの閉眼時間検出部１０は、情報取得部６に対して判定部８と並列に接続されている。これにより、情報取得部６は、センサ群４から取得したセンサ情報を、判定部８を介さずに閉眼時間検出部１０に直接出力する。また、状態検出部１４は、運転者の眠気に関連する状態の検出結果を、閉眼時間検出部１０を介さずにマイクロスリープ推定部１２に直接出力する。また、実施判定部１６は、判定結果を、閉眼時間検出部１０を介さずにマイクロスリープ推定部１２に直接出力する。このような構成であっても、上述と同様の効果を得ることができる。

【0072】

［２－６．状態検出部の適用例１］
図７を参照しながら、状態検出部１４の適用例１について説明する。図７は、状態検出部１４の適用例１における、実施の形態２に係る推定装置２Ａの構成を示すブロック図である。なお、図７のブロック図において、上述した図３のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0073】

図７に示すように、適用例１では、情報取得部６は、センサ群４から出力されたセンサ情報を取得し、且つ、ネットワークを介して、クラウドサーバ１７から運転者の身長及び体重等を示す身体情報を取得する。情報取得部６は、センサ群４から取得したセンサ情報を、判定部８を介して閉眼時間検出部１０に出力する。また、情報取得部６は、クラウドサーバ１７から取得した身体情報を判定部８に出力する。なお、クラウドサーバ１７は、運転者の自宅にある体重計等の各測定器とネットワークを介して連携されており、各測定器からの情報がネットワークを介して定期的にクラウドサーバ１７に身体情報として格納される。

【0074】

また、状態検出部１４は、生活ログ情報検出部１４ａとして適用される。生活ログ情報検出部１４ａは、情報取得部６からの身体情報に基づいて、運転者の生活に関する生活ログ情報を検出する。例えば、生活ログ情報検出部１４ａは、情報取得部６からの身体情報を解析することにより、生活ログ情報として運転者の体型（やせ型、肥満型等）を示す情報を検出する。生活ログ情報検出部１４ａは、検出した生活ログ情報を、閉眼時間検出部１０を介してマイクロスリープ推定部１２に出力するとともに、実施判定部１６にも出力する。なお、生活ログ情報検出部１４ａは、情報取得部６からの身体情報を解析することにより、生活ログ情報として運転者のＢＭＩ（Ｂｏｄｙ Ｍａｓｓ Ｉｎｄｅｘ）を示す情報を検出してもよい。

【0075】

マイクロスリープ推定部１２は、生活ログ情報検出部１４ａにより運転者の眠気に関連する生活ログ情報が検出され、且つ、閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定する。ここで、運転者の眠気に関連する生活ログ情報とは、例えば、運転者の体型が肥満型であることを示す情報である。これは、肥満型の体型の人は、睡眠時無呼吸症候群を起こしやすく、突然眠りに落ちやすいためである。

【0076】

なお、本実施の形態では、情報取得部６は、ネットワークを介してクラウドサーバ１７から身体情報を取得したが、これに限定されず、例えば、運転者が身体に装着しているウェアラブル端末から身体情報を取得してもよい。ウェアラブル端末は、運転者の自宅にある体重計等の各測定器とネットワークを介して連携されており、各測定器からの情報がネットワークを介して定期的にウェアラブル端末に身体情報として格納される。あるいは、生活ログ情報検出部１４ａは、運転者のマイナンバーカード等に記録されている情報を読み取ることにより、生活ログ情報を検出してもよい。

【0077】

また、本実施の形態では、生活ログ情報を運転者の体型を示す情報としたが、これに限定されない。生活ログ情報は、例えば、（ａ）運転者の病歴、（ｂ）運転者の前日の勤務時間、（ｃ）運転者の勤務形態（夜勤等）、（ｄ）運転者の前日又は当日の飲酒の有無、（ｅ）運転者の体重、（ｆ）運転者の運動時間、（ｇ）運転者の就寝時間、（ｈ）運転者の睡眠の性質（ロングスリーパー等）、（ｉ）運転者の薬の服用歴等を示す情報であってもよい。この場合、クラウドサーバ１７には、運転者の生活に関する種々の情報が格納されているものとする。

【0078】

次に、図８を参照しながら、状態検出部１４の適用例１における、実施の形態２に係る推定装置２Ａの動作について説明する。図８は、状態検出部１４の適用例１における、実施の形態２に係る推定装置２Ａの動作の流れを示すフローチャートである。なお、図８のフローチャートにおいて、上述した図４のフローチャートと同一の処理には同一のステップ番号を付して、その説明を省略する。

【0079】

図８に示すように、情報取得部６は、センサ群４からセンサ情報を取得し、且つ、クラウドサーバ１７から身体情報を取得する（Ｓ３０１）。情報取得部６は、センサ群４から取得したセンサ情報を、判定部８を介して閉眼時間検出部１０に出力する。また、情報取得部６は、クラウドサーバ１７から取得した身体情報を判定部８に出力する。

【0080】

その後、生活ログ情報検出部１４ａは、情報取得部６からの身体情報に基づいて、運転者の眠気に関連する生活ログ情報の検出を試みる。生活ログ情報検出部１４ａが運転者の眠気に関連する生活ログ情報を検出しない場合には（Ｓ３０２でＮＯ）、上述と同様にステップＳ２０３が実行される。一方、生活ログ情報検出部１４ａが運転者の眠気に関連する生活ログ情報を検出した場合には（Ｓ３０２でＹＥＳ）、上述と同様にステップＳ２０４～Ｓ２０７が実行される。

【0081】

［２－７．状態検出部の適用例２］
図９を参照しながら、状態検出部１４の適用例２について説明する。図９は、状態検出部１４の適用例２における、実施の形態２に係る推定装置２Ａの構成を示すブロック図である。なお、図９のブロック図において、上述した図３のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0082】

図９に示すように、適用例２では、状態検出部１４は、顔特徴動作検出部１４ｂとして適用される。顔特徴動作検出部１４ｂは、情報取得部６からのセンサ情報（例えば、画像情報）に基づいて、運転者の顔特徴の動作を示す顔特徴動作情報を時系列で検出する。顔特徴は、例えば目及び口等の顔のパーツを意味する。顔特徴動作検出部１４ｂは、検出した顔特徴動作情報を、閉眼時間検出部１０を介してマイクロスリープ推定部１２に出力するとともに、実施判定部１６にも出力する。

【0083】

マイクロスリープ推定部１２は、顔特徴動作検出部１４ｂにより運転者の眠気に関連する顔特徴動作情報が検出され、且つ、閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定する。ここで、運転者の眠気に関連する顔特徴動作情報とは、例えば、眠気により運転者の口が開いたままになっていたり、眠気により眉の動きが見られず目元の筋肉が緩んでいたりすることを示す情報である。

【0084】

次に、図１０を参照しながら、状態検出部１４の適用例２における、実施の形態２に係る推定装置２Ａの動作について説明する。図１０は、状態検出部１４の適用例２における、実施の形態２に係る推定装置２Ａの動作の流れを示すフローチャートである。なお、図１０のフローチャートにおいて、上述した図４のフローチャートと同一の処理には同一のステップ番号を付して、その説明を省略する。

【0085】

図１０に示すように、上述と同様にステップＳ２０１が実行された後、顔特徴動作検出部１４ｂは、情報取得部６からのセンサ情報に基づいて、運転者の眠気に関連する顔特徴動作情報の検出を試みる。顔特徴動作検出部１４ｂが運転者の眠気に関連する顔特徴動作情報を検出しない場合には（Ｓ４０１でＮＯ）、上述と同様にステップＳ２０３が実行される。一方、顔特徴動作検出部１４ｂが運転者の眠気に関連する顔特徴動作情報を検出した場合には（Ｓ４０１でＹＥＳ）、上述と同様にステップＳ２０４～Ｓ２０７が実行される。

【0086】

［２－８．状態検出部の適用例３］
図１１を参照しながら、状態検出部１４の適用例３について説明する。図１１は、状態検出部１４の適用例３における、実施の形態２に係る推定装置２Ａの構成を示すブロック図である。なお、図１１のブロック図において、上述した図３のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0087】

図１１に示すように、適用例３では、状態検出部１４は、頭部動作検出部１４ｃとして適用される。頭部動作検出部１４ｃは、情報取得部６からのセンサ情報（例えば、画像情報）に基づいて、運転者の頭部の動作を示す頭部動作情報を時系列で検出する。頭部動作検出部１４ｃは、検出した頭部動作情報を、閉眼時間検出部１０を介してマイクロスリープ推定部１２に出力するとともに、実施判定部１６にも出力する。

【0088】

マイクロスリープ推定部１２は、頭部動作検出部１４ｃにより運転者の眠気に関連する頭部動作情報が検出され、且つ、閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定する。ここで、運転者の眠気に関連する頭部動作情報とは、例えば、眠気により運転者の頭部が上下に振れる、いわゆるこっくり等の頭部の動作を示す情報である。

【0089】

次に、図１２を参照しながら、状態検出部１４の適用例３における、実施の形態２に係る推定装置２Ａの動作について説明する。図１２は、状態検出部１４の適用例３における、実施の形態２に係る推定装置２Ａの動作の流れを示すフローチャートである。なお、図１２のフローチャートにおいて、上述した図４のフローチャートと同一の処理には同一のステップ番号を付して、その説明を省略する。

【0090】

図１２に示すように、上述と同様にステップＳ２０１が実行された後、頭部動作検出部１４ｃは、情報取得部６からのセンサ情報に基づいて、運転者の眠気に関連する頭部動作情報の検出を試みる。頭部動作検出部１４ｃが運転者の眠気に関連する頭部動作情報を検出しない場合には（Ｓ５０１でＮＯ）、上述と同様にステップＳ２０３が実行される。一方、頭部動作検出部１４ｃが運転者の眠気に関連する頭部動作情報を検出した場合には（Ｓ５０１でＹＥＳ）、上述と同様にステップＳ２０４～Ｓ２０７が実行される。

【0091】

［２－９．状態検出部の適用例４］
図１３を参照しながら、状態検出部１４の適用例４について説明する。図１３は、状態検出部１４の適用例４における、実施の形態２に係る推定装置２Ａの構成を示すブロック図である。なお、図１３のブロック図において、上述した図３のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0092】

図１３に示すように、適用例４では、状態検出部１４は、車内情報検出部１４ｄとして適用される。車内情報検出部１４ｄは、情報取得部６からのセンサ情報に基づいて、車両の車内の状態を示す車内情報を検出する。車内情報は、例えば同乗者と会話している運転者の音声を示す情報である。この場合、例えば、センサ群４は、車内における音声を検出するマイクロフォンを含み、センサ情報は、マイクロフォンにより検出された音声を示す音声情報である。車内情報検出部１４ｄは、検出した車内情報を、閉眼時間検出部１０を介してマイクロスリープ推定部１２に出力するとともに、実施判定部１６にも出力する。

【0093】

マイクロスリープ推定部１２は、車内情報検出部１４ｄにより運転者の眠気に関連する車内情報が検出され、且つ、閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定する。ここで、運転者の眠気に関連する車内情報とは、例えば、運転者が同乗者からの呼びかけに対して応答しなかった、又は、運転者が同乗者からの呼びかけに対して所定時間（例えば５～１０秒）以上遅れて応答したことを示す音声情報である。

【0094】

次に、図１４を参照しながら、状態検出部１４の適用例４における、実施の形態２に係る推定装置２Ａの動作について説明する。図１４は、状態検出部１４の適用例４における、実施の形態２に係る推定装置２Ａの動作の流れを示すフローチャートである。なお、図１４のフローチャートにおいて、上述した図４のフローチャートと同一の処理には同一のステップ番号を付して、その説明を省略する。

【0095】

図１４に示すように、上述と同様にステップＳ２０１が実行された後、車内情報検出部１４ｄは、情報取得部６からのセンサ情報に基づいて、運転者の眠気に関連する車内情報の検出を試みる。車内情報検出部１４ｄが運転者の眠気に関連する車内情報を検出しない場合には（Ｓ６０１でＮＯ）、上述と同様にステップＳ２０３が実行される。一方、車内情報検出部１４ｄが運転者の眠気に関連する車内情報を検出した場合には（Ｓ６０１でＹＥＳ）、上述と同様にステップＳ２０４～Ｓ２０７が実行される。

【0096】

［２－１０．状態検出部の適用例５］
図１５を参照しながら、状態検出部１４の適用例５について説明する。図１５は、状態検出部１４の適用例５における、実施の形態２に係る推定装置２Ａの構成を示すブロック図である。なお、図１５のブロック図において、上述した図３のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0097】

図１５に示すように、適用例５では、状態検出部１４は、バイタル情報検出部１４ｅとして適用される。バイタル情報検出部１４ｅは、情報取得部６からのセンサ情報に基づいて、運転者のバイタル情報を検出する。バイタル情報は、例えば運転者の脳波を示す情報である。この場合、例えば、センサ群４は、車両の運転席のヘッドレストに配置される（又は運転者の頭部に装着される）脳波センサを含み、センサ情報は、脳波センサにより検出された運転者の脳波を示す情報である。バイタル情報検出部１４ｅは、検出したバイタル情報を、閉眼時間検出部１０を介してマイクロスリープ推定部１２に出力するとともに、実施判定部１６にも出力する。

【0098】

マイクロスリープ推定部１２は、バイタル情報検出部１４ｅにより運転者の眠気に関連するバイタル情報が検出され、且つ、閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定する。ここで、運転者の眠気に関連するバイタル情報とは、例えば、運転者の急激な脳波の変化を示す情報である。

【0099】

次に、図１６を参照しながら、状態検出部１４の適用例５における、実施の形態２に係る推定装置２Ａの動作について説明する。図１６は、状態検出部１４の適用例５における、実施の形態２に係る推定装置２Ａの動作の流れを示すフローチャートである。なお、図１６のフローチャートにおいて、上述した図４のフローチャートと同一の処理には同一のステップ番号を付して、その説明を省略する。

【0100】

図１６に示すように、上述と同様にステップＳ２０１が実行された後、バイタル情報検出部１４ｅは、情報取得部６からのセンサ情報に基づいて、運転者の眠気に関連するバイタル情報の検出を試みる。バイタル情報検出部１４ｅが運転者の眠気に関連するバイタル情報を検出しない場合には（Ｓ７０１でＮＯ）、上述と同様にステップＳ２０３が実行される。一方、バイタル情報検出部１４ｅが運転者の眠気に関連するバイタル情報を検出した場合には（Ｓ７０１でＹＥＳ）、上述と同様にステップＳ２０４～Ｓ２０７が実行される。

【0101】

［２－１１．状態検出部の適用例６］
図１７を参照しながら、状態検出部１４の適用例６について説明する。図１７は、状態検出部１４の適用例６における、実施の形態２に係る推定装置２Ａの構成を示すブロック図である。なお、図１７のブロック図において、上述した図３のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0102】

図１７に示すように、適用例６では、状態検出部１４は、車両挙動検出部１４ｆとして適用される。車両挙動検出部１４ｆは、情報取得部６からのセンサ情報に基づいて、車両の挙動を示す車両挙動情報を検出する。この場合、例えば、センサ群４は、車両に搭載され且つ車両の前方の画像を撮像するカメラを含み、センサ情報は、カメラにより撮像された画像を示す画像情報である。車両挙動検出部１４ｆは、検出した車両挙動情報を、閉眼時間検出部１０を介してマイクロスリープ推定部１２に出力するとともに、実施判定部１６にも出力する。

【0103】

マイクロスリープ推定部１２は、車両挙動検出部１４ｆにより運転者の眠気に関連する車両挙動情報が検出され、且つ、閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定する。ここで、運転者の眠気に関連する車両挙動情報とは、例えば、車両が走行レーンから逸脱していることを示す情報である。

【0104】

なお、センサ群４は、上記のカメラに限定されず、例えば車両の操舵角を検出する操舵角センサを含んでいてもよい。この場合、センサ情報は、操舵角センサにより検出された操舵角を示す情報であってもよい。

【0105】

次に、図１８を参照しながら、状態検出部１４の適用例６における、実施の形態２に係る推定装置２Ａの動作について説明する。図１８は、状態検出部１４の適用例６における、実施の形態２に係る推定装置２Ａの動作の流れを示すフローチャートである。なお、図１８のフローチャートにおいて、上述した図４のフローチャートと同一の処理には同一のステップ番号を付して、その説明を省略する。

【0106】

図１８に示すように、上述と同様にステップＳ２０１が実行された後、車両挙動検出部１４ｆは、情報取得部６からのセンサ情報に基づいて、運転者の眠気に関連する車両挙動情報の検出を試みる。車両挙動検出部１４ｆが運転者の眠気に関連する車両挙動情報を検出しない場合には（Ｓ８０１でＮＯ）、上述と同様にステップＳ２０３が実行される。一方、車両挙動検出部１４ｆが運転者の眠気に関連する車両挙動情報を検出した場合には（Ｓ８０１でＹＥＳ）、上述と同様にステップＳ２０４～Ｓ２０７が実行される。

【0107】

［２－１２．状態検出部の適用例７］
図１９を参照しながら、状態検出部１４の適用例７について説明する。図１９は、状態検出部１４の適用例７における、実施の形態２に係る推定装置２Ａの構成を示すブロック図である。なお、図１９のブロック図において、上述した図３のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0108】

図１９に示すように、適用例７では、状態検出部１４は、体動検出部１４ｇとして適用される。体動検出部１４ｇは、情報取得部６からのセンサ情報に基づいて、運転者の体動を示す体動情報を検出する。この場合、例えば、センサ群４は、車両の運転席のバックレスト又は座面に配置された圧力センサを含み、センサ情報は、圧力センサにより検出された圧力を示す情報である。体動検出部１４ｇは、検出した体動情報を、閉眼時間検出部１０を介してマイクロスリープ推定部１２に出力するとともに、実施判定部１６にも出力する。

【0109】

マイクロスリープ推定部１２は、体動検出部１４ｇにより運転者の眠気に関連する体動情報が検出され、且つ、閉眼時間検出部１０により閉眼時間が０．５秒以上３秒未満であることが検出されたことを条件として、運転者がマイクロスリープ状態であると推定する。ここで、運転者の眠気に関連する体動情報とは、例えば、眠気により運転者の上半身が前後に揺れる（すなわち、運転者の重心が前後に往復移動する）体動を示す情報である。

【0110】

次に、図２０を参照しながら、状態検出部１４の適用例７における、実施の形態２に係る推定装置２Ａの動作について説明する。図２０は、状態検出部１４の適用例７における、実施の形態２に係る推定装置２Ａの動作の流れを示すフローチャートである。なお、図２０のフローチャートにおいて、上述した図４のフローチャートと同一の処理には同一のステップ番号を付して、その説明を省略する。

【0111】

図２０に示すように、上述と同様にステップＳ２０１が実行された後、体動検出部１４ｇは、情報取得部６からのセンサ情報に基づいて、運転者の眠気に関連する体動情報の検出を試みる。体動検出部１４ｇが運転者の眠気に関連する体動情報を検出しない場合には（Ｓ９０１でＮＯ）、上述と同様にステップＳ２０３が実行される。一方、体動検出部１４ｇが運転者の眠気に関連する体動情報を検出した場合には（Ｓ９０１でＹＥＳ）、上述と同様にステップＳ２０４～Ｓ２０７が実行される。

【0112】

（実施の形態３）
［３－１．推定装置の構成］
図２１を参照しながら、実施の形態３に係る推定装置２Ｄの構成について説明する。図２１は、実施の形態３に係る推定装置２Ｄの構成を示すブロック図である。なお、図２１のブロック図において、上述した図３のブロック図と同一の構成要素には同一の符号を付して、その説明を省略する。

【0113】

図２１に示すように、本実施の形態では、推定装置２Ｄの判定部８Ｄは、上記実施の形態２で説明した状態検出部１４及び実施判定部１６に加えて、操作検出部１８及び誤推定状況検出部２０を有している。

【0114】

操作検出部１８は、運転者による車両のステアリングホイール及びカーナビゲーション等の操作を検出する。操作検出部１８は、検出結果を誤推定状況検出部２０に出力する。

【0115】

誤推定状況検出部２０は、操作検出部１８からの検出結果に基づいて、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定に影響を与える状況である誤推定状況の有無を検出する。誤推定状況は、例えば、運転者がステアリングホイールをしっかりと握っていたり、カーナビゲーションを操作していたりするなど、運転者が眠気を感じていない可能性が高いと考えられる状況である。誤推定状況検出部２０は、検出結果を実施判定部１６に出力する。

【0116】

実施判定部１６は、状態検出部１４からの検出結果及び誤推定状況検出部２０からの検出結果に基づいて、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定の実施の要否を判定する。具体的には、実施判定部１６は、誤推定状況検出部２０により誤推定状況が検出されず、且つ、状態検出部１４により運転者の眠気に関連する状態が検出された場合には、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施すると判定する。一方、実施判定部１６は、誤推定状況検出部２０により誤推定状況が検出された場合、又は、状態検出部１４により運転者の眠気に関連する状態が検出されない場合には、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施しないと判定する。

【0117】

［３－２．推定装置の動作］
次に、図２２を参照しながら、実施の形態３に係る推定装置２Ｄの動作について説明する。図２２は、実施の形態３に係る推定装置２Ｄの動作の流れを示すフローチャートである。なお、図２２のフローチャートにおいて、上述した図４のフローチャートと同一の処理には同一のステップ番号を付して、その説明を省略する。

【0118】

図２２に示すように、上述と同様にステップＳ２０１が実行された後、誤推定状況検出部２０は、操作検出部１８からの検出結果に基づいて、誤推定状況の有無を検出する。

【0119】

誤推定状況検出部２０が誤推定状況を検出した場合には（Ｓ１００１でＹＥＳ）、実施判定部１６は、誤推定状況検出部２０からの検出結果に基づいて、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施しないと判定する（Ｓ２０３）。この場合、マイクロスリープ推定部１２は、運転者のマイクロスリープ状態を推定しない。

【0120】

ステップＳ１００１に戻り、誤推定状況検出部２０が誤推定状況を検出せず（Ｓ１００１でＮＯ）、且つ、状態検出部１４が運転者の眠気に関連する状態を検出した場合には（Ｓ２０２でＹＥＳ）、実施判定部１６は、状態検出部１４からの検出結果及び誤推定状況検出部２０からの検出結果に基づいて、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施すると判定する（Ｓ２０４）。その後、上述と同様に、ステップＳ２０５～Ｓ２０７が実行される。

【0121】

ステップＳ２０２に戻り、状態検出部１４が運転者の眠気に関連する状態を検出しない場合には（Ｓ２０２でＮＯ）、実施判定部１６は、状態検出部１４からの検出結果に基づいて、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施しないと判定する（Ｓ２０３）。

【0122】

［３－３．効果］
本実施の形態では、実施判定部１６は、誤推定状況検出部２０により誤推定状況が検出された場合には、マイクロスリープ推定部１２による運転者のマイクロスリープ状態の推定を実施しないと判定する。これにより、マイクロスリープ推定部１２によるマイクロスリープ状態の誤推定を回避することができる。

【0123】

［３－４．変形例］
本実施の形態では、誤推定状況は、運転者がステアリングホイール又はカーナビゲーションを操作している状況であるとしたが、これに限定されない。例えば、誤推定状況は、運転者が前日に夜勤をしていたが、その後数時間の仮眠を取っていた状況であってもよい。このような状況では、運転者が眠気を感じていない可能性が高いと考えられる。この場合には、誤推定状況検出部２０は、例えば生活ログ情報に基づいて、誤推定状況の有無を検出することができる。

【0124】

また例えば、誤推定状況は、運転者の顔に街路樹等の細かい影がかかっている道路状況であってもよい。このような状況では、閉眼時間検出部１０は閉眼時間を精度良く検出することができないと考えられる。この場合には、誤推定状況検出部２０は、例えばセンサ群４からの画像情報に基づいて、誤推定状況の有無を検出することができる。 また例えば、誤推定状況は、運転者の顔に西日が射している日射状況であってもよい。このような状況では、運転者はやむを得ず眼を閉じしまうおそれがあると考えられる。この場合には、誤推定状況検出部２０は、例えばセンサ群４からの画像情報に基づいて、誤推定状況の有無を検出することができる。

【0125】

また例えば、誤推定状況は、運転者が強い眠気を感じていなくても、疲労等から意識的に眼を閉じた状況であってもよい。

【0126】

（他の変形例）
以上、一つ又は複数の態様に係る推定装置について、上記各実施の形態に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を上記各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

【0127】

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0128】

また、上記各実施の形態に係る推定装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

【0129】

上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしても良い。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしても良い。

【0130】

本開示は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えばフレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリ等に記録したものとしても良い。また、これらの記録媒体に記録されている前記デジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしても良い。また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

【産業上の利用可能性】

【0131】

本開示は、例えば車両の運転者のマイクロスリープ状態を推定するための推定装置等に適用可能である。

【符号の説明】

【0132】

２，２Ａ，２Ｂ，２Ｃ，２Ｄ 推定装置
４ センサ群
６ 情報取得部
８，８Ａ，８Ｂ，８Ｄ 判定部
１０ 閉眼時間検出部
１２ マイクロスリープ推定部
１４ 状態検出部
１４ａ 生活ログ情報検出部
１４ｂ 顔特徴動作検出部
１４ｃ 頭部動作検出部
１４ｄ 車内情報検出部
１４ｅ バイタル情報検出部
１４ｆ 車両挙動検出部
１４ｇ 体動検出部
１６ 実施判定部
１７ クラウドサーバ
１８ 操作検出部
２０ 誤推定状況検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】