特許 7550879 睡眠検出装置及び睡眠検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-05

(45)【発行日】2024-09-13

(54)【発明の名称】睡眠検出装置及び睡眠検出システム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240906BHJP

   A61B 5/18 20060101ALI20240906BHJP

【ＦＩ】

A61B5/16 130

A61B5/18

【請求項の数】 12

(21)【出願番号】P 2022564938

(86)(22)【出願日】2020-11-27

(86)【国際出願番号】 JP2020044237

(87)【国際公開番号】W WO2022113275

(87)【国際公開日】2022-06-02

【審査請求日】2022-11-18

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】熊谷 太郎

(72)【発明者】

【氏名】中村 雄大

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】特表２０１６－５３９４４６（ＪＰ，Ａ）

【文献】特開２０２０－０８６９０７（ＪＰ，Ａ）

【文献】特開２０１９－１４８４９１（ＪＰ，Ａ）

【文献】特開平０７－０５７１７２（ＪＰ，Ａ）

【文献】特開２０１４－０９２９６５（ＪＰ，Ａ）

【文献】特開２０１０－１９８３１３（ＪＰ，Ａ）

【文献】特開２０１７－０４９６３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０６ － ５／２２

Ｇ０８Ｇ １／１６

Ｂ６０Ｋ ２８／０６

(57)【特許請求の範囲】

【請求項1】

車両に搭載され前記車両の内部の乗員を撮像する撮像装置から、前記乗員が撮像された撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像から抽出された前記乗員に知覚の鈍化が発生しているか否かを判定する鈍化判定部と、
前記画像取得部が取得した前記撮像画像から抽出された前記乗員の姿勢が異常であるか否かを判定する姿勢判定部と、
前記鈍化判定部の判定結果及び前記姿勢判定部の判定結果を用いて、前記乗員の睡眠を検出する睡眠検出部と、を備え、
前記鈍化判定部は、前記乗員の顔向きの変化を示す指標値が鈍化判定閾値未満であると判定された後に、当該指標値が前記鈍化判定閾値未満である状態が鈍化判定時間以上継続した場合に、当該乗員に知覚の鈍化が発生していると判定し、
前記睡眠検出部は、前記鈍化判定部により前記乗員に知覚の鈍化が発生していると判定され、前記姿勢判定部により前記乗員の姿勢が異常であると判定された場合、前記乗員がマイクロスリープに陥ったとする
ことを特徴とする睡眠検出装置。

【請求項2】

前記睡眠検出部は、前記鈍化判定部により前記乗員に知覚の鈍化が発生していると判定された後に、前記姿勢判定部により前記乗員の姿勢が異常であると判定された場合に、前記乗員が前記マイクロスリープに陥ったとする
ことを特徴とする請求項１に記載の睡眠検出装置。

【請求項3】

前記姿勢判定部は、前記乗員との距離を取得するセンサから取得した前記乗員と前記センサとの距離が、設定された範囲外である場合、前記乗員の姿勢が異常であると判定する ことを特徴とする請求項１又は請求項２に記載の睡眠検出装置。

【請求項4】

前記姿勢判定部は、前記撮像画像から抽出された前記乗員の顔パーツが含まれる領域である顔領域の大きさが、設定された範囲外である場合、前記乗員の姿勢が異常であると判定する
ことを特徴とする請求項１又は請求項２に記載の睡眠検出装置。

【請求項5】

前記画像取得部が取得した前記撮像画像から抽出された前記乗員の顔向きを検出する顔向き検出部と、
前記顔向き検出部が検出した前記乗員の顔向きの変化量を算出する顔向き変化量算出部と、をさらに備え、
前記姿勢判定部は、設定された姿勢判定時間内において、前記顔向き変化量算出部が算出した前記乗員の顔向きの変化量が、設定された姿勢判定閾値以上となれば、前記乗員の姿勢が異常であると判定する
ことを特徴とする請求項１又は請求項２に記載の睡眠検出装置。

【請求項6】

前記画像取得部が取得した前記撮像画像から抽出された前記乗員の顔向きを検出する顔向き検出部と、
前記顔向き検出部が検出した前記乗員の顔向きの変化量を算出する顔向き変化量算出部と、をさらに備え、
前記鈍化判定部は、前記顔向き変化量算出部が前記指標値として算出した前記乗員の顔向きの変化量が前記鈍化判定閾値未満であると判定された後に、前記乗員の顔向きの変化量が前記鈍化判定閾値未満である状態が、設定された鈍化判定時間以上継続した場合、前記乗員に知覚の鈍化が発生していると判定する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の睡眠検出装置。

【請求項7】

前記画像取得部が取得した前記撮像画像から抽出された前記乗員の顔向きを検出する顔向き検出部と、
前記顔向き検出部が検出した前記乗員の顔向きの変化量を算出する顔向き変化量算出部と、をさらに備え、
前記鈍化判定部は、前記顔向き変化量算出部が前記指標値として算出した前記乗員の顔向きの変化量が前記鈍化判定閾値未満であると判定された後に、前記乗員の顔向きの変化量が前記鈍化判定閾値未満である状態が前記鈍化判定時間以上継続した場合、前記乗員に知覚の鈍化が発生していると判定し、
前記姿勢判定部は、設定された姿勢判定時間内において、前記顔向き変化量算出部が算出した前記乗員の顔向きの変化量が、設定された姿勢判定閾値以上となれば、前記乗員の姿勢が異常であると判定する
ことを特徴とする請求項１又は請求項２に記載の睡眠検出装置。

【請求項8】

車両に搭載され前記車両の内部の乗員を撮像する撮像装置から、前記乗員が撮像された撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像から抽出された前記乗員に知覚の鈍化が発生しているか否かを判定する鈍化判定部と、
前記画像取得部が取得した前記撮像画像から抽出された前記乗員の姿勢が異常であるか否かを判定する姿勢判定部と、
前記鈍化判定部の判定結果及び前記姿勢判定部の判定結果を用いて、前記乗員の睡眠を検出する睡眠検出部と、
前記画像取得部が取得した前記撮像画像から抽出された前記乗員の顔の状態に関する顔情報を検出する顔情報検出部と、を備え、
前記顔情報検出部は、前記乗員の、目の開眼度、瞬きの速度及び瞬きの頻度の少なくともいずれかを前記顔情報として検出し、
前記鈍化判定部は、前記乗員の、目の開眼度、瞬きの速度及び瞬きの頻度の少なくともいずれかが鈍化判定閾値未満であると判定された後に、前記鈍化判定閾値未満である状態が鈍化判定時間以上継続した場合、当該乗員に知覚の鈍化が発生していると判定し、
前記睡眠検出部は、前記鈍化判定部により前記乗員に知覚の鈍化が発生していると判定され、前記姿勢判定部により前記乗員の姿勢が異常であると判定された場合、前記乗員がマイクロスリープに陥ったとする
ことを特徴とする睡眠検出装置。

【請求項9】

前記顔情報検出部が検出した前記顔情報を用いて、前記乗員の眠気レベルを算出する眠気レベル算出部をさらに備え、
前記睡眠検出部は、前記眠気レベル算出部により前記乗員の眠気レベルが設定された閾値以上にあると判定され、前記鈍化判定部により前記乗員に知覚の鈍化が発生していると判定され、前記姿勢判定部により前記乗員の姿勢が異常であると判定された場合に、前記乗員が前記マイクロスリープに陥ったとする
ことを特徴とする請求項８に記載の睡眠検出装置。

【請求項10】

前記画像取得部が取得した前記撮像画像から抽出された前記乗員の状態に関する顔情報を検出する顔情報検出部と、
前記顔情報検出部が検出した前記顔情報を用いて、前記乗員の眠気レベルを算出する眠気レベル算出部と、をさらに備え、
前記睡眠検出部は、前記眠気レベル算出部により、前記乗員の眠気レベルが設定された閾値以上にあると判定された場合に、前記鈍化判定部により前記乗員に知覚の鈍化が発生していると判定され、前記姿勢判定部により前記乗員の姿勢が異常であると判定されたら、前記乗員が前記マイクロスリープに陥ったとする
ことを特徴とする請求項１から請求項７のいずれか一項に記載の睡眠検出装置。

【請求項11】

前記車両に搭載され、前記睡眠検出部により前記乗員が前記マイクロスリープに陥ったことが検出された場合、前記乗員に向けて報知を行う報知部をさらに備えた
ことを特徴とする請求項１から請求項１０のいずれか一項に記載の睡眠検出装置。

【請求項12】

車両に搭載され前記車両の内部の乗員を撮像する撮像装置と、
前記撮像装置から、前記乗員が撮像された撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像から抽出された前記乗員に知覚の鈍化が発生しているか否かを判定する鈍化判定部と、
前記画像取得部が取得した前記撮像画像から抽出された前記乗員の姿勢が異常であるか否かを判定する姿勢判定部と、
前記鈍化判定部の判定結果及び前記姿勢判定部の判定結果を用いて、前記乗員の睡眠を検出する睡眠検出部と、を備え、
前記鈍化判定部は、前記乗員の顔向きの変化を示す指標値が鈍化判定閾値未満であると判定された後に、当該指標値が前記鈍化判定閾値未満である状態が鈍化判定時間以上継続した場合に、当該乗員に知覚の鈍化が発生していると判定し、
前記睡眠検出部は、前記鈍化判定部により前記乗員に知覚の鈍化が発生していると判定され、前記姿勢判定部により前記乗員の姿勢が異常であると判定された場合、前記乗員がマイクロスリープに陥ったとする
ことを特徴とする睡眠検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、睡眠検出装置及び睡眠検出システムに関する。

【背景技術】

【0002】

自動車等の車両を運転する乗員の居眠り運転を防止するために、乗員の顔や姿勢の状態を検出し、乗員が感じる眠気を推定する技術が提案されている。従来、強い眠気に至るまでに、段階的に眠気の状態が変化することから、目の開眼度及び目と眉との距離等、眠気の兆候に関連する情報を用いて、段階的に分けられた眠気ステージのうち、乗員がどの眠気ステージにあるのかを推定していた（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－２２０４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

乗員は、瞬間的に眠って倒れこむ等、いわゆるマイクロスリープに陥る場合があり、居眠り運転を防止するためには、前述の瞬間的な睡眠を検出する必要がある。しかしながら、乗員がどの眠気ステージにあるのかを推定していただけでは、瞬間的な睡眠を検出できず、乗員の睡眠の検出精度が悪いという課題があった。

【0005】

本開示は、上述の課題を解決するためになされたもので、乗員の瞬間的な睡眠を検出し、乗員の睡眠の検出精度を向上する睡眠検出装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る睡眠検出装置は、車両に搭載され車両の内部の乗員を撮像する撮像装置から、乗員が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像から抽出された乗員に知覚の鈍化が発生しているか否かを判定する鈍化判定部と、画像取得部が取得した撮像画像から抽出された乗員の姿勢が異常であるか否かを判定する姿勢判定部と、鈍化判定部の判定結果及び姿勢判定部の判定結果を用いて、乗員の睡眠を検出する睡眠検出部と、を備え、鈍化判定部は、乗員の顔向きの変化を示す指標値が鈍化判定閾値未満であると判定された後に、当該指標値が鈍化判定閾値未満である状態が鈍化判定時間以上継続した場合に、当該乗員に知覚の鈍化が発生していると判定し、睡眠検出部は、鈍化判定部により乗員に知覚の鈍化が発生していると判定され、姿勢判定部により乗員の姿勢が異常であると判定された場合、乗員がマイクロスリープに陥ったとするものである。

【0007】

また、本開示に係る睡眠検出システムは、車両に搭載され車両の内部の乗員を撮像する撮像装置と、撮像装置から、乗員が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像から抽出された乗員に知覚の鈍化が発生しているか否かを判定する鈍化判定部と、画像取得部が取得した撮像画像から抽出された乗員の姿勢が異常であるか否かを判定する姿勢判定部と、鈍化判定部の判定結果及び姿勢判定部の判定結果を用いて、乗員の睡眠を検出する睡眠検出部と、を備え、鈍化判定部は、乗員の顔向きの変化を示す指標値が鈍化判定閾値未満であると判定された後に、当該指標値が鈍化判定閾値未満である状態が鈍化判定時間以上継続した場合に、当該乗員に知覚の鈍化が発生していると判定し、睡眠検出部は、鈍化判定部により乗員に知覚の鈍化が発生していると判定され、姿勢判定部により乗員の姿勢が異常であると判定された場合、乗員がマイクロスリープに陥ったとするものである。

【発明の効果】

【0008】

本開示によれば、乗員の瞬間的な睡眠を検出し、乗員の睡眠の検出精度を向上できる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る睡眠検出システムの構成例を示すブロック図である。

【図2】実施の形態１に係る撮像装置の撮像範囲を示す説明図である。

【図3】実施の形態１に係る睡眠検出装置の特徴点検出部の検出処理を示す説明図である。

【図4】実施の形態１に係る睡眠検出装置の顔向き検出部の顔向き検出処理を示す説明図である。

【図5】実施の形態１に係る睡眠検出装置の睡眠検出結果を示す説明図である。

【図6】実施の形態１に係る睡眠検出装置の動作例を示すフローチャートである。

【図7】実施の形態１に係る睡眠検出装置の動作例を示すフローチャートである。

【図8】実施の形態１に係る睡眠検出装置のハードウェア構成例を示す図である。

【図9】実施の形態２に係る睡眠検出システムの構成例を示すブロック図である。

【図10】実施の形態２に係る睡眠検出装置の動作例を示すフローチャートである。

【図11】実施の形態３に係る睡眠検出システムの構成例を示すブロック図である。

【図12】実施の形態３に係る睡眠検出装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面に基づいて実施の形態について説明する。

【0011】

実施の形態１．
図１は、実施の形態１に係る睡眠検出システム１００の構成例を示すブロック図である。睡眠検出システム１００は、睡眠検出装置１０及び撮像装置２０を備えており、睡眠検出装置１０及び撮像装置２０はそれぞれ車両に搭載される。

【0012】

図２は、実施の形態１に係る撮像装置２０の撮像範囲を示す説明図である。図２では、睡眠検出装置１０を搭載した車両の内部を上方から見ている。撮像装置２０は、例えば広角カメラ、赤外線カメラ等で構成され、車両の内部を撮像する。また、撮像装置２０は、撮像装置２０と被写体との距離を反映した画像を撮像可能な、ＴＯＦ（Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ）カメラ等の距離画像センサであってもよい。撮像装置２０は、例えば３０～６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の間隔で車両内部を撮像して、撮像した画像を睡眠検出装置１０の画像取得部１１へ出力する。以下、撮像装置２０により撮像された画像を、撮像画像という。

【0013】

図２の例において、撮像装置２０の撮像領域を領域Ａで示している。撮像装置２０は、少なくとも運転席２０１及び助手席２０２にそれぞれ着座する乗員２１１及び乗員２１２を同時に撮像可能なように、一台又は複数台、インストルメントパネル、ステアリングコラム、ルームミラー等に配置される。ここで、撮像装置２０は、図示していない後部座席を撮像範囲に含んでいてもよい。以下、撮像装置２０の撮像対象となる乗員２１１、２１２をまとめて「乗員」ともいう。すなわち、乗員は運転者を含むものである。

【0014】

図１に戻り、睡眠検出装置１０の各構成について説明する。睡眠検出装置１０は、撮像装置２０から乗員が撮像された撮像画像を取得する画像取得部１１と、撮像画像から抽出された乗員に知覚の鈍化が発生しているか否かを判定する鈍化判定部１６と、撮像画像から抽出された乗員の姿勢が異常であるか否かを判定する姿勢判定部１７と、鈍化判定部１６及び姿勢判定部１７のそれぞれの判定結果を用いて、乗員の睡眠を検出する睡眠検出部１８と、を備える。

【0015】

画像取得部１１は、撮像装置２０から車両の内部の乗員が撮像された撮像画像を取得する。また、睡眠検出装置１０は、撮像装置２０から撮像画像を取得する度に、後述する睡眠検出の処理を行うと好ましい。そして、画像取得部１１が取得した撮像画像は、次に説明する特徴点検出部１２に出力される。

【0016】

特徴点検出部１２は、画像取得部１１が取得した撮像画像から、乗員の身体の器官に関する特徴点を抽出する。特徴点検出部１２による特徴点の抽出処理は、公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。例えば、特徴点検出部１２は、乗員の顔に関する特徴点を抽出する場合、複数個の顔パーツ（例えば、右目、左目、右眉、左眉、鼻、及び口）の各々に対応する複数個の特徴点を検出する処理を実行する。

【0017】

特徴点検出部１２の特徴点の検出処理について説明する。図３は、実施の形態１に係る睡眠検出装置１０の特徴点検出部１２の検出処理を示す説明図である。図３Ａは撮像画像３００についての説明図であり、図３Ｂは顔領域３０１についての説明図であり、図３Ｃは特徴点についての説明図である。特徴点検出部１２は、画像取得部１１から例えば図３Ａに示す撮像画像３００を取得する。そして、特徴点検出部１２は、画像取得部１１から取得した撮像画像３００に対して、顔パーツが含まれる領域である顔領域３０１を検出する。例えば、特徴点検出部１２は、図３Ａの撮像画像３００に対して、図３Ｂに示す顔領域３０１を検出する。

【0018】

特徴点検出部１２は、検出した顔領域３０１内で、例えば図３Ｃに示すように、目に関して、両目尻３１１、両目頭３１２、両上瞼３１３、及び両下瞼３１４等の、顔パーツの構成要素の位置情報を取得する。また、特徴点検出部１２は、顔領域３０１内で、例えば図３Ｃに示すように、鼻に関して、鼻根３１５、鼻尖３１６、鼻背、及び鼻翼等の、顔パーツの構成要素の位置情報を取得する。さらに、特徴点検出部１２は、顔領域３０１内で、例えば図３Ｃに示すように、口に関して、上唇３１７、下唇３１８、及び口角３１９等の、顔パーツの位置情報を取得する。特徴点検出部１２が取得する各顔パーツの構成要素の位置情報は、図３Ａで示した撮像画像３００の特定の位置Ｏを始点とした座標、又は図３Ａで示した撮像画像３００における中心を始点とした座標等を示す情報である。そして、特徴点検出部１２が取得した位置情報が、特徴点として検出される。なお、特徴点検出部１２が検出した特徴点は、睡眠検出装置１０の記憶部（図示せず）に記録されてもよい。

【0019】

そして、特徴量算出部１３は、特徴点検出部１２が抽出した特徴点から、乗員の特徴量を算出する。ここで、乗員の特徴量とは、具体的には、例えば、右目と左目との距離、乗員の顔における鼻の位置等、乗員の特徴点間の位置関係を示す情報である。また、特徴量算出部１３は、顔領域３０１の撮像画像３００における大きさ、座標等、顔領域３０１の位置情報を取得してもよい。特徴量の算出についても、公知の種々のアルゴリズムを用いることができる。なお、特徴量算出部１３が算出した特徴量についても、睡眠検出装置１０の記憶部に記録されてもよい。

【0020】

顔向き検出部１４は、特徴量算出部１３が算出した特徴量を用いて、画像取得部１１が取得した撮像画像における乗員の顔向きを検出する。ここで、例えば、基準位置に対して乗員の顔のロール角、ピッチ角、及びヨー角の少なくともいずれかを検出して、乗員の顔向きを検出すればよい。なお、顔向き検出部１４が検出した顔向きについても、睡眠検出装置１０の記憶部に記録されてもよい。

【0021】

顔向き検出部１４の顔向きの検出処理について説明する。図４は、実施の形態１に係る睡眠検出装置１０の顔向き検出部１４の顔向き検出処理を示す説明図である。例えば、図４Ａから図４Ｃに示すように、顔向き検出部１４は、鼻尖３１６と両目の位置関係を取得する。また、顔向き検出部１４は、鼻尖３１６と両目の位置関係から、乗員の顔向きを検出する。

【0022】

図４Ａの場合、顔向き検出部１４は、鼻尖３１６が左目の目尻３１１を通る直線Ｑａ付近に位置していることから、乗員の顔向きは右であると検出する。図４Ｂの場合、顔向き検出部１４は、鼻尖３１６が両眼頭３１２の間に位置していることから、乗員の顔向きは正面であると検出する。図４Ｃの場合、顔向き検出部１４は、鼻尖３１６が右目の目尻３１１を通る直線Ｑｂ付近に位置していることから、顔向き検出部１４は、乗員の顔向きは左であると検出する。このように、顔向き検出部１４は、乗員の顔の左右の向き、すなわち、乗員の顔のヨー角を検出する。

【0023】

また、例えば図４Ｂに示すように、顔向き検出部１４は、鼻尖３１６が位置する点を通る直線Ｑｃを利用して、乗員の顔の上下の向き、すなわち、乗員の顔のピッチ角を検出する。なお、直線Ｑｃは、例えば、乗員が上下方向、及び左右方向のいずれにおいても正面を向いている状態の撮像画像から設定すればよい。なお、顔向き検出部１４による乗員の顔向き検出処理については、公知の種々のアルゴリズムを用いることができ、乗員の顔のロール角の検出処理についても公知の種々のアルゴリズムを用いることができる。また、後述の姿勢判定部１７による乗員の姿勢の判定処理には、乗員の顔のロール角及びピッチ角の少なくともいずれかを用いると好ましい。乗員が瞬間的な睡眠に陥る場合は、うなずき、倒れこみ、又はのけぞりが伴う。これにより、瞬間的な睡眠に陥った乗員は、顔のロール角及びピッチ角の少なくともいずれかが変化するため、ロール角及びピッチ角の少なくともいずれかを後述の姿勢判定処理に用いれば、姿勢判定結果の信頼性を向上できる。

【0024】

顔向き変化量算出部１５は、顔向き検出部１４が検出した乗員の顔向きを用いて、乗員の顔向きの変化量を算出する。乗員の顔向きの変化量とは、例えば、フレームＡにおける撮像画像から検出された基準位置に対する乗員の顔のピッチ角と、フレームＢにおける撮像画像から検出された基準位置に対する乗員の顔のピッチ角との差分である。ここで、乗員の顔向きの変化量とは、乗員の顔の角度の変化量だけでなく、撮像画像における乗員の顔の位置又は顔領域の大きさ、座標の変化量も含むものである。なお、変化量とは、各パラメータの差分のみではなく、複数の撮像画像で検出された各パラメータより算出された平均値からの差分でもよく、複数の撮像画像で検出された各パラメータより算出された中央値及び標準偏差等であってもよい。

【0025】

次に、鈍化判定部１６について説明する。鈍化判定部１６は、撮像画像より抽出された乗員に、知覚の鈍化が発生しているか否かを判定する。ここで、乗員に知覚の鈍化が発生しているとは、乗員が外部からの刺激に対して強い反応を示さない状態にあることをいう。乗員が瞬間的な睡眠に陥る場合、この瞬間的な睡眠の前には、乗員に知覚の鈍化が発生することが分かっている。したがって、乗員の瞬間的な睡眠を精度よく検出するためには、乗員に知覚の鈍化が発生しているか否かを判定する必要がある。

【0026】

乗員に知覚の鈍化が発生している場合、例えば、覚醒時と比較して、顔の動きが少なくなる等、特徴的な行動の変化がみられる。この行動の変化は、乗員が外部からの刺激に対して強い反応を示さなくなったことを意味しており、知覚の鈍化が発生した乗員には、覚醒時と比較して随意的な動作が少なくなる。

【0027】

鈍化判定部１６が乗員の顔向きを用いて、乗員の知覚に鈍化が発生しているか否かを判定する例を挙げて説明する。なお、説明のため、乗員の知覚に鈍化が発生しているか否かの判定を鈍化判定ともいう。鈍化判定部１６は、顔向きの変化量が設定された閾値（以下、鈍化判定閾値という）未満である状態が、設定された時間（以下、鈍化判定時間という）以上継続した場合、乗員に随意的な行動が少なくなったとして、乗員の知覚に鈍化が発生していると判定する。一方、顔向きの変化量が鈍化判定閾値以上である場合、又は顔向きの変化量が鈍化判定閾値未満である状態が鈍化判定時間以上継続しなかった場合、乗員に随意的な行動がみられるとして、乗員の知覚に鈍化が発生していないと判定する。

【0028】

乗員に知覚の鈍化が発生する場合は、乗員から随意的な動作が見られなくなった状態（以下、鈍化状態という）は所定の時間継続する。一方で、乗員は覚醒状態にありながらも、運転中に顔向きの変化が少なくなる場合もある。そのため、鈍化状態が設定された鈍化判定時間以上継続した場合に、鈍化判定の判定結果を、後述の睡眠検出処理に反映することで、乗員の睡眠の検出精度を向上することができる。

【0029】

鈍化判定部１６は、例えば、顔向き変化量算出部１５から、顔向きの変化量として乗員の顔のピッチ角の、設定された期間における標準偏差を取得する。そして、鈍化判定部１６は、取得した標準偏差が鈍化判定閾値未満であり、標準偏差が鈍化判定閾値未満である状態が鈍化判定時間以上継続していれば、すなわち標準偏差が鈍化判定閾値未満となった期間が鈍化判定時間以上であれば、乗員の知覚に鈍化が発生していると判定する。一方、鈍化判定部１６は、取得した標準偏差が鈍化判定閾値以上であれば、乗員の知覚に鈍化が発生していないと判定する。また、鈍化判定部１６は、取得した標準偏差が鈍化判定閾値未満となった期間が鈍化判定時間未満であっても、乗員の知覚に鈍化が発生していないと判定する。さらに、鈍化判定部１６は、判定結果を後述する睡眠検出部１８に出力する。

【0030】

次に、姿勢判定部１７について説明する。姿勢判定部１７は、撮像画像より抽出された乗員の姿勢が異常であるか否かを判定する。乗員は、瞬間的に睡眠に陥る場合、うなずき、倒れこみ、又はのけぞり等、異常な姿勢が伴う。そのため、姿勢判定部１７により、乗員が異常な姿勢であるか否かを判定して、姿勢判定部１７の判定結果を後述の睡眠検出処理に用いる。

【0031】

姿勢判定部１７は、例えば、顔向き変化量算出部１５が算出した顔向きの変化量を用いて、撮像画像より抽出された乗員の姿勢が異常であるか否かを判定する。そして、姿勢判定部１７は判定結果を睡眠検出部１８に出力する。なお、説明のため、姿勢判定部１７による乗員の姿勢が異常であるか否かの判定を、姿勢判定ともいう。

【0032】

姿勢判定部１７による姿勢判定例について説明する。例えば、姿勢判定部１７は、例えば、顔向き変化量算出部１５から、顔向きの変化量として乗員の顔のピッチ角の、設定された時間（以下、姿勢判定時間という）内における最大値及び最小値を取得する。そして、姿勢判定部１７は、顔向きの変化量が姿勢判定時間内において、設定された閾値（以下、姿勢判定閾値という）以上であるか否かにより、乗員の姿勢が異常であるか否かを判定する。つまり、姿勢判定部１７は、顔向き変化量算出部１５から、姿勢判定時間内における、乗員の顔向きの基準位置に対するピッチ角の最大値と、乗員の顔向きの基準位置に対するピッチ角最小値とをそれぞれ取得する。そして、姿勢判定部１７は、最小値と最大値との差分が姿勢判定閾値以上であれば、乗員の姿勢が異常であると判定する。一方、姿勢判定部１７は、最小値と最大値との差分が姿勢判定閾値未満であれば、乗員の姿勢が異常でないと判定する。

【0033】

ここで、乗員は、瞬間的な睡眠に陥らなくても、例えば、前方視野の確保のためにゆっくりと顔向きを変化させる場合がある。一方で、上述のように姿勢判定部１７が、姿勢判定時間内における顔向きの変化量を用いて姿勢判定を行えば、乗員が瞬間的な睡眠に陥らずに、ゆっくりと顔向きが変化した場合を、乗員が睡眠に陥ったと誤検出することを抑制できる。

【0034】

また、姿勢判定部１７は、顔領域の大きさを用いて姿勢判定を行ってもよい。乗員が瞬間的な睡眠に陥る場合、乗員は、撮像装置２０から離れる方向にのけぞる、撮像装置２０に近づく方向にうなずく又は倒れこむことがある。このとき、検出される乗員の顔領域の大きさに変化が生じる。そのため、姿勢判定部１７は、例えば、特徴量算出部１３から特徴量として顔領域の大きさを取得し、顔領域の大きさが設定された範囲外にあれば、乗員の姿勢が異常であると判定し、顔領域の大きさが設定された範囲内にあれば乗員の姿勢が異常でないと判定するようにしてもよい。この場合、姿勢判定部１７は、顔向き変化量算出部１５と接続せず、特徴量算出部１３と接続するようにすればよい。

【0035】

さらに、姿勢判定部１７は、撮像装置２０と乗員との距離を用いて姿勢判定を行ってもよい。上述したように、乗員が瞬間的な睡眠に陥る場合、乗員は、撮像装置２０から離れる方向にのけぞる、撮像装置２０に近づく方向にうなずく又は倒れこむことがある。そのため、撮像装置２０をＴＯＦカメラ等の撮像装置２０と被写体との距離を反映した画像を撮像可能な撮像装置２０で構成し、撮像画像に含まれる、乗員と撮像装置２０との距離を示す距離データを用いて姿勢が異常であるか否かを判定することが可能である。

【0036】

姿勢判定部１７は、例えば、画像取得部１１が取得した撮像画像に含まれる乗員の顔と撮像装置２０との距離が、設定された範囲外にあれば、乗員の姿勢が異常であると判定し、乗員の顔と撮像装置２０との距離が設定された範囲内にあれば乗員の姿勢が異常でないと判定する。この場合、特徴量算出部１３を、撮像画像に含まれる乗員の顔と撮像装置２０との距離を算出可能なように構成し、姿勢判定部１７と特徴量算出部１３とを接続すればよい。

【0037】

なお、姿勢判定部１７は、車両に備えられた深度センサ等、乗員との距離を取得可能なセンサから取得した、乗員とセンサとの距離を示す距離データを用いて姿勢が異常であるか否かを判定することも可能である。すなわち、上述の例では、ＴＯＦカメラも深度センサに含まれる。

【0038】

睡眠検出部１８は、鈍化判定部１６の判定結果及び姿勢判定部１７の判定結果を用いて、乗員の睡眠を検出する。睡眠検出部１８は、鈍化判定部１６により乗員に知覚の鈍化が発生していると判定され、姿勢判定部１７により乗員の姿勢が異常であると判定された場合、乗員が睡眠に陥ったことを検出する。

【0039】

そして、睡眠検出部１８は、検出結果を、車両に搭載された車載機器の制御を行う車両制御装置（図示せず）へ出力し、車両に搭載された報知部５０を作動させて報知を行わせる。また、報知部５０は、睡眠検出装置１０に備えてもよい。なお、睡眠検出装置１０と車両制御装置は接続されている。ここで、報知部５０は、例えば、車両に搭載されたスピーカ又はディスプレイの少なくとも一方でもよいし、乗員が所持している携帯端末等であってもよい。報知部５０は、睡眠検出部１８により乗員が睡眠に陥ったことが検出された場合、乗員に向けて居眠り運転を防止させるため警告音を発する等して報知を行う。また、乗員が所持している携帯端末に報知を行わせる場合、睡眠検出装置１０を通信部（図示せず）と接続し、通信部と携帯端末との間で通信を行わせればよい。なお、睡眠検出部１８により、乗員が睡眠に陥ったことが検出された場合、車両制御装置によって眠気を解消するように空調等の車載機器の制御を行ってもよい。

【0040】

睡眠検出部１８による乗員の睡眠検出の結果について説明する。図５は、実施の形態１に係る睡眠検出装置１０の睡眠検出結果を示す説明図である。図５Ａは、比較例における睡眠検出結果を示した図であり、図５Ｂは、本実施の形態に係る睡眠検出装置１０の睡眠検出結果を示した図である。図５Ａ及び図５Ｂの縦軸は検出結果を示しており、横軸は時間を示している。図５Ａ及び図５Ｂでは、点がプロットされた時間において、乗員が睡眠に陥ったと検出されたことを表している。

【0041】

図５Ａの比較例は、睡眠検出処理において、姿勢判定部１７の判定結果のみで乗員の睡眠を検出したものである。乗員は、車両に乗車しているとき、様々な要因によって顔向きが変化する。図５中に示す時間ｔ１において、実際に乗員が瞬間的な睡眠に陥っている。しかしながら、図５Ａに示すように、比較例では、ｔ１以外にも乗員が睡眠に陥ったと検出されており、乗員の睡眠の検出精度が悪い。

【0042】

一方、本実施の形態に係る睡眠検出装置１０においては、鈍化判定部１６によって乗員に知覚の鈍化が発生したと判定された後に、姿勢判定部１７によって乗員の姿勢が異常であると判定された場合に、乗員が睡眠に陥ったとするようにした。そのため、図５Ｂに示すように、瞬間的な睡眠に陥らず、単に乗員の顔向きが変化した場合は、乗員が睡眠に陥ったと誤検出せず、実際に乗員が瞬間的な睡眠に陥った時間ｔ１のみ、乗員が睡眠に陥ったことが検出できる。このように、睡眠検出処理において、姿勢判定部１７の判定結果及び鈍化判定部１６の判定結果を用いることで、乗員の睡眠の検出精度を向上できる。なお、姿勢判定部１７による姿勢判定を、顔向きを用いたものでなく、顔領域の大きさを用いたものとしても、乗員とセンサとの距離を用いたものとしても同様の結果が得られ、図５Ｂに示すように、精度よく乗員の睡眠を検出できる。

【0043】

次に、睡眠検出装置１０の動作例について説明する。図６及び図７は、それぞれ実施の形態１に係る睡眠検出装置１０の動作例を示すフローチャートである。以下、睡眠検出装置１０が、乗員の顔向きを用いて、鈍化判定及び姿勢判定をそれぞれ行う例を挙げて説明する。また、図６及び図７のフローチャートには、睡眠検出装置１０の動作を終了する処理が示されていないが、睡眠検出装置１０は、車両制御装置から、動作を終了する旨の指令を取得したら動作を終了する。なお、図６及び図７に示す処理は、睡眠検出装置１０の電源がオンにされた状態で、例えば所定の間隔で繰り返される。

【0044】

まず、睡眠検出装置１０の画像取得部１１は、撮像装置２０から撮像画像を取得する（ＳＴ１）。そして、画像取得部１１は、取得した撮像画像を特徴点検出部１２に出力する。次いで、特徴点検出部１２は、撮像画像を用いて、撮像画像における乗員の顔パーツを検出し、乗員の顔の特徴点を抽出する（ＳＴ２）。そして、特徴量算出部１３は、抽出された特徴点を用いて、撮像画像から抽出された乗員の特徴量を算出する（ＳＴ３）。以下、説明のために、図６に示すＳＴ１～ＳＴ３の処理をまとめて、特徴量算出処理ＳＴ１０１という。

【0045】

図７に基づき睡眠検出装置１０の動作例について説明する。特徴量算出処理ＳＴ１０１にて乗員の特徴量を算出したら、顔向き検出部１４は、特徴量を取得し、撮像画像から抽出された乗員の顔向きを検出する（ＳＴ１０２）。そして、顔向き検出部１４は検出した乗員の顔向きを、顔向き変化量算出部１５に出力する。次いで、顔向き変化量算出部１５は、顔向き検出部１４から取得した乗員の顔向きを用いて、乗員の顔向きの変化量を算出する（ＳＴ１０３）。ここで、顔向きの変化量は、記憶部に記録されていてもよい。

【0046】

次に、鈍化判定部１６は、乗員の知覚に鈍化が発生しているか否かを判定する（ＳＴ１０４）。鈍化判定部１６は、変化量として、例えば、顔向き変化量算出部１５から乗員の顔向きを示すピッチ角の、設定された期間における標準偏差を取得する。そして、鈍化判定部１６は、取得した変化量が、鈍化判定閾値以上である場合、乗員の知覚に鈍化が発生していないと判定し（ＳＴ１０４；ＮＯ）、判定結果を睡眠検出部１８に出力する。次いで、睡眠検出装置１０の処理は、ＳＴ１０１に進む。一方、鈍化判定部１６は、取得した変化量が、鈍化判定閾値未満である場合、乗員が知覚の鈍化が発生している状態にあると判定し（ＳＴ１０４；ＹＥＳ）、次のＳＴ１０５の処理に進む。

【0047】

次に、鈍化判定部１６は、乗員の知覚に鈍化が発生している状態が鈍化判定時間以上継続したか否かを判定する（ＳＴ１０５）。ここで、鈍化判定部１６は、例えば、取得した標準偏差が鈍化判定閾値未満である状態が鈍化判定時間以上継続した場合に、乗員の知覚に鈍化が発生している状態が鈍化判定時間以上継続したと判定する。

【0048】

鈍化判定部１６が、乗員の知覚に鈍化が発生している状態が鈍化判定時間以上継続していないと判定した場合（ＳＴ１０５；ＮＯ）、乗員の知覚に鈍化が発生していないと判定し、睡眠検出装置１０の処理は、ＳＴ１０１に進む。一方、鈍化判定部１６が、乗員の知覚に鈍化が発生している状態が鈍化判定時間以上継続していると判定した場合（ＳＴ１０５；ＹＥＳ）、乗員に知覚の鈍化が発生していると判定して、判定結果を睡眠検出部１８に出力する。そして、睡眠検出装置１０の処理は、次に説明するＳＴ１０６に進む。

【0049】

次に、睡眠検出装置１０の姿勢判定部１７は、顔向き変化量算出部１５から、乗員の顔向きの変化量を取得する（ＳＴ１０６）。姿勢判定部１７は、例えば、顔向き変化量算出部１５から顔向きの変化量を取得し、顔向きの変化量が姿勢判定閾値以上であるか否かにより、乗員の姿勢が異常であるか否かを判定する（ＳＴ１０７）。姿勢判定部１７は、例えば、変化量として、設定された期間における乗員の顔向きの基準位置に対するピッチ角の最大値と、乗員の顔向きの基準位置に対するピッチ角の最小値とをそれぞれ取得する。そして、姿勢判定部１７は、最小値と最大値との差分が姿勢判定閾値未満であれば、乗員の姿勢が異常でないと判定し（ＳＴ１０７；ＮＯ）、次いで、睡眠検出装置１０の処理は、ＳＴ１０１に進む。

【0050】

一方、姿勢判定部１７は、変化量として取得した、ピッチ角の最小値と最大値との差分が姿勢判定閾値以上であれば、乗員の姿勢が異常であると判定し（ＳＴ１０７；ＹＥＳ）、睡眠検出装置１０の処理は、次に説明するＳＴ１０８に進む。

【0051】

姿勢判定部１７は、姿勢判定時間内において、乗員の姿勢が異常であると判定したかを判断する（ＳＴ１０８）。例えば、姿勢判定部１７は、乗員の顔のピッチ角が最大となった撮像画像を取得したフレームＡと、乗員の顔のピッチ角が最小となった撮像画像を取得したフレームＢとを参照し、フレームＡとフレームＢとの間に経過した時間を算出する。そして、算出した経過時間が姿勢判定時間以下であれば、姿勢判定時間内において、乗員の顔向きの変化量が姿勢判定閾値以上となったと判断する。なお、上述の処理は、顔向き変化量算出部１５が姿勢判定時間内におけるピッチ角の最小値と最大値とを算出すれば省略可能である。

【0052】

姿勢判定部１７が、乗員の姿勢が異常であるとの判定が姿勢判定時間内における判定でないと判断した場合（ＳＴ１０８；ＮＯ）、睡眠検出装置１０の処理は、ＳＴ１０１に進む。すなわち、ＳＴ１０８の処理で、乗員の姿勢が異常であるとの判定が姿勢判定時間内における判定でないと判断された場合、ＳＴ１０７の処理で乗員の姿勢が異常であるとされた判定結果は棄却される。一方、姿勢判定部１７が、乗員の姿勢が異常であるとの判定が設定された姿勢判定時間内における判定であると判断した場合（ＳＴ１０８；ＹＥＳ）、乗員の姿勢が異常であると判定し、判定結果を睡眠検出部１８に出力する。そして、睡眠検出部１８は、乗員が睡眠に陥ったことを検出し、報知部５０は乗員に向けて警告音を発する等して報知を行う（ＳＴ１０９）。

【0053】

次に、睡眠検出装置１０の機能を実現するハードウェア構成について説明する。図８は、実施の形態１に係る睡眠検出装置１０のハードウェア構成例を示す図である。睡眠検出装置１０における画像取得部１１、特徴点検出部１２、特徴量算出部１３、顔向き検出部１４、顔向き変化量算出部１５、鈍化判定部１６、姿勢判定部１７、及び睡眠検出部１８の機能は、処理回路によって実現される。すなわち、睡眠検出装置１０の、画像取得部１１、特徴点検出部１２、特徴量算出部１３、顔向き検出部１４、顔向き変化量算出部１５、鈍化判定部１６、姿勢判定部１７、及び睡眠検出部１８は、図８Ａに示すように専用のハードウェアである処理回路１０ａであってもよいし、図８Ｂに示すようにメモリ１０ｃに格納されているプログラムを実行するプロセッサ１０ｂであってもよい。

【0054】

図８Ａに示すように、画像取得部１１、特徴点検出部１２、特徴量算出部１３、顔向き検出部１４、顔向き変化量算出部１５、鈍化判定部１６、姿勢判定部１７、及び睡眠検出部１８が専用のハードウェアである場合、処理回路１０ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、又はこれらを組み合わせたものが該当する。画像取得部１１、特徴点検出部１２、特徴量算出部１３、顔向き検出部１４、顔向き変化量算出部１５、鈍化判定部１６、姿勢判定部１７、及び睡眠検出部１８の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

【0055】

図８Ｂに示すように、画像取得部１１、特徴点検出部１２、特徴量算出部１３、顔向き検出部１４、顔向き変化量算出部１５、鈍化判定部１６、姿勢判定部１７、及び睡眠検出部１８がプロセッサ１０ｂである場合、各部の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０ｃに格納される。プロセッサ１０ｂは、メモリ１０ｃに記憶されたプログラムを読み出して実行することにより、画像取得部１１、特徴点検出部１２、特徴量算出部１３、顔向き検出部１４、顔向き変化量算出部１５、鈍化判定部１６、姿勢判定部１７、及び睡眠検出部１８の各機能を実現する。すなわち、画像取得部１１、特徴点検出部１２、特徴量算出部１３、顔向き検出部１４、顔向き変化量算出部１５、鈍化判定部１６、姿勢判定部１７、及び睡眠検出部１８は、プロセッサ１０ｂにより実行されるときに、図４に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１０ｃを備える。また、これらのプログラムは、画像取得部１１、特徴点検出部１２、特徴量算出部１３、顔向き検出部１４、顔向き変化量算出部１５、鈍化判定部１６、姿勢判定部１７、及び睡眠検出部１８の手順又は方法をコンピュータに実行させるものであるともいえる。

【0056】

ここで、プロセッサ１０ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Digital Signal Processor）等のことである。メモリ１０ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。

【0057】

なお、画像取得部１１、特徴点検出部１２、特徴量算出部１３、顔向き検出部１４、顔向き変化量算出部１５、鈍化判定部１６、姿勢判定部１７、及び睡眠検出部１８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、睡眠検出装置１０における処理回路１０ａは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。また、画像取得部１１、特徴点検出部１２、特徴量算出部１３、顔向き検出部１４、顔向き変化量算出部１５、鈍化判定部１６、姿勢判定部１７、及び睡眠検出部１８の少なくとも一部の機能を、外部サーバに実行させてもよい。

【0058】

このように、睡眠検出装置１０に、車両に搭載され車両の内部の乗員を撮像する撮像装置２０から、乗員が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像から抽出された乗員に知覚の鈍化が発生しているか否かを判定する鈍化判定部１６と、画像取得部１１が取得した撮像画像から抽出された乗員の姿勢が異常であるか否かを判定する姿勢判定部１７と、鈍化判定部１６の判定結果及び姿勢判定部１７の判定結果を用いて、乗員の睡眠を検出する睡眠検出部１８と、を備え、睡眠検出部１８は、姿勢判定部１７により乗員の姿勢が異常であると判定され、鈍化判定部１６により乗員に知覚の鈍化が発生していると判定された場合、乗員が睡眠に陥ったとするものであると、乗員の瞬間的な睡眠を検出し、乗員の睡眠の検出精度を向上できる。

【0059】

なお、本実施の形態において、顔向き検出部１４が、乗員の顔の鼻の位置を用いて検出する例について説明したが、顔向き検出部１４が、顔向きの検出に用いる顔パーツは限定しない。例えば、顔向き検出部１４は、特徴量算出部１３から特徴量として、右目の位置、左目の位置、及び右目と左目との間の距離を取得し、顔向きの検出に用いてもよい。また、顔向き検出部１４は、例えば、乗員の肩の位置等、顔以外の身体に器官に関する特徴点を検出してもよい。

【0060】

実施の形態２．
図９は、実施の形態２に係る睡眠検出システム１０１の構成例を示すブロック図である。実施の形態２に係る睡眠検出装置３０は、実施の形態１と同様に、撮像画像を取得する画像取得部１１と、撮像画像から抽出された乗員に知覚の鈍化が発生しているか否かを判定する鈍化判定部３２と、撮像画像から抽出された乗員の姿勢が異常であるか否かを判定する姿勢判定部１７と、鈍化判定部３２の判定結果及び姿勢判定部１７の判定結果を用いて、乗員の睡眠を検出する睡眠検出部１８と、を備える。本実施の形態では、鈍化判定部３２が、撮像画像から抽出された乗員の顔情報を用いて、乗員に知覚の鈍化が発生しているか否かを判定する点について、実施の形態１と異なる。実施の形態１と同じ構成要素には同じ符号を付し、その説明を省略する。

【0061】

乗員が瞬間的な睡眠に陥る前には、例えば、覚醒度が高いときと比較して、瞬きが減る、瞬きの速度が遅くなる、開眼度が低下する、表情の変化が少なくなる等、知覚の鈍化に起因した行動の変化がみられる。そのため、鈍化判定は、実施の形態１で説明した顔向きの変化量を用いるのみでなく、乗員の顔の状態に関する情報である顔情報を用いて行うこともできる。

【0062】

まず、鈍化判定に用いる顔情報について説明する。顔情報とは、例えば、目の開眼度、瞬きの頻度、表情の変化等、乗員の顔の状態に関する情報である。図９に示すように、本実施の形態に係る睡眠検出装置３０は、顔情報検出部３１を備える。顔情報検出部３１は、特徴量算出部１３から取得した乗員の特徴量を用いて、乗員の顔情報を検出する。

【0063】

顔情報検出部３１による顔情報の検出処理の例について説明する。顔情報として目の開眼度を取得する場合、顔情報検出部３１は、例えば、特徴量算出部１３から、特徴量として目の上瞼及び下瞼の間の距離を取得し、この距離を顔情報として検出する。また、顔情報として瞬きの速度を取得する場合、顔情報検出部３１は、例えば、特徴量算出部１３として目の上瞼及び下瞼の間の距離を取得する。そして、この距離が設定された閾値未満である場合に瞬きが行われたとし、また、この距離が設定された閾値以上である場合に目が開いているとして、目が開いている状態から瞬きが行わるまでに経過した時間を顔情報として取得する。さらに、顔情報として瞬きの頻度を取得する場合、顔情報検出部３１は、例えば、特徴量算出部１３として目の上瞼及び下瞼の間の距離を取得する。そして、この距離が設定された閾値未満である場合に瞬きが行われたとして、前の瞬きと次の瞬きの間に経過した時間を顔情報として取得する。なお、顔情報検出部３１の顔情報の検出処理は、上述の例に限らず、公知の種々のアルゴリズムを用いることができる。

【0064】

次に鈍化判定部３２による鈍化判定例について説明する。鈍化判定部３２は、顔情報検出部３１から顔情報を取得し、顔情報を用いて乗員に知覚の鈍化が発生しているか否かを判定する。鈍化判定部３２は、例えば、顔情報検出部３１から顔情報として目の開眼度を取得した場合、目の開眼度が鈍化判定閾値未満である状態が、鈍化判定時間以上継続した場合に、乗員に知覚の鈍化が発生していると判定する。一方、鈍化判定部３２は、目の開眼度が鈍化判定閾値以上である場合、又は目の開眼度が鈍化判定閾値未満である状態が、鈍化判定時間以上継続しなかった場合に、乗員に知覚の鈍化が発生していないと判定する。

【0065】

また、鈍化判定部３２は、例えば、顔情報検出部３１から顔情報として瞬きの速度を取得した場合、瞬きの速度が鈍化判定閾値未満である状態が、鈍化判定時間以上継続した場合に、乗員に知覚の鈍化が発生していると判定する。一方、鈍化判定部３２は、瞬きの速度が鈍化判定閾値以上である場合、又は瞬きの速度が鈍化判定閾値未満である状態が、鈍化判定時間以上継続しなかった場合に、乗員に知覚の鈍化が発生していないと判定する。

【0066】

さらに、鈍化判定部３２は、例えば、顔情報検出部３１から顔情報として瞬きの頻度を取得した場合、瞬きの頻度が鈍化判定閾値未満である状態が、鈍化判定時間以上継続した場合に、乗員に知覚の鈍化が発生していると判定する。一方、鈍化判定部３２は、瞬きの頻度が鈍化判定閾値以上である場合、又は瞬きの頻度が鈍化判定閾値未満である状態が、鈍化判定時間以上継続しなかった場合に、乗員に知覚の鈍化が発生していないと判定する。

【0067】

なお、鈍化判定について、鈍化判定閾値を用いて行う例について説明した。ここでの鈍化判定閾値は、実施の形態１における鈍化判定閾値とは異なる。つまり、実施の形態１における鈍化判定閾値は、顔向きの変化量についての閾値であるのに対し、実施の形態２における鈍化判定閾値は、顔情報についての閾値である。目の開眼度と比較する鈍化判定閾値は、目の開眼度についての閾値であり、瞬きの速度と比較する鈍化判定閾値は、瞬きの速度についての閾値であり、また、瞬きの頻度と比較する鈍化判定閾値は、瞬きの頻度についての閾値である。ここで、鈍化判定時間についても同様に、各判定で鈍化判定時間を異なるものとしてもよい。さらに、鈍化判定閾値は、予め定められた値であってもよいし、乗車時から所定の時間経過するまでに取得した顔情報を基準として設定された値であってもよい。乗車時は、乗員の覚醒度が高いと考えられ、覚醒度が高いときに取得した顔情報を基準とすれば、鈍化判定の精度を向上できるためである。

【0068】

次に、睡眠検出装置３０の動作例について説明する。図１０は、実施の形態２に係る睡眠検出装置３０の動作例を示すフローチャートである。ここで、以下では実施の形態１に係る睡眠検出装置３０の処理と同一のステップには、図６及び図７で示した符号と同一の符号を付し、説明を省略又は簡略化する。

【0069】

まず、特徴量算出処理ＳＴ１０１にて特徴量を算出したら、顔情報検出部３１は、特徴量算出部１３から取得した特徴量を用いて顔情報を検出する（ＳＴ２０１）。以下では、顔情報検出部３１が、顔情報として目の開眼度を検出し、鈍化判定部３２が目の開眼度及び目の開眼度に関する鈍化判定閾値を用いて鈍化判定を行う例を挙げて説明する。

【0070】

次に、鈍化判定部３２は、乗員の知覚に鈍化が発生しているか否かを判定する（ＳＴ２０２）。鈍化判定部３２は、例えば、顔情報検出部３１から、顔情報として設定された期間における乗員の目の開眼度を取得する。そして、鈍化判定部３２は、取得した開眼度が、鈍化判定閾値以上である場合、乗員に知覚の鈍化が発生していないと判定し（ＳＴ２０２；ＮＯ）、判定結果を睡眠検出部１８に出力する。次いで、睡眠検出装置３０の処理は、ＳＴ１０１に進む。一方、鈍化判定部３２は、取得した乗員の眼の開眼度が、鈍化判定閾値未満である場合、乗員が知覚の鈍化が発生している状態にあると判定し（ＳＴ２０２；ＹＥＳ）、次のＳＴ１０５の処理に進む。

【0071】

次に、鈍化判定部３２は、乗員の知覚に鈍化が発生している状態が鈍化判定時間以上継続したか否かを判定する（ＳＴ１０５）。鈍化判定部３２が、乗員に知覚の鈍化が発生している状態が鈍化判定時間以上継続していないと判定した場合（ＳＴ１０５；ＮＯ）、乗員に知覚の鈍化が発生していないと判定し、睡眠検出装置３０の処理は、ＳＴ１０１に進む。一方、鈍化判定部３２は、乗員の知覚に鈍化が発生している状態が鈍化判定時間以上継続していると判定した場合（ＳＴ１０５；ＹＥＳ）、乗員に知覚の鈍化が発生していると判定し、判定結果を睡眠検出部１８に出力する。そして、睡眠検出装置３０の処理は、次のＳＴ１０２に進む。

【0072】

顔向き検出部１４は、特徴量を取得し、撮像画像から抽出された乗員の顔向きを検出する（ＳＴ１０２）。そして、睡眠検出装置３０の姿勢判定部１７は、顔向き変化量算出部１５から、乗員の顔向きの変化量を取得する（ＳＴ１０６）。姿勢判定部１７は、顔向き変化量算出部１５から顔向きの変化量を取得し、取得した変化量が姿勢判定閾値以上であるか否かにより、乗員の姿勢が異常であるか否かを判定する（ＳＴ１０７）。姿勢判定部１７は、取得した変化量が姿勢判定閾値未満であれば、乗員の姿勢が異常でないと判定し（ＳＴ１０７；ＮＯ）、判定結果を睡眠検出部１８に出力する。次いで、睡眠検出装置３０の処理は、ＳＴ１０１に進む。なお、実施の形態１と同様に、姿勢判定部１７による姿勢判定は顔向きを用いるものでなく、顔領域の大きさ、乗員とセンサとの距離を用いたものでも可能である。

【0073】

一方、姿勢判定部１７は、例えば、ピッチ角の最小値と最大値との差分が設定された閾値以上であれば、乗員の姿勢が異常であると判定し（ＳＴ１０７；ＹＥＳ）、さらに、睡眠検出装置３０の処理は、次に説明するＳＴ１０８に進む。

【0074】

姿勢判定部１７は、姿勢判定時間内において、乗員の姿勢が異常であると判定したかを判断する（ＳＴ１０８）。姿勢判定部１７が、乗員の姿勢が異常であると判定が姿勢判定時間内における判定でないと判断した場合（ＳＴ１０８；ＮＯ）、乗員の姿勢が異常でないと判定して、睡眠検出装置３０の処理は、ＳＴ１０１に進む。すなわち、ＳＴ１０８の処理で、乗員の姿勢が異常であるとの判定が姿勢判定時間内における判定でないと判断された場合、ＳＴ１０７の処理で乗員の姿勢が異常であるとされた判定結果は棄却される。

【0075】

一方、姿勢判定部１７が、乗員の姿勢が異常であるとの判定が姿勢判定時間内における判定であると判断した場合（ＳＴ１０８；ＹＥＳ）、判定結果を睡眠検出部１８に出力する。そして、睡眠検出部１８は、乗員が睡眠に陥ったことを検出し、報知部５０は乗員に向けて報知を行う（ＳＴ１０９）。

【0076】

このように、睡眠検出装置３０に、特徴量算出部１３が算出した特徴量を用いて、乗員の顔の状態に関する顔情報を検出する顔情報検出部３１をさらに備え、鈍化判定部３２が、顔情報検出部３１が検出した顔情報を用いて、乗員に知覚の鈍化が発生しているか否かを判定するものであると、乗員の瞬間的な睡眠の前に現れる知覚の鈍化を乗員の顔の状態から判定でき、乗員の瞬間的な睡眠を検出して、乗員の睡眠の検出精度を向上できる。

【0077】

なお、本実施の形態において、鈍化判定部３２が、顔情報検出部３１から顔情報として目の開眼度を取得し、目の開眼度を鈍化判定に用いる例について説明したが、鈍化判定部３２が鈍化判定に用いる顔情報は、目の開眼度に限らない。例えば、鈍化判定部３２は、顔情報検出部３１から、目の開眼度、瞬きの速度、及び瞬きの頻度を顔情報として取得し、取得した顔情報のうち少なくともいずれかが、設定された閾値未満であれば、乗員に知覚の鈍化が発生していると判定してもよい。

【0078】

実施の形態３．
図１１は、実施の形態３に係る睡眠検出システム１０２の構成例を示すブロック図である。実施の形態３に係る睡眠検出装置４０は、実施の形態１と同様に、撮像画像を取得する画像取得部１１と、撮像画像から抽出された乗員に知覚の鈍化が発生しているか否かを判定する鈍化判定部１６と、撮像画像から抽出された乗員の姿勢が異常であるか否かを判定する姿勢判定部１７と、鈍化判定部１６の判定結果及び姿勢判定部１７の判定結果を用いて、乗員の睡眠を検出する睡眠検出部４２と、を備える。本実施の形態では、睡眠検出部４２が、鈍化判定部１６及び姿勢判定部１７の判定結果に加え、眠気レベル算出部４１の眠気レベルの算出結果を用いて、乗員に知覚の鈍化が発生しているか否かを判定する点について、実施の形態１と異なる。実施の形態１と同じ構成要素には同じ符号を付し、その説明を省略する。

【0079】

本実施の形態の睡眠検出装置４０は、顔情報検出部３１及び乗員の眠気レベルを算出する眠気レベル算出部４１を備える。なお、顔情報検出部３１の構成については、実施の形態２に説明した構成と同様のため、説明を省略する。ここで、覚醒度が高い状態から、覚醒度が低い状態まで段階的に分けられた眠気の尺度を眠気レベルという。本開示においては、覚醒度が最も高い状態を眠気レベル１、覚醒度が最も低い状態を眠気レベル９とし、覚醒度が低くなるにつれて、眠気レベル１から眠気レベル９に推移していくものとする。

【0080】

乗員に知覚の鈍化が発生しているときは、眠気レベルが高い状態にある場合がある。そのため、睡眠検出部４２が、鈍化判定部１６及び姿勢判定部１７の判定結果に加え、眠気レベル算出部４１の眠気レベルの算出結果を用いることで、乗員の睡眠の検出結果の信頼性を向上することができる。

【0081】

眠気レベル算出部４１による眠気レベルの算出について説明する。眠気レベル算出部４１は、顔情報検出部３１から顔情報を取得し、乗員の眠気レベルを算出する。例えば、目の開眼度を顔情報として取得する場合、眠気レベル算出部４１は、顔情報検出部３１から目の開眼度を取得し、目の開眼度が小さくなるにつれて乗員の眠気レベルを高く算出する。この場合、目の開眼度に対して複数の閾値を設け、それぞれの閾値未満であるか否かにより眠気レベルを算出すればよい。

【0082】

また、例えば、瞬きの速度を顔情報として取得する場合、眠気レベル算出部４１は、顔情報検出部３１から瞬きの速度を取得し、瞬きの速度が小さくなるにつれて乗員の眠気レベルを高く算出する。この場合、瞬きの速度に対して複数の閾値を設け、それぞれの閾値未満であるか否かにより眠気レベルを算出すればよい。

【0083】

さらに、例えば、瞬きの頻度を顔情報として取得する場合、眠気レベル算出部４１は、顔情報検出部３１から瞬きの頻度を取得し、瞬きの頻度が少なくなるにつれて乗員の眠気レベルを高く算出する。この場合、瞬きの頻度に対して複数の閾値を設け、それぞれの閾値未満であるか否かにより眠気レベルを算出すればよい。なお、眠気レベル算出部４１による眠気レベルの算出処理は、上述の例に限らず、公知の種々のアルゴリズムを用いることができる。そして、眠気レベル算出部４１による算出結果は、睡眠検出部４２に出力される。

【0084】

次に、本実施の形態に係る睡眠検出部４２について説明する。睡眠検出部４２は、眠気レベル算出部４１による算出結果を取得し、眠気レベル算出部４１が算出した乗員の眠気レベルが設定された眠気レベル、すなわち設定された閾値以上であれば、鈍化判定部１６の判定結果及び姿勢判定部１７の判定結果を用いて、乗員の睡眠を検出する。ここで、睡眠検出部４２は、眠気レベルが、乗員が眠気を感じていると考えられる眠気レベル以上であれば、鈍化判定部１６の判定結果及び姿勢判定部１７の判定結果を用いて、乗員の睡眠を検出すると好ましい。上述したように、乗員に知覚の鈍化が発生しているときは、眠気レベルが高い状態にある、つまり乗員が眠気を感じている場合があるためである。そして、眠気レベルが設定された閾値以上である場合に、鈍化判定部１６により乗員に知覚の鈍化が発生していると判定され、姿勢判定部１７により乗員の姿勢が異常であると判定されれば、睡眠検出部４２は、乗員が睡眠に陥ったことを検出する。

【0085】

次に、睡眠検出装置４０の動作例について説明する。図１２は、実施の形態３に係る睡眠検出装置４０の動作例を示すフローチャートである。ここで、以下では実施の形態１に係る睡眠検出装置４０の処理と同一のステップには、図６及び図７で示した符号と同一の符号を付し、説明を省略又は簡略化する。

【0086】

まず、特徴量算出処理ＳＴ１０１にて特徴量を算出したら、顔情報検出部３１は、特徴量算出部１３から取得した特徴量を用いて顔情報を検出し（ＳＴ３０１）、検出した顔情報を眠気レベル算出部４１に出力する。以下では、顔情報検出部３１が、顔情報として乗員の目の開眼度を検出し、眠気レベル算出部４１が目の開眼度を用いて乗員の眠気レベルの算出を行う例を挙げて説明する。

【0087】

次に、眠気レベル算出部４１は、顔情報として取得した乗員の目の開閉度を用いて、乗員の眠気レベルを算出し（ＳＴ３０２）、算出した乗員の眠気レベルを睡眠検出部４２に出力する。ここで、眠気レベル算出部４１は、顔情報検出部３１から顔情報として目の開眼度を取得し、目の開眼度が小さくなるにつれて乗員の眠気レベルを高く算出する。

【0088】

そして、睡眠検出部４２は、取得した眠気レベルが設定された閾値以上であるか否かを判定する（ＳＴ３０３）。睡眠検出部４２により、眠気レベルが設定された閾値未満であると判定された場合（ＳＴ３０３；ＮＯ）、睡眠検出装置４０の処理は、ＳＴ１０１に進む。一方、睡眠検出部４２により、眠気レベルが設定された閾値以上であると判定された場合（ＳＴ３０３；ＹＥＳ）、睡眠検出装置４０の処理は、ＳＴ１０２に進む。

【0089】

次に、顔向き検出部１４は、乗員の特徴量を取得し、撮像画像における乗員の顔向きを検出する（ＳＴ１０２）。そして、顔向き検出部１４は、顔向き変化量算出部１５に検出した乗員の顔向きを出力する。次いで、顔向き変化量算出部１５は、顔向き検出部１４から取得した乗員の顔向きを用いて、乗員の顔向きの変化量を算出する（ＳＴ１０３）。

【0090】

次に、鈍化判定部１６は、乗員の知覚に鈍化が発生しているか否かを判定する（ＳＴ１０４）。鈍化判定部１６は、例えば、顔向き変化量算出部１５から乗員の顔向きの変化量を取得する。そして、鈍化判定部１６は、取得した顔向きの変化量が、鈍化判定閾値以上である場合、乗員の知覚に鈍化が発生していないと判定し（ＳＴ１０４；ＮＯ）、判定結果を睡眠検出部４２に出力する。次いで、睡眠検出装置４０の処理は、ＳＴ１０１に進む。一方、鈍化判定部１６は、取得した顔向きの変化量が、鈍化判定閾値未満である場合、乗員が知覚の鈍化が発生している状態にあると判定し（ＳＴ１０４；ＹＥＳ）、次のＳＴ１０５の処理に進む。なお、実施の形態２と同様に、鈍化判定部１６による鈍化判定は、顔向きを用いるものでなく、顔情報を用いたものでも可能である。

【0091】

次に、鈍化判定部１６は、乗員の知覚に鈍化が発生している状態が鈍化判定時間以上継続したか否かを判定する（ＳＴ１０５）。鈍化判定部１６が、乗員の知覚に鈍化が発生している状態が鈍化判定時間以上継続していないと判定した場合（ＳＴ１０５；ＮＯ）、睡眠検出装置４０の処理は、ＳＴ１０１に進む。一方、鈍化判定部１６が、乗員に知覚の鈍化が発生している状態が鈍化判定時間以上継続していると判定した場合（ＳＴ１０５；ＹＥＳ）、乗員に知覚の鈍化が発生していると判定し、判定結果を睡眠検出部１８に出力し、睡眠検出装置４０の処理は、次に説明するＳＴ１０６に進む。

【0092】

次に、睡眠検出装置４０の姿勢判定部１７は、顔向き変化量算出部１５から、乗員の顔向きの変化量を取得する（ＳＴ１０６）。姿勢判定部１７は、顔向き変化量算出部１５から顔向きの変化量を取得し、顔向きの変化量が姿勢判定閾値以上であるか否かにより、乗員の姿勢が異常であるか否かを判定する（ＳＴ１０７）。姿勢判定部１７は、顔向きの変化量が姿勢判定閾値未満であれば、乗員の姿勢が異常でないと判定し（ＳＴ１０７；ＮＯ）、判定結果を睡眠検出部４２に出力する。次いで、睡眠検出装置４０の処理は、ＳＴ１０１の処理に進む。

【0093】

一方、姿勢判定部１７は、顔向きの変化量が設定された閾値以上であれば、乗員の姿勢が異常であると判定し（ＳＴ１０７；ＹＥＳ）、次に説明するＳＴ１０８の処理に進む。なお、実施の形態１と同様に、姿勢判定部１７による姿勢判定は顔向きを用いるものでなく、顔領域の大きさ、乗員とセンサとの距離を用いたものでも可能である。

【0094】

姿勢判定部１７は、姿勢判定時間内において、乗員の姿勢が異常であると判定したかを判断する（ＳＴ１０８）。姿勢判定部１７が、乗員の姿勢が異常であるとの判定が姿勢判定時間内における判定でないと判断した場合（ＳＴ１０８；ＮＯ）、乗員の姿勢が異常でないと判定して、睡眠検出装置４０の処理は、ＳＴ１０１に進む。すなわち、ＳＴ１０８の処理で、乗員の姿勢が異常であるとの判定が姿勢判定時間内における判定でないと判断された場合、ＳＴ１０７の処理で乗員の姿勢が異常であるとされた判定結果は棄却される。

【0095】

一方、姿勢判定部１７が、乗員の姿勢が異常であるとの判定が設定された姿勢判定時間内における判定であると判断した場合（ＳＴ１０８；ＹＥＳ）、乗員の姿勢が異常であると判定して、判定結果を睡眠検出部４２に出力する。そして、睡眠検出部４２は、乗員が睡眠に陥ったとし、報知部５０は乗員に向けて警報を行う（ＳＴ１０９）。

【0096】

このように、本実施の形態における睡眠検出装置４０は、乗員の顔の状態に関する顔情報を用いて、乗員の眠気レベルを算出する眠気レベル算出部４１をさらに備え、睡眠検出部４２は、乗員の眠気レベルが設定された閾値以上にあると判定された場合に、鈍化判定部１６により乗員に知覚の鈍化が発生していると判定され、姿勢判定部１７により乗員の姿勢が異常であると判定されたら、乗員が睡眠に陥ったことを検出するものである。このようにすると、乗員の瞬間的な睡眠を検出し、乗員の睡眠の検出精度を向上できるとともに、眠気レベルの算出結果を用いれば、知覚の鈍化は覚醒度が低い状態で発生する可能性があるため、乗員の睡眠の検出結果の信頼性を向上できる。

【0097】

なお、実施の形態１～３において、鈍化判定部による鈍化判定、姿勢判定部による姿勢判定、及び眠気レベル算出部による眠気レベルの算出は、乗員の特徴量を用いて行うものとして説明したが、鈍化判定、姿勢判定、及び眠気レベルの算出は、乗員の特徴量を用いて行うものに限定しない。鈍化判定、姿勢判定、及び眠気レベルの算出は、例えば、機械学習を用いたものであってもよい。鈍化判定を、機械学習を用いたものとする場合、鈍化判定部に学習装置を備え、学習装置に、例えば、知覚の鈍化が発生しているときの乗員を撮像した画像と、知覚の鈍化が発生していないときの乗員を撮像した画像とをそれぞれ入力して学習させる。そして、鈍化判定部の学習装置に画像取得部から撮像画像を取得させ、撮像画像における乗員の知覚に鈍化が発生しているか否かを判定すればよい。

【0098】

また、姿勢判定を、機械学習を用いたものとする場合、姿勢判定部に学習装置を備え、学習装置に、例えば、のけぞる、うなずく、倒れこむ等して、姿勢が異常であるときの乗員を撮像した画像と、姿勢が異常でないときの乗員を撮像した画像とをそれぞれ入力して学習させる。そして、姿勢判定部の学習装置に画像取得部から撮像画像を取得させ、撮像画像における乗員の姿勢が異常であるか否かを判定すればよい。

【0099】

さらに、眠気レベルの算出を、機械学習を用いたものとする場合、眠気レベル算出部に学習装置を備え、学習装置に、例えば、段階的に分けられた眠気レベルに対応した乗員を撮像した画像をそれぞれ入力して学習させる。そして、眠気レベル算出部の学習装置に画像取得部から撮像画像を取得させ、撮像画像における乗員の眠気レベルを算出すればよい。

【0100】

また、本明細書中に開示する各実施の形態は、その範囲内において、各実施の形態を自由に組み合わせることが可能であり、各実施の形態を適宜、変形、省略することが可能である。

【符号の説明】

【0101】

１０、３０、４０ 睡眠検出装置、１０ａ 処理回路、１０ｂ プロセッサ、１０ｃ メモリ、１１ 画像取得部、１２ 特徴点検出部、１３ 特徴量算出部、１４ 顔向き検出部、１５ 顔向き変化量算出部、１６、３２ 鈍化判定部、１７ 姿勢判定部、１８、４２ 睡眠検出部、２０ 撮像装置、３１ 顔情報検出部、４１ 眠気レベル算出部、５０ 報知部、１００、１０１、１０２ 睡眠検出システム、２０１ 運転席、２０２ 助手席、２１１、２１２ 乗員、３００ 撮像画像、３０１ 顔領域、３１１ 目尻、３１２ 目頭、３１３ 上瞼、３１４ 下瞼、３１５ 鼻根、３１６ 鼻尖、３１７ 上唇、３１８ 下唇、３１９ 口角。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】