特許 7595820 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-28

(45)【発行日】2024-12-06

(54)【発明の名称】乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241129BHJP

   A61B 5/18 20060101ALI20241129BHJP

   B60W 40/08 20120101ALI20241129BHJP

【ＦＩ】

G08G1/16 F

A61B5/18

B60W40/08

【請求項の数】 10

(21)【出願番号】P 2024555523

(86)(22)【出願日】2022-10-05

(86)【国際出願番号】 JP2022037246

(87)【国際公開番号】W WO2024075205

(87)【国際公開日】2024-04-11

【審査請求日】2024-09-20

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】松本 智大

【審査官】貞光 大樹

(56)【参考文献】

【文献】特開２０１９－８７０１８（ＪＰ，Ａ）

【文献】特開２０１６－２７４５２（ＪＰ，Ａ）

【文献】特開２０１７－２１７４７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － １／１６

Ａ６１Ｂ ５／１８

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

Ｂ６０Ｋ ２８／０６

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出する顔検出部と、
前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出する特徴検出部と、
予め定められた期間において、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を用いて、前記乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定する基準姿勢推定部と、
前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、前記実空間上に設定された前記第１の範囲、前記第２の範囲及び前記第３の範囲のいずれに該当するかの範囲判定を行う範囲判定部と、
前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記第２の範囲に該当すると判定した場合、又は前記変位量が前記第２の範囲に該当すると判定した場合、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方と前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方との比較によって前記乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、
前記特徴検出部が検出した前記乗員の前記顔のパーツを用いて前記乗員の顔の変化度合いを検出する顔の変化度合い検出部と、
前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出した場合は、前記姿勢崩れ判定部の判定は誤りであると判定し、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出しない場合は、前記姿勢崩れ判定部の判定は誤りでないと判定する誤検出判定部と、
前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第３の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第３の範囲に該当すると判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りでないと判定した場合、前記乗員は異常姿勢であると判定し、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第１の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第１の範囲に該当すると判定した場合、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りであると判定した場合、前記乗員は前記異常姿勢ではないと判定する異常姿勢判定部と、
を備える乗員状態判定装置。

【請求項2】

前記乗員の顔向きは、予め決められた基準となる、前記車両の上下方向の軸に対する回転角であるヨー角、前記車両の左右方向の軸に対する回転角であるピッチ角及び前記車両の前後方向の軸に対する回転角であるロール角のうち少なくともいずれか一方であらわされ、
前記乗員の頭位置は、前記顔検出部が検出した前記撮像画像における前記乗員の顔に任意に設けられた点を、前記実空間上の点に変換したものである、
請求項１に記載の乗員状態判定装置。

【請求項3】

前記第１の範囲、前記第２の範囲及び前記第３の範囲は、前記乗員の顔向きにおける前記ヨー角、前記乗員の顔向きにおける前記ピッチ角、前記乗員の顔向きにおける前記ロール角、前記乗員の頭位置における水平方向と高さ方向で形成される平面、前記乗員の頭位置における水平方向と奥行方向で形成される平面、及び前記乗員の頭位置における高さ方向と奥行方向で形成される平面の少なくとも一方において設定され、
前記第１の範囲、前記第２の範囲及び前記第３の範囲は、それぞれ前記基準姿勢における前記乗員の顔向き及び頭位置のうち少なくともいずれか一方を中心とし、前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方から前記第１の範囲、前記第２の範囲、前記第３の範囲の順に設定されている、
請求項２に記載の乗員状態判定装置。

【請求項4】

前記第２の範囲は、前記第１の範囲と比較して前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方からの角度及び変位量のうち少なくとも一方の絶対値が大きく、
前記第３の範囲は、前記第２の範囲と比較して前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方からの角度及び変位量の少なくとも一方の絶対値が大きい、 請求項３に記載の乗員状態判定装置。

【請求項5】

前記乗員の顔の変化度合いは、予め定められた期間における前記乗員の瞬きの回数であり、
前記顔の変化度合い検出部は、予め定められた期間において、前記乗員の瞬きの回数をカウントし、前記瞬きの回数が閾値以上である場合、前記顔の変化度合い検出部は前記顔の変化度合いを検出したとし、前記瞬きの回数が閾値未満である場合、前記顔の変化度合い検出部は前記顔の変化度合いを検出しないとする、
請求項１に記載の乗員状態判定装置。

【請求項6】

前記範囲判定部は、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が、前記第１の範囲、前記第２の範囲及び前記第３の範囲のいずれに該当するか、又は前記変位量が、前記第１の範囲、前記第２の範囲及び前記第３の範囲のいずれに該当するかを機械学習により判定する、
請求項１に記載の乗員状態判定装置。

【請求項7】

前記異常姿勢判定部が前記乗員は前記異常姿勢であると判定した場合、前記乗員に警告を行うための警告情報を出力する出力制御部
を備えた請求項１に記載の乗員状態判定装置。

【請求項8】

請求項１から請求項７のうちのいずれか一項に記載の乗員状態判定装置と、前記車両に少なくとも前記乗員の顔を撮像可能に設置された撮像装置と、前記車両に搭載され、前記乗員の前記姿勢が前記異常姿勢であることに対する警告を出力する出力装置と、を備えた異常姿勢判定システムであって、
前記乗員状態判定装置は、前記撮像装置が撮像した撮像画像を用いて、前記乗員の前記姿勢が前記異常姿勢であるか否かを判定し、前記乗員の前記姿勢が前記異常姿勢であると判定した場合、前記乗員の前記姿勢が前記異常姿勢であることに対する警告を、前記出力装置から出力させる、
乗員状態判定システム。

【請求項9】

顔検出部が、車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出するステップと、
特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出するステップと、
基準姿勢推定部が、予め定められた期間において、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を用いて、前記乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定するステップと、
範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、前記実空間上に設定された前記第１の範囲、前記第２の範囲及び前記第３の範囲のいずれに該当するかの範囲判定を行うステップと、
姿勢崩れ判定部が、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記第２の範囲に該当すると判定した場合、又は前記変位量が前記第２の範囲に該当すると判定した場合、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方と前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方との比較によって前記乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、
顔の変化度合い検出部が、前記特徴検出部が検出した前記乗員の前記顔のパーツを用いて前記乗員の顔の変化度合いを検出するステップと、
誤検出判定部が、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出した場合は、前記姿勢崩れ判定部の判定は誤りであると判定し、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出しない場合は、前記姿勢崩れ判定部の判定は誤りでないと判定するステップと、
異常姿勢判定部が、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第３の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第３の範囲に該当すると判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りでないと判定した場合、前記乗員は異常姿勢であると判定し、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第１の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第１の範囲に該当すると判定した場合、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りであると判定した場合、前記乗員は前記異常姿勢ではないと判定するステップと、
を備える乗員状態判定方法。

【請求項10】

顔検出部が、車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出するステップと、
特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出するステップと、
基準姿勢推定部が、予め定められた期間において、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を用いて、前記乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定するステップと、
範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、前記実空間上に設定された前記第１の範囲、前記第２の範囲及び前記第３の範囲のいずれに該当するかの範囲判定を行うステップと、
姿勢崩れ判定部が、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記第２の範囲に該当すると判定した場合、又は前記変位量が前記第２の範囲に該当すると判定した場合、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方と前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方との比較によって前記乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、
顔の変化度合い検出部が、前記特徴検出部が検出した前記乗員の前記顔のパーツを用いて前記乗員の顔の変化度合いを検出するステップと、
誤検出判定部が、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出した場合は、前記姿勢崩れ判定部の判定は誤りであると判定し、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出しない場合は、前記姿勢崩れ判定部の判定は誤りでないと判定するステップと、
異常姿勢判定部が、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第３の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第３の範囲に該当すると判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りでないと判定した場合、前記乗員は異常姿勢であると判定し、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第１の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第１の範囲に該当すると判定した場合、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りであると判定した場合、前記乗員は前記異常姿勢ではないと判定するステップと、をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラムに関わる。

【背景技術】

【0002】

車両内部を撮像し、撮像画像内の乗員から抽出された、乗員の顔向き、頭位置等を用いて姿勢崩れを判定し、乗員に意識の喪失等の異常があると検出するとともに、姿勢崩れでない乗員がし得る行為を用いて、姿勢崩れでないにもかかわらず姿勢崩れと判定される姿勢崩れの誤検出を抑制する技術が開発されている。

【0003】

例えば、特許文献１のドライバモニタシステムは、ドライバの顔向きのロール角の絶対値が予め定められた時間（十数秒、又は数十秒）以上に亘って予め定められた角度（２０°、好ましくは、３０°、より好ましくは４０°）以上に維持されるときにドライバに異常があると判定する異常診断部と、顔画像に基づいてドライバの顔の変化度合いを検出する変化度合い検出部と、を備え、異常診断部は、ドライバに異常があると判定した場合であっても、変化度合い検出部によって検出されたドライバの変化度合いが予め定められた基準以上である場合（例えば、単位時間当たりにドライバが瞬きする回数が基準回数（例えば、１回）以上である場合）には、ドライバに異常はないと判定する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－０８７０１８公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、実際には姿勢崩れであるにもかかわらず、姿勢崩れでない乗員がし得る行為が生じる場合がある。姿勢崩れでない乗員がし得る行為が生じる場合とは、例えば、瞬きをしながら姿勢崩れとなる場合、瞬きをしながら姿勢崩れとなり姿勢崩れ後も瞬きが継続する場合等である。係る場合において、特許文献１のドライバモニタシステムは、姿勢崩れにもかかわらず、姿勢崩れでない乗員がし得る行為である瞬きを検出したために、乗員に姿勢崩れはなく、乗員の異常もないと判定される場合がある。そのため、姿勢崩れにもかかわらず勢崩れでないと判定される姿勢崩れの未検出が発生し、乗員状態の検出精度が低下するという課題がある。

【0006】

本開示は、このような問題を解決するためになされたものであり、乗員状態の検出精度が向上する乗員状態判定装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示に係る乗員状態判定装置は、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部と、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出する特徴検出部と、予め定められた期間において、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を用いて、乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定する基準姿勢推定部と、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う範囲判定部と、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方と基準姿勢における乗員の顔向き及び頭位置の少なくとも一方との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、特徴検出部が検出した乗員の顔のパーツを用いて乗員の顔の変化度合いを検出する顔の変化度合い検出部と、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出した場合は、姿勢崩れ判定部の判定は誤りであると判定し、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出しない場合は、姿勢崩れ判定部の判定は誤りでないと判定する誤検出判定部と、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りでないと判定した場合、乗員は異常姿勢であると判定し、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りであると判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部と、を備える。

【0008】

本開示に係る乗員状態判定システムは、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部と、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出する特徴検出部と、予め定められた期間において、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を用いて、乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定する基準姿勢推定部と、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う範囲判定部と、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方と基準姿勢における乗員の顔向き及び頭位置の少なくとも一方との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、特徴検出部が検出した乗員の顔のパーツを用いて乗員の顔の変化度合いを検出する顔の変化度合い検出部と、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出した場合は、姿勢崩れ判定部の判定は誤りであると判定し、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出しない場合は、姿勢崩れ判定部の判定は誤りでないと判定する誤検出判定部と、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りでないと判定した場合、乗員は異常姿勢であると判定し、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りであると判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部と、を備える乗員状態判定装置と、車両に少なくとも乗員の顔を撮像可能に設置された撮像装置と、車両に搭載され、乗員の姿勢が異常姿勢であることに対する警告を出力する出力装置と、を備えた異常姿勢判定システムであって、乗員状態判定装置は、撮像装置が撮像した撮像画像を用いて、乗員の姿勢が異常姿勢であるか否かを判定し、乗員の姿勢が異常姿勢であると判定した場合、乗員の姿勢が異常姿勢であることに対する警告を、出力装置から出力させる。

【0009】

本開示に係る乗員状態判定方法は、顔検出部が、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出するステップと、特徴検出部が、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出するステップと、基準姿勢推定部が、予め定められた期間において、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を用いて、乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定するステップと、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行うステップと、姿勢崩れ判定部が、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方と基準姿勢における乗員の顔向き及び頭位置の少なくとも一方との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、顔の変化度合い検出部が、特徴検出部が検出した乗員の顔のパーツを用いて乗員の顔の変化度合いを検出するステップと、誤検出判定部が、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出した場合は、姿勢崩れ判定部の判定は誤りであると判定し、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出しない場合は、姿勢崩れ判定部の判定は誤りでないと判定するステップと、異常姿勢判定部が、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りでないと判定した場合、乗員は異常姿勢であると判定し、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りであると判定した場合、乗員は異常姿勢ではないと判定するステップと、を備える。

【0010】

本開示に係るプログラムは、顔検出部が、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出するステップと、特徴検出部が、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出するステップと、基準姿勢推定部が、予め定められた期間において、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を用いて、乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定するステップと、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行うステップと、姿勢崩れ判定部が、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方と基準姿勢における乗員の顔向き及び頭位置の少なくとも一方との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、顔の変化度合い検出部が、特徴検出部が検出した乗員の顔のパーツを用いて乗員の顔の変化度合いを検出するステップと、誤検出判定部が、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出した場合は、姿勢崩れ判定部の判定は誤りであると判定し、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出しない場合は、姿勢崩れ判定部の判定は誤りでないと判定するステップと、異常姿勢判定部が、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りでないと判定した場合、乗員は異常姿勢であると判定し、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りであると判定した場合、乗員は異常姿勢ではないと判定するステップと、をコンピュータに実行させる。

【発明の効果】

【0011】

本開示の実施形態による乗員状態判定装置によれば、乗員状態の検出精度を向上することができる。

【図面の簡単な説明】

【0012】

【図1】実施の形態１に係る乗員状態判定装置の構成例を示す図である。

【図2】実施の形態１に係る乗員の顔向きにおける第１の範囲、第２の範囲及び第３の範囲を示す図である。

【図3】実施の形態１に係る乗員の頭位置における第１の範囲、第２の範囲及び第３の範囲を示す図である。

【図4】実施の形態１に係る乗員状態判定装置の動作例を示すフローチャートである。

【図5】複数の姿勢崩れタイプを説明するための図である。

【図6】実施の形態１に係る乗員状態判定装置のハードウェア構成の一例を示す図である。

【図7】実施の形態１に係る乗員状態判定装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る乗員状態判定装置は、車両の乗員の少なくとも顔が撮像された撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるか否かを判定する。
以下の実施の形態１では、一例として、乗員状態判定装置が異常姿勢であるか否かを判定する対象となる車両の乗員は、車両のドライバとする。

【0014】

図１は、実施の形態１に係る乗員状態判定装置１の構成例を示す図である。
実施の形態１に係る乗員状態判定装置１は、車両に搭載されることを想定している。
乗員状態判定装置１は、撮像装置２及び出力装置３と接続され、乗員状態判定装置１と撮像装置２と出力装置３とで乗員状態判定システム１００を構成する。

【0015】

撮像装置２は、車両に搭載され、少なくともドライバの顔が存在すべき範囲を撮像可能に設置されている。実施の形態１では、撮像装置２は、例えば、インストルメントパネルの車幅方向の中央部付近、又は、センターコンソールに設置されていることを想定している。例えば、撮像装置２は、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（ＤｒｉｖｅｒＭｏｎｉｔｏｒｉｎｇＳｙｓｔｅｍ）と共用のものでもよい。撮像装置２は、可視光カメラ又は赤外線カメラである。撮像装置２は、撮像した撮像画像を、乗員状態判定装置１に出力する。
乗員状態判定装置１は、撮像装置２が撮像した撮像画像を用いて、ドライバの姿勢が異常姿勢であるか否かを判定する。乗員状態判定装置１の詳細については、後述する。
乗員状態判定装置１は、ドライバの姿勢が異常姿勢であると判定した場合、ドライバの姿勢が異常姿勢であることに対する警告を、出力装置３から出力させる。

【0016】

出力装置３は、車両に搭載され、ドライバの姿勢が異常姿勢であることに対する警告を出力する。
出力装置３は、例えば、スピーカ等の音声出力装置である。出力装置３は、例えば、車両に設けられているオーディオ装置に備えられていてもよい。出力装置３は、例えば、乗員状態判定装置１から警告を出力させるための情報（以下「警告情報」という。）が出力されると、ドライバの姿勢が異常姿勢であることを知らせる警告音又は音声メッセージを出力する。また、出力装置３は、例えば、ディスプレイ等の表示装置でもよい。出力装置３は、例えば、乗員状態判定装置１から警告情報が出力されると、ドライバの姿勢が異常姿勢であることを知らせるメッセージを表示する。
また、出力装置３は、例えば、他車両から視認可能に車両外装等に設けられた方向指示器、ハザードランプ又は前照灯等であってもよい。例えば、乗員状態判定装置１は、出力装置３に、警告情報を出力して、他車両の乗員等、車両外に存在する人間へ、車両のドライバが異常状態である旨を報知させることもできる。
出力装置３は、例えば、他車両に搭載されていてもよい。乗員状態判定装置１は、他車両に搭載されている出力装置３に警告情報を送信して、他車両の乗員に対し、車両のドライバが異常状態である旨を知らせる音声出力又は表示等を行うこともできる。

【0017】

図１に示されているように、乗員状態判定装置１は、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、判定部１５及び出力制御部１６を備える。
特徴検出部１３は、顔向き検出部１３１、頭位置検出部１３２、パーツ位置検出部１３３、及び検出信頼度算出部１３４を備える。
判定部１５は、範囲判定部１５１、姿勢崩れ判定部１５２、顔の変化度合い検出部１５３、誤検出判定部１５４及び異常姿勢判定部１５５を備える。

【0018】

画像取得部１１は、撮像装置２から撮像画像を取得する。
画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。

【0019】

顔検出部１２は、画像取得部１１が取得した撮像画像においてドライバの顔を検出する。
詳細には、顔検出部１２は、撮像画像に対して、エッジ検出等、公知の画像認識技術を用いて、ドライバの顔のパーツを示すドライバの顔の特徴点を検出する。なお、顔のパーツとは、目尻、目頭、鼻、口、眉又は顎等である。ドライバの顔の特徴点は、例えば、撮像画像上の座標であらわされる。また、顔検出部１２は、ドライバの顔領域を検出してもよい。ドライバの顔領域は、例えば、ドライバの顔の輪郭を囲む最小矩形とする。ドライバの顔領域は、例えば、撮像画像上の上記最小矩形の四隅の座標であらわされる。
なお、撮像装置２の設置位置及び画角は予めわかっているため、仮に、撮像画像には複数の乗員が撮像されていたとしても、顔検出部１２は、撮像画像上、どの領域に撮像されている顔がドライバの顔であるかを判別できる。例えば、撮像画像において、ドライバの顔が存在し得る領域（以下「ドライバ検知領域」という。）が予め設定されており、顔検出部１２は、ドライバ検知領域に対して、既知の画像認識技術を用いて、ドライバの顔の特徴点及び顔領域を検出する。
顔検出部１２は、検出したドライバの顔に関する情報（以下「顔情報」という。）を、特徴検出部１３に出力する。顔情報は、例えば、ドライバの顔の特徴点及び顔領域を特定可能な情報が付与された撮像画像である。

【0020】

特徴検出部１３は、乗員、ここではドライバの姿勢を判定するための特徴を検出する。ドライバの姿勢を判定するための特徴とは、ドライバの顔向き、ドライバの頭位置、及びドライバの顔のパーツである。実施の形態１において、特徴検出部１３が検出するドライバの顔向き及び頭位置（以下、特徴検出部１３が検出したドライバの顔向きを「検出顔向き」、特徴検出部１３が検出したドライバ頭位置を「検出頭位置」という。）は、例えば、実空間上の顔向き及び頭位置である。実施の形態１において、特徴検出部１３が検出するドライバの顔のパーツ位置は、例えば、撮像画像上の顔のパーツ位置である。実施の形態１では、一例として、ドライバの顔のパーツは、ドライバの目とする。以下、ドライバの顔のパーツはドライバの目であるものとして説明する。

【0021】

顔向き検出部１３１は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検出する。顔向き検出部１３１は、例えば、撮像画像から顔向きを検出する公知の顔向き検出技術を用いて、ドライバの顔向きを検出すればよい。ドライバの顔向きは、例えば、予め決められた基準となる、車両の上下方向の軸に対する回転角であるヨー角、車両の左右方向の軸に対する回転角であるピッチ角及び車両の前後方向の軸に対する回転角であるロール角の少なくとも一方であらわされる。顔向き検出部１３１は、検出顔向きに関する情報（以下「顔向き情報」という。）を、基準姿勢推定部１４及び判定部１５に出力する。顔向き情報は、ヨー角、ピッチ角及びロール角の情報の少なくとも一方を含む。

【0022】

頭位置検出部１３２は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する。実施の形態１において、撮像画像におけるドライバの頭位置は、例えば、ドライバの眉間の中心で示される。頭位置検出部１３２は、例えば、撮像画像上のドライバの眉間の中心に対応する実空間上の点を、ドライバの頭位置として検出する。なお、これは一例に過ぎず、撮像画像におけるドライバの頭の位置は、例えば、ドライバの顔領域の中心又はドライバの両目頭を結ぶ直線の中心で示されてもよい。この場合、頭位置検出部１３２は、例えば、撮像画像上のドライバの顔領域の中心、又は、ドライバの両目頭を結ぶ直線の中心に対応する実空間上の点を、実空間上のドライバの頭位置として検出する。

【0023】

頭位置検出部１３２は、例えば、撮像画像上の点を実空間上の点に変換する公知の座標変換技術を用いて、ドライバの頭位置を検出すればよい。ドライバの頭位置は、例えば、実空間上の座標であらわされる。頭位置検出部１３２は、検出したドライバの頭位置に関する情報（以下「頭位置情報」という。）を、基準姿勢推定部１４及び判定部１５に出力する。頭位置情報は、ドライバの頭位置の座標情報を含む。

【0024】

パーツ位置検出部１３３は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、撮像画像上のドライバの目の位置を検出する。なお、顔検出部１２は、撮像画像上のドライバの右目の位置、及び左目の位置を、それぞれ検出する。実施の形態１において、ドライバの目の位置（以下、特徴検出部１３が検出したドライバの目の位置を「検出目の位置」という。）は、撮像画像上でドライバの目頭と目尻を結ぶ直線の中心とする。パーツ位置検出部１３３は、例えば、公知の画像認識技術を用いて、ドライバの目の位置を検出すればよい。ドライバの目の位置は、例えば、撮像画像上の座標であらわされる。パーツ位置検出部１３３は、検出したドライバの目の位置に関する情報（以下「パーツ位置情報」という。）を、判定部１５に出力する。パーツ位置情報は、ドライバの右目の位置の座標情報及びドライバの左目の位置の座標情報を含む。

【0025】

検出信頼度算出部１３４は、検出された顔向き、頭位置、及び顔のパーツの少なくとも一方が予め定められた顔向き、頭位置、顔のパーツの少なくとも一方である信頼度を示す検出信頼度を算出する。そして、検出信頼度算出部１３４は、算出された検出信頼度を、基準姿勢推定部１４及び判定部１５の少なくとも一方に出力する。検出信頼度の算出方法については、例えば、下記の文献に示された方法等を用いることができる。下記の文献では、事前に大量の顔画像から学習しておいた顔向き、頭位置、及び顔のパーツの少なくとも一方と、ドライバを撮影した画像から抽出された顔向き、頭位置、及び顔のパーツの少なくとも一方のマッチングにおけるマッチ度合いから、顔向き、頭位置、及び顔のパーツの少なくとも一方の検出信頼度が算出される。
“ＲａｐｉｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｕｓｉｎｇａＢｏｏｓｔｅｄＣａｓｃａｄｅｏｆＳｉｍｐｌｅＦｅａｔｕｒｅｓ”，２００１，ＰａｕｌＶｉｏｌａ，ｅｔａｌ．

【0026】

なお、上記文献に記載の方法ではなくても、顔のパーツに相当する特定の対象物を画像から検出し、その検出信頼度を算出することができる方法であれば、検出信頼度算出部１３４でその方法を利用することができる。

【0027】

基準姿勢推定部１４は、予め定められた期間（以下「基準設定期間」という。）にて検出顔向き及び頭位置の少なくとも一方を用いて、ドライバの基準となる顔向き及び頭位置のうち少なくとも一方を基準姿勢として推定する。基準設定期間は、例えば、車両のイグニッションがＯＮにされてから予め設定された時間（例えば、１０秒）が経過するまでの期間である。なお、これは一例に過ぎず、基準設定期間は、例えば、車速が予め決められた速度（例えば、２５［ｋｍ／ｈ］）以上であって、かつ、操舵角が予め決められた範囲内（例えば、±２０度）である場合の予め定められた時間（例えば、３秒）としてもよい。また、検出顔向き及び頭位置のうち少なくとも一方を用いて、ドライバの基準となる顔向き及び頭位置のうち少なくとも一方を基準姿勢として推定したが、検出顔向き及び頭位置のうち少なくとも一方と顔向きの検出信頼度及び頭位置の検出信頼度のうち少なくとも一方を用いて、基準姿勢を推定してもよい。
基準姿勢推定部１４は、例えば、基準設定期間に検出顔向き及び検出頭位置のうち少なくとも一方の平均値を、ドライバの基準姿勢における検出顔向き及び検出頭位置のうち少なくとも一方（以下、ドライバの基準姿勢における検出顔向きを「基準顔向き」、ドライバの基準姿勢における検出頭位置を「基準頭位置」という。）と推定する。
基準姿勢推定部１４は、推定したドライバの基準姿勢に関する情報（以下「基準姿勢情報」という。）を、判定部１５に出力する。基準姿勢情報は、基準顔向き及び基準頭位置のうち少なくとも一方の情報を含む。なお、基準顔向きは、ヨー角、ピッチ角及びロール角のうち少なくともいずれか一方であらわされる。基準頭位置は、例えば、実空間上の座標であらわされる。また、基準姿勢情報は、ドライバの頭位置の情報として、ドライバの頭位置の座標情報を含む。

【0028】

範囲判定部１５１は、検出顔向き及び検出頭位置のうち少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は検出顔向き及び検出頭位置のうち少なくとも一方が基準顔向き及び基準頭位置のうち少なくとも一方から変位した変位量（以下、変位量という。）が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う。

【0029】

第１の範囲、第２の範囲及び第３の範囲は、ドライバの顔向きにおけるヨー角、ドライバの顔向きにおけるピッチ角、ドライバの顔向きにおけるロール角、ドライバの頭位置における水平方向と高さ方向で形成される平面、ドライバの頭位置における水平方向と奥行方向で形成される平面、ドライバの頭位置における高さ方向と奥行方向で形成される平面のうち少なくともいずれか一方において設定される。

【0030】

図２に、ドライバの顔向きにおけるヨー角、ドライバの顔向きにおけるピッチ角、又はドライバの顔向きにおけるロール角に設定された第１の範囲、第２の範囲及び第３の範囲を示す。第１の範囲、第２の範囲及び第３の範囲は、図２の０°で示される基準顔向きを中心とし、ドライバの顔向きの角度の絶対値が大きくなる順に基準顔向きから第１の範囲、第２の範囲、第３の範囲の順に設定されている。第２の範囲は、第１の範囲と比較して基準顔向きからの角度の絶対値が大きく、第３の範囲は、第２の範囲と比較して基準顔向きからの角度の絶対値が大きい。

【0031】

図３に、ドライバの頭位置における水平方向と高さ方向で形成される平面、ドライバの頭位置における水平方向と奥行方向で形成される平面、又はドライバの頭位置における高さ方向と奥行方向で形成される平面に設定された第１の範囲、第２の範囲及び第３の範囲を示す。第１の範囲、第２の範囲及び第３の範囲は、図３の縦軸と横軸の交点で示される基準頭位置を中心とし、ドライバの頭位置の変位量の絶対値が大きくなる順に基準頭位置から第１の範囲、第２の範囲、第３の範囲の順に設定されている。第２の範囲は、第１の範囲と比較して基準頭位置からの変位量の絶対値が大きく、第３の範囲は、第２の範囲と比較して基準頭位置からの変位量の絶対値が大きい。ここで、縦軸及び横軸には、ドライバの頭位置における水平方向、高さ方向又は奥行方向が割り振られる。

【0032】

第１の範囲は、後述する姿勢崩れが発生していないドライバの顔向き及び頭位置のうち少なくとも一方が位置し得る範囲に設定される。第１の範囲は、例えば、ドライバの顔向きにおけるヨー角、ドライバの顔向きにおけるピッチ角、ドライバの顔向きにおけるロール角、ドライバの頭位置における水平方向と高さ方向で形成される平面、ドライバの頭位置における水平方向と奥行方向で形成される平面、ドライバの頭位置における高さ方向と奥行方向で形成される平面のうち少なくともいずれか一方において、基準顔向きから０～１５°又は基準頭位置から０～５０ｍｍとなるように設定される。

【0033】

第２の範囲は、姿勢崩れが発生していないドライバと姿勢崩れが発生したドライバ両方の顔向き及び頭位置の少なくとも一方が位置し得る範囲に設定される。第２の範囲は、例えば、ドライバの顔向きにおけるヨー角、ドライバの顔向きにおけるピッチ角、ドライバの顔向きにおけるロール角、ドライバの頭位置における水平方向と高さ方向で形成される平面、ドライバの頭位置における水平方向と奥行方向で形成される平面、ドライバの頭位置における高さ方向と奥行方向で形成される平面のうち少なくともいずれか一方において、基準顔向きから１６～３５°又は基準頭位置から５１～２５０ｍｍとなるように設定される。

【0034】

第３の範囲は、姿勢崩れが発生したドライバの顔向き及び頭位置の少なくとも一方が位置し得る範囲に設定される。第３の範囲は、例えば、ドライバの顔向きにおけるヨー角、ドライバの顔向きにおけるピッチ角、ドライバの顔向きにおけるロール角、ドライバの頭位置における水平方向と高さ方向で形成される平面、ドライバの頭位置における水平方向と奥行方向で形成される平面、ドライバの頭位置における高さ方向と奥行方向で形成される平面のうち少なくともいずれか一方において、基準顔向きから３６～９０°又は基準頭位置から２５１～３５０ｍｍとなるように設定される。

【0035】

範囲判定部１５１は、検出顔向き及び検出頭位置の少なくとも一方が第１の範囲又は第３の範囲に該当する場合、又は変位量が第１の範囲又は第３の範囲に該当する場合、範囲判定結果を異常姿勢判定部１５５に出力する。範囲判定部１５１は、検出顔向き及び検出頭位置の少なくとも一方が第２の範囲に該当する場合、又は変位量が第２の範囲に該当する場合、範囲判定結果を姿勢崩れ判定部１５２に出力する。範囲判定結果は、検出顔向き及び検出頭位置の少なくとも一方が第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの情報、又は変位量が第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの情報を含む。

【0036】

姿勢崩れ判定部１５２は、範囲判定部１５１が、検出顔向き及び検出頭位置の少なくとも一方が第２の範囲に該当する場合、又は変位量が第２の範囲に該当すると判定した場合、検出顔向き及び頭位置の少なくとも一方と基準顔向及び基準頭位置の少なくとも一方との比較によって、ドライバの姿勢が予め定められた複数の姿勢崩れのタイプ（以下「姿勢崩れタイプ」という。）のうちのいずれかのタイプに該当するか否かを判定する。実施の形態１において、姿勢崩れ判定部１５２による、ドライバの姿勢が複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかの判定を、「姿勢崩れタイプ判定」ともいう。
複数の姿勢崩れタイプには、予め、ドライバが異常状態であることに起因する異常姿勢であるとする姿勢のタイプが設定されている。

【0037】

ここで、図４（国土交通省自動車局先進安全自動車推進検討会「ドライバー異常自動検知システム基本設計書」平成３０年３月の一部改変）は、複数の姿勢崩れタイプを説明するための図である。図４に示されているように、姿勢崩れには複数の態様がある。図４では、ドライバが前方に倒れ、ハンドル付近まで顔が来ている姿勢が継続している状態である「突っ伏し」、ドライバの顔が下を向いている姿勢が継続している状態である「うつむき」、ドライバの上半身が後方に傾き、顔が上を向いている姿勢が継続している状態である「仰け反り」、ドライバの上半身が反り上がり、顔が上に向いている姿勢が継続している状態である「えび反り」、ドライバの顔が左又は右に傾いている姿勢が継続している状態である「首のみ横倒れ」、ドライバの上半身が左又は右に傾き、顔も同方向に傾いている姿勢が継続している状態である「横倒れ」又はドライバの上半身が左又は右に傾いている姿勢が継続している状態である「横もたれ」が示されている。本開示では、図４に示されている「突っ伏し」、「うつむき」、「仰け反り」、「えび反り」、「首のみ横倒れ」、「横倒れ」及び「横もたれ」を、予め設定されている複数の姿勢崩れタイプとする。複数の姿勢崩れタイプに関する情報は、姿勢崩れ判定部１５２が参照可能な場所に記憶されている。

【0038】

詳細には、姿勢崩れ判定部１５２は、検出顔向きが基準顔向きと比べてどれぐらい変化しているか、又は、検出頭位置が基準頭位置と比べてどれぐらい変化しているかによって、ドライバが複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかを判定する。なお、検出顔向きが基準顔向きと比べてどれぐらい変化している場合、又は、検出頭位置が基準頭位置と比べてどれぐらい変化している場合に、どの姿勢崩れタイプに該当すると判定するかの条件は、予め設定され、姿勢崩れ判定部１５２が保持している。姿勢崩れ判定部１５２は、例えば、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）等の学習器を使用して姿勢崩れタイプ判定を行ってもよい。

【0039】

姿勢崩れ判定部１５２は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当する場合、姿勢崩れタイプ判定結果を、誤検出判定部１５４に出力する。姿勢崩れ判定部１５２は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当しない場合、姿勢崩れタイプ判定結果を、異常姿勢判定部１５５に出力する。姿勢崩れタイプ判定結果は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当するか否かの情報を含む。

【0040】

顔の変化度合い検出部１５３は、特徴検出部１３が検出したドライバの顔のパーツを用いてドライバの顔の変化度合いを検出する。
ドライバの顔の変化は、ドライバが顔の少なくとも一部を動かしてドライバの顔の状態が変わることを意味し、顔の変化度合いとは、予め定められた期間において、どの程度ドライバの顔の変化があったかを示す。ドライバの顔の変化は、例えば、ドライバが瞬きをすること等、ドライバの顔の変化度合いは、例えば、予め定められた期間におけるドライバの瞬きの回数等が挙げられる。実施の形態１では、一例として、ドライバの顔の変化を、ドライバが瞬きをすること、ドライバの顔の変化度合いは、予め定められた期間におけるドライバの瞬きの回数とする。

【0041】

具体的には、顔の変化度合い検出部１５３は、検出目の位置を用いてドライバの開眼度を検出し、ドライバによる瞬きの有無を判定する。開眼度は、例えば、目頭の位置、目尻の位置および上瞼の最高点の位置を検出し、目頭と目尻とを結ぶ直線と上瞼の最高点との間の距離を、目頭と目尻の間の距離で除算することで目の扁平率を求め、扁平率を予め定められた基準値で除算して得られる値として検出することができる。なお、上瞼の最高点とは、目尻と目頭を結ぶ直線から最も離れている上瞼の点（頂点）である。開眼度が予め定められたしきい値ＴＨ１を下回った場合を閉眼と判定し、開眼度が予め定められたしきい値ＴＨ１よりも大きい予め定められたしきい値ＴＨ２を上回った場合を開眼と判定し、閉眼を検知した後に予め定められた時間内に開眼が検知された場合に、「瞬き有り」と判定することができる。閉眼検知後、予め定められた時間内に開眼が検知されない場合は「瞬き無し」と判定する。
なお、検出目の位置を用いてドライバの開眼度を検出し、ドライバによる瞬きの有無を判定したが、検出目の位置と顔のパーツの検出信頼度を用いてドライバの開眼度を検出し、ドライバによる瞬きの有無を判定してもよい。

【0042】

顔の変化度合い検出部１５３は、予め定められた期間において「瞬き有り」と判定した回数（以下、瞬きの回数という。）をカウントし、瞬きの回数が閾値以上の場合、顔の変化度合いを検出したとし、瞬きの回数が閾値未満の場合、顔の変化度合いを検出しないとする。

【0043】

顔の変化度合い検出部１５３は、顔の変化度合いを検出したか否かの検出結果（以下、「顔の変化度合い検出結果」という。）を、誤検出判定部１５４に出力する。

【0044】

誤検出判定部１５４は、姿勢崩れ判定部１５２がドライバの姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定し、顔の変化度合い検出部１５３が変化度合いを検出した場合は、ドライバの姿勢は姿勢崩れタイプでない、すなわち姿勢崩れ判定部１５２の判定は誤りであると判定し、姿勢崩れ判定部１５２がドライバの姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定し、顔の変化度合い検出部１５３が変化度合いを検出しない場合は、ドライバの姿勢は姿勢崩れタイプである、すなわち姿勢崩れ判定部１５２の判定は誤りでないと判定する。

【0045】

誤検出判定部１５４は、姿勢崩れ判定部１５２の判定が誤りであるか否かの判定結果（以下、「誤検出判定結果」という。）を、異常姿勢判定部１５５に出力する。

【0046】

異常姿勢判定部１５５は、範囲判定部１５１が出力した範囲判定結果、姿勢崩れ判定部１５２が出力した姿勢崩れタイプ判定結果、及び誤検出判定部１５４が出力した誤検出判定結果を用いて、ドライバの姿勢は異常姿勢であるか否かを判定する。

【0047】

異常姿勢判定部１５５は、範囲判定部１５１が、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部１５１が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部１５２が、ドライバの姿勢を姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部１５４が、姿勢崩れ判定部１５２の判定は誤りであると判定した場合、ドライバは異常姿勢ではないと判定する。

【0048】

異常姿勢判定部１５５は、範囲判定部１５１が、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部１５１が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部１５４が、姿勢崩れ判定部１５２の判定は誤りでないと判定した場合、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間を判定する。例えば、異常姿勢判定部１５５は、取得した範囲判定結果又は姿勢崩れタイプ判定結果を、当該範囲判定結果又は当該姿勢崩れタイプ判定結果を取得した日時の情報と対応付けて、図示しない記憶部に記憶させておく。異常姿勢判定部１５５は、記憶させている範囲判定結果又は姿勢崩れタイプ判定結果から、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間を判定すればよい。異常姿勢判定部１５５は、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間が予め設定された閾値（以下「異常姿勢判定用閾値」という。）に達した場合、ドライバは異常姿勢であると判定する。

【0049】

異常姿勢判定部１５５は、ドライバは異常姿勢であるか否かの判定結果（以下「異常姿勢判定結果」という。）を、出力制御部１６に出力する。

【0050】

出力制御部１６は、異常姿勢判定部１５５がドライバは異常姿勢であると判定した場合、ドライバに警告を行うための警告情報を、出力装置３に出力する。

【0051】

実施の形態１に係る乗員状態判定装置１の動作について説明する。図５は、実施の形態１に係る乗員状態判定装置１の動作について説明するためのフローチャートである。
なお、乗員状態判定装置１の動作は、例えば、車両のイグニッションがＯＮにされた後に開始される。また、撮像装置２から撮像画像を取得する度、つまり毎フレーム乗員状態の判定処理を行うと好ましい。

【0052】

画像取得部１１は、撮像装置２から撮像画像を取得する（ステップＳＴ１）。
画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。

【0053】

顔検出部１２は、ステップＳＴ１にて画像取得部１１が取得した撮像画像においてドライバの顔を検出する（ステップＳＴ２）。
顔検出部１２は、顔情報を、特徴検出部１３に出力する。

【0054】

顔向き検出部１３１は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検出する（ステップＳＴ３）。
顔向き検出部１３１は、顔向き情報を、基準姿勢推定部１４及び判定部１５に出力する。

【0055】

頭位置検出部１３２は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する（ステップＳＴ３）。
頭位置検出部１３２は、頭位置情報を、基準姿勢推定部１４及び判定部１５に出力する。

【0056】

頭位置検出部１３２は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する（ステップＳＴ３）。
頭位置検出部１３２は、頭位置情報を、基準姿勢推定部１４及び判定部１５に出力する。

【0057】

パーツ位置検出部１３３は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔のパーツ位置を検出する（ステップＳＴ３）。
パーツ位置検出部１３３は、パーツ位置情報を、判定部１５に出力する。

【0058】

検出信頼度算出部１３４は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、顔向き、頭位置、及び顔のパーツの少なくとも一方の検出信頼度を算出する（ステップＳＴ４）。
検出信頼度算出部１３４は、検出信頼度を、基準姿勢推定部１４及び判定部１５の少なくとも一方に出力する。

【0059】

基準姿勢推定部１４がドライバの基準姿勢の推定を完了していない場合（ステップＳＴ５の“ＮＯ”の場合）、基準設定期間にて特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方（先述のとおり、以下、特徴検出部１３が検出したドライバの顔向きを「検出顔向き」、特徴検出部１３が検出したドライバ頭位置を「検出頭位置」という。）を用いて、ドライバの基準姿勢を推定する（ステップＳＴ６）。

【0060】

なお、先述のとおり、基準姿勢推定部１４は、検出顔向き及び頭位置のうち少なくとも一方と顔向きの検出信頼度及び頭位置の検出信頼度のうち少なくとも一方を用いて、基準姿勢を推定してもよい。

【0061】

なお、基準姿勢推定部１４は、ドライバの基準姿勢の推定を完了しているか否かを、例えば、基準姿勢推定済フラグを用いて判定すればよい。例えば、基準姿勢推定部１４は、ドライバの基準姿勢を推定すると、基準姿勢推定済フラグを「１」にする。基準姿勢推定済フラグの初期値は「０」であり、基準姿勢推定済フラグは、例えば、乗員状態判定装置１のイグニッションがＯＦＦされる際に初期化される。基準姿勢推定済フラグは、乗員状態判定装置１が参照可能な場所に記憶される。

【0062】

基準姿勢推定部１４がドライバの基準姿勢の推定を完了している場合（ステップＳＴ５の“ＹＥＳ”の場合）、範囲判定部１５１は、検出顔向き及び検出頭位置のうち少なくとも一方が実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は変位量が実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う（ステップＳＴ７）。
範囲判定部１５１は、検出顔向き及び検出頭位置のうち少なくとも一方が第１の範囲又は第３の範囲に該当する場合、又は変位量が第１の範囲又は第３の範囲に該当する場合、範囲判定結果を異常姿勢判定部１５５に出力する。
範囲判定部１５１は、検出顔向き及び検出頭位置のうち少なくとも一方が第２の範囲に該当する場合、又は変位量が第２の範囲に該当する場合、範囲判定結果を姿勢崩れ判定部１５２に出力する。

【0063】

範囲判定部１５１が、検出顔向き及び検出頭位置のうち少なくとも一方が第２の範囲に該当する場合、又は変位量が第２の範囲に該当すると判定した場合（ステップＳＴ７の“第２の範囲”の場合）、姿勢崩れ判定部１５２は、検出顔向き及び頭位置の少なくとも一方と基準顔向及び基準頭位置の少なくとも一方との比較によって、ドライバの姿勢が予め定められた複数の姿勢崩れのタイプのうちのいずれかのタイプに該当するか否かを判定する（ステップＳＴ８）。
姿勢崩れ判定部１５２は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当する場合、姿勢崩れタイプ判定結果を、誤検出判定部１５４に出力する。
姿勢崩れ判定部１５２は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当しない場合、姿勢崩れタイプ判定結果を、異常姿勢判定部１５５に出力する。

【0064】

姿勢崩れ判定部１５２は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当する場合（ステップＳＴ８の“ＹＥＳ”の場合）、顔の変化度合い検出部１５３は、特徴検出部１３が検出したドライバの顔のパーツを用いてドライバの顔の変化度合いを検出する。
顔の変化度合い検出部１５３は、顔の変化度合い検出結果を、誤検出判定部１５４に出力する（ステップＳＴ９）。

【0065】

次に、誤検出判定部１５４は、姿勢崩れ判定部１５２がドライバの姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定し、顔の変化度合い検出部１５３が変化度合いを検出した場合は、ドライバの姿勢は姿勢崩れタイプでないと判定し、姿勢崩れ判定部１５２がドライバの姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定し、顔の変化度合い検出部１５３が変化度合いを検出しない場合は、ドライバの姿勢は姿勢崩れタイプであると判定する。
誤検出判定部１５４は、誤検出判定結果を、異常姿勢判定部１５５に出力する（ステップＳＴ１０）。

【0066】

異常姿勢判定部１５５は、範囲判定部１５１が、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、又は範囲判定部１５１が、変位量を第１の範囲に該当すると判定した場合（ステップＳＴ７の“第１の範囲”の場合）、姿勢崩れ判定部１５２が、ドライバの姿勢を姿勢崩れタイプのいずれかに該当しないと判定した場合（ステップＳＴ８の“ＮＯ”の場合）、又は誤検出判定部１５４がドライバの姿勢を姿勢崩れでない、すなわち姿勢崩れ判定部１５２の判定は誤りであると判定した場合（ステップＳＴ１０の“ＮＯ”の場合）、ドライバは異常姿勢ではないと判定する。

【0067】

異常姿勢判定部１５５は、範囲判定部１５１が、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部１５１が、変位量を第３の範囲に該当すると判定した場合（ステップＳＴ７の“第３の範囲”の場合）、又は誤検出判定部１５４がドライバの姿勢を姿勢崩れである、すなわち姿勢崩れ判定部１５２の判定は誤りでないと判定した場合（ステップＳＴ１０の“ＹＥＳ”の場合）、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、又は変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間を判定する（ステップＳＴ１１）。

【0068】

異常姿勢判定部１５５は、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、又は変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間が異常姿勢判定用閾値に達した場合（ステップＳＴ１１の“ＹＥＳ”の場合）、ドライバは異常姿勢であると判定し、ドライバの姿勢が異常姿勢であることに対する警告を、出力装置３から出力させる（ステップＳＴ１２）。
異常姿勢判定部１５５は、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間が異常姿勢判定用閾値に達しない場合（ステップＳＴ１１の“ＮＯ”の場合）、ドライバは異常姿勢ではないと判定する。

【0069】

図６及び図７は、実施の形態１に係る乗員状態判定装置１のハードウェア構成の一例を示す図である。実施の形態１において、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能は、処理回路１００１により実現される。すなわち、乗員状態判定装置１は、撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるかを判定する制御を行うための処理回路１００１を備える。処理回路１００１は、図６に示すように専用のハードウェアであっても、図７に示すようにメモリ１００５に格納されるプログラムを実行するプロセッサ１００４であってもよい。

【0070】

処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はこれらを組み合わせたものが該当する。

【0071】

処理回路がプロセッサ１００４の場合、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能を実行する。すなわち、乗員状態判定装置１は、プロセッサ１００４により実行されるときに、上述の図６のステップＳＴ１～ステップＳＴ１２が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の処理の手順又は方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等が該当する。

【0072】

なお、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、画像取得部１１と出力制御部１６については専用のハードウェアとしての処理回路１００１でその機能を実現し、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

【0073】

図示しない記憶部は、例えば、メモリ１００５で構成される。また、乗員状態判定装置１は、撮像装置２又は出力装置３等の装置と、有線通信又は無線通信を行う入力インタフェース装置１００２及び出力インタフェース装置１００３を備える。

【0074】

以上のように、実施の形態１によれば、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部１２と、顔検出部１２が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出する特徴検出部１３と、予め定められた期間において、特徴検出部１３が検出した乗員の顔向き及び頭位置の少なくとも一方を用いて、乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定する基準姿勢推定部１４と、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う範囲判定部１５１と、範囲判定部１５１が、特徴検出部１３が検出した乗員の顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部１３が検出した乗員の顔向き及び頭位置の少なくとも一方と基準姿勢における乗員の顔向き及び頭位置の少なくとも一方との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部１５２と、特徴検出部１３が検出した乗員の顔のパーツを用いて乗員の顔の変化度合いを検出する顔の変化度合い検出部１５３と、姿勢崩れ判定部１５２が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部１５３が変化度合いを検出した場合は、姿勢崩れ判定部１５２の判定は誤りであると判定し、姿勢崩れ判定部１５２が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部１５３が変化度合いを検出しない場合は、姿勢崩れ判定部１５２の判定は誤りでないと判定する誤検出判定部１５４と、範囲判定部１５１が、特徴検出部１３が検出した乗員の顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部１５１が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部１５４が姿勢崩れ判定部１５２の判定は誤りでないと判定した場合、乗員は異常姿勢であると判定し、範囲判定部１５１が、特徴検出部１３が検出した乗員の顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部１５１が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部１５２が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部１５４が姿勢崩れ判定部１５２の判定は誤りであると判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部１５５と、を備えるように構成した。

【0075】

乗員状態判定装置１は、すべての範囲の特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を用いて、姿勢崩れ判定部１５２における姿勢崩れタイプ判定及び誤検出判定部１５４における誤検出判定、又は変位量を用いて、姿勢崩れ判定部１５２における姿勢崩れタイプ判定及び誤検出判定部１５４における誤検出判定を行うのではなく、範囲判定部１５１で、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は変位量を第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行い、範囲判定結果に応じて、範囲判定結果を出力する先を変更している。

【0076】

特に、範囲判定部１５１は、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を用いて、姿勢崩れ判定部１５２における姿勢崩れタイプ判定及び誤検出判定部１５４における誤検出判定、又は変位量を用いて、姿勢崩れ判定部１５２における姿勢崩れタイプ判定及び誤検出判定部１５４における誤検出判定を行う。

【0077】

一方で、範囲判定部１５１は、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当すると判定した場合、又は変位量が第３の範囲に該当すると判定した場合、姿勢崩れ判定部１５２における姿勢崩れタイプ判定及び誤検出判定部１５４における誤検出判定を行うのではなく、異常姿勢判定部１５５に出力する。異常姿勢判定部１５５は、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、又は変位量が第３の範囲に該当する状態の継続時間が異常姿勢判定用閾値に達した場合、ドライバは異常姿勢であると判定する。

【0078】

そのため、乗員状態判定装置１は、姿勢崩れが発生していないドライバと姿勢崩れが発生したドライバ両方の顔向き及び頭位置の少なくとも一方が位置し得る範囲である第２の範囲において、ドライバの姿勢が姿勢崩れでないにもかかわらず姿勢崩れと判定される姿勢崩れの誤検出を抑制する。さらに、姿勢崩れが発生したドライバの顔向き及び頭位置の少なくとも一方が位置し得る範囲である第３の範囲において、ドライバの顔の変化があった場合でも、つまり、瞬きをしながら姿勢崩れとなる場合、瞬きをしながら姿勢崩れとなり姿勢崩れ後も瞬きが継続する場合であっても、ドライバは異常姿勢であると判定することができる。そのため、ドライバの姿勢が姿勢崩れにもかかわらず勢崩れでないと判定される姿勢崩れの未検出を抑制し、乗員状態の検出精度の向上を図ることができる。

【0079】

また、以上の実施の形態１において、乗員状態判定装置１は、基準姿勢推定部１４がドライバの基準姿勢を推定すると、例えば車両のイグニッションがＯＦＦにされるまで、当該基準姿勢の見直しは行われないことを想定していた。しかし、これは一例に過ぎず、例えば、基準姿勢推定部１４は、基準姿勢を常にモニタリングしていて、基準姿勢が、ドライバの姿勢崩れがないといえる範囲内で変わっていれば、基準姿勢の更新を行ってもよい。

【0080】

また、以上の実施の形態１では、基準姿勢推定部１４がドライバの基準姿勢を推定するようにしたが、これは一例に過ぎない。例えば、予め、管理者等が、一般的なドライバの顔向き、頭位置、及び、目等の顔のパーツの位置を用いて基準姿勢を設定し、判定部１５が参照可能な場所に記憶させておいてもよい。
この場合、乗員状態判定装置１は、基準姿勢推定部１４を備えない構成とできる。ただし、基準姿勢推定部１４が基準姿勢を推定するようにしたほうが、基準姿勢推定部１４を備えない構成とするよりも、乗員状態判定装置１は、より個人にあわせた基準姿勢を設定できる。その結果、乗員状態判定装置１は、より精度よく、ドライバが異常姿勢であるか否かの判定を行うことができる。

【0081】

また、以上の実施の形態１では、範囲判定部１５１が、検出顔向き及び検出頭位置のうち少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するか、又は変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかを判定していたが、範囲判定部１５１は、範囲判定を機械学習により判定してもよい。

【0082】

また、以上の実施の形態１では、乗員状態判定装置１が異常姿勢であるか否かを判定する対象となる車両の乗員は車両のドライバとしたが、これは一例に過ぎない。乗員状態判定装置１は、ドライバ以外の車両の乗員を、異常姿勢であるか否かを判定する対象とできる。

【0083】

また、以上の実施の形態１では、乗員状態判定装置１は、車両に搭載される車載装置とし、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６は、車載装置に備えられているものとした。
これに限らず、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとでシステムを構成するようにしてもよい。
また、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６が全部サーバに備えられてもよい。

【符号の説明】

【0084】

１ 乗員状態判定装置、２ 撮像装置、３ 出力装置、５ 操舵機構、６制駆動機構、１１ 画像取得部、１２ 顔検出部、１３ 特徴検出部、１３１ 顔向き検出部、１３２ 頭位置検出部、１３３ パーツ位置検出部、１３４ 検出信頼度算出部、１４ 基準姿勢推定部、１５ 判定部、１５１ 範囲判定部、１５２ 姿勢崩れ判定部、１５３ 顔の変化度合い検出部、１５４ 誤検出判定部、１５５ 異常姿勢判定部、１６ 出力制御部、１００ 乗員状態判定システム、１００１ 処理回路、１００２ 入力インタフェース装置、１００３ 出力インタフェース装置、１００４ プロセッサ、１００５ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】