ホーム > 特許ランキング > 三菱電機モビリティ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特許7630063異常姿勢判定装置、異常姿勢判定方法、および、車両制御システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-06
(45)【発行日】2025-02-17
(54)【発明の名称】異常姿勢判定装置、異常姿勢判定方法、および、車両制御システム
(51)【国際特許分類】
G08G 1/16 20060101AFI20250207BHJP
【ＦＩ】
G08G1/16 C
【請求項の数】
12
(21)【出願番号】P 2024528050
(86)(22)【出願日】2022-06-17
(86)【国際出願番号】 JP2022024249
(87)【国際公開番号】W WO2023243066
(87)【国際公開日】2023-12-21
【審査請求日】2024-05-14
【早期審査対象出願】
(73)【特許権者】
【識別番号】324003048
【氏名又は名称】三菱電機モビリティ株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】松本 智大
【審査官】増子 真
(56)【参考文献】
【文献】特開２０１９－１０５８７２（ＪＰ，Ａ）
【文献】特開２０１７－２１７４７２（ＪＰ，Ａ）
【文献】特開２０１０－２０４８４７（ＪＰ，Ａ）
【文献】特開２０１６－０３８７９３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － ９９／００
Ｂ６０Ｗ １０／００ － １０／３０
Ｂ６０Ｗ ３０／００ － ６０／００
(57)【特許請求の範囲】
【請求項1】
車両の乗員の顔が存在すべき範囲が撮像された撮像画像において前記乗員の顔を検出する顔検出部と、前記顔検出部が検出した前記撮像画像における前記乗員の顔に基づき、前記乗員の顔向き、前記乗員の頭位置、および、前記乗員の顔のパーツの位置を検出する姿勢判定用特徴検出部と、
前記姿勢判定用特徴検出部が検出した前記乗員の顔向きおよび頭位置と前記乗員が姿勢崩れを起こしていないと想定される基準姿勢における前記乗員の顔向きおよび頭位置との比較によって前記乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行い、前記顔検出部が前記乗員の顔を検出できなかった場合は、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのうちの突っ伏しに該当すると判定する姿勢タイプ判定部と、
前記姿勢タイプ判定部が前記乗員の前記姿勢は突っ伏しに該当すると判定した場合、前記乗員の前記姿勢は突っ伏しに該当すると判定されたときから遡って前記顔検出部が前記乗員の顔を検出できたときの前記撮像画像である検出撮像画像に基づく前記乗員の顔のパーツの位置に基づき、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのいずれにも該当しない前のめりに該当するか否かの前のめり判定を行う前のめり判定部と、
前記姿勢タイプ判定部による姿勢崩れタイプ判定結果と、前記前のめり判定部による前のめり判定結果とに基づき、前記乗員の前記姿勢は異常姿勢であるか否かを判定する異常姿勢判定部
とを備えた異常姿勢判定装置。
【請求項2】
前記異常姿勢判定部は、前記姿勢タイプ判定部が前記乗員の前記姿勢は突っ伏しであると判定したとしても、前記前のめり判定部が前記乗員の前記姿勢は前のめりであると判定した場合、前記乗員の前記姿勢は前記異常姿勢ではないと判定することを特徴とする請求項１記載の異常姿勢判定装置。
【請求項3】
基準設定期間にて前記姿勢判定用特徴検出部が検出した前記乗員の顔向き、頭位置、および、顔のパーツの位置に基づいて、前記乗員の前記基準姿勢を推定する基準姿勢推定部を備えた請求項１記載の異常姿勢判定装置。
【請求項4】
前記前のめり判定部は、前記乗員の前記検出撮像画像上の顔のパーツの高さと、前記基準姿勢における前記乗員の前記撮像画像上の顔のパーツの高さとを比較して、前記乗員の前記検出撮像画像上の顔のパーツのほうが高さ判定用閾値以上高い位置にあれば、前記乗員の前記姿勢は前のめりであると判定することを特徴とする請求項１から請求項３のうちのいずれか１項記載の異常姿勢判定装置。
【請求項5】
前記乗員の顔のパーツは前記乗員の目であり、前記前のめり判定部は、前記乗員の目の高さがハンドルの上端よりも高い場合、前記乗員の前記姿勢は前のめりであると判定する
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の異常姿勢判定装置。
【請求項6】
前記前のめり判定部は、前記乗員の目の高さと前記ハンドルの上端の高さとの比較を前記検出撮像画像上で行い、前記検出撮像画像上で、前記乗員の目のほうが前記ハンドルの上端よりも高い位置にある場合、前記乗員の前記姿勢は前のめりであると判定することを特徴とする請求項５記載の異常姿勢判定装置。
【請求項7】
前記前のめり判定部は、前記乗員の目の高さと前記ハンドルの上端の高さとの比較を３次元空間上で行い、前記３次元空間上で、前記乗員の目のほうが前記ハンドルの上端よりも高い位置にある場合、前記乗員の前記姿勢は前のめりであると判定することを特徴とする請求項５記載の異常姿勢判定装置。
【請求項8】
前記前のめり判定部は、前記３次元空間上の前記乗員の目の高さを前記検出撮像画像と前記撮像画像が撮像される撮像装置の位置とに基づいて算出し、前記３次元空間上の前記ハンドルの上端の高さをチルトステアリングおよびテレスコピックステアリングの操作情報に基づいて算出することを特徴とする請求項７記載の異常姿勢判定装置。
【請求項9】
前記異常姿勢判定部が前記乗員は前記異常姿勢であると判定した場合、前記乗員に警告を行うための警告情報を出力する出力制御部を備えた請求項１記載の異常姿勢判定装置。
【請求項10】
前記乗員の顔のパーツは前記乗員の目であることを特徴とする請求項１記載の異常姿勢判定装置。
【請求項11】
顔検出部が、車両の乗員の顔が存在すべき範囲が撮像された撮像画像において前記乗員の顔を検出するステップと、姿勢判定用特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔に基づき、前記乗員の顔向き、前記乗員の頭位置、および、前記乗員の顔のパーツの位置を検出するステップと、
姿勢タイプ判定部が、前記姿勢判定用特徴検出部が検出した前記乗員の顔向きおよび頭位置と前記乗員が姿勢崩れを起こしていないと想定される基準姿勢における前記乗員の顔向きおよび頭位置との比較によって前記乗員の姿勢が複数の前記姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行い、前記顔検出部が前記乗員の顔を検出できなかった場合は、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのうちの突っ伏しに該当すると判定するステップと、
前のめり判定部が、前記姿勢タイプ判定部が前記乗員の前記姿勢は突っ伏しに該当すると判定した場合、前記乗員の前記姿勢は突っ伏しに該当すると判定されたときから遡って前記顔検出部が前記乗員の顔を検出できたときの前記撮像画像である検出撮像画像に基づく前記乗員の顔のパーツの位置に基づき、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのいずれにも該当しない前のめりに該当するか否かの前のめり判定を行うステップと、
異常姿勢判定部が、前記姿勢タイプ判定部による姿勢崩れタイプ判定結果と、前記前のめり判定部による前のめり判定結果とに基づき、前記乗員の前記姿勢は異常姿勢であるか否かを判定するステップ
とを備えた異常姿勢判定方法。
【請求項12】
請求項１記載の異常姿勢判定装置と、前記車両の運転の制御を行う運転制御装置と、を備えた車両制御システムであって、前記異常姿勢判定装置は、前記乗員は前記異常姿勢であるか否かの判定結果を前記運転制御装置に出力し、
前記運転制御装置は、前記判定結果に基づいて、前記乗員に対する警告の出力または前記車両の退避処理を行う制御信号を、前記車両に搭載された警報制御装置、操舵機構、または制駆動機構に出力する
ことを特徴とする車両制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、異常姿勢判定装置、異常姿勢判定方法、および、車両制御システムに関する。
【背景技術】
【0002】
従来、車両内の乗員を撮像した撮像画像に基づいて乗員の姿勢崩れを判定することで乗員の異常状態を検知する技術が知られている。姿勢崩れのパターンの中には、乗員が前方に倒れ、ハンドル付近まで顔が来ている姿勢が継続している状態である「突っ伏し」がある。例えば、特許文献１には、画像に写り込んだ運転者における鼻特徴点と左肩特徴点を特定し、移動体の上下方向における鼻特徴点と左肩特徴点の間の距離の減少量が閾値を上回る場合、運転者が突っ伏し姿勢をとっていると推定する画像処理装置が開示されている。
ところで、近年、車両に搭載され車両内を撮像する撮像装置の小型化が進み、撮像装置の撮像範囲が狭くなっていることがある。
ところで、近年、車両に搭載され車両内を撮像する撮像装置の小型化が進み、撮像装置の撮像範囲が狭くなっていることがある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２１－１４９４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
車両の乗員は、例えば、前方の標識を確認する場合、体を前方に倒す、いわゆる「前のめり」の姿勢をとることがある。当該「前のめり」は乗員が異常状態であることによるものではない。すなわち、乗員の異常状態を検知するための姿勢崩れには該当しない。
ここで、姿勢崩れである「突っ伏し」においても、姿勢崩れには該当しない「前のめり」においても、乗員は体を前方に倒すため、撮像画像に乗員の顔が撮像されなくなる可能性がある。特に、近年の撮像範囲が狭くなっている撮像装置によって撮像された撮像画像では、乗員が「突っ伏し」または「前のめり」の姿勢をとった場合に、撮像画像に乗員の顔が撮像されなくなる可能性が高い。
従来技術では、撮像画像に乗員の顔が撮像されなくなった場合に、当該乗員の姿勢が「突っ伏し」であるのか、「前のめり」であるのかを区別できず、乗員が「前のめり」の姿勢をとっているにもかかわらず、「突っ伏し」の姿勢をとっていると誤検知するおそれがあるという課題があった。
なお、特許文献１に開示されているような画像処理装置の技術では、撮像画像に乗員の顔が撮像されなくなった場合を考慮できていないため、依然として上記課題を解決できない。
ここで、姿勢崩れである「突っ伏し」においても、姿勢崩れには該当しない「前のめり」においても、乗員は体を前方に倒すため、撮像画像に乗員の顔が撮像されなくなる可能性がある。特に、近年の撮像範囲が狭くなっている撮像装置によって撮像された撮像画像では、乗員が「突っ伏し」または「前のめり」の姿勢をとった場合に、撮像画像に乗員の顔が撮像されなくなる可能性が高い。
従来技術では、撮像画像に乗員の顔が撮像されなくなった場合に、当該乗員の姿勢が「突っ伏し」であるのか、「前のめり」であるのかを区別できず、乗員が「前のめり」の姿勢をとっているにもかかわらず、「突っ伏し」の姿勢をとっていると誤検知するおそれがあるという課題があった。
なお、特許文献１に開示されているような画像処理装置の技術では、撮像画像に乗員の顔が撮像されなくなった場合を考慮できていないため、依然として上記課題を解決できない。
【0005】
本開示は、このような問題を解決するためになされたものであり、乗員の「前のめり」の姿勢を「突っ伏し」の姿勢と誤検知することを防ぐことを可能にした異常姿勢判定装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る異常姿勢判定装置は、車両の乗員の顔が存在すべき範囲が撮像された撮像画像において乗員の顔を検出する顔検出部と、顔検出部が検出した撮像画像における乗員の顔に基づき、乗員の顔向き、乗員の頭位置、および、乗員の顔のパーツの位置を検出する姿勢判定用特徴検出部と、姿勢判定用特徴検出部が検出した乗員の顔向きおよび頭位置と乗員が姿勢崩れを起こしていないと想定される基準姿勢における乗員の顔向きおよび頭位置との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行い、顔検出部が乗員の顔を検出できなかった場合は、乗員の姿勢は複数の姿勢崩れタイプのうちの突っ伏しに該当すると判定する姿勢タイプ判定部と、姿勢タイプ判定部が乗員の姿勢は突っ伏しに該当すると判定した場合、乗員の姿勢は突っ伏しに該当すると判定されたときから遡って顔検出部が乗員の顔を検出できたときの撮像画像である検出撮像画像に基づく乗員の顔のパーツの位置に基づき、乗員の姿勢は複数の姿勢崩れタイプのいずれにも該当しない前のめりに該当するか否かの前のめり判定を行う前のめり判定部と、姿勢タイプ判定部による姿勢崩れタイプ判定結果と、前のめり判定部による前のめり判定結果とに基づき、乗員の姿勢は異常姿勢であるか否かを判定する異常姿勢判定部とを備える。
【発明の効果】
【0007】
本開示に係る異常姿勢判定装置によれば、乗員の「前のめり」の姿勢を「突っ伏し」の姿勢と誤検知することを防止できる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る異常姿勢判定装置の構成例を示す図である。
【図2】複数の姿勢崩れタイプを説明するための図である。
【図3】図３Ａおよび図３Ｂは、ドライバが「突っ伏し」の姿勢をとったことにより撮像画像上でドライバの顔が撮像されなくなった場合と、「前のめり」の姿勢をとったことにより撮像画像上でドライバの顔が撮像されなくなった場合の、撮像画像上でのドライバの顔の位置の遷移の一例を説明するための図である。
【図4】実施の形態１における、前のめり判定部による前のめり判定の具体的な方法について説明するための図である。
【図5】実施の形態１に係る運転制御システムの構成例を示す図である。
【図6】実施の形態１に係る異常姿勢判定装置の動作について説明するためのフローチャートである。
【図7】実施の形態１に係る運転制御システムによる運転支援機能の動作例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る異常姿勢判定装置は、車両の乗員の少なくとも顔が撮像された撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるか否かを判定する。
以下の実施の形態１では、一例として、異常姿勢判定装置が異常姿勢であるか否かを判定する対象となる車両の乗員は、車両のドライバとする。
実施の形態１．
実施の形態１に係る異常姿勢判定装置は、車両の乗員の少なくとも顔が撮像された撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるか否かを判定する。
以下の実施の形態１では、一例として、異常姿勢判定装置が異常姿勢であるか否かを判定する対象となる車両の乗員は、車両のドライバとする。
【0010】
図１は、実施の形態１に係る異常姿勢判定装置１の構成例を示す図である。
実施の形態１に係る異常姿勢判定装置１は、車両に搭載されることを想定している。
異常姿勢判定装置１は、撮像装置２および出力装置３と接続され、異常姿勢判定装置１と撮像装置２と出力装置３とで異常姿勢判定システム１００を構成する。
異常姿勢判定システム１００は、運転制御システム４００、操舵機構５、および、制駆動機構６とともに、車両制御システムＳＹＳ．Ａを構成する。
実施の形態１に係る異常姿勢判定装置１は、車両に搭載されることを想定している。
異常姿勢判定装置１は、撮像装置２および出力装置３と接続され、異常姿勢判定装置１と撮像装置２と出力装置３とで異常姿勢判定システム１００を構成する。
異常姿勢判定システム１００は、運転制御システム４００、操舵機構５、および、制駆動機構６とともに、車両制御システムＳＹＳ．Ａを構成する。
【0011】
撮像装置２は、車両に搭載され、少なくともドライバの顔が存在すべき範囲を撮像可能に設置されている。実施の形態１では、撮像装置２は、例えば、インストルメントパネルの車幅方向の中央部付近、または、センターコンソールに設置されていることを想定している。例えば、撮像装置２は、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）と共用のものでもよい。撮像装置２は、可視光カメラ、または、赤外線カメラである。撮像装置２は、撮像した撮像画像を、異常姿勢判定装置１に出力する。
異常姿勢判定装置１は、撮像装置２が撮像した撮像画像に基づいて、ドライバの姿勢が異常姿勢であるか否かを判定する。異常姿勢判定装置１の詳細については、後述する。
異常姿勢判定装置１は、ドライバの姿勢が異常姿勢であると判定した場合、ドライバの姿勢が異常姿勢であることに対する警告を、出力装置３から出力させる。
異常姿勢判定装置１は、撮像装置２が撮像した撮像画像に基づいて、ドライバの姿勢が異常姿勢であるか否かを判定する。異常姿勢判定装置１の詳細については、後述する。
異常姿勢判定装置１は、ドライバの姿勢が異常姿勢であると判定した場合、ドライバの姿勢が異常姿勢であることに対する警告を、出力装置３から出力させる。
【0012】
出力装置３は、車両に搭載され、ドライバの姿勢が異常姿勢であることに対する警告を出力する。
出力装置３は、例えば、スピーカ等の音声出力装置である。出力装置３は、例えば、車両に設けられているオーディオ装置に備えられていてもよい。出力装置３は、例えば、異常姿勢判定装置１から警告を出力させるための情報（以下「警告情報」という。）が出力されると、ドライバの姿勢が異常姿勢であることを知らせる警告音、または、音声メッセージを出力する。
また、出力装置３は、例えば、ディスプレイ等の表示装置でもよい。出力装置３は、例えば、異常姿勢判定装置１から警告情報が出力されると、ドライバの姿勢が異常姿勢であることを知らせるメッセージを表示する。
また、出力装置３は、例えば、他車両から視認可能に車両外装等に設けられた方向指示器、ハザードランプ、または、前照灯等であってもよい。例えば、異常姿勢判定装置１は、出力装置３に、警告情報を出力して、他車両の乗員等、車両外に存在する人間へ、車両のドライバが異常状態である旨を報知させることもできる。
出力装置３は、例えば、他車両に搭載されていてもよい。異常姿勢判定装置１は、他車両に搭載されている出力装置３に警告情報を送信して、他車両の乗員に対し、車両のドライバが異常状態である旨を知らせる音声出力または表示等を行うこともできる。
出力装置３は、例えば、スピーカ等の音声出力装置である。出力装置３は、例えば、車両に設けられているオーディオ装置に備えられていてもよい。出力装置３は、例えば、異常姿勢判定装置１から警告を出力させるための情報（以下「警告情報」という。）が出力されると、ドライバの姿勢が異常姿勢であることを知らせる警告音、または、音声メッセージを出力する。
また、出力装置３は、例えば、ディスプレイ等の表示装置でもよい。出力装置３は、例えば、異常姿勢判定装置１から警告情報が出力されると、ドライバの姿勢が異常姿勢であることを知らせるメッセージを表示する。
また、出力装置３は、例えば、他車両から視認可能に車両外装等に設けられた方向指示器、ハザードランプ、または、前照灯等であってもよい。例えば、異常姿勢判定装置１は、出力装置３に、警告情報を出力して、他車両の乗員等、車両外に存在する人間へ、車両のドライバが異常状態である旨を報知させることもできる。
出力装置３は、例えば、他車両に搭載されていてもよい。異常姿勢判定装置１は、他車両に搭載されている出力装置３に警告情報を送信して、他車両の乗員に対し、車両のドライバが異常状態である旨を知らせる音声出力または表示等を行うこともできる。
【0013】
また、異常姿勢判定装置１は、ドライバの姿勢が異常姿勢であるか否かの判定結果を、異常姿勢判定システム１００と接続されている運転制御システム４００に出力する。
図１に示されているように、異常姿勢判定システム１００は、運転制御システム４００と接続されている。運転制御システム４００は、操舵機構５または制駆動機構６と連動し、異常姿勢判定システム１００の判定結果を用いて運転支援を行う。運転制御システム４００の詳細は後述する。
図１に示されているように、異常姿勢判定システム１００は、運転制御システム４００と接続されている。運転制御システム４００は、操舵機構５または制駆動機構６と連動し、異常姿勢判定システム１００の判定結果を用いて運転支援を行う。運転制御システム４００の詳細は後述する。
【0014】
図１に示されているように、異常姿勢判定装置１は、画像取得部１１、顔検出部１２、姿勢判定用特徴検出部１３、基準姿勢推定部１４、判定部１５、および、出力制御部１６を備える。
姿勢判定用特徴検出部１３は、顔向き検出部１３１、頭位置検出部１３２、および、パーツ位置検出部１３３を備える。
判定部１５は、姿勢タイプ判定部１５１、前のめり判定部１５２、および、異常姿勢判定部１５３を備える。
姿勢判定用特徴検出部１３は、顔向き検出部１３１、頭位置検出部１３２、および、パーツ位置検出部１３３を備える。
判定部１５は、姿勢タイプ判定部１５１、前のめり判定部１５２、および、異常姿勢判定部１５３を備える。
【0015】
画像取得部１１は、撮像装置２から撮像画像を取得する。
画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。
画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。
【0016】
顔検出部１２は、画像取得部１１が取得した撮像画像においてドライバの顔を検出する。
詳細には、顔検出部１２は、撮像画像に対して、エッジ検出等、公知の画像認識技術を用いて、ドライバの顔のパーツを示すドライバの顔の特徴点を検出する。なお、顔のパーツとは、目尻、目頭、鼻、口、眉、または、顎等である。ドライバの顔の特徴点は、例えば、撮像画像上の座標であらわされる。また、顔検出部１２は、ドライバの顔領域を検出してもよい。ドライバの顔領域は、例えば、ドライバの顔の輪郭を囲む最小矩形とする。ドライバの顔領域は、例えば、撮像画像上の上記最小矩形の四隅の座標であらわされる。
なお、撮像装置２の設置位置および画角は予めわかっているため、仮に、撮像画像には複数の乗員が撮像されていたとしても、顔検出部１２は、撮像画像上、どの領域に撮像されている顔がドライバの顔であるかを判別できる。例えば、撮像画像において、ドライバの顔が存在し得る領域（以下「ドライバ検知領域」という。）が予め設定されており、顔検出部１２は、ドライバ検知領域に対して、既知の画像認識技術を用いて、ドライバの顔の特徴点および顔領域を検出する。
顔検出部１２は、検出したドライバの顔に関する情報（以下「顔情報」という。）を、姿勢判定用特徴検出部１３に出力する。
顔情報は、例えば、ドライバの顔の特徴点および顔領域を特定可能な情報が付与された撮像画像である。
詳細には、顔検出部１２は、撮像画像に対して、エッジ検出等、公知の画像認識技術を用いて、ドライバの顔のパーツを示すドライバの顔の特徴点を検出する。なお、顔のパーツとは、目尻、目頭、鼻、口、眉、または、顎等である。ドライバの顔の特徴点は、例えば、撮像画像上の座標であらわされる。また、顔検出部１２は、ドライバの顔領域を検出してもよい。ドライバの顔領域は、例えば、ドライバの顔の輪郭を囲む最小矩形とする。ドライバの顔領域は、例えば、撮像画像上の上記最小矩形の四隅の座標であらわされる。
なお、撮像装置２の設置位置および画角は予めわかっているため、仮に、撮像画像には複数の乗員が撮像されていたとしても、顔検出部１２は、撮像画像上、どの領域に撮像されている顔がドライバの顔であるかを判別できる。例えば、撮像画像において、ドライバの顔が存在し得る領域（以下「ドライバ検知領域」という。）が予め設定されており、顔検出部１２は、ドライバ検知領域に対して、既知の画像認識技術を用いて、ドライバの顔の特徴点および顔領域を検出する。
顔検出部１２は、検出したドライバの顔に関する情報（以下「顔情報」という。）を、姿勢判定用特徴検出部１３に出力する。
顔情報は、例えば、ドライバの顔の特徴点および顔領域を特定可能な情報が付与された撮像画像である。
【0017】
姿勢判定用特徴検出部１３は、乗員、ここではドライバの姿勢を判定するための特徴を検出する。ドライバの姿勢を判定するための特徴とは、ドライバの顔向き、ドライバの頭位置、および、ドライバの顔のパーツの位置である。実施の形態１において、姿勢判定用特徴検出部１３が検出するドライバの顔向きおよび頭位置は、例えば、実空間上の顔向きおよび頭位置である。また、実施の形態１において、姿勢判定用特徴検出部１３が検出するドライバの顔のパーツの位置は、例えば、撮像画像上の顔のパーツの位置である。実施の形態１では、一例として、ドライバの姿勢を判定するためのドライバの顔のパーツは、ドライバの目とする。以下、ドライバの顔のパーツはドライバの目であるものとして説明する。
【0018】
姿勢判定用特徴検出部１３の顔向き検出部１３１は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検出する。
顔向き検出部１３１は、例えば、撮像画像から顔向きを検出する公知の顔向き検出技術を用いて、ドライバの顔向きを検出すればよい。ドライバの顔向きは、例えば、予め決められた、基準となる車両の前後方向の軸（以下「基準軸」という。）に対する角度（ヨー角、ピッチ角、または、ロール角）であらわされる。
顔向き検出部１３１は、検出したドライバの顔向きに関する情報（以下「顔向き情報」という。）を、基準姿勢推定部１４および判定部１５に出力する。
顔向き情報は、基準軸に対するヨー角、ピッチ角、または、ロール角の情報を含む。
顔向き検出部１３１は、例えば、撮像画像から顔向きを検出する公知の顔向き検出技術を用いて、ドライバの顔向きを検出すればよい。ドライバの顔向きは、例えば、予め決められた、基準となる車両の前後方向の軸（以下「基準軸」という。）に対する角度（ヨー角、ピッチ角、または、ロール角）であらわされる。
顔向き検出部１３１は、検出したドライバの顔向きに関する情報（以下「顔向き情報」という。）を、基準姿勢推定部１４および判定部１５に出力する。
顔向き情報は、基準軸に対するヨー角、ピッチ角、または、ロール角の情報を含む。
【0019】
姿勢判定用特徴検出部１３の頭位置検出部１３２は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する。実施の形態１において、撮像画像におけるドライバの頭位置は、例えば、ドライバの眉間の中心で示される。頭位置検出部１３２は、例えば、撮像画像上のドライバの眉間の中心に対応する実空間上の点を、ドライバの頭位置として検出する。なお、これは一例に過ぎず、撮像画像におけるドライバの頭の位置は、例えば、ドライバの顔領域の中心、または、ドライバの両目頭を結ぶ直線の中心で示されてもよい。この場合、頭位置検出部１３２は、例えば、撮像画像上のドライバの顔領域の中心、または、ドライバの両目頭を結ぶ直線の中心に対応する実空間上の点を、実空間上のドライバの頭位置として検出する。
頭位置検出部１３２は、例えば、撮像画像上の点を実空間上の点に変換する公知の座標変換技術を用いて、ドライバの頭位置を検出すればよい。ドライバの頭位置は、例えば、実空間上の座標であらわされる。
頭位置検出部１３２は、検出したドライバの頭位置に関する情報（以下「頭位置情報」という。）を、基準姿勢推定部１４および判定部１５に出力する。
頭位置情報は、ドライバの頭位置の座標情報を含む。
頭位置検出部１３２は、例えば、撮像画像上の点を実空間上の点に変換する公知の座標変換技術を用いて、ドライバの頭位置を検出すればよい。ドライバの頭位置は、例えば、実空間上の座標であらわされる。
頭位置検出部１３２は、検出したドライバの頭位置に関する情報（以下「頭位置情報」という。）を、基準姿勢推定部１４および判定部１５に出力する。
頭位置情報は、ドライバの頭位置の座標情報を含む。
【0020】
姿勢判定用特徴検出部１３のパーツ位置検出部１３３は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、撮像画像上のドライバの目の位置を検出する。なお、顔検出部１２は、撮像画像上のドライバの右目の位置、および、左目の位置を、それぞれ検出する。実施の形態１において、ドライバの目の位置は、撮像画像上でドライバの目頭と目尻を結ぶ直線の中心とする。パーツ位置検出部１３３は、例えば、公知の画像認識技術を用いて、ドライバの目の位置を検出すればよい。ドライバの目の位置は、例えば、撮像画像上の座標であらわされる。
パーツ位置検出部１３３は、検出したドライバの目の位置に関する情報（以下「パーツ位置情報」という。）を、基準姿勢推定部１４および判定部１５に出力する。
パーツ位置情報は、ドライバの右目の位置の座標情報、および、ドライバの左目の位置の座標情報を含む。
パーツ位置検出部１３３は、検出したドライバの目の位置に関する情報（以下「パーツ位置情報」という。）を、基準姿勢推定部１４および判定部１５に出力する。
パーツ位置情報は、ドライバの右目の位置の座標情報、および、ドライバの左目の位置の座標情報を含む。
【0021】
基準姿勢推定部１４は、予め設定された期間（以下「基準設定期間」という。）にて姿勢判定用特徴検出部１３が検出したドライバの顔向き、頭位置、および、目の位置に基づいて、ドライバの基準姿勢を推定する。
基準設定期間は、例えば、車両のイグニッションがＯＮにされてから予め設定された時間（例えば、１０秒）が経過するまでの期間である。なお、これは一例に過ぎず、基準設定期間は、例えば、車速が予め決められた速度（例えば、２５［ｋｍ／ｈ］）以上であって、かつ、操舵角が予め決められた範囲内（例えば、±２０度）である場合の所定時間（例えば、３秒）としてもよい。
基準姿勢推定部１４は、例えば、基準設定期間に姿勢判定用特徴検出部１３が検出したドライバの顔向き、頭位置、および、目の位置の平均値を、ドライバの基準姿勢におけるドライバの顔向き、頭位置、および、ドライバの目の位置と推定する。
基準姿勢推定部１４は、推定したドライバの基準姿勢に関する情報（以下「基準姿勢情報」という。）を、判定部１５に出力する。
基準姿勢情報は、基準姿勢におけるドライバの顔向き、頭位置、および、目の位置の情報を含む。なお、基準姿勢におけるドライバの顔向きは、基準軸に対するヨー角、ピッチ角、または、ロール角であらわされる。基準姿勢におけるドライバの頭位置は、例えば、実空間上の座標であらわされる。基準姿勢におけるドライバの目の位置は、例えば、撮像画像上の座標であらわされる。基準姿勢情報は、ドライバの顔向きの情報として、基準軸に対するヨー角、ピッチ角、または、ロール角の情報を含む。また、基準姿勢情報は、ドライバの頭位置の情報として、ドライバの頭位置の座標情報を含む。また、基準姿勢情報は、ドライバの目の位置の情報として、ドライバの右目の位置の座標情報、および、ドライバの左目の位置の座標情報を含む。
基準設定期間は、例えば、車両のイグニッションがＯＮにされてから予め設定された時間（例えば、１０秒）が経過するまでの期間である。なお、これは一例に過ぎず、基準設定期間は、例えば、車速が予め決められた速度（例えば、２５［ｋｍ／ｈ］）以上であって、かつ、操舵角が予め決められた範囲内（例えば、±２０度）である場合の所定時間（例えば、３秒）としてもよい。
基準姿勢推定部１４は、例えば、基準設定期間に姿勢判定用特徴検出部１３が検出したドライバの顔向き、頭位置、および、目の位置の平均値を、ドライバの基準姿勢におけるドライバの顔向き、頭位置、および、ドライバの目の位置と推定する。
基準姿勢推定部１４は、推定したドライバの基準姿勢に関する情報（以下「基準姿勢情報」という。）を、判定部１５に出力する。
基準姿勢情報は、基準姿勢におけるドライバの顔向き、頭位置、および、目の位置の情報を含む。なお、基準姿勢におけるドライバの顔向きは、基準軸に対するヨー角、ピッチ角、または、ロール角であらわされる。基準姿勢におけるドライバの頭位置は、例えば、実空間上の座標であらわされる。基準姿勢におけるドライバの目の位置は、例えば、撮像画像上の座標であらわされる。基準姿勢情報は、ドライバの顔向きの情報として、基準軸に対するヨー角、ピッチ角、または、ロール角の情報を含む。また、基準姿勢情報は、ドライバの頭位置の情報として、ドライバの頭位置の座標情報を含む。また、基準姿勢情報は、ドライバの目の位置の情報として、ドライバの右目の位置の座標情報、および、ドライバの左目の位置の座標情報を含む。
【0022】
判定部１５は、姿勢判定用特徴検出部１３が検出したドライバの顔向き、頭位置、および、目の位置に基づいて、ドライバの姿勢が異常姿勢であるか否かを判定する。
【0023】
判定部１５の姿勢タイプ判定部１５１は、姿勢判定用特徴検出部１３が検出したドライバの顔向き、頭位置、および、目の位置に基づいて、ドライバの姿勢が予め定められた複数の姿勢崩れのタイプ（以下「姿勢崩れタイプ」という。）のうちのいずれかのタイプに該当するか否かを判定する。実施の形態１において、姿勢タイプ判定部１５１による、ドライバの姿勢が複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかの判定を、「姿勢崩れタイプ判定」ともいう。
複数の姿勢崩れタイプには、予め、乗員が異常状態であることに起因する異常姿勢であるとする姿勢のタイプが設定されている。
複数の姿勢崩れタイプには、予め、乗員が異常状態であることに起因する異常姿勢であるとする姿勢のタイプが設定されている。
【0024】
ここで、図２（国土交通省自動車局 先進安全自動車推進検討会「ドライバー異常自動検知システム基本設計書」平成３０年３月の一部改変）は、複数の姿勢崩れタイプを説明するための図である。
図２に示されているように、姿勢崩れには複数の態様がある。図２では、ドライバが前方に倒れ、ハンドル付近まで顔が来ている姿勢が継続している状態である「突っ伏し」、ドライバの顔が下を向いている姿勢が継続している状態である「うつむき」、ドライバの上半身が後方に傾き、顔が上を向いている姿勢が継続している状態である「仰け反り」、ドライバの上半身が反り上がり、顔が上に向いている姿勢が継続している状態である「えび反り」、ドライバの顔が左または右に傾いている姿勢が継続している状態である「首のみ横倒れ」、ドライバの上半身が左または右に傾き、顔も同方向に傾いている姿勢が継続している状態である「横倒れ」、および、ドライバの上半身が左または右に傾いている姿勢が継続している状態である「横もたれ」が示されている。本開示では、図２に示されている「突っ伏し」、「うつむき」、「仰け反り」、「えび反り」、「首のみ横倒れ」、「横倒れ」および「横もたれ」を、予め設定されている複数の姿勢崩れタイプとする。複数の姿勢崩れタイプに関する情報は、姿勢タイプ判定部１５１が参照可能な場所に記憶されている。
図２に示されているように、姿勢崩れには複数の態様がある。図２では、ドライバが前方に倒れ、ハンドル付近まで顔が来ている姿勢が継続している状態である「突っ伏し」、ドライバの顔が下を向いている姿勢が継続している状態である「うつむき」、ドライバの上半身が後方に傾き、顔が上を向いている姿勢が継続している状態である「仰け反り」、ドライバの上半身が反り上がり、顔が上に向いている姿勢が継続している状態である「えび反り」、ドライバの顔が左または右に傾いている姿勢が継続している状態である「首のみ横倒れ」、ドライバの上半身が左または右に傾き、顔も同方向に傾いている姿勢が継続している状態である「横倒れ」、および、ドライバの上半身が左または右に傾いている姿勢が継続している状態である「横もたれ」が示されている。本開示では、図２に示されている「突っ伏し」、「うつむき」、「仰け反り」、「えび反り」、「首のみ横倒れ」、「横倒れ」および「横もたれ」を、予め設定されている複数の姿勢崩れタイプとする。複数の姿勢崩れタイプに関する情報は、姿勢タイプ判定部１５１が参照可能な場所に記憶されている。
【0025】
姿勢タイプ判定部１５１は、顔向き検出部１３１が検出したドライバの顔向き、および、頭位置検出部１３２が検出したドライバの頭位置と、基準姿勢におけるドライバの顔向き（以下「基準顔向き」という。）、および、ドライバの頭位置（以下「基準頭位置」という。）との比較によって、ドライバが複数の姿勢崩れタイプのうちのいずれかのタイプに該当するか否かの姿勢崩れタイプ判定を行う。
詳細には、姿勢タイプ判定部１５１は、ドライバの顔向きが基準顔向きと比べてどれぐらい変化しているか、または、ドライバの頭位置が基準頭位置と比べてどれぐらい変化しているかによって、ドライバが複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかを判定する。なお、ドライバの顔向きが基準顔向きと比べてどれぐらい変化している場合、または、ドライバの頭位置が基準頭位置と比べてどれぐらい変化している場合に、どの姿勢崩れタイプに該当すると判定するかの条件は、予め設定され、姿勢タイプ判定部１５１が保持している。
姿勢タイプ判定部１５１は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の学習器を使用して姿勢崩れタイプ判定を行ってもよい。
詳細には、姿勢タイプ判定部１５１は、ドライバの顔向きが基準顔向きと比べてどれぐらい変化しているか、または、ドライバの頭位置が基準頭位置と比べてどれぐらい変化しているかによって、ドライバが複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかを判定する。なお、ドライバの顔向きが基準顔向きと比べてどれぐらい変化している場合、または、ドライバの頭位置が基準頭位置と比べてどれぐらい変化している場合に、どの姿勢崩れタイプに該当すると判定するかの条件は、予め設定され、姿勢タイプ判定部１５１が保持している。
姿勢タイプ判定部１５１は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の学習器を使用して姿勢崩れタイプ判定を行ってもよい。
【0026】
ここで、姿勢タイプ判定部１５１は、顔検出部１２がドライバの顔を検出できなかった場合は、ドライバの姿勢は複数の姿勢崩れタイプのうちの「突っ伏し」に該当すると判定する。顔検出部１２がドライバの顔を検出できなかった場合とは、すなわち、姿勢判定用特徴検出部１３がドライバの顔向き、頭位置、および、パーツ位置を検出できなかった場合である。姿勢タイプ判定部１５１は、顔検出部１２がドライバの顔を検出できなかったことを、姿勢判定用特徴検出部１３を介して把握すればよい。
ドライバが「突っ伏し」の姿勢となったとき、ドライバは、前方に倒れる。ドライバが前方に倒れていくと、撮像画像上で、ドライバの顔が次第に撮像されにくくなり、遂にはドライバの顔の全部が撮像されないようになり得る。
特に、撮像装置２が撮像範囲の狭い狭角カメラである場合、ドライバが前方に倒れるとドライバの顔が撮像できなくなる可能性が高い。
そこで、姿勢タイプ判定部１５１は、顔検出部１２がドライバの顔を検出できなかった場合、これはドライバが前方に倒れたことによるものとみなし、ドライバの姿勢が「突っ伏し」に該当すると判定する。なお、姿勢タイプ判定部１５１がドライバの顔が検出されなかったことにより「突っ伏し」とするドライバの姿勢の判定は暫定的な仮判定であり、最終的にドライバの姿勢が「突っ伏し」であるとしてよいかの判定は、異常姿勢判定部１５３が行う。異常姿勢判定部１５３の詳細については、後述する。
ドライバが「突っ伏し」の姿勢となったとき、ドライバは、前方に倒れる。ドライバが前方に倒れていくと、撮像画像上で、ドライバの顔が次第に撮像されにくくなり、遂にはドライバの顔の全部が撮像されないようになり得る。
特に、撮像装置２が撮像範囲の狭い狭角カメラである場合、ドライバが前方に倒れるとドライバの顔が撮像できなくなる可能性が高い。
そこで、姿勢タイプ判定部１５１は、顔検出部１２がドライバの顔を検出できなかった場合、これはドライバが前方に倒れたことによるものとみなし、ドライバの姿勢が「突っ伏し」に該当すると判定する。なお、姿勢タイプ判定部１５１がドライバの顔が検出されなかったことにより「突っ伏し」とするドライバの姿勢の判定は暫定的な仮判定であり、最終的にドライバの姿勢が「突っ伏し」であるとしてよいかの判定は、異常姿勢判定部１５３が行う。異常姿勢判定部１５３の詳細については、後述する。
【0027】
姿勢タイプ判定部１５１は、姿勢崩れタイプ判定結果を、前のめり判定部１５２に出力する。姿勢崩れタイプ判定結果は、ドライバの姿勢が複数の姿勢崩れタイプのいずれかに該当したかを示す情報、および、ドライバの姿勢が複数の姿勢崩れタイプのいずれかに該当すると判定した場合はその姿勢崩れタイプを特定可能な情報を含む。
【0028】
判定部１５の前のめり判定部１５２は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」に該当すると判定した場合、ドライバの姿勢は「前のめり」に該当するか否かを判定する。実施の形態１において、前のめり判定部１５２による、ドライバの姿勢は「前のめり」に該当するか否かの判定を、「前のめり判定」ともいう。「前のめり」の姿勢とは、体が前方に倒れそうに傾く姿勢である。例えば、ドライバは、車両の前方に存在する標識を確認する場合に、「前のめり」の姿勢になることがある。
なお、図２に示すように、「前のめり」は、複数の姿勢崩れタイプのいずれにも該当しない姿勢のタイプである。すなわち、「前のめり」は、乗員が異常状態であることに起因する異常姿勢とはいえない。
なお、図２に示すように、「前のめり」は、複数の姿勢崩れタイプのいずれにも該当しない姿勢のタイプである。すなわち、「前のめり」は、乗員が異常状態であることに起因する異常姿勢とはいえない。
【0029】
上述のとおり、姿勢タイプ判定部１５１は、例えば、撮像画像上でドライバの顔が撮像されなくなり、顔検出部１２がドライバの顔を検出できなかった場合、暫定的に「突っ伏し」と判定する。
しかし、ドライバは、「前のめり」の姿勢をとった場合も、「突っ伏し」の姿勢をとった場合と同様に、体を前方に倒す。そのため、異常姿勢判定装置１は、撮像画像上でドライバの顔が撮像されなくなったことで一律にドライバの姿勢が「突っ伏し」と判定すると、ドライバの異常姿勢を誤検知してしまう可能性がある。そこで、前のめり判定部１５２は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」に該当すると判定した場合、当該判定が誤りでドライバの姿勢は「前のめり」ではないかを判定する。
しかし、ドライバは、「前のめり」の姿勢をとった場合も、「突っ伏し」の姿勢をとった場合と同様に、体を前方に倒す。そのため、異常姿勢判定装置１は、撮像画像上でドライバの顔が撮像されなくなったことで一律にドライバの姿勢が「突っ伏し」と判定すると、ドライバの異常姿勢を誤検知してしまう可能性がある。そこで、前のめり判定部１５２は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」に該当すると判定した場合、当該判定が誤りでドライバの姿勢は「前のめり」ではないかを判定する。
【0030】
ここで、図３Ａおよび図３Ｂは、ドライバが「突っ伏し」の姿勢をとったことにより撮像画像上でドライバの顔が撮像されなくなった場合と、「前のめり」の姿勢をとったことにより撮像画像上でドライバの顔が撮像されなくなった場合の、撮像画像上でのドライバの顔の位置の遷移の一例を説明するための図である。
図３Ａは、ドライバが「突っ伏し」の姿勢をとったことにより撮像画像上でドライバの顔が撮像されなくなっていく場合の撮像画像上でのドライバの顔の位置の遷移の一例を示し、図３Ｂは、ドライバが「前のめり」の姿勢をとったことにより撮像画像上でドライバの顔が撮像されなくなっていく場合の撮像画像上でのドライバの顔の位置の遷移の一例を示している。図３Ａおよび図３Ｂにおいて、撮像画像はＩｍで示され、ドライバはＤｒで示され、座席はＳで示されている。
なお、図３Ａおよび図３Ｂに示す撮像画像を撮像した撮像装置２は狭角カメラであることを想定している。
実施の形態１では、撮像画像の左上を原点とし、撮像画像の右向きをｘ軸の正方向、撮像画像の下向きをｙ軸の方向とする。
図３Ａは、ドライバが「突っ伏し」の姿勢をとったことにより撮像画像上でドライバの顔が撮像されなくなっていく場合の撮像画像上でのドライバの顔の位置の遷移の一例を示し、図３Ｂは、ドライバが「前のめり」の姿勢をとったことにより撮像画像上でドライバの顔が撮像されなくなっていく場合の撮像画像上でのドライバの顔の位置の遷移の一例を示している。図３Ａおよび図３Ｂにおいて、撮像画像はＩｍで示され、ドライバはＤｒで示され、座席はＳで示されている。
なお、図３Ａおよび図３Ｂに示す撮像画像を撮像した撮像装置２は狭角カメラであることを想定している。
実施の形態１では、撮像画像の左上を原点とし、撮像画像の右向きをｘ軸の正方向、撮像画像の下向きをｙ軸の方向とする。
【0031】
図３Ａに示すように、ドライバが「突っ伏し」の姿勢をとった場合、撮像画像上で、ドライバの顔は、左下方向へ移動した（図３Ａの真ん中の図参照）後、フレームアウトして、撮像画像上で撮像されなくなる（図３Ａの右側の図参照）。
一方、図３Ｂに示すように、ドライバが「前のめり」の姿勢をとった場合、撮像画像上で、ドライバの顔は、左上方向へ移動した（図３Ｂの真ん中の図参照）後、フレームアウトして、撮像画像上で撮像されなくなる（図３Ｂの右側の図参照）。
このように、いずれも撮像画像上でドライバの顔が撮像されなくなるが、ドライバが「突っ伏し」の姿勢をとった場合と「前のめり」の姿勢をとった場合とでは、撮像画像上でドライバの顔が撮像されなくなるより前の、撮像画像上でのドライバの顔の位置の動きが異なる。前のめり判定部１５２は、このことを利用して、ドライバの姿勢が「前のめり」に該当するか否かを判定する。
一方、図３Ｂに示すように、ドライバが「前のめり」の姿勢をとった場合、撮像画像上で、ドライバの顔は、左上方向へ移動した（図３Ｂの真ん中の図参照）後、フレームアウトして、撮像画像上で撮像されなくなる（図３Ｂの右側の図参照）。
このように、いずれも撮像画像上でドライバの顔が撮像されなくなるが、ドライバが「突っ伏し」の姿勢をとった場合と「前のめり」の姿勢をとった場合とでは、撮像画像上でドライバの顔が撮像されなくなるより前の、撮像画像上でのドライバの顔の位置の動きが異なる。前のめり判定部１５２は、このことを利用して、ドライバの姿勢が「前のめり」に該当するか否かを判定する。
【0032】
前のめり判定部１５２は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」に該当すると判定した場合、姿勢タイプ判定部１５１が乗員の姿勢は「突っ伏し」に該当すると判定したときから遡って顔検出部１２がドライバの顔を検出できたときの撮像画像（以下「検出撮像画像」という。）に基づくドライバの目の位置に基づき、ドライバの姿勢は「前のめり」に該当するか否かの前のめり判定を行う。
【0033】
例えば、姿勢判定用特徴検出部１３は、顔情報、顔向き情報、頭位置情報、および、パーツ位置情報を対応付け、検出時刻を付与して、時系列で記憶部（図示省略）に記憶させておく。記憶部は、異常姿勢判定装置１が参照可能な場所に備えられている。
前のめり判定部１５２は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」に該当すると判定した場合、記憶部を参照して、当該判定のときより遡って取得された検出撮像画像を検出する。前のめり判定部１５２は、検出撮像画像を、例えば、記憶部に記憶されている顔情報から特定できる。例えば、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」に該当すると判定したときの撮像画像の直前に画像取得部１１が取得した撮像画像に基づいて顔検出部１２がドライバの顔を検出できていれば、前のめり判定部１５２は、当該直前に画像取得部１１が取得した撮像画像を検出撮像画像として検出する。
そして、前のめり判定部１５２は、ドライバの検出撮像画像上の目の高さと基準姿勢におけるドライバの撮像画像上の目の高さ（以下「基準目高さ」という。）とを比較して、ドライバの検出撮像画像上の目のほうが予め設定された閾値（以下「高さ判定用閾値」という。）以上高い位置にあれば、ドライバの姿勢は「前のめり」であると判定する。前のめり判定部１５２は、基準姿勢推定部１４から出力された基準姿勢情報に基づけば、基準目高さを特定できる。撮像画像上のドライバの目の高さは、撮像画像上のドライバの目の位置のｙ座標であらわされる。
前のめり判定部１５２は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」に該当すると判定した場合、記憶部を参照して、当該判定のときより遡って取得された検出撮像画像を検出する。前のめり判定部１５２は、検出撮像画像を、例えば、記憶部に記憶されている顔情報から特定できる。例えば、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」に該当すると判定したときの撮像画像の直前に画像取得部１１が取得した撮像画像に基づいて顔検出部１２がドライバの顔を検出できていれば、前のめり判定部１５２は、当該直前に画像取得部１１が取得した撮像画像を検出撮像画像として検出する。
そして、前のめり判定部１５２は、ドライバの検出撮像画像上の目の高さと基準姿勢におけるドライバの撮像画像上の目の高さ（以下「基準目高さ」という。）とを比較して、ドライバの検出撮像画像上の目のほうが予め設定された閾値（以下「高さ判定用閾値」という。）以上高い位置にあれば、ドライバの姿勢は「前のめり」であると判定する。前のめり判定部１５２は、基準姿勢推定部１４から出力された基準姿勢情報に基づけば、基準目高さを特定できる。撮像画像上のドライバの目の高さは、撮像画像上のドライバの目の位置のｙ座標であらわされる。
【0034】
前のめり判定部１５２は、例えば、以下の式（１）に基づいて、乗員の姿勢は「前のめり」に該当するか否かを判定する。
（基準目高さ）－（検出撮像画像上の目の高さ）＞（高さ判定用閾値） ・・・（１）
前のめり判定部１５２は、式（１）を満たす場合、乗員の姿勢は「前のめり」であると判定する。
前のめり判定部１５２は、式（１）を満たさない場合、乗員の姿勢は「前のめり」ではない、言い換えれば、「突っ伏し」であると判定する。
（基準目高さ）－（検出撮像画像上の目の高さ）＞（高さ判定用閾値） ・・・（１）
前のめり判定部１５２は、式（１）を満たす場合、乗員の姿勢は「前のめり」であると判定する。
前のめり判定部１５２は、式（１）を満たさない場合、乗員の姿勢は「前のめり」ではない、言い換えれば、「突っ伏し」であると判定する。
【0035】
なお、予め、撮像装置２の設置位置と車両のハンドルの位置との組合せに応じて、複数パターンの高さ判定用閾値が設定され、前のめり判定部１５２が参照可能な場所に記憶されている。
例えば、管理者等は、製品出荷前等に、実験的に、様々なハンドルの位置にて被験者を運転席に座らせ、基準姿勢時と「前のめり」時に被験者の顔が撮像されなくなる直前とで、それぞれ、撮像画像上で目の高さがどれぐらいになるかを検証する。
そして、管理者等は、ハンドルの位置毎に、基準姿勢時の撮像画像上の目の高さと「前のめり」時の、被験者の顔が撮像されなくなる直前の撮像画像上の目の高さとから、高さ判定用閾値を設定する。管理者等は、例えば、基準姿勢時の目の高さと「前のめり」時の、被験者の顔が撮像されなくなる直前の目の高さの差を、高さ判定用閾値に設定する。
例えば、管理者等は、製品出荷前等に、実験的に、様々なハンドルの位置にて被験者を運転席に座らせ、基準姿勢時と「前のめり」時に被験者の顔が撮像されなくなる直前とで、それぞれ、撮像画像上で目の高さがどれぐらいになるかを検証する。
そして、管理者等は、ハンドルの位置毎に、基準姿勢時の撮像画像上の目の高さと「前のめり」時の、被験者の顔が撮像されなくなる直前の撮像画像上の目の高さとから、高さ判定用閾値を設定する。管理者等は、例えば、基準姿勢時の目の高さと「前のめり」時の、被験者の顔が撮像されなくなる直前の目の高さの差を、高さ判定用閾値に設定する。
【0036】
ここで、図４は、実施の形態１における、前のめり判定部１５２による前のめり判定の具体的な方法について説明するための図である。
図４において、左側は、基準姿勢時のドライバを撮像した撮像画像の一例を示し、右側は、「前のめり」時にドライバの顔が撮像されなくなる直前のドライバを撮像した撮像画像の一例を示している。
上述のとおり、ドライバが「前のめり」の姿勢をとった場合、撮像画像上で、ドライバの顔は、左上方向へ移動する。基準姿勢時の撮像画像上の目の高さ（図４において４０１で示す）より、「前のめり」時にドライバの顔が撮像されなくなる直前のドライバを撮像した撮像画像におけるドライバの目の高さ（図４において４０２で示す）の方が、高くなる。すなわち、ドライバが「前のめり」の姿勢をとった場合、上記式（１）を満たすことになる。
図４において、左側は、基準姿勢時のドライバを撮像した撮像画像の一例を示し、右側は、「前のめり」時にドライバの顔が撮像されなくなる直前のドライバを撮像した撮像画像の一例を示している。
上述のとおり、ドライバが「前のめり」の姿勢をとった場合、撮像画像上で、ドライバの顔は、左上方向へ移動する。基準姿勢時の撮像画像上の目の高さ（図４において４０１で示す）より、「前のめり」時にドライバの顔が撮像されなくなる直前のドライバを撮像した撮像画像におけるドライバの目の高さ（図４において４０２で示す）の方が、高くなる。すなわち、ドライバが「前のめり」の姿勢をとった場合、上記式（１）を満たすことになる。
【0037】
前のめり判定部１５２は、ドライバの右目および左目のそれぞれについて、上記式（１）に基づき、ドライバの姿勢が「前のめり」に該当するか否かを判定する。
前のめり判定部１５２は、ドライバの右目または左目の少なくともいずれか一方について、ドライバの姿勢は「前のめり」に該当すると判定した場合、ドライバの姿勢が「前のめり」に該当すると判定する。
前のめり判定部１５２は、ドライバの右目または左目の少なくともいずれか一方について、ドライバの姿勢は「前のめり」に該当すると判定した場合、ドライバの姿勢が「前のめり」に該当すると判定する。
【0038】
なお、上述したような、前のめり判定部１５２による前のめり判定の方法は一例に過ぎず、前のめり判定部１５２は、その他の方法を用いて前のめり判定を行ってもよい。
例えば、顔のパーツが目である場合、前のめり判定部１５２は、姿勢判定用特徴検出部１３が検出した検出撮像画像上のドライバの目の高さが検出撮像画像上のハンドルの上端よりも高い場合、すなわち、検出撮像画像上で、ドライバの目のほうがハンドルの上端よりも高い位置にある場合、ドライバの姿勢は「前のめり」であると判定してもよい。
「突っ伏し」時は、目の位置はハンドルの位置よりも下になると想定され、「前のめり」時は、目の位置はハンドルの位置よりも上になると想定される。
例えば、顔のパーツが目である場合、前のめり判定部１５２は、姿勢判定用特徴検出部１３が検出した検出撮像画像上のドライバの目の高さが検出撮像画像上のハンドルの上端よりも高い場合、すなわち、検出撮像画像上で、ドライバの目のほうがハンドルの上端よりも高い位置にある場合、ドライバの姿勢は「前のめり」であると判定してもよい。
「突っ伏し」時は、目の位置はハンドルの位置よりも下になると想定され、「前のめり」時は、目の位置はハンドルの位置よりも上になると想定される。
【0039】
また、例えば、前のめり判定部１５２は、ドライバの目の高さとハンドルの上端の高さとの比較を、実空間上、言い換えれば、３次元空間上で行い、３次元空間上のドライバの目の高さが３次元空間上のハンドルの上端よりも高い場合、すなわち、３次元空間上で、ドライバの目のほうがハンドルの上端よりも高い位置にある場合、ドライバの姿勢は前のめりであると判定してもよい。
【0040】
前のめり判定部１５２は、検出撮像画像上のドライバの目の位置を２次元位置から３次元位置に変換することで、３次元空間上のドライバの目の高さを算出できる。
また、前のめり判定部１５２は、車両に搭載されているチルトステアリングおよびテレスコピックステアリングの操作情報に基づいて、ハンドルの３次元位置、および、３次元空間上のハンドルの上端の高さを算出できる。
なお、ドライバの目の３次元位置およびハンドルの上端の３次元位置の座標系は、例えば、撮像装置２の位置を原点とし、車両の進行方向に対して右方向をＸ軸、車両の上方向をＹ軸、車両の進行方向とは反対の方向をＺ軸として規定される車両座標系であるものとする。
また、前のめり判定部１５２は、車両に搭載されているチルトステアリングおよびテレスコピックステアリングの操作情報に基づいて、ハンドルの３次元位置、および、３次元空間上のハンドルの上端の高さを算出できる。
なお、ドライバの目の３次元位置およびハンドルの上端の３次元位置の座標系は、例えば、撮像装置２の位置を原点とし、車両の進行方向に対して右方向をＸ軸、車両の上方向をＹ軸、車両の進行方向とは反対の方向をＺ軸として規定される車両座標系であるものとする。
【0041】
前のめり判定部１５２による、３次元空間上のドライバの目の高さの算出方法例、および、３次元空間上のハンドルの上端の高さの算出方法例について説明する。
【0042】
まず、前のめり判定部１５２による、３次元空間上のドライバの目の高さの算出方法例について説明する。
前のめり判定部１５２は、撮像装置２の位置からドライバの目までの距離（第１距離とする）を算出する。
ドライバが撮像装置２に近づくと、検出撮像画像上でドライバの顔は大きく撮像される。また、ドライバが撮像装置２に近づくと、検出撮像画像上でドライバの両目の距離は大きくなる。前のめり判定部１５２は、例えば、検出撮像画像上のドライバの顔の大きさの統計情報、または、検出撮像画像上のドライバの両目の距離を用いて、第１距離を算出する。
また、前のめり判定部１５２は、検出撮像画像における画像中心からドライバの目までの画像上の距離に基づき、撮像装置２の位置とドライバの目とを結ぶ直線の、Ｚ軸方向に対する角度（第１角度とする）を算出する。なお、このとき、前のめり判定部１５２は、撮像装置２の取り付け角度を考慮する。撮像装置２の取り付け角度は、予めわかっている。
前のめり判定部１５２は、算出した第１距離と第１角度とに基づけば、三角関数を用いて、３次元空間上のドライバの目の高さを算出できる。また、前のめり判定部１５２は、ドライバの目の３次元位置を算出できる。
前のめり判定部１５２は、撮像装置２の位置からドライバの目までの距離（第１距離とする）を算出する。
ドライバが撮像装置２に近づくと、検出撮像画像上でドライバの顔は大きく撮像される。また、ドライバが撮像装置２に近づくと、検出撮像画像上でドライバの両目の距離は大きくなる。前のめり判定部１５２は、例えば、検出撮像画像上のドライバの顔の大きさの統計情報、または、検出撮像画像上のドライバの両目の距離を用いて、第１距離を算出する。
また、前のめり判定部１５２は、検出撮像画像における画像中心からドライバの目までの画像上の距離に基づき、撮像装置２の位置とドライバの目とを結ぶ直線の、Ｚ軸方向に対する角度（第１角度とする）を算出する。なお、このとき、前のめり判定部１５２は、撮像装置２の取り付け角度を考慮する。撮像装置２の取り付け角度は、予めわかっている。
前のめり判定部１５２は、算出した第１距離と第１角度とに基づけば、三角関数を用いて、３次元空間上のドライバの目の高さを算出できる。また、前のめり判定部１５２は、ドライバの目の３次元位置を算出できる。
【0043】
次に、前のめり判定部１５２による、３次元空間上のハンドルの上端の高さの算出方法例について説明する。
前のめり判定部１５２は、チルトステアリングの操作情報に基づいて、ハンドルの角度（第２角度とする）を算出する。また、前のめり判定部１５２は、テレスコピックステアリングの操作情報に基づいて、ハンドルの位置の奥行（第２距離とする）を算出する。
ハンドルの大きさ、および、車両における取付位置は予めわかっているので、前のめり判定部１５２は、第２角度と第２距離とに基づけば、ハンドルの上端の３次元位置を算出できる。また、前のめり判定部１５２は、３次元空間上のハンドルの上端の高さを算出できる。
前のめり判定部１５２は、チルトステアリングの操作情報に基づいて、ハンドルの角度（第２角度とする）を算出する。また、前のめり判定部１５２は、テレスコピックステアリングの操作情報に基づいて、ハンドルの位置の奥行（第２距離とする）を算出する。
ハンドルの大きさ、および、車両における取付位置は予めわかっているので、前のめり判定部１５２は、第２角度と第２距離とに基づけば、ハンドルの上端の３次元位置を算出できる。また、前のめり判定部１５２は、３次元空間上のハンドルの上端の高さを算出できる。
【0044】
前のめり判定部１５２は、前のめり判定結果を、異常姿勢判定部１５３に出力する。前のめり判定結果は、ドライバの姿勢が「前のめり」に該当したか否かを示す情報を含む。
前のめり判定部１５２は、前のめり判定結果とともに、姿勢タイプ判定部１５１から出力された姿勢崩れタイプ判定結果を、異常姿勢判定部１５３に出力する。
前のめり判定部１５２は、前のめり判定結果とともに、姿勢タイプ判定部１５１から出力された姿勢崩れタイプ判定結果を、異常姿勢判定部１５３に出力する。
【0045】
異常姿勢判定部１５３は、姿勢タイプ判定部１５１による姿勢崩れタイプ判定結果と、前のめり判定部１５２による前のめり判定結果とに基づき、ドライバの姿勢は異常姿勢であるか否かを判定する。
詳細には、異常姿勢判定部１５３は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」であると判定したとしても、前のめり判定部１５２がドライバの姿勢は「前のめり」であると判定した場合、ドライバの姿勢は「前のめり」である、すなわち、ドライバは異常姿勢ではないと判定する。
異常姿勢判定部１５３は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」であると判定し、かつ、前のめり判定部１５２がドライバの姿勢は「前のめり」ではないと判定した場合には、ドライバの姿勢が「突っ伏し」である状態の継続時間を判定する。例えば、異常姿勢判定部１５３は、取得した姿勢崩れタイプ判定結果を、当該姿勢崩れタイプ判定結果を取得した日時の情報と対応付けて、図示しない記憶部に記憶させておく。異常姿勢判定部１５３は、記憶させている姿勢崩れタイプ判定結果から、ドライバの姿勢が「突っ伏し」である状態の継続時間を判定すればよい。異常姿勢判定部１５３は、「突っ伏し」である状態の継続時間が予め設定された閾値（以下「異常姿勢判定用閾値」という。）に達した場合、ドライバの姿勢は「突っ伏し」である、すなわち、ドライバは異常姿勢であると判定する。
また、異常姿勢判定部１５３は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」以外の姿勢崩れタイプに該当すると判定した場合、ドライバの姿勢が「突っ伏し」以外の姿勢崩れタイプに該当する状態の継続時間を判定する。異常姿勢判定部１５３は、記憶させている姿勢崩れタイプ判定結果から、ドライバの姿勢が「突っ伏し」以外の姿勢崩れタイプに該当する状態の継続時間を判定すればよい。異常姿勢判定部１５３は、「突っ伏し」以外の姿勢崩れタイプに該当する状態の継続時間が異常姿勢判定用閾値に達した場合、ドライバの姿勢は、姿勢タイプ判定部１５１が該当すると判定した異常姿勢タイプの姿勢である、すなわち、ドライバは異常姿勢であると判定する。
異常姿勢判定部１５３は、姿勢タイプ判定部１５１がドライバの姿勢は複数の姿勢崩れタイプのいずれにも該当しないと判定した場合は、ドライバは異常姿勢ではないと判定する。
異常姿勢判定部１５３は、ドライバは異常姿勢であるか否かの判定結果（以下「異常姿勢判定結果」という。）を、出力制御部１６に出力する。
詳細には、異常姿勢判定部１５３は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」であると判定したとしても、前のめり判定部１５２がドライバの姿勢は「前のめり」であると判定した場合、ドライバの姿勢は「前のめり」である、すなわち、ドライバは異常姿勢ではないと判定する。
異常姿勢判定部１５３は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」であると判定し、かつ、前のめり判定部１５２がドライバの姿勢は「前のめり」ではないと判定した場合には、ドライバの姿勢が「突っ伏し」である状態の継続時間を判定する。例えば、異常姿勢判定部１５３は、取得した姿勢崩れタイプ判定結果を、当該姿勢崩れタイプ判定結果を取得した日時の情報と対応付けて、図示しない記憶部に記憶させておく。異常姿勢判定部１５３は、記憶させている姿勢崩れタイプ判定結果から、ドライバの姿勢が「突っ伏し」である状態の継続時間を判定すればよい。異常姿勢判定部１５３は、「突っ伏し」である状態の継続時間が予め設定された閾値（以下「異常姿勢判定用閾値」という。）に達した場合、ドライバの姿勢は「突っ伏し」である、すなわち、ドライバは異常姿勢であると判定する。
また、異常姿勢判定部１５３は、姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」以外の姿勢崩れタイプに該当すると判定した場合、ドライバの姿勢が「突っ伏し」以外の姿勢崩れタイプに該当する状態の継続時間を判定する。異常姿勢判定部１５３は、記憶させている姿勢崩れタイプ判定結果から、ドライバの姿勢が「突っ伏し」以外の姿勢崩れタイプに該当する状態の継続時間を判定すればよい。異常姿勢判定部１５３は、「突っ伏し」以外の姿勢崩れタイプに該当する状態の継続時間が異常姿勢判定用閾値に達した場合、ドライバの姿勢は、姿勢タイプ判定部１５１が該当すると判定した異常姿勢タイプの姿勢である、すなわち、ドライバは異常姿勢であると判定する。
異常姿勢判定部１５３は、姿勢タイプ判定部１５１がドライバの姿勢は複数の姿勢崩れタイプのいずれにも該当しないと判定した場合は、ドライバは異常姿勢ではないと判定する。
異常姿勢判定部１５３は、ドライバは異常姿勢であるか否かの判定結果（以下「異常姿勢判定結果」という。）を、出力制御部１６に出力する。
【0046】
出力制御部１６は、異常姿勢判定部１５３がドライバは異常姿勢であると判定した場合、ドライバに警告を行うための警告情報を、出力装置３に出力する。
また、出力制御部１６は、異常姿勢判定部１５３から出力された異常姿勢判定結果を、運転制御システム４００に出力する。
また、出力制御部１６は、異常姿勢判定部１５３から出力された異常姿勢判定結果を、運転制御システム４００に出力する。
【0047】
図５は、実施の形態１に係る運転制御システム４００の構成例を示す図である。
以下の説明において、異常姿勢判定システム１００を搭載した車両を第１の車両といい、第１の車両以外の車両を第２の車両という。なお、第１の車両と第２の車両とを区別せず、第１の車両および第２の車両をそれぞれ車両と表現する場合がある。以下では、異常姿勢判定システム１００が運転制御システム４００の一部として利用される例について説明するが、異常姿勢判定システム１００は、図１に示されているように、運転制御システム４００と無線または有線で通信可能に構成されていてもよい。
以下の説明において、異常姿勢判定システム１００を搭載した車両を第１の車両といい、第１の車両以外の車両を第２の車両という。なお、第１の車両と第２の車両とを区別せず、第１の車両および第２の車両をそれぞれ車両と表現する場合がある。以下では、異常姿勢判定システム１００が運転制御システム４００の一部として利用される例について説明するが、異常姿勢判定システム１００は、図１に示されているように、運転制御システム４００と無線または有線で通信可能に構成されていてもよい。
【0048】
運転制御システム４００は、異常姿勢判定システム１００による異常姿勢判定結果に基づいて制御信号を出力して第１の車両の操舵機構５および制駆動機構６を制御することにより、第１の車両の運転制御を行う運転制御装置Ｃ３を備える。また、運転制御システム４００は、車両の自動運転に用いられる地図情報を格納する地図情報記憶装置Ｃ４、車両の周辺状況を監視する周辺状況監視装置Ｃ５、および、第１の車両の状態を示す情報を取得する車両状態取得装置Ｃ６を備える。
【0049】
なお、運転制御システム４００が備える、異常姿勢判定システム１００、運転制御装置Ｃ３、地図情報記憶装置Ｃ４、周辺状況監視装置Ｃ５、および、車両状態取得装置Ｃ６は、それぞれ通信バスＣ７に接続されており、通信バスＣ７を介してデータの送受信が可能である。
【0050】
操舵機構５は、第１の車両に設けられた、第１の車両の進行方向を定めるための機構であり、例えば、ステアリングコラム、ステアリングシャフト、ラック、ピニオン、および操舵アクチュエータ５１等を含む。制駆動機構６は、第１の車両の走行速度の制御および前進と後退の切り替えを行うための機構であり、例えば、アクセル、ブレーキ、シフト、および制駆動アクチュエータ６１等を含む。なお、操舵機構５を制御する操舵アクチュエータ５１は、例えば、ＥＰＳ（Electric Power Steering）モータ等で構成され、制駆動機構６を制御する制駆動アクチュエータ６１は、例えば、電子制御スロットル、ブレーキアクチュエータ等で構成される。
【0051】
地図情報記憶装置Ｃ４は、道路の接続関係、車線数、交差点の位置情報、および踏切の位置情報を含む、地図情報が記憶された記憶媒体である。ここでは地図情報記憶装置Ｃ４は、第１の車両に搭載されているものとするが、地図情報記憶装置Ｃ４は、例えば、通信により運転制御装置Ｃ３へ地図データを送信するサーバとして構成されていてもよい。なお、地図情報記憶装置Ｃ４を、上述のサーバとして構成する場合、例えば、運転制御システム４００に記憶媒体を設け、後述の車載通信機Ｃ５２を介して地図情報記憶装置Ｃ４から取得した地図情報を記憶媒体に格納すればよい。
【0052】
周辺状況監視装置Ｃ５は、第１の車両周辺の状況を監視するものであり、ＧＰＳ（Global Positioning System）受信機Ｃ５１、車載通信機Ｃ５２、車外センサＣ５３、およびナビゲーションシステムＣ５４を備える。
【0053】
ＧＰＳ受信機Ｃ５１は、ＧＰＳの測位衛星から送信された信号を受信して、第１の車両の現在位置を検出する。
【0054】
車外センサＣ５３は、例えば、車外を撮像するカメラ、ミリ波レーダ、ＬｉＤＡＲ、および超音波センサの少なくともいずれかで構成され、第１の車両の周辺に存在する第２の車両、歩行者、障害物等の位置または第１の車両からの距離を検出する。
【0055】
ナビゲーションシステムＣ５４は、第１の車両の現在位置から目的地までの経路を算出するとともに、算出した経路の案内を行う。ナビゲーションシステムＣ５４は、例えば、液晶ディスプレイで構成された表示部を有し、インストルメントパネル内に収納されている。また、ナビゲーションシステムＣ５４は、タッチパネルまたは物理ボタン等の操作部を有し、乗員の操作を受付可能に構成される。なお、ナビゲーションシステムＣ５４の操作部は、乗員により発せられた音声による操作を受付可能に、マイク等で構成されていてもよい。
【0056】
車載通信機Ｃ５２について説明する。車載通信機Ｃ５２は、例えば、無線通信のためのアンテナと接続された無線通信機である。車載通信機Ｃ５２は、第２の車両の通信機、または路上に設置された通信機等との通信を行うことで、第２の車両や歩行者の位置の情報や、交通情報等を取得する。ここで、交通情報とは、例えば、渋滞情報、交通規制情報、工事区間情報等である。
【0057】
また、車載通信機Ｃ５２は、第１の車両の周囲に存在する第２の車両の車載通信機Ｃ５２との間で、無線通信による車車間通信を行うことができる。加えて、車載通信機Ｃ５２は、第１の車両の外部の基地局との間にて、移動体通信を行ってもよい。さらに、車載通信機Ｃ５２は、通信バスＣ７上に出力された第１の車両の情報を、第２の車両およびコールセンター等へ送信可能に構成される。なお、車載通信機Ｃ５２は、第２の車両から受信した情報、およびコールセンター等から受信した情報を、通信バスＣ７へ出力可能である。また、車載通信機Ｃ５２は、運転制御装置Ｃ３へ地図データを送信するサーバとして構成された地図情報記憶装置Ｃ４のように、車両の外部に存在するサーバ等から情報を取得可能に構成されていてもよい。
【0058】
車両状態取得装置Ｃ６は、第１の車両の状態を示す情報を取得するものであり、舵角センサＣ６１、車速センサＣ６２、操舵トルクセンサＣ６３、アクセルポジションセンサＣ６４、ブレーキポジションセンサＣ６５を備える。
【0059】
舵角センサＣ６１は、例えば、ＥＰＳモータまたはステアリングホイールに設けられており、第１の車両のステアリング角を検出する。車速センサＣ６２は、例えば、車輪に設けられており、第１の車両の走行速度を検出する。
【0060】
操舵トルクセンサＣ６３は、例えば、ステアリングホイールに設けられており、ドライバによるステアリングホイールの操作力の大きさを検出する。アクセルポジションセンサＣ６４は、ドライバによるアクセルペダルの踏み込み量を検出する。ブレーキポジションセンサＣ６５は、ドライバによるブレーキペダルの踏み込み量を検出する。
【0061】
運転制御システム４００の運転制御装置Ｃ３は、第１の車両に搭載された、操舵アクチュエータ５１または制駆動アクチュエータ６１を制御して、ドライバの運転を支援する。運転制御装置Ｃ３は、例えば、操舵アクチュエータ５１または制駆動アクチュエータ６１等へ信号を出力することにより、第１の車両の自動運転制御を行う。運転制御装置Ｃ３は、例えば、電子制御スロットルおよびブレーキアクチュエータで構成される制駆動アクチュエータ６１を制御することにより、ブレーキを動作させて第１の車両を減速または停止させる等、第１の車両の制駆動制御を行う。運転制御装置Ｃ３は、例えば、ＥＰＳモータで構成される操舵アクチュエータ５１を制御して、第１の車両が走行している車線を維持する等、第１の車両の操舵制御を行う。
【0062】
さらに、運転制御装置Ｃ３は、第１の車両の駆動力、制動力、および操舵力等を制御することにより、ドライバによる運転操作の支援または代行を行う複数の運転支援機能を備えている。例えば、運転支援機能には、巡航制御機能および車線逸脱の防止機能が含まれている。以下の説明では、巡航制御機能をＡＣＣ（Adaptive Cruise Control）と記載し、車線逸脱の防止機能をＬＫＡ（Lane Keeping Assist）と記載する。
【0063】
運転制御装置Ｃ３は、ＡＣＣを実行すると、周辺状況監視装置Ｃ５から取得する前走車の監視情報に基づいて駆動力および制動力を調整することにより、第１の車両の走行速度を制御する。前走車が検出されていない場合には、ＡＣＣは、ドライバ等によって予め設定された目標速度で、第１の車両を定速走行させる。一方、前走車が検出されている場合には、ＡＣＣは、前走車までの車間距離を維持しつつ、第１の車両を前走車に対して追従走行させる。
【0064】
また、運転制御装置Ｃ３は、ＬＫＡを実行すると、周辺状況監視装置Ｃ５から取得する進行方向の区画線の形状情報に基づいて、操舵力および保舵力を制御する。ＬＫＡは、区画線への接近を阻む方向への操舵力をステアリングに加えることで、第１の車両を車線に沿って走行させる。なお、周辺状況監視装置Ｃ５によって出力される道路情報が、ＡＣＣおよびＬＫＡによる車両制御に用いられてもよい。
【0065】
また、運転制御装置Ｃ３は、緊急退避機能を実行すると、第１の車両を自動で停止させる自動退避制御（退避処理）を実施できる。自動退避制御が開始されると、運転制御装置Ｃ３は、周辺状況監視装置Ｃ５に第１の車両を停止させる退避場所を探索させる。そして、運転制御装置Ｃ３は、周辺状況監視装置Ｃ５による探索によって設定された退避場所へ第１の車両を移動させて、この退避場所に第１の車両を停止させる。なお、上述の退避場所は、高速道路では、車両が走行する車線外の路肩であってよく、一般道では、車両が走行する車線外の路肩の他、交差点、踏切、および歩道等、第２の車両、電車、および歩行者等の移動体が存在する可能性の高い位置を避けた場所であってよい。
【0066】
ここで、ドライバが異常状態である場合、ドライバによる操作は誤操作である可能性が高い。例えば、ドライバの体調が急変して、ステアリングホイールに突っ伏す等すれば、ステアリングホイールの操作はあるがこの操作は誤操作である可能性が高く、また、ドライバの体調が急変して仰け反る等すれば、アクセルペダルが誤って踏み込まれる可能性もある。
【0067】
そのため、ドライバが異常状態であることにより、運転制御装置Ｃ３が運転支援機能を実行した場合は、ドライバの意図的な運転操作、または同乗者によるドライバを代替した運転操作といった、事故の防止を目的とした運転操作（以下、オーバーライド操作という）を有効にしつつ、ドライバによる誤操作を無効にしてもよい。車両状態取得装置Ｃ６に、オーバーライド操作を検出するオーバーライド操作検出部Ｃ６６を設けてもよい。
【0068】
以下、オーバーライド操作について説明する。車両の加速について、ドライバが異常状態である場合、ドライバの姿勢が崩れてアクセルペダルを誤って踏み込むことがあるため、運転制御装置Ｃ３による運転支援機能が実行されている場合、アクセル操作は無効にしてもよい。すなわち、オーバーライド操作にアクセル操作は含まれなくてよい。
【0069】
一方、車両の減速について、ドライバが異常状態である場合においても、意識が朦朧としたドライバが、障害物への衝突を回避しようとして、第１の車両を停止させることがある。そのため、オーバーライド操作検出部Ｃ６６は、ブレーキペダルの踏み込み量をブレーキポジションセンサＣ６５から取得し、ブレーキペダルの踏み込みから得られる制動力が運転制御装置Ｃ３による運転支援機能における制動力よりも大きい場合、ブレーキペダルの操作をオーバーライド操作として検出する。
【0070】
さらに、車両の進路変更について、ドライバが異常状態である場合においても、同乗者がドライバに代替してステアリングホイールを操作することがある。ただし、ドライバが異常状態である場合に、ドライバの姿勢が崩れ、ステアリングホイールに倒れ込むことがあるため、オーバーライド操作検出部Ｃ６６は、この誤操作をオーバーライド操作として検出しなくてよい。そのため、オーバーライド操作検出部Ｃ６６は、異常姿勢判定システム１００から、ドライバの姿勢崩れがないことを示す検知結果が得られた場合に行われたステアリングホイールの操作を、オーバーライド操作として検出する。
【0071】
そして、運転制御システム４００は、運転支援機能を実行中に、オーバーライド操作検出部Ｃ６６が、オーバーライド操作を検出した場合、操舵アクチュエータ５１または制駆動アクチュエータ６１の制御を、同乗者またはドライバによる運転操作に代替してもよい。すなわち、運転支援機能を実行中において、オーバーライド操作検出部Ｃ６６が検出したオーバーライド操作により車両の運転制御を行ってもよい。
【0072】
実施の形態１に係る異常姿勢判定装置１の動作について説明する。
図６は、実施の形態１に係る異常姿勢判定装置１の動作について説明するためのフローチャートである。
なお、異常姿勢判定装置１の動作は、例えば、車両のイグニッションがＯＮにされた後に開始される。
図６は、実施の形態１に係る異常姿勢判定装置１の動作について説明するためのフローチャートである。
なお、異常姿勢判定装置１の動作は、例えば、車両のイグニッションがＯＮにされた後に開始される。
【0073】
画像取得部１１は、撮像装置２から撮像画像を取得する（ステップＳＴ１）。
画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。
画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。
【0074】
顔検出部１２は、ステップＳＴ１にて画像取得部１１が取得した撮像画像においてドライバの顔を検出する（ステップＳＴ２）。
顔検出部１２は、顔情報を、姿勢判定用特徴検出部１３に出力する。
顔検出部１２は、顔情報を、姿勢判定用特徴検出部１３に出力する。
【0075】
姿勢判定用特徴検出部１３の顔向き検出部１３１は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検出する（ステップＳＴ３）。
顔向き検出部１３１は、顔向き情報を、基準姿勢推定部１４および判定部１５に出力する。
顔向き検出部１３１は、顔向き情報を、基準姿勢推定部１４および判定部１５に出力する。
【0076】
姿勢判定用特徴検出部１３の頭位置検出部１３２は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する（ステップＳＴ４）。
頭位置検出部１３２は、頭位置情報を、基準姿勢推定部１４および判定部１５に出力する。
頭位置検出部１３２は、頭位置情報を、基準姿勢推定部１４および判定部１５に出力する。
【0077】
姿勢判定用特徴検出部１３のパーツ位置検出部１３３は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、撮像画像上のドライバの目の位置を検出する（ステップＳＴ５）。
パーツ位置検出部１３３は、パーツ位置情報を、基準姿勢推定部１４および判定部１５に出力する。
パーツ位置検出部１３３は、パーツ位置情報を、基準姿勢推定部１４および判定部１５に出力する。
【0078】
基準姿勢推定部１４がドライバの基準姿勢の推定を完了していない場合（ステップＳＴ６の“ＮＯ”の場合）、基準設定期間にて姿勢判定用特徴検出部１３が検出したドライバの顔向き、頭位置、および、目の位置に基づいて、ドライバの基準姿勢を推定する（ステップＳＴ７）。
なお、基準姿勢推定部１４は、ドライバの基準姿勢の推定を完了しているか否かを、例えば、基準姿勢推定済フラグに基づいて判定すればよい。例えば、基準姿勢推定部１４は、ドライバの基準姿勢を推定すると、基準姿勢推定済フラグを「１」にする。基準姿勢推定済フラグの初期値は「０」であり、基準姿勢推定済フラグは、例えば、異常姿勢判定装置１のイグニッションがＯＦＦされる際に初期化される。基準姿勢推定済フラグは、異常姿勢判定装置１が参照可能な場所に記憶される。
なお、基準姿勢推定部１４は、ドライバの基準姿勢の推定を完了しているか否かを、例えば、基準姿勢推定済フラグに基づいて判定すればよい。例えば、基準姿勢推定部１４は、ドライバの基準姿勢を推定すると、基準姿勢推定済フラグを「１」にする。基準姿勢推定済フラグの初期値は「０」であり、基準姿勢推定済フラグは、例えば、異常姿勢判定装置１のイグニッションがＯＦＦされる際に初期化される。基準姿勢推定済フラグは、異常姿勢判定装置１が参照可能な場所に記憶される。
【0079】
基準姿勢推定部１４がドライバの基準姿勢の推定を完了している場合（ステップＳＴ６の“ＹＥＳ”の場合）、判定部１５の姿勢タイプ判定部１５１は、姿勢判定用特徴検出部１３が検出したドライバの顔向き、頭位置、および、目の位置（ステップＳＴ３にて顔向き検出部１３１が検出したドライバの顔向き、ステップＳＴ４にて頭位置検出部１３２が検出したドライバの頭位置、および、ステップＳＴ５にてパーツ位置検出部１３３が検出したドライバの目の位置）に基づいて、ドライバの姿勢が予め定められた複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかの姿勢崩れタイプ判定を行う（ステップＳＴ８）。
姿勢タイプ判定部１５１は、姿勢崩れタイプ判定結果を、前のめり判定部１５２に出力する。
姿勢タイプ判定部１５１は、姿勢崩れタイプ判定結果を、前のめり判定部１５２に出力する。
【0080】
判定部１５の前のめり判定部１５２は、ステップＳＴ８にて姿勢タイプ判定部１５１がドライバの姿勢は「突っ伏し」に該当すると判定した場合、ドライバの姿勢は「前のめり」に該当するか否かの前のめり判定を行う（ステップＳＴ９）。
前のめり判定部１５２は、前のめり判定結果を、異常姿勢判定部１５３に出力する。
前のめり判定部１５２は、前のめり判定結果とともに、ステップＳＴ８にて姿勢タイプ判定部１５１から出力された姿勢タイプ判定結果を、異常姿勢判定部１５３に出力する。
前のめり判定部１５２は、前のめり判定結果を、異常姿勢判定部１５３に出力する。
前のめり判定部１５２は、前のめり判定結果とともに、ステップＳＴ８にて姿勢タイプ判定部１５１から出力された姿勢タイプ判定結果を、異常姿勢判定部１５３に出力する。
【0081】
異常姿勢判定部１５３は、ステップＳＴ８における姿勢タイプ判定部１５１による姿勢崩れタイプ判定結果と、ステップＳＴ９における前のめり判定部１５２による前のめり判定結果とに基づき、ドライバの姿勢は異常姿勢であるか否かを判定する（ステップＳＴ１０）。
【0082】
出力制御部１６は、ステップＳＴ１０にて異常姿勢判定部１５３がドライバは異常姿勢であると判定した場合、ドライバに警告を行うための警告情報を、出力装置３に出力する（ステップＳＴ１１）。
また、出力制御部１６は、異常姿勢判定部１５３から出力された異常姿勢判定結果を、運転制御システム４００に出力する。
また、出力制御部１６は、異常姿勢判定部１５３から出力された異常姿勢判定結果を、運転制御システム４００に出力する。
【0083】
図７は、実施の形態１に係る運転制御システム４００による運転支援機能の動作例を示すフローチャートである。
以下の説明では、異常姿勢判定システム１００によりドライバが姿勢崩れを起こしている、言い換えれば、ドライバが異常状態であると判定された場合、運転制御システム４００により、運転支援機能として、車両の緊急退避機能を行う例を挙げて説明する。なお、運転制御システム４００の動作は、例えば、車両のイグニッションがＯＮにされた後に開始される。
以下の説明では、異常姿勢判定システム１００によりドライバが姿勢崩れを起こしている、言い換えれば、ドライバが異常状態であると判定された場合、運転制御システム４００により、運転支援機能として、車両の緊急退避機能を行う例を挙げて説明する。なお、運転制御システム４００の動作は、例えば、車両のイグニッションがＯＮにされた後に開始される。
【0084】
運転制御システム４００の運転制御装置Ｃ３は、異常姿勢判定システム１００から、第１の車両のドライバの異常姿勢判定結果を取得する（ＳＴ２０１）。
【0085】
そして、運転制御装置Ｃ３は、緊急退避機能を開始する。まず、運転制御装置Ｃ３は、車両状態取得装置Ｃ６から、車両状態を取得する（ＳＴ２０２）。なお、車両状態とは、第１の車両の状態を示す情報であり、緊急退避機能等の運転支援機能における車両制御に用いられる。
【0086】
次に、運転制御装置Ｃ３は、周辺状況監視装置Ｃ５から、第１の車両の周辺状況を取得し（ＳＴ２０３）、第１の車両を退避させる位置を設定する（ＳＴ２０４）。以下、第１の車両を退避させる位置を、退避位置という。なお、退避位置は、第１の車両の現在位置から１５０ｍの範囲内、または第１の車両が現在位置からの移動に要する時間が６０秒以内に収まる位置であってよい。このようにすると、第１の車両の退避位置までの移動に伴う、交差点への侵入回数が必要以上に増加することを防止できる。
【0087】
例えば、運転制御装置Ｃ３は、周辺状況監視装置Ｃ５から、第１の車両を安全に停止可能な位置を探索し、安全に停止可能な位置の候補のうちから、最も安全性の高い位置を退避位置として設定する。ここで、退避位置は、第２の車両または歩行者等の移動体、および障害物との衝突の可能性がなく、第１の車両の現在位置から退避位置への経路において、前述の移動体および障害物との衝突の可能性がない位置である。退避位置の例は、路肩等の道路端、交差点および踏切以外の車線内等である。また、退避位置が路肩等の道路端である場合は、同乗者が第１の車両から脱出できるスペースを確保してもよい。
【0088】
退避位置を設定した後、運転制御装置Ｃ３は、車両制御を行い退避位置へ第１の車両を停止させる。また、運転制御装置Ｃ３は、退避位置を設定した後、第１の車両の現在の位置から設定した退避位置に至るまでの経路を、ナビゲーションシステムＣ５４の表示部へ表示させてもよい。
【0089】
運転制御装置Ｃ３は、退避位置へ第１の車両を移動させるまでに、進路変更を要するか否かを判定する（ＳＴ２０５）。退避位置へ第１の車両を移動させるまでに、進路変更を要さない場合（ＳＴ２０５の“ＮＯ”の場合）、すなわち、退避位置を第１の車両が現在走行している車線内に設定した場合、操舵アクチュエータ５１および制駆動アクチュエータ６１を制御して、第１の車両に現在走行している車線内を走行させる（ＳＴ２０６）。そして、運転制御装置Ｃ３は、操舵アクチュエータ５１および制駆動アクチュエータ６１を制御して、第１の車両を減速させた後、退避位置に停止させる（ＳＴ２０７）。
【0090】
なお、ＳＴ２０７の処理において、運転制御装置Ｃ３は、例えば、１０ｋｍ／ｈ等、緊急停止が可能な速度で第１の車両を走行させてよい。また、退避位置が第１の車両の近傍に設定された場合等、第１の車両の走行を継続させる必要がない場合は、ＳＴ２０６の処理は省略可能である。さらに、ＳＴ２０６およびＳＴ２０７の処理において、運転制御装置Ｃ３により第１の車両を減速させる場合、同乗者の転倒を防止するため、例えば、３ｍ／ｓ２以下であってよい。
【0091】
そして、運転制御装置Ｃ３により、第１の車両を退避位置に停止させた後、車載通信機Ｃ５２を介して、車両外部のコールセンター等に通報を行う（ＳＴ２１０）。車載通信機Ｃ５２を介した通報には、例えば、第１の車両のドライバが異常状態にあることを示すメッセージ、周辺状況監視装置Ｃ５で取得した第１の車両の現在位置、および運転制御装置Ｃ３により設定した退避位置が含まれる。
【0092】
ＳＴ２０５の処理で、運転制御装置Ｃ３により、退避位置へ第１の車両を移動させるまでに、進路変更を要すると判定された場合（ＳＴ２０５の“ＹＥＳ”の場合）について説明する。なお、進路変更とは、車線変更のように、第１の車両が走行する車線と隣接する車線へ第１の車両を移動させる場合と、道路端に第１の車両を寄せるように、第１の車両が走行する車線から第１の車両を逸脱させる場合とを含む。
【0093】
運転制御装置Ｃ３は、進路変更を要すると判定した場合、操舵アクチュエータ５１および制駆動アクチュエータ６１を制御して、第１の車両の進路変更を行う（ＳＴ２０８）。ここで、進路変更先に存在する第２の車両または歩行者等が、第１の車両の進路変更を認識して衝突を回避できるよう、進路変更における車両横方向への移動速度は０．３ｍ／ｓ程度であってよい。
【0094】
そして、運転制御装置Ｃ３は、ＳＴ２０７の処理と同様に、操舵アクチュエータ５１および制駆動アクチュエータ６１を制御して、第１の車両を減速させた後、退避位置に停止させる（ＳＴ２０９）。運転制御装置Ｃ３により、第１の車両を退避位置に停止させた後、運転制御システム４００の動作は、ＳＴ２１０の処理に進み、車載通信機Ｃ５２を介して、車両外部のコールセンター等に通報を行う。
【0095】
また、運転制御システム４００は、運転支援機能を実行中に、オーバーライド操作があった場合、操舵アクチュエータ５１または制駆動アクチュエータ６１の制御を、同乗者またはドライバによる運転操作に代替してもよい。すなわち、例えば、図７における、ＳＴ２０２～ＳＴ２１０の処理の間に、オーバーライド操作検出部Ｃ６６が、オーバーライド操作を検出した場合、検出されたオーバーライド操作により、車両の運転を行ってもよい。
【0096】
なお、上述の例では、異常姿勢判定システム１００によりドライバが姿勢崩れを起こしている、言い換えれば、ドライバが異常状態であると判定された場合、運転制御システム４００により、運転支援機能として、車両の緊急退避機能を行う例を挙げて説明したが、運転制御システム４００は、運転支援機能として、ＡＣＣまたはＬＫＡを実行してもよい。また、運転制御システム４００により、ＡＣＣおよびＬＫＡを実行した後、周囲の安全が確保できた場合に緊急退避機能を実行させるようにするなど、運転支援機能を組み合わせてもよい。このように、ドライバが姿勢崩れを起こしている、言い換えれば、ドライバが異常状態であると判定された場合に、運転支援機能は適宜組み合わせ可能である。
【0097】
以上の実施の形態１では、ドライバの顔のパーツはドライバの目であるものとして説明したが、これは一例に過ぎない。例えば、ドライバの顔のパーツは、鼻または眉としてもよい。例えば、ドライバの顔のパーツが鼻である場合、前のめり判定部１５２は、ドライバの検出撮像画像上の鼻の高さと、基準姿勢におけるドライバの撮像画像上の鼻の高さとを比較して、ドライバの検出撮像画像上の鼻のほうが、予め設定された閾値以上高い位置にあれば、ドライバの姿勢は前のめりであると判定する。
【0098】
また、以上の実施の形態１において、異常姿勢判定装置１は、基準姿勢推定部１４がドライバの基準姿勢を推定すると、例えば車両のイグニッションがＯＦＦにされるまで、当該基準姿勢の見直しは行われないことを想定していた。しかし、これは一例に過ぎず、例えば、基準姿勢推定部１４は、基準姿勢を常にモニタリングしていて、基準姿勢が、ドライバの姿勢崩れがないといえる範囲内で変わっていれば、基準姿勢の更新を行ってもよい。
【0099】
また、以上の実施の形態１では、基準姿勢推定部１４がドライバの基準姿勢を推定するようにしたが、これは一例に過ぎない。
例えば、予め、管理者等が、一般的なドライバの顔向き、頭位置、および、目等の顔のパーツの位置に基づいて基準姿勢を設定し、判定部１５が参照可能な場所に記憶させておいてもよい。
この場合、異常姿勢判定装置１は、基準姿勢推定部１４を備えない構成とできる。ただし、基準姿勢推定部１４が基準姿勢を推定するようにしたほうが、基準姿勢推定部１４を備えない構成とするよりも、異常姿勢判定装置１は、より個人にあわせた基準姿勢を設定できる。その結果、異常姿勢判定装置１は、より精度よく、ドライバが異常姿勢であるか否かの判定を行うことができる。
例えば、予め、管理者等が、一般的なドライバの顔向き、頭位置、および、目等の顔のパーツの位置に基づいて基準姿勢を設定し、判定部１５が参照可能な場所に記憶させておいてもよい。
この場合、異常姿勢判定装置１は、基準姿勢推定部１４を備えない構成とできる。ただし、基準姿勢推定部１４が基準姿勢を推定するようにしたほうが、基準姿勢推定部１４を備えない構成とするよりも、異常姿勢判定装置１は、より個人にあわせた基準姿勢を設定できる。その結果、異常姿勢判定装置１は、より精度よく、ドライバが異常姿勢であるか否かの判定を行うことができる。
【0100】
また、以上の実施の形態１では、異常姿勢判定装置１が異常姿勢であるか否かを判定する対象となる車両の乗員は車両のドライバとしたが、これは一例に過ぎない。異常姿勢判定装置１は、ドライバ以外の車両の乗員を、異常姿勢であるか否かを判定する対象とできる。
【0101】
また、以上の実施の形態１では、異常姿勢判定装置１は、車両に搭載される車載装置とし、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６は、車載装置に備えられているものとした。
これに限らず、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとでシステムを構成するようにしてもよい。
また、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６が全部サーバに備えられてもよい。
これに限らず、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとでシステムを構成するようにしてもよい。
また、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６が全部サーバに備えられてもよい。
【0102】
図８Ａおよび図８Ｂは、実施の形態１に係る異常姿勢判定装置１のハードウェア構成の一例を示す図である。
実施の形態１において、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能は、処理回路１００１により実現される。すなわち、異常姿勢判定装置１は、撮像画像に基づき、「突っ伏し」と「前のめり」を区別して車両の乗員の姿勢が異常姿勢であるかを判定する制御を行うための処理回路１００１を備える。
処理回路１００１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリ１００５に格納されるプログラムを実行するプロセッサ１００４であってもよい。
実施の形態１において、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能は、処理回路１００１により実現される。すなわち、異常姿勢判定装置１は、撮像画像に基づき、「突っ伏し」と「前のめり」を区別して車両の乗員の姿勢が異常姿勢であるかを判定する制御を行うための処理回路１００１を備える。
処理回路１００１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリ１００５に格納されるプログラムを実行するプロセッサ１００４であってもよい。
【0103】
処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【0104】
処理回路がプロセッサ１００４の場合、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能を実行する。すなわち、異常姿勢判定装置１は、プロセッサ１００４により実行されるときに、上述の図６のステップＳＴ１～ステップＳＴ１１が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
【0105】
なお、画像取得部１１と、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１１と出力制御部１６については専用のハードウェアとしての処理回路１００１でその機能を実現し、顔検出部１２と、姿勢判定用特徴検出部１３と、基準姿勢推定部１４と、判定部１５についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
図示しない記憶部は、例えば、メモリ１００５で構成される。
また、異常姿勢判定装置１は、撮像装置２または出力装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
図示しない記憶部は、例えば、メモリ１００５で構成される。
また、異常姿勢判定装置１は、撮像装置２または出力装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
【0106】
以上のように、実施の形態１によれば、異常姿勢判定装置１は、車両の乗員の顔が存在すべき範囲が撮像された撮像画像において乗員の顔を検出する顔検出部１２と、顔検出部１２が検出した撮像画像における乗員の顔に基づき、乗員の顔向き、乗員の頭位置、および、撮像画像上の乗員の顔のパーツの位置を検出する姿勢判定用特徴検出部１３と、姿勢判定用特徴検出部１３が検出した乗員の顔向きおよび頭位置と乗員が姿勢崩れを起こしていないと想定される基準姿勢における乗員の顔向きおよび頭位置との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行い、顔検出部１２が乗員の顔を検出できなかった場合は、乗員の姿勢は複数の姿勢崩れタイプのうちの突っ伏しに該当すると判定する姿勢タイプ判定部１５１と、姿勢タイプ判定部１５１が乗員の姿勢は突っ伏しに該当すると判定した場合、乗員の姿勢は突っ伏しに該当すると判定されたときから遡って顔検出部１２が乗員の顔を検出できたときの撮像画像である検出撮像画像上の乗員の顔のパーツの位置に基づき、乗員の姿勢は複数の姿勢崩れタイプのいずれにも該当しない前のめりに該当するか否かの前のめり判定を行う前のめり判定部１５２と、姿勢タイプ判定部１５１による姿勢崩れタイプ判定結果と、前のめり判定部１５２による前のめり判定結果とに基づき、乗員の姿勢は異常姿勢であるか否かを判定する異常姿勢判定部１５３とを備えるように構成した。そのため、異常姿勢判定装置１は、乗員の「前のめり」の姿勢を「突っ伏し」の姿勢と誤検知することを防止できる。
【0107】
以下、本開示の諸態様を付記としてまとめて記載する。
【0108】
（付記１）
車両の乗員の顔が存在すべき範囲が撮像された撮像画像において前記乗員の顔を検出する顔検出部と、
前記顔検出部が検出した前記撮像画像における前記乗員の顔に基づき、前記乗員の顔向き、前記乗員の頭位置、および、前記乗員の顔のパーツの位置を検出する姿勢判定用特徴検出部と、
前記姿勢判定用特徴検出部が検出した前記乗員の顔向きおよび頭位置と前記乗員が姿勢崩れを起こしていないと想定される基準姿勢における前記乗員の顔向きおよび頭位置との比較によって前記乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行い、前記顔検出部が前記乗員の顔を検出できなかった場合は、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのうちの突っ伏しに該当すると判定する姿勢タイプ判定部と、
前記姿勢タイプ判定部が前記乗員の前記姿勢は突っ伏しに該当すると判定した場合、前記乗員の前記姿勢は突っ伏しに該当すると判定されたときから遡って前記顔検出部が前記乗員の顔を検出できたときの前記撮像画像である検出撮像画像に基づく前記乗員の顔のパーツの位置に基づき、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのいずれにも該当しない前のめりに該当するか否かの前のめり判定を行う前のめり判定部と、
前記姿勢タイプ判定部による姿勢崩れタイプ判定結果と、前記前のめり判定部による前のめり判定結果とに基づき、前記乗員の前記姿勢は異常姿勢であるか否かを判定する異常姿勢判定部
とを備えた異常姿勢判定装置。
（付記２）
前記異常姿勢判定部は、前記姿勢タイプ判定部が前記乗員の前記姿勢は突っ伏しであると判定したとしても、前記前のめり判定部が前記乗員の前記姿勢は前のめりであると判定した場合、前記乗員の前記姿勢は前記異常姿勢ではないと判定する
ことを特徴とする付記１記載の異常姿勢判定装置。
（付記３）
基準設定期間にて前記姿勢判定用特徴検出部が検出した前記乗員の顔向き、頭位置、および、顔のパーツの位置に基づいて、前記乗員の前記基準姿勢を推定する基準姿勢推定部
を備えた付記１または付記２記載の異常姿勢判定装置。
（付記４）
前記前のめり判定部は、前記乗員の前記検出撮像画像上の顔のパーツの高さと、前記基準姿勢における前記乗員の前記撮像画像上の顔のパーツの高さとを比較して、前記乗員の前記検出撮像画像上の顔のパーツのほうが高さ判定用閾値以上高い位置にあれば、前記乗員の前記姿勢は前のめりであると判定する
ことを特徴とする付記１から付記３のうちのいずれか１つ記載の異常姿勢判定装置。
（付記５）
前記乗員の顔のパーツは前記乗員の目であり、
前記前のめり判定部は、前記乗員の目の高さがハンドルの上端よりも高い場合、前記乗員の前記姿勢は前のめりであると判定する
ことを特徴とする付記１から付記３のうちのいずれか１つ記載の異常姿勢判定装置。
（付記６）
前記前のめり判定部は、前記乗員の目の高さと前記ハンドルの上端の高さとの比較を前記検出撮像画像上で行い、前記検出撮像画像上で、前記乗員の目のほうが前記ハンドルの上端よりも高い位置にある場合、前記乗員の前記姿勢は前のめりであると判定する
ことを特徴とする付記５記載の異常姿勢判定装置。
（付記７）
前記前のめり判定部は、前記乗員の目の高さと前記ハンドルの上端の高さとの比較を３次元空間上で行い、前記３次元空間上で、前記乗員の目のほうがハンドルの上端よりも高い位置にある場合、前記乗員の前記姿勢は前のめりであると判定する
ことを特徴とする付記５記載の異常姿勢判定装置。
（付記８）
前記前のめり判定部は、前記３次元空間上の前記乗員の目の高さを前記検出撮像画像と前記撮像画像が撮像される撮像装置の位置とに基づいて算出し、前記３次元空間上の前記ハンドルの上端の高さをチルトステアリングおよびテレスコピックステアリングの操作情報に基づいて算出する
ことを特徴とする付記７記載の異常状態判定装置。
（付記９）
前記異常姿勢判定部が前記乗員は前記異常姿勢であると判定した場合、前記乗員に警告を行うための警告情報を出力する出力制御部
を備えた付記１から付記８のうちのいずれか１つ記載の異常姿勢判定装置。
（付記１０）
前記乗員の顔のパーツは前記乗員の目である
ことを特徴とする付記１から付記９のうちのいずれか１つ記載の異常姿勢判定装置。
（付記１１）
顔検出部が、車両の乗員の顔が存在すべき範囲が撮像された撮像画像において前記乗員の顔を検出するステップと、
姿勢判定用特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔に基づき、前記乗員の顔向き、前記乗員の頭位置、および、前記乗員の顔のパーツの位置を検出するステップと、
姿勢タイプ判定部が、前記姿勢判定用特徴検出部が検出した前記乗員の顔向きおよび頭位置と前記乗員が姿勢崩れを起こしていないと想定される基準姿勢における前記乗員の顔向きおよび頭位置との比較によって前記乗員の姿勢が複数の前記姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行い、前記顔検出部が前記乗員の顔を検出できなかった場合は、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのうちの突っ伏しに該当すると判定するステップと、
前のめり判定部が、前記姿勢タイプ判定部が前記乗員の前記姿勢は突っ伏しに該当すると判定した場合、前記乗員の前記姿勢は突っ伏しに該当すると判定されたときから遡って前記顔検出部が前記乗員の顔を検出できたときの前記撮像画像である検出撮像画像に基づく前記乗員の顔のパーツの位置に基づき、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのいずれにも該当しない前のめりに該当するか否かの前のめり判定を行うステップと、
異常姿勢判定部が、前記姿勢タイプ判定部による姿勢崩れタイプ判定結果と、前記前のめり判定部による前のめり判定結果とに基づき、前記乗員の前記姿勢は異常姿勢であるか否かを判定するステップ
とを備えた異常姿勢判定方法。
（付記１２）
付記１から付記１０のうちのいずれか１つ記載の異常姿勢判定装置と、前記車両の運転の制御を行う運転制御装置と、を備えた車両制御システムであって、
前記異常姿勢判定装置は、前記乗員は前記異常姿勢であるか否かの判定結果を前記運転制御装置に出力し、
前記運転制御装置は、前記判定結果に基づいて、前記乗員に対する警告の出力または前記車両の退避処理を行う制御信号を、前記車両に搭載された警報制御装置、操舵機構、または制駆動機構に出力する
ことを特徴とする車両制御システム。
車両の乗員の顔が存在すべき範囲が撮像された撮像画像において前記乗員の顔を検出する顔検出部と、
前記顔検出部が検出した前記撮像画像における前記乗員の顔に基づき、前記乗員の顔向き、前記乗員の頭位置、および、前記乗員の顔のパーツの位置を検出する姿勢判定用特徴検出部と、
前記姿勢判定用特徴検出部が検出した前記乗員の顔向きおよび頭位置と前記乗員が姿勢崩れを起こしていないと想定される基準姿勢における前記乗員の顔向きおよび頭位置との比較によって前記乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行い、前記顔検出部が前記乗員の顔を検出できなかった場合は、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのうちの突っ伏しに該当すると判定する姿勢タイプ判定部と、
前記姿勢タイプ判定部が前記乗員の前記姿勢は突っ伏しに該当すると判定した場合、前記乗員の前記姿勢は突っ伏しに該当すると判定されたときから遡って前記顔検出部が前記乗員の顔を検出できたときの前記撮像画像である検出撮像画像に基づく前記乗員の顔のパーツの位置に基づき、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのいずれにも該当しない前のめりに該当するか否かの前のめり判定を行う前のめり判定部と、
前記姿勢タイプ判定部による姿勢崩れタイプ判定結果と、前記前のめり判定部による前のめり判定結果とに基づき、前記乗員の前記姿勢は異常姿勢であるか否かを判定する異常姿勢判定部
とを備えた異常姿勢判定装置。
（付記２）
前記異常姿勢判定部は、前記姿勢タイプ判定部が前記乗員の前記姿勢は突っ伏しであると判定したとしても、前記前のめり判定部が前記乗員の前記姿勢は前のめりであると判定した場合、前記乗員の前記姿勢は前記異常姿勢ではないと判定する
ことを特徴とする付記１記載の異常姿勢判定装置。
（付記３）
基準設定期間にて前記姿勢判定用特徴検出部が検出した前記乗員の顔向き、頭位置、および、顔のパーツの位置に基づいて、前記乗員の前記基準姿勢を推定する基準姿勢推定部
を備えた付記１または付記２記載の異常姿勢判定装置。
（付記４）
前記前のめり判定部は、前記乗員の前記検出撮像画像上の顔のパーツの高さと、前記基準姿勢における前記乗員の前記撮像画像上の顔のパーツの高さとを比較して、前記乗員の前記検出撮像画像上の顔のパーツのほうが高さ判定用閾値以上高い位置にあれば、前記乗員の前記姿勢は前のめりであると判定する
ことを特徴とする付記１から付記３のうちのいずれか１つ記載の異常姿勢判定装置。
（付記５）
前記乗員の顔のパーツは前記乗員の目であり、
前記前のめり判定部は、前記乗員の目の高さがハンドルの上端よりも高い場合、前記乗員の前記姿勢は前のめりであると判定する
ことを特徴とする付記１から付記３のうちのいずれか１つ記載の異常姿勢判定装置。
（付記６）
前記前のめり判定部は、前記乗員の目の高さと前記ハンドルの上端の高さとの比較を前記検出撮像画像上で行い、前記検出撮像画像上で、前記乗員の目のほうが前記ハンドルの上端よりも高い位置にある場合、前記乗員の前記姿勢は前のめりであると判定する
ことを特徴とする付記５記載の異常姿勢判定装置。
（付記７）
前記前のめり判定部は、前記乗員の目の高さと前記ハンドルの上端の高さとの比較を３次元空間上で行い、前記３次元空間上で、前記乗員の目のほうがハンドルの上端よりも高い位置にある場合、前記乗員の前記姿勢は前のめりであると判定する
ことを特徴とする付記５記載の異常姿勢判定装置。
（付記８）
前記前のめり判定部は、前記３次元空間上の前記乗員の目の高さを前記検出撮像画像と前記撮像画像が撮像される撮像装置の位置とに基づいて算出し、前記３次元空間上の前記ハンドルの上端の高さをチルトステアリングおよびテレスコピックステアリングの操作情報に基づいて算出する
ことを特徴とする付記７記載の異常状態判定装置。
（付記９）
前記異常姿勢判定部が前記乗員は前記異常姿勢であると判定した場合、前記乗員に警告を行うための警告情報を出力する出力制御部
を備えた付記１から付記８のうちのいずれか１つ記載の異常姿勢判定装置。
（付記１０）
前記乗員の顔のパーツは前記乗員の目である
ことを特徴とする付記１から付記９のうちのいずれか１つ記載の異常姿勢判定装置。
（付記１１）
顔検出部が、車両の乗員の顔が存在すべき範囲が撮像された撮像画像において前記乗員の顔を検出するステップと、
姿勢判定用特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔に基づき、前記乗員の顔向き、前記乗員の頭位置、および、前記乗員の顔のパーツの位置を検出するステップと、
姿勢タイプ判定部が、前記姿勢判定用特徴検出部が検出した前記乗員の顔向きおよび頭位置と前記乗員が姿勢崩れを起こしていないと想定される基準姿勢における前記乗員の顔向きおよび頭位置との比較によって前記乗員の姿勢が複数の前記姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行い、前記顔検出部が前記乗員の顔を検出できなかった場合は、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのうちの突っ伏しに該当すると判定するステップと、
前のめり判定部が、前記姿勢タイプ判定部が前記乗員の前記姿勢は突っ伏しに該当すると判定した場合、前記乗員の前記姿勢は突っ伏しに該当すると判定されたときから遡って前記顔検出部が前記乗員の顔を検出できたときの前記撮像画像である検出撮像画像に基づく前記乗員の顔のパーツの位置に基づき、前記乗員の前記姿勢は複数の前記姿勢崩れタイプのいずれにも該当しない前のめりに該当するか否かの前のめり判定を行うステップと、
異常姿勢判定部が、前記姿勢タイプ判定部による姿勢崩れタイプ判定結果と、前記前のめり判定部による前のめり判定結果とに基づき、前記乗員の前記姿勢は異常姿勢であるか否かを判定するステップ
とを備えた異常姿勢判定方法。
（付記１２）
付記１から付記１０のうちのいずれか１つ記載の異常姿勢判定装置と、前記車両の運転の制御を行う運転制御装置と、を備えた車両制御システムであって、
前記異常姿勢判定装置は、前記乗員は前記異常姿勢であるか否かの判定結果を前記運転制御装置に出力し、
前記運転制御装置は、前記判定結果に基づいて、前記乗員に対する警告の出力または前記車両の退避処理を行う制御信号を、前記車両に搭載された警報制御装置、操舵機構、または制駆動機構に出力する
ことを特徴とする車両制御システム。
【0109】
なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0110】
本開示の乗員状態検知装置は、車両に搭載して、その車両の乗員による運転が可能か否かを検知する装置として用いることができる。
【符号の説明】
【0111】
１ 異常姿勢判定装置、２ 撮像装置、３ 出力装置、５ 操舵機構、６ 制駆動機構、１１ 画像取得部、１２ 顔検出部、１３ 姿勢判定用特徴検出部、１３１ 顔向き検出部、１３２ 頭位置検出部、１３３ パーツ位置検出部、１４ 基準姿勢推定部、１５ 判定部、１５１ 姿勢タイプ判定部、１５２ 前のめり判定部、１５３ 異常姿勢判定部、１６ 出力制御部、１００ 異常姿勢判定システム、４００ 運転制御システム、５１ 操舵アクチュエータ、６１ 制駆動アクチュエータ、１００１ 処理回路、１００２ 入力インタフェース装置、１００３ 出力インタフェース装置、１００４ プロセッサ、１００５ メモリ、Ｃ３ 運転制御装置、Ｃ４ 地図情報記憶装置、Ｃ５ 周辺状況監視装置、Ｃ５１ ＧＰＳ受信機、Ｃ５２ 車載通信機、Ｃ５３ 車外センサ、Ｃ５４ ナビゲーションシステム、Ｃ６ 車両状態取得装置、Ｃ６１ 舵角センサ、Ｃ６２ 車速センサ、Ｃ６３ 操舵トルクセンサ、Ｃ６４ アクセルポジションセンサ、Ｃ６５ ブレーキポジションセンサ、Ｃ６６ オーバーライド操作検出部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】