特開 2024-123332 運転者監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123332

(43)【公開日】2024-09-12

(54)【発明の名称】運転者監視システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240905BHJP

   G08G 1/16 20060101ALI20240905BHJP

【ＦＩ】

G06T7/00 650Z

G06T7/00 660A

G08G1/16 F

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023030643

(22)【出願日】2023-03-01

(71)【出願人】

【識別番号】000006895

【氏名又は名称】矢崎総業株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】高橋 良宏

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181CC27

5H181LL06

5H181LL15

5H181LL20

5L096AA06

5L096AA09

5L096CA02

5L096CA17

5L096DA02

5L096FA67

5L096FA69

(57)【要約】

【課題】運転者が覗き込んだ姿勢を適正に判定することができる運転者監視システムを提供する。
【解決手段】ＤＭＳ１は、顔位置検出部と、向き判定部と、覗き込み姿勢判定部とを備える。顔位置検出部は、車両に搭載され、運転者Ｄの顔の位置を検出する。向き判定部は、車両に搭載され、運転者Ｄの顔又は視線の向きを判定する。覗き込み姿勢判定部は、顔位置検出部により検出された運転者Ｄの顔の位置、及び、向き判定部２により判定された前記向きに基づいて、運転者Ｄが車両の前方を覗き込んだ姿勢で当該車両を運転する覗き込み運転姿勢を判定する。
【選択図】図８

【特許請求の範囲】

【請求項1】

車両に搭載され、運転者の顔の位置を検出する顔位置検出部と、
前記車両に搭載され、前記運転者の顔又は視線の向きを判定する向き判定部と、
前記顔位置検出部により検出された前記運転者の顔の位置、及び、前記向き判定部により判定された前記向きに基づいて、前記運転者が前記車両の前方を覗き込んだ姿勢で当該車両を運転する覗き込み運転姿勢を判定する覗き込み姿勢判定部と、
を備えることを特徴とする運転者監視システム。

【請求項2】

前記覗き込み姿勢判定部は、前記車両の全長方向に沿い且つ前記運転者の顔の基準位置を通る予め定められた仮想基準線に対して、前記運転者の顔の位置が前記全長方向に交差する車幅方向の一方側に位置し且つ前記向きが前記車幅方向の他方側を向いていることを表し、又は、前記仮想基準線に対して、前記運転者の顔の位置が前記車幅方向の他方側に位置し且つ前記向きが前記車幅方向の一方側を向いていることを表す向き条件を満たす場合、前記運転者が前記覗き込み運転姿勢であると判定する請求項１に記載の運転者監視システム。

【請求項3】

前記覗き込み姿勢判定部は、前記向き条件に加えてさらに、前記車両に設けられるステアリングホイールの位置から前記運転者の顔の位置までの距離が予め定められた基準距離内であることを表す顔距離条件を満たす場合、前記運転者が前記覗き込み運転姿勢であると判定する請求項２に記載の運転者監視システム。

【請求項4】

温度を検出する温度検出部をさらに備え、
前記覗き込み姿勢判定部は、前記温度検出部により検出した温度が予め定められた基準温度未満である場合、前記運転者が前記覗き込み運転姿勢であるか否かを判定し、前記温度検出部により検出した前記温度が前記基準温度以上である場合、前記運転者が前記覗き込み運転姿勢であるか否かを判定しない請求項１～３のいずれか１項に記載の運転者監視システム。

【請求項5】

前記車両に設けられるフロントガラスの曇り及び凍結を除去する処理である曇り凍結除去処理を実行する曇り凍結除去処理部をさらに備え、
前記曇り凍結除去処理部は、前記覗き込み姿勢判定部により、前記運転者が前記覗き込み運転姿勢であると判定した場合、前記曇り凍結除去処理を実行する請求項４に記載の運転者監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転者監視システムに関する。

【背景技術】

【0002】

従来、運転者監視システムとして、例えば、特許文献１には、運転者の行動を推定する運転者行動推定装置が記載されている。この運転者行動推定装置は、運転者の顔の画像を取得する顔画像取得手段と、顔画像取得手段により取得された２枚以上の連続する顔画像から１つ以上の動きベクトルを求める画像処理手段と、画像処理手段により求められた動きベクトルが１つ以上属する領域グループそれぞれから、代表となる動きベクトルを検出する動き検出手段と、動き検出手段により検出された領域グループ毎の代表となる動きベクトルの向き及び大きさに基づいて、運転者の行動を推定する運転者行動推定手段と、運転者行動推定手段にて推定された行動に従って報知信号を出力する信号出力手段と、を備える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－０１８６５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述の特許文献１に記載の運転者行動推定装置は、例えば、動きベクトルの向き及び大きさに基づいて運転者が下を覗き込んだ行動を推定しているので、処理が複雑になるおそれがある。

【0005】

そこで、本発明は、上記に鑑みてなされたものであって、運転者が覗き込んだ姿勢を適正に判定することができる運転者監視システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る運転者監視システムは、車両に搭載され、運転者の顔の位置を検出する顔位置検出部と、前記車両に搭載され、前記運転者の顔又は視線の向きを判定する向き判定部と、前記顔位置検出部により検出された前記運転者の顔の位置、及び、前記向き判定部により判定された前記向きに基づいて、前記運転者が前記車両の前方を覗き込んだ姿勢で当該車両を運転する覗き込み運転姿勢を判定する覗き込み姿勢判定部と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明に係る運転者監視システムは、運転者の顔の位置及び運転者の顔又は視線の向きに基づいて運転者の覗き込み運転姿勢を判定するので、例えば、動きベクトル等を用いて判定する場合と比較して処理の複雑化を抑制できる。また、運転者監視システムは、例えば、運転者の顔の位置だけに基づいて運転者の覗き込み運転姿勢を判定する場合と比較して、精度よく判定することができる。この結果、運転者監視システムは、運転者が覗き込んだ姿勢を適正に判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係るＤＭＳの構成例を示す概略図である。

【図2】図２は、実施形態に係るＤＭＳの構成例を示すブロック図である。

【図3】図３は、実施形態に係る制御モジュールの構成例を示すブロック図である。

【図4】図４は、実施形態に係る運転者によるフロントガラスの正面視の視認エリアを示す図である。

【図5】図５は、実施形態に係る運転者によるフロントガラスの上面視の視認エリアを示す図である。

【図6】図６は、実施形態に係る運転者による凍結時のフロントガラスの正面視の視認エリアを示す図である。

【図7】図７は、実施形態に係る運転者による凍結時のフロントガラスの上面視の視認エリアを示す図である。

【図8】図８は、実施形態に係る運転者の顔位置及び顔向きの検出方法を示す図である。

【図9】図９は、実施形態に係る運転者の顔位置と顔向きとの関係を示す図である。

【図10】図１０は、実施形態に係るＤＭＳの動作例（その１）を示すフローチャートである。

【図11】図１１は、実施形態に係るＤＭＳの動作例（その２）を示すフローチャートである。

【図12】図１２は、実施形態に係る運転者の顔位置及び視線向きの検出方法を示す図である。

【図13】図１３は、実施形態に係る運転者の顔位置と視線向きとの関係を示す図である。

【発明を実施するための形態】

【0009】

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。更に、以下に記載した構成は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。

【0010】

図面を参照しながら実施形態に係るＤＭＳ１（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）について説明する。ＤＭＳ１は、運転者検出システムの一例であり、車両に搭載されている。ＤＭＳ１は、図１、図２に示すように、カメラモジュール１０と、制御モジュール２０とを備える。カメラモジュール１０は、例えば、車両のステアリングコラムＳＣに設けられ、運転者Ｄの顔を含む監視範囲を撮像する。制御モジュール２０は、例えば、メータ機器Ｍが設置されたインストルメントパネルＨに設けられ、カメラモジュール１０により撮像された画像に基づいて車両の各種電子機器を制御する。なお、カメラモジュール１０及び制御モジュール２０は、上記設置場所に限定されずその他の場所に設けられてもよい。実施形態に係るＤＭＳ１は、運転者Ｄが車両の前方を覗き込んだ姿勢で当該車両を運転する覗き込み運転姿勢を判定するものである。ここで、運転者Ｄが覗き込み運転姿勢をとる状況としては、フロントガラスＦが凍結したり曇ったりした際に、フロントガラスＦの下方側の視認可能領域Ｎを覗き込んで運転する場合や、周囲を注視しながら運転する際に、前のめりの姿勢で運転する場合等がある。以下の説明では、運転者Ｄが覗き込み運転姿勢をとる状況として、フロントガラスＦが凍結したり曇ったりした場合を想定している。以下、ＤＭＳ１について詳細に説明する。

【0011】

なお、以下の説明では、互いに交差する第１方向、第２方向、及び、第３方向のうち、第１方向を「車幅方向Ｘ」といい、第２方向を「鉛直方向Ｙ」といい、第３方向を「全長方向Ｚ」という。ここでは、車幅方向Ｘと鉛直方向Ｙと全長方向Ｚとは、相互に交差し、典型的には直交する。車幅方向Ｘは、車両の幅に沿う方向であり、鉛直方向Ｙは、車両の高さに沿う方向であり、全長方向Ｚは、車両の全長に沿う方向、車両が直進する方向である。

【0012】

ＤＭＳ１は、上述したように、カメラモジュール１０と、制御モジュール２０とを備える。ＤＭＳ１は、各種電気系統を始動するイグニッションスイッチがＯＮされることによって起動する。カメラモジュール１０及び制御モジュール２０は、相互に通信可能に接続されている。

【0013】

カメラモジュール１０は、運転者Ｄを撮像するものであり、例えば、運転者Ｄの顔を含む監視範囲を撮像する。カメラモジュール１０は、ＬＥＤ（ｌｉｇｈｔ-ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）１１と、イメージセンサ１２とを備える。

【0014】

ＬＥＤ１１は、運転者Ｄの顔を含む範囲に光を照射するものである。ＬＥＤ１１は、運転者Ｄの顔に向けて配置され、例えば、近赤外線の光を運転者Ｄの顔に照射する。

【0015】

イメージセンサ１２は、被写体の光学像を電気信号に変換するものである。イメージセンサ１２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを含む。イメージセンサ１２は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ等の他の種類のイメージセンサであってもよい。イメージセンサ１２は、運転者Ｄの顔を含む監視範囲を撮像し、撮像した画像（動画像）を制御モジュール２０に出力する。

【0016】

制御モジュール２０は、カメラモジュール１０から出力された画像に基づいて、車両の各種電子機器を制御するものである。制御モジュール２０は、ＣＰＵ、記憶部を構成するＲＯＭ、ＲＡＭ及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御モジュール２０は、図３に示すように、記憶部２１と、温度検出部２２と、顔位置検出部２３と、向き判定部２４と、覗き込み姿勢判定部２５と、曇り凍結除去処理部２６と、運転者状態検出部２７とを備える。記憶部２１、温度検出部２２、顔位置検出部２３、向き判定部２４、覗き込み姿勢判定部２５、曇り凍結除去処理部２６、及び、運転者状態検出部２７は、相互に通信可能に接続されている。

【0017】

記憶部２１は、情報を記憶するメモリである。記憶部２１は、制御モジュール２０での各種処理に必要な条件や情報、制御モジュール２０で実行する各種プログラムやアプリケーション、制御データ等が格納されている。また、記憶部２１は、各機器によって検出された各種情報を一時的に記憶することもできる。記憶部２１は、覗き込み姿勢判定部２５等によってこれらの情報が必要に応じて読み出される。

【0018】

温度検出部２２は、温度を検出するものである。温度検出部２２は、例えば、車両の外部に設けられる外気温センサから出力される外気温情報に基づいて温度を検出する。

【0019】

顔位置検出部２３は、カメラモジュール１０により撮像された画像に基づいて、運転者Ｄの顔の位置を検出するものである。顔位置検出部２３は、例えば、運転者Ｄの顔の大きさや左右の眼の距離等に基づいて運転者Ｄの顔の前後位置を検出する。顔位置検出部２３は、例えば、予め定められた運転者Ｄの顔の基準位置における顔の大きさや左右の眼の距離と、運転者Ｄの実際の顔の位置における顔の大きさや左右の眼の距離とを比較することで運転者Ｄの顔の前後位置を検出する。運転者Ｄは、覗き込み運転姿勢である場合、運転者Ｄの顔の位置がステアリングホイールＳＷ側に移動するので、運転者Ｄの顔の大きさが、運転者Ｄの顔の基準位置における顔の大きさよりも大きくなる。顔位置検出部２３は、この運転者Ｄの顔の大きさの倍率に基づいて運転者Ｄの顔の前後位置を検出する。顔位置検出部２３は、例えば、図４、図５に示すように、フロントガラスＦが凍結等しておらず、運転者Ｄの顔の位置が基準位置にある場合、すなわち、運転者Ｄが通常運転姿勢である場合、運転者Ｄの実際の顔の大きさが、運転者Ｄの顔の基準位置における顔の大きさと等倍となる。この場合、運転者Ｄの顔の位置は、図８に示すように、ＸＹＺ座標において、（ｘ，ｙ，ｚ）＝（０，０，０）、すなわち運転者Ｄの顔の基準位置となる。一方で、顔位置検出部２３は、例えば、図６、図７に示すように、フロントガラスＦが凍結しており、視認可能領域Ｎから前方を覗き込むために運転者Ｄの顔の位置が基準位置に位置せずに、運転者Ｄが覗き込み運転姿勢である場合、運転者Ｄの実際の顔の大きさが、運転者Ｄの顔の基準位置における顔の大きさよりも大きくなる。この場合、運転者Ｄの顔の位置は、図８に示すように、運転者Ｄの顔がステアリングホイールＳＷに近づき、ＸＹＺ座標において、（ｘ,ｙ,ｚ）＝（０,０,ｚ０－ｚ１）となる。「ｚ０」は、通常運転姿勢の運転者Ｄの顔の位置（運転者Ｄの顔の基準位置）とステアリングホイールＳＷとの距離であり、「ｚ１」は、覗き込み運転姿勢の運転者Ｄの顔の位置とステアリングホイールＳＷとの距離である。運転者Ｄは、覗き込み運転姿勢である場合、「ｚ０－ｚ１」の距離で、ステアリングホイールＳＷに近づいている。顔位置検出部２３は、このようにして運転者Ｄの顔の前後位置を検出する。なお、上述の運転者の顔の基準位置は、車両に応じて予め定まる運転者の頭が位置する領域に相当する。運転者の顔の基準位置は、典型的には、車両において運転者の頭の位置の分布を統計的に表したものであり、例えば、運転者が運転席に座った状態で所定割合の運転者の頭の位置が含まれる領域に相当する。

【0020】

また、顔位置検出部２３は、カメラモジュール１０により撮像された画像に基づいて、運転者Ｄの顔の左右位置も検出する。顔位置検出部２３は、例えば、図６～図８に示すように、鉛直方向Ｙから視た場合に、仮想基準線Ｌに対して、運転者Ｄの顔の位置が車幅方向Ｘの一方側に位置するか、または、仮想基準線Ｌに対して、運転者Ｄの顔の位置が車幅方向Ｘの他方側に位置するかを検出する。言い換えれば、顔位置検出部２３は、鉛直方向Ｙから視た場合に、仮想基準線Ｌを基準として、運転者Ｄの顔が車幅方向Ｘの他方側の範囲よりも車幅方向Ｘの一方側の範囲に多く含まれる場合、運転者Ｄの顔が車幅方向Ｘの一方側に位置すると検出する。一方で、顔位置検出部２３は、鉛直方向Ｙから視た場合に、仮想基準線Ｌを基準として、運転者Ｄの顔が車幅方向Ｘの一方側の範囲よりも車幅方向Ｘの他方側の範囲に多く含まれる場合、運転者Ｄの顔が車幅方向Ｘの他方側に位置すると検出する。図８では、ＸＹＺ座標において、運転者Ｄの顔の位置が車幅方向Ｘの一方側にＸ座標「ｘ１」ずれて位置する例と、運転者Ｄの顔の位置が車幅方向Ｘの他方側にＸ座標「ｘ２」ずれて位置する例とを表している。なお、上述の仮想基準線Ｌは、予め定められており、車両の全長方向Ｚに沿い且つ運転者Ｄの顔の基準位置を通る線である。仮想基準線Ｌは、典型的には、車両の全長方向Ｚに沿い且つステアリングホイールＳＷの中心を通る線である。

【0021】

向き判定部２４は、カメラモジュール１０により撮像された画像に基づいて、運転者Ｄの顔の向きを判定するものである。向き判定部２４は、周知の画像処理により、画像に含まれる運転者Ｄの顔の向きを判定する。向き判定部２４は、例えば、カメラモジュール１０により撮像された運転者Ｄの顔画像から眼鼻口等の特徴点を抽出し、抽出した眼鼻口等の特徴点に基づいて運転者Ｄの顔の向きを判定する。向き判定部２４は、図８に示すように、運転者Ｄがどの程度顔の向きを変更しているかを表すものとして、ｔａｎθで求められる値を用いる。角度θは、運転者Ｄの顔が向く方向と全長方向Ｚとが成す角度である。

【0022】

覗き込み姿勢判定部２５は、顔位置検出部２３により検出された運転者Ｄの顔の位置、及び、向き判定部２４により判定された運転者Ｄの顔の向きに基づいて、運転者Ｄが車両の前方を覗き込んだ姿勢で当該車両を運転する覗き込み運転姿勢を判定するものである。

【0023】

覗き込み姿勢判定部２５は、顔位置検出部２３により検出された運転者Ｄの顔の前後位置に基づいて、ステアリングホイールＳＷの位置から運転者Ｄの顔の位置までの距離が予め定められた第１基準距離内である場合、覗き込み運転姿勢を判定する際の顔距離条件（第１条件）を満たすと判定する。すなわち、覗き込み姿勢判定部２５は、ステアリングホイールＳＷの位置から運転者Ｄの顔の位置までの距離「ｚ１」が予め定められた第１基準距離内である場合、覗き込み運転姿勢を判定する際の顔距離条件（第１条件）を満たすと判定する。言い換えれば、覗き込み姿勢判定部２５は、通常運転姿勢の運転者Ｄの顔の位置（運転者Ｄの顔の基準位置）とステアリングホイールＳＷとの距離「ｚ０」から運転者Ｄの実際の顔の位置とステアリングホイールＳＷとの距離「ｚ１」を減算した「ｚ０－ｚ１」の距離が、予め定められた第２基準距離以上である場合、顔距離条件（第１条件）を満たすと判定する。

【0024】

覗き込み姿勢判定部２５は、図６～図８に示すように、運転者Ｄの顔が位置する方向と、運転者Ｄの顔が向く方向とが逆方向になる場合、覗き込み運転姿勢を判定する際の向き条件としての顔向き条件（第２条件）を満たすと判定する。具体的には、覗き込み姿勢判定部２５は、鉛直方向Ｙから視た場合に、仮想基準線Ｌに対して、運転者Ｄの顔の実際の位置が車幅方向Ｘの一方側に位置し且つ運転者Ｄの顔の向きが車幅方向Ｘの他方側を向いている状態、又は、仮想基準線Ｌに対して、運転者Ｄの顔の実際の位置が車幅方向Ｘの他方側に位置し且つ運転者Ｄの顔の向きが車幅方向Ｘの一方側を向いている場合、覗き込み運転姿勢を判定する際の顔向き条件（第２条件）を満たすと判定する。

【0025】

覗き込み姿勢判定部２５は、例えば、図９に示すように、運転者Ｄの顔の位置が一方側又は他方側にずれるずれ量と、運転者Ｄの顔の向きが一方側又は他方側に向く変化量とに基づいて顔向き条件（第２条件）を満たすか否かを判定する。図９では、地点Ｐ１で、運転者Ｄの顔の位置が一方側にずれるずれ量と、運転者Ｄの顔の向きが他方側に向く変化量とが最大となり、地点Ｐ２で、運転者Ｄの顔の位置が他方側にずれるずれ量と、運転者Ｄの顔の向きが一方側に向く変化量とが最大となっている。覗き込み姿勢判定部２５は、運転者Ｄの顔の位置が一方側又は他方側にずれるずれ量と、運転者Ｄの顔の向きが一方側又は他方側に向く変化量とを積算し、積算した結果が予め定められた基準値以上である場合、顔向き条件（第２条件）を満たすと判定し、一方で、積算した結果が当該基準値未満である場合、顔向き条件（第２条件）を満たさないと判定する。

【0026】

覗き込み姿勢判定部２５は、フロントガラスＦが凍結したり曇ったりすることが発生する可能性が高い環境下に限定して、運転者Ｄ覗き込み運転姿勢を判定する。覗き込み姿勢判定部２５は、例えば、温度検出部２２により検出した温度が予め定められた基準温度未満である場合、運転者Ｄが覗き込み運転姿勢であるか否かを判定し、温度検出部２２により検出した温度が基準温度以上である場合、運転者Ｄが覗き込み運転姿勢であるか否かを判定しない。

【0027】

曇り凍結除去処理部２６は、フロントガラスＦの曇り及び凍結を除去する処理である曇り凍結除去処理を実行するものである。曇り凍結除去処理部２６は、例えば、覗き込み姿勢判定部２５により運転者Ｄが覗き込み運転姿勢であると判定された場合、曇り凍結除去処理を実行する。曇り凍結除去処理部２６は、デフロスタ１０６に当該デフロスタ１０６を駆動することを表す指令信号を出力する。デフロスタ１０６は、曇り凍結除去処理部２６から、デフロスタ１０６を駆動することを表す指令信号が出力された場合、送風機器からフロントガラスＦに温風を吹き付けて、フロントガラスＦの曇り及び凍結（結氷）を除去する。

【0028】

運転者状態検出部２７は、カメラモジュール１０から出力された画像に基づいて、運転者Ｄの脇見運転や、居眠り運転、姿勢崩れ等を検出するものである。運転者状態検出部２７は、例えば、車両の進行方向とは異なる方向を一定時間向いている場合、運転者Ｄが脇見運転をしていると判定する。運転者状態検出部２７は、運転者Ｄの開眼度が予め定められた基準値以下の状態が一定時間継続した場合、運転者Ｄが居眠り運転をしていると判定する。運転者状態検出部２７は、運転者Ｄの顔の位置が予め定められた指定範囲内に含まれない場合、姿勢崩れであると判定する。

【0029】

次に、図１０、図１１のフローチャートを参照して、ＤＭＳ１の動作例について説明する。なお、図１０のフローチャートと図１１のフローチャートとは、１つのフローチャートを分割して記載したものである。図１０に記載の「（Ａ）」は、図１１に記載の（Ａ）にステップが移行することを表し、図１１に記載の「（Ｂ）」は、図１０に記載の（Ｂ）にステップが移行することを表している。図１０、図１１において、ＤＭＳ１は、運転者Ｄの顔を検出する（ステップＳ１）。例えば、制御モジュール２０は、カメラモジュール１０から出力された運転者Ｄの顔画像から眼鼻口等の特徴点を抽出し、抽出した眼鼻口等の特徴点に基づいて運転者Ｄの顔を検出する。制御モジュール２０の運転者状態検出部２７は、運転者Ｄの顔の位置が予め定められた指定範囲内に含まれるか否かを判定する（ステップＳ２）。運転者状態検出部２７は、運転者Ｄの顔の位置が当該指定範囲内に含まれない場合（ステップＳ２；Ｎｏ）、運転者Ｄに姿勢が崩れていることを警報する（ステップＳ１７）。制御モジュール２０は、運転者Ｄの顔の位置が当該指定範囲内に含まれる場合（ステップＳ２；Ｙｅｓ）、運転者Ｄの顔の位置を表す座標を記憶部２１に保存する（ステップＳ３）。制御モジュール２０の覗き込み姿勢判定部２５は、温度検出部２２により検出した温度が予め定められた基準温度未満であるか否かを判定する（ステップＳ４）。覗き込み姿勢判定部２５は、温度検出部２２により検出した温度が当該基準温度未満である場合（ステップＳ４；Ｙｅｓ）、フロントガラスＦが凍結したり曇ったりすることが発生する可能性が高い環境下であると判定し、フラグに「１」を設定する（ステップＳ５）。一方で、覗き込み姿勢判定部２５は、温度検出部２２により検出した温度が当該基準温度以上である場合（ステップＳ４；Ｎｏ）、フロントガラスＦが凍結したり曇ったりすることが発生する可能性が低い環境下であると判定し、フラグに「０」を設定する（ステップＳ６）。運転者状態検出部２７は、カメラモジュール１０から出力された画像に基づいて、運転者Ｄの脇見運転や、姿勢崩れ、居眠り運転を検出する（ステップＳ７）。覗き込み姿勢判定部２５は、フラグに「１」が設定されている場合（ステップＳ８；Ｙｅｓ）、運転者Ｄによる運転が予め定められた基準時間以上経過したか否かを判定する（ステップＳ９）。覗き込み姿勢判定部２５は、運転者Ｄによる運転が運転開始から予め定められた基準時間以上経過している場合（ステップＳ９；Ｙｅｓ）、フロントガラスＦに曇りや凍結が生じてない可能性が高いことから、フラグに「０」を設定し（ステップＳ１６）、上述のステップＳ７に戻る。一方で、覗き込み姿勢判定部２５は、運転者Ｄによる運転が運転開始から当該基準時間以上経過していない場合（ステップＳ９；Ｎｏ）、車両の速度が予め定められた第１基準速度以上であるか否かを判定する（ステップＳ１０）。ここで、第１基準速度は、後述の第２基準速度（脇見運転等を判定する際の基準速度）よりも低速な速度であり、覗き込み運転姿勢は、より低速な車速の場合でも判定する。覗き込み姿勢判定部２５は、車両の速度が当該第１基準速度未満である場合（ステップＳ１０；Ｎｏ）、仮に、フロントガラスＦに曇りや凍結が生じていたとしても、超低速な速度で運転しているか又は停車しているので危険がおよばないと判定し、上述のステップＳ７（脇見等の判定処理）に戻る。覗き込み姿勢判定部２５は、車両の速度が当該第１基準速度以上である場合（ステップＳ１０；Ｙｅｓ）、運転者ＤがステアリングホイールＳＷに接近しているか否かを判定する（ステップＳ１１）。

【0030】

覗き込み姿勢判定部２５は、例えば、顔位置検出部２３により検出された運転者Ｄの顔の前後位置に基づいて、ステアリングホイールＳＷの位置から運転者Ｄの顔の位置までの距離が第１基準距離内でない場合、運転者ＤがステアリングホイールＳＷに接近しておらず、覗き込み運転姿勢を判定する際の顔距離条件（第１条件）を満たさないと判定し（ステップＳ１１：Ｎｏ）、上述のステップＳ７に戻る。一方で、覗き込み姿勢判定部２５は、顔位置検出部２３により検出された運転者Ｄの顔の前後位置に基づいて、ステアリングホイールＳＷの位置から運転者Ｄの顔の位置までの距離が第１基準距離内である場合、運転者ＤがステアリングホイールＳＷに接近しており、覗き込み運転姿勢を判定する際の顔距離条件（第１条件）を満たすと判定する（ステップＳ１１：Ｙｅｓ）。次に、覗き込み姿勢判定部２５は、顔距離条件（第１条件）を満たす場合、運転者Ｄの顔位置と顔向きが逆であるか否かを判定する（ステップＳ１２）。例えば、覗き込み姿勢判定部２５は、仮想基準線Ｌに対して、運転者Ｄの顔の実際の位置が車幅方向Ｘの一方側に位置し且つ運転者Ｄの顔の向きが車幅方向Ｘの他方側を向いている状態、又は、仮想基準線Ｌに対して、運転者Ｄの顔の実際の位置が車幅方向Ｘの他方側に位置し且つ運転者Ｄの顔の向きが車幅方向Ｘの一方側を向いている状態でない場合、すなわち運転者Ｄの顔位置と顔向きが逆ではない場合、運転者Ｄが顔を左右に振って覗き込むような姿勢ではないため、顔向き条件（第２条件）を満たさないと判定し（ステップＳ１２；Ｎｏ）、上述のステップＳ７に戻る。一方で、覗き込み姿勢判定部２５は、仮想基準線Ｌに対して、運転者Ｄの顔の実際の位置が車幅方向Ｘの一方側に位置し且つ運転者Ｄの顔の向きが車幅方向Ｘの他方側を向いている状態、又は、仮想基準線Ｌに対して、運転者Ｄの顔の実際の位置が車幅方向Ｘの他方側に位置し且つ運転者Ｄの顔の向きが車幅方向Ｘの一方側を向いている状態である場合、すなわち運転者Ｄの顔位置と顔向きが逆である場合、運転者Ｄが顔を左右に振って覗き込むような姿勢であるため、顔向き条件（第２条件）を満たすと判定し（ステップＳ１２；Ｙｅｓ）、警報部１０７に運転者Ｄに警報する旨を指令すると共に、デフロスタ１０６がＯＮでない場合（ステップＳ１４；Ｎｏ）には、デフロスタ１０６をＯＮにすることを指令する（ステップＳ１５）。警報部１０７は、覗き込み姿勢判定部２５から指令を受けた場合、運転者Ｄに対して、危険な姿勢で運転している旨を警報する（ステップＳ１３）。デフロスタ１０６は、覗き込み姿勢判定部２５から指令を受けた場合、送風機器からフロントガラスＦに温風を吹き付けて、フロントガラスＦの曇り及び凍結（結氷）を除去し、処理を終了する。

【0031】

上述のステップＳ８で、覗き込み姿勢判定部２５は、フロントガラスＦが凍結したり曇ったりすることが発生する可能性が低い環境下であるため、フラグに「０」が設定されている場合（ステップＳ８；Ｎｏ）、運転者状態検出部２７により、車両の速度が予め定められた第２基準速度（例えば、時速３０ｋｍ）以上であるか否かを判定する（ステップＳ１８）。運転者状態検出部２７は、車両の速度が当該第２基準速度未満である場合（ステップＳ１８；Ｎｏ）、車両が低速であるため、脇見運転や、居眠り運転、姿勢崩れを判定せずに処理を終了する。一方で、運転者状態検出部２７は、車両の速度が当該第２基準速度以上である場合（ステップＳ１８；Ｙｅｓ）、脇見運転を判定する（ステップＳ１９）。運転者状態検出部２７は、運転者Ｄが脇見運転をしていると判定した場合（ステップＳ１９：Ｙｅｓ）、運転者Ｄに警報を実施し（ステップＳ２０）、警報の解除信号がない場合（ステップＳ２１；Ｎｏ）、緊急警報の動作を行い（ステップＳ２２）、警報の解除信号がある場合（ステップＳ２１；Ｙｅｓ）、緊急警報の動作を行わずに、処理を終了する。一方で、運転者状態検出部２７は、運転者Ｄが脇見運転をしていないと判定した場合（ステップＳ１９：Ｎｏ）、居眠り運転を判定する（ステップＳ２３）。運転者状態検出部２７は、運転者Ｄが居眠り運転をしていると判定した場合（ステップＳ２３；Ｙｅｓ）、運転者Ｄに警報を実施し（ステップＳ２０）、運転者Ｄが居眠り運転をしていないと判定した場合（ステップＳ２３；Ｎｏ）、姿勢崩れを判定する（ステップＳ２４）。運転者状態検出部２７は、運転者Ｄが姿勢崩れをしていると判定した場合（ステップＳ２４；Ｙｅｓ）、運転者Ｄに警報を実施し（ステップＳ２０）、運転者Ｄが姿勢崩れをしていないと判定した場合（ステップＳ２４；Ｎｏ）、処理を終了する。

【0032】

以上のように、実施形態に係るＤＭＳ１は、顔位置検出部２３と、向き判定部２４と、覗き込み姿勢判定部２５とを備える。顔位置検出部２３は、車両に搭載され、運転者Ｄの顔の位置を検出する。向き判定部２４は、車両に搭載され、運転者Ｄの顔の向きを判定する。覗き込み姿勢判定部２５は、顔位置検出部２３により検出された運転者Ｄの顔の位置、及び、向き判定部２４により判定された運転者Ｄの顔の向きに基づいて、運転者Ｄが車両の前方を覗き込んだ姿勢で当該車両を運転する覗き込み運転姿勢を判定する。

【0033】

この構成により、ＤＭＳ１は、運転者Ｄの顔の位置及び運転者Ｄの顔の向きに基づいて運転者Ｄの覗き込み運転姿勢を判定するので、例えば、動きベクトル等を用いて判定する場合と比較して処理の複雑化を抑制できる。また、ＤＭＳ１は、例えば、運転者Ｄの顔の位置だけに基づいて運転者Ｄの覗き込み運転姿勢を判定する場合と比較して、精度よく判定することができる。この結果、ＤＭＳ１は、運転者Ｄが覗き込んだ姿勢を適正に判定することができる。

【0034】

上記ＤＭＳ１において、覗き込み姿勢判定部２５は、車両の全長方向Ｚに沿い且つ運転者Ｄの顔の基準位置を通る予め定められた仮想基準線Ｌに対して、運転者Ｄの顔の位置が全長方向Ｚに交差する車幅方向Ｘの一方側に位置し且つ運転者Ｄの顔の向きが車幅方向Ｘの他方側を向いていることを表し、又は、仮想基準線Ｌに対して、運転者Ｄの顔の位置が車幅方向Ｘの他方側に位置し且つ運転者Ｄの顔の向きが車幅方向Ｘの一方側を向いていることを表す顔向き条件を満たす場合、運転者Ｄが覗き込み運転姿勢であると判定する。この構成により、ＤＭＳ１は、動きベクトル等を用いて判定する場合と比較して処理の複雑化を抑制できる。

【0035】

上記ＤＭＳ１において、覗き込み姿勢判定部２５は、上記顔向き条件に加えてさらに、車両に設けられるステアリングホイールＳＷの位置から運転者Ｄの顔の位置までの距離が予め定められた基準距離内であることを表す顔距離条件を満たす場合、運転者Ｄが覗き込み運転姿勢であると判定する。この構成により、ＤＭＳ１は、覗き込み運転姿勢の判定精度を向上させることができる。

【0036】

上記ＤＭＳ１は、温度を検出する温度検出部２２をさらに備える。覗き込み姿勢判定部２５は、温度検出部２２により検出した温度が予め定められた基準温度未満である場合、運転者Ｄが覗き込み運転姿勢であるか否かを判定し、温度検出部２２により検出した温度が基準温度以上である場合、運転者Ｄが覗き込み運転姿勢であるか否かを判定しない。この構成により、ＤＭＳ１は、温度が低いため、フロントガラスＦが凍結したり曇ったりすることが発生する可能性が低い環境下である場合、覗き込み運転姿勢の判定処理を実施しないので、無駄な処理を削減することができ、システム負荷を軽減することができる。

【0037】

ＤＭＳ１は、車両に設けられるフロントガラスＦの曇り及び凍結を除去する処理である曇り凍結除去処理を実行する曇り凍結除去処理部２６をさらに備える。曇り凍結除去処理部２６は、覗き込み姿勢判定部２５により、運転者Ｄが覗き込み運転姿勢であると判定した場合、曇り凍結除去処理を実行する。この構成により、ＤＭＳ１は、フロントガラスＦの曇り及び凍結を速やかに除去することができるので、運転者Ｄの覗き込み運転姿勢が継続することを回避できる。

【0038】

なお、上記説明では、向き判定部２４は、カメラモジュール１０により撮像された画像に基づいて、運転者Ｄの顔の向きを判定する例について説明したが、例えば、カメラモジュール１０により撮像された画像に基づいて、運転者Ｄの視線の向きを判定してもよい。この場合、向き判定部２４は、周知の画像処理により、画像に含まれる運転者Ｄの視線の向きを判定する。向き判定部２４は、例えば、カメラモジュール１０により撮像された運転者Ｄの顔画像から眼鼻口等の特徴点を抽出し、抽出した眼鼻口等の特徴点に基づいて運転者Ｄの視線の向きを判定する。向き判定部２４は、例えば、図１２に示すように、運転者Ｄがどの程度視線の向きを変更しているかを表すものとして、ｔａｎθで求められる値を用いる。角度θは、運転者Ｄの視線が向く方向と全長方向Ｚとが成す角度である。

【0039】

覗き込み姿勢判定部２５は、顔位置検出部２３により検出された運転者Ｄの顔の位置、及び、向き判定部２４により判定された運転者Ｄの視線の向きに基づいて、運転者Ｄが車両の前方を覗き込んだ姿勢で当該車両を運転する覗き込み運転姿勢を判定する。

【0040】

覗き込み姿勢判定部２５は、例えば、図１２に示すように、運転者Ｄの顔が位置する方向と、運転者Ｄの視線が向く方向とが逆方向になる場合、覗き込み運転姿勢を判定する際の向き条件としての視線向き条件（第２条件）を満たすと判定する。具体的には、覗き込み姿勢判定部２５は、鉛直方向Ｙから視た場合に、仮想基準線Ｌに対して、運転者Ｄの顔の実際の位置が車幅方向Ｘの一方側に位置し且つ運転者Ｄの視線の向きが車幅方向Ｘの他方側を向いている状態、又は、仮想基準線Ｌに対して、運転者Ｄの顔の実際の位置が車幅方向Ｘの他方側に位置し且つ運転者Ｄの視線の向きが車幅方向Ｘの一方側を向いている場合、覗き込み運転姿勢を判定する際の視線向き条件（第２条件）を満たすと判定する。

【0041】

覗き込み姿勢判定部２５は、例えば、図１３に示すように、運転者Ｄの顔の位置が一方側又は他方側にずれるずれ量と、運転者Ｄの視線の向きが一方側又は他方側に向く変化量とに基づいて視線向き条件（第２条件）を満たすか否かを判定する。図１３では、地点Ｐ１で、運転者Ｄの顔の位置が一方側にずれるずれ量と、運転者Ｄの視線の向きが他方側に向く変化量とが最大となり、地点Ｐ２で、運転者Ｄの顔の位置が他方側にずれるずれ量と、運転者Ｄの視線の向きが一方側に向く変化量とが最大となっている。覗き込み姿勢判定部２５は、運転者Ｄの顔の位置が一方側又は他方側にずれるずれ量と、運転者Ｄの視線の向きが一方側又は他方側に向く変化量とを積算し、積算した結果が予め定められた基準値以上である場合、視線向き条件（第２条件）を満たすと判定し、一方で、積算した結果が当該基準値未満である場合、視線向き条件（第２条件）を満たさないと判定する。

【0042】

以上のように、実施形態に係るＤＭＳ１において、向き判定部２４は、運転者Ｄの視線の向きを判定する。覗き込み姿勢判定部２５は、顔位置検出部２３により検出された運転者Ｄの顔の位置、及び、向き判定部２４により判定された運転者Ｄの視線の向きに基づいて、運転者Ｄが車両の前方を覗き込んだ姿勢で当該車両を運転する覗き込み運転姿勢を判定する。

【0043】

この構成により、ＤＭＳ１は、運転者Ｄの顔の位置及び運転者Ｄの視線の向きに基づいて運転者Ｄの覗き込み運転姿勢を判定するので、例えば、動きベクトル等を用いて判定する場合と比較して処理の複雑化を抑制できる。また、ＤＭＳ１は、例えば、運転者Ｄの顔の位置だけに基づいて運転者Ｄの覗き込み運転姿勢を判定する場合と比較して、精度よく判定することができる。この結果、ＤＭＳ１は、運転者Ｄが覗き込んだ姿勢を適正に判定することができる。

【0044】

上記ＤＭＳ１において、覗き込み姿勢判定部２５は、仮想基準線Ｌに対して、運転者Ｄの顔の位置が車幅方向Ｘの一方側に位置し且つ運転者Ｄの視線の向きが車幅方向Ｘの他方側を向いていることを表し、又は、仮想基準線Ｌに対して、運転者Ｄの顔の位置が車幅方向Ｘの他方側に位置し且つ運転者Ｄの視線の向きが車幅方向Ｘの一方側を向いていることを表す視線向き条件を満たす場合、運転者Ｄが覗き込み運転姿勢であると判定する。この構成により、ＤＭＳ１は、動きベクトル等を用いて判定する場合と比較して処理の複雑化を抑制できる。

【0045】

なお、上記説明では、覗き込み姿勢判定部２５は、顔距離条件及び顔向き条件の両方を満たす場合に、運転者Ｄが覗き込み運転姿勢であると判定する例について説明したが、これに限定されず、顔向き条件だけを満たす場合に、運転者Ｄが覗き込み運転姿勢であると判定してもよい。

【0046】

覗き込み姿勢判定部２５は、顔距離条件及び視線向き条件の両方を満たす場合に、運転者Ｄが覗き込み運転姿勢であると判定する例について説明したが、これに限定されず、視線向き条件だけを満たす場合に、運転者Ｄが覗き込み運転姿勢であると判定してもよい。

【0047】

覗き込み姿勢判定部２５は、仮想基準線Ｌに対する運転者Ｄの顔の位置及び運転者Ｄの顔又は視線の向きに基づいて覗き込み運転姿勢を判定したが、これに限定されず、その他の方法に基づいて覗き込み運転姿勢を判定してもよい。

【0048】

覗き込み姿勢判定部２５は、温度検出部２２により検出した温度が基準温度以上である場合、運転者Ｄが覗き込み運転姿勢であるか否かを判定しない例について説明したが、これに限定されず、例えば、温度にかかわらず覗き込み運転姿勢を判定してもよい。

【0049】

覗き込み姿勢判定部２５は、運転者Ｄが覗き込み運転姿勢であると判定した場合、曇り凍結除去処理を実行する例について説明したが、このような曇り凍結除去処理を実行しなくてよい。

【0050】

覗き込み姿勢判定部２５は、顔の位置、顔の向きに加えて、さらに、運転者Ｄの視線位置も含めて覗き込み運転姿勢を判定してもよい。覗き込み姿勢判定部２５は、例えば、運転者Ｄの視線位置を表すヒストグラムを作成し、このヒストグラムにおいてフロントガラスＦ上の視認位置が一か所に分布している場合、覗き込み運転姿勢であると判定する。

【0051】

覗き込み姿勢判定部２５は、車幅方向Ｘの一方側から覗き込む姿勢と車幅方向Ｘの他方側から覗き込む姿勢とが繰り返された場合に、覗き込み運転姿勢であると判定してもよい。

【0052】

顔位置検出部２３は、運転者Ｄの顔の大きさや左右の眼の距離等に基づいて運転者Ｄの顔の位置を検出する例について説明したが、これに限定されない。顔位置検出部２３は、例えば、赤外距離センサで運転者Ｄの顔の位置を検出してもよいし、ステアリングに取り付けた静電容量センサにより運転者Ｄの顔の位置を検出してもよいし、３Ｄカメラにより運転者Ｄの顔の位置を検出してもよい。

【0053】

向き判定部２４は、眼鼻口等の特徴点に基づいて運転者Ｄの顔又は視線の向きを判定する例について説明したが、これに限定されず、その他の方法によって運転者Ｄの顔又は視線の向きを判定してもよい。

【0054】

ＤＭＳ１は、運転者Ｄが周囲を注視しながら運転する際に、覗き込み運転姿勢になっている場合、周囲の地図情報（飲食店、観光スポット等）を運転者Ｄに周知するようにしてもよい。

【符号の説明】

【0055】

１ ＤＭＳ（運転者監視システム）
２３ 顔位置検出部
２４ 向き判定部
２５ 覗き込み姿勢判定部
２６ 曇り凍結除去処理部
Ｆ フロントガラス
Ｌ 仮想基準線
ＳＷ ステアリングホイール
Ｚ 全長方向

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】