特開 2024-112588 ドライバモニタ装置、ドライバモニタ方法及びドライバモニタ用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112588

(43)【公開日】2024-08-21

(54)【発明の名称】ドライバモニタ装置、ドライバモニタ方法及びドライバモニタ用コンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240814BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023017728

(22)【出願日】2023-02-08

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】大見 拓寛

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF14

5H181FF22

5H181FF27

5H181LL07

5H181LL08

5H181LL20

(57)【要約】

【課題】ドライバの状態を適切に判定するとともに、ドライバに対して無用な通知を行うことを抑制できるドライバモニタ装置を提供する。
【解決手段】ドライバモニタ装置は、車両１０のドライバを撮影するように車両１０に設けられたカメラ２により時系列に生成された複数のドライバ画像からドライバの顔の向きを検出する顔向き検出部３１と、車両１０が自動運転制御されている場合において、ドライバの顔の向きが基準方向に対して車両１０のヨー方向において所定角度以上傾いている継続時間が所定の時間閾値以上となるか否か判定する判定部３２と、その継続時間が所定の時間閾値未満の場合は、通知部３を介してドライバに車両１０の運転交代要求を通知するとともに、その継続時間が所定の時間閾値以上であれば、ドライバに運転交代要求を通知しない通知処理部３４とを有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両のドライバを撮影するように車両に設けられたカメラにより時系列に生成された複数のドライバ画像から前記ドライバの顔の向きを検出する顔向き検出部と、
前記車両が自動運転制御されている場合において、前記ドライバの顔の向きが基準方向に対して前記車両のヨー方向において所定角度以上傾いている継続時間が所定の時間閾値以上となるか否か判定する判定部と、
前記継続時間が前記所定の時間閾値未満の場合は、通知部を介して前記ドライバに前記車両の運転交代要求を通知するとともに、前記継続時間が前記所定の時間閾値以上であれば、前記ドライバに前記車両の運転交代要求を通知しない通知処理部と、
を有するドライバモニタ装置。

【請求項2】

前記通知処理部は、前記継続時間が前記所定の時間閾値未満であり、かつ、前記ドライバが覚醒していることを確認できない場合に限り、前記通知部を介して前記ドライバに前記車両の運転交代要求を通知する、請求項１に記載のドライバモニタ装置。

【請求項3】

前記複数のドライバ画像に基づいて前記ドライバの眼が開いている度合いを表す開眼度を検出する開眼度検出部をさらに有し、
前記通知処理部は、前記継続時間が前記所定の時間閾値未満であり、かつ、前記開眼度検出部が前記開眼度を検出できない場合、前記ドライバが覚醒していることを確認できないと判定する、請求項２に記載のドライバモニタ装置。

【請求項4】

前記通知処理部は、前記ドライバの顔の向きが前記車両の車室内に設けられた表示装置へ所定期間以上継続して向けられている場合、前記ドライバが覚醒していると判定する、請求項２に記載のドライバモニタ装置。

【請求項5】

前記顔向き検出部は、前記複数のドライバ画像からドライバの体の向きを検出し、前記ヨー方向における前記ドライバの顔の向きと前記体の向きの差に基づいて、前記基準方向に対する前記ドライバの顔の向きの傾きを求める、請求項１～４の何れか一項に記載のドライバモニタ装置。

【請求項6】

車両のドライバを撮影するように車両に設けられたカメラにより時系列に生成された複数のドライバ画像から前記ドライバの顔の向きを検出し、
前記車両が自動運転制御されている場合において、前記ドライバの顔の向きが基準方向に対して前記車両のヨー方向において所定角度以上傾いている継続時間が所定の時間閾値以上となるか否か判定し、
前記継続時間が前記所定の時間閾値未満の場合は、通知部を介して前記ドライバに前記車両の運転交代要求を通知し、
前記継続時間が前記所定の時間閾値以上であれば、前記ドライバに前記車両の運転交代要求を通知しない、
ことを含むドライバモニタ方法。

【請求項7】

車両のドライバを撮影するように車両に設けられたカメラにより時系列に生成された複数のドライバ画像から前記ドライバの顔の向きを検出し、
前記車両が自動運転制御されている場合において、前記ドライバの顔の向きが基準方向に対して前記車両のヨー方向において所定角度以上傾いている継続時間が所定の時間閾値以上となるか否か判定し、
前記継続時間が前記所定の時間閾値未満の場合は、通知部を介して前記ドライバに前記車両の運転交代要求を通知し、
前記継続時間が前記所定の時間閾値以上であれば、前記ドライバに前記車両の運転交代要求を通知しない、
ことを前記車両に搭載されたプロセッサに実行させるためのドライバモニタ用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のドライバをモニターするドライバモニタ装置、ドライバモニタ方法及びドライバモニタ用コンピュータプログラムに関する。

【背景技術】

【0002】

車両のドライバをモニターして、ドライバの状態が車両の運転に適した状態か否かを判定する技術が提案されている（特許文献１及び２を参照）。

【0003】

特許文献１に開示された脇見警報装置は、運転者の注視あるいは脇見が、視線方向のみに拠る状態（視線注視）であるか、顔向き方向に拠る状態（顔向き注視）であるかを判定する。この脇見警報装置は、視線方向又は顔向き方向が記憶部に記憶された注視方向領域内に注視判定時間に亘って含まれる場合に、運転者が特定対象物を注視する状態であると判定する。また、この脇見警報装置は、視線方向又は顔向き方向が、記憶部に記憶された脇見方向領域内に脇見判定時間に亘って含まれる場合に、運転者が脇見状態であると判定する。

【0004】

特許文献２に開示された運転者監視システムは、自車両の走行中に、自車両の運転者が携帯端末の表示画面を見ているかどうかを、携帯端末のカメラによって撮影された画像に基づいて判定し、運転者が携帯端末の表示画面を見ていると判定された場合には、警報を発する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１－１６４７１２号公報

【特許文献2】特開２０１７－１５７１９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

Society of Automotive Engineers(SAE)の定義によるレベル３の自動運転が車両に適用されている場合のように、所定の条件下でドライバに対して運転に関与することが要求されずに車両が自動運転制御されていることがある。このような状況下では、ドライバによるセカンダリアクティビティが許可され、ドライバは車両の周辺監視を常に行う必要は無い。しかし、レベル３の自動運転では、状況によってはドライバに運転交代が要求されることがある。そのため、ドライバは、レベル３の自動運転の実行中であっても、運転交代に備えておく必要があり、ドライバの状態は常時監視される。

【0007】

ドライバの撮影条件によっては、ドライバの状態を正確に検出することが困難となることがある。ドライバの状態を検出できなくなる と、安全性の観点からドライバに対して運転交代の要求がなされることとなる。しかし、実際にはドライバが運転可能な状態である場合に、上記のような理由で運転交代が要求されると、ドライバの利便性を損ねてしまうこととなり、また、ドライバが不快に感じるおそれがある。

【0008】

そこで、本発明は、ドライバの状態を適切に判定するとともに、ドライバに対して無用な通知を行うことを抑制できるドライバモニタ装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

一つの実施形態によれば、ドライバモニタ装置が提供される。このドライバモニタ装置は、車両のドライバを撮影するように車両に設けられたカメラにより時系列に生成された複数のドライバ画像からドライバの顔の向きを検出する顔向き検出部と、車両が自動運転制御されている場合において、ドライバの顔の向きが基準方向に対して車両のヨー方向において所定角度以上傾いている継続時間が所定の時間閾値以上となるか否か判定する判定部と、その継続時間が所定の時間閾値未満の場合は、通知部を介してドライバに車両の運転交代要求を通知するとともに、その継続時間が所定の時間閾値以上であれば、ドライバに運転交代要求を通知しない通知処理部とを有する。

【0010】

このドライバモニタ装置において、通知処理部は、上記の継続時間が所定の時間閾値未満であり、かつ、ドライバが覚醒していることを確認できない場合に限り、通知部を介してドライバに車両の運転交代要求を通知することが好ましい。

【0011】

この場合において、ドライバモニタ装置は、複数のドライバ画像に基づいてドライバの眼が開いている度合いを表す開眼度を検出する開眼度検出部をさらに有することが好ましい。そして通知処理部は、上記の継続時間が所定の時間閾値未満であり、かつ、開眼度検出部が開眼度を検出できない場合、ドライバが覚醒していることを確認できないと判定することが好ましい。

【0012】

また、通知処理部は、ドライバの顔の向きが車両の車室内に設けられた表示装置へ所定期間以上継続して向けられている場合、ドライバが覚醒していると判定することが好ましい。

【0013】

さらに、このドライバモニタ装置において、顔向き検出部は、複数のドライバ画像からドライバの体の向きを検出し、ヨー方向におけるドライバの顔の向きと体の向きの差に基づいて、基準方向に対するドライバの顔の向きの傾きを求めることが好ましい。

【0014】

他の実施形態によれば、ドライバモニタ方法が提供される。このドライバモニタ方法は、車両のドライバを撮影するように車両に設けられたカメラにより時系列に生成された複数のドライバ画像からドライバの顔の向きを検出し、車両が自動運転制御されている場合において、ドライバの顔の向きが基準方向に対して車両のヨー方向において所定角度以上傾いている継続時間が所定の時間閾値以上となるか否か判定し、その継続時間が所定の時間閾値未満の場合は、通知部を介してドライバに車両の運転交代要求を通知し、その継続時間が所定の時間閾値以上であれば、ドライバに運転交代要求を通知しない、ことを含む。

【0015】

さらに他の実施形態によれば、ドライバモニタ用コンピュータプログラムが提供される。このドライバモニタ用コンピュータプログラムは、車両のドライバを撮影するように車両に設けられたカメラにより時系列に生成された複数のドライバ画像からドライバの顔の向きを検出し、車両が自動運転制御されている場合において、ドライバの顔の向きが基準方向に対して車両のヨー方向において所定角度以上傾いている継続時間が所定の時間閾値以上となるか否か判定し、その継続時間が所定の時間閾値未満の場合は、通知部を介してドライバに車両の運転交代要求を通知し、その継続時間が所定の時間閾値以上であれば、ドライバに運転交代要求を通知しないことを、車両に搭載されたプロセッサに実行させる命令を含む。

【発明の効果】

【0016】

本開示に係るドライバモニタ装置は、ドライバの状態を適切に判定するとともに、ドライバに対して無用な通知を行うことを抑制できるという効果を奏する。

【図面の簡単な説明】

【0017】

【図1】ドライバモニタ装置を含む、車両制御システムの概略構成図である。

【図2】ドライバモニタ装置の一例であるＥＣＵのハードウェア構成図である。

【図3】ドライバモニタ処理に関する、ＥＣＵのプロセッサの機能ブロック図である。

【図4】（ａ）及び（ｂ）は、それぞれ、本実施形態による、ドライバモニタ処理の概要を説明する図である。

【図5】車両のＥＣＵのプロセッサにより実行される、ドライバモニタ処理を含む車両制御処理の動作フローチャートである。

【発明を実施するための形態】

【0018】

以下、図を参照しつつ、ドライバモニタ装置、及び、ドライバモニタ装置にて実行されるドライバモニタ方法及びドライバモニタ用コンピュータプログラムについて説明する。このドライバモニタ装置は、車両のドライバを撮影するように車両に設けられたカメラにより時系列に生成された複数のドライバ画像からドライバの顔の向きを検出する。さらに、このドライバモニタ装置は、車両が自動運転制御されている場合において、ドライバの顔の向きが基準方向に対して車両のヨー方向において所定角以上傾いている継続時間が所定の時間閾値以上となるか否か判定する。そしてこのドライバモニタ装置は、その継続時間が所定の時間閾値未満の場合は、通知部を介してドライバに車両の運転交代要求を通知し、その継続時間が所定の時間閾値以上であれば、ドライバに運転交代要求を通知しない。

【0019】

図１は、ドライバモニタ装置を含む、車両制御システムの概略構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、ドライバモニタカメラ２と、通知機器３と、ドライバモニタ装置の一例である電子制御装置(ＥＣＵ)４とを有する。ドライバモニタカメラ２及び通知機器３と、ＥＣＵ４とは、コントローラエリアネットワークといった通信規格に準拠した車内ネットワークを介して互いに通信可能に接続される。なお、車両制御システム１は、車両１０の周辺の領域を撮影してその周辺の領域が表された画像を生成する車外カメラ（図示せず）を有していてもよい。さらに、車両制御システム１は、LiDARあるいはレーダといった、車両１０から車両１０の周囲に存在する物体までの距離を測定する距離センサ（図示せず）を有していてもよい。さらにまた、車両制御システム１は、GPS受信機といった、衛星からの信号に基づいて車両１０の位置を測位するための測位機器（図示せず）を有していてもよい。さらにまた、車両制御システム１は、目的地までの走行予定ルートを探索するためのナビゲーション装置（図示せず）を有していてもよい。さらにまた、車両制御システム１は、車両１０の自動運転制御において参照される地図情報を記憶するストレージ装置（図示せず）を有していてもよい。

【0020】

車両制御システム１は、SAEの定義によるレベル３の運転制御レベル、すなわち、ドライバによるアクセル、ブレーキ及びステアリングの操作及び車両周囲の監視を必要としない運転制御レベルにて車両１０を制御することが可能となっている。そしてＥＣＵ４は、レベル３の運転制御レベルにて車両１０を制御している間、ドライバモニタ処理を実行する。しかし、本開示によるドライバモニタ処理が適用されるのはこの例に限られない。自動運転制御中にドライバに対してセカンダリアクティビティが許容され、かつ、ＥＣＵ４からドライバに対して運転交代することが要求されることのある運転制御レベルにて車両１０の制御が行われていれば、ＥＣＵ４はドライバモニタ処理を実行してもよい。

【0021】

ドライバモニタカメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ２は、赤外LEDといったドライバを照明するための光源をさらに有していてもよい。そしてドライバモニタカメラ２は、車両１０のドライバシートに着座したドライバの頭部がその撮影対象領域に含まれるように、すなわち、ドライバの頭部を撮影可能なように車両１０の車室内に取り付けられる。例えば、ドライバモニタカメラ２は、インストルメントパネル、ステアリングまたはその近傍にドライバへ向けて取り付けられる。そしてドライバモニタカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにドライバを撮影し、ドライバが写った画像（以下、ドライバ画像と呼ぶ）を生成する。ドライバモニタカメラ２により得られたドライバ画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。ドライバモニタカメラ２は、ドライバ画像を生成する度に、その生成したドライバ画像を、車内ネットワークを介してＥＣＵ４へ出力する。

【0022】

通知機器３は、通知部の一例であり、車両１０の車室内に設けられ、ドライバに対して、光、音声、振動、文字表示あるいは画像表示にて、運転交代要求などの所定の通知を行う機器である。そのために、通知機器３は、例えば、スピーカ、光源、振動子あるいは表示装置の少なくとも何れかを有する。そして通知機器３は、ＥＣＵ４からドライバへの所定の通知を受け取ると、スピーカからの音声、光源の発光または点滅、振動子の振動、あるいは、表示装置への所定の通知を表すメッセージの表示により、ドライバに対してその所定の通知を実行する。

【0023】

ＥＣＵ４は、車両１０に適用される運転制御レベルに従って車両１０を運転制御する。さらに、ＥＣＵ４は、ドライバモニタカメラ２から受け取ったドライバ画像に基づいて、ドライバをモニターする。そしてＥＣＵ４は、ドライバの覚醒が確認できない場合に、通知機器３を介してドライバに対して運転交代要求を通知する。

【0024】

図２は、ＥＣＵ４のハードウェア構成図である。図２に示されるように、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

【0025】

通信インターフェース２１は、ＥＣＵ４を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース２１は、ドライバモニタカメラ２からドライバ画像を受信する度に、受信したドライバ画像をプロセッサ２３へわたす。さらにまた、通信インターフェース２１は、運転交代要求の通知といった、通知機器３を介してドライバへ通知される情報をプロセッサ２３から受け取ると、その情報を通知機器３へ出力する。

【0026】

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行されるドライバモニタ処理において使用される各種のアルゴリズム及び各種のデータを記憶する。例えば、メモリ２２は、ドライバの姿勢の検出に利用される各種のパラメータなどを記憶する。さらに、メモリ２２は、ドライバ画像及びドライバモニタ処理の途中で生成される各種のデータを一時的に記憶する。さらにまた、メモリ２２は、車両１０を運転制御するために利用される各種のパラメータ及び各種のデータを記憶する。そのようなデータには、車外カメラにより生成された画像、距離センサにより生成された測距信号、GPS受信機により生成された車両１０の位置を表す測位信号、ナビゲーション装置により生成された走行予定ルート、及び、地図情報が含まれる。

【0027】

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、所定の周期ごとに、ドライバモニタ処理を含む車両の運転制御処理を実行する。

【0028】

図３は、ドライバモニタ処理を含む車両の運転制御処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、顔向き検出部３１と、判定部３２と、開眼度検出部３３と、通知処理部３４と、車両制御部３５とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。なお、プロセッサ２３が有するこれらの各部のうち、顔向き検出部３１、判定部３２、開眼度検出部３３及び通知処理部３４により実行される処理がドライバモニタ処理に対応する。

【0029】

顔向き検出部３１は、所定の周期ごとに、ドライバモニタカメラ２からＥＣＵ４が受け取った最新のドライバ画像からドライバの顔の向きを検出する。

【0030】

顔向き検出部３１は、例えば、ドライバ画像を、画像からドライバの顔を検出するように予め学習された識別器に入力することで、そのドライバ画像上でドライバの顔が写っている領域（以下、顔領域と呼ぶ）を検出する。顔向き検出部３１は、そのような識別器として、例えば、CNN型のアーキテクチャを持つDNNまたはAdaBoost識別器を利用することができる。さらに、顔向き検出部３１は、ドライバ画像の顔領域から、目尻、目頭、鼻尖点、口角点等のドライバの顔の複数の特徴点を検出する。その際、顔向き検出部３１は、画像に表された顔の特徴点を検出するように予め学習された識別器に顔領域を入力することで、顔の特徴点を検出する。そのような識別器として、顔向き検出部３１は、例えば、CNN型のアーキテクチャを持つDNN、サポートベクトルマシンまたはAdaBoost識別器を用いることができる。なお、顔領域検出用の識別器と顔の特徴点検出用の識別器は一体的に構成されてもよい。この場合には、顔向き検出部３１は、ドライバ画像を識別器に入力することで、顔領域と顔の個々の特徴点のそれぞれを検出することができる。あるいは、顔向き検出部３１は、顔の特徴点を表すテンプレートと顔領域とのテンプレートマッチング、あるいは、顔の特徴点を検出する他の手法に従って、顔領域からドライバの顔の個々の特徴点を検出してもよい。

【0031】

顔向き検出部３１は、検出した顔の個々の特徴点を、顔の３次元形状を表す３次元顔モデルにフィッティングする。そして顔向き検出部３１は、各特徴点が３次元顔モデルに最もフィッティングする際の３次元顔モデルの顔の向きを、ドライバの顔の向きとして検出する。なお、顔向き検出部３１は、画像に表された顔の向きを判定する他の手法に従って、ドライバ画像に基づいてドライバの顔の向きを検出してもよい。

【0032】

なお、ドライバ画像から顔領域が検出されない場合、顔向き検出部３１は、ドライバの顔の向きの検出に失敗したと判定する。また、顔向き検出部３１は、顔領域は検出できたものの、所定数以上の顔の特徴点を検出できなかった場合についても、ドライバの顔の向きの検出に失敗したと判定する。

【0033】

顔向き検出部３１は、ドライバ画像からドライバの顔の向きを検出する度に、ドライバの顔の向きの検出結果を判定部３２へ通知するとともに、顔領域を表す情報（例えば、顔領域の左上端コーナーの座標と右下端コーナーの座標）を開眼度検出部３３へ通知する。また、顔向き検出部３１は、顔領域または顔の向きの検出に失敗した場合、そのことを判定部３２、開眼度検出部３３及び通知処理部３４へ通知する。

【0034】

判定部３２は、車両１０が自動運転制御されている場合において、ドライバの顔の向きが基準方向に対して車両１０のヨー方向、すなわち路面に平行な面において所定角度以上傾いている継続時間が所定の時間閾値以上となるか否か判定する。基準方向は、車両１０の正面方向とすることができる。また、ドライバモニタカメラ２がインスツルメンツパネル近傍あるいはステアリングに設けられている場合、基準方向は、ドライバモニタカメラを向く方向であってもよい。また、所定角度は、例えば、20～30度とすることができる。さらに、所定の時間閾値は、例えば、数秒～10数秒とすることができる。以下では、ヨー方向におけるドライバの顔の向きが基準方向に対して所定角度以上傾いている継続時間を、単に継続時間と呼ぶことがある。

【0035】

判定部３２は、顔向き検出部３１からドライバの顔の向きの検出結果を受け取る度に、ヨー方向におけるドライバの顔の向きと基準方向との角度差を算出する。そして判定部３２は、その角度差が所定角度以上となると、継続時間の計時を開始する。継続時間の計時開始後において、ヨー方向におけるドライバの顔の向きと基準方向との角度差が所定角度未満になると、判定部３２は、継続時間の計時を終了する。また、顔領域または顔の向きの検出に失敗したことが通知されると、判定部３２は、継続時間の計時を終了してもよい。継続時間の計時を終了した時点におけるその継続時間が所定の時間閾値未満であれば、判定部３２は、ヨー方向におけるドライバの顔の向きが基準方向に対して所定角度以上傾いている継続時間が所定の時間閾値未満であることを通知処理部３４へ通知する。また、判定部３２は、継続時間の計時を続けている間に、その継続時間が所定の時間閾値に達すると、ヨー方向におけるドライバの顔の向きが基準方向に対して所定角度以上傾いている継続時間が所定の時間閾値以上であることを通知処理部３４へ通知する。

【0036】

開眼度検出部３３は、顔向き検出部３１から顔領域を表す情報を受け取る度に、その顔領域を含むドライバ画像からドライバの開眼度を検知できるか否か判定する。なお、開眼度検出部３３自体が顔領域検出用の識別器にドライバ画像を入力することで、顔領域を検出してもよい。開眼度検出部３３は、例えば、Sobelフィルタなどのエッジ検出フィルタを適用して顔領域内のエッジ画素を検出する。そして開眼度検出部３３は、エッジ画素が略水平方向に連続する線を検出し、左右それぞれの眼について、顔領域内でその眼が位置すると想定される範囲内で、上下方向に並んだそのような二つの線を、その眼の上瞼及び下瞼として検出する。

【0037】

顔領域からドライバの少なくとも一方の眼の上瞼及び下瞼が検出されると、開眼度検出部３３は、開眼度を検出できたと判定する。そして開眼度検出部３３は、眼の上瞼または下瞼の両端を結ぶ線の長さに対する、上瞼と下瞼間の間隔の最大値の比を開眼度として検出する。なお、開眼度検出部３３は、眼の上瞼または下瞼の両端を結ぶ線の長さの代わりに、顔向き検出部３１により検出された目頭と目尻とを結ぶ線の長さを用いてもよい。ドライバの両方の眼について上瞼と下瞼が検出されている場合には、開眼度検出部３３は、両方の眼のそれぞれについて算出された上記の比の平均値を開眼度としてもよい。また、開眼度検出部３３は、ドライバの顔の向きに応じて、算出した開眼度を補正してもよい。例えば、ヨー方向におけるドライバの顔の向きとドライバモニタカメラ２の光軸方向とがなす角度が大きくなるほど、ドライバモニタ画像上において、目頭と目尻間の距離が短くなるように見える。そこで、開眼度検出部３３は、ヨー方向におけるドライバの顔の向きとドライバモニタカメラ２の光軸方向とがなす角度が大きくなるほど、開眼度が低くなるように開眼度を補正してもよい。また、ピッチ方向におけるドライバの顔の向きとドライバモニタカメラ２の光軸方向とがなす角度が大きくなるほど、ドライバモニタ画像上において、上瞼と下瞼間の間隔が狭くなるように見える。そこで、開眼度検出部３３は、ピッチ方向におけるドライバの顔の向きとドライバモニタカメラ２の光軸方向とがなす角度が大きくなるほど、開眼度が高くなるように開眼度を補正してもよい。

【0038】

一方、開眼度検出部３３は、ドライバの両方の眼について、上瞼と下瞼の何れかまたは両方を検出できない場合、開眼度を検出できないと判定する。

【0039】

また、開眼度検出部３３は、顔領域からドライバの左右それぞれの眼が表された眼領域を検出し、検出された眼領域に基づいて開眼度を検出してもよい。例えば、眼領域を検出するように予め学習された識別器に顔領域を入力することで、開眼度検出部３３は、ドライバの左右それぞれの眼についての眼領域を検出する。開眼度検出部３３は、そのような識別器として、CNN型のアーキテクチャを持つDNNを用いることができる。そしてドライバの少なくとも一方の眼について眼領域が検出されると、開眼度検出部３３は、検出された眼領域の水平方向の長さに対する垂直方向の長さの比を開眼度として検出する。ドライバの両方の眼について眼領域が検出されている場合には、開眼度検出部３３は、両方の眼のそれぞれについて算出された眼領域の水平方向の長さに対する垂直方向の長さの比の平均値を開眼度としてもよい。この場合も、上記の例と同様に、開眼度検出部３３は、ドライバの顔の向きに応じて、算出した開眼度を補正してもよい。

【0040】

開眼度検出部３３は、ドライバの両方の眼について眼領域を検出できない場合、開眼度を検出できないと判定する。

【0041】

開眼度検出部３３は、開眼度が検出できたか否かの判定結果を通知処理部３４へ通知する。さらに、開眼度検出部３３は、開眼度を検出できた場合、検出した開眼度を通知処理部３４へ通知する。

【0042】

通知処理部３４は、ドライバの顔の向きの検出結果に基づいて、所定の通知処理を実施する。本実施形態では、通知処理部３４は、ドライバの顔の向きが基準方向に対して車両のヨー方向において所定角度以上傾いている継続時間が所定の時間閾値未満である場合に限り、通知機器３を介してドライバに対して運転交代要求を通知する。特に、通知処理部３４は、その継続時間が所定の時間閾値未満であり、かつ、ドライバが覚醒していることが確認できない場合に、ドライバに対して運転交代要求を通知する。なお、ヨー方向における、基準方向に対するドライバの顔の向きの傾きが所定角度未満である場合も、上記の継続時間が所定の時間閾値未満であることに含まれる。すなわち、ヨー方向における、基準方向に対するドライバの顔の向きの傾きが所定角度未満であり、かつ、ドライバが覚醒していることが確認できない場合にも、通知処理部３４は、ドライバに対して運転交代要求を通知する。一方、通知処理部３４は、その継続時間が所定の時間閾値以上であれば、ドライバに運転交代要求を通知しない。これは、ヨー方向においてドライバが顔を傾けた姿勢を継続するには、ドライバが覚醒していないと困難であることによる。

【0043】

なお、通知処理部３４は、開眼度検出部３３から開眼度が検出できないとの判定結果を受け取ると、ドライバが覚醒していることを確認できないと判定する。これは、開眼度が検出できない場合、ドライバが眼をどの程度開けているかが不明なためである。

【0044】

また、通知処理部３４は、顔領域またはドライバの顔の向きの検出に失敗したことが顔向き検出部３１から通知されると、ドライバが覚醒していることを確認できないと判定してもよい。

【0045】

さらに、通知処理部３４は、開眼度の時間変化に基づいて、ドライバが覚醒しているか否かを判定してもよい。例えば、開眼度が所定の開眼度閾値未満となる期間が所定時間以上継続すると、通知処理部３４は、ドライバが覚醒していないと判定し、その期間が所定時間未満であれば、ドライバは覚醒していると判定する。そしてドライバが覚醒していないと判定した場合に、通知処理部３４は、通知機器３を介して、ドライバに対して運転交代要求を通知してもよい。

【0046】

また、通知処理部３４は、ドライバの顔の向きが車両１０の車室内に設けられた表示装置の方向を向いているか否かを判定してもよい。なお、表示装置は、通知機器３が有するディスプレイ、あるいは、ナビゲーション装置が有するディスプレイとすることができる。例えば、通知処理部３４は、表示装置の方向に相当する所定の角度範囲にドライバの顔の向きが含まれる場合、ドライバの顔の向きが表示装置を向いていると判定する。そして通知処理部３４は、ドライバの顔の向きが表示装置へ所定期間以上継続して向けられていると、ドライバは覚醒していると判定してもよい。したがって、この場合には、通知処理部３４は、運転交代要求を通知しない。なお、ＥＣＵ４が表示装置または表示装置の制御装置から表示装置に何らかのコンテンツが表示されていることが通知されているときに限り、通知処理部３４は、ドライバの顔の向きが表示装置を向いているか否かでドライバが覚醒しているか否かを判定してもよい。

【0047】

通知処理部３４は、ドライバに対して運転交代要求を通知する場合、通知機器３が有するスピーカに、ドライバに運転の交代を要求する音声信号を発声させる。あるいは、通知処理部３４は、通知機器３が有するディスプレイに、ドライバに運転の交代を要求するメッセージまたはアイコンを表示させる。あるいはまた、通知処理部３４は、ドライバに運転の交代を要求することを示す形式で通知機器３が有する振動子を振動させ、あるいは通知機器３が有する光源を点灯または点滅させる。なお、通知機器３が、上記の機器のうちの二つ以上を有している場合、通知処理部３４は、二つ以上の機器のそれぞれまたは何れかを介して、運転交代要求をドライバに通知してもよい。また、通知処理部３４は、運転交代要求を通知するよりも前に、通知機器３を介して、ドライバに覚醒を促すような警告を通知してもよい。

【0048】

通知処理部３４は、ドライバに対して運転交代要求を通知した後に、ドライバが車両１０の運転を開始すると、運転交代要求の通知処理の実行を停止する。あるいは、通知処理部３４は、ドライバに対して運転交代要求を通知した後に、運転交代要求を通知するための上記の条件が満たされなくなると、運転交代要求の通知処理の実行を停止する。なお、ステアリングに設けられたタッチセンサ（図示せず）を介してドライバがステアリングを保持したことが検知され、かつ、顔向き検出部３１により、ドライバが車両１０の正面方向を向いたことが検知されると、通知処理部３４は、ドライバが車両１０の運転を開始したと判定する。あるいは、顔向き検出部３１により、ドライバが車両１０の正面方向を向いたことが検知され、かつ、アクセルペダルまたはブレーキペダルが操作されたことが検知されると、通知処理部３４は、ドライバが車両１０の運転を開始したと判定してもよい。通知処理部３４は、ドライバが車両１０の運転を開始したと判定すると、そのことを車両制御部３５へ通知する。

【0049】

図４（ａ）及び図４（ｂ）は、本実施形態による、ドライバモニタ処理の概要を説明する図である。図４（ａ）及び図４（ｂ）において、横軸は時間の経過を表す。また、図４（ａ）及び図４（ｂ）では、ドライバ４００は、頭頂部側から見た頭部の外形として図示される。

【0050】

図４（ａ）に示される例では、ドライバ４００のヨー方向における顔の向きと基準方向との角度差θが所定角度Tha以上となっている継続時間P1が時間閾値Th1以上となっている。そのため、ドライバは覚醒していると推定されるので、運転交代要求は通知されない。

【0051】

これに対して、図４（ｂ）に示される例では、ドライバ４００のヨー方向における顔の向きと基準方向との角度差θが所定角度Tha以上となっている継続時間P2は時間閾値Th1未満となっている。そのため、その継続時間P2の終了時点あるいはその後においてドライバの覚醒が確認されないと、ドライバに対して運転交代要求が通知される。

【0052】

車両制御部３５は、ドライバが運転を開始するまでは、車両１０に適用される運転制御レベルに従って車両１０を制御する。車両１０に適用される運転制御レベルが、ドライバが車両１０の運転に関与しない運転制御レベルである場合、車両制御部３５は、車両１０が走行中の自車線に沿って走行するよう、車両１０を制御する。そのために、車両制御部３５は、車外カメラにより生成された画像から自車線と隣接車線とを区画する車線区画線、及び、車両１０の周囲を走行する他の車両といった移動物体を検出する。そして車両制御部３５は、検出された車線区画線と地図情報とを照合することで、車両１０の位置及び姿勢を推定する。そして車両制御部３５は、車両１０の位置及び姿勢の推定結果と、車両１０の周囲の個々の移動物体の検出結果とに基づいて、車両１０が個々の移動物体と衝突せず、かつ、自車線に沿って走行するように車両１０を制御する。

【0053】

また、通知処理部３４からドライバが車両１０の運転を開始したことが通知されると、車両制御部３５は、ドライバに車両１０の制御を移管し、それ以降、ドライバによる操作に従って車両１０を制御する。なお、通知処理部３４がドライバに対する運転交代要求の通知を介してしてから所定時間が経過しても、ドライバが車両１０の運転を開始せず、かつ、運転交代要求を通知するための条件が解消しない場合、車両制御部３５は、車両１０を緊急停車させるように車両１０を制御してもよい。その際、車両制御部３５は、車両１０の位置及び姿勢の推定結果、車両１０の周囲の個々の移動物体の検出結果、及び、地図情報に基づいて、車両１０を路肩に移動させてから停車させてもよい。

【0054】

図５は、プロセッサ２３により実行される、ドライバモニタ処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、車両１０が自動運転制御されている間において、所定の周期ごとに、以下の動作フローチャートに従って車両制御処理を実行すればよい。

【0055】

プロセッサ２３の顔向き検出部３１は、ドライバ画像に基づいてドライバの顔の向きを検出する（ステップＳ１０１）。また、プロセッサ２３の開眼度検出部３３は、ドライバ画像に基づいてドライバの開眼度を検出する（ステップＳ１０２）。

【0056】

プロセッサ２３の判定部３２は、ヨー方向における、ドライバの顔の向きが基準方向に対して所定角度以上傾いている継続時間Pが所定の時間閾値Th1以上継続しているか否か判定する（ステップＳ１０３）。継続時間Pが所定の時間閾値Th1以上である場合（ステップＳ１０３－Ｙｅｓ）、プロセッサ２３の通知処理部３４は、ドライバに対して運転交代要求を通知しないと決定する（ステップＳ１０４）。そしてプロセッサ２３の車両制御部３５は、車両１０の自動運転制御を継続する（ステップＳ１０５）。

【0057】

一方、継続時間Pが所定の時間閾値Th1未満である場合（ステップＳ１０３－Ｎｏ）、通知処理部３４は、開眼度検出部３３により開眼度が検出されたか否か判定する（ステップＳ１０６）。開眼度が検出されなかった場合（ステップＳ１０６－Ｎｏ）、通知処理部３４は、ドライバの覚醒が確認できなかったと判定し、通知機器３を介してドライバに運転交代要求を通知する（ステップＳ１０７）。そして車両制御部３５は、車両１０の制御をドライバへ移管する（ステップＳ１０８）。一方、開眼度が検出された場合（ステップＳ１０６－Ｙｅｓ）、通知処理部３４は、開眼度の時間変化がドライバの覚醒を示しているか否か判定する（ステップＳ１０９）。ドライバの覚醒が示されていると判定した場合（ステップＳ１０９－Ｙｅｓ）、プロセッサ２３は、ステップＳ１０４以降の処理を実行する。一方、ドライバが覚醒していることを確認できなかった場合（ステップＳ１０９－Ｎｏ）、プロセッサ２３は、ステップＳ１０７以降の処理を実行する。

【0058】

ステップＳ１０５またはステップＳ１０８の後、プロセッサ２３は、車両制御処理を終了する。なお、ステップＳ１０１の処理とステップＳ１０２の処理とは並列に実行されてもよく、あるいは、ステップＳ１０２の処理がステップＳ１０１の処理よりも先に実行されてもよい。また、ステップＳ１０２の処理は、ステップＳ１０３の処理と並列、またはステップＳ１０３の処理の後に実行されてもよい。

【0059】

以上に説明してきたように、このドライバモニタ装置は、車両が自動運転制御されている場合において、ドライバの顔の向きが基準方向に対して車両のヨー方向において所定角以上傾いている継続時間が所定の時間閾値以上となるか否か判定する。そしてこのドライバモニタ装置は、その継続時間が所定の時間閾値以上であれば、ドライバが覚醒しているものと推定して、ドライバに運転交代要求を通知しない。このように、このドライバモニタ装置は、ヨー方向におけるドライバの顔の向きを調べることで、ドライバが覚醒しているか否かを精度良く推定することができる。そのため、このドライバモニタ装置は、ドライバの状態を適切に判定するとともに、ドライバに対して無用な通知を行うことを抑制できる。

【0060】

変形例によれば、顔向き検出部３１は、ヨー方向におけるドライバの顔の向きを、ドライバの体の向きとの差として求めてもよい。これは、ドライバが顔の向きと同じ方向に体を傾けている場合には、ドライバがその顔を車両１０の正面方向に対して傾けていても、ドライバの首自体はあまりひねられておらず、ドライバがリラックスした姿勢を保ち、覚醒していない可能性があるためである。

【0061】

この変形例では、ドライバ画像から顔領域を検出する識別器は、ドライバ画像からドライバの左右それぞれの肩も検出するように予め学習される。顔向き検出部３１は、ドライバ画像をその識別器に入力することで、顔領域だけでなく、ドライバの左右それぞれの肩も検出する。そして顔向き検出部３１は、ドライバ画像上での、左右それぞれの肩の垂直方向の位置の差を求め、その差と体の向きとの関係を表す参照テーブルを参照することで、ドライバの体の向きを検出する。すなわち、肩の位置がドライバモニタカメラ２に近いほど、ドライバ画像上で肩は上側に表される。したがって、ドライバ画像上では、ドライバの体が向いている方と反対側の肩の位置がドライバの体が向いている方の肩の位置よりも高くなる。例えば、ドライバの体がドライバモニタカメラ２に対して左側を向いている場合、ドライバ画像上では、右肩の方が左肩よりも上方に位置する。そして体が左側に傾いているほど、ドライバ画像上での右肩と左肩の高さの差は大きくなる。そのため、ドライバ画像上での左右それぞれの肩の高さの差に基づいて、ドライバの体の向きが推定される。なお、そのような参照テーブルは、メモリ２２に予め保存される。あるいは、ドライバ画像から顔領域を検出する識別器は、ドライバ画像からドライバの体の向きを直接検出するように予め学習されてもよい。この場合、顔向き検出部３１は、ドライバ画像をその識別器に入力することで、顔領域だけでなく、ドライバの体の向きも検出できる。

【0062】

ドライバの体の向きが検出されると、顔向き検出部３１は、顔領域に基づいて検出されたヨー方向におけるドライバの顔の向きとドライバの体の向きとの差を、改めて、ヨー方向におけるドライバの顔の向きとすればよい。例えば、顔領域に基づいて、ヨー方向におけるドライバの顔の向きが、車両１０の正面方向よりも左側へ30°傾いた角度として検出され、ドライバの体の向きが、車両１０の正面方向よりも左側へ10°傾いた角度として検出されたとする。この場合、顔向き検出部３１は、ヨー方向におけるドライバの顔の向きを、左側へ20°として検出する。

【0063】

この変形例によれば、ドライバモニタ装置は、ドライバの顔の向きがドライバの体の向きとの差として検出されるので、ドライバの顔の向きに基づくドライバの覚醒の判断をより適切に実行することができる。その結果として、このドライバモニタ装置は、ドライバに対して運転交代要求を通知するか否かをより適切に判断することができる。

【0064】

他の変形例によれば、通知処理部３４は、ピッチ方向、すなわち、上下方向におけるドライバの顔の向きを、運転交代要求を通知するか否かの判断の際に参照してもよい。特に、ドライバが居眠りしている場合、ドライバは俯いていることがある。そこで、通知処理部３４は、ピッチ方向におけるドライバの顔の向きが車両１０の正面方向よりも下方側に所定の俯き角度以上傾いている場合には、ヨー方向におけるドライバの顔の向きによらず、ドライバが覚醒していることを確認できないと判定してもよい。そして通知処理部３４は、ドライバが覚醒していることを確認できなければ、ヨー方向におけるドライバの顔の向きが基準方向に対して所定角度以上傾いている継続時間が所定の時間閾値以上であっても、通知機器３を介してドライバに運転交代要求を通知してもよい。この変形例においても、ドライバモニタ装置は、ドライバに対して運転交代要求を通知するか否かをより適切に判断することができる。

【0065】

さらに他の変形例によれば、ヨー方向における、ドライバの顔の向きが基準方向に対して所定角度以上傾いている継続時間が所定のチラ見判定閾値未満である場合には、通知処理部３４は、ドライバに対して運転交代要求を通知せず、自動運転制御が継続されるようにしてもよい。なお、チラ見判定閾値は、上記の所定の時間閾値よりも短い時間、例えば、1～2秒に設定される。これにより、ドライバが車両１０の正面以外をチラ見したに過ぎない場合にまで運転交代要求がなされることが防止されるので、ドライバの利便性の低下が抑制される。

【0066】

また、上記の実施形態または各変形例において、顔向き検出部３１は、ドライバが眼鏡を装着しているか否かを判定してもよい。そしてドライバが眼鏡を装着していると判定した場合に限り、プロセッサ２３は、上記の実施形態または何れかの変形例に従って、ドライバに対して運転交代要求を通知するか否かを判定すればよい。また、プロセッサ２３は、眼鏡を装着していないと判定した場合には、開眼度の時間変化に基づくドライバの覚醒判定の結果に従って運転交代要求を通知するか否かを判定すればよい。ドライバが眼鏡を装着していると、眼鏡が、ドライバモニタカメラ２が有する光源からの光あるいは車外からの光を反射することで、ドライバ画像からドライバの開眼度を検出することが困難となることがある。これに対して、ドライバが眼鏡を装着していない場合には、比較的容易にドライバ画像からドライバの開眼度を検出でき、その結果として、開眼度に基づいてドライバの覚醒度合いを精度良く判定することが可能となるためである。なお、顔向き検出部３１は、眼鏡の装着の有無を判定するために、顔領域に基づいて眼鏡の装着の有無を判定するように予め学習された識別器に顔領域を入力することで、ドライバが眼鏡を装着しているか否かを判定すればよい。顔向き検出部３１は、そのような識別器として、例えば、CNN型のアーキテクチャを有するDNNを用いることができる。

【0067】

また、上記の実施形態または変形例による、ＥＣＵ４のプロセッサ２３の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

【0068】

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0069】

１ 車両制御システム
２ ドライバモニタカメラ
３ 通知機器
４ 電子制御装置(ドライバモニタ装置)
１０ 車両
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 顔向き検出部
３２ 判定部
３３ 開眼度検出部
３４ 通知処理部
３５ 車両制御部

【図1】

【図2】

【図3】

【図4】

【図5】