特開 2025-12903 ドライバモニタ装置、ドライバモニタ方法及びドライバモニタ用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025012903

(43)【公開日】2025-01-24

(54)【発明の名称】ドライバモニタ装置、ドライバモニタ方法及びドライバモニタ用コンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20250117BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023116084

(22)【出願日】2023-07-14

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】佐野 匡駿

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC14

5H181FF25

5H181FF27

5H181FF33

5H181FF35

5H181LL07

5H181LL08

5H181LL09

5H181LL20

(57)【要約】

【課題】ドライバに対する脇見警告を適切に実行することができるドライバモニタ装置を提供する。
【解決手段】ドライバモニタ装置は、車両１０の周囲の状況を表す車外センサ信号に基づいて車両１０の走行に影響する可能性が有る物体を検出する物体検出部３１と、ドライバが表されたドライバ画像に基づいてドライバの視線方向及びドライバの顔の向きのうち、少なくとも視線方向を検出する向き検出部３２と、視線方向に基づいて、ドライバから検出された物体への物体方向がドライバの周辺視野に相当する周辺視範囲内に含まれるか否か判定する判定部３３と、車両１０に適用中の運転モードまたは車両１０の周囲の状況に基づいて、物体方向が周辺視範囲に含まれる場合における脇見警告条件を設定する設定部３４と、ドライバの顔の向きまたは視線方向が脇見警告条件を満たす場合に通知機器４を介してドライバに対して脇見警告を通知する通知処理部３６とを有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両の周囲の状況を表す車外センサ信号に基づいて前記車両の走行に影響する可能性が有る物体を検出する物体検出部と、
前記車両のドライバが表されたドライバ画像に基づいて前記ドライバの視線方向及び前記ドライバの顔の向きのうち、少なくとも視線方向を検出する向き検出部と、
前記視線方向に基づいて検出された物体への物体方向が前記ドライバの周辺視野に相当する周辺視範囲内に含まれるか否か判定する判定部と、
前記車両に適用中の運転モードまたは前記車両の周囲の状況に基づいて、前記物体方向が前記周辺視範囲に含まれる場合における脇見警告条件を設定する設定部と、
前記ドライバの顔の向き及び視線方向のうちの検出された前記少なくとも一方が前記脇見警告条件を満たす場合に通知機器を介してドライバに対して脇見警告を通知する通知処理部と、
を有するドライバモニタ装置。

【請求項2】

前記設定部は、前記運転モードが前記ドライバによるステアリングの保持を要求しない第１の運転モードである場合における前記脇見警告条件を、前記運転モードが前記ドライバによる前記ステアリングの保持を要求する第２の運転モードである場合における前記脇見警告条件よりも厳しくする、請求項１に記載のドライバモニタ装置。

【請求項3】

前記設定部は、前記運転モードが前記ドライバによるステアリングの保持を要求しない第１の運転モードである場合において、前記物体方向が前記周辺視範囲に含まれるときの前記脇見警告条件を、前記物体方向が前記周辺視範囲から外れるときの前記脇見警告条件よりも厳しくする、請求項１に記載のドライバモニタ装置。

【請求項4】

前記物体検出部は、前記検出された物体が移動中か否かをさらに判定し、
前記設定部は、前記運転モードが前記ドライバによるステアリングの保持を要求しない第１の運転モードであり、かつ、前記物体方向が前記周辺視範囲に含まれる場合において、前記検出された物体が静止中であるときの前記脇見警告条件を、前記検出された物体が移動中であるときの前記脇見警告条件よりも厳しくする、請求項１に記載のドライバモニタ装置。

【請求項5】

車両の周囲の状況を表す車外センサ信号に基づいて前記車両の走行に影響する可能性が有る物体を検出し、
前記車両のドライバが表されたドライバ画像に基づいて前記ドライバの視線方向及び前記ドライバの顔の向きのうち、少なくとも視線方向を検出し、
前記視線方向に基づいて検出された物体への物体方向が前記ドライバの周辺視野に相当する周辺視範囲内に含まれるか否か判定し、
前記車両に適用中の運転モードまたは前記車両の周囲の状況に基づいて、前記物体方向が前記周辺視範囲に含まれる場合における脇見警告条件を設定し、
前記ドライバの顔の向き及び視線方向のうちの検出された前記少なくとも一方が前記脇見警告条件を満たす場合に通知機器を介してドライバに対して脇見警告を通知する、
ことを含むドライバモニタ方法。

【請求項6】

車両の周囲の状況を表す車外センサ信号に基づいて前記車両の走行に影響する可能性が有る物体を検出し、
前記車両のドライバが表されたドライバ画像に基づいて前記ドライバの視線方向及び前記ドライバの顔の向きのうち、少なくとも視線方向を検出し、
前記視線方向に基づいて検出された物体への物体方向が前記ドライバの周辺視野に相当する周辺視範囲内に含まれるか否か判定し、
前記車両に適用中の運転モードまたは前記車両の周囲の状況に基づいて、前記物体方向が前記周辺視範囲に含まれる場合における脇見警告条件を設定し、
前記ドライバの顔の向き及び視線方向のうちの検出された前記少なくとも一方が前記脇見警告条件を満たす場合に通知機器を介してドライバに対して脇見警告を通知する、
ことを前記車両に搭載されたプロセッサに実行させるためのドライバモニタ用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のドライバをモニターするドライバモニタ装置、ドライバモニタ方法及びドライバモニタ用コンピュータプログラムに関する。

【背景技術】

【0002】

ドライバの脇見を検出する技術が提案されている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－１５５５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ドライバが車両の周囲の状況を把握した上で何らかの理由により車両の進行方向をドライバが向いていないことがある。このような場合にまで脇見の警告がなされると、ドライバは煩わしさを感じることがある。

【0005】

そこで、本発明は、ドライバに対する脇見警告を適切に実行することができるドライバモニタ装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの実施形態によれば、ドライバモニタ装置が提供される。このドライバモニタ装置は、車両の周囲の状況を表す車外センサ信号に基づいて車両の走行に影響する可能性が有る物体を検出する物体検出部と、車両のドライバが表されたドライバ画像に基づいてドライバの視線方向及びドライバの顔の向きのうち、少なくとも視線方向を検出する向き検出部と、視線方向に基づいて、検出された物体への物体方向がドライバの周辺視野に相当する周辺視範囲内に含まれるか否か判定する判定部と、車両に適用中の運転モードまたは車両の周囲の状況に基づいて、物体方向が周辺視範囲に含まれる場合における脇見警告条件を設定する設定部と、ドライバの顔の向き及び視線方向のうちの検出された少なくとも一方が脇見警告条件を満たす場合に通知機器を介してドライバに対して脇見警告を通知する通知処理部とを有する。

【0007】

このドライバモニタ装置において、設定部は、運転モードがドライバによるステアリングの保持を要求しない第１の運転モードである場合における脇見警告条件を、運転モードがドライバによるステアリングの保持を要求する第２の運転モードである場合における脇見警告条件よりも厳しくすることが好ましい。

【0008】

また、設定部は、運転モードが第１の運転モードである場合において、物体方向が周辺視範囲に含まれるときの脇見警告条件を、物体方向が周辺視範囲から外れるときの脇見警告条件よりも厳しくすることが好ましい。

【0009】

さらにまた、物体検出部は、検出された物体が移動中か否かをさらに判定し、設定部は、運転モードが第１の運転モードであり、かつ、物体方向が周辺視範囲に含まれる場合において、検出された物体が静止中であるときの脇見警告条件を、検出された物体が移動中であるときの脇見警告条件よりも厳しくすることが好ましい。

【0010】

他の実施形態によれば、ドライバモニタ方法が提供される。このドライバモニタ方法は、車両の周囲の状況を表す車外センサ信号に基づいて車両の走行に影響する可能性が有る物体を検出し、車両のドライバが表された車内画像に基づいてドライバの視線方向及びドライバの顔の向きのうち、少なくとも視線方向を検出し、視線方向に基づいて、ドライバから検出された物体への物体方向がドライバの周辺視野に相当する周辺視範囲内に含まれるか否か判定し、車両に適用中の運転モードまたは車両の周囲の状況に基づいて、物体方向が所定の角度範囲に含まれる場合における脇見警告条件を設定し、ドライバの顔の向き及び視線方向のうちの検出された少なくとも一方が脇見警告条件を満たす場合に通知機器を介してドライバに対して脇見警告を通知する、ことを含む。

【0011】

さらに他の実施形態によれば、ドライバモニタ用コンピュータプログラムが提供される。このドライバモニタ用コンピュータプログラムは、車両の周囲の状況を表す車外センサ信号に基づいて車両の走行に影響する可能性が有る物体を検出し、車両のドライバが表された車内画像に基づいてドライバの視線方向及びドライバの顔の向きのうち、少なくとも視線方向を検出し、視線方向に基づいて、ドライバから検出された物体への物体方向がドライバの周辺視野に相当する所定角度範囲内に含まれるか否か判定し、車両に適用中の運転モードまたは車両の周囲の状況に基づいて、物体方向が周辺視範囲に含まれる場合における脇見警告条件を設定し、ドライバの顔の向き及び視線方向のうちの検出された少なくとも一方が脇見警告条件を満たす場合に通知機器を介してドライバに対して脇見警告を通知することを、車両に搭載されたプロセッサに実行させる命令を含む。

【発明の効果】

【0012】

本開示に係るドライバモニタ装置は、ドライバに対する脇見警告を適切に実行することができるという効果を奏する。

【図面の簡単な説明】

【0013】

【図1】ドライバモニタ装置を含む、車両制御システムの概略構成図である。

【図2】ドライバモニタ装置の一例であるＥＣＵのハードウェア構成図である。

【図3】ＥＣＵのプロセッサの機能ブロック図である。

【図4】（ａ）及び（ｂ）は、それぞれ、脇見警告条件の一例を表す図である。

【図5】ドライバモニタ処理の動作フローチャートである。

【発明を実施するための形態】

【0014】

以下、図を参照しつつ、ドライバモニタ装置、及び、ドライバモニタ装置にて実行されるドライバモニタ方法及びドライバモニタ用コンピュータプログラムについて説明する。このドライバモニタ装置は、ドライバの周辺視野に車両の走行に影響し得る物体が含まれているときの脇見警告の条件を、車両に適用中に運転モードまたは車両周囲の状況に応じて設定する。なお、本実施形態において、脇見とは、ドライバが車両の正面方向、すなわち、車両が前進しているときの車両の進行方向を監視していない状態をいう。

【0015】

図１は、ドライバモニタ装置を含む、車両制御システムの概略構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、少なくとも一つの車外センサ２と、ドライバモニタカメラ３と、通知機器４と、ドライバモニタ装置の一例である電子制御装置(ＥＣＵ)５とを有する。車外センサ２、ドライバモニタカメラ３及び通知機器４とＥＣＵ５とは、互いに通信可能に接続される。

【0016】

車外センサ２は、車両１０の周囲の状況を検知するためのセンサであり、例えば、カメラ、または、レーダあるいはLiDARといった測距センサである。なお、車両１０には、検知範囲あるいは種類の異なる複数の車外センサが設けられてもよい。車外センサ２は、所定の周期ごとに、車両１０の前方領域といった車両１０の周囲の所定の領域の状況を表す車外センサ信号を生成し、生成した車外センサ信号をＥＣＵ５へ出力する。

【0017】

ドライバモニタカメラ３は、車内センサの一例であり、車両１０のドライバシートに着座したドライバの頭部がその撮影対象領域に含まれるように、インストルメントパネルまたはその近傍にドライバへ向けて取り付けられる。ドライバモニタカメラ３は、赤外LEDといった光源を有していてもよい。そしてドライバモニタカメラ３は、所定の撮影周期ごとに、ドライバを撮影することでドライバが写った画像（以下、ドライバ画像と呼ぶ）を生成し、生成したドライバ画像をＥＣＵ５へ出力する。

【0018】

通知機器４は、車両１０の車室内に設けられ、ドライバに対して、光、音声、振動、文字表示あるいは画像表示にて所定の通知を行う機器である。そのために、通知機器４は、例えば、スピーカ、光源、振動子あるいは表示装置の少なくとも何れかを有する。そして通知機器４は、ＥＣＵ５からドライバへの警告を表す通知を受け取ると、スピーカからの音声、光源の発光または点滅、振動子の振動、あるいは、表示装置への警告メッセージの表示により、ドライバへその警告を通知する。

【0019】

ＥＣＵ５は、適用される運転モードにしたがって車両１０を自動運転制御し、あるいは、車両１０のドライバの運転を支援する。さらに、ＥＣＵ５は、脇見警告条件が満たされると、通知機器４を介してドライバに脇見警告を通知する。

【0020】

図２は、ＥＣＵ５のハードウェア構成図である。図２に示されるように、ＥＣＵ５は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

【0021】

通信インターフェース２１は、ＥＣＵ５を車内の他の機器に接続するためのインターフェース回路を有する。通信インターフェース２１は、車内ネットワークを介して車外センサ２またはドライバモニタカメラ３から受け取った車外センサ信号またはドライバ画像をプロセッサ２３へわたす。また、通信インターフェース２１は、プロセッサ２３から受け取った通知信号を、車内ネットワークを介して通知機器４へ出力する。

【0022】

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、プロセッサ２３により実行されるドライバモニタ処理において使用される各種のデータを記憶する。

【0023】

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、ドライバモニタ処理を実行する。

【0024】

図３は、ドライバモニタ処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、向き検出部３２と、判定部３３と、設定部３４と、脇見判定部３５と、通知処理部３６とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。

【0025】

物体検出部３１は、車外センサ２により生成された車外センサ信号に基づいて、車両１０の走行に影響する可能性が有る物体を検出する。車両１０の走行に影響する可能性が有る物体には、例えば、歩行者、二輪車といった車両１０の周辺を走行する他の車両、信号機、及び、一時停止標識といった道路標識が含まれる。また、以下では、車両１０の走行に影響する可能性が有る物体を、対象物体と呼ぶことがある。

【0026】

物体検出部３１は、対象物体を検出するように予め学習された識別器に車外センサ信号を入力することで、そのセンサ信号に表された対象物体を検出するとともに、検出した対象物体の種類を識別する。識別器として、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを有するディープニューラルネットワーク(DNN)、AdaBoostあるいはサポートベクトルマシンといった機械学習手法に基づく識別器が用いられる。

【0027】

さらに、物体検出部３１は、車両１０のドライバから検出した対象物体への方位（以下、物体方向と呼ぶことがある）を特定する。車外センサ２がカメラである場合、物体検出部３１は、カメラにより生成された、車外センサ信号の一例である画像上で対象物体が表された物体領域の重心の位置と対応する方位を、物体方向として特定する。なお、車外センサ２の位置とドライバの位置とは同じではないものの、それらの位置の差は、車両１０から対象物体までの想定される距離と比較して十分小さい。そのため、車外センサ２から対象物体への方位と、ドライバから対象物体への方位との差は無視できるとして物体方向が求められる。この場合、物体検出部３１は、車両１０に対するカメラ２の取り付け位置、撮影方向及び焦点距離といったカメラのパラメータに基づいて、物体領域の重心の位置に対応する方位を特定すればよい。また、車外センサ２が測距センサである場合、物体検出部３１は、測距センサにより生成された、車外センサ信号の他の一例である測距信号において対象物体が検出された方位を、物体方向として特定すればよい。

【0028】

さらにまた、物体検出部３１は、時系列に得られる複数の車外センサ信号のそれぞれにおいて検出された対象物体に対してKLTトラッキングといった所定の追跡手法を適用する。これにより、物体検出部３１は、複数の車外センサ信号において、同一の対象物体同士を関連付ける。さらに、物体検出部３１は、歩行者といった、移動する可能性が有る対象物体について、追跡結果に基づいて移動中か否かを判定する。その際、物体検出部３１は、各車外センサ信号の生成時における対象物体の位置をもとめ、その位置の移動量が所定の移動閾値よりも大きければ、その対象物体は移動していると判定し、一方、その位置の移動量が移動閾値以下であれば、その対象物体は静止していると判定する。なお、車外センサ信号が測距信号である場合、物体検出部３１は、測距信号において対象物体が表されている方位及びその方位における距離と、測距信号生成時の車両１０の位置及び進行方向に基づいて対象物体の位置を推定すればよい。また、車外センサ信号が画像である場合、物体検出部３１は、対象物体が表された領域の下端の位置が、対象物体が路面に接している位置であると仮定して、画像上でのその領域の下端の位置に対応する、車外センサ２であるカメラからの方位と、カメラの設置高さとに基づいて、カメラを基準とする対象物体の位置を推定すればよい。そして物体検出部３１は、画像生成時における車両１０の位置及び進行方向と、カメラを基準とする対象物体の位置に基づいて、対象物体の位置を推定すればよい。なお、車外センサ信号生成時の車両１０の位置として、物体検出部３１は、車両１０に搭載された、GPS受信機といった衛星測位装置（図示せず）により測定された、車外センサ信号生成時の車両１０の位置を用いることができる。また、物体検出部３１は、車外センサ信号生成時の車両１０の進行方向として、車両１０に搭載された方位センサ（図示せず）により測定された、車外センサ信号生成時の車両１０の進行方向を用いることができる。

【0029】

物体検出部３１は、検出した対象物体の数、及び、検出した対象物体ごとに、その対象物体の種類、物体方向、及び、移動しているか否かの判定結果を判定部３３へ通知する。

【0030】

向き検出部３２は、ドライバ画像に基づいて、ドライバの顔の向きと視線方向のうち、少なくとも視線方向を検出する。

【0031】

向き検出部３２は、例えば、ドライバ画像を、画像からドライバの顔を検出するように予め学習された識別器に入力することで、そのドライバ画像上でドライバの顔が写っている領域（以下、顔領域と呼ぶ）を検出するとともに、目尻、目頭、上瞼、下瞼、鼻尖点、口角点等のドライバの顔の複数の特徴点を検出する。その際、向き検出部３２は、画像に表された顔領域及び顔の特徴点を検出するように予め学習された識別器にドライバ画像を入力することで、顔領域及び顔の特徴点を検出する。そのような識別器として、向き検出部３２は、例えば、CNN型のアーキテクチャを持つDNN、サポートベクトルマシンまたはAdaBoost識別器を用いることができる。なお、向き検出部３２は、テンプレートマッチングといった、顔領域及び顔の特徴点を検出する他の手法に従って、ドライバ画像から顔領域及び顔の特徴点を検出してもよい。

【0032】

向き検出部３２は、検出した顔の個々の特徴点を、顔の３次元形状を表す３次元顔モデルにフィッティングする。そして向き検出部３２は、各特徴点が３次元顔モデルに最もフィッティングしたときの３次元顔モデルの顔の向きを、ドライバの顔の向きとして検出する。なお、向き検出部３２は、画像に表された顔の向きを判定する他の手法に従ってドライバ画像に基づいてドライバの顔の向きを検出してもよい。

【0033】

また、向き検出部３２は、ドライバの視線方向を検出するために、ドライバ画像上に表されたドライバの左右それぞれの眼の少なくとも一方について、上瞼と下瞼とで囲まれた領域（以下、眼領域と呼ぶ）から光源の角膜反射像（以下、プルキンエ像と呼ぶ）及び瞳孔の重心（以下、単に瞳孔重心と呼ぶ）を検出する。その際、向き検出部３２は、プルキンエ像のテンプレートと眼領域とのテンプレートマッチングによりプルキンエ像を検出する。同様に、向き検出部３２は、瞳孔のテンプレートと眼領域とのテンプレートマッチングにより瞳孔を検出し、検出した瞳孔が表された領域の重心を瞳孔重心とすればよい。そして向き検出部３２は、プルキンエ像と瞳孔重心間の位置関係をもとめ、その位置関係とドライバの視線方向との関係を表すテーブルを参照することで、ドライバの視線方向を検出する。なお、そのようなテーブルは、メモリ２２に予め記憶されていればよい。

【0034】

向き検出部３２は、検出したドライバの視線方向を判定部３３及び脇見判定部３５へ通知する。また向き検出部３２は、ドライバの顔の向きを検出した場合、検出したドライバの顔の向きを脇見判定部３５へ通知する。

【0035】

判定部３３は、向き検出部３２により検出された最新のドライバの視線方向に基づいて周辺視範囲を設定する。周辺視範囲は、ドライバの視線方向を中心とする中心視可能な範囲の外周に設定される、ドライバの周辺視野に相当する角度範囲として設定される。

【0036】

判定部３３は、対象物体が歩行者といった移動する可能性が有る物体である場合、対象物体が移動中か否かで周辺視範囲を調整してもよい。例えば、判定部３３は、対象物体が移動中である場合における周辺視範囲を、対象物体が静止中である場合における周辺視範囲よりも狭くしてもよい。

【0037】

また、複数の対象物体が検出されている場合、判定部３３は、対象物体ごとに、その対象物体についての物体方向が周辺視範囲に含まれるか否かを判定すればよい。さらに、判定部３３は、複数の対象物体が検出されている場合における周辺視範囲を、検出された対象物体が一つだけである場合における周辺視範囲よりも狭くしてもよい。

【0038】

さらに、判定部３３は、車両１０に搭載された車速センサ（図示せず）により測定された車両１０の速度が速いほど、周辺視範囲を狭くしてもよい。

【0039】

判定部３３は、検出された対象物体ごとに、その対象物体について設定された周辺視範囲とその対象物体についての物体方向とを比較することで、その対象物体についての物体方向が設定した周辺視範囲に含まれるか否か判定する。そして判定部３３は、対象物体への物体方向が周辺視範囲に含まれるか否かの判定結果を設定部３４へ通知する。

【0040】

設定部３４は、脇見警告を通知するか否かを判定するための脇見警告条件を設定する。特に、検出された対象物体への物体方向が周辺視範囲に含まれる場合、設定部３４は、車両１０に適用中の運転モードに基づいて脇見警告条件を設定する。

【0041】

脇見警告は、ドライバが車両１０の進行方向における、車両１０の周囲の状況を監視していないと想定される場合に通知される。そのため、脇見警告条件は、ドライバの顔向きまたは視線方向が、車両１０の正面方向を中心とする所定の角度範囲から外れている期間が所定の時間閾値以上継続することとして設定される。したがって、所定の角度範囲が狭くなるほど、あるいは、時間閾値が短くなるほど、脇見警告条件は緩和され、脇見警告が通知され易くなる。

【0042】

例えば、車両１０に適用される運転モードが、ドライバによるステアリング保持が要求されない第１の運転モードである場合、設定部３４は、対象物体の物体方向が周辺視範囲に含まれるときの第１の脇見警告条件を、その物体方向が周辺視範囲から外れるとき、あるいは、対象物体が検出されていないときの第２の脇見警告条件よりも厳しく設定する。すなわち、第１の脇見警告条件における所定の角度範囲は、第２の脇見警告条件における所定の角度範囲よりも広く設定される。あるいは、第１の脇見警告条件における時間閾値は、第２の脇見警告条件における時間閾値よりも大きい値に設定される。なお、第１の運転モードは、例えば、Society of Automotive Engineers(SAE)の定義によるレベル２の自動運転レベルに準拠した運転モードとすることができる。

【0043】

対象物体の物体方向が周辺視範囲に含まれる場合、ドライバは対象物体を周辺視野にて視認している可能性がある。そこで上記のように第１の脇見警告条件を設定することで、ドライバが対象物体を視認しているときに脇見警告が通知され難くなり、ドライバに煩わしさを感じさせることが抑制される。

【0044】

また、車両１０に適用される運転モードが、ドライバによるステアリング保持が要求される第２の運転モードである場合、設定部３４は、対象物体の物体方向が周辺視範囲に含まれるときの第３の脇見警告条件を、第２の脇見警告条件よりも緩和するよう設定する。すなわち、第３の脇見警告条件における所定の角度範囲は、第２の脇見警告条件における所定の角度範囲よりも狭く設定される。あるいは、第３の脇見警告条件における時間閾値は、第２の脇見警告条件における時間閾値よりも小さい値に設定される。なお、第２の運転モードは、SAEの定義によるレベル０またはレベル１の自動運転レベルに準拠した運転モード、例えば、アダプティブクルーズコントロールまたはレーントレーシングアシストが適用される運転モードとすることができる。

【0045】

この場合、ドライバが対象物体を周辺視野にて視認しているだけでは脇見警告が通知され易くなるので、対象物体を中心視するようドライバを誘導することが可能となる。

【0046】

図４（ａ）及び図４（ｂ）は、それぞれ、脇見警告条件の一例を示す図である。図４（ａ）に示される例では、ドライバのステアリング保持が要求されない第１の運転モードが適用されている。そして対象物体である歩行者４００への物体方向４０１が、ドライバ４１０の視線方向に基づいて設定される周辺視範囲４１１に含まれている。そのため、車両１０の進行方向を含む、脇見と判定されない角度範囲４２１は、歩行者４００といった対象物体が検出されていないときの角度範囲４２２よりも広く設定される。このことから、脇見警告は通知され難くなる。

【0047】

図４（ｂ）に示される例でも、対象物体である歩行者４００への物体方向４０１が、ドライバ４１０の周辺視範囲４１１に含まれている。ただしこの例では、ドライバのステアリング保持が要求される第２の運転モードが適用されている。そのため、脇見と判定されない角度範囲４２３は、対象物体が検出されていないときの角度範囲４２２よりも狭く設定される。このことから、脇見警告は通知され易くなる。

【0048】

また、設定部３４は、車両１０の周囲の状況に基づいて脇見警告条件を設定してもよい。例えば、設定部３４は、検出された対象物体が移動中か否か、あるいは、検出された対象物体の数に応じて脇見警告条件を調整してもよい。この場合、設定部３４は、対象物体が静止中である場合の第１の脇見警告条件を、対象物体が移動中である場合の第１の脇見警告条件よりも厳格化してもよい。これにより、対象物体が移動中であれば、ドライバが周辺視野にて対象物体を視認していても、脇見警告が通知され易くなるので、脇見警告の通知の可否がより適切に判断されることになる。ただし、対象物体が移動中である場合の第１の脇見警告条件は、第２の脇見警告条件よりも厳しいことが好ましい。同様に、設定部３４は、対象物体が移動中である場合の第３の脇見警告条件を、対象物体が静止中である場合の第３の脇見警告条件よりも緩和してもよい。ただし、対象物体が静止中である場合の第３の脇見警告条件は、第２の脇見警告条件よりも緩和されていることが好ましい。

【0049】

さらに、設定部３４は、対象物体が複数検出されている場合の第１の脇見警告条件を、検出された対象物体が一つの場合の第１の脇見警告条件よりも緩和してもよい。ただし、対象物体が複数検出されている場合の第１の脇見警告条件は、第２の脇見警告条件よりも厳しいことが好ましい。同様に、設定部３４は、対象物体が複数検出されている場合の第３の脇見警告条件を、検出された対象物体が一つの場合の第３の脇見警告条件よりも緩和してもよい。ただし、検出された対象物体が一つの場合の第３の脇見警告条件は、第２の脇見警告条件よりも緩和されることが好ましい。なお、複数の対象物体が検出されている場合において、少なくとも一つの対象物体の物体方向が周辺視範囲に含まれていれば、設定部３４は、第１の脇見警告条件または第３の脇見警告条件を適用すればよい。

【0050】

さらに、設定部３４は、車両１０に適用される運転モードが第２の運転モードであるときの第２の脇見警告条件を、車両１０に適用される運転モードが第１の運転モードであるときの第２の脇見警告条件よりも厳格化してもよい。例えば、設定部３４は、車両１０に適用される運転モードが第２の運転モードであるときの第２の脇見警告条件における時間閾値を、車両１０に適用される運転モードが第１の運転モードであるときの第２の脇見警告条件における時間閾値よりも大きい値に設定する。これにより、第２の運転モードが適用されているときにおいて、ドライバの煩わしさがより軽減される。

【0051】

設定部３４は、設定した脇見警告条件を脇見判定部３５に通知する。

【0052】

脇見判定部３５は、ドライバの顔の向きまたは視線方向が脇見警告条件を満たすか否か判定する。上記のように、脇見判定部３５は、ドライバの顔向きまたは視線方向のうちの検出された方が、車両１０の正面方向を中心とする所定の角度範囲から外れている期間が所定の時間閾値以上継続していれば、脇見警告条件が満たされたと判定する。

【0053】

脇見判定部３５は、脇見警告条件が満たされたか否かの判定結果を通知処理部３６へ通知する。

【0054】

通知処理部３６は、脇見判定部３５から脇見警告条件が満たされたことが通知されると、通知機器４を介して、ドライバに対して脇見警告を通知する。例えば、通知処理部３６は、通知機器４が有するスピーカに、ドライバに脇見を警告する音声信号あるいは警告音を発声させる。あるいは、通知処理部３６は、通知機器４が有する表示装置に、脇見を警告する警告メッセージまたはアイコンを表示させる。あるいはまた、通知処理部３６は、通知機器４が有する振動子を振動させ、あるいは、光源を点灯または点滅させる。

【0055】

通知処理部３６は、通知機器４を介してドライバへ脇見警告を通知した後に、脇見判定部３５から脇見警告条件が満たされなくなったとの判定結果を受け取ると、脇見警告の通知を停止する。

【0056】

図５は、プロセッサ２３により実行される、ドライバモニタ処理の動作フローチャートである。物体検出部３１は、車外センサ２により生成された車外センサ信号に基づいて対象物体を検出する（ステップＳ１０１）。向き検出部３２は、ドライバモニタカメラ３により生成されたドライバ画像に基づいて、ドライバの顔の向き及び視線方向のうち、少なくとも視線方向を検出する（ステップＳ１０２）。

【0057】

判定部３３は、検出されたドライバの視線方向に基づいて周辺視範囲を設定する（ステップＳ１０３）。そして判定部３３は、対象物体への物体方向が周辺視範囲に含まれるか否か判定する（ステップＳ１０４）。

【0058】

対象物体への物体方向が周辺視範囲に含まれる場合（ステップＳ１０４－Ｙｅｓ）、設定部３４は、車両１０に適用される運転モードまたは車両１０の周囲の状況に応じて、第１または第３の脇見警告条件を設定する（ステップＳ１０５）。一方、対象物体への物体方向が周辺視範囲に含まれない場合（ステップＳ１０４－Ｎｏ）、設定部３４は、第２の脇見警告条件を設定する（ステップＳ１０６）。

【0059】

脇見判定部３５は、ドライバの顔の向きまたは視線方向が設定された脇見警告条件を満たすか否か判定する（ステップＳ１０７）。脇見警告条件が満たされる場合（ステップＳ１０７－Ｙｅｓ）、通知処理部３６は、通知機器４を介して、ドライバに対して脇見警告を通知する（ステップＳ１０８）。

【0060】

ステップＳ１０８の後、あるいは、ステップＳ１０７にて脇見警告条件が満たされない場合（ステップＳ１０７－Ｎｏ）、プロセッサ２３は、ドライバモニタ処理を終了する。

【0061】

以上に説明してきたように、このドライバモニタ装置は、検出された対象物体がドライバの周辺視野に含まれる場合における脇見警告条件を、運転モードなどに応じて調整するので、ドライバが煩わしさを感じないように、ドライバに対して脇見警告を適切に実行することができる。

【0062】

なお、脇見警告の通知を開始してから第１の猶予期間が経過しても、脇見警告条件が充足された状態が継続する場合、通知処理部３６は、警告の強度を高くしてもよい。例えば、通知処理部３６は、スピーカから発する脇見警告の音声を大きくしてもよい。あるいは、通知処理部３６は、脇見警告を発する機器の数を増やしてもよい。さらに、脇見警告の通知を開始してから、第１の猶予期間よりも長い第２の猶予期間が経過しても、脇見警告条件が充足された状態が継続する場合、プロセッサ２３は、車両１０を減速または停車させるよう、車両１０の各部を制御してもよい。

【0063】

また、同一の対象物体がドライバの周辺視野に留まり続けているほど、ドライバはその対象物体を周辺視野で捉えている可能性が高いと考えられる。このことから、設定部３４は、同一の対象物体への物体方向が周辺視範囲内に含まれる継続期間が長くなるほど、あるいは、その継続期間が所定の切替閾値を超えると、脇見警告条件を厳しくするように脇見警告条件を調整してもよい。

【0064】

他の変形例によれば、設定部３４は、車両１０から車両１０が走行可能な道路領域の端までの横距離が大きいほど、脇見警告条件を厳しくしてもよい。この場合、設定部３４は、車両１０に搭載された衛星測位装置（図示せず）により測位された車両１０の現在位置と、個々の道路の道路幅に関する情報を含む、いわゆる高精度地図とを参照することで、横距離を求めればよい。あるいは、設定部３４は、車外センサ２の一例であるカメラにより生成された車両１０の周囲の画像と高精度地図とを照合することで車両１０の現在位置を推定し、その推定位置に基づいて横距離を求めてもよい。

【0065】

上記の実施形態または変形例によるドライバモニタ処理を実現するコンピュータプログラムは、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

【0066】

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0067】

１ 車両制御システム
２ 車外センサ
３ ドライバモニタカメラ
４ 通知機器
５ 電子制御装置(ドライバモニタ装置)
１０ 車両
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 向き検出部
３３ 判定部
３４ 設定部
３５ 脇見判定部
３６ 通知処理部

【図1】

【図2】

【図3】

【図4】

【図5】