特開 2024-112079 ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112079

(43)【公開日】2024-08-20

(54)【発明の名称】ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240813BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023016924

(22)【出願日】2023-02-07

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100180194

【弁理士】

【氏名又は名称】利根 勇基

(72)【発明者】

【氏名】佐野 匡駿

(72)【発明者】

【氏名】根本 広海

(72)【発明者】

【氏名】津川 優太郎

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181CC12

5H181LL20

(57)【要約】

【課題】ドライバの脇見に対して警告を通知する場合に、不要な警告を抑制する。
【解決手段】ドライバ監視装置は、車両３０のドライバの顔を撮影する撮像装置によって生成された画像に基づいて、ドライバが脇見をしているか否かを所定の判定基準により判定する判定部２５と、ドライバが脇見をしていると判定された場合に、ドライバに警告を通知する通知部２６と、車両に搭載された非常点滅表示灯１１が点灯しているときには、判定基準を変更する変更部２７とを有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両のドライバの顔を撮影する撮像装置によって生成された画像に基づいて、前記ドライバが脇見をしているか否かを所定の判定基準により判定する判定部と、
前記ドライバが脇見をしていると判定された場合に、前記ドライバに警告を通知する通知部と、
前記車両に搭載された非常点滅表示灯が点灯しているときには、前記判定基準を変更する変更部と
を有する、ドライバ監視装置。

【請求項2】

前記判定部は、前記画像に基づいて前記ドライバの顔向き又は視線の角度を検出し、前記角度が所定の脇見判定条件を満たす場合に前記ドライバが脇見をしていると判定し、
前記変更部は、前記非常点滅表示灯が点灯しているときには、前記脇見判定条件を変更する、請求項１に記載のドライバ監視装置。

【請求項3】

前記脇見判定条件は、前記角度が閾値時間以上閾値範囲外であることであり、
前記変更部は、前記非常点滅表示灯が点灯しているときには、前記閾値時間を長くし又は前記閾値範囲を広くする、請求項２に記載のドライバ監視装置。

【請求項4】

前記変更部は、前記非常点滅表示灯が点灯しているときには、前記ドライバが脇見をしているか否かが判定されないように前記判定基準を変更する、請求項１に記載のドライバ監視装置。

【請求項5】

前記変更部は、前記非常点滅表示灯が点灯しているときには、前記車両の位置情報及び周辺情報の少なくとも一方に基づいて前記判定基準を変更する、請求項１から４のいずれか１項に記載のドライバ監視装置。

【請求項6】

前記変更部は、前記車両が自動車専用道路を走行している場合には、前記車両が自動車専用道路を走行していない場合と比べて、前記ドライバが脇見をしていると判定されにくくなるように前記判定基準を変更する、請求項５に記載のドライバ監視装置。

【請求項7】

前記変更部は、前記車両の周囲に位置する周辺車両の数が多い場合には、前記周辺車両の数が少ない場合と比べて、前記ドライバが脇見をしていると判定されにくくなるように前記判定基準を変更する、請求項５に記載のドライバ監視装置。

【請求項8】

前記変更部は、前記車両の前方に静止物体が存在する場合には、前記車両の前方に静止物体が存在しない場合と比べて、前記ドライバが脇見をしていると判定されにくくなるように前記判定基準を変更する、請求項５に記載のドライバ監視装置。

【請求項9】

コンピュータにより実行されるドライバ監視方法であって、
車両のドライバの顔を撮影する撮像装置によって生成された画像に基づいて、前記ドライバが脇見をしているか否かを所定の判定基準により判定することと、
前記ドライバが脇見をしていると判定された場合に、前記ドライバに警告を通知することと、
前記車両に搭載された非常点滅表示灯が点灯しているときには、前記判定基準を変更することと
を含む、ドライバ監視方法。

【請求項10】

車両のドライバの顔を撮影する撮像装置によって生成された画像に基づいて、前記ドライバが脇見をしているか否かを所定の判定基準により判定することと、
前記ドライバが脇見をしていると判定された場合に、前記ドライバに警告を通知することと、
前記車両に搭載された非常点滅表示灯が点灯しているときには、前記判定基準を変更することと
をコンピュータに実行させる、ドライバ監視用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１には、ドライバを撮像するＣＣＤカメラの画像に基づいてドライバが脇見状態であると判定された場合には、ドライバに対してブザー音などで警告を発することが記載されている。

【0003】

特許文献２には、車両がハンドル操作状態、後進状態又は停車状態であるときには、ドライバが脇見をしていないと判定することが記載されている。

【0004】

特許文献３には、方向指示器の動作期間において、ドライバの脇見を判定するための判定条件を一時的に切り替えることが記載されている。

【0005】

特許文献４には、ドライバが意図的に通行区分を変更しようとすることを表す条件が成立せず且つ車両が実線の区分線に接近していると判断されたときに、車両が通行区分を逸脱するおそれがあると判定し、ドライバが意図的に通行区分を変更しようとすることを表す条件が成立するか否かをウインカ及びハザードランプの点灯状態に基づいて判断することが記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平０３－１６７６９８号公報

【特許文献2】特開平０６－２４３３６７号公報

【特許文献3】特開２０１９－０９１２７５号公報

【特許文献4】特開２０００－０２０８９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載されているようにドライバの脇見に対して警告を通知することによって、ドライバに前方への注意を促すことができ、ひいては車両の安全性を高めることができる。

【0008】

しかしながら、車両において非常点滅表示灯が点灯されるような状況では、ドライバは周辺の状況を把握するために横方向を見る必要がある。斯かる適切な行為に対して警告が通知されると、ドライバによる周辺状況の把握が妨げられ、又はドライバが警告を不快に感じるおそれがある。

【0009】

そこで、上記課題に鑑みて、本発明の目的は、ドライバの脇見に対して警告を通知する場合に、不要な警告を抑制することにある。

【課題を解決するための手段】

【0010】

本開示の要旨は以下のとおりである。

【0011】

（１）車両のドライバの顔を撮影する撮像装置によって生成された画像に基づいて、前記ドライバが脇見をしているか否かを所定の判定基準により判定する判定部と、前記ドライバが脇見をしていると判定された場合に、前記ドライバに警告を通知する通知部と、前記車両に搭載された非常点滅表示灯が点灯しているときには、前記判定基準を変更する変更部とを有する、ドライバ監視装置。

【0012】

（２）前記判定部は、前記画像に基づいて前記ドライバの顔向き又は視線の角度を検出し、前記角度が所定の脇見判定条件を満たす場合に前記ドライバが脇見をしていると判定し、前記変更部は、前記非常点滅表示灯が点灯しているときには、前記脇見判定条件を変更する、上記（１）に記載のドライバ監視装置。

【0013】

（３）前記脇見判定条件は、前記角度が閾値時間以上閾値範囲外であることであり、前記変更部は、前記非常点滅表示灯が点灯しているときには、前記閾値時間を長くし又は前記閾値範囲を広くする、上記（２）に記載のドライバ監視装置。

【0014】

（４）前記変更部は、前記非常点滅表示灯が点灯しているときには、前記ドライバが脇見をしているか否かが判定されないように前記判定基準を変更する、上記（１）に記載のドライバ監視装置。

【0015】

（５）前記変更部は、前記非常点滅表示灯が点灯しているときには、前記車両の位置情報及び周辺情報の少なくとも一方に基づいて前記判定基準を変更する、上記（１）から（４）のいずれか１つに記載のドライバ監視装置。

【0016】

（６）前記変更部は、前記車両が自動車専用道路を走行している場合には、前記車両が自動車専用道路を走行していない場合と比べて、前記ドライバが脇見をしていると判定されにくくなるように前記判定基準を変更する、上記（５）に記載のドライバ監視装置。

【0017】

（７）前記変更部は、前記車両の周囲に位置する周辺車両の数が多い場合には、前記周辺車両の数が少ない場合と比べて、前記ドライバが脇見をしていると判定されにくくなるように前記判定基準を変更する、上記（５）に記載のドライバ監視装置。

【0018】

（８）前記変更部は、前記車両の前方に静止物体が存在する場合には、前記車両の前方に静止物体が存在しない場合と比べて、前記ドライバが脇見をしていると判定されにくくなるように前記判定基準を変更する、上記（５）に記載のドライバ監視装置。

【0019】

（９）コンピュータにより実行されるドライバ監視方法であって、車両のドライバの顔を撮影する撮像装置によって生成された画像に基づいて、前記ドライバが脇見をしているか否かを所定の判定基準により判定することと、前記ドライバが脇見をしていると判定された場合に、前記ドライバに警告を通知することと、前記車両に搭載された非常点滅表示灯が点灯しているときには、前記判定基準を変更することとを含む、ドライバ監視方法。

【0020】

（１０）車両のドライバの顔を撮影する撮像装置によって生成された画像に基づいて、前記ドライバが脇見をしているか否かを所定の判定基準により判定することと、前記ドライバが脇見をしていると判定された場合に、前記ドライバに警告を通知することと、前記車両に搭載された非常点滅表示灯が点灯しているときには、前記判定基準を変更することとをコンピュータに実行させる、ドライバ監視用コンピュータプログラム。

【発明の効果】

【0021】

本発明によれば、ドライバの脇見に対して警告を通知する場合に、不要な警告を抑制することができる。

【図面の簡単な説明】

【0022】

【図1】図１は、本発明の第一実施形態に係るドライバ監視装置を含む車両制御システムの概略的な構成図である。

【図2】図２は、ドライバモニタカメラが設けられた車両の内部を概略的に示す図である。

【図3】図３は、第一実施形態におけるＥＣＵのプロセッサの機能ブロック図である。

【図4】図４は、本発明の第一実施形態における判定基準設定処理の制御ルーチンを示すフローチャートである。

【図5】図５は、本発明の第一実施形態における警告処理の制御ルーチンを示すフローチャートである。

【図6】図６は、本発明の第二実施形態における判定基準設定処理の制御ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

【0024】

＜第一実施形態＞
以下、図１～図５を参照して、本発明の第一実施形態について説明する。図１は、本発明の第一実施形態に係るドライバ監視装置を含む車両制御システム１の概略的な構成図である。車両制御システム１は、車両に搭載され、車両の各種制御を実行する。

【0025】

図１に示されるように、車両制御システム１は、ドライバモニタカメラ２、周辺情報検出装置３、ＧＮＳＳ（Global Navigation Satellite System）受信機４、地図データベース５、ナビゲーション装置６、車両挙動検出装置７、アクチュエータ８、ヒューマンマシンインタフェース（ＨＭＩ：Human Machine Interface）９、通信装置１０、非常点滅表示灯１１及び電子制御ユニット（ＥＣＵ：Electronic Control Unit）２０を備える。ドライバモニタカメラ２、周辺情報検出装置３、ＧＮＳＳ受信機４、地図データベース５、ナビゲーション装置６、車両挙動検出装置７、アクチュエータ８、ＨＭＩ９、通信装置１０及び非常点滅表示灯１１は、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワーク等を介してＥＣＵ２０に電気的に接続される。

【0026】

ドライバモニタカメラ２は、車両のドライバの顔を撮影し、ドライバの顔が表された画像を生成する。ドライバモニタカメラ２の出力、すなわちドライバモニタカメラ２によって生成された画像はＥＣＵ２０に送信される。以下、ドライバモニタカメラ２の構成の具体例について説明する。

【0027】

ドライバモニタカメラ２はカメラ及び投光器を有する。カメラは、レンズ及び撮像素子から構成され、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。投光器は、ＬＥＤ（発光ダイオード）であり、例えばカメラの両側に配置された二個の近赤外ＬＥＤである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができる。また、近赤外以外の波長成分の光を除去するするバンドパスフィルタがカメラの内部に設けられ、近赤外ＬＥＤから照射される赤色波長成分の光を除去する可視光カットフィルタが投光器の前面に設けられてもよい。

【0028】

図２は、ドライバモニタカメラ２が設けられた車両３０の内部を概略的に示す図である。ドライバモニタカメラ２は、車両３０のドライバの撮影するように車両３０の車室内に設けられる。例えば、図２に示されるように、ドライバモニタカメラ２は車両３０のステアリングコラム３１の上部に設けられる。図２には、ドライバモニタカメラ２の投影範囲が破線で示されている。なお、ドライバモニタカメラ２は、車両３０のステアリングホイール３２、ルームミラー、メータパネル、メータフード等に設けられてもよい。ドライバモニタカメラ２は、ドライバの顔を撮影する撮像装置の一例である。

【0029】

周辺情報検出装置３は、車両３０の周囲のデータ（画像、点群データ等）を取得し、車両３０の周辺情報（例えば、周辺車両、車線、歩行者、自転車、信号機、標識等）を検出する。例えば、周辺情報検出装置３は、カメラ（単眼カメラ又はステレオカメラ）、ミリ波レーダ、ライダ（ＬＩＤＡＲ：Laser Imaging Detection And Ranging））、若しくは超音波センサ（ソナー）、又はこれらの任意の組み合わせを含む。なお、周辺情報検出装置３は、照度センサ、レインセンサ等を更に含んでいてもよい。周辺情報検出装置３の出力、すなわち周辺情報検出装置３によって検出された車両３０の周辺情報はＥＣＵ２０に送信される。

【0030】

ＧＮＳＳ受信機４は、複数（例えば３つ以上）の測位衛星から得られる測位情報に基づいて、車両３０の現在位置（例えば車両３０の緯度及び経度）を検出する。具体的には、ＧＮＳＳ受信機４は、複数の測位衛星を捕捉し、測位衛星から発信された電波を受信する。そして、ＧＮＳＳ受信機４は、電波の発信時刻と受信時刻との差に基づいて測位衛星までの距離を算出し、測位衛星までの距離及び測位衛星の位置（軌道情報）に基づいて車両３０の現在位置を検出する。ＧＮＳＳ受信機４の出力、すなわちＧＮＳＳ受信機４によって検出された車両３０の現在位置はＥＣＵ２０に送信される。ＧＰＳ（Global Positioning System）受信機はＧＮＳＳ受信機の一例である。

【0031】

地図データベース５は地図情報を記憶している。ＥＣＵ２０は地図データベース５から地図情報を取得する。なお、地図データベースが車両３０の外部（例えばサーバ等）に設けられ、ＥＣＵ２０は車両３０の外部から地図情報を取得してもよい。

【0032】

ナビゲーション装置６は、ＧＮＳＳ受信機４によって検出された車両３０の現在位置、地図データベース５の地図情報、車両３０の乗員（例えばドライバ）による入力等に基づいて、目的地までの車両３０の走行ルートを設定する。ナビゲーション装置６によって設定された走行ルートはＥＣＵ２０に送信される。

【0033】

車両挙動検出装置７は車両３０の挙動情報を検出する。車両挙動検出装置７は、例えば、車両３０の速度を検出する車速センサ、車両３０のヨーレートを検出するヨーレートセンサ等を含む。車両挙動検出装置７の出力、すなわち車両挙動検出装置７によって検出された車両の挙動情報はＥＣＵ２０に送信される。

【0034】

アクチュエータ８は車両３０を動作させる。例えば、アクチュエータ８は、車両３０の加速のための駆動装置（例えば内燃機関及び電動機の少なくとも一方）、車両３０の制動（減速）のためのブレーキアクチュエータ、車両３０の操舵のための操舵アクチュエータ等を含む。ＥＣＵ２０はアクチュエータ８を制御して車両３０の挙動を制御する。

【0035】

ＨＭＩ９は車両３０と車両３０の乗員（例えばドライバ）との間で情報の伝達を行う。ＨＭＩ９は、車両３０の乗員に情報を提供する出力部（例えば、ディスプレイ、スピーカ、光源、振動ユニット等）と、車両３０の乗員によって情報が入力される入力部（例えば、タッチパネル、操作ボタン、操作スイッチ、マイクロフォン等）とを有する。ＥＣＵ２０の出力はＨＭＩ９を介して車両３０の乗員に通知され、車両３０の乗員からの入力はＨＭＩ９を介してＥＣＵ２０に送信される。なお、車両３０の乗員の入出力端末（スマートフォン、タブレット端末等）が、有線又は無線によってＥＣＵ２０と通信可能に接続され、ＨＭＩ９として機能してもよい。また、ＨＭＩ９はナビゲーション装置６と一体であってもよい。ＨＭＩ９は、入力装置、出力装置又は入出力装置の一例である。

【0036】

通信装置１０は、車両３０の外部と通信可能であり、車両３０と車両３０の外部との通信を可能とする。例えば、通信装置１０は、キャリア網及びインターネット網のような通信ネットワークを介して車両３０と車両３０の外部（例えばサーバ）との広域無線通信を可能とする広域無線通信モジュールを含む。ＥＣＵ２０は通信装置１０を介して車両３０の外部と通信する。

【0037】

非常点滅表示灯１１は、周辺車両のドライバ等に注意を促す目的で、車両３０のドライバによって手動で点灯され又はＥＣＵ２０によって自動的に点灯される。非常点滅表示灯１１はハザードランプとも称される。非常点滅表示灯１１の点灯状態はＥＣＵ２０に送信される。

【0038】

ＥＣＵ２０は車両の各種制御を実行する。図１に示されるように、ＥＣＵ２０は、通信インターフェース２１、メモリ２２及びプロセッサ２３を備える。通信インターフェース２１及びメモリ２２は信号線を介してプロセッサ２３に接続されている。なお、本実施形態では、一つのＥＣＵ２０が設けられているが、機能毎に複数のＥＣＵが設けられていてもよい。

【0039】

通信インターフェース２１は、ＥＣＵ２０を車内ネットワークに接続するためのインターフェース回路を有する。ＥＣＵ２０は通信インターフェース２１を介して他の車載機器に接続される。

【0040】

メモリ２２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３によって各種処理が実行されるときに使用されるプログラム、データ等を記憶する。

【0041】

プロセッサ２３は、一つ又は複数のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。なお、プロセッサ２３は、論理演算ユニット又は数値演算ユニットのような演算回路を更に有していてもよい。

【0042】

本実施形態では、ドライバによる車両３０の運転を支援する運転支援機能が車両３０に搭載されている。車両３０に搭載された運転支援機能は例えば高度運転支援技術（アドバンスドドライブ）である。高度運転支援技術は、ドライバによる監視の下、自動車専用道路における車両３０の走行を自動的に制御する運転支援機能である。したがって、高度運転支援技術が作動されると、ＥＣＵ２０はアクチュエータ８等を用いて車両３０の自律走行を実施する。

【0043】

運転支援機能の作動時のようにドライバに監視義務が課されているときには、ドライバの状態を監視して必要に応じてドライバに警告を通知する必要がある。また、車両３０の加速、減速（制動）及び操舵の全てがドライバによって操作される手動運転が実施されている場合であっても、ドライバが適切に周辺確認を行っているか否かを監視することが望ましい。

【0044】

本実施形態では、車両３０に設けられたＥＣＵ２０が、車両３０のドライバを監視するドライバ監視装置として機能する。図３は、第一実施形態におけるＥＣＵ２０のプロセッサ２３の機能ブロック図である。本実施形態では、プロセッサ２３は、判定部２５、通知部２６及び変更部２７を有する。判定部２５、通知部２６及び変更部２７は、ＥＣＵ２０のメモリ２２に記憶されたコンピュータプログラムをＥＣＵ２０のプロセッサ２３が実行することによって実現される機能モジュールである。なお、これら機能モジュールは、それぞれ、プロセッサ２３に設けられた専用の演算回路によって実現されてもよい。

【0045】

判定部２５は、ドライバモニタカメラ２によって生成された画像（以下、「監視画像」と称する）に基づいて、ドライバが脇見をしているか否かを所定の判定基準により判定する。通知部２６は、判定部２５によってドライバが脇見をしていると判定された場合に、ドライバに警告を通知する。このことによって、ドライバに前方への注意を促すことができ、ひいては車両３０の安全性を高めることができる。

【0046】

しかしながら、車両３０において非常点滅表示灯１１が点灯されるような状況では、ドライバは周辺の状況を把握するために横方向を見る必要がある。斯かる適切な行為に対して警告が通知されると、ドライバによる周辺状況の把握が妨げられ、又はドライバが警告を不快に感じるおそれがある。

【0047】

そこで、本実施形態では、変更部２７は、非常点滅表示灯１１が点灯しているときには、脇見を検知するための上記判定基準を変更する。このことによって、ドライバの脇見を適切に検知することができ、ドライバへの不要な警告を抑制することができる。本実施形態では、判定部２５は、監視画像に基づいてドライバの顔向き又は視線の角度を検出し、この角度が所定の脇見判定条件を満たす場合にドライバが脇見をしていると判定し、変更部２７は、非常点滅表示灯１１が点灯しているときには、脇見判定条件を変更する。

【0048】

判定部２５は、例えば、監視画像と、ドライバが正面を向いているときの顔形状データとのマッチングを行うことによってドライバの顔向きの角度を検出する。具体的には、判定部２５は、両者の一致率が最大となるように監視画像を回転させ、一致率が最大となるときの回転角度をドライバの顔向きの角度として検出する。顔形状データはＥＣＵ２０のメモリ２２又は他の記憶装置に予め記憶されている。顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。

【0049】

なお、判定部２５は、監視画像と、ドライバの顔向きが異なる複数の顔形状データとのマッチングを行うことによってドライバの顔向きの角度を検出してもよい。この場合、判定部２５は、両者の一致率が最大となる顔形状データの顔向きをドライバの顔向きの角度として検出する。複数の顔形状データはＥＣＵ２０のメモリ２２又は他の記憶装置に予め記憶されている。複数の顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。

【0050】

また、判定部２５は、例えば、以下の方法によってドライバの視線の角度を検出する。まず、判定部２５は、監視画像から顔領域を特定し、眼、鼻、口等の顔部品の特徴点を抽出することによって顔部品を検出する。次いで、判定部２５は、プルキニエ像（角膜反射像）の位置と瞳孔中心の位置とを検出し、プルキニエ像と瞳孔中心との位置関係に基づいてドライバの視線の角度を検出する。なお、判定部２５は、プルキニエ像と瞳孔中心との位置関係と、検出されたドライバの顔向きの角度とに基づいてドライバの視線の角度を検出してもよい。

【0051】

また、判定部２５は他の手法によってドライバの顔向き又は視線の角度を検出してもよい。例えば、判定部２５は、監視画像の画像データからドライバの顔向き又は視線の角度を出力するように予め学習された識別器を用いてドライバの顔向き又は視線の角度を検出する。斯かる識別器の一例として、ニューラルネットワーク、サポートベクターマシン、ランダムフォレスト等の機械学習モデルが挙げられる。

【0052】

本実施形態では、脇見判定条件は、ドライバの顔向き又は視線の角度が閾値時間以上閾値範囲外であることである。すなわち、判定部２５は、ドライバの顔向き又は視線の角度が閾値時間以上閾値範囲外である場合に、ドライバが脇見をしていると判定する。この場合、変更部２７は、非常点滅表示灯１１が点滅しているときには、閾値時間を長くし又は閾値範囲を広くする。

【0053】

以下、図４及び図５を参照して、上述した制御について詳細に説明する。図４は、本発明の第一実施形態における判定基準設定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、ＥＣＵ２０のプロセッサ２３によって所定の実行間隔で繰り返し実行される。

【0054】

最初に、ステップＳ１０１において、プロセッサ２３の変更部２７は、車両３０に搭載された非常点滅表示灯１１が点灯しているか否かを判定する。非常点滅表示灯１１が点灯していないと判定された場合、本制御ルーチンはステップＳ１０２に進む。

【0055】

ステップＳ１０２では、変更部２７は、ドライバが脇見をしているか否かを判定するための判定基準を初期化する。すなわち、変更部２７は、予め設定された条件に判定基準を設定する。例えば、変更部２７は閾値時間及び閾値範囲を初期値に設定する。なステップＳ１０２の後、本制御ルーチンは終了する。

【0056】

一方、ステップＳ１０１において非常点滅表示灯１１が点灯していると判定された場合、本制御ルーチンはステップＳ１０３に進む。ステップＳ１０３では、変更部２７は判定基準を初期値から変更する。具体的には、変更部２７は、ドライバが脇見をしていると判定されにくくなるように判定基準を変更する。例えば、変更部２７は、判定基準の変更対象が閾値範囲である場合には閾値範囲を広くし、判定基準の変更対象が閾値時間である場合には閾値時間を長くする。なお、変更部２７は上下方向の閾値範囲を広くすることなく左右方向の閾値範囲のみを広くしてもよい。ステップＳ１０３の後、本制御ルーチンは終了する。

【0057】

図５は、本発明の第一実施形態における警告処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、ＥＣＵ２０のプロセッサ２３によって所定の実行間隔で繰り返し実行される。

【0058】

最初に、ステップＳ２０１において、プロセッサ２３の判定部２５は監視画像を取得する。監視画像はドライバモニタカメラ２によって所定の撮影周期（例えば１／３０秒～１／１０秒）で繰り返し生成され、判定部２５はドライバモニタカメラ２から監視画像を取得する。

【0059】

次いで、ステップＳ２０２において、判定部２５は、上述したような方法によって監視画像に基づいてドライバの顔向き又は視線の角度を検出する。

【0060】

次いで、ステップＳ２０３において、判定部２５は、ドライバの顔向き又は視線の角度が脇見判定条件を満たすか否かを判定する。本実施形態では、判定部２５は、ドライバの顔向き又は視線の角度が閾値時間以上閾値範囲外である場合に、ドライバの顔向き又は視線の角度が脇見判定条件を満たすと判定する。このとき、閾値時間及び閾値範囲として、図４の制御ルーチンにおいて設定された値が用いられる。ステップＳ２０３において角度が脇見判定条件を満たさないと判定された場合、本制御ルーチンは終了する。

【0061】

一方、ステップＳ２０３において角度が脇見判定条件を満たすと判定した場合、本制御ルーチンはステップＳ２０４に進む。ステップＳ２０４では、判定部２５は、ドライバが脇見をしていると判定する。

【0062】

次いで、ステップＳ２０５では、プロセッサ２３の通知部２６は、ＨＭＩ９を介して、視覚的、聴覚的又は触覚的な警告をドライバに通知する。視覚的な警告の例は、ＨＭＩ９のディスプレイに表示される警告メッセージ若しくは警告画像、又はＨＭＩ９の光源から発せられる警告灯等である。聴覚的な警告の例は、ＨＭＩ９のスピーカから出力される警告音声又は警告音等である。触覚的な警告の例は、ＨＭＩ９の振動ユニットから出力される振動（例えばステアリングホイール３２又はシートベルトの振動）等である。なお、通知部２６は二種類以上の警告（例えば視覚的な警告及び聴覚的な警告）をドライバに通知してもよい。ステップＳ２０５の後、本制御ルーチンは終了する。

【0063】

なお、ステップＳ２０３における脇見判定条件は、ドライバの顔向き又は視線の角度が閾値範囲外になる頻度が所定値以上であることであってもよい。この場合、図４のステップＳ１０３において、変更部２７は判定基準としてこの所定値を大きくする。また、変更部２７は、非常点滅表示灯１１が点灯しているときには、ドライバが脇見をしているか否かが判定されないように判定基準を変更してもよい。この場合、ステップＳ１０１において非常点滅表示灯１１が点灯していると判定された場合、図５の警告処理の制御ルーチンが実行されない。

【0064】

また、判定部２５は、監視画像の画像データからドライバの脇見の有無を出力するように予め学習された識別器を用いて、ドライバが脇見をしているか否かを判定してもよい。この場合、例えば、識別器が判定基準に相当し、変更部２７は、非常点滅表示灯１１が点灯しているときには、判定に用いられる識別器を変更する。言い換えれば、変更部２７は、非常点滅表示灯１１の点灯状態に応じて異なる識別器を選択する。また、この場合、変更部２７は、非常点滅表示灯１１が点灯しているときには、ドライバが脇見をしているか否かが判定されないように判定基準を変更してもよい。

【0065】

＜第二実施形態＞
第二実施形態に係るドライバ監視装置は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。

【0066】

車両３０において非常点滅表示灯１１が点灯されている場合であっても、そのときの走行環境に応じて周辺状況把握の必要性は異なる。そこで、第二実施形態では、変更部２７は、非常点滅表示灯１１が点灯しているときには、車両３０の位置情報及び周辺情報の少なくとも一方に基づいて判定基準を変更する。このことによって、走行環境に応じた判定基準を用いて、ドライバの脇見をより適切に検知することができる。

【0067】

図６は、本発明の第二実施形態における判定基準設定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、ＥＣＵ２０のプロセッサ２３によって所定の実行間隔で繰り返し実行される。

【0068】

ステップＳ３０１及びＳ３０２は図４のステップＳ１０１及びＳ１０２と同様に実行される。ステップＳ３０１において非常点滅表示灯１１が点灯していると判定された場合、本制御ルーチンはステップＳ３０３に進む。

【0069】

ステップＳ３０３において、プロセッサ２３の変更部２７は車両３０の位置情報を取得する。車両３０の位置情報は、例えば、ＧＮＳＳ受信機４によって検出された車両３０の現在位置である。変更部２７は、車両３０の現在位置を地図データベース５の地図情報と照合することによって、車両３０が走行している道路の種別（自動車専用道路、一般道路等）を判別する。

【0070】

次いで、ステップＳ３０４において、変更部２７は、周辺情報検出装置３によって検出された車両３０の周辺情報を取得する。例えば、変更部２７は、車両３０の周辺情報に基づいて、車両３０の周囲に位置する周辺車両の数を算出する。また、変更部２７は、車両３０の周辺情報に基づいて、車両３０の前方に静止物体（故障車両、落下物等）が存在するか否かを判定してもよい。

【0071】

次いで、ステップＳ３０５において、変更部２７は車両３０の位置情報及び周辺情報に基づいて判定基準を初期値から変更する。例えば、変更部２７は、判定基準の変更対象が閾値範囲である場合には閾値範囲を広くし、判定基準の変更対象が閾値時間である場合には閾値時間を長くする。

【0072】

自動車専用道路では、自動車専用道路以外の道路と比べて、迅速な周辺確認が要求される。このため、変更部２７は、車両３０が自動車専用道路を走行している場合には、車両３０が自動車専用道路を走行していない場合と比べて、ドライバが脇見をしていると判定されにくくなるように判定基準を変更する。このことによって、緊急度が高い状況において、不要な警告によりドライバの周辺確認が阻害されることを抑制することができる。例えば、変更部２７は、車両３０が自動車専用道路を走行している場合には、車両３０が自動車専用道路を走行していない場合と比べて、閾値範囲又は閾値時間の初期値との差を大きくする。なお、変更部２７は、車両３０が自動車専用道路を走行していない場合には閾値範囲を広くし又は閾値時間を長くし、車両３０が自動車専用道路を走行している場合には、ドライバが脇見をしているか否かが判定されないように判定基準を変更してもよい。

【0073】

また、渋滞時のように周辺車両の数が多いときには、周辺車両の数が少ないときと比べて、精緻な周辺確認が要求される。このため、変更部２７は、車両３０の周囲に位置する周辺車両の数が多い場合には、周辺車両の数が少ない場合と比べて、ドライバが脇見をしていると判定されにくくなるように判定基準を変更する。このことによって、周辺確認のためのドライバへの負荷が高い状況において、不要な警告によりドライバの周辺確認が阻害されることを抑制することができる。例えば、変更部２７は、周辺車両の数が多いほど、閾値範囲又は閾値時間の初期値との差を大きくする。なお、変更部２７は、周辺車両の数が所定値未満である場合には閾値範囲を広くし又は閾値時間を長くし、周辺車両の数が所定値以上である場合には、ドライバが脇見をしているか否かが判定されないように判定基準を変更してもよい。

【0074】

また、車両３０の前方に静止物体が存在するときには、車両３０の前方に静止物体が存在しないときと比べて、迅速な周辺確認が要求される。このため、変更部２７は、車両３０の前方に静止物体が存在する場合には、車両３０の前方に静止物体が存在しない場合と比べて、ドライバが脇見をしていると判定されにくくなるように判定基準を変更してもよい。このことによって、緊急度が高い状況において、不要な警告によりドライバの周辺確認が阻害されることを抑制することができる。例えば、変更部２７は、車両３０の前方に静止物体が存在する場合には、車両３０の前方に静止物体が存在しない場合と比べて、閾値範囲又は閾値時間の初期値との差を大きくする。なお、変更部２７は、車両３０の前方に静止物体が存在しない場合には閾値範囲を広くし又は閾値時間を長くし、車両３０の前方に静止物体が存在する場合には、ドライバが脇見をしているか否かが判定されないように判定基準を変更してもよい。

【0075】

ステップＳ３０５の後、本制御ルーチンは終了する。なお、ステップＳ３０５において、変更部２７は、車両３０の位置情報又は周辺情報に関する他の条件に基づいて判定基準を変更してもよい。また、ステップＳ３０３又はＳ３０４が省略され、変更部２７は車両３０の位置情報及び周辺情報の一方に基づいて判定基準を変更してもよい。

【0076】

第二実施形態では、第一実施形態と同様に図５の警告処理の制御ルーチンが実行され、図６の制御ルーチンにおいて設定された判定基準が図５のステップＳ２０３において用いられる。なお、図６の制御ルーチンにおいてドライバが脇見をしているか否かが判定されないように判定基準が変更された場合には、図５の制御ルーチンは実行されない。

【0077】

＜その他の実施形態＞
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。

【0078】

例えば、図１に示される車両制御システム１の構成の一部が省略されてもよい。また、車両３０は、運転支援機能を有しない車両であってもよい。

【0079】

また、車両３０の外部に設けられたサーバがドライバ監視装置として機能してもよい。この場合、ドライバモニタカメラ２のような撮像装置によって生成された画像と、非常点滅表示灯１１の点灯状態を示す信号とが通信ネットワークを介して車両３０からサーバに送信され、サーバの判定部がドライバが脇見をしていると判定したときに、サーバの通知部が車両３０のＥＣＵ２０を介してドライバに警告を通知する。

【0080】

また、ＥＣＵ２０のプロセッサ２３又はサーバのプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリである。

【符号の説明】

【0081】

２ ドライバモニタカメラ
１１ 非常点滅表示灯
２０ 電子制御ユニット（ＥＣＵ）
２３ プロセッサ
２５ 判定部
２６ 通知部
２７ 変更部
３０ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】