特開 2024-141733 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024141733

(43)【公開日】2024-10-10

(54)【発明の名称】運転支援装置、運転支援方法及び運転支援用コンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241003BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023053534

(22)【出願日】2023-03-29

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】山内 航一郎

(72)【発明者】

【氏名】坂田 拓也

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB20

5H181CC03

5H181CC04

5H181CC14

5H181FF04

5H181FF25

5H181FF27

5H181FF33

5H181FF35

5H181LL07

5H181LL08

5H181LL09

5H181LL20

(57)【要約】

【課題】ドライバの覚醒を適切に支援することが可能な運転支援装置を提供する。
【解決手段】運転支援装置は、車両１０のドライバの頭部を撮影するドライバモニタカメラ４により生成された、ドライバの頭部が写ったドライバ画像に基づいて、ドライバの眠気の兆候を検知する検知部３１と、ドライバの眠気の兆候が検知された場合、車両１０の周囲の環境または車両１０の走行条件に応じて、ドライバに対する応答要求を決定する要求決定部３２と、車両１０に設けられたユーザインターフェース６を介して、ドライバに対して応答要求を通知する通知部３３とを有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両のドライバの頭部を撮影するドライバモニタカメラにより生成された、前記ドライバの頭部が写ったドライバ画像に基づいて、前記ドライバの眠気の兆候を検知する検知部と、
前記ドライバの眠気の兆候が検知された場合、前記車両の周囲の環境または前記車両の走行条件に応じて、前記ドライバに対する応答要求を決定する要求決定部と、
前記車両に設けられたユーザインターフェースを介して、前記ドライバに対して前記応答要求を通知する通知部と、
を有する運転支援装置。

【請求項2】

前記応答要求が通知された後に前記ドライバが前記応答要求にて要求された応答を行ったか否か判定する判定部と、
前記応答要求が通知されてから所定期間が経過しても前記ドライバが前記応答を行っていない場合、前記車両を停車させるよう前記車両を制御する制御部と、
をさらに有する請求項１に記載の運転支援装置。

【請求項3】

前記要求決定部は、前記ドライバの眠気の兆候が検知された場合、前記車両の周囲の環境を表すものとして前記車両の周囲に存在する所定の地物を検出し、前記応答要求を、検出した前記所定の地物の表示内容に関連する応答を要求するものとする、請求項１に記載の運転支援装置。

【請求項4】

前記要求決定部は、前記ドライバの眠気の兆候が検知された場合、前記走行条件として前記車両の挙動を検出し、前記応答要求を、検出した前記車両の挙動に関連する応答を要求するものとする、請求項１に記載の運転支援装置。

【請求項5】

前記要求決定部は、前記車両に適用される自動運転制御のレベルに応じて前記応答要求を決定する、請求項１に記載の運転支援装置。

【請求項6】

前記検知部は、前記ドライバの眠気のレベルを判定し、
前記要求決定部は、前記ドライバの眠気のレベルが高いほど、応答内容が複雑となるように前記応答要求を決定する、請求項１に記載の運転支援装置。

【請求項7】

車両のドライバの頭部を撮影するドライバモニタカメラにより生成された、前記ドライバの頭部が写ったドライバ画像に基づいて、前記ドライバの眠気の兆候を検知し、
前記ドライバの眠気の兆候が検知された場合、前記車両の周囲の環境または前記車両の走行条件に応じて、前記ドライバに対する応答要求を決定し、
前記車両に設けられたユーザインターフェースを介して、前記ドライバに対して前記応答要求を通知する、
ことを含む運転支援方法。

【請求項8】

車両のドライバの頭部を撮影するドライバモニタカメラにより生成された、前記ドライバの頭部が写ったドライバ画像に基づいて、前記ドライバの眠気の兆候を検知し、
前記ドライバの眠気の兆候が検知された場合、前記車両の周囲の環境または前記車両の走行条件に応じて、前記ドライバに対する応答要求を決定し、
前記車両に設けられたユーザインターフェースを介して、前記ドライバに対して前記応答要求を通知する、
ことを前記車両に搭載されたプロセッサに実行させる運転支援用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両を運転するドライバを支援する運転支援装置、運転支援方法及び運転支援用コンピュータプログラムに関する。

【背景技術】

【0002】

車両のドライバの覚醒を支援する技術が研究されている（特許文献１を参照）。

【0003】

特許文献１に開示された覚醒支援装置は、車両のステアリングホイールに設けられ、そのステアリングホイールを運転者がステアリング操作のために握った状態において、両手の第２～第５指の８本の指のうち少なくとも１本の指による情報入力操作が可能なユーザインターフェースによる情報入力操作をリズミカルに行うことの動機付けとなる情報である動機情報を、ユーザインターフェースを通じて入力された情報に基づいて生成し、その生成した動機情報を運転者に与える。さらに、この覚醒支援装置は、運転者の眠気レベルを推定し、推定された眠気レベルが基準値以上の場合に、リズムを運転者に提示することで、情報入力操作をリズミカルに行うことを補助する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１－１８６６２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の技術では、覚醒支援の処理が繰り返し実行されることで、要求される情報入力操作にドライバが慣れてしまい、ドライバの覚醒を促す効果が低下してしまうおそれがある。

【0006】

そこで、本発明は、ドライバの覚醒を適切に支援することが可能な運転支援装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの実施形態によれば、運転支援装置が提供される。この運転支援装置は、車両のドライバの頭部を撮影するドライバモニタカメラにより生成された、ドライバの頭部が写ったドライバ画像に基づいて、ドライバの眠気の兆候を検知する検知部と、ドライバの眠気の兆候が検知された場合、車両の周囲の環境または車両の走行条件に応じて、ドライバに対する応答要求を決定する要求決定部と、車両に設けられたユーザインターフェースを介して、ドライバに対して応答要求を通知する通知部とを有する。

【0008】

この運転支援装置は、応答要求が通知された後にドライバが応答要求にて要求された応答を行ったか否か判定する判定部と、応答要求が通知されてから所定期間が経過してもドライバが応答を行っていない場合、車両を停車させるよう車両を制御する車両制御部をさらに有することが好ましい。

【0009】

また、この運転支援装置において、要求決定部は、ドライバの眠気の兆候が検知された場合、車両の周囲の環境を表すものとして車両の周囲に存在する所定の地物を検出し、応答要求を、検出した所定の地物の表示内容に関連する応答を要求するものとすることが好ましい。

【0010】

あるいは、要求決定部は、ドライバの眠気の兆候が検知された場合、走行条件として車両の挙動を検出し、応答要求を、検出した車両の挙動に関連する応答を要求するものとすることが好ましい。

【0011】

あるいはまた、要求決定部は、車両に適用される自動運転制御のレベルに応じて応答要求を決定することが好ましい。

【0012】

さらに、この運転支援装置において、検知部は、ドライバの眠気のレベルを判定することが好ましい。この場合において、要求決定部は、ドライバの眠気のレベルが高いほど、応答内容が複雑となるように応答要求を決定することが好ましい。

【0013】

他の実施形態によれば、運転支援方法が提供される。この運転支援方法は、車両のドライバの頭部を撮影するドライバモニタカメラにより生成された、ドライバの頭部が写ったドライバ画像に基づいて、ドライバの眠気の兆候を検知し、ドライバの眠気の兆候が検知された場合、車両の周囲の環境または車両の走行条件に応じて、ドライバに対する応答要求を決定し、車両に設けられたユーザインターフェースを介して、ドライバに対して応答要求を通知する、ことを含む。

【0014】

さらに他の実施形態によれば、運転支援用コンピュータプログラムが提供される。この運転支援用コンピュータプログラムは、車両のドライバの頭部を撮影するドライバモニタカメラにより生成された、ドライバの頭部が写ったドライバ画像に基づいて、ドライバの眠気の兆候を検知し、ドライバの眠気の兆候が検知された場合、車両の周囲の環境または車両の走行条件に応じて、ドライバに対する応答要求を決定し、車両に設けられたユーザインターフェースを介して、ドライバに対して応答要求を通知する、ことを車両に搭載されたプロセッサに実行させるための命令を含む。

【発明の効果】

【0015】

本開示に係る運転支援装置は、ドライバの覚醒を適切に支援することができるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】運転支援装置が実装される車両制御システムの概略構成図である。

【図2】運転支援装置の一つの実施形態である電子制御装置のハードウェア構成図である。

【図3】運転支援処理に関する、電子制御装置のプロセッサの機能ブロック図である。

【図4】（ａ）及び（ｂ）は、それぞれ、応答要求の一例を示す図である。

【図5】運転支援処理の動作フローチャートである。

【発明を実施するための形態】

【0017】

以下、図を参照しつつ、運転支援装置、及び、運転支援装置上で実行される運転支援方法ならびに運転支援用コンピュータプログラムについて説明する。この運転支援装置は、ドライバの眠気の兆候を検知すると、車両の周囲の環境または車両の走行条件に応じてドライバに対する応答要求を決定し、決定した応答要求を、車両に設けられたインターフェースを介してドライバに通知する。そしてこの運転支援装置は、通知した応答要求に応じた応答をドライバに行わせることで、ドライバの覚醒を促す。これにより、この運転支援装置は、ドライバによる車両の運転を支援する。

【0018】

図１は、運転支援装置が実装される車両制御システムの概略構成図である。また図２は、運転支援装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、GPS受信機２と、カメラ３と、ドライバモニタカメラ４と、ストレージ装置５と、ユーザインターフェース６と、運転支援装置の一例である電子制御装置（ＥＣＵ）７とを有する。GPS受信機２、カメラ３、ドライバモニタカメラ４、ストレージ装置５及びユーザインターフェース６とＥＣＵ７とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム１は、LiDARあるいはレーダといった、車両１０から車両１０の周囲に存在する物体までの距離を測定する測距センサ（図示せず）をさらに有していてもよい。さらに、車両制御システム１は、他の機器と無線通信するための無線通信端末（図示せず）を有していてもよい。さらにまた、車両制御システム１は、目的地までの走行予定ルートを検索するナビゲーション装置（図示せず）を有していてもよい。

【0019】

GPS受信機２は、所定の周期ごとにGPS衛星からのGPS信号を受信し、受信したGPS信号に基づいて車両１０の自己位置を測位する。そしてGPS受信機２は、所定の周期ごとに、GPS信号に基づく車両１０の自己位置の測位結果を表す測位情報を、車内ネットワークを介してＥＣＵ７へ出力する。なお、車両制御システム１は、GPS受信機２の代わりに、他の衛星測位システムに準拠した受信機を有していてもよい。

【0020】

カメラ３は、車外センサの一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ３は、例えば、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。カメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ３により得られた画像は、車両の周囲の状況を表す車外センサ信号の一例である。カメラ３により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両１０には、撮影方向または焦点距離が異なる複数のカメラが設けられてもよい。例えば、車両１０の前方へ向けられたカメラとともに、車両１０の後方へ向けられたカメラが設けられてもよい。

【0021】

カメラ３は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ７へ出力する。

【0022】

ドライバモニタカメラ４は、車内センサの一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ４は、赤外LEDといったドライバを照明するための光源をさらに有していてもよい。そしてドライバモニタカメラ４は、車両１０の運転席に着座したドライバの頭部がその撮影対象領域に含まれるように、すなわち、ドライバの頭部を撮影可能なように、例えば、インストルメントパネルまたはその近傍にドライバへ向けて取り付けられる。そしてドライバモニタカメラ４は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにドライバの頭部を撮影し、ドライバの頭部が写った画像（以下、カメラ３により得られた画像と区別するために、説明の便宜上、頭部画像と呼ぶ）を生成する。ドライバモニタカメラ４により得られた頭部画像は、車内センサ信号の一例である。頭部画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。ドライバモニタカメラ４は、頭部画像を生成する度に、その生成した頭部画像を、車内ネットワークを介してＥＣＵ７へ出力する。

【0023】

ストレージ装置５は、記憶部の一例であり、例えば、ハードディスク装置、または、不揮発性の半導体メモリを有する。そしてストレージ装置５は、高精度地図を記憶する。高精度地図は、例えば、車両の自動運転制御において利用される。そのために、高精度地図には、個々の道路を表す情報だけでなく、個々の道路についての車線区画線または停止線といった道路標示を表す情報及び速度標識といった道路標識を表す情報が含まれる。高精度地図は、地図情報の一例である。

【0024】

さらに、ストレージ装置５は、高精度地図の更新処理、及び、ＥＣＵ７からの高精度地図の読出し要求に関する処理などを実行するためのプロセッサを有していてもよい。そしてストレージ装置５は、例えば、車両１０が所定距離だけ移動する度に、無線通信端末（図示せず）を介して地図サーバへ、高精度地図の取得要求を車両１０の現在位置とともに送信してもよい。また、ストレージ装置５は、地図サーバから無線通信端末を介して車両１０の現在位置の周囲の所定の領域についての高精度地図を受信してもよい。また、ストレージ装置５は、ＥＣＵ７からの高精度地図の読出し要求を受信すると、記憶している高精度地図から、車両１０の現在位置を含み、上記の所定の領域よりも相対的に狭い範囲を切り出して、車内ネットワークを介してＥＣＵ７へ出力する。

【0025】

ユーザインターフェース６は、ドライバに対する通知を実行するための通知機器、例えば、液晶ディスプレイといった表示装置またはタッチパネルディスプレイを有する。ユーザインターフェース６は、車両１０の車室内、例えば、インスツルメンツパネルの近傍に、ドライバへ向けて設置される。そしてユーザインターフェース６は、ＥＣＵ７から車内ネットワークを介して受信した、応答要求などの所定の通知を表す情報を、アイコンにより、または文字情報として表示することで、ドライバに対してその所定の通知を実行する。ユーザインターフェース６は、通知機器として、車室内に設置されるスピーカを有していてもよい。この場合、ユーザインターフェース６は、ＥＣＵ７から車内ネットワークを介して受信した所定の通知を表す情報を音声信号として出力することで、ドライバに対してその所定の通知を実行する。

【0026】

ユーザインターフェース６は、さらに、ドライバによる応答動作を検知するための検知機器を有する。例えば、ユーザインターフェース６は、そのような検知機器として、ステアリングに設けられる複数のタッチセンサを有する。例えば、車両１０が直進している状態における、ステアリングの上端、下端、左端及び右端のそれぞれにタッチセンサが設けられる。そしてドライバがステアリングをタッチする度に、何れかのタッチセンサが、ドライバによるステリングのタッチを検知し、ドライバがステリングをタッチしたことを表す検知信号を生成してＥＣＵ７へ出力する。あるいは、ユーザインターフェース６は、車室内に設置されるマイクロホンを有してもよい。この場合、マイクロホンは、ドライバが発した音声を収音してその音声を表す音声信号を生成し、生成した音声信号をＥＣＵ７へ出力する。

【0027】

ＥＣＵ７は、ドライバによる車両１０の運転を支援する。本実施形態では、ＥＣＵ７は、頭部画像に基づいて、ドライバの眠気の兆候を検知する。そしてドライバの眠気の兆候が検知された場合、ＥＣＵ７は、車両１０の周囲の環境または車両１０の走行条件に応じてドライバに対する応答要求を決定する。ＥＣＵ７は、ユーザインターフェース６を介して、決定した応答要求を通知して、通知した応答要求に応じた応答をドライバに行わせることで、ドライバの覚醒を促す。ＥＣＵ７は、ドライバが車両１０の運転に関与し、あるいは運転に関与する可能性がある自動運転レベル（例えば、Society of Automotive Engineers(SAE)によるレベル３またはそれ以下のレベル）の運転制御の実行中、あるいは、ドライバによる手動運転の実行中において、本実施形態による運転支援処理を実行する。

【0028】

図２に示されるように、ＥＣＵ７は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

【0029】

通信インターフェース２１は、ＥＣＵ７を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース２１は、GPS受信機２から測位情報を受信する度に、その測位情報をプロセッサ２３へわたす。また、通信インターフェース２１は、カメラ３から画像を受信する度に、受信した画像をプロセッサ２３へわたす。同様に、通信インターフェース２１は、ドライバモニタカメラ４から頭部画像を受信する度に、受信した頭部画像をプロセッサ２３へわたす。さらに、通信インターフェース２１は、ストレージ装置５から読み込んだ高精度地図をプロセッサ２３へわたす。さらにまた、通信インターフェース２１は、プロセッサ２３から受け取った、応答要求を表す通知情報を、車内ネットワークを介してユーザインターフェース６へ出力する。

【0030】

メモリ２２は、記憶部の他の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ７のプロセッサ２３により実行される運転支援処理において使用される各種のアルゴリズム及び各種のデータを記憶する。例えば、メモリ２２は、カメラ３の取り付け位置、撮影方向、焦点距離といったパラメータを記憶する。また、メモリ２２は、所定の地物などの検出に利用される、物体検出用の識別器を特定するための各種パラメータ、及び、頭部画像からドライバの顔の各部の検出、及び、ドライバの眠気レベルの判定などに利用される各種のパラメータなどを記憶する。さらに、メモリ２２は、車両１０の周囲の画像、頭部画像、測位情報、高精度地図及び運転支援処理の途中で生成される各種のデータを一時的に記憶する。

【0031】

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は運転支援処理を実行する。

【0032】

図３は、運転支援処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、検知部３１と、要求決定部３２と、通知部３３と、判定部３４と、車両制御部３５とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。

【0033】

検知部３１は、頭部画像に基づいて、ドライバの眠気の兆候を検知する。例えば、検知部３１は、所定の周期ごとに、直近の一定期間に得られた一連の頭部画像に基づいて、ドライバの眠気レベルを判定する。そして、ドライバの眠気レベルが所定以上のレベルである場合、検知部３１はドライバに眠気の兆候が有ると判定する。そのために、検知部３１は、直近の一定期間内に得られた一連の頭部画像のそれぞれから、ドライバの視線方向、眼の開き度合い（以下、開眼度と呼ぶ）及び口の開き度合いを検出する。そして検知部３１は、検出した視線方向、開眼度及び眠気レベルに基づいて、ドライバの眠気レベルを判定する。

【0034】

そのために、検知部３１は、例えば、頭部画像を、画像からドライバの顔を検出するように予め学習された識別器に入力することで、その頭部画像上でドライバの顔が写っている領域（以下、顔領域と呼ぶ）を検出する。検知部３１は、そのような識別器として、例えば、Single Shot MultiBox Detector(SSD)またはFaster R-CNNといった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つディープニューラルネットワーク(DNN)を利用することができる。あるいは、検知部３１は、Vision transformerといった、Self-attention network(SAN)型のアーキテクチャを持つDNNを利用することができる。あるいはまた、検知部３１は、そのような識別器として、AdaBoost識別器といった他の機械学習手法に基づく識別器を利用してもよい。このような識別器は、人の顔が表された多数の教師画像を用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。検知部３１は、頭部画像の顔領域から、ドライバの眼及び口を検出する。その際、検知部３１は、例えば、Sobelフィルタなどのエッジ検出フィルタを適用して顔領域内のエッジ画素を検出する。そして検知部３１は、エッジ画素が略水平方向に連続する線を検出し、左右それぞれの眼について、顔領域内でその眼が位置すると想定される範囲内で、上下方向に並んだそのような二つの線を、その眼の上瞼及び下瞼として検出すればよい。同様に、検知部３１は、顔領域内で口が位置すると想定される範囲内で、上下方向に並んだそのような二つの線で囲まれた領域を、ドライバの口として検出すればよい。なお、検知部３１は、画像から眼の上瞼及び下瞼を検出する他の手法に従って、頭部画像からドライバの左右それぞれの眼の上瞼及び下瞼を検出してもよい。同様に、検知部３１は、画像から口を検出する他の手法に従って、頭部画像からドライバの口を検出してもよい。例えば、上記の識別器が、頭部画像から上瞼、下瞼及び口を直接検出するように予め学習されてもよい。この場合、検知部３１は、頭部画像を識別器に入力することで、上瞼、下瞼及び口を検出することができる。

【0035】

検知部３１は、各頭部画像において、左右それぞれの眼の上瞼と下瞼間の距離に基づいて、ドライバの開眼度を推定する。例えば、検知部３１は、左右それぞれの眼の上瞼と下瞼間の距離の平均値を開眼度とすればよい。なお、検知部３１は、画像上の上瞼と下瞼から開眼度を算出する他の手法に従って開眼度を推定してもよい。そして検知部３１は、一連の頭部画像のそれぞれにおける開眼度の時系列の変化から、開眼度が一旦極大値となってから次に極大値となるまでの時間を、ドライバの1回の瞬きの時間として算出する。そして検知部３１は、直近の一定期間における、瞬きの回数をカウントするとともに、瞬き間の間隔の平均時間を瞬きの周期として算出する。さらに、検知部３１は、直近の一定期間内の各頭部画像において、口の水平方向の長さに対する垂直方向の長さの比を算出し、その平均値を、ドライバの口の開き度合いとして算出する。なお、検知部３１は、画像上において口が表された領域から、口の開き度合いを算出する他の手法に従ってドライバの口の開き度合いを算出してもよい。

【0036】

さらに、検知部３１は、各頭部画像から、ドライバの視線方向を検出する。例えば、検知部３１は、頭部画像上に表されたドライバの左右それぞれの眼の少なくとも一方について、上瞼と下瞼とで囲まれた領域（以下、眼領域と呼ぶ）から光源の角膜反射像及び瞳孔の重心（以下、単に瞳孔重心と呼ぶ）を検出する。なお、光源の角膜反射像はプルキンエ像とも呼ばれる。その際、検知部３１は、例えば、プルキンエ像のテンプレートと眼領域とのテンプレートマッチングによりプルキンエ像を検出する。同様に、検知部３１は、瞳孔のテンプレートと眼領域とのテンプレートマッチングにより瞳孔を検出し、検出した瞳孔が表された領域の重心を瞳孔重心とすればよい。なお、検知部３１は、眼領域からプルキンエ像及び瞳孔重心を検出する他の手法に従ってプルキンエ像及び瞳孔重心を検出してもよい。そして検知部３１は、プルキンエ像と瞳孔重心間の距離を算出し、その距離とドライバの視線方向との関係を表すテーブルを参照することで、ドライバの視線方向を検出する。なお、そのようなテーブルは、メモリ２２に予め記憶されていればよい。そして検知部３１は、直近の一定期間内の連続する二つの頭部画像の組ごとに、視線方向の移動量を求め、その移動量の平均値を、頭部画像の取得間隔で除することで、視線方向の移動速度として算出する。

【0037】

検知部３１は、瞬きの回数及び頻度、口の開き度合い及び視線方向の移動速度の少なくとも一つに基づいて、ドライバの眠気レベルを判定し、その眠気レベルが、所定以上のレベルである場合、ドライバに眠気の兆候が有ると判定する。例えば、検知部３１は、直近の一定期間における瞬きの回数が所定回数以上であり、瞬きの周期が所定の時間閾値よりも長く、視線方向の移動速度が所定の速度閾値以下であり、かつ、口の開き度合いが所定の開き度合いよりも大きい場合、ドライバに眠気の兆候が有ると判定する。一方、検知部３１は、直近の一定期間における瞬きの回数及び頻度、口の開き度合い及び視線方向の移動速度の少なくとも何れかが上記の条件を満たさない場合、ドライバに眠気の兆候は無いと判定する。あるいは、検知部３１は、瞬きの回数及び頻度、口の開き度合い及び視線方向の移動速度のうちの３種類以下の組み合わせに対して眠気の兆候の検出条件が設定されてもよい。そして検知部３１は、その検出条件が満たされる場合にドライバに眠気の兆候が有ると判定し、その検出条件が満たされない場合にドライバに眠気の兆候は無いと判定すればよい。

【0038】

検知部３１は、ドライバに眠気の兆候が有ると判定した場合、すなわち、ドライバの眠気の兆候を検知した場合、その検知結果を要求決定部３２及び車両制御部３５へ通知する。また、検知部３１は、ドライバに眠気の兆候が無いと判定した場合、その判定結果を通知部３３及び車両制御部３５へ通知する。

【0039】

要求決定部３２は、検知部３１からドライバの眠気の兆候を検知したことが通知されると、車両１０の周囲の環境または車両１０の走行条件に応じて、ドライバに対する応答要求を決定する。応答要求は、ドライバに所定の応答動作を行うことを要求するものである。

【0040】

要求決定部３２は、車両１０の周囲の環境に基づいて応答要求を決定する場合、車両１０の周囲の環境を表すものとして、車両１０の周囲に存在する所定の地物を検出し、検出した地物の表示内容に関連する応答要求を決定する。要求決定部３２は、例えば、そのような所定の地物として速度標識を検出してもよい。この場合、要求決定部３２は、応答要求として、その速度標識に表される制限速度に応じた応答を要求するものとする。より具体的に、要求決定部３２は、応答要求を、検出された速度標識に表される制限速度を問うものとすることができる。あるいは、要求決定部３２は、応答要求を、検出された速度標識に表される制限速度を１０で除して求められる回数だけ、ステアリングを叩くこととしてもよい。さらに、要求決定部３２は、所定の地物として、速度標識以外の標識を検出し、検出した標識の表示内容に応じて応答要求を決定してもよい。例えば、要求決定部３２は、地名が記載された案内標識を検出すると、応答要求を、その地名を問うものとする。

【0041】

また、要求決定部３２は、所定の地物として横断歩道あるいは一時停止線といった所定の道路標示を検出してもよい。この場合、要求決定部３２は、応答要求を、そのような道路標示が検出される度に所定の音声を発すること、あるいは、ステアリングを叩くこととする。

【0042】

要求決定部３２は、上記のような所定の地物を検出するために、ＧＰＳ受信機２による最新の測位情報で表される車両１０の現在位置と、高精度地図とを参照する。そして要求決定部３２は、車両１０の現在位置を含む道路上またはその周辺において、車両１０の現在位置からドライバが視認できる範囲（例えば、数ｍ～１０数ｍ）内に所定の地物が高精度地図に示されている場合、その所定の地物が検出されたものとする。

【0043】

あるいは、要求決定部３２は、カメラ３により生成された最新の画像から所定の地物を検出できた場合に、その所定の地物が検出されたものとしてもよい。この場合、要求決定部３２は、最新の画像を、所定の地物を検出するように予め学習された識別器に入力することで、その所定の地物を検出する。要求決定部３２は、そのような識別器として、例えば、SSDまたはFaster R-CNNといったCNN型のアーキテクチャを有するDNN、あるいは、Vision transformerといったSAN型のアーキテクチャを有するDNNを利用することができる。あるいはまた、要求決定部３２は、そのような識別器として、サポートベクトルマシンといった他の機械学習手法に基づく識別器を利用してもよい。このような識別器は、検出対象となる所定の地物が表された多数の教師画像を用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。

【0044】

また、要求決定部３２は、車両１０の走行条件に基づいて応答要求を決定する場合、そのような走行条件として、車両１０の加減速あるいは車両１０の進路変更といった車両１０の挙動に関する条件を利用することができる。そして要求決定部３２は、車両１０の挙動を検出し、応答要求を、検出した挙動に関連する応答を要求するものとする。例えば、要求決定部３２は、眠気の兆候が検知されたときに車両１０が加速中、あるいは加速を開始する予定である場合、応答要求を、ステアリングの上部を叩くこと、あるいは、加速と発声することとすることができる。また、要求決定部３２は、眠気の兆候が検知されたときに車両１０が減速中、あるいは減速を開始する予定である場合、応答要求を、ステアリングの下部を叩くこと、あるいは、減速と発声することとすることができる。さらに、要求決定部３２は、眠気の兆候が検知されたときに車両１０が車線変更中、左折中あるいは右折中もしくはそれらの何れかを実行する予定である場合、応答要求を、車両１０が向かう方向のステアリングの特定部分を叩くこと、あるいは、車両１０が向かう方向を発声することとすることができる。

【0045】

要求決定部３２は、応答要求を決定するための走行条件を特定するために、車両１０に設けられた加速度センサまたは舵角センサといった車両１０の挙動を検知するためのセンサ（図示せず）からのセンサ信号を利用する。そしてセンサ信号が所定の閾値以上の絶対値を有する加速度を示している場合、要求決定部３２は、応答要求を決定するための走行条件として、車両１０が加速中であることを特定する。同様に、センサ信号が所定の閾値以上の絶対値を有する減速度を示している場合、要求決定部３２は、応答要求を決定するための走行条件として、車両１０が減速中であることを特定する。また、センサ信号が所定の閾値以上の絶対値を有する操舵角を示している場合、要求決定部３２は、応答要求を決定するための走行条件として、そのセンサ信号で示される方向への車両１０の進路変更を特定する。

【0046】

また、要求決定部３２は、応答要求を決定するための走行条件を特定するために、ＧＰＳ受信機２による最新の測位情報で表される車両１０の現在位置、高精度地図、及び、ナビゲーション装置（図示せず）により設定された走行予定ルートの何れかを参照してもよい。例えば、走行予定ルートに沿って目的地へ向かうために、車両１０の現在位置から所定距離以内に左折または右折する交差点が存在する場合、要求決定部３２は、応答要求を決定するための走行条件として、その交差点で向かう方向への車両１０の進路変更を特定する。また、車両１０の進行方向において車両１０の現在位置から所定距離以内に、料金所あるいは踏切といった車両１０が一時停車することが要求される地点が存在する場合、要求決定部３２は、応答要求を決定するための走行条件として、車両１０の減速を特定する。

【0047】

さらに、ＥＣＵ７が車両１０を自動運転制御している場合、要求決定部３２は、その自動運転制御において実行中のタスクに基づいて応答要求を決定するための走行条件を特定してもよい。例えば、ＥＣＵ７が先行車両を追い越す制御を実行中である場合、要求決定部３２は、応答要求を決定するための走行条件として、車両１０の加速、あるいは、追い越しの際の車線変更における車両１０の進行方向を特定する。

【0048】

さらにまた、要求決定部３２は、無線通信端末（図示せず）を介して受信した交通情報に基づいて応答要求を決定するための走行条件を特定してもよい。例えば、車両１０が走行中の道路が渋滞しており、かつ、受信した交通情報で示される渋滞解消地点が車両１０の現在位置から所定距離以内に位置している場合、要求決定部３２は、応答要求を決定するための走行条件として、車両１０の加速を特定する。

【0049】

なお、要求決定部３２は、ドライバの眠気の兆候が検知されたときに、車両１０の周囲に応答要求の決定に利用可能な所定の地物が存在するか否か判定し、そのような地物が存在するときには、その地物に基づいて、上記のように応答要求を決定してもよい。一方、そのような地物が存在しない場合、要求決定部３２は、車両１０の走行条件に基づいて応答要求を決定すればよい。あるいは、要求決定部３２は、ドライバの眠気の兆候が検知されたときに、応用要求の決定に利用可能な走行条件が設定されているか否か判定し、そのような走行条件が設定されている場合には、その走行条件に基づいて、上記のように応答要求を決定してもよい。一方、そのような走行条件が設定されていない場合には、要求決定部３２は、車両１０の周囲に存在する所定の地物に基づいて応答要求を決定すればよい。さらに、応答要求の決定に利用可能な所定の地物がなく、応答要求の決定に利用可能な走行条件が設定されていない場合、要求決定部３２は、予め設定された標準応答要求（例えば、現在の車両１０の速度を問うもの）を、通知する応答要求として決定すればよい。

【0050】

要求決定部３２は、決定した応答要求の種別を通知部３３及び判定部３４へ通知する。

【0051】

通知部３３は、ユーザインターフェース６を介して、要求決定部３２により決定された種別の応答要求をドライバに対して通知する。

【0052】

例えば、通知部３３は、応答要求がステアリングの所定の位置を叩くことである場合、ユーザインターフェース６が有する表示装置またはタッチパネルディスプレイに、ステアリングを叩くこと及び叩く位置を示すメッセージ（例えば、「ステアリングの上部を叩いて下さい」）またはアイコンを表示させる。同様に、応答要求がステアリングを所定回数叩くことである場合、通知部３３は、ユーザインターフェース６が有する表示装置またはタッチパネルディスプレイに、ステアリングを所定回数叩くことを示すメッセージ（例えば、「ステアリングを８回叩いて下さい」）またはアイコンを表示させる。また、応答要求がドライバに所定の発声を要求するものである場合、通知部３３は、ユーザインターフェース６が有する表示装置またはタッチパネルディスプレイに、要求する発声の内容を示すメッセージ（例えば、「今通過した速度標識に表示されていた制限速度を回答して下さい」、「加速と発声して下さい」あるいは、「左折と発声して下さい」）またはアイコンを表示させる。

【0053】

さらに、ユーザインターフェース６がスピーカを有している場合には、通知部３３は、上記のようなメッセージをスピーカから音声信号として出力させてもよい。

【0054】

通知部３３は、上記のような応答要求の通知を開始すると、応答要求の通知を開始したことを判定部３４へ通知する。また、通知部３３は、上記のような応答要求の通知を開始した後に、検知部３１からドライバの眠気の兆候が検知されないとの判定結果が通知されるか、判定部３４から、ドライバが適切な応答を行ったとの判定結果が通知されると、応答要求の通知を停止する。あるいは、通知部３３は、一定期間にわたってドライバが応答要求にて要求された応答を行ったことを判定部３４から通知されると、応答要求の通知を停止するようにしてもよい。あるいはまた、通知部３３は、判定部３４による判定結果にかかわらず、検知部３１からドライバの眠気の兆候が検知されないとの判定結果が通知された場合に限り、応答要求の通知を停止するようにしてもよい。

【0055】

図４（ａ）及び図４（ｂ）は、それぞれ、応答要求の一例を示す図である。図４（ａ）に示される例では、応答要求は、車両１０の周囲の環境に基づいて決定される。すなわち、この例では、車両１０が地点P1に位置しているときに、ドライバの眠気の兆候が検知される。そしてそのときの車両１０の前方の地点P2に、80km/hと表示された速度標識４０１が存在する。そこで、応答要求として、速度標識４０１に表示された制限速度を問うことが決定され、ユーザインターフェース６を介して、『制限速度を回答して下さい』とのメッセージ４０２が通知される。なお、上記のように、応答要求として、ステアリングを8回叩くことが要求されてもよい。

【0056】

図４（ｂ）に示される例では、応答要求は、車両１０の走行条件に基づいて決定される。すなわち、この例では、車両１０が地点P1に位置しているときに、ドライバの眠気の兆候が検知される。そして車両１０の走行予定ルート４１１は、交差点I1において車両１０が左折することを示している。そこで、応答要求として、ステアリングの左側を叩くことが決定され、ユーザインターフェース６により、ステアリングの左側を叩くことを示すアイコン４１２が表示される。なお、上記のように、応答要求として、「左折」と発声することが要求されてもよい。

【0057】

判定部３４は、応答要求が通知された後に、ドライバが通知された応答要求にて要求された応答を行ったか否か判定する。例えば、通知された応答要求が、ステアリングの所定位置を叩くことである場合、判定部３４は、応答要求が通知されてから所定期間内にその所定位置に設けられたタッチセンサからＥＣＵ７が検知信号を受信したか否か判定する。そして所定期間内にステアリングの所定位置に設けられたタッチセンサから検知信号をＥＣＵ７が受信した場合、判定部３４は、ドライバが応答要求にて要求された応答を行ったと判定する。一方、その所定期間内にステアリングの所定位置に設けられたタッチセンサから検知信号をＥＣＵ７が受信しなかった場合、判定部３４は、ドライバが応答要求にて要求された応答を行わなかったと判定する。なお、その所定期間内に、応答要求にて指定された所定位置と異なる位置に設けられたタッチセンサからＥＣＵ７が検知信号を受信しても、所定位置に設けられたタッチセンサから検知信号を受信しない限り、判定部３４は、ドライバが応答要求にて要求された応答を行わなかったと判定すればよい。

【0058】

同様に、通知された応答要求が、ステアリングを所定回数叩くことである場合、判定部３４は、応答要求が通知されてから所定期間内にステアリングに設けられたタッチセンサのそれぞれからＥＣＵ７が受信した検知信号を計数する。そして所定期間内に受信した検知信号の数が応答要求にて指定された回数と一致する場合、判定部３４は、ドライバが応答要求にて要求された応答を行ったと判定する。一方、所定期間内に受信した検知信号の数が応答要求にて指定された回数と異なる場合、あるいは、所定期間内にＥＣＵ７が検知信号を受信しなかった場合、判定部３４は、ドライバが応答要求にて要求された応答を行わなかったと判定する。なお、判定部３４は、所定期間内に受信した検知信号の数と応答要求にて指定された回数との誤差が所定回数（例えば、１～２）以下である場合、ドライバが応答要求にて要求された応答を行ったと判定してもよい。

【0059】

判定部３４は、ドライバによるステアリングを叩く動作及びステアリングを叩いた位置を頭部画像に基づいて検出してもよい。この場合、判定部３４は、ドライバの手を検出するように予め学習された識別器に、応答要求の通知後の所定期間内に得られた一連の頭部画像のそれぞれを入力することで、各頭部画像からドライバの手の位置を検出する。なお、判定部３４は、そのような識別器として、顔領域の検出に利用される識別器と同様の構成の識別器を用いることができる。そして判定部３４は、各頭部画像から検出されたドライバの手の位置と、頭部画像上でのステアリングの位置とを比較する。なお、頭部画像上でのステアリングの位置は、メモリ２２に予め記憶されていればよい。あるいは、識別器が、ドライバの手とともに、ステアリングを検出するように予め学習されていてもよい。そして何れかの頭部画像において、手の位置がステアリングの何れかの位置に接する位置である場合に、判定部３４は、その頭部画像の生成時にドライバはステアリングのその位置を叩いたと判定すればよい。

【0060】

また、通知された応答要求が所定の発声をドライバに要求するものである場合、判定部３４は、応答要求が通知されてから所定期間内にＥＣＵ７がマイクロホンから受信した音声信号に対して所定の音声認識手法を適用することで、ドライバが所定の発声を行ったか否か判定する。そしてドライバが所定の発声を行った場合、判定部３４は、ドライバが応答要求にて要求された応答を行ったと判定する。一方、ドライバが所定の発声を行わなかった場合、判定部３４は、ドライバが応答要求にて要求された応答を行わなかったと判定する。なお、判定部３４は、所定の音声認識手法として、例えば、混合ガウス分布(GMM)と隠れマルコフモデル(HMM)を利用するGMM-HMM法、あるいは、混合ガウス分布の代わりにいわゆるディープニューラルネットワーク(DNN)を利用するDNN-HMM法を用いることができる。さらに、判定部３４は、音声信号に対して所定の音声認識手法を適用することで識別された、ドライバの発声の内容を表す文字列と、通知された応答要求にて要求される所定の発声に相当する文字列との一致度、例えば、レーベンシュタイン距離の逆数またはジャロ・ウィンクラー距離を算出する。そして判定部３４は、所定期間内に得られた音声信号のうちの何れかの部分期間について算出した一致度が所定の一致判定値以上であれば、ドライバが所定の発声を行ったと判定する。一方、所定期間内に得られた音声信号のうちの何れの部分期間について算出した一致度も、所定の一致判定値未満であれば、判定部３４は、ドライバが所定の発声を行わなかったと判定する。

【0061】

判定部３４は、ドライバが応答要求にて要求された応答を行ったと判定した場合、その判定結果を通知部３３へ通知する。一方、応答要求が通知されてから所定期間を経過しても、ドライバが応答要求にて要求された応答を行わなかったと判定した場合、その判定結果を車両制御部３５へ通知する。

【0062】

車両制御部３５は、検知部３１からドライバの眠気の兆候を検知したことが通知され、かつ、判定部３４から、ドライバが応答要求にて要求された応答を行わなかったとの判定結果を受け取るまでは、車両１０に適用される運転制御レベルに従って車両１０を制御する。車両１０に適用される運転制御レベルが、ドライバによる車両１０の操作を必要としない運転制御レベルである場合、車両制御部３５は、車両１０が走行中の自車線に沿って走行するよう、車両１０を制御する。そのために、車両制御部３５は、カメラ３により生成された画像から自車線と隣接車線とを区画する車線区画線、及び、車両１０の周囲を走行する他の車両といった移動物体を検出する。そして車両制御部３５は、検出された車線区画線と高精度地図とを照合することで、車両１０の位置及び姿勢を推定する。車両制御部３５は、車両１０の位置及び姿勢の推定結果と、車両１０の周囲の個々の移動物体の検出結果とに基づいて、車両１０が個々の移動物体と衝突せず、かつ、自車線に沿って走行するように車両１０を制御する。

【0063】

また、検知部３１からドライバの眠気の兆候を検知したことが通知され、かつ、判定部３４から、ドライバが応答要求にて要求された応答を行わなかったとの判定結果を受け取ると、車両制御部３５は、車両１０を緊急停車させるように車両１０を制御する。あるいは、判定部３４による判定結果にかかわらず、検知部３１からドライバの眠気の兆候を検知したことが通知されてから所定期間が経過しても、依然としてドライバの眠気の兆候が検知され続けている場合も、車両制御部３５は、車両１０を緊急停車させるように車両１０を制御してもよい。その際、車両制御部３５は、所定の減速度で車両１０を減速させるよう、アクセル開度またはブレーキ量を設定する。そして車両制御部３５は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３５は、設定されたアクセル開度に従ってモータへ供給される電力量を求め、その電力量がモータへ供給されるようにモータの駆動回路を制御する。さらに、車両制御部３５は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。なお、車両制御部３５は、車両１０の位置及び姿勢の推定結果、車両１０の周囲の個々の移動物体の検出結果、及び、高精度地図に基づいて、車両１０を路肩に移動させてから停車させてもよい。

【0064】

図５は、プロセッサ２３により実行される、運転支援処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、以下の動作フローチャートに従って運転支援処理を実行すればよい。

【0065】

プロセッサ２３の検知部３１は、ドライバ画像に基づいて、ドライバの眠気の兆候を検知したか否か判定する（ステップＳ１０１）。眠気の兆候が検知されている場合（ステップＳ１０１－Ｙｅｓ）、プロセッサ２３の要求決定部３２は、車両１０の周囲の環境または車両１０の走行条件に基づいて応答要求を決定する（ステップＳ１０２）。そしてプロセッサ２３の通知部３３は、決定した応答要求を、ユーザインターフェース６を介してドライバに通知する（ステップＳ１０３）。

【0066】

応答要求が通知された後、プロセッサ２３の判定部３４は、要求した応答をドライバが行ったか否か判定する（ステップＳ１０４）。要求した応答が行われていない場合（ステップＳ１０４－Ｎｏ）、判定部３４は、応答要求が通知されてから所定期間が経過したか否か判定する（ステップＳ１０５）。所定期間が経過していなければ（ステップＳ１０５－Ｎｏ）、プロセッサ２３は、ステップＳ１０１以降の処理を繰り返す。一方、所定期間が経過していれば（ステップＳ１０５－Ｙｅｓ）、判定部３４は、ドライバが要求された応答を行わなかったと判定する。そしてプロセッサ２３の車両制御部３５は、車両１０が緊急停車するよう車両１０を制御する（ステップＳ１０６）。

【0067】

一方、ステップＳ１０４にて、要求した応答が行われた場合（ステップＳ１０４－Ｙｅｓ）、通知部３３は、応答要求の通知を停止する（ステップＳ１０７）。

【0068】

また、ステップＳ１０１において、ドライバの眠気の兆候が検知されない場合（ステップＳ１０１－Ｎｏ）も、通知部３３は、応答要求の通知を停止する（ステップＳ１０７）。なお、応答要求が通知されていないときには、ステップＳ１０７の処理は省略される。

【0069】

ステップＳ１０６またはＳ１０７の後、プロセッサ２３は、運転支援処理を終了する。

【0070】

以上に説明してきたように、この運転支援装置は、ドライバの眠気の兆候を検知すると、車両の周囲の環境または車両の走行条件に応じて、ドライバに対する応答要求を決定し、決定した応答要求を、車両に設けられたインターフェースを介してドライバに通知する。そしてこの運転支援装置は、通知した応答要求に応じた応答をドライバに行わせることで、ドライバの覚醒を促す。このように、この運転支援装置は、ドライバの眠気の兆候が検知されたときの応答要求の内容を変更できるので、ドライバが通知された応答要求に対して慣れ難くすることができる。そのため、この運転支援装置は、ドライバが眠気の兆候を示したときにドライバに対して覚醒を適切に支援することができる。

【0071】

変形例によれば、要求決定部３２は、応答要求として、ステアリングを叩くこと以外のドライバの動作を要求してもよい。例えば、要求決定部３２は、車両１０の周囲の環境に基づいて応答要求を決定する場合、応答要求として、応答要求の決定に利用される地物、例えば、速度標識を注視することを要求してもよい。この場合、通知部３３は、ユーザインターフェース６が有する表示装置またはタッチパネルに、応答要求の決定に利用される地物を注視することを要求するメッセージを表示させる。あるいは、通知部３３は、ユーザインターフェース６が有するスピーカに、応答要求の決定に利用される地物を注視することを要求する音声を出力させる。また、判定部３４は、頭部画像に基づいて検出されたドライバの視線方向と、車両１０からその地物への方向との差が所定の角度差以下であれば、ドライバはその地物を注視していると判定すればよい。なお、測位情報に基づく車両１０の現在位置と高精度地図とに基づいてその地物が検出されている場合、判定部３４は、高精度地図に表されたその地物の位置、車両１０の現在位置及び車両１０の進行方向に基づいて、車両１０からその地物への方向を特定できる。また、カメラ３により生成された画像からその地物が検出されている場合には、判定部３４は、画像上でその地物が表されている領域の重心位置と、カメラ３の撮影方向及び焦点距離とに基づいて、車両１０からその地物への方向を特定できる。

【0072】

他の変形例によれば、要求決定部３２は、ドライバの眠気の兆候が検知されたときに車両１０に適用されている自動運転制御のレベルに応じて、応答要求の種別を変更してもよい。例えば、ドライバの眠気の兆候が検知されたときに車両１０に適用されている自動運転制御のレベルがSAEの定義によるレベル３またはレベル２である場合、要求決定部３２は、応答要求として、ドライバの発声またはドライバの動作による応答を要求する。なお、以下では、SAEの定義による自動運転制御のレベルｍ(ｍ＝０～５)を、単にレベルｍと呼ぶ。一方、ドライバの眠気の兆候が検知されたときに車両１０に適用されている自動運転制御のレベルがレベル１以下のレベルである場合、要求決定部３２は、応答要求として、ステアリングを叩く動作による応答を要求する。例えば、上記の実施形態のように、応答要求が車両１０の周囲に存在する速度標識に基づいて決定されるとする。そしてドライバの眠気の兆候が検知されたときに車両１０に適用されている自動運転制御のレベルがレベル３またはレベル２である場合、要求決定部３２は、応答要求を、速度標識に示されている制限速度を問うもの、あるいは、速度標識を注視することを要求するものとする。これに対して、ドライバの眠気の兆候が検知されたときに車両１０に適用されている自動運転制御のレベルがレベル１以下のレベルである場合、要求決定部３２は、応答要求を、検出された速度標識に表される制限速度を１０で除して求められる回数だけステアリングを叩くこととする。

【0073】

なお、ドライバの眠気の兆候が検知されたときに車両１０に適用されている自動運転制御のレベルがレベル２以下のレベルである場合、要求決定部３２は、応答要求を、検出された速度標識に表される制限速度を１０で除して求められる回数だけステアリングを叩くこととしてもよい。

【0074】

このように、ドライバの眠気の兆候が検知されたときに車両１０に適用されている自動運転制御のレベルに応じて応答要求の種別を変更することで、要求決定部３２は、ドライバが感じる煩わしさを軽減しつつ、ドライバの覚醒を適切に支援することができる。

【0075】

さらに他の変形例によれば、検知部３１により検知されたドライバの眠気レベルが高いほど、要求決定部３２は、ドライバの応答内容がより複雑となるように応答要求を決定してもよい。この場合、ドライバの複数の眠気レベルのそれぞれについて判定条件が予め設定される。検知部３１は、瞬きの周期及び頻度、口の開き度合い及び視線方向の移動速度の少なくとも一つに基づいて、眠気レベルごとに、その眠気レベルの判定条件が満たされるか否か判定する。そして検知部３１は、判定条件が満たされた眠気レベルのうち、最も高い眠気レベルを、ドライバの眠気レベルとする。

【0076】

例えば、上記の実施形態のように、車両１０の周囲に存在する速度標識に基づいて応答要求が決定される場合において、ドライバの眠気レベルが眠気の兆候があるレベルと判定されたとする。この場合には、要求決定部３２は、上記の実施形態と同様に、応答要求を、速度標識に示された制限速度を問うもの、あるいは、その制限速度を１０で除して得られる数だけステアリングを叩くものとする。これに対して、ドライバの眠気レベルがより高いレベル、例えば、低覚醒状態と判断されるレベルである場合、要求決定部３２は、応答要求を、速度標識に示された制限速度と車両１０の車速メータに示される車速との差を問うものとすることができる。あるいは、ドライバの眠気レベルが低覚醒状態と判断されるレベルである場合、要求決定部３２は、応答要求を、車両１０の前方を走行する先行車両のナンバープレートに記載されている数字の合計を問うものとしてもよい。この場合、判定部３４は、カメラ３により生成された画像から先行車両のナンバープレートを検出し、検出したナンバープレートに記載された個々の数値を識別することで、それらの数値の合計を算出すればよい。その際、判定部３４は、画像に表されたナンバープレート及びナンバープレートに記載の数値を識別するように予め学習された識別器に画像を入力することで、それらの数値を識別すればよい。この変形例によれば、要求決定部３２は、ドライバの眠気レベルが高いほど、より強い刺激をドライバに与えることで覚醒効果を高めることができる。

【0077】

また、一旦応答要求が通知された後、判定部３４がドライバ要求された応答を行ったと判定しても、依然として検知部３１による眠気の兆候の検知が継続している場合、要求決定部３２は、通知する応答要求の種別を変更してもよい。例えば、要求決定部３２は、検知部３１による眠気の兆候の検知が継続するほど、ドライバの応答内容がより複雑となるように、通知する応答要求を変更してもよい。これにより、ドライバの覚醒がより適切に支援される。

【0078】

さらに他の変形例によれば、判定部３４は、ドライバが要求された応答と異なる応答を行ったと判定した場合、ドライバに対して何らかのペナルティを課す処理を行ってもよい。例えば、車両１０に適用中の自動運転制御のレベルがレベル３であり、かつ、ドライバが要求された応答と異なる応答を行った場合、判定部３４は、車両１０に適用される自動運転制御のレベルをレベル２に低下させてもよい。そしてそれ以降、通知部３３は、ドライバの眠気の兆候が検知された場合、応答要求の代わりに、眠気の兆候が検知されたことを示す警告を、ユーザインターフェース６を介してドライバに通知するようにしてもよい。なお、この場合でも、一定期間経過後において、レベル３の適用が可能になると、ＥＣＵ７は、レベル３の自動運転制御を実行してもよい。また、ＥＣＵ７は、ドライバの眠気の兆候が検出されたときに、ドライバに対して再度応答要求を行うようにしてもよい。同様に、車両１０に適用中の自動運転制御のレベルがレベル２であり、かつ、ドライバが要求された応答と異なる応答を行った場合、判定部３４は、車両１０に適用される自動運転制御のレベルをレベル１またはレベル０に低下させてもよい。すなわち、判定部３４は、車両１０の制御主体をドライバに移管してもよい。そしてそれ以降、通知部３３は、ドライバの眠気の兆候が検知された場合、応答要求の代わりに、眠気の兆候が検知されたことを示す警告を、ユーザインターフェース６を介してドライバに通知するようにしてもよい。なお、この場合でも、一定期間経過後において、レベル３の適用が可能になると、ＥＣＵ７は、レベル２の自動運転制御を実行してもよい。また、ＥＣＵ７は、ドライバの眠気の兆候が検出されたときに、ドライバに対して再度応答要求を行うようにしてもよい。さらに、車両１０に適用中の自動運転制御のレベルがレベル１以下のレベルであり、かつ、ドライバが要求された応答と異なる応答を行った場合、判定部３４は、それ以降、車両１０のイグニッションスイッチがオフにされるまで、自動運転制御の適用を停止してもよい。その後にドライバの眠気の兆候が検知された場合、通知部３３は、応答要求の代わりに、眠気の兆候が検知されたことを示す警告を、ユーザインターフェース６を介してドライバに通知するようにしてもよい。なお、一旦イグニッションスイッチがオフにされた後、イグニッションスイッチが再度オンにされると、ＥＣＵ７は、ドライバの眠気の兆候が検出されたときに、ドライバに対して再度応答要求を行うようにしてもよい。
このようなペナルティをドライバに課すことで、ＥＣＵ７は、次回の応答要求時に、ドライバが適切に応答する可能性を向上させることができる。

【0079】

なお、判定部３４は、例えば、応答要求が所定の発声を要求するものである場合に、ドライバによるそのような発声が検出されず、代わりに、所定の発声と異なる発声が検出され、あるいは、ステアリングを叩く動作が検出された場合、ドライバが要求された応答と異なる応答を行ったと判定する。また、判定部３４は、応答要求が所定の動作を要求するものである場合に、ドライバによるそのような動作が検出されず、代わりに、所定の動作と異なる動作が検出され、あるいは、ドライバによる発生が検出された場合、ドライバが要求された応答と異なる応答を行ったと判定してもよい。

【0080】

さらに他の変形例によれば、ドライバに対して応答要求が行われた後の所定期間において、ドライバによる応答が検出されない場合、ドライバが眠気のために応答しなかったのか、煩わしさのために応答しなかったのかの判別がつかないことがある。そこで、判定部３４は、応答要求が通知された後にドライバによる適切な応答が検出される度に、ドライバに対して所定の報酬を与える処理を行ってもよい。所定の報酬は、例えば、何らかのサービスに利用可能なポイントとすることができる。これにより、ＥＣＵ７は、応答要求時に、ドライバが適切に応答する可能性を向上させることができる。

【0081】

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0082】

１ 車両制御システム
１０ 車両
２ GPS受信機
３ カメラ
４ ドライバモニタカメラ
５ ストレージ装置
６ ユーザインターフェース
７ 電子制御装置(ＥＣＵ、運転支援装置)
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 検知部
３２ 要求決定部
３３ 通知部
３４ 判定部
３５ 車両制御部

【図1】

【図2】

【図3】

【図4】

【図5】