(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025001186
(43)【公開日】2025-01-08
(54)【発明の名称】ドライバ評価情報提供装置及び評価情報提供方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20241225BHJP
【FI】
G08G1/16 F
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023100641
(22)【出願日】2023-06-20
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100187311
【弁理士】
【氏名又は名称】小飛山 悟史
(74)【代理人】
【識別番号】100161425
【弁理士】
【氏名又は名称】大森 鉄平
(72)【発明者】
【氏名】不破本 義孝
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB20
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181FF27
5H181FF32
5H181FF35
5H181LL08
5H181LL09
5H181LL20
(57)【要約】
【課題】車両のドライバに装置の認識しているドライバの運転関与度の評価結果を情報提供することで運転関与度に応じた警告の出力などに対してドライバが違和感を感じることを抑制することができる。
【解決手段】車両のドライバモニタカメラの撮像した車両のドライバの撮像画像に少なくとも基づいて、ドライバの状態を監視するドライバ監視部と、ドライバ監視部によるドライバの状態の監視結果に基づいて、ドライバの運転関与度を評価する運転関与度評価部と、運転関与度評価部の評価した運転関与度をドライバに対して情報提供する情報提供部と、を備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
車両のドライバモニタカメラの撮像した前記車両のドライバの撮像画像に少なくとも基づいて、前記ドライバの状態を監視するドライバ監視部と、
前記ドライバ監視部による前記ドライバの状態の監視結果に基づいて、前記ドライバの運転関与度を評価する運転関与度評価部と、
前記運転関与度評価部の評価した前記運転関与度を前記ドライバに対して情報提供する情報提供部と、
を備える、ドライバ評価情報提供装置。
【請求項2】
前記情報提供部は、前記車両において自動運転又は運転支援としての走行制御が実行されている場合、前記運転関与度が下回ったときに前記走行制御を終了させる終了判定閾値に前記運転関与度が近づいていることを前記ドライバに情報提供する、請求項1に記載のドライバ評価情報提供装置。
【請求項3】
前記情報提供部は、前記車両において自動運転又は運転支援としての走行制御が実行されている場合、前記運転関与度が下回ったときに前記走行制御を終了させる終了判定閾値から前記運転関与度が遠ざかっていることを前記ドライバに情報提供する、請求項1又は2に記載のドライバ評価情報提供装置。
【請求項4】
前記情報提供部は、前記走行制御が実行されている間、前記車両の運転席の前方に設けられた表示部のバー形状の点灯部分の長さにより前記運転関与度を前記ドライバに対して連続的に情報提供する、請求項2又は請求項3に記載のドライバ評価情報提供装置。
【請求項5】
前記情報提供部は、前記表示部のバー形状の前記点灯部分の端部のうち前記運転関与度の変化に応じて長さが変わる端部を強調表示し、
前記運転関与度の低下により前記点灯部分の長さが短くなる場合の前記端部の強調表示と、前記運転関与度の増加により前記点灯部分の長さが長くなる場合の前記端部の強調表示とを異ならせる、請求項4に記載のドライバ評価情報提供装置。
【請求項6】
車両のドライバに情報提供を行うドライバ評価情報提供装置の評価情報提供方法であって、
前記ドライバ評価情報提供装置により、前記車両のドライバモニタカメラの撮像した前記車両のドライバの撮像画像に少なくとも基づいて前記ドライバの状態を監視し、
前記ドライバ評価情報提供装置により、前記ドライバの状態の監視結果に基づいて前記ドライバの運転関与度を評価し、
前記ドライバ評価情報提供装置により、前記運転関与度を前記ドライバに対して情報提供する、評価情報提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ドライバ評価情報提供装置及び評価情報提供方法に関する。
【背景技術】
【0002】
従来、ドライバ評価情報提供装置に関する技術文献として、国際公開第2020―188634号公報が知られている。この公報には、車両のドライバの状態に応じて警告を出力するドライバモニタリング装置が示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、車両の装置によるドライバの状態の評価とドライバの自己の状態への評価の差が大きい場合には、装置によるドライバへの警告等に対してドライバが違和感を感じるおそれがある。
【課題を解決するための手段】
【0005】
本発明の一態様に係るドライバ評価情報提供装置は、車両のドライバモニタカメラの撮像した車両のドライバの撮像画像に少なくとも基づいて、ドライバの状態を監視するドライバ監視部と、ドライバ監視部によるドライバの状態の監視結果に基づいて、ドライバの運転関与度を評価する運転関与度評価部と、運転関与度評価部の評価した運転関与度をドライバに対して情報提供する情報提供部と、を備える。
【0006】
本発明の一態様に係るドライバ評価情報提供装置によれば、車両のドライバに対して装置の評価しているドライバの運転関与度を情報提供することができるので、運転関与度に応じてドライバへの警告の出力や自動運転又は運転支援の終了が行われたとしても、ドライバが違和感を感じることを抑制することができる。
【0007】
本発明の一態様に係るドライバ評価情報提供装置において、情報提供部は、車両において自動運転又は運転支援としての走行制御が実行されている場合、運転関与度が下回ったときに走行制御を終了させる終了判定閾値に運転関与度が近づいていることをドライバに情報提供してもよい。
このドライバ評価情報提供装置によれば、運転関与度が終了判定閾値に近づいていることをドライバに情報提供するので、装置の評価するドライバの運転関与度の低下により自動運転又は運転支援としての走行制御が終了することに対して、ドライバが違和感を感じることを抑制することができる。
【0008】
本発明の一態様に係るドライバ評価情報提供装置において、情報提供部は、車両において自動運転又は運転支援としての走行制御が実行されている場合、運転関与度が下回ったときに走行制御を終了させる終了判定閾値から運転関与度が遠ざかっていることをドライバに情報提供してもよい。
このドライバ評価情報提供装置によれば、装置の評価する運転関与度が終了判定閾値から遠ざかっていることをドライバに情報提供するので、自動運転又は運転支援としての走行制御の継続を望むドライバに対して運転関与度を高めるモチベーションを与えることが可能になる。
【0009】
本発明の一態様に係るドライバ評価情報提供装置において、情報提供部は、走行制御が実行されている間、車両の運転席の前方に設けられた表示部のバー形状の点灯部分の長さにより運転関与度をドライバに対して連続的に情報提供するしてもよい。
このドライバ評価情報提供装置によれば、走行制御が実行されている間、表示部によりドライバに対する情報提供を連続的に実行するので、ドライバは自動運転又は運転支援中に任意のタイミングで装置の評価する運転関与度を確認することができる。
【0010】
本発明の一態様に係るドライバ評価情報提供装置において、情報提供部は、情報提供部は、表示部のバー形状の点灯部分の端部のうち運転関与度の変化に応じて長さが変わる端部を強調表示し、運転関与度の低下により点灯部分の長さが短くなる場合の端部の強調表示と、運転関与度の増加により点灯部分の長さが長くなる場合の端部の強調表示とを異ならせてもよい。
このドライバ評価情報提供装置によれば、表示部のバー形状の点灯部分の端部のうち運転関与度の変化に応じて長さが変わる端部を強調表示することで、ドライバに運転関与度の変化を気づかせやすくすると共に、点灯部分の長さが短くなる場合の端部の強調表示と点灯部分の長さが長くなる場合の端部の強調表示とを異ならせることで、ドライバに運転関与度が低下しているか増加しているかを容易に理解させることができる。
【0011】
本発明の他の態様は、車両のドライバに情報提供を行うドライバ評価情報提供装置の評価情報提供方法であって、ドライバ評価情報提供装置により、車両のドライバモニタカメラの撮像した車両のドライバの撮像画像に少なくとも基づいてドライバの状態を監視し、ドライバ評価情報提供装置により、ドライバの状態の監視結果に基づいて、ドライバの運転関与度を評価し、ドライバ評価情報提供装置により、運転関与度をドライバに対して情報提供する。
【0012】
本発明の一態様に係るドライバ評価情報提供装置の評価情報提供方法によれば、車両のドライバに対して装置の評価しているドライバの運転関与度を情報提供することができるので、運転関与度に応じてドライバへの警告の出力や自動運転又は運転支援の終了が行われたとしても、ドライバが違和感を感じることを抑制することができる。
【発明の効果】
【0013】
本発明の各態様によれば、車両のドライバに装置の認識しているドライバの運転関与度の評価結果を情報提供することで運転関与度に応じたの出力などに対してドライバが違和感を感じることを抑制することができる。
【図面の簡単な説明】
【0014】
【
図1】一実施形態に係るドライバ評価情報提供装置を示すブロック図である。
【
図2】運転席の前方に設けられる表示部の一例を示す図である。
【
図3】運転関与度に応じた情報提供内容の変化の一例を示すグラフである。
【
図4】運転関与度に対応する情報提供内容及び表示部の表示態様の一例を示す表である。
【
図5】ドライバ評価情報提供装置の評価情報提供方法の一例を示すフローチャートである。
【
図6】情報提供対象としてのサービスレベル切り替え方法の一例を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照して説明する。
【0016】
図1は、一実施形態に係るドライバ評価情報提供装置100を示すブロック図である。
図1に示すドライバ評価情報提供装置100は、車両に搭載され、車両のドライバに対して装置の評価した運転関与度の情報提供を行う。運転関与度とは、ドライバの運転に対する関与又は集中の度合いである。
【0017】
車両は、例えば自動運転及び運転支援のうちいずれか一方を実行可能な車両である。自動運転とは、ドライバの運転操作なしに車両を自動で走行させる走行制御である。自動運転としての走行制御では、ドライバの運転操作なしに車両の車速及び操舵の両方がコントロールされる。自動運転は、例えば米国自動車技術者協会(SAE)の認定した自動運転レベル3以上の制御に相当する。
【0018】
運転支援とは、車両が適切に走行するようにドライバの運転操作を支援する車両制御である。本実施形態に係る運転支援には、ACC[Adaptive Cruise Control]、LKA[Lane KeepingAssist]、パーキングアシストなどの車両の走行制御が含まれる。運転支援としての走行制御では、ドライバが運転操作を入力していない間、車両の車速及び操舵のうち少なくとも一方がコントロールされる。運転支援は、例えば米国自動車技術者協会(SAE)の認定した自動運転レベル1,2に相当する。なお、車両は、必ずしも自動運転又は運転支援を実行可能である必要はない。
【0019】
[ドライバ評価情報提供装置の構成]
以下、本実施形態に係るドライバ評価情報提供装置100の構成について説明する。
図1に示すように、ドライバ評価情報提供装置100は、装置を統括的に管理するドライバ評価ECU10[Electronic Control Unit]を備えている。
【0020】
ドライバ評価ECU10は、CPU[Central Processing Unit]とROM[Read Only Memory]又はRAM[Random Access Memory]などの記憶部を有する電子制御ユニットである。ドライバ評価ECU10では、例えば、記憶部に記憶されているプログラムをCPUで実行することにより各種の機能を実現する。ドライバ評価ECU10は、複数の電子ユニットから構成されていてもよい。
【0021】
ドライバ評価ECU10は、ドライバモニタカメラ1、外部センサ2、ステアリングセンサ3、アクセルペダルセンサ4、ブレーキペダルセンサ5、表示部6、スピーカ7、振動部8、及び車両制御部20と接続されている。
【0022】
ドライバモニタカメラ1は、ドライバを撮像するカメラである。ドライバモニタカメラ1は、例えば車両のステアリングコラムのカバー上で運転席の正面の位置に設けられている。ドライバモニタカメラ1は、ドライバを複数方向から撮像するため、複数個設けられていてもよい。ドライバモニタカメラ1は、撮像したドライバの画像をドライバ評価ECU10へ送信する。
【0023】
外部センサ2は、車両の周辺環境を検出する検出機器である。外部センサ2は、外部カメラ、レーダーセンサを含む。外部カメラは、例えば、車両のフロントガラスの裏側に設けられ、車両の前方を撮像する前方カメラを含む。外部カメラは、車両の背面及び側面に設けられたカメラを含んでいてもよい。外部カメラは、車両外部の撮像情報をドライバ評価ECU10へ送信する。
【0024】
レーダーセンサは、電波(例えばミリ波)又は光を利用して車両の周辺の物体を検出する検出機器である。レーダーセンサには、例えば、ミリ波レーダー又はライダー[LIDAR:Light Detection and Ranging]が含まれる。レーダーセンサは、電波又は光を車両の周囲に送信し、物体で反射された電波又は光を受信することで障害物を検出する。レーダーセンサは、検出した物体情報をドライバ評価ECU10へ送信する。
【0025】
ステアリングセンサ3は、ドライバによる車両のステアリングホイールの把持を検出するセンサである。ステアリングセンサ3は、ステアリングホイールに設けられた感圧センサを含んで構成されていてもよく、人体の電流を検出するタッチセンサを含んで構成されていてもよい。ステアリングセンサ3は、ドライバによるステアリングホイールの操作を検出可能であってもよい。ステアリングセンサ3は、ドライバのステアリングホイールの把持などの検出結果をドライバ評価ECU10へ送信する。なお、ステアリングホイールはホイール形状のものに限定されずハンドルとして機能するものであればよい。
【0026】
アクセルペダルセンサ4は、ドライバによる車両のアクセルペダルの踏み込みを検出する。アクセルペダルセンサ4は、ドライバがアクセルペダル上に足を置いている状態を検出可能に構成されている。アクセルペダルセンサ4は、ドライバによる車両のアクセルペダルの踏み込みなどの検出結果をドライバ評価ECU10へ送信する。
【0027】
ブレーキペダルセンサ5は、ドライバによるブレーキペダルの踏み込みを検出する。ブレーキペダルセンサ5は、ドライバがブレーキペダル上に足を置いている状態を検出可能に構成されている。ブレーキペダルセンサ5は、ドライバによる車両のブレーキペダルの踏み込みなどの検出結果をドライバ評価ECU10へ送信する。
【0028】
表示部6は、ドライバへの視覚的な情報提供に用いられる機器である。表示部6は、例えば運転席の前方に設けられる。ここで、
図2は、運転席の前方に設けられる表示部の一例を示す図である。
図2に、第一表示部6a、第二表示部6b、及びセンターディスプレイ6cを示す。
図2に示すように、表示部6は、例えば第一表示部6a、第二表示部6b、及びセンターディスプレイ6cを含んで構成されている。
【0029】
第一表示部6aは、車両のインストルメントパネルの上で車両の左右に延びるように設けられたバー形状の光源である。第一表示部6aは、ドライバの車両前方の監視中にドライバの視界に入る位置に設けられる。第一表示部6aは、例えばLEDにより構成することができる。第一表示部6aは、一例として運転席の前から助手席の前まで設けられている。
【0030】
第一表示部6aは、一例として、バー形状の点灯部分Lの長さによりドライバに対して運転関与度の情報提供を行う。点灯部分Lのうち、運転関与度の変化によって長さが変化する端部を符号Laで示す。なお、第一表示部6aの長さは特に限定されず、運転席の前から車両中央までの長さであってもよく、それより短い長さであってもよい。
【0031】
第二表示部6bは、車両のステアリングホイール50の上部に設けられた光源である。第二表示部6bは、例えばLEDにより構成されたステアリングイルミネーションとすることができる。第二表示部6bは、車両の左右に延びる長方形状の光源とすることができる。第二表示部6bの形状は特に限定されない。第二表示部6bの形状は、正方形であってもよく、菱形であってもよく、楕円形であってもよい。第二表示部6bは、ステアリングホイール50の上部ではなくステアリングコラムのカバー上に設けられていてもよい。
【0032】
センターディスプレイ6cは、車両のインストルメントパネルの中央に設けられたディスプレイである。センターディスプレイ6cは、例えば車両のナビゲーションシステムによる経路案内に利用される。センターディスプレイ6cは、必ずしもインストルメントパネルの中央に位置する必要はない。また、センターディスプレイ6cは必ずしもナビゲーションシステムのディスプレイとして使用可能である必要はない。
【0033】
表示部6は、必ずしも第一表示部6a、第二表示部6b、及びセンターディスプレイ6cの全てを含む必要はなく、何れか一つだけを含む構成であってもよい。表示部6は、第一表示部6a、第二表示部6b、及びセンターディスプレイ6cの全てを含まず、ドライバへ視覚的な情報提供を行う他の機器を含む構成であってもよい。表示部6は、例えば車両のフロントガラス等に画像情報を投影するHUD[Head Up Display]を含んでいてもよく、メータのMID[MultiInformation Display]を含んでもよい。表示部6は、上述した表示用の機器のうち少なくとも一つを含んでいればよい。
【0034】
スピーカ7は、ドライバへの音による情報提供に用いられる機器である。スピーカ7は、車室内のドライバに対して音や音声を出力可能に構成されている。
【0035】
振動部8は、ドライバへの振動による情報提供に用いられる機器である。振動による情報提供は、視覚的な情報提供又は音による情報提供と組み合わせて行われる。振動部8は、例えば車両のステアリングホイールを振動させるステアリングアクチュエータを含んでいる。
【0036】
振動部8は、車両の運転席のシートベルトを巻き取るベルトアクチュエータを含んでいてもよい。振動部8は、ドライバのシートベルトを軽く引くことでドライバに情報提供を行ってもよい。振動部8は、運転席のアームレストやシートを振動させるシート用アクチュエータを含んでいてもよい。
【0037】
車両制御部20は、車両の駆動部(エンジンアクチュエータ、ブレーキアクチュエータ、操舵アクチュエータなど)に制御信号を送信することで車両の走行を制御する。車両制御部20は、ドライバの許可した車両の自動運転又は運転支援を実行する。自動運転及び運転支援の詳細な説明は省略する。車両制御部20は、車両の自動運転又は運転支援の実行中に、ドライバ評価ECU10から走行制御の終了信号を受信した場合、実行中の走行制御(自動運転又は運転支援としての走行制御)を終了する。
【0038】
車両制御部20は、車両の自動運転の実行中に、ドライバ評価ECU10から走行制御の終了信号を受信して自動運転の走行制御を終了する場合、運転支援の走行制御に移行する態様であってもよい。すなわち、車両制御部20は、ドライバ評価ECU10から走行制御の終了信号を受信した場合、自動運転レベル3以上から自動運転レベル2に移行する態様であってもよい。
【0039】
次に、ドライバ評価ECU10の機能的構成について説明する。
図1に示すように、ドライバ評価ECU10は、ドライバ監視部11、運転関与度評価部12、及び情報提供部13を有している。
【0040】
ドライバ監視部11は、車両のドライバモニタカメラ1によって撮像された車両のドライバの撮像画像に基づいて、ドライバの状態を監視する。ドライバ監視部11は、例えばドライバの顔の向きの認識を行う。ドライバが車両の運転又は走行に注意を向けている場合には、ドライバの顔は車両の前方を向いていると考えられる。ドライバ監視部11は、周知の画像処理技術によりドライバの顔の向きを認識する。
【0041】
ドライバ監視部11は、機械学習モデルを用いてドライバの顔の向きを認識してもよい。機械学習モデルは、例えばドライバモニタカメラ1によって撮像されたドライバの撮像画像を入力として顔の向きの認識結果を出力する。機械学習モデルは、例えば畳込みニューラルネットワーク(CNN)などのニューラルネットワークである。ニューラルネットワークは、複数の畳込み層およびプーリング層を含む複数の層を含むことができる。ニューラルネットワークとしては、ディープラーニングによる深層学習ネットワークが用いられてもよい。以後、本実施形態で現われる機械学習モデルも同様のニューラルネットワーク構造とすることができる。
【0042】
ドライバ監視部11は、ドライバの眼の状態を監視してもよい。ドライバの眼の状態には、ドライバの視線が含まれる。ドライバの眼の状態に、眼球のサッカード、瞬目頻度、閉眼速度、閉眼状態(上まぶたの位置)などのうち少なくとも一つを含めてもよい。ドライバ監視部11は、周知の画像処理技術又は機械学習モデルにより、視線を含むドライバの眼の状態を認識する。
【0043】
ドライバ監視部11は、ドライバの顔の向き又は眼の状態からドライバが脇見状態やよそ見状態であることを認識してもよい。脇見状態とは、ドライバが車両の運転とは関係ない車両外部の景色などを視認している状態である。よそ見状態とは、ドライバが車両の運転とは関係ない車両内部を視認している状態である。よそ見状態には、ドライバが他の乗員を向いて会話している状態、ドライバが車両のナビゲーションシステムその他の機器を操作している状態、ドライバがスマートフォンなどを操作している状態が含まれる。
【0044】
ドライバ監視部11は、ドライバの顔の向き又は眼の状態からドライバが集中不足状態であることを認識してもよい。集中不足状態には、ドライバが睡眠不足により運転に集中できない状態や、ドライバが考え事をして運転に集中できない状態が含まれる。ドライバ監視部11は、眼球のサッカード、瞬目頻度、閉眼速度、閉眼状態(上まぶたの位置)などからドライバが集中不足状態であることを認識する。
【0045】
ドライバ監視部11は、ステアリングセンサ3の検出結果に基づいて、ドライバの状態を監視してもよい。ドライバが車両の運転又は走行に注意を向けている場合には、ドライバのステアリングホイールを把持していると考えられる。ドライバ監視部11は、ステアリングセンサ3の検出結果からドライバがステアリングホイールを把持していることを認識する。ドライバ監視部11は、ドライバが両手でステアリングホイールを把持しているか片手で把持しているかを区別して認識してもよい。ドライバ監視部11は、ドライバによるステアリングホイールの操舵量を認識してもよい。
【0046】
ドライバ監視部11は、アクセルペダルセンサ4又はブレーキペダルセンサ5の検出結果に基づいて、ドライバの状態を監視してもよい。ドライバの足がアクセルペダル又はブレーキペダルの上に置かれている場合には、ドライバが車両の運転又は走行に注意を向けている可能性が高いと考えることができる。
【0047】
ドライバ監視部11は、アクセルペダルセンサ4又はブレーキペダルセンサ5の検出結果に基づいて、ドライバの足がアクセルペダル又はブレーキペダルの上に置かれていることを認識する。ドライバ監視部11は、ドライバがアクセルペダル又はブレーキペダルを踏み込んでいる場合、ドライバのペダル踏み込み量を認識してもよい。
【0048】
運転関与度評価部12は、ドライバ監視部11によるドライバの状態の監視結果に基づいて、ドライバの運転関与度を評価する。運転関与度評価部12は、例えばドライバが脇見状態である場合、ドライバが車両前方を向いている場合と比べて、運転関与度を低く評価する。なお、ドライバの視線がサイドミラーを向いている場合には、運転関与度を低く評価しない。
【0049】
運転関与度評価部12は、ドライバがよそ見状態である場合、ドライバが車両前方を向いている場合と比べて、運転関与度を低く評価してもよい。なお、ドライバの視線がバックミラーを向いている場合には、運転関与度を低く評価しない。運転関与度評価部12は、ドライバがよそ見状態であり、且つ、ドライバが車両のナビゲーション、音楽再生、電話その他のために車内に設置された情報機器を操作している場合には、ドライバが情報機器を操作していない場合と比べて、運転関与度を低く評価してもよい。運転関与度評価部12は、車内に設置された情報機器からドライバの操作に関する信号を取得する。
【0050】
運転関与度評価部12は、ドライバが集中不足状態である場合、ドライバが集中不足状態ではない場合と比べて、運転関与度を低く評価してもよい。運転関与度評価部12は、ドライバの集中不足を段階的に評価してもよい。運転関与度評価部12は、ドライバが睡眠不足により集中不足となっている場合、その他の理由により集中不足となっている場合と比べて、運転関与度を低く評価してもよい。運転関与度評価部12は、ドライバの脇見状態、よそ見状態、集中不足状態の継続時間が長くなるほど、運転関与度を低く評価してもよい。
【0051】
運転関与度評価部12は、ドライバが周辺監視行動を行う頻度が一定値未満である場合、ドライバが周辺監視行動を行う頻度が一定値以上である場合と比べて、運転関与度を低く評価してもよい。周辺監視行動には、車両前方だけではなく、サイドミラーやバックミラー、隣接車線、隣接する歩道、車両前方の信号機を確認する行動を含めることができる。
【0052】
運転関与度評価部12は、外部センサ2の検出した車両外部の走行環境を踏まえて、ドライバの運転関与度を評価してもよい。運転関与度評価部12は、外部センサ2の検出した車両の走行車線の延在方向とドライバ監視部11の認識したドライバの顔の向きとに基づいて、ドライバが走行車線の延在方向を向いているか否かを判定する。ドライバが車両の運転又は走行に意識を向けている場合、走行車線がカーブであるときなど、カーブの向きに応じてドライバの顔の向きが変化すると考えられる。運転関与度評価部12は、ドライバが走行車線の延在方向を向いていない場合、ドライバが走行車線の延在方向を向いている場合と比べて、運転関与度を低く評価してもよい。
【0053】
また、運転関与度評価部12は、外部センサ2の検出した信号機、道路標識、先行車、追い越し車両、車両前方の歩行者などの視認対象のうちドライバが一度も視認していない視認対象が多いほど運転関与度を低く評価してもよい。運転関与度評価部12は、ドライバによる一定時間あたりの視認対象の視認回数(いずれかの視認対象の視認回数)が所定値未満である場合、視認回数が所定値以上である場合と比べて、運転関与度を低く評価してもよい。ドライバの視認判定には周知の技術を用いることができる。
【0054】
運転関与度評価部12は、車両の加速又は減速とドライバの頭部の状態に基づいて、ドライバの運転関与度を評価してもよい。ドライバが車両の運転又は走行に意識を向けている場合、車両の走行する状況(発進、加速、減速、停止)を予測し、前後加速度の変化に対して身構えているため、運転に意識を向けていないドライバと比べて頭の揺れなどが小さくなると考えられる。運転関与度評価部12は、車両の加速時又は減速時におけるドライバの頭部の揺れが大きいほど運転関与度を低く評価してもよい。
【0055】
運転関与度評価部12は、ドライバがステアリングホイールを把持していない場合、ドライバがステアリングホイールを把持している場合と比べて、運転関与度を低く評価してもよい。運転関与度評価部12は、ドライバがステアリングホイールを把持していない場合、最後にドライバがステアリングホイールを把持したときからの経過時間が長いほど運転関与度を低く評価してもよい。また、運転関与度評価部12は、ドライバがステアリングホイールを片手で把持している場合、ドライバがステアリングホイールを両手で把持している場合と比べて、運転関与度を低く評価してもよい。
【0056】
運転関与度評価部12は、ドライバの足がアクセルペダル又はブレーキペダルの上に置かれていない場合、ドライバの足がアクセルペダル又はブレーキペダルの上に置かれている場合と比べて、運転関与度を低く評価してもよい。運転関与度評価部12は、ドライバの足がアクセルペダル又はブレーキペダルの上に置かれていない場合、最後にドライバの足がアクセルペダル又はブレーキペダルの上に置かれたときからの経過時間が長いほど運転関与度を低く評価してもよい。
【0057】
運転関与度評価部12は、車両の自動運転又は運転支援の実行中に、ドライバがステアリングホイールの操舵やアクセルペダルの踏み込み、ブレーキペダルの踏み込みにより、車両の走行に介入するオーバーライドの一定時間あたりの回数が所定値未満である場合、オーバーライドの一定時間あたりの回数が所定値以上である場合と比べて、運転関与度を低く評価してもよい。
【0058】
運転関与度評価部12は、車両が自動運転を実行している場合と車両が運転支援を実行している場合とで、運転関与度の評価方法を変更してもよい。運転関与度評価部12は、例えば自動運転の実行中には、運転支援の実行中と比べて、ドライバが脇見状態やよそ見状態、集中不足状態となっていることによる運転関与度の評価の低下量を小さくしてもよい。運転関与度評価部12は、例えば自動運転の実行中には、運転支援の実行中と比べて、ドライバがステアリングホイールを把持していないことによる運転関与度の評価の低下量を小さくしてもよい。運転関与度評価部12は、例えば自動運転の実行中には、運転支援の実行中と比べて、ドライバの足がアクセルペダル又はブレーキペダルの上に置かれていないことによる運転関与度の評価の低下量を小さくしてもよい。
【0059】
情報提供部13は、運転関与度評価部12の評価したドライバの運転関与度をドライバに対して情報提供する。情報提供部13は、例えば表示部6を用いてドライバへの情報提供を行う。なお、情報提供部13によるドライバへの情報提供は視覚的な情報提供に限定されず、音や音声による情報提供であってもよく、ステアリングホイールの振動その他の方法による情報提供が行われてもよい。
【0060】
情報提供部13は、例えば表示部6における第一表示部6aにおいて、運転関与度が低いほどバー形状の点灯部分を短くすることで、ドライバに運転関与度の情報提供を行う〈
図2参照〉。情報提供部13は、第一表示部6aの運転席側の端部を基準として助手席側に向かって伸びる点灯部分の長さを変更する態様であってもよく、第一表示部6aの中央の位置を基準として左右に伸びる点灯部分の長さを変更する態様であってもよい。
【0061】
情報提供部13は、点灯部分の端部のうち点灯部分の長さが変わる側の端部(例えば
図2の端部La)を強調表示させてもよい。点灯部分が左右に伸縮する場合には両端が強調表示される。情報提供部13は、強調表示として端部の輝度を高めてもよく、端部の色を変更してもよい。端部の色は、その他の部分と比べて濃い色又は薄い色に変更されてもよく、異なる色に変更されてもよい。情報提供部13は、強調表示として端部の点灯周期を他の部位と比べて短くしてもよく、フェードなどのアニメーション効果を付与してもよい。なお、バー状の点灯部分をHUDに表示する場合には星形の画像を端部の周辺に複数表示するなど様々なアニメーション効果を採用することができる。
【0062】
情報提供部13は、運転関与度の低下により点灯部分の長さが短くなる場合の端部の強調表示と運転関与度の増加により前記点灯部分の長さが長くなる場合の強調表示とを異ならせてもよい。情報提供部13は、例えば点灯部分の長さが短くなる場合と点灯部分の長さが長くなる場合とで強調表示としての端部の色を変更する。情報提供部13は、強調表示としての端部の点滅周期やアニメーション効果を変更してもよい。その他、情報提供部13は、点灯部分の長さの変化スピード(運転関与度の増減スピード)が早いほど端部の点滅周期を短い時間に変更してもよく、点灯部分の長さの変化スピードが早いほど端部の色を濃い色に変更してもよい。
【0063】
情報提供部13は、例えば表示部6におけるステアリングホイール50上の第二表示部6bにおいて、運転関与度が低いほど光源の点滅周期を短くすることでドライバに運転関与度の情報提供を行ってもよい。情報提供部13は、例えば表示部6におけるセンターディスプレイ6cに運転関与度に応じた数値やテキストを表示することでドライバに運転関与度の情報提供を行ってもよい。情報提供部13は、第一表示部6a、第二表示部6b、及びセンターディスプレイ6cに代えてHUDやMIDを用いてもよい。
【0064】
情報提供部13は、ドライバが運転関与度の情報提供機能をオンにしている場合、連続的にリアルタイムで運転関与度の情報提供を行う。なお、情報提供部13は、必ずしも連続的な情報提供を行う必要はなく、一定時間毎の情報提供を行う態様であってもよい。一定時間は特に限定されない。一定時間は1秒であってもよく、5秒であってもよく、10秒であってもよい。
【0065】
情報提供部13は、車両において自動運転又は運転支援としての走行制御が実行されている場合、運転関与度が終了判定閾値未満となったか否かを判定してもよい。終了判定閾値とは、自動運転又は運転支援の走行制御を終了させるための閾値である。自動運転用の終了判定閾値と運転支援用の終了判定閾値は異なる値とすることができる。自動運転用の終了判定閾値は、運転支援用の終了判定閾値より大きい値であってもよい。
【0066】
情報提供部13は、運転関与度が終了判定閾値未満となったと判定した場合、ドライバに手動運転開始の要求を行うと共に車両制御部20に対して走行制御の終了信号を送信する。走行制御の終了信号を受信した車両制御部20は、自動運転又は運転支援としての走行制御を終了する。なお、車両が自動運転を実行している場合における手動運転開始の要求とは、いわゆるハンズオン要求に相当する。
【0067】
情報提供部13は、車両において自動運転又は運転支援としての走行制御が実行されている場合、運転関与度と終了判定閾値との関係をドライバに情報提供してもよい。情報提供部13は、運転関与度が低下している場合、運転関与度が終了判定閾値に近づいていることをドライバに情報提供する。情報提供部13は、運転関与度が増加している場合、終了判定閾値から運転関与度が遠ざかっていることをドライバに情報提供する。情報提供部13は、走行制御が終了するまでの残り時間として運転関与度と終了判定閾値との関係をドライバに情報提供してもよい。
【0068】
具体的に、情報提供部13は、
図3及び
図4に示す態様でドライバに情報提供を行うことができる。ここでは、車両が自動運転の実行中であることを前提として説明を行う。
図3は、運転関与度に応じた情報提供内容の変化の一例を示すグラフである。
【0069】
図3において、縦軸は運転関与度、横軸はサービスレベルに対応する。「ハンズオフ」とは、ドライバがステアリングホイールを放すことを許容するレベルである。「まもなくハンズオン」とは、運転関与度の低下によりドライバにまもなくハンズオン要求を行うレベルである。「ハンズオン要求」とは、ドライバに手動運転の準備を要求するレベルである。
図3に、終了予告閾値Th1、終了判定閾値Th2を示す。終了予告閾値Th1は、自動運転の終了に近づいていることをドライバに予告するために用いられる閾値である。
【0070】
図4は、運転関与度に対応する情報提供内容及び表示部の表示態様の一例を示す表である。
図4における運転関与度「高」は、
図3における運転関与度が終了予告閾値Th1以上である場合に相当する。運転関与度「中」は、
図3における運転関与度が終了予告閾値Th1未満で終了判定閾値Th2以上である場合に相当する。運転関与度「低」は、
図3における運転関与度が終了判定閾値Th2未満である場合に相当する。
【0071】
図3及び
図4に示すように、情報提供部13は、運転関与度「高」である場合、ドライバに対して「ハンズオフ」の情報提供を行う。情報提供部13は、例えば第一表示部6aにおいて、バー形状の点灯部分を最も長い表示とする。なお、バー形状の点灯部分の長さは、段階的ではなく連続的に変化する態様であってもよい。情報提供部13は、第一表示部6aの点滅周期を点灯(点滅なし)又は10秒周期とする。また、情報提供部13は、第一表示部6aの点灯部分の色を青色とする。
【0072】
情報提供部13は、運転関与度「中」である場合、ドライバに対して「まもなくハンズオン」の情報提供を行う。情報提供部13は、第一表示部6aにおいて、バー形状の点灯部分を中くらいの長さの表示とする。情報提供部13は、第一表示部6aの点滅周期を1秒周期とする。また、情報提供部13は、第一表示部6aの点灯部分の色を黄色とする。情報提供部13は、表示部6に加えてスピーカ7による音声出力及び振動部8によるステアリングホイールなどの振動によりドライバに情報提供(自動運転が終了することの警告)を行ってもよい。
【0073】
情報提供部13は、運転関与度「低」である場合、ドライバに対して「ハンズオン要求」の情報提供を行う。情報提供部13は、第一表示部6aにおいて、バー形状の点灯部分を最も短い表示とする。情報提供部13は、第一表示部6aの点滅周期を0.5秒周期とする。また、情報提供部13は、第一表示部6aの点灯部分の色を赤色とする。なお、
図4に示す点灯態様は、第二表示部6bにおいて採用されてもよく、その他の表示用の機器で採用されてもよい。情報提供部13は、表示部6に加えてスピーカ7による音声出力及び振動部8によるステアリングホイールなどの振動によりドライバに情報提供を行ってもよい。
【0074】
なお、「ハンズオン要求」となった場合には、既に車両制御部20に対して自動運転(走行制御)の終了信号が送信されているためドライバが運転関与度を上げようとしても自動運転は終了する。情報提供部13は、バー形状の点灯部分の長さを連続的に変化させる場合、点灯部分の長さがゼロになるタイミングと自動運転の終了タイミングを一致させてもよい。この場合、点灯部分の短さが自動運転終了までの残り時間に相当する。
【0075】
情報提供部13は、自動運転の終了により運転支援に切り替わった場合(自動運転レベル3から自動運転レベル2に移行した場合)、運転支援用の情報提供を行ってもよい。情報提供部13は、運転支援に切り替わった後もドライバの運転関与度が低下し続けている場合、運転関与度が運転支援用の終了予告閾値未満となったとき、ドライバに運転支援終了の予告の情報提供を行う。情報提供部13は、運転関与度が運転支援用の終了判定閾値Th2未満となったとき、車両制御部20に運転支援(走行制御)の終了信号を送信すると共に、運転支援終了による手動運転要求の情報提供を行う。
【0076】
情報提供部13は、自動運転から運転支援に切り替わった場合には、バー形状の点灯部分の長さを最も長い表示に復帰させてもよい。情報提供部13は、運転支援に切り替わった場合には、自動運転の場合と比べて点灯部分の色を変更してもよい。情報提供部13は、運転支援において運転関与度「高」である場合には点灯部分の色を緑色、運転関与度「中」である場合には点灯部分の色をオレンジ色、運転関与度「低」である場合には点灯部分の色をピンク色としてもよい。
【0077】
[ドライバ評価情報提供装置の評価情報提供方法]
続いて、本実施形態におけるドライバ評価情報提供装置100の評価情報提供方法について
図5及び
図6を参照して説明する。
図5は、ドライバ評価情報提供装置の評価情報提供方法の一例を示すフローチャートである。ドライバ評価情報提供装置100は、ドライバが運転関与度の情報提供機能をオンにしている場合に評価情報提供方法を実行する。ドライバ評価情報提供装置100は、自動運転又は運転支援の開始時に評価情報提供方法を実行する態様であってもよい。
【0078】
図5に示すように、ドライバ評価情報提供装置100のドライバ評価ECU10は、S10として、ドライバ監視部11により車両のドライバの状態を監視する。ドライバ監視部11は、車両のドライバモニタカメラ1によって撮像された車両のドライバの撮像画像に基づいて、ドライバの顔向きなどの状態を監視する。
【0079】
S11において、ドライバ評価ECU10は、運転関与度評価部12によりドライバの運転関与度を評価する。運転関与度評価部12は、ドライバ監視部11によるドライバの状態の監視結果に基づいて、ドライバの運転関与度の評価を行う。
【0080】
S12において、ドライバ評価ECU10は、情報提供部13によりドライバへの情報提供を行う。情報提供部13は、運転関与度評価部12の評価したドライバの運転関与度に関する情報提供を行う。情報提供部13は、表示部6の第一表示部6aなどを用いて情報提供を実行する。情報提供部13は、スピーカ7による音又は音声の出力、振動部8によるステアリングホイールの振動などを合わせて実行してもよい。その後、ドライバ評価ECU10は、S10に戻って処理を繰り返す。
【0081】
図6は、情報提供対象としてのサービスレベル切り替え方法の一例を示すフローチャートである。
図6に示すサービスレベル切り替え方法は、例えば
図5に示すS12の情報提供処理の一部として実行される。ここでは車両が自動運転を実行中であることを前提としてサービスレベル切り替え方法を例示する。
【0082】
図6に示すように、ドライバ評価情報提供装置100のドライバ評価ECU10は、S20として、情報提供部13により運転関与度が終了予告閾値Th1以上であるか否かを判定する。ドライバ評価ECU10は、運転関与度が終了予告閾値Th1以上であると判定した場合(S20:YES)、S21に移行する。ドライバ評価ECU10は、運転関与度が終了予告閾値Th1以上であると判定しなかった場合(S20:NO)、S22に移行する。
【0083】
S21において、ドライバ評価ECU10は、情報提供部13によりサービスレベル「ハンズオフ」に対応するドライバへの情報提供を行う。情報提供部13は、表示部6により運転関与度に関するサービスレベル「ハンズオフ」の情報提供を行う。
【0084】
S22において、ドライバ評価ECU10は、S22として、情報提供部13により運転関与度が終了判定閾値Th2以上であるか否かを判定する。ドライバ評価ECU10は、運転関与度が終了判定閾値Th2以上であると判定した場合(S22:YES)、S23に移行する。ドライバ評価ECU10は、運転関与度が終了判定閾値Th2以上であると判定しなかった場合(S22:NO)、S24に移行する。
【0085】
S23において、ドライバ評価ECU10は、情報提供部13によりサービスレベル「まもなくハンズオン」に対応するドライバへの情報提供を行う。情報提供部13は、表示部6により運転関与度に関するサービスレベル「まもなくハンズオン」の情報提供を行う。
【0086】
S24において、ドライバ評価ECU10は、情報提供部13によりサービスレベル「ハンズオン要求」に対応するドライバへの情報提供を行う。情報提供部13は、表示部6により運転関与度に関するサービスレベル「ハンズオン要求」の情報提供を行う。
【0087】
以上説明した本実施形態に係るドライバ評価情報提供装置100によれば、車両のドライバに装置の評価したドライバの運転関与度を情報提供することができるので、運転関与度に応じてドライバへの警告の出力や自動運転又は運転支援の終了が行われたとしても、ドライバが違和感を感じることを抑制することができる。
【0088】
また、ドライバ評価情報提供装置100によれば、運転関与度が終了判定閾値に近づいていることをドライバに情報提供するので、装置の評価するドライバの運転関与度の低下により自動運転又は運転支援としての走行制御が終了することに対して、ドライバが違和感を感じることを抑制することができる。同様に、ドライバ評価情報提供装置100によれば、装置の評価する運転関与度が終了判定閾値から遠ざかっていることをドライバに情報提供するので、自動運転又は運転支援としての走行制御の継続を望むドライバに対して運転関与度を高めるモチベーションを与えることが可能になる。
【0089】
また、ドライバ評価情報提供装置100によれば、走行制御が実行されている間、表示部6によりドライバに対する情報提供を連続的にリアルタイムで実行するので、ドライバは自動運転又は運転支援中に任意のタイミングで装置の評価する運転関与度を確認することができる。更に、ドライバ評価情報提供装置100によれば、表示部6のバー形状の点灯部分の端部のうち運転関与度の変化に応じて長さが変わる端部を強調表示することで、ドライバに運転関与度の変化を気づかせやすくすると共に、点灯部分の長さが短くなる場合の端部の強調表示と点灯部分の長さが長くなる場合の端部の強調表示とを異ならせることで、ドライバに運転関与度が低下しているか増加しているかを容易に理解させることができる。
【0090】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
【0091】
ドライバ評価情報提供装置100は、ドライバ監視のための機器として少なくともドライバモニタカメラ1を備えていればよく、外部センサ2、ステアリングセンサ3、アクセルペダルセンサ4、及びブレーキペダルセンサ5は必須ではない。同様に、ドライバ評価情報提供装置100は、情報提供用の機器として、少なくとも表示部6を備えていればよく、スピーカ7及び振動部8は必須ではない。
【0092】
ドライバ監視部11は、必ずしもドライバの脇見状態、よそ見状態、集中不足状態などを判定する必要はない。運転関与度評価部12は、ドライバ監視部11によるドライバの顔の向きや瞼の状態などの監視結果から、直接的に運転関与度の評価を行ってもよい。
【0093】
なお、ドライバ監視部11は、ドライバの装着しているウェアラブルデバイスからドライバの脳波、心拍数、血圧その他の生体情報を取得する態様であってもよい。運転関与度評価部12は、ドライバの生体情報を踏まえて運転関与度の評価を行ってもよい。
【0094】
ドライバ評価ECU10は、ドライバのウェアラブルデバイスと通信することにより、ドライバに対して情報提供を行ってもよい。ウェアラブルデバイスには、スマートウォッチ(時計機能を有さないリストバンド型デバイスも含む)、スマートグラスなどが含まれる。ドライバ評価ECU10は、スマートウォッチにおいて振動や音の出力、光の点滅によりドライバへ情報提供を行ってもよく、スマートグラスにおいて、ドライバの視界への画像の投影や音の出力で情報提供を行ってもよい。
【符号の説明】
【0095】
1…ドライバモニタカメラ、2…外部センサ、3…ステアリングセンサ、4…アクセルペダルセンサ、5…ブレーキペダルセンサ、6…表示部、6a…第一表示部、6b…第二表示部、6c…センターディスプレイ、7…スピーカ、8…振動部、10…ドライバ評価ECU、11…ドライバ監視部、12…運転関与度評価部、13…情報提供部、20…車両制御部、100…ドライバ評価情報提供装置、L…点灯部分、La…端部、Th1…終了予告閾値、Th2…終了判定閾値。