(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】注意喚起装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20221206BHJP
B60R 16/02 20060101ALI20221206BHJP
G08B 21/06 20060101ALI20221206BHJP
G08B 21/24 20060101ALI20221206BHJP
G08B 21/00 20060101ALI20221206BHJP
【FI】
G08G1/16 F
B60R16/02 650A
G08B21/06
G08B21/24
G08B21/00 U
(21)【出願番号】P 2018236340
(22)【出願日】2018-12-18
【審査請求日】2021-05-24
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(73)【特許権者】
【識別番号】000003551
【氏名又は名称】株式会社東海理化電機製作所
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100187311
【氏名又は名称】小飛山 悟史
(74)【代理人】
【識別番号】100161425
【氏名又は名称】大森 鉄平
(72)【発明者】
【氏名】澤井 俊一郎
(72)【発明者】
【氏名】筒井 俊博
【審査官】武内 俊之
(56)【参考文献】
【文献】国際公開第2018/221350(WO,A1)
【文献】特開2017-182249(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
B60R 16/02
G08B 21/06
G08B 21/24
G08B 21/00
(57)【特許請求の範囲】
【請求項1】
手動運転、運転支援、及びドライバ主体自動運転を含む運転モードを切替え可能な車両のドライバに対して注意喚起を行う注意喚起装置であって、
前記手動運転は、前記ドライバによるステアリングホイールの保舵が必要であり且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の全てを前記ドライバが行う必要がある運転モードであり、
前記運転支援は、前記ドライバによるステアリングホイールの保舵が必要であり且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の少なくとも1つが自動的に制御され前記ドライバが行う必要がない運転モードであり、
前記ドライバ主体自動運転は、前記ドライバによるステアリングホイールの保舵が必要ではなく且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の全てが自動的に制御され前記ドライバが行う必要がない運転モードであって、なおかつ前記車両の運転の主体は前記ドライバ側にあるものとして扱われる運転モードであり、
実行中の前記運転モードを認識する運転モード認識部と、
前記車両に設けられたドライバモニタカメラの撮像画像に基づいて、前記ドライバの状態であるドライバ状態を認識するドライバ状態認識部と、
前記ドライバ状態に基づいて、前記注意喚起の要否を判定する判定部と、
前記判定部により前記注意喚起が必要と判定された場合、実行中の前記運転モードに応じた強度で前記車両の運転に意識を向けさせるための刺激を前記ドライバに付与するように前記車両の刺激部を制御する制御部と、を備え
、
前記制御部は、
実行中の前記運転モードが前記手動運転であると判定した場合、実行中の前記運転モードに応じた強度として、強度ST1で前記ドライバに刺激を付与するように前記刺激部を制御し、
実行中の前記運転モードが前記運転支援であると判定した場合、実行中の前記運転モードに応じた強度として、前記強度ST1よりも強い強度ST2で前記ドライバに刺激を付与するように前記刺激部を制御し、
実行中の前記運転モードが前記ドライバ主体自動運転であると判定した場合、実行中の前記運転モードに応じた強度として、前記強度ST2よりも強い強度ST3で前記ドライバに刺激を付与するように前記刺激部を制御する、注意喚起装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、注意喚起装置に関する。
【背景技術】
【0002】
従来、トリガ検知部で所定のトリガを検知した場合に、対象者の覚醒状態を維持するための刺激の強度を時間的に変動させる覚醒維持装置が示されている(例えば特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
手動運転、運転支援、及びドライバ主体自動運転を含む運転モードを切替え可能な車両において、例えば運転に意識を向けさせるための刺激を一定の強度でドライバに付与すると、ドライバにとって適度な強度とならず、ドライバが煩わしさを感じるおそれがある。
【0005】
本発明は、ドライバに付与する注意喚起のための刺激によってドライバが煩わしさを感じることを抑制可能な注意喚起装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る注意喚起装置は、手動運転、運転支援、及びドライバ主体自動運転を含む運転モードを切替え可能な車両のドライバに対して注意喚起を行う注意喚起装置であって、実行中の運転モードを認識する運転モード認識部と、車両に設けられたドライバモニタカメラの撮像画像に基づいて、ドライバの状態であるドライバ状態を認識するドライバ状態認識部と、ドライバ状態に基づいて、注意喚起の要否を判定する判定部と、判定部により注意喚起が必要と判定された場合、実行中の運転モードに応じた強度で車両の運転に意識を向けさせるための刺激をドライバに付与するように車両の刺激部を制御する制御部と、を備える。
【発明の効果】
【0007】
本発明によれば、ドライバに付与する注意喚起のための刺激によってドライバが煩わしさを感じることを抑制することが可能となる。
【図面の簡単な説明】
【0008】
【
図1】一実施形態に係る注意喚起装置を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、例示的な実施形態について説明する。
【0010】
図1は、一実施形態に係る注意喚起装置1を示すブロック図である。
図1に示される注意喚起装置1は、一例として、自動運転が可能な乗用車等の車両に搭載され、ドライバに注意喚起するための刺激をドライバに付与する装置である。自動運転とは、予め設定された目的地に向かって自動で車両を走行させる車両制御である。
【0011】
注意喚起装置1は、装置を統括的に制御する注意喚起ECU[Electronic Control Unit]10を備えている。注意喚起ECU10は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等を有する電子制御ユニットである。注意喚起ECU10は、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより、注意喚起処理に関する各機能を実現する。注意喚起ECU10は、複数のECUにより構成されていてもよい。注意喚起ECU10の機能の一部は、車両と通信可能なサーバで実行されてもよい。
【0012】
注意喚起ECU10には、ドライバモニタカメラ2、自動運転ECU3、及びリトラクタ(刺激部)4が接続されている。
【0013】
ドライバモニタカメラ2は、ドライバを撮像する撮像機器である。ドライバモニタカメラ2は、車両のステアリングコラムのカバー上でドライバの前方の位置に設けられ、少なくともドライバの顔を撮像する。ドライバモニタカメラ2は、ドライバを複数方向から撮像するためにステアリングコラム以外の場所などにも複数個設けられていてもよい。ドライバモニタカメラ2は、ドライバの撮像情報を注意喚起ECU10に送信する。
【0014】
自動運転ECU3は、車両の自動運転を実行するための電子制御ユニットである。自動運転ECU3は、CPU、ROM、RAM等を有する電子制御ユニットである。自動運転ECU3は、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより、自動運転の各機能を実現する。自動運転ECU3は、複数のECUにより構成されていてもよい。自動運転ECU3の機能の一部は、車両と通信可能なサーバで実行されてもよい。
【0015】
自動運転ECU3は、車載のGPS[Global Positioning System]受信部が測定した車両の位置情報、地図データベースの地図情報、車載の外部カメラ及びレーダセンサ(ミリ波レーダ及びライダー)の検出結果から認識された車両の周辺環境(他車両の位置等)、及び、車載の内部センサ(車速センサ、ヨーレートセンサ等)の検出結果から認識された車両状態(車速、ヨーレート等)に基づいて、予め設定された目的地までの目標ルートに沿った走行計画を生成する。目的地は乗員等により設定されてもよい。目標ルートは、目的地に基づいて、周知のナビゲーションシステムによって設定されてもよい。この場合のナビゲーションシステムは、自動運転ECU3と一体であってもよい。
【0016】
自動運転ECU3は、走行計画に従い目的地に向かって自動運転を実行する。自動運転ECU3は、車両のアクチュエータ(エンジンアクチュエータ、操舵アクチュエータ、ブレーキアクチュエータ等)に制御信号を送信することで自動運転を実行する。
【0017】
自動運転ECU3は、複数の運転モードを切替え可能に構成されている。運転モードは、車両の運転に対するドライバの関与度合いに応じて予め分類されたモードであり、手動運転、運転支援、ドライバ主体自動運転、及びシステム主体自動運転を含む。自動運転ECU3は、運転モード情報を注意喚起ECU10に送信する。
【0018】
一例として、手動運転は、ドライバによるステアリングホイールの保舵が必要であり且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の全てをドライバが行う必要がある運転モードである。
【0019】
運転支援は、ドライバによるステアリングホイールの保舵が必要であり且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の少なくとも1つが自動的に制御されドライバが行う必要がない運転モードである。運転支援としては、例えば、ACC[Adaptive Cruise Control]、LKA[Lane Keeping Assist]等が含まれる。
【0020】
ドライバ主体自動運転は、ドライバによるステアリングホイールの保舵が必要ではなく且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の全てが自動的に制御されドライバが行う必要がない運転モードであって、なおかつ車両の運転の主体はドライバ側にあるものとして扱われる運転モードである。ドライバ主体自動運転においては、ドライバは、車両の運転操作自体を行う必要はないが、車両の自動運転中に周囲の状況及び車両の挙動などを監視し、必要に応じて自動運転に介入することが求められる。
【0021】
システム主体自動運転は、ドライバによるステアリングホイールの保舵が必要ではなく且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の全てが自動的に制御されドライバが行う必要がない運転モードであって、なおかつ車両の運転の主体は自動運転ECU3側(自動運転システム側)にあるものとして扱われる運転モードである。システム主体自動運転においては、ドライバは、車両の運転操作自体を行う必要はなく、また、車両の自動運転中に周囲の状況及び車両の挙動などを監視することは、必ずしも求められない。
【0022】
リトラクタ4は、車両のシートベルトの巻き取り及び繰り出しを行うアクチュエータである。リトラクタ4は、車両の運転席のシートベルトについて少なくとも設けられている。リトラクタ4は、注意喚起ECU10からの制御信号に応じてシートベルトを巻き取る。リトラクタ4は、注意喚起ECU10からの制御信号に応じた強度でシートベルトを巻き取ることで、シートベルトの張力を変化させる。これにより、ドライバに付与する刺激を変化させることができる。
【0023】
次に、注意喚起ECU10の機能的構成について説明する。注意喚起ECU10は、運転モード認識部11、ドライバ状態認識部12、判定部13、及びリトラクタ制御部(制御部)14を有している。
【0024】
運転モード認識部11は、自動運転ECU3からの運転モード情報に基づいて、実行中の運転モードを認識する。
【0025】
ドライバ状態認識部12は、ドライバモニタカメラ2の撮像画像に基づいて、ドライバ状態を認識する。ドライバ状態とは、ドライバへの注意喚起の要否を判定するための判断材料として利用されるドライバの状態を意味する。
【0026】
ドライバ状態認識部12は、例えば、ドライバモニタカメラ2の撮像情報に基づいて、公知の画像処理手法によりドライバの顔向きを取得し、ヨー角方向、ピッチ角方向、及びロール方向のそれぞれについてドライバの顔向きの角度情報を取得する。ドライバ状態認識部12は、ドライバの顔向きの角度情報に基づいて、公知の手法により、ドライバの脇見の有無を認識する。脇見とは、例えば、ドライバが正面等の所定範囲の外を向いている状態を意味する。ドライバ状態認識部12は、例えば、予め設定された時間にわたって、ドライバの顔向きが、ドライバの正面方向に対して予め設定された角度以上だけヨー角方向、ピッチ角方向、又はロール方向にずれている場合に、ドライバ状態としてドライバの脇見状態を認識する。
【0027】
ドライバ状態認識部12は、例えば、ドライバモニタカメラ2の撮像情報に基づいて、公知の画像処理手法により、ドライバの毎分の閉眼率、眼の開眼の状況、まばたきの頻度、眼球運動、顔向きの時間変化度合い、あくび行動の有無、又は、口の開き具合の変化度合い等からドライバの覚醒度を認識する。覚醒度とは、ドライバが睡眠不足等により意識が朦朧とした状態ではなく覚醒していることを示す度合いである。ドライバ状態認識部12は、例えば覚醒度が所定の閾値以下である場合に、ドライバ状態としてドライバの覚醒度低下を認識する。
【0028】
ドライバ状態認識部12は、例えば、ドライバモニタカメラ2の撮像情報に基づいて、公知の画像処理手法により、ドライバの視線の向きを取得し、ドライバの漫然運転の有無を認識する。漫然運転とは、例えばドライバが考え事をしているような状態を指し、ドライバに有意な眠気はないがドライバが周辺確認行動を怠っている状態を意味する。ドライバ状態認識部12は、例えば覚醒度が所定の閾値以下ではない場合において、予め設定された時間にわたってドライバの視線の向きや顔向きの変化が所定範囲内に留まっているとき、ドライバ状態としてドライバの漫然運転を認識する。
【0029】
判定部13は、ドライバ状態認識部12で認識されたドライバ状態に基づいて、注意喚起の要否を判定する。判定部13は、例えばドライバ状態認識部12でドライバの脇見状態が認識された場合、注意喚起が必要であると判定する。判定部13は、例えばドライバ状態認識部12でドライバの覚醒度低下が認識された場合、注意喚起が必要であると判定する。判定部13は、例えばドライバ状態認識部12でドライバの漫然運転が認識された場合、注意喚起が必要であると判定する。
【0030】
リトラクタ制御部14は、判定部13により注意喚起が必要と判定された場合、車両の運転に意識を向けさせるための刺激を、運転モード認識部11で認識された実行中の運転モードに応じた強度でドライバに付与するようにリトラクタ4を制御する。リトラクタ制御部14は、運転モード認識部11で認識された運転モードに基づいて、実行中の運転モードが、手動運転、運転支援、ドライバ主体自動運転、及びシステム主体自動運転のいずれであるかを判定する。
【0031】
リトラクタ制御部14は、実行中の運転モードが手動運転であると判定した場合、実行中の運転モードに応じた強度として、強度ST1でドライバに刺激を付与するようにリトラクタ4を制御する。リトラクタ制御部14は、実行中の運転モードが運転支援であると判定した場合、実行中の運転モードに応じた強度として、強度ST2でドライバに刺激を付与するようにリトラクタ4を制御する。リトラクタ制御部14は、実行中の運転モードがドライバ主体自動運転であると判定した場合、実行中の運転モードに応じた強度として、強度ST3でドライバに刺激を付与するようにリトラクタ4を制御する。リトラクタ制御部14は、実行中の運転モードがシステム主体自動運転であると判定した場合、実行中の運転モードに応じた強度として、強度ST4でドライバに刺激を付与するようにリトラクタ4を制御する。強度ST1~強度ST4は、実行中の運転モードに応じてリトラクタ制御部14がリトラクタ4に運転席のシートベルトを巻き取らせる強度である。
【0032】
一例として、強度ST2は、強度ST1よりも強い。強度ST3は、強度ST2よりも強い。つまり、ドライバに付与する刺激の強度は、運転モードが手動運転の場合、運転モードが運転支援の場合、運転モードがドライバ主体自動運転の場合、の順で強くなる。このような序列となる理由としては、各運転モードにおいてドライバの意識が運転に向けられる度合いに応じて、ドライバに眠気が発生し易いと考えられることによっている。例えば、同等の覚醒度のドライバに発生する眠気が所定レベル以上となるまでの相対的な時間が、上述の序列で短くなると考えられる。
【0033】
また例えば、強度ST4は、強度ST3よりも弱い。つまり、ドライバに付与する刺激の強度は、運転モードがシステム主体自動運転の場合の方が、運転モードがドライバ主体自動運転の場合よりも弱い。このような序列となる理由として、運転モードがシステム主体自動運転の場合においては、ドライバの意識が運転に向けられる度合いが運転モードがドライバ主体自動運転の場合よりも小さくなるため、よりドライバに眠気が発生し易いものと考えられる。しかしながら、システム主体自動運転にあっては車両の自動運転中に周囲の状況及び車両の挙動などを監視することがドライバに必ずしも求められないことを考慮すると、システム主体自動運転においてドライバに付与すべき刺激の強さは、少なくともドライバ主体自動運転においてドライバに付与すべき刺激の強さよりも弱くすることができる、と考えられることによっている。なお、強度ST4は、強度ST2よりも弱くてもよい。強度ST4は、強度ST1よりも弱くてもよい。強度ST4は、ドライバに刺激を付与しない強度であってもよい。
【0034】
続いて、注意喚起ECU10による注意喚起処理について説明する。
図2は、注意喚起処理を示すフローチャートである。
図2のフローチャートは、例えば車両の走行中に実行される。
【0035】
図2に示されるように、ステップS11において、注意喚起ECU10は、ドライバ状態認識部12により、ドライバモニタカメラ2から受信したドライバの撮像情報に基づいて、公知の手法によりドライバの状態を認識する。ステップS12において、注意喚起ECU10は、判定部13により、ドライバ状態認識部12により認識されたドライバ状態に基づいて、注意喚起の要否を判定する。
【0036】
注意喚起ECU10は、判定部13により注意喚起が必要と判定された場合(S12:YES)、ステップS13において、運転モード認識部11により、実行中の運転モードを認識する。ステップS14において、注意喚起ECU10は、リトラクタ制御部14により、運転モード認識部11により認識された運転モードに基づいて、運転モードが手動運転か否かを判定する。
【0037】
注意喚起ECU10は、リトラクタ制御部14により運転モードが手動運転であると判定された場合(S14:YES)、ステップS15において、リトラクタ制御部14により、実行中の運転モードである手動運転に応じた強度として、強度ST1でドライバに刺激を付与するようにリトラクタ4を制御する。その後、注意喚起ECU10は、今回の注意喚起処理を終了し、ステップS11から再度注意喚起処理を実行する。
【0038】
注意喚起ECU10は、リトラクタ制御部14により運転モードが手動運転ではないと判定された場合(S14:NO)、ステップS16において、注意喚起ECU10は、リトラクタ制御部14により、運転モード認識部11により認識された運転モードに基づいて、運転モードが運転支援か否かを判定する。
【0039】
注意喚起ECU10は、リトラクタ制御部14により運転モードが運転支援であると判定された場合(S16:YES)、ステップS17において、リトラクタ制御部14により、実行中の運転モードである運転支援に応じた強度として、強度ST1よりも強い強度ST2でドライバに刺激を付与するようにリトラクタ4を制御する。その後、注意喚起ECU10は、今回の注意喚起処理を終了し、ステップS11から再度注意喚起処理を実行する。
【0040】
注意喚起ECU10は、リトラクタ制御部14により運転モードが運転支援ではないと判定された場合(S16:NO)、ステップS18において、注意喚起ECU10は、リトラクタ制御部14により、運転モード認識部11により認識された運転モードに基づいて、運転モードがドライバ主体自動運転か否かを判定する。
【0041】
注意喚起ECU10は、リトラクタ制御部14により運転モードがドライバ主体自動運転であると判定された場合(S18:YES)、ステップS19において、リトラクタ制御部14により、実行中の運転モードであるドライバ主体自動運転に応じた強度として、強度ST2よりも強い強度ST3でドライバに刺激を付与するようにリトラクタ4を制御する。その後、注意喚起ECU10は、今回の注意喚起処理を終了し、ステップS11から再度注意喚起処理を実行する。
【0042】
注意喚起ECU10は、リトラクタ制御部14により運転モードがドライバ主体自動運転ではないと判定された場合(S18:NO)、ステップS20において、注意喚起ECU10は、リトラクタ制御部14により、運転モード認識部11により認識された運転モードに基づいて、運転モードがシステム主体自動運転か否かを判定する。
【0043】
注意喚起ECU10は、リトラクタ制御部14により運転モードがシステム主体自動運転であると判定された場合(S20:YES)、ステップS21において、リトラクタ制御部14により、実行中の運転モードであるシステム主体自動運転に応じた強度として、強度ST3よりも弱い強度ST4でドライバに刺激を付与するようにリトラクタ4を制御する。その後、注意喚起ECU10は、今回の注意喚起処理を終了し、ステップS11から再度注意喚起処理を実行する。
【0044】
一方、注意喚起ECU10は、判定部13により注意喚起が不要と判定された場合(S12:NO)、今回の注意喚起処理を終了し、ステップS11から再度注意喚起処理を実行する。
【0045】
以上説明したように、注意喚起装置1によれば、判定部13により注意喚起が必要と判定された場合、実行中の運転モードに応じた強度の刺激がドライバに付与される。これにより、運転モードに応じて異なる強度の刺激をドライバに付与することができる。よって、例えば運転モードを考慮しないで一定の強度の刺激をドライバに付与する場合と比較して、運転モードを考慮した強度としているので、ドライバに付与する注意喚起のための刺激によってドライバが煩わしさを感じることを抑制することが可能となる。
【0046】
[変形例]
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
【0047】
例えば、上記実施形態では、刺激部としてリトラクタ4を例示したが、これに限定されない。注意喚起としては、光の照射、音声、振動などの物理刺激によるドライバへの運転及び周囲の確認の促しの少なくとも1つを採用し得るため、刺激部として、例えばドライバへ向けた車内灯、車載のスピーカ、及びシート座面の振動子などを用いることができる。なお、制御部としては、判定部により注意喚起が必要と判定された場合、実行中の運転モードに応じた強度で刺激をドライバに付与するように、これらの刺激部を制御可能な、注意喚起ECU10の機能的構成であればよい。
【0048】
ドライバ状態認識部12は、ドライバ状態の例として、ドライバの脇見状態、ドライバの覚醒度低下、及びドライバの漫然運転を認識したが、ドライバ状態はこれらに限定されない。ドライバ状態は、判定部13が注意喚起の要否を判定するために利用可能なドライバの状態であればよい。
【0049】
上記実施形態では、強度ST2は強度ST1よりも強く、且つ、強度ST3は強度ST2よりも強かったが、これに限定されない。例えば、強度ST2は強度ST1と同等であり、且つ、強度ST3は強度ST2よりも強くてもよいし、強度ST2は強度ST1よりも強く、且つ、強度ST3は強度ST2と同等であってもよい。
【符号の説明】
【0050】
1…注意喚起装置、2…ドライバモニタカメラ、4…リトラクタ(刺激部)、11…運転モード認識部、12…ドライバ状態認識部、13…判定部、14…リトラクタ制御部(制御部)。