特許 7327199 警告制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-07

(45)【発行日】2023-08-16

(54)【発明の名称】警告制御装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230808BHJP

【ＦＩ】

G08G1/16 F

【請求項の数】 7

(21)【出願番号】P 2020025117

(22)【出願日】2020-02-18

(65)【公開番号】P2021131596

(43)【公開日】2021-09-09

【審査請求日】2022-03-30

(73)【特許権者】

【識別番号】000000170

【氏名又は名称】いすゞ自動車株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】津田 隆太

(72)【発明者】

【氏名】高徳 耕平

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】特開２０１９－０６４４６０（ＪＰ，Ａ）

【文献】特開２０００－３２２６９９（ＪＰ，Ａ）

【文献】特開２００７－３０４７１２（ＪＰ，Ａ）

【文献】特開２０１７－２１１８１８（ＪＰ，Ａ）

【文献】特開２００７－０６９７５６（ＪＰ，Ａ）

【文献】特開２０１４－２１１７８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ ３０／００ － ６０／００

Ｂ６０Ｒ ２１／００ － ２１／０１７

Ｂ６０Ｋ ３５／００

Ｇ０８Ｂ １９／００ － ３１／００

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０９Ｂ ２９／００ － ２９／１０

(57)【特許請求の範囲】

【請求項1】

運転者の顔を含む撮像画像に基づいて、前記運転者の視線方向を特定する特定部と、
前記特定部が特定した前記視線方向に基づいて、前記運転者が車両の前方とは異なる方向を一定時間以上視認する脇見を検出する脇見検出部と、
前記運転者の脇見を前記脇見検出部が検出していない場合に、前記車両の内部に配置された操作子に対する操作を受け付け、前記運転者の脇見を前記脇見検出部が検出した場合に、所定期間にわたって前記操作子に対する操作を制限し、当該所定期間が経過した後の猶予期間の間、前記脇見検出部が前記運転者の脇見を検出したか否かにかかわらず運転者の操作を受け付け、当該猶予期間の経過後、前記脇見検出部が前記運転者の脇見を検出した場合に、前記操作子に対する操作を再度制限する操作受付部と、
前記運転者の脇見を前記脇見検出部が検出していない場合に、前記操作受付部が受け付けた前記操作に基づく画像を表示し、前記運転者の脇見を前記脇見検出部が検出した場合に、前方を注視していないことを警告する警告画像を前記所定期間が経過するまで表示し、当該所定期間が経過した後の前記猶予期間の間、前記脇見検出部が前記運転者の脇見を検出したか否かにかかわらず、前記警告画像を表示しない表示制御部と、を備える、
警告制御装置。

【請求項2】

前記表示制御部は、前記運転者の脇見を前記脇見検出部が検出した場合に、前記操作に基づく画像の代わりに、前記警告画像を表示する、
請求項１に記載の警告制御装置。

【請求項3】

前記表示制御部は、前記運転者の脇見を前記脇見検出部が検出した場合に、前記特定部が特定した前記運転者の視線方向に基づいて、複数の前記警告画像のうち、いずれかを選択して表示する、
請求項１又は２に記載の警告制御装置。

【請求項4】

前記表示制御部は、前記特定部が特定した前記視線方向が前記操作に基づく画像を表示するための表示部の方向である場合に、前記運転者が前記表示部を視認していることを警告する前記警告画像を選択して表示する、
請求項３に記載の警告制御装置。

【請求項5】

前記脇見検出部は、前記車両の速度が所定値以上であることを条件として、前記運転者の脇見を検出する、
請求項１から４のいずれか一項に記載の警告制御装置。

【請求項6】

前記運転者の運転状況の履歴を記憶する記憶部をさらに備え、
前記脇見検出部は、前記運転者の脇見を検出したことを前記運転状況の履歴として前記記憶部に記憶させる、
請求項１から５のいずれか一項に記載の警告制御装置。

【請求項7】

前記表示制御部は、前記警告画像を表示している状態において前記操作子に対する操作が行われた場合に、前記操作が制限されていることを示す通知画像を表示する、
請求項１から６のいずれか一項に記載の警告制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、警告画像を表示する警告制御装置に関する。

【背景技術】

【0002】

運転者の脇見を検出して警報を表示する技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平０７－３２５９８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、運転者が運転中にディスプレイ等の表示部を視認して各種の操作を行い、車両の前方を見ていないことがある。特許文献１に記載された発明では、運転者が運転中に表示部を視認している場合に、表示部に警告を表示する。しかしながら、警告が表示部に表示されても、運転者が表示部を視認して引き続き操作を行うことがあった。

【0005】

本発明はこの点に鑑みてなされたものであり、運転者が運転中に表示部を視認して各種の操作を行っている場合に、警告を表示しても運転者が操作を継続することを抑制することができる警告制御装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の警告制御装置は、運転者の顔を含む撮像画像に基づいて、前記運転者の視線方向を特定する特定部と、前記特定部が特定した前記視線方向に基づいて、前記運転者が車両の前方とは異なる方向を一定時間以上視認する脇見を検出する脇見検出部と、前記運転者の脇見を前記脇見検出部が検出していない場合に、前記車両の内部に配置された操作子に対する操作を受け付け、前記運転者の脇見を前記脇見検出部が検出した場合に、前記操作子に対する操作を制限する操作受付部と、前記運転者の脇見を前記脇見検出部が検出していない場合に、前記操作受付部が受け付けた前記操作に基づく画像を表示し、前記運転者の脇見を前記脇見検出部が検出した場合に、前方を注視していないことを警告する警告画像を表示する表示制御部と、を備える。

【0007】

前記表示制御部は、前記運転者の脇見を前記脇見検出部が検出した場合に、前記操作に基づく画像の代わりに、前記警告画像を表示してもよい。前記表示制御部は、前記運転者の脇見を前記脇見検出部が検出した場合に、前記特定部が特定した前記運転者の視線方向に基づいて、複数の前記警告画像のうち、いずれかを選択して表示してもよい。

【0008】

前記表示制御部は、前記特定部が特定した前記視線方向が前記操作に基づく画像を表示するための表示部の方向である場合に、前記運転者が前記表示部を視認していることを警告する前記警告画像を選択して表示してもよい。前記脇見検出部は、前記車両の速度が所定値以上であることを条件として、前記運転者の脇見を検出してもよい。

【0009】

前記運転者の運転状況の履歴を記憶する記憶部をさらに備え、前記脇見検出部は、前記運転者の脇見を検出したことを前記運転状況の履歴として前記記憶部に記憶させてもよい。前記表示制御部は、前記警告画像を表示している状態において前記操作子に対する操作が行われた場合に、前記操作が制限されていることを示す通知画像を表示してもよい。

【発明の効果】

【0010】

本発明によれば、運転者が運転中に表示部を視認して各種の操作を行っている場合に、警告を表示しても運転者が操作を継続することを抑制するという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】実施形態の警告制御装置の概要を示す図である。

【図2】警告制御装置による表示制御の一例を示す図である。

【図3】車両の構成を示す図である。

【図4】通知画像の一例を示す図である。

【図5】警告制御装置による警告の表示の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0012】

［警告制御装置の概要］
図１は、本実施形態の警告制御装置の概要を示す図である。表示部１は、警告制御装置が搭載された車両のインストゥルメンタルパネルにメータの一部として配置される。表示部１は、例えば、運転者の操作に基づく画像を表示する。図１に示される表示部１には、アダプティブクルーズコントロールにおいて設定車速及び車間距離を設定するための設定画像が表示されている。この設定画像の左側に示した車両のマークの下方に並べられた台形のマークの数は、車間距離を段階的に示している。本実施形態では、車間距離を４段階で設定可能であり、マークの数が段階に対応している。図１の例では、台形のマークの数は３個であり、車間距離が４段階のうち、短い方から３番目に設定されていることを表している。設定画像の右側には、設定車速を示す。図１の例では、設定車速は時速１００ｋｍである。

【0013】

車両の内部に配置された撮像部は、運転者の顔を含む撮像画像を生成する。警告制御装置は、撮像部が生成した撮像画像を解析することにより、運転者の視線方向を特定する。警告制御装置は、特定した視線方向に基づいて、運転者の脇見を検出する。脇見は、車両の前方とは異なる方向を一定時間以上視認することをいう。警告制御装置は、運転者の脇見を検出していない場合に、車両の内部に配置された切替ボタン等の操作子に対する操作を受け付ける。

【0014】

図２は、警告制御装置による表示制御の一例を示す図である。警告制御装置は、図１に示す設定画像を表示している状態において運転者の脇見を検出した場合に、前方を注視していないことを警告する警告画像を表示部１に表示する。図２の例では、警告制御装置は、「前方注意」というメッセージを表示部１に表示する。警告画像は、図１に示す設定画像を覆うように表示され、警告画像に覆われていない設定画像の一部が引き続き表示されている。

【0015】

また、警告制御装置は、運転者の脇見を検出した場合に、操作子に対する操作を制限する。警告制御装置は、運転者の脇見を検出している場合に、運転者が運転中に設定画面を視認して操作子を操作したとき、運転者の操作子の操作を制限する。このようにして、警告制御装置は、警告画像を表示した場合に、運転者が操作子を引き続き操作することを抑制することができる。

【0016】

［車両の構成］
図３は、車両１００の構成を示す図である。車両１００は、表示部１、撮像部２、操作子３及び警告制御装置４を備える。警告制御装置４は、例えばＥＣＵ（Electronic Control Unit）により実現される。警告制御装置４は、記憶部４１及び制御部４２を備える。

【0017】

撮像部２は、車両１００の内部に設置される。撮像部２は、運転者の顔を含む所定範囲を撮像することにより、運転者の顔を含む撮像画像を生成する。所定範囲は、例えば、運転者の上半身である。操作子３は、車両１００の内部に配置されている。操作子３は、例えば、車両１００のステアリングホイールに配置された一対の切替ボタンである。また、操作子３は、スライド操作を行うためのレバーであってもよく、表示部１上に表示されたタッチセンサ式の操作ボタンであってもよい。

【0018】

記憶部４１は、例えば、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等により構成される。記憶部４１は、制御部４２を機能させるための各種プログラムや各種データを記憶する。制御部４２は記憶部４１に記憶されたプログラムを実行することにより、特定部４２１、脇見検出部４２２、操作受付部４２３及び表示制御部４２４を備える。

【0019】

特定部４２１は、撮像部２が生成した撮像画像を取得する。特定部４２１は、取得した撮像画像に基づいて、運転者の視線方向を特定する。一例としては、特定部４２１は、取得した撮像画像を解析することにより、運転者の瞳孔の位置及び角膜反射が生じている位置を特定する。特定部４２１は、角膜反射が生じている位置を基準として瞳孔の相対的な位置を特定することにより、運転者の視線方向を特定する。

【0020】

［脇見の検出］
脇見検出部４２２は、特定部４２１が特定した視線方向に基づいて、運転者が車両の前方とは異なる方向を一定時間以上視認している状態である脇見を検出する。前方とは異なる方向とは、例えば、表示部１の方向、車両１００に搭載されたカーナビゲーションシステムのディスプレイの方向、車両１００に搭載された各種のミラーの方向、車両１００の右側、左側、あるいは、車両１００の後方である。一定時間は、例えば、運転者が車両１００の速度を速度メータにより確認する等の車両１００の運転に必要な各種の操作において運転者が車両の前方以外を視認する時間よりも長い時間である。脇見検出部４２２は、運転者が前方とは異なる複数の方向を視認している合計時間が一定時間以上である場合には、脇見を検出するものとする。

【0021】

車両１００の高速道路の走行は特に危険なので脇見を抑制する重要性は大きい。このため、脇見検出部４２２は、車両１００の速度が所定値以上であることを条件として、運転者の脇見を検出する。所定値は、例えば、高速道路の法定最低速度より大きな値である。このようにして、脇見検出部４２２は、車両１００が高速道路を走行している間に限定して運転者の脇見を検出することにより、車両１００の高速道路の走行における安全性を確保することができる。

【0022】

脇見検出部４２２は、運転者の脇見を検出したことを運転状況の履歴として記憶部４１に記憶させる。例えば、脇見検出部４２２は、特定部４２１が特定した視線方向と、運転者が前方以外を視認していた時間と、脇見を検出した時刻とを関連付けて運転状況の履歴として記憶部４１に記憶させる。脇見検出部４２２は、無線通信回線を介して、車両１００の運行を管理するための管理サーバ（不図示）と通信し、記憶部４１が記憶している運転状況の履歴を管理サーバへ送信してもよい。管理サーバの管理者は、例えば、運転者の運転の安全指導において運転状況の履歴を有効活用することができる。

【0023】

操作受付部４２３は、運転者の脇見を脇見検出部４２２が検出していない場合に、操作子３に対する運転者の操作を受け付ける。操作受付部４２３は、脇見検出部４２２が運転者の脇見を検出した場合に、操作子３に対する操作を制限する。例えば、脇見検出部４２２が運転者の脇見を検出する直前に、アダプティブクルーズコントロールの車間距離及び設定車速を設定する際に表示される設定画像が表示されていたものとする。操作受付部４２３は、脇見検出部４２２が運転者の脇見を検出した後、車間距離及び設定車速を設定する運転者の操作を受け付けない。

【0024】

操作受付部４２３は、脇見検出部４２２が運転者の脇見を検出した後、所定期間にわたって操作子３に対する運転者の操作を制限する。所定期間は、操作が制限されていることを運転者に認識させるための時間である。なお、操作受付部４２３は、所定期間が経過した後の猶予期間の間、脇見検出部４２２が運転者の脇見を検出していても、運転者の操作を受け付ける。この猶予期間は、例えば、運転者が予め設定した時間である。操作受付部４２３は、猶予期間の経過後、脇見検出部４２２が運転者の脇見を検出した場合に、操作子３に対する操作を再度制限する。

【0025】

表示制御部４２４は、表示部１の表示制御を行う。表示制御部４２４は、運転者の脇見を脇見検出部４２２が検出していない場合に、操作受付部４２３が受け付けた操作に基づく画像を表示する。例えば、表示制御部４２４は、アダプティブクルーズコントロールの設定車速及び車間距離を設定する際に表示される設定画像や、エンジンオイルの油圧を表示する画像等を表示する。

【0026】

表示制御部４２４は、画像を表示している状態において操作受付部４２３が操作子３の操作を受け付けた場合には、操作受付部４２３が受け付けた操作に基づく画像を表示する。例えば、表示制御部４２４は、図１に示す設定画像を表示している状態において設定車速を増減させる操作を操作受付部４２３が受け付けた場合には、変更後の設定車速を表示部１に表示する。

【0027】

表示制御部４２４は、運転者の脇見を脇見検出部４２２が検出した場合に、前方を注視していないことを警告する警告画像を表示する。この場合に、表示制御部４２４は、図２に示すように、操作に基づく画像の代わりに、警告画像を表示する。表示制御部４２４は、所定期間が経過するまで警告画像を表示する。表示制御部４２４は、所定期間が経過した後の猶予期間の間、脇見検出部４２２が運転者の脇見を検出していても、警告画像を表示せず、警告画像を表示する前に表示部１に表示されていた設定画像を再度表示する。表示制御部４２４は、猶予期間の経過後、脇見検出部４２２が運転者の脇見を検出した場合に、警告画像を再度表示する。

【0028】

表示制御部４２４は、警告画像を表示している状態では、操作子３が操作されても、警告画像を表示する前に表示部１に表示されていた設定画像を表示せず、そのまま警告画像を表示する。また、表示制御部４２４は、警告画像を表示している状態において操作子３に対する操作が行われた場合に、操作が制限されていることを示す通知画像を表示してもよい。

【0029】

図４は、通知画像の一例を示す図である。例えば、表示制御部４２４は、図２に示す警告画像を表示している状態において操作子３に対する操作が行われた場合に、通知画像を表示する。図４の例では、表示制御部４２４は、「操作子の操作はできません」というメッセージを含む通知画像を表示する。このようにして、表示制御部４２４は、操作子３に対する操作が制限されていることを運転者に通知し、運転者に操作子３の操作を中止させることができる。

【0030】

［警告画像の選択］
また、表示制御部４２４は、複数の警告画像のうち、いずれかを選択してもよい。表示制御部４２４は、運転者の脇見を脇見検出部４２２が検出した場合に、特定部４２１が特定した運転者の視線方向を取得する。表示制御部４２４は、取得した視線方向に基づいて、いずれかの警告画像を選択する。例えば、表示制御部４２４は、視線方向が表示部１の方向である場合に、運転者が表示部１を視認していることを警告する警告画像を選択する。

【0031】

一方、表示制御部４２４は、視線方向がカーナビゲーションシステムのディスプレイの方向である場合に、運転者がカーナビゲーションシステムのディスプレイを視認していることを警告する警告画像を選択する。表示制御部４２４は、選択した警告画像を表示部１に表示する。このようにして、表示制御部４２４は、運転者の運転状況に対応する警告画像を表示することができる。

【0032】

また、表示制御部４２４は、操作子３が操作されているか否かに基づいて、警告画像を選択してもよい。例えば、表示制御部４２４は、視線方向が表示部１の方向であり、且つ、操作子３が操作されていることを条件として、運転者が表示部１を視認していることを警告する警告画像を選択してもよい。このようにして、表示制御部４２４は、運転者が表示部１を視認しながら操作子３を操作していることを精度よく識別することができる。

【0033】

［警告画像の表示の処理手順］
図５は、警告制御装置４による警告の表示の処理手順を示すフローチャートである。この処理手順は、例えば、車両１００の走行中に操作受付部４２３が操作子３の操作を受け付けたときに開始する。まず、表示制御部４２４は、操作受付部４２３が受け付けた操作に基づく画像を表示する（Ｓ１０１）。

【0034】

撮像部２は、運転者の顔を含む撮像画像を生成する。特定部４２１は、撮像部２が生成した撮像画像を取得する（Ｓ１０２）。特定部４２１は、取得した撮像画像に基づいて、運転者の視線方向を特定する（Ｓ１０３）。操作受付部４２３は、脇見検出部４２２が運転者の脇見を検出したか否かを判定する（Ｓ１０４）。操作受付部４２３は、脇見検出部４２２が運転者の脇見を検出した場合に（Ｓ１０４のＹＥＳ）、操作子３の操作を制限する（Ｓ１０５）。表示制御部４２４は、前方を注視していないことを警告する警告画像を表示し（Ｓ１０６）、Ｓ１０２の処理に戻る。

【0035】

表示制御部４２４は、Ｓ１０４の判定において運転者の脇見を脇見検出部４２２が検出していない場合に（Ｓ１０４のＮＯ）、操作受付部４２３が操作子３に対する操作をさらに受け付けたか否かを判定する（Ｓ１０７）。表示制御部４２４は、操作受付部４２３が操作子３に対する操作をさらに受け付けた場合に（Ｓ１０７のＹＥＳ）、操作に基づく画像を表示し（Ｓ１０８）、Ｓ１０２の処理に戻る。表示制御部４２４は、Ｓ１０７の判定において操作受付部４２３が操作子３に対する操作を受け付けていない場合に（Ｓ１０７のＮＯ）、Ｓ１０２の処理に戻る。

【0036】

［本発明による効果］
本実施形態によれば、表示制御部４２４は、運転者が運転中に表示部１を視認して操作子３を操作している場合に、警告画像を表示部１に表示する。このとき、操作受付部４２３は、操作子３に対する操作を制限する。このようにして、操作受付部４２３は、表示制御部４２４が警告画像を表示した場合に、運転者が操作子３を引き続き操作することを抑制することができる。

【0037】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0038】

１ 表示部
２ 撮像部
３ 操作子
４ 警告制御装置
４１ 記憶部
４２ 制御部
１００ 車両
４２１ 特定部
４２２ 脇見検出部
４２３ 操作受付部
４２４ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】