特許 7606886 情報通知方法及び情報通知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-18

(45)【発行日】2024-12-26

(54)【発明の名称】情報通知方法及び情報通知装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241219BHJP

   B60R 1/00 20220101ALI20241219BHJP

【ＦＩ】

G08G1/16 C

B60R1/00

【請求項の数】 10

(21)【出願番号】P 2021033414

(22)【出願日】2021-03-03

(65)【公開番号】P2022134347

(43)【公開日】2022-09-15

【審査請求日】2023-11-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】海老名 亮彦

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２００９－０５１３３８（ＪＰ，Ａ）

【文献】特開２０２０－１０６９８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １／００

(57)【特許請求の範囲】

【請求項1】

車両の乗員の視線方向を検出し、
前記乗員が注目すべき注目対象物を検出し、
検出した前記視線方向及び検出した前記注目対象物の位置に基づいて、前記乗員の視線を前記検出した注目対象物が実在する位置に向けて移動させる際の視線移動の推奨方向を決定し、
前記注目対象物が検出されている状態で、前記検出した視線方向が、所定領域とする前記車両の周辺のカメラによる撮影画像の表示画面の内側の方向から外側の方向に変化した場合に、前記乗員の視線の移動方向を検出し、
検出した前記移動方向が前記推奨方向と異なると判断した場合に、前記判断を前記乗員に通知する、
情報通知方法。

【請求項2】

前記乗員の視界内の表示部に、前記検出した注目対象物に対する視線上の位置に向けて移動するマーカを表示させて、前記判断を前記乗員に通知する請求項１に記載の情報通知方法。

【請求項3】

前記検出した移動方向が前記推奨方向であると判断した場合に、前記検出した視線方向の視線上の位置を所定の遅延量だけ遅れて示す前記マーカを前記表示部に表示させる請求項２に記載の情報通知方法。

【請求項4】

前記車両の周辺に存在する前記注目対象物を検出する請求項１～３のいずれか１項に記載の情報通知方法。

【請求項5】

前記カメラによる撮影画像は前記車両の後方を撮影した後方撮影画像である請求項４に記載の情報通知方法。

【請求項6】

前記検出した移動方向における前記車両の車幅方向成分の向きと、前記推奨方向の前記車幅方向成分の向きとの異同により、前記検出した移動方向と前記推奨方向との異同を判断する請求項１～５のいずれか１項に記載の情報通知方法。

【請求項7】

前記検出した視線方向が前記所定領域の内側の方向から外側の方向に変化する間の所定期間において、前記乗員の視線の移動方向を検出する請求項１～６のいずれか１項に記載の情報通知方法。

【請求項8】

前記検出した視線方向が前記所定領域の内側の方向から外側の方向に変化する前の所定期間において、前記乗員の視線の移動方向を検出する請求項１～６のいずれか１項に記載の情報通知方法。

【請求項9】

前記検出した視線方向が前記所定領域の内側の方向から外側の方向に変化する時点で、前記乗員の視線の移動方向を検出する請求項１～６のいずれか１項に記載の情報通知方法。

【請求項10】

車両の乗員の視線方向を検出する視線方向検出部と、
前記乗員が注目すべき注目対象物を検出する対象物検出部と、
検出した前記視線方向及び検出した前記注目対象物の位置に基づいて、前記乗員の視線を前記検出した注目対象物が実在する位置に向けて移動させる際の視線移動の推奨方向を決定する推奨方向決定部と、
前記注目対象物が検出されている状態で、前記検出した視線方向が、所定領域とする前記車両の周辺のカメラによる撮影画像の表示画面の内側の方向から外側の方向に変化した場合に、前記乗員の視線の移動方向を検出する移動方向検出部と、
検出した前記移動方向が前記推奨方向と異なると判断した場合に、前記判断を前記乗員に通知する通知部と、
を備える情報通知装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報通知方法及び情報通知装置に関する。

【背景技術】

【0002】

車両の周辺を撮影するカメラからの映像を表示器の画面に表示する際に、車両に対するカメラの撮影範囲に対応する画面の端部又は隅部に寄せて、サイズを変えながら映像を表示する技術が提案されている（特許文献１）。この技術では、映像が画面のどこに寄せて表示されるかによって、その映像が車両に対してどの方向を撮影したものであるかを運転者に認識させる。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４９６２７８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術では、サイズを変えながら映像が表示される画面の端部又は隅部への誘目性が高いので、その分、画面に表示される映像の内容を運転者が理解するのに時間がかかる。よって、映像に映っている車両周辺の注目すべき対象を運転者が画面上で認識してその対象に直接視線を向けることは、決して容易でない。

【0005】

本発明は前記事情に鑑みなされたもので、本発明の目的は、車両の乗員に注目させるべき注目対象物を検出した際に、乗員の視線の移動方向が注目対象物に向けた適切な方向か否かを乗員に認識させることにある。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明の一つの態様に係る情報通知方法は、車両の乗員の視線方向と、乗員が注目すべき注目対象物とをそれぞれ検出する。検出した視線方向と注目対象物の位置とに基づいて、注目対象物に視線を向けて視線を移動させる際の推奨方向を決定する。注目対象物が検出されている状態で、乗員の視線方向が所定領域の内側の方向から外側の方向に変化したら、乗員の視線の移動方向を検出する。検出した移動方向が推奨方向と異なると判断したら、その判断を乗員に通知する。

【発明の効果】

【0007】

本発明によれば、車両の乗員に注目させるべき注目対象物を検出した際に、乗員の視線の移動方向が注目対象物に向けた適切な方向か否かを乗員に認識させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の一実施形態に係る情報通知装置の構成の一例を示すブロック図である。

【図2】図２は、図１の情報通知装置による処理手順の一例を示すフローチャートである。

【図3A】図３Ａは、図１の表示部の画面に後退時のカメラ映像とレーザー及びライダーによる検出物体の合成画像との重畳画像が表示されている状態を示す説明図である。

【図3B】図３Ｂは、図３Ａの重畳画像に映った注目対象物の実物に向けた推奨方向に沿って視線を移動しているときのマーカの表示状態を示す説明図である。

【図3C】図３Ｃは、図３Ａの重畳画像に映った注目対象物の実物に向けた推奨方向以外の方向に視線を移動したときのマーカの表示状態を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

図１を参照して情報通知装置１０の構成を説明する。図１に示すように、本実施形態に係る情報通知装置１０は、周辺監視装置２０と共に車両に搭載される。情報通知装置１０は、本発明の実施形態に係る情報通知方法を実行する。周辺監視装置２０による車両の周辺の監視画像から車両の乗員に注目させるべき対象物を検出し、その注目対象物に乗員が容易に視線を向けられるようにするための情報を通知する。

【0011】

周辺監視装置２０には、車両のシフトレンジを示すシフトレンジ信号が入力される。周辺監視装置２０は、例えば、車両に搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）からシフトレンジ信号を受け取ることができる。周辺監視装置２０は、周囲認識センサ２１、周囲画像生成部２２及び表示部２３を有する。

【0012】

周囲認識センサ２１は、例えば、車両から見渡せる前後左右の各領域をそれぞれ撮影する４つのカメラと、レーダー及びライダー（ＬｉＤＡＲ）とを有するものとすることができる。レーダー及びライダーは、出力波を出力し出力波が照射された物体からの反射波を受信することで、車両の周辺の物体の位置（注目対象物が実在する位置）を検出する。レーダーは長波長の電磁波、ライダーは短波長の電磁波をそれぞれ出力するので、互いの検出感度が低いレンジを相互に補完することができる。

【0013】

画像生成部２２は、周囲認識センサ２１の各カメラで撮影した四方の画像を利用して、仮想視点から見下ろした車両とその周辺の合成俯瞰画像を生成する。また、画像生成部２２は、周囲認識センサ２１のカメラによる車両の前方及び左右の側方（前進時）の映像、又は、後方及び左右の側方（後退時）の映像と、周囲認識センサ２１のレーダー及びライダーで検出した物体を模擬する合成画像との重畳画像を生成する。

【0014】

周辺監視装置２０は、周辺監視装置２０に入力されるシフトレンジ信号がＮ（ニュートラル）、Ｒ（リバース）及びＰ（パーキング）以外のレンジを示す信号であるときに、重畳画像に用いる映像を車両の前方及び左右の側方の映像とする。周辺監視装置２０は、周辺監視装置２０に入力されるシフトレンジ信号がＲを示す信号であるときに、重畳画像に用いる映像を車両の後方及び左右の側方の映像とする。

【0015】

表示部２３は、例えば、画面を２つに区切って、画像生成部２２が生成した合成俯瞰画像と重畳画像とを並べて表示するものとすることができる。

【0016】

情報通知装置１０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備えるマイクロコンピュータを用いて実現可能である。マイクロコンピュータを情報通知装置１０として機能させるためのコンピュータプログラムを、マイクロコンピュータにインストールして実行する。これにより、マイクロコンピュータは、情報通知装置１０が備える複数の情報処理部（１１～１８）として機能させることができる。

【0017】

ここでは、ソフトウェアによって情報通知装置を実現する例を示すが、もちろん、各情報処理を実行するための専用のハードウェアを用意して、情報通知装置１０を構成することも可能である。専用のハードウェアには、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。

【0018】

なお、情報通知装置１０及び周辺監視装置２０を異なる部材として説明したが、勿論、２つの装置１０，２０を１つの装置として構成してもよい。あるいは、複数の情報処理部（１１～１８）を分割して２以上の異なる装置を用いて構成しても構わない。さらに、複数の情報処理部（１１～１８）の全てまたは一部を、ＥＣＵを用いて構成しても構わない。

【0019】

情報通知装置１０には、周辺監視装置２０と同じくシフトレンジ信号が入力される。情報通知装置１０は、例えば、ＥＣＵからシフトレンジ信号を受け取ることができる。情報通知装置１０は、複数の情報処理部（１１～１８）の一部として、対象物検出部１１、視線方向検出部１２、視線判定部１３、対応位置算出部１４及びマーカ表示部１５を備える。

【0020】

対象物検出部１１は、表示部２３に表示された重畳画像中の、レーダー及びライダーが検出した物体の合成画像の位置を、車両の乗員に注目させるべき対象物の位置として検出する。乗員とは、例えば、車両の運転者である。運転者以外の同乗者が乗員であってもよい。

【0021】

視線方向検出部１２は、例えば、乗員の眼球を撮影する車載カメラと、車載カメラの撮影画像における眼球中心位置及び瞳孔中心位置とから、車載カメラに対する乗員の目（アイポジション）の相対位置に基づいて、乗員の視線方向を検出する。

【0022】

視線判定部１３は、視線方向検出部１２が検出する乗員の視線方向に基づいて、乗員の視線に関する各種の判定等を行う。そのために、視線判定部１３は、画面注視判定部１６、切替検知部１７及び切替通知部１８を備える。これらの各部１６～１８も、複数の情報処理部（１１～１８）の一部である。

【0023】

画面注視判定部１６は、乗員が表示部２３の画面に表示された重畳画像中の注意対象物（注目すべき注目対象物）を注視しているか否かを判定する。注意対象物は、対象物検出部１１のレーダー及びライダーが検出した物体である。画面注視判定部１６は、視線方向検出部１２が検出する視線方向が、表示部２３の重畳画像中の注意対象物の方向である状態が連続する時間の長さから、乗員が注意対象物を注視しているか否かを判定する。

【0024】

切替検知部１７は、視線方向検出部１２が検出する乗員の視線方向に基づいて、乗員が表示部２３の画面から視線を外したことを検知する。また、切替検知部１７は、乗員が表示部２３の画面から視線を外したときの視線の移動方向を検出する移動方向検出部として機能する。

【0025】

切替通知部１８は、乗員が表示部２３の画面から視線を外したことを切替検知部１７が検知すると、視線方向の切り替わりを乗員に通知するための通知信号を対応位置算出部１４に出力する。

【0026】

対応位置算出部１４は、車両の窓ガラスに表示させるマーカの位置を算出する。対応位置算出部１４は、切替通知部１８から通知信号が入力するか否かに応じて、算出するマーカの位置を切り替える。具体的には、対応位置算出部１４は、通知信号の入力前に、視線移動中の乗員の視点を遅延させて示すマーカの位置を算出し、通知信号の入力後に、対象物検出部１１が検出した対象物に向かう視線移動の推奨方向を示すマーカの位置を算出する。

【0027】

対応位置算出部１４は、マーカの位置を算出することで、実質的に、対象物検出部１１が検出した対象物に向かう視線移動の推奨方向を決定する推奨方向決定部として機能する。対応位置算出部１４は、視線移動の推奨方向を、例えば、対象物検出部１１が検出した対象物の位置と、視線方向検出部１２が検出する乗員の視線方向上の位置との相対関係から、予め定められた数式等を用いて定めることができる。

【0028】

マーカ表示部１５は、対応位置算出部１４が算出した位置にマーカの画像を表示させるための映像を生成し、生成した映像を車両の内部に投影する。マーカ表示部１５が生成した映像を投影する車内の場所は、例えば、車両のフロントガラス、リアガラス及び左右のサイドガラスを含むものとすることができる。マーカ表示部１５は、マーカの画像の表示により、実質的に、乗員の視線の移動方向が推奨方向と異なると判断した場合にその判断を乗員に通知する通知部として機能する。

【0029】

図２のフローチャートを参照して、情報通知装置１０により実行する情報通知方法の一例を説明する。情報通知装置１０は、情報通知装置１０が稼働している間、図２のフローチャートの処理を繰り返し実行する。

【0030】

情報通知装置１０は、乗員の視線方向を視線方向検出部１２により検出する（ステップＳ１）。情報通知装置１０は、検出した視線方向の視線が、マーカ表示部１５が生成する映像を投影する窓ガラスの投影面（車内側の面）と交差する交点の位置を、対応位置算出部１４により演算させる（ステップＳ３）。

【0031】

情報通知装置１０は、ＥＣＵ等から入力されたシフトレンジ信号の内容から、車両のシフトレンジがＲに入っているか否かを確認する（ステップＳ５）。Ｒに入っていない場合は（ステップＳ５でＮＯ）、一連の処理を終了する。

【0032】

車両のシフトレンジがＲでない状態では、車両の前方及び左右の側方の映像と注意対象物の合成画像との重畳画像が表示部２３に表示される。重畳画像に映る車両の前方側は、乗員が車両の前方を向いたままでも乗員の視界に入りやすい。乗員が視界に入りやすい車両の前方側に視線を移す際に、乗員の視線の移動方向が実物の注意対象物に向けた視線移動の推奨方向から逸れることは、起こりにくい。

【0033】

このため、シフトレンジがＲでない状態では、マーカ表示部１５が投影する映像により、視線移動中の乗員の視点を遅延させて示すマーカが、ヘッドアップディスプレイ（ＨＵＤ）の原理で車両の内部に表示される。このマーカは、視線方向検出部１２が検出した乗員の視線方向の視線上の位置を所定の遅延量だけ遅れて示す。

【0034】

一方、車両のシフトレンジがＲである状態では、車両の後方及び左右の側方の映像（後方撮影画像）と注意対象物の合成画像との重畳画像が表示部２３に表示される。例えば、周辺監視装置２０の表示部２３として利用する図３Ａのセンターコンソール３０のマルチディスプレイ４０の画面（車両の周辺のカメラによる撮影画像の表示画面）には、画像生成部２２が生成した合成俯瞰画像５０と重畳画像６０とが並べて表示される。

【0035】

重畳画像６０に映る車両の後方側は、乗員が車両の前方を向いたままでは乗員の視界に入りにくい。乗員が、視界に入りにくい車両の後方側に視線を移す際に、車両の後方側が見やすくなるように身体の向きを変えると、乗員の視線の移動方向が視線移動の推奨方向から逸れて実物の注意対象物を見失う可能性がある。

【0036】

また、図３Ａのマルチディスプレイ４０の重畳画像６０では、周辺監視装置２０の構成上、左右の位置関係が実際とは逆転する。例えば、実在する注意対象物が車両の右後方にある場合、重畳画像６０の注意対象物６１は画面の右端に表示される。重畳画像６０では、車両の後方に離れた場所ほど画面の上方に表示されるので、画面の右端に表示された注意対象物６１の実物が車両の左後方に存在すると乗員が誤解しないように、乗員が注意対象物６１の実物に視線を移す際に視線移動を誘導すれば有益である。

【0037】

そこで、車両のシフトレンジがＲに入っている場合は（図２のステップＳ５でＹＥＳ）、情報通知装置１０は、以下の手順の処理を実行する。

【0038】

即ち、情報通知装置１０は、乗員が車両の周辺を観察しているか否かを確認する（ステップＳ７）。情報通知装置１０は、マルチディスプレイ４０の画面を注視していると画面注視判定部１６が判定しているか否かにより、乗員が車両の周辺を観察しているか否かを確認することができる。

【0039】

乗員が車両の周辺を観察していない場合は（ステップＳ７でＮＯ）、一連の処理を終了する。車両の周辺を観察している場合は（ステップＳ７でＹＥＳ）、情報通知装置１０は、車両の周囲に注意対象物があるか否かを確認する（ステップＳ９）。情報通知装置１０は、対象物検出部１１のレーダー及びライダーが物体を検出したか否かにより、車両の周囲に注意対象物があるか否かを確認することができる。

【0040】

車両の周囲に注意対象がない場合は（ステップＳ９でＮＯ）、一連の処理を終了する。車両の周囲に注意対象がある場合は（ステップＳ９でＹＥＳ）、情報通知装置１０は、乗員がマルチディスプレイ４０に表示された重畳画像６０中の注意対象物６１に視線を向けたか否かを確認する（ステップＳ１１）。情報通知装置１０は、乗員が重畳画像６０中の注意対象物６１（注目すべき対象物）を注視していると画面注視判定部１６が判定したか否かにより、乗員が重畳画像中の注意対象物に視線を向けたか否かを確認することができる。

【0041】

重畳画像６０中の注意対象物６１に視線を向けていない場合は（ステップＳ１１でＮＯ）、一連の処理を終了する。重畳画像６０中の注意対象物６１に視線を向けている場合は（ステップＳ１１でＹＥＳ）、情報通知装置１０は、注意対象物６１に乗員が視線を向けたことを周辺監視装置２０の画像生成部２２に通知する。この通知を受けた画像生成部２２により、マルチディスプレイ４０に表示された重畳画像６０中の注意対象物６１の合成画像がハイライト表示に変更される（ステップＳ１３）。

【0042】

次に、情報通知装置１０は、乗員がマルチディスプレイ４０の画面から視線を外したか否かを確認する（ステップＳ１５）。情報通知装置１０は、切替通知部１８が通知信号を出力したか否かにより、乗員がマルチディスプレイ４０の画面から視線を外したか否かを確認することができる。

【0043】

乗員がマルチディスプレイ４０の画面から視線を外していない場合は（ステップＳ１５でＮＯ）、一連の処理を終了する。乗員がマルチディスプレイ４０の画面から視線を外した場合は（ステップＳ１５でＹＥＳ）、情報通知装置１０は、乗員が重畳画像６０中の注意対象物６１から実物の注意対象物の方向に身体を向けたか否かを確認する（ステップＳ１７）。情報通知装置１０は、マルチディスプレイ４０の画面から外した乗員の視線の移動方向が、重畳画像６０中の注意対象物６１から実物の注意対象物に向けて視線を移動させる際の推奨方向であるか否かで、実物の注意対象物の方向に身体を向けたか否かを確認する。

【0044】

マルチディスプレイ４０の画面から外した乗員の視線の移動方向は、視線方向検出部１２が検出する視線方向がマルチディスプレイ４０の画面の内側の方向から外側の方向に変化するときを基準として定めることができる。

【0045】

例えば、視線方向がマルチディスプレイ４０の画面の内側と外側との境界を跨ぐ時点とその前後に続く期間とを合計した所定期間における、視線方向検出部１２が検出する視線方向の変遷内容から、乗員の視線の移動方向を特定してもよい。

【0046】

また、例えば、視線方向がマルチディスプレイ４０の画面の内側と外側との境界を跨ぐ直前の所定期間における、視線方向検出部１２が検出する視線方向の変遷内容から、乗員の視線の移動方向を特定してもよい。

【0047】

さらに、例えば、視線方向がマルチディスプレイ４０の画面の内側と外側との境界を跨ぐ時点における、視線方向検出部１２が検出する視線方向の瞬間的な変遷内容から、乗員の視線の移動方向を特定してもよい。

【0048】

乗員が重畳画像６０中の注意対象物６１から実物の注意対象物の方向に身体を向けた場合は（ステップＳ１７でＹＥＳ）、一連の処理を終了する。乗員が重畳画像６０中の注意対象物６１から実物の注意対象物の方向に身体を向けていない場合は（ステップＳ１７でＮＯ）、情報通知装置１０は、乗員の視線移動を誘導するマーカの画像を車両の内部で表示させる（ステップＳ１９）。ステップＳ１９の表示の実行後、情報通知装置１０は、一連の処理を終了する。

【0049】

ステップＳ１９で表示させるマーカの画像は、マルチディスプレイ４０の重畳画像６０中の注意対象物６１から実物の注意対象物まで、推奨方向に沿って乗員の視線移動を誘導するための画像である。情報通知装置１０は、対応位置算出部１４が算出する視線移動の推奨方向を示すマーカの位置に基づいて、マーカ表示部１５が生成する映像を車両の内部に投影させる。この投影により、重畳画像６０中の注意対象物６１から実物の注意対象物までの乗員の視線移動を誘導するマーカの画像を、ヘッドアップディスプレイ（ＨＵＤ）の原理で車両の内部で表示させることができる。

【0050】

このように、車両のシフトレンジがＲである状態で、乗員の視線がマルチディスプレイ４０の画面に向いている間は、視線移動中の乗員の視点を遅延させて示すマーカが車両の内部に表示される。また、乗員の視線がマルチディスプレイ４０の画面から外れても、重畳画像６０中の注意対象物６１から実物の注意対象物への推奨方向に視線が移動している間は、乗員の視線がマルチディスプレイ４０の画面に向いている間と同様である。このときには、図３Ｂに示すように、視線方向検出部１２が検出した視線方向の視線上の位置を所定の遅延量だけ遅れて示すマーカＭ１が、車両の内部に表示される。

【0051】

シフトレンジがＲのときに、乗員の視線がマルチディスプレイ４０の画面から外れて推奨方向以外に移動すると、図３Ｃに示すように、対象物検出部１１が検出した注目対象物７０に対する視線上の位置に向けて移動するマーカＭ２が、車両の内部に表示される。

【0052】

本実施形態では、車両の後方側の重畳画像６０を表示しているマルチディスプレイ４０の画面から外れた乗員の視線が、重畳画像６０の注意対象物６１の実物に向けた視線移動の推奨方向以外に移動すると、視線移動を推奨方向に誘導するマーカＭ２が表示される。このため、マーカＭ２が車内で表示されることで、乗員の視線の移動方向が、注意対象物７０に向かう推奨方向とは違う間違った方向になったことを、乗員に気付かせることができる。

【0053】

また、乗員が、重畳画像６０の注意対象物６１から車両の後方側にある実物の注意対象物７０に視線を移す際に、視線の移動に先行して移動するマーカＭ２が車内に表示されることで、乗員の視線を注意対象物７０に向かう方向に容易に向けることができる。

【0054】

さらに、本実施形態では、乗員がマルチディスプレイ４０の画面に視線を向けているか、画面から外した視線を、実物の注意対象物７０に向けた視線移動の推奨方向に移動させていると、移動中の乗員の視点を遅延させて示すマーカＭ１が表示される。このため、車内で表示されるマーカが乗員の視線の移動に追従するか先行するかによって、マーカが乗員の視線を実物の注意対象物７０に向かう推奨方向に誘導しているかどうかを見分けることができる。

【0055】

また、本実施形態では、周辺監視装置２０の周囲認識センサ２１のレーザー及びライダーが検出する車両の周辺の物体を、実物の注意対象物７０とする。このため、乗員が視線を車両の周辺の物体に移す際に、推奨方向以外の間違った方向に視線が移動したら、車内に表示されるマーカＭ２によって、そのことを乗員に気付かせることができる。

【0056】

さらに、本実施形態では、周囲認識センサ２１の前後左右のカメラで撮影した映像を表示するマルチディスプレイ４０の画面から乗員の視線が外れたか否かを確認することで、乗員が視線を実物の注意対象物７０に向けて移動させたことを認識することができる。

【0057】

特に、マルチディスプレイ４０に表示される重畳画像６０に、乗員が車両の前方を向いたままでは乗員の視界に入りにくい車両の後方側の映像が映っている場合は、車両の後方側に視線を移す際に、乗員が身体の向きを変える可能性がある。そこで、重畳画像６０を表示するマルチディスプレイ４０の画面から乗員の視線が外れたか否かを確認することで、乗員が身体の向きを変える場合でも、初期の段階で乗員の視線の移動を検出することができる。

【0058】

なお、乗員の視線の移動方向と推奨方向との異同は、例えば、各方向からそれぞれ抽出した車幅方向成分の向きの異同によって判断してもよい。各車幅方向成分の向きが異なっていれば、視線の移動方向と推奨方向とが異なる方向であることは明らかである。よって、視線の移動方向の車幅方向成分と推奨方向の車幅方向成分との向きの異同を判断することで、視線の移動方向と推奨方向との異同を容易に判断することができる。

【0059】

また、乗員の視線の移動方向を検出する際の所定領域は、例えば、その領域の内側から外側に視線方向が移動すると、実物の注意対象物７０に向けて乗員が視線を移動させていると推認できる領域であれば、マルチディスプレイ４０の画面以外に設定してもよい。

【0060】

さらに、視線の移動方向は、移動中の視線が所定領域の内側と外側との境界を通過する直前、通過した直後、あるいは、通過中のいずれの期間において検出してもよい。境界を通過する前の期間とするほど、視線の移動方向をより早い時点で検出することができる。また、境界を通過した後の期間とするほど、視線の移動方向がより定まった時点で検出することができる。

【0061】

なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

【符号の説明】

【0062】

１０ 情報通知装置
１１ 対象物検出部
１２ 視線方向検出部
１４ 対応位置算出部（推奨方向決定部）
１５ マーカ表示部（通知部）
１７ 切替検出部（移動方向検出部）
Ｍ１ マーカ（検出した視線方向の視線上の位置を所定の遅延量だけ遅れて示すマーカ）
Ｍ２ マーカ（検出した注目対象物に対する視線上の位置に向けて移動するマーカ）

【図1】

【図2】

【図3A】

【図3B】

【図3C】