特許 7523391 情報通知方法及び情報通知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-18

(45)【発行日】2024-07-26

(54)【発明の名称】情報通知方法及び情報通知装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240719BHJP

   B60R 11/02 20060101ALI20240719BHJP

【ＦＩ】

G08G1/16 C

B60R11/02 Z

B60R11/02 C

【請求項の数】 10

(21)【出願番号】P 2021033416

(22)【出願日】2021-03-03

(65)【公開番号】P2022134349

(43)【公開日】2022-09-15

【審査請求日】2023-11-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】海老名 亮彦

(72)【発明者】

【氏名】柳 拓良

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２０２０－１３８６９６（ＪＰ，Ａ）

【文献】特開２０１８－９７５１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １１／０２

(57)【特許請求の範囲】

【請求項1】

車両の乗員の視線方向を検出し、
前記乗員の視界内の表示部に、検出した前記視線方向の視線上の対応位置を所定の遅延量だけ遅れて示すマーカを表示させ、
前記乗員が注目すべき注目方向を検出し、
前記検出した視線方向に基づいて、前記乗員の視線が前記注目方向の延長線上の位置に向けて移動したと判断した場合に、前記所定の遅延量を増大させる、
情報通知方法。

【請求項2】

前記検出した視線方向に基づいて、前記視線の移動速度が変化したと判断した場合に、前記視線が前記注目方向の延長線上の位置に向けて移動したと判断する請求項１に記載の情報通知方法。

【請求項3】

前記移動速度が低下したと判断した場合に、前記視線が前記注目方向の延長線上の位置に向けて移動したと判断する請求項２に記載の情報通知方法。

【請求項4】

前記注目方向の延長線上の前記乗員が注意を払うべき注意対象を推定し、推定した前記注意対象に対する前記乗員の視線の方向を前記注目方向として検出する請求項１～３のいずれか１項に記載の情報通知方法。

【請求項5】

前記車両と前記注意対象との相対位置及び前記相対位置の変化に関する過去の位置情報に基づいて最新の前記位置情報を推定し、推定した前記最新の位置情報による前記相対位置に基づいて、前記注意対象に対する前記乗員の最新の視線方向を特定し、特定した前記最新の視線方向を、前記推定した注意対象に対する前記乗員の視線の方向として、前記注目方向を検出する請求項４に記載の情報通知方法。

【請求項6】

前記所定の遅延量を増大させた後、前記視線が前記注目方向を外れてから前記注目方向に戻るまでの期間、前記マーカを強調表示させる請求項１～５のいずれか１項に記載の情報通知方法。

【請求項7】

前記強調表示は、前記マーカを通常よりも大きいサイズで表示させる第１態様、前記マーカを通常とは異なる変形形状で表示させる第２態様、前記マーカを前記表示部の背景画像に対して通常よりも大きいコントラスト差で表示させる第３態様のうち少なくとも１つの態様を含んでいる請求項６に記載の情報通知方法。

【請求項8】

前記第１態様は、前記表示部における前記注目方向の延長線上の位置と前記マーカを表示させた位置との距離に応じた、前記乗員が有効視野内で認識可能なサイズで、前記マーカを表示させる態様である請求項７に記載の情報通知方法。

【請求項9】

前記注目方向の延長線上の位置は、前記注目方向に存在する注意対象に前記視線を向けたときの前記視線と前記表示部との交点の位置である請求項１～８のいずれか１項に記載の情報通知方法。

【請求項10】

車両の乗員の視線方向を検出する視線方向検出部と、
前記乗員の視界内の表示部に、検出した前記視線方向の視線上の対応位置を所定の遅延量だけ遅れて示すマーカを表示させるマーカ表示部と、
前記乗員が注目すべき注目方向を検出する注目方向検出部と、
前記検出した視線方向に基づいて、前記乗員の視線が前記注目方向の延長線上の位置に向けて移動したと判断した場合に、前記所定の遅延量を増大させる遅延量増大部と、
を備える情報通知装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報通知方法及び情報通知装置に関する。

【背景技術】

【0002】

車両の運転者が注意すべきリスク対象をカメラで撮影した映像等から検出し、インストルメントパネルの線状発光領域中の、リスク対象に対する運転者の視線上に位置する発光スポットを、点灯させる技術が提案されている（特許文献１）。この技術では、点灯させた発光スポットが運転者の視線をリスク対象の方向に誘導する。運転者が発光スポットの方向に視線を向けたことが検出されると、線状発光領域中の次のリスク対象に対応する発光スポットが点灯される。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１６／１５７８９２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の運転者は、視界上の様々な対象物を視認するために視線を細かく動かす。視線を動かす間に、運転者が、一度視認したリスク対象から目を逸らすこともある。特許文献１の技術では、運転者が一度逸らした視線を元のリスク対象に戻すまでの間に、点灯する発光スポットの位置が次のリスク対象に対応する位置に変わっている場合がある。視線を逸らしている間に点灯する発光スポットの位置が変わると、運転者が、視線を戻したときに、元のリスク対象とは異なる方向の視線上にある発光スポットが点灯しているのを見て、混乱する可能性がある。

【0005】

本発明は前記事情に鑑みなされたもので、本発明の目的は、ユーザが一度目を逸らしたリスク対象に視線を戻す際に、リスク対象の方向に視線を誘導する表示によってユーザが混乱するのを抑制することにある。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明の一つの態様に係る情報通知方法は、車両の乗員の視線方向を検出し、検出した視線方向の視線上の対応位置を示すマーカを、所定の遅延量だけ遅れて、乗員の視界内の表示部に表示させる。乗員の視線が、乗員が注目すべき方向として検出した注目方向の延長線上の位置に向けて移動したと判断した場合は、所定の遅延量を増大させる。

【発明の効果】

【0007】

本発明によれば、ユーザが一度目を逸らしたリスク対象に視線を戻す際に、リスク対象の方向に視線を誘導する表示によってユーザが混乱するのを抑制することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の一実施形態に係る情報通知装置の構成の一例を示すブロック図である。

【図2】図２は、図１の情報通知装置による処理手順の一例を示すフローチャートである。

【図3A】図３Ａは、図１のマーカ表示部がフロントガラスに投影するマーカにより、乗員の視線の位置を所定の遅延量だけ遅れて示している状態の説明図である。

【図3B】図３Ｂは、図１のマーカ表示部がフロントガラスに投影するマーカにより、移動する乗員の視線の位置を視線の移動から所定の遅延量だけ遅れて示している状態の説明図である。

【図4A】図４Ａは、車外の歩行者が注意対象と推定されて、図１のマーカ表示部が、乗員の視線上の対応位置を遅れて追従するマーカをフロントガラスに表示するときの所定の遅延量を増大させるときの、マーカの表示状態の説明図である。

【図4B】図４Ｂは、乗員の視線が注意対象の方向から外れたことで、図１のマーカ表示部がフロントガラスに投影する図４Ｂのマーカが強調表示となった状態の説明図である。

【図4C】図４Ｃは、図４Ｂの強調表示されたマーカの位置を目安に、乗員の視線を注意対象の方向に戻す状態の説明図である。

【図4D】図４Ｄは、図１のマーカ表示部が、トラックの荷台に隠れた注意対象の推定位置に乗員が向ける推定上の視線の対応位置を示すマーカをフロントガラスに強調表示する状態の説明図である。

【図5A】図５Ａは、図１のマーカ表示部が、注意対象に向けた乗員の視線上の対応位置を示すマーカをフロントガラスに表示する状態の説明図である。

【図5B】図５Ｂは、図１のマーカ表示部が、注意対象と認識した車外の他の歩行者に乗員の視線が移ったときの、元の注意対象に向けていた乗員の過去の視線上の対応位置を示すマーカをフロントガラスに強調表示する状態の説明図である。

【図5C】図５Ｃは、図５Ｂの強調表示されたマーカの位置を目安に、乗員の視線を元の注意対象の方向に戻す状態の説明図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

図１を参照して情報通知装置１０の構成を説明する。図１に示すように、本実施形態に係る情報通知装置１０は、周辺監視装置２０と共に車両に搭載される。情報通知装置１０は、本発明の実施形態に係る情報通知方法を実行する。情報通知装置１０は、車両の乗員の視線上の位置に関する情報を通知する。

【0011】

周辺監視装置２０は、周囲認識センサ２１及び画像生成部２２を有する。

【0012】

周囲認識センサ２１は、例えば、車両の乗員が車内から見渡せる車両の前方領域を撮影するカメラと、レーダー及びライダー（ＬｉＤＡＲ）とを有するものとすることができる。レーダー及びライダーは、出力波を出力し出力波が照射された物体からの反射波を受信することで、車両の前方領域に存在する物体の位置を検出する。レーダーは長波長の電磁波、ライダーは短波長の電磁波をそれぞれ出力するので、互いの検出感度が低いレンジを相互に補完することができる。

【0013】

レーダー及びライダーが検出する物体は、歩行者を含むものとすることができる。レーダー及びライダーが検出する物体は、乗員が注意を払うべき注意対象の候補となる。注意対象とする物体は、情報通知装置１０の後述する視認判定部１３に備えられた注目検出部１８が推定することができる。

【0014】

画像生成部２２は、周囲認識センサ２１のカメラで撮影した車両の前方領域の映像と、周囲認識センサ２１のレーダー及びライダーで検出した車両の前方領域の物体を模擬する合成画像との重畳画像を生成する。

【0015】

情報通知装置１０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備えるマイクロコンピュータを用いて実現可能である。マイクロコンピュータを情報通知装置１０として機能させるためのコンピュータプログラムを、マイクロコンピュータにインストールして実行する。これにより、マイクロコンピュータは、情報通知装置１０が備える複数の情報処理部（１１～１８）として機能させることができる。

【0016】

ここでは、ソフトウェアによって情報通知装置を実現する例を示すが、もちろん、各情報処理を実行するための専用のハードウェアを用意して、情報通知装置１０を構成することも可能である。専用のハードウェアには、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。

【0017】

なお、情報通知装置１０及び周辺監視装置２０を異なる部材として説明したが、勿論、２つの装置１０，２０を１つの装置として構成してもよい。あるいは、複数の情報処理部（１１～１８）を分割して２以上の異なる装置を用いて構成しても構わない。さらに、複数の情報処理部（１１～１８）の全てまたは一部を、車両に搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を用いて構成しても構わない。

【0018】

情報通知装置１０は、複数の情報処理部（１１～１８）の一部として、対象物検出部１１、視線方向検出部１２、視認判定部１３、対応位置算出部１４及びマーカ表示部１５を備える。

【0019】

対象物検出部１１は、周辺監視装置２０の画像生成部２２が生成した重畳画像を解析して、車両の前方領域に存在する物体の位置を検出する。乗員とは、例えば、車両の運転者である。運転者以外の同乗者が乗員であってもよい。車両の前方領域に物体が複数存在する場合、対象物検出部１１は、各物体の位置をそれぞれ検出する。

【0020】

物体は、乗員（特に運転者）が注目すべき歩行者、障害物等である。物体は、周辺監視装置２０の周囲認識センサ２１のレーダー及びライダーが検出することができる。

【0021】

対象物検出部１１は、視認判定部１３の後述する注目検出部１８が注意対象であると推定した物体が障害物の陰に隠れて、周辺監視装置２０の画像生成部２２が生成した重畳画像から注意対象の位置を検出できない場合に、その位置を推定する。そのために、対象物検出部１１は、位置情報取得部１６及び位置情報推定部１７を備える。これらの各部１６，１７も、複数の情報処理部（１１～１８）の一部である。

【0022】

位置情報取得部１６は、各物体の位置情報を取得する。位置情報は、車両と物体との相対位置の情報を含んでいる。また、位置情報は、車両と各物体との相対位置の時系列変化に関する情報を含んでいる。車両と各物体との相対位置は、例えば、それぞれの位置から特定することができる。

【0023】

車両の位置は、例えば、ＧＮＳＳ（Global Navigation Satellite System／全球測位衛星システム）センサの出力を用いて検出することができる。ＧＮＳＳセンサは、情報通知装置１０又は周辺監視装置２０が有していてもよく、情報通知装置１０を搭載した車両が有していてもよい。

【0024】

各物体の位置は、例えば、周辺監視装置２０の画像生成部２２が生成した重畳画像を解析し、重畳画像中のレーダー及びライダーが検出した物体の位置から特定することができる。

【0025】

位置情報取得部１６は、車両と各物体との相対位置の情報を周期的に特定する。位置情報取得部１６は、各周期において特定した相対位置の情報を情報通知装置１０の不図示の記憶部にそれぞれ記憶させる。位置情報取得部１６は、記憶部に記憶させた相対位置の時系列の情報から、車両と各物体との相対位置の時系列変化に関する情報を取得することができる。記憶部には、上述した位置情報が記憶されていることになる。

【0026】

取得した位置情報を記憶する記憶部は、アクセス可能な記憶装置で構成することができる。記憶装置は、例えば、ＳＳＤ（Solid State Drive ）又はＨＤＤ（Hard Disk Drive ）によって構成することができる。

【0027】

位置情報推定部１７は、位置情報取得部１６が物体の位置情報を取得できないときに、物体の最新の位置情報を推定する。位置情報取得部１６は、画像生成部２２が生成した重畳画像中に、過去に位置情報を取得した物体が存在しないと、その物体の最新の位置情報を取得できない。位置情報推定部１７は、位置情報取得部１６が最新の位置情報を取得できない物体について記憶部に記憶されている過去の位置情報と、記憶部の最新の過去の位置情報から推定時点までに経過した時間とに基づいて、物体の最新の位置情報を推定することができる。

【0028】

対象物検出部１１は、画像生成部２２の重畳画像を解析して検出した各物体の位置に基づいて、乗員の目の位置（視点）から見た各物体の方向を検出する。画像生成部２２が生成した重畳画像中に、過去に位置情報を取得した物体が存在しない場合でも、対象物検出部１１は、その物体の視点からの方向を、位置情報推定部１７が推定した最新の位置情報に基づいて検出することができる。

【0029】

視線方向検出部１２は、例えば、乗員の眼球を撮影する車載カメラと、車載カメラの撮影画像における眼球中心位置及び瞳孔中心位置とから、車載カメラに対する乗員の目（視点）の相対位置に基づいて、乗員の視線方向を検出する。

【0030】

視認判定部１３は、視線方向検出部１２が検出する乗員の視線方向に基づいて、乗員の視線に関する各種の判定等を行う。そのために、視認判定部１３は、注目検出部１８を備える。注目検出部１８も、複数の情報処理部（１１～１８）の一部である。

【0031】

注目検出部１８は、乗員が注目すべき注目方向を検出する注目方向検出部として機能し、視線方向検出部１２が検出する乗員の視線方向が注目方向に向けて移動したかどうかを判断する。

【0032】

注目検出部１８は、乗員の視線方向が注目方向に向けて移動したかどうかを判断するために、乗員の視線が画像生成部２２の重畳画像中に存在する物体のいずれかに向けて移動しているか否かを判定する。

【0033】

注目検出部１８は、視線方向検出部１２が検出する視線方向が、乗員の視点から見たいずれかの物体の方向に近づいている場合に、乗員の視線が注意対象の物体に向けて移動したと判断することができる。注目検出部１８は、視線方向検出部１２が検出する視線方向が乗員の視点から見た注意対象の物体の方向に近づく速度（視線の移動速度）が変化したことを、乗員の視線が注意対象の物体に向けて移動したと判断する条件とすることができる。視線の移動速度の変化は、例えば、視線の移動速度の低下とすることができる。

【0034】

注目検出部１８は、後述するマーカ表示部１５によるマーカの表示部における、注意対象の物体と乗員の現在の視線との各対応位置の位置関係に基づいて、注意対象の物体に向けて乗員の視線が移動したかどうかを判断することができる。表示部における乗員の現在の視線の対応位置は、乗員の現在の視線と表示部の表示面との交点位置である。表示部における注意対象の物体の対応位置は、乗員が注意対象の物体に視線を向けたときの視線と表示面との交点である。これらの判断により、注目検出部１８は、画像生成部２２の重畳画像中に存在する物体のうち、乗員が注意を払うべき注意対象とする物体を推定することができる。

【0035】

対応位置算出部１４は、マーカの表示部における、視線方向検出部１２が検出した乗員の視線方向への視線に対応する位置（対応位置）を算出する。対応位置算出部１４は、乗員の視線と表示部の表示面との交点位置を、対応位置として算出することができる。

【0036】

マーカ表示部１５は、対応位置算出部１４が算出した対応位置を示すマーカを、所定の遅延量だけ遅れて、車両の内部の表示部に表示させる。マーカ表示部１５は、対応位置算出部１４が算出した位置に所定の遅延量だけ遅れてマーカの画像を表示させるための映像を生成し、生成した映像を表示部に表示させる。マーカは、円形、多角形、記号、キャラクタ等、任意の形状のものとすることができる。

【0037】

表示部は、乗員の視界内に配置することができる。表示部は、例えば、車両のフロントガラスを用いることができる。フロントガラスを表示部とする場合、マーカ表示部１５は、対応位置算出部１４が算出した位置に、所定の遅延量だけ遅れてマーカの画像を投影する。

【0038】

マーカ表示部１５は、乗員の視線が注目方向の延長線上の位置に向けて移動したと判断した場合に、所定の遅延量を増大させる遅延量増大部として機能する。

【0039】

マーカ表示部１５は、ある物体に向けて乗員の視線が移動していると注目検出部１８が判断し、その物体が注意対象とする物体であると注目検出部１８が推定した場合に、所定の遅延量を増大させる。所定の遅延量の増大後にマーカ表示部１５が表示させるマーカは、注意対象に向けて移動している乗員の視線上にあるフロントガラス上の対応位置を、所定の遅延量を増大させる前よりも長い時間遅れて示すことになる。

【0040】

視線方向検出部１２が検出した視線方向が、同じ方向のまま変わらない場合、マーカ表示部１５が表示させるマーカの位置は、やがて、視線方向検出部１２が検出した方向の視線上の位置に固定される。

【0041】

例えば、乗員の視線が注意対象に向けて移動したと注目検出部１８が判断する前は、視線方向検出部１２が検出した視線方向が増大前の所定の遅延量よりも長い時間変わらない場合に、マーカの表示位置が固定される。例えば、乗員の視線が注意対象に向けて移動したと注目検出部１８が判断した後は、視線方向検出部１２が検出した視線方向が増大後の所定の遅延量よりも長い時間変わらない場合に、マーカの表示位置が固定される。

【0042】

マーカ表示部１５は、所定の遅延量を増大させた後、視線方向検出部１２が検出した乗員の視線が注意対象から外れると、所定の遅延量の増大から乗員の視線が注意対象に再び戻るまでの期間、マーカを強調表示させる。マーカの強調表示は、第１～第３の３つの態様のうち少なくとも１つの態様を含むものとすることができる。

【0043】

第１態様は、例えば、マーカを通常よりも大きいサイズで表示させる態様とすることができる。第２態様は、例えば、マーカを通常とは異なる変形形状で表示させる態様とすることができる。第３態様は、マーカを表示部の背景画像に対して通常よりも大きいコントラスト差で表示させる態様とすることができる。

【0044】

フロントガラスを表示部とする場合、第１態様では、フロントガラスにおける注目方向の延長線上の位置とマーカを表示させた位置との距離に応じたサイズで、マーカを表示させることができる。フロントガラスにおける注目方向の延長線上の位置は、注目方向に存在する注意対象に視線を向けたときの視線とフロントガラスとの交点の位置となる。第１態様で強調表示するときのマーカは、例えば、乗員が車両の前方に視線を向けたときの有効視野内で認識可能なサイズとすることができる。

【0045】

通常態様のマーカが例えば正円形状である場合、第２態様のマーカは、楕円、多角形、記号、キャラクタ等、正円を除く任意の形状とすることができる。

【0046】

フロントガラスを表示部とする場合、第３態様における背景画像は、フロントガラスを通して乗員が視認する車両の前方の風景となる。前方の風景と第３態様で強調表示するマーカとのコントラスト差は、車両の走行箇所の明るさに応じて設定することができる。例えば、車外が暗い場合は、第３態様のマーカを明るい色の画像で表示させ、車外が明るい場合は、第３態様のマーカを暗い色の画像で表示させることができる。マーカの明るさは、例えば、明度、輝度の調整によって変えることができる。

【0047】

マーカ表示部１５は、例えば、マーカの強調表示中にも、視線方向検出部１２が検出した視線方向の変化に関係なく、マーカの表示位置を固定することができる。マーカ表示部１５は、乗員の視線が注意対象に戻っていなくても、例えば、マーカの強調表示の開始から一定の時間が経過した場合に、マーカの強調表示を終了させることができる。マーカ表示部１５は、マーカの強調表示を終了させる際に、所定の遅延量を増大前の遅延量に戻すことができる。

【0048】

図２のフローチャートを参照して、情報通知装置１０により実行する情報通知方法の一例を説明する。情報通知装置１０は、例えば、車両が走行可能な状態のときに、図２のフローチャートの処理を実行することができる。

【0049】

情報通知装置１０は、乗員の視線方向を視線方向検出部１２により検出する（ステップＳ１）。情報通知装置１０は、検出した視線方向の視線が、マーカ表示部１５が生成する映像を投影するフロントガラスの投影面（車内側の面）と交差する交点の位置を、対応位置算出部１４により演算させる（ステップＳ３）。

【0050】

情報通知装置１０は、対応位置算出部１４に演算させた交点位置を記録する。情報通知装置１０は、例えば、位置情報取得部１６が取得した注意対象の位置情報を記憶させる記憶部への記憶によって、交点位置を記録することができる。

【0051】

情報通知装置１０は、記録した交点位置の軌跡にローパスフィルタをかけて、交点位置の軌跡を平滑化する（ステップＳ７）。情報通知装置１０は、マーカ表示部１５により、平滑化した交点位置の軌跡に事前に設定した遅延時間を持たせて（所定の遅延量遅延させて）、フロントガラスの投影面にマーカを表示させる（ステップＳ９）。

【0052】

情報通知装置１０は、視線方向検出部１２により検出した乗員の視線方向の周囲に注意対象があるか否かを確認する（ステップＳ１１）。情報通知装置１０は、注意対象に向けて乗員の視線が移動したと注目検出部１８が判断することで、周囲に注意対象があると確認することができる。

【0053】

周囲に注意対象があることを確認できない場合は（ステップＳ９でＮＯ）、ステップＳ１にリターンする。周囲に注意対象があることを確認した場合は（ステップＳ９でＹＥＳ）、情報通知装置１０は、マーカ表示部１５により所定の遅延量を増大させて、乗員の視線にマーカが追従する遅延時間を大きくする（ステップＳ１３）。情報通知装置１０が遅延時間を大きくすると、注意対象に向けて移動している乗員の視線上にあるフロントガラス上の対応位置を、所定の遅延量を増大させる前よりも長い時間遅れてマーカが示すようになる。

【0054】

情報通知装置１０は、乗員が注意対象から視線を外したか否かを確認する（ステップＳ１５）。情報通知装置１０は、視線方向検出部１２が検出した乗員の視線の方向が、注意対象の方向（注目方向）からそれ以外の方向に変わることで、乗員が注意対象から視線を外したことを確認することができる。

【0055】

乗員が注意対象から視線を外していない場合は（ステップＳ１５でＮＯ）、ステップＳ１にリターンする。乗員が注意対象から視線を外した場合は（ステップＳ１５でＹＥＳ）、情報通知装置１０は、マーカ表示部１５によりマーカを強調表示させる（ステップＳ１７）。

【0056】

情報通知装置１０は、乗員が注意対象から外した視線を再び注意対象に戻したか否かを確認する（ステップＳ１９）。情報通知装置１０は、視線方向検出部１２が検出した乗員の視線の方向が注意対象の方向（注目方向）に戻ることで、乗員が注意対象に視線を戻したことを確認することができる。

【0057】

乗員が注意対象に視線を戻していない場合は（ステップＳ１９でＮＯ）、ステップＳ１７にリターンする。マーカ表示部１５にマーカを強調表示させてから一定の時間が経過しても、乗員が注意対象に視線を戻していない場合は、強制的にマーカの強調表示を終了させ、ステップＳ１にリターンする手順としてもよい。

【0058】

乗員が注意対象に視線を戻した場合は（ステップＳ１９でＹＥＳ）、情報通知装置１０は、マーカ表示部１５によりマーカを強調表示から元の通常表示に復帰させ（ステップＳ２１）、ステップＳ１にリターンする。

【0059】

情報通知装置１０を搭載した車両においては、図３Ａに示すように、フロントガラス３０に、乗員の視線上の対応位置を示すマーカ３１が通常表示される。周囲認識センサ２１のレーダー及びライダーが検出した車外の例えば歩行者に向けて、乗員の視線４０が移動していないとき、マーカ３１は、図３Ｂに示すように、視線４０の動きに合わせてフロントガラス３０の投影面上を移動する。マーカ３１は、投影面における視線４０上の対応位置を所定の遅延量遅れて追従するように、視線４０の移動に応じた対応位置の軌跡４１上を移動する。このときの所定の遅延量は、増大前の遅延量である。

【0060】

車外の歩行者に向けて乗員の視線４０が移動すると、図４Ａに示すように、視線４０の移動先の歩行者が、乗員が注意を払うべき注意対象５０と推定される。注意対象５０に向けた視線４０の方向（視線方向）は、乗員が注目すべき注目方向となる。注意対象５０が推定されると、所定の遅延量が増大される。注目方向の延長線上に存在する注意対象５０に視線４０が向くと、視線４０の軌跡４１上を移動するマーカ３１が、所定の遅延量遅れて、投影面における注目方向の視線４０上の対応位置に通常表示される。このときの所定の遅延量は、増大後の遅延量である。

【0061】

乗員の視線４０が注意対象５０を向いて、視線４０の方向が注目方向となった後、乗員の視線４０が注目方向から外れると、図４Ｂに示すように、投影面にマーカ３２が強調表示される。図４Ｂでは、先に例示した第１～第３態様のうち、通常表示のマーカ３１よりも大きいサイズの第１態様で、マーカ３２を強調表示させる場合を示している。

【0062】

マーカ３２は、強調表示を開始する前の図４Ａに示す通常表示のマーカ３１と同じく、乗員の視線４０が注意対象５０を向いた時点から所定の遅延量遅れて、フロントガラス３０の投影面における注目方向の視線４０上の対応位置に表示される。このときの所定の遅延量は、増大後の遅延量である。

【0063】

注意対象５０を向いた乗員の視線４０が注目方向から外れた後、強調表示されたマーカ３２は、所定の遅延量遅れて、図４Ｂに示す、投影面における注目方向の視線４０上の対応位置から、視線４０の移動方向に移動する。視線４０が注目方向から外れた後、所定の遅延量が経過するまでの間、マーカ３２は、図４Ｂに示す注意対象５０に向けた視線４０上の対応位置、あるいは、その近傍の位置に表示される。

【0064】

例えば、センターコンソールのマルチディスプレイ等を見るために、乗員が視線４０を注目方向から外しても、投影面に強調表示されるマーカ３２の位置は、注目方向から外した視線４０の移動方向に即座には移動しない。注目方向から視線４０を外してから、増大後の所定の遅延量だけ遅れた時点が到来するまでの間に、図４Ｃに示すように、注目方向に視線４０を戻す場合、乗員は、強調表示されたマーカ３２を、注目方向から視線４０を外したときと同じ又は近い位置で視認する。

【0065】

乗員が注目対象から視線４０を外す機会は他にもあり得る。図４Ｄの例では、注意対象５０の歩行者が、歩行者の手前を通る車両の荷台６０の陰に隠れた状態を示している。この状態では、注意対象５０を見失った乗員の視線４０が注意対象５０の方向から外れて、例えば、荷台６０の近辺の方向に変わる可能性がある。

【0066】

注意対象５０の歩行者が車両の荷台６０の陰に隠れると、画像生成部２２の重畳画像中に注意対象５０の歩行者が存在しなくなる。この場合は、対象物検出部１１の位置情報推定部１７が、注意対象５０の歩行者の最新の位置情報を推定する。対象物検出部１１は、位置情報推定部１７が推定した位置情報の注意対象５０に向けた乗員の視線の方向を、注目方向として推定する。

【0067】

乗員の視線４０の方向が図４Ｄのように変わると、視線方向検出部１２の検出する乗員の視線方向が、対象物検出部１１が推定した注目方向以外の方向となり、フロントガラス３０のマーカ３２が強調表示となる。この場合も、増大後の所定の遅延量だけ遅れた時点が到来するまでの間、乗員は、荷台６０に隠れた注意対象５０の歩行者の方向に視線４０を戻す際に、強調表示されたマーカ３２を、注意対象５０から視線４０を外したときと同じ又は近い位置で視認する。

【0068】

図５Ａの例では、車両の前方の歩行者が、乗員の視線が近づいて注意対象５０であると注目検出部１８に推定された状態を示している。この状態では、フロントガラス３０の投影面上に表示されるマーカ３１が、注意対象５０に近づく乗員の視線４０の移動軌跡上において、乗員の視線上の対応箇所を所定の遅延量遅れて追従する。注目検出部１８が注意対象５０であると推定すると、マーカ表示部１５が所定の遅延量を増大させる。車両の前方に注意対象５０の歩行者がいる状態で、図５Ｂに示すように、車両の前方にもう一人の歩行者７０が出現すると、もう一人の歩行者７０に気を取られて乗員の視線が注意対象５０の方向から外れる可能性がある。

【0069】

もう一人の歩行者７０が出現して、乗員の視線が注意対象５０の方向から外れると、視線方向検出部１２の検出する乗員の視線方向が、対象物検出部１１が推定した注目方向以外の方向となり、フロントガラス３０のマーカ３２が強調表示となる。この場合も、増大後の所定の遅延量だけ遅れた時点が到来するまでの間に、図５Ｃに示すように、注意対象５０の歩行者の方向に視線４０を戻す場合、乗員は、強調表示されたマーカ３２を、注意対象５０から視線４０を外したときと同じ又は近い位置で視認する。

【0070】

本実施形態の情報通知装置１０では、視認判定部１３の注目検出部１８が、乗員が注意を払うべき注意対象５０を推定し、推定した注意対象５０に対する視線４０の方向を、乗員が注目すべき注目方向として検出する。注目検出部１８が注目方向を検出すると、マーカ表示部１５は、フロントガラス３０の投影面における視線４０上の対応位置にマーカ３１，３２を遅れて表示する際の所定の遅延量を増大させる。

【0071】

所定の遅延量を増大させると、図４及び図５のいずれの例でも、注目方向から一旦外した視線４０を再び注目方向に戻したときに乗員が視認するマーカ３２の位置は、注目方向から視線４０を外したときの位置から離れた位置になりにくい。乗員は、視線４０を注目方向から外した際に、その後もフロントガラス３０の投影面に強調表示されているマーカ３２の位置を目安に、注意対象５０が存在する元の注目方向に、視線４０を混乱せず容易に戻すことができる。

【0072】

また、乗員が注目方向から視線４０を外して、元の注目方向に視線４０を戻すまでの間に、強調表示されたマーカ３２の位置があまり変わらないので、視線４０を外している間にマーカ３２の位置が大きく変わったのを見て乗員が混乱するのを抑制できる。

【0073】

マーカ３２の強調表示は、乗員が注意対象５０から視線４０を外してから、視線４０が注意対象５０に戻るまで行われる。マーカ３２の強調表示は、強調表示の開始から一定の時間が経過した時点で終了させてもよい。マーカ３２が強調表示されている間は、注意対象５０から視線４０を外した乗員に、通常表示のマーカ３１よりも容易にマーカ３２を視認させて、マーカ３２の位置に近い元の注意対象５０の方向に乗員が視線４０を戻しやすいようにすることができる。

【0074】

強調表示のマーカ３２は、通常よりも大きいサイズの第１態様、通常とは異なる変形形状の第２態様、背景画像に対して通常よりも大きいコントラスト差の第３態様のいずれかとすることができる。各態様のマーカ３２を強調表示の際に用いることで、大きさ、形状、コントラストのいずれかの要素において、通常表示のマーカ３１との識別を容易にすることができる。

【0075】

マーカ３２を第１態様で強調表示させる場合は、マーカ３２を、フロントガラス３０の投影面上におけるマーカ３２と視線４０上の対応位置との距離に応じて、車両の前方に視線を向けた視線４０の有効視野内で認識可能なサイズとする。このサイズでマーカ３２を強調表示させると、乗員の視線４０が前方の視野中のどこを向いていても、有効視野内のマーカ３２を乗員に視認させることができる。有効視野内でマーカ３２を視認した乗員は、視線４０を外した元の注意対象５０の方向を容易に認識することができる。

【0076】

乗員が注意対象５０から視線４０を外したときにマーカ３２を強調表示させる構成は、省略してもよい。

【0077】

図４Ｄの例では、対象物検出部１１の位置情報推定部１７が、情報通知装置１０の記憶部に記憶されている過去の位置情報に基づいて、車両の荷台６０の陰に隠れた注意対象５０の歩行者の最新の位置情報を推定する。位置を推定した注意対象５０の方向から乗員が視線４０を外したら、マーカ表示部１５がマーカ３２の強調表示を開始させる。

【0078】

図４Ｄの例では、注意対象５０の歩行者が荷台６０の陰に隠れても、マーカ３２の強調表示により、視線４０を外した元の注意対象５０の位置に乗員が視線４０を戻しやすい状況を提供することができる。

【0079】

本実施形態では、周囲認識センサ２１のレーダー及びライダーが検出した物体に乗員の視線４０が移動すると、その物体が、乗員が注意を払うべき注意対象５０であると注目検出部１８が推定した。このため、注意対象５０の候補となる物体が複数あっても、乗員の視線４０の動きから注意対象５０とする物体を特定し、注目方向を検出することができる。

【0080】

本実施形態では、注目方向の延長線上の位置に向けた視線４０の移動速度が変化（低下）すると、注目方向の延長線上の位置に向けて視線４０が移動したと判断するものとした。このため、乗員の視線４０が注目方向に近づいたときに視線４０の移動速度に生じがちな変化を利用して、注目方向の延長線上の位置に向けて視線４０が移動したことを判断することができる。注目方向の延長線上の位置に向けた視線４０の移動は、視線４０の移動速度の変化以外によって判断してもよい。

【0081】

なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

【0082】

例えば、表示部は、風景に重ねて視認できるようにマーカを表示することができる部材であればよく、本実施形態で例示したフロントガラスには限定されない。また、風景は、ガラス等の可視光が通過可能な部材を通して乗員が視認する視界上の実像でもよく、ディスプレイに表示されたカメラによる撮影画像でもよい。

【符号の説明】

【0083】

１０ 情報通知装置
１１ 対象物検出部
１２ 視線方向検出部
１３ 視認判定部
１４ 対応位置算出部
１５ マーカ表示部
１６ 位置情報取得部
１７ 位置情報推定部
１８ 注目検出部
２０ 周辺監視装置
２１ 周囲認識センサ
２２ 画像生成部
３０ フロントガラス
３１ マーカ（通常表示）
３２ マーカ（強調表示）

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図5C】