特許 7532053 対象物提示装置及び対象物提示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-02

(45)【発行日】2024-08-13

(54)【発明の名称】対象物提示装置及び対象物提示方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240805BHJP

   G08G 1/09 20060101ALI20240805BHJP

【ＦＩ】

G08G1/16 D

G08G1/09 F

G08G1/16 F

【請求項の数】 7

(21)【出願番号】P 2020049863

(22)【出願日】2020-03-19

(65)【公開番号】P2021149641

(43)【公開日】2021-09-27

【審査請求日】2022-11-08

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】寺口 剛仁

(72)【発明者】

【氏名】井上 裕史

(72)【発明者】

【氏名】西山 乘

(72)【発明者】

【氏名】大久保 翔太

(72)【発明者】

【氏名】志小田 雄宇

【審査官】宮本 礼子

(56)【参考文献】

【文献】特開２０１３－１９６３５９（ＪＰ，Ａ）

【文献】国際公開第２００８／０２９８０２（ＷＯ，Ａ１）

【文献】特開２０１５－１９１５８３（ＪＰ，Ａ）

【文献】特開２０１９－２０６２６２（ＪＰ，Ａ）

【文献】特開２０１２－２３４４０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

車両から所定の範囲内に存在し、前記車両の乗員が注意する必要がある対象物を検出する対象物検出部と、
前記対象物検出部により検出された前記対象物を示す対象物画像を表示装置に送信する表示画像送信部と、
前記乗員の視線の方向情報または前記乗員の顔の向きの方向情報を含む乗員姿勢情報を取得する乗員姿勢情報取得部と、
前記表示装置により表示された前記対象物画像に対する前記乗員の注意を喚起する注意喚起制御部とを備え、
前記注意喚起制御部は、
前記乗員姿勢情報取得部により取得された前記乗員姿勢情報及び前記表示装置の表示画面上において前記対象物画像が表示されている表示位置に基づき、前記乗員が前記表示画面上で前記対象物画像を認識しているか否かを推定し、
前記乗員が前記対象物画像を認識していないと推定される場合には、前記対象物画像を強調表示する画像表示制御を実行し、
前記画像表示制御を実行した後、前記乗員が前記対象物画像を認識していると推定される場合には、前記対象物が前記乗員から見て遮蔽物の後ろ側にあるか否かを判定し、
前記対象物が前記乗員から見て前記遮蔽物の後ろ側にあると判定した場合には、前記対象物画像を非表示にして、前記対象物の実写画像の透明度を調整した透過画像を表示し、
前記対象物が前記乗員から見て前記遮蔽物の後ろ側にないと判定した場合には、前記対象物画像を非表示にして、前記対象物の実写画像を表示し、
前記対象物の実写画像は、通信装置を介して、前記車両の外部に存在してカメラによって前記対象物を含む画像を取得する外部情報取得装置から取得される対象物提示装置。

【請求項2】

請求項１に記載の対象物提示装置であって、
前記注意喚起制御部は、
前記乗員姿勢情報に基づいて、前記乗員の視線の方向または前記乗員の顔の向きが前記表示位置の方向に一致している方向一致時間が所定時間未満であると検知される場合には、前記乗員が前記対象物画像を認識していないと推定する対象物提示装置。

【請求項3】

請求項２に記載の対象物提示装置であって、
前記注意喚起制御部は、
前記方向一致時間が所定時間以上であると検知された場合には、前記乗員が前記対象物画像を認識していると推定し、
前記乗員が前記対象物画像を認識していると推定された後に、前記乗員の視線の方向または前記乗員の顔の向きが、前記表示位置の方向とは異なる方向に変わったとしても、前記乗員が前記対象物画像を認識しているという推定結果を維持する対象物提示装置。

【請求項4】

請求項１に記載の対象物提示装置であって、
前記画像表示制御は、前記対象物画像の表示を強調する強調画像を生成して表示する制御、または前記対象物画像を点滅表示する制御を含む対象物提示装置。

【請求項5】

請求項１に記載の対象物提示装置であって、
前記対象物は、少なくとも前記車両の外部環境により視認性が低い前記対象物及び前記乗員の視界から一部または全部が前記遮蔽物により遮蔽された前記対象物のいずれか一方を含む対象物提示装置。

【請求項6】

請求項１に記載の対象物提示装置であって、
前記注意喚起制御部は、
前記表示位置の方向に、前記乗員の視線の方向または前記乗員の顔の向きを誘導する音声データを生成し、
前記音声データを前記表示装置に送信する対象物提示装置。

【請求項7】

対象物提示装置を用いて実行される対象物提示方法であって、
前記対象物提示装置は、
車両から所定の範囲内に存在し、前記車両の乗員が注意する必要がある対象物を検出し、
検出された前記対象物を示す対象物画像を表示装置に送信し、
前記乗員の視線の方向情報または前記乗員の顔の向きの方向情報を含む乗員姿勢情報を取得し、
取得された前記乗員姿勢情報及び前記表示装置の表示画面上において前記対象物画像が表示されている表示位置に基づき、前記乗員が前記表示画面上で前記対象物画像を認識しているか否かを推定し、
前記乗員が前記対象物画像を認識していないと推定される場合には、前記対象物画像を強調表示する画像表示制御を実行し、
前記画像表示制御を実行した後、前記乗員が前記対象物画像を認識していると推定される場合には、前記対象物が前記乗員から見て遮蔽物の後ろ側にあるか否かを判定し、
前記対象物が前記乗員から見て前記遮蔽物の後ろ側にあると判定した場合には、前記対象物画像を非表示にして、前記対象物の実写画像の透明度を調整した透過画像を表示し、
前記対象物が前記乗員から見て前記遮蔽物の後ろ側にないと判定した場合には、前記対象物画像を非表示にして、前記対象物の実写画像を表示し、
前記対象物の実写画像は、通信装置を介して、前記車両の外部に存在してカメラによって前記対象物を含む画像を取得する外部情報取得装置から取得される対象物提示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物提示装置及び対象物提示方法に関するものである。

【背景技術】

【0002】

車両の前方の障害物を検知した際に、障害物の視認性を推定し、障害物の視認性に応じて作成された表示像をドライバの視界に表示することにより、適切な情報表示をドライバに提供できる車両用情報表示装置が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２４８７２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、表示像を表示して障害物の存在を知らせたとしても、表示された表示像に乗員の注意が向けられない場合には、障害物の存在が認識されない可能性があるという問題がある。

【0005】

本発明が解決しようとする課題は、注意する必要がある対象物が乗員に認識されないことを防ぐことができる対象物提示装置を提供することである。

【課題を解決するための手段】

【0006】

本発明は、車両の乗員が注意する必要がある対象物を検出し、対象物を示す対象物画像を表示装置に送信し、乗員の視線の方向情報または乗員の顔の向きの方向情報を含む乗員姿勢情報を取得し、乗員姿勢情報及び表示装置の表示画面上において対象物が表示されている表示位置に基づき、乗員が対象物画像を認識しているか否かを推定し、認識していないと推定される場合には、対象物画像を強調表示する画像表示制御を実行し、画像表示制御を実行した後、乗員が対象物画像を認識していると推定される場合には、対象物が乗員から見て遮蔽物の後ろ側にあるか否かを判定し、対象物が乗員から見て遮蔽物の後ろ側にあると判定した場合には、対象物画像を非表示にして、対象物の実写画像の透明度を調整した透過画像を表示し、対象物が乗員から見て遮蔽物の後ろ側にないと判定した場合には、対象物画像を非表示にして、対象物の実写画像を表示し、対象物の実写画像は、通信装置を介して、車両の外部に存在してカメラによって対象物を含む画像を取得する外部情報取得装置から取得されることによって上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、注意する必要がある対象物が乗員に認識されないことを防ぐことができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態における対象物提示装置の一実施形態を示すブロック図である。

【図2】本実施形態における対象物提示装置において実行される対象物画像の表示制御の手順を示すフローチャートである。

【図3】対象物画像を強調表示する制御の一例を示す図である。

【図4】ユーザが対象物画像を認識した後の表示画像制御の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本願発明の実施形態を図面に基づいて説明する。

【0010】

本実施形態では、図１に示すように、対象物提示装置１２は、自車両１０に搭載され、表示端末１１（例えば、ＡＲヘッドマウントディスプレイ）、車載センサー１３及び外部情報取得装置３０（他車両及び路上設備）と通信可能に接続されている。表示端末１１は、例えば、自車両１０の乗員であるユーザ４０の頭部に装着されるＡＲヘッドマウントディスプレイであり、ユーザ４０は、表示端末１１を介して、現実の光景に画像が表示された拡張現実（ＡＲ）を見ることができる。ユーザ４０は、例えば、自車両１０の運転者である。本実施形態では、対象物提示装置１２は、自車両１０に搭載され、表示端末１１及び車載センサー１３と有線で接続されることとしているが、これに限らず、対象物提示装置１２は、自車両１０の外に設置され、表示端末１１及び車載センサー１３と無線で接続しているものとしてもよい。

【0011】

表示端末１１は、少なくともセンサー群１００と、出力部１１０とを備える。センサー群１００は、カメラ１０１と、加速度センサー１０２と、ジャイロセンサー１０３とを備え、ユーザ４０の頭部の向きまたは視線の方向を検知する。例えば、カメラ１０１によりユーザ４０の眼球を撮像し、撮像した画像を解析して視線方向を検知する。また、加速度センサー１０２やジャイロセンサー１０３により頭部の動きを計測して頭部の向きを検知する。センサー群１００により取得されたユーザ４０の頭部の向きや視線の方向に関する姿勢情報は、対象物提示装置１２の乗員姿勢情報取得部１２３に出力される。また、出力部１１０は、モニター１１１と、スピーカー１１２とを有し、モニター１１１に画像を表示し、スピーカーから音声を出力する。モニター１１１は、対象物提示装置１２の表示画像送信部１２４から出力された表示画像の情報に基づき、表示画像を表示する。例えば、モニター１１１は透過型ディスプレイであり、ユーザの視界に、表示画像を重畳表示する。

【0012】

対象物提示装置１２は、通信装置１２０と、コントローラ１２１を備える。通信装置１２０は、自車両１０の外部に存在する外部情報取得装置３０（他車両や路上設備）と無線で通信可能に接続されていて、外部環境情報を取得する。外部環境情報は、自車両１０の走行経路上、ユーザ４０が注意する必要がある対象物を含む。対象物は、自車両１０の走行に影響を与える可能性があるものであり、自車両１０の走行経路上で接近する可能性がある障害物や自車両１０の乗員に必要な情報を提供する案内表示を含む。例えば、歩行者、他車両、自転車、壁（ガードレール、トンネル内壁、建物、電柱、料金所を含む）、道路標識、道路標示、交通信号機である。また、乗員にとって有益な案内情報を含むこととしてもよい。例えば、パーキングエリアまでの距離を示す案内板等である。

【0013】

コントローラ１２１は、ユーザの姿勢情報や外部環境情報を取得し、ユーザ４０に表示する表示画像を生成し、表示端末１１に送信する。コントローラ１２１は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むものである。コントローラ１２１は、機能ブロックとして、対象物検出部１２２と、乗員姿勢情報取得部１２３と、表示画像送信部１２４と、注意喚起制御部１２５とを備え、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。

【0014】

コントローラ１２１は、対象物検出部１２２により、通信装置１２０を介して、外部情報取得装置３０により取得された外部環境情報を取得し、車載センサー１３から、車載センサー１３により取得された外部環境情報を取得する。また、取得された外部環境情報から、自車両１０から所定の範囲内にユーザ４０が注意する必要のある対象物があるか否か検出する。対象物を検出する方法としては、例えば、画像認識により対象物を検出する。コントローラ１２１は、対象物検出部１２２により、車載センサー１３のカメラ１３１や外部情報取得装置３０のカメラ３２０が取得した画像データから、対象物の特徴を抽出し、対象物の種別を識別する。対象物の検出は、一度に、複数の対象物を検出することとしてもよい。

【0015】

なお、コントローラ１２１は、対象物検出部１２２により、対象物として、視認性が低い対象物、例えば、外部環境により視認性が低い対象物や乗員の視界から一部または全部が遮蔽物により遮蔽されている対象物を検出することとしてもよい。視認性が低い対象物は、視認可能な面積が小さい対象物、又は、周囲環境に対して特徴が視認しにくい対象物である。視認可能な面積が小さい対象物は、サイズが小さい、自車両１０からの距離が遠い、又は、遮蔽物により特徴部分が遮蔽されている対象物である。また、周囲環境に対して特徴が視認しにくい対象物は、色が周囲環境に類似している対象物、又は、視認性を下げる外部環境にある対象物である。視認性が低い対象物は、特に乗員が見落とす可能性が高いため、視認性が低い対象物を検出し、対象物画像を表示することで、乗員が対象物を認識しないことを防止することができる。視認性を下げる外部環境は、夜間や霧、雨といった外部環境が例として挙げられる。視認性が低い対象物を検出する方法は、例えば、可視光カメラで撮像した画像と遠赤外線カメラで撮像した画像の差から視認性が低い対象物を検出する方法や、外部情報取得装置３０のカメラ３２０で認識できているものの、車載センサー１３のカメラ１３１では認識できない対象物が検知された場合に、視認性が低い対象物として検出する方法が挙げられる。また、コントローラ１２１は、遮蔽物によりユーザ４０からの視点では一部または全部が遮蔽されていて視認性が低い場合にも、視認性が低い対象物として検出する。例えば、車載センサー１３のカメラ１３１が取得した画像からでは、遮蔽物が手前にあって、遮蔽物の後ろの対象物が検出できない場合に、外部情報取得装置３０のカメラ３２０で対象物が検出できれば、視認性が低い対象物として検出する。

【0016】

コントローラ１２１は、乗員姿勢情報取得部１２３により、表示端末１１から、センサー群１００により取得されたユーザ４０の視線の方向や頭の向きに関する姿勢情報を取得する。

【0017】

また、コントローラ１２１は、表示画像送信部１２４により、対象物画像を生成し、生成した対象物画像を表示端末１１に送信する。このとき、対象物画像は、表示端末１１のモニター１１１上に表示される対象物画像の表示位置に関する情報を含む。本実施形態では、対象物の種別に応じて、対象物を表す画像の種類を選択し、選択した画像の大きさや色、輝度等を決定して対象物画像を生成する。例えば、軽自動車が検出された場合には、コントローラ１２１は軽自動車を「車両」として認識し、「車両」を表す画像を選択して、軽自動車の対象物画像を生成する。また、表示端末１１のモニター１１１上に表示される対象物画像の表示位置の取得方法は、まず、対象物の現実の位置を特定する。次に、特定された対象物の位置に対応するモニター１１１上の位置を表示位置として取得する。具体的には、対象物が実際に存在する位置を表す３次元座標をモニター１１１上の２次元座標に対応付けることによって、モニター１１１上の表示位置を取得する。

【0018】

また、コントローラ１２１は、注意喚起制御部１２５により、取得したユーザ４０の姿勢情報、つまり、ユーザ４０の視線の方向または頭部の向きに関する姿勢情報、及びモニター１１１上に表示されている対象物画像の表示位置の位置情報に基づいて、ユーザ４０が対象物画像を認識しているか否かを推定する。例えば、コントローラ１２１は、注意喚起制御部１２５により、ユーザ４０の視線の方向または頭部の向きが、対象物画像が表示されている位置の方向に一致している方向一致時間が所定時間未満であるか否かを判断する。そして、所定時間未満であると判断される場合には、ユーザ４０が対象物画像を認識していないと推定する。所定時間未満ではない、つまり、所定時間以上であると判断される場合には、ユーザ４０が対象物画像を認識していると推定する。

【0019】

また、コントローラ１２１は、注意喚起制御部１２５により、ユーザ４０が対象物画像を認識していると推定した場合には、ユーザ４０が対象物画像を認識しているという推定結果を維持する。具体的には、推定後、ユーザ４０の視線の方向または頭部の向きが対象物画像の表示位置の方向とは異なる方向に変わった場合に、方向一致時間が所定未満になったとしても、ユーザ４０が対象物画像を認識していないと推定せず、ユーザ４０が対象物画像を認識しているという推定結果を維持する。これは、ユーザ４０が対象物画像を一度認識すれば、ユーザ４０が他のところに視線を向けていたとしても、ユーザ４０は対象物には気づいていて、認識していると考えられるからである。

【0020】

さらに、コントローラ１２１は、注意喚起制御部１２５により、対象物画像をユーザ４０が認識していないと推定される場合には、ユーザ４０に、対象物画像への注意を喚起する制御を実行する。具体的には、表示端末１１を介してユーザ４０に表示している対象物画像を強調表示する制御を実行する。例えば、コントローラ１２１は、強調画像を表示画像送信部１２４に生成させる制御信号を出力する。強調画像は、対象物画像の色を赤色等の目立つ色に変えた画像や、輝度を上げた画像、表示位置を変更した画像、重畳表示する画像を含む。また、コントローラ１２１は、注意喚起制御部１２５により、対象物画像を点滅表示させる制御信号を表示端末１１に送信することとしてもよい。なお、対象物画像を強調する制御として、ユーザ４０の視線の方向または顔の向きを、対象物画像の表示位置の方向に誘導する音声データを生成して表示端末１１に送信することとしてもよい。コントローラ１２１は、これらの制御のうち、少なくともひとつを用いて対象物画像への注意を喚起する制御を実行する。

【0021】

車載センサー１３は、自車両１０に搭載されたセンサー群であり、自車両１０の周囲（前方、側方、後方の全周囲）の対象物の存在を含む走行環境に関する情報を取得する。車載センサー１３は、カメラ１３１と、超音波センサー１３２と、レーダー１３３と、ＧＰＳ１３４とを備える。カメラ１３１は、例えばＣＣＤ等の撮像素子を備えるカメラである。本実施形態のカメラは自車両１０に設置され、自車両１０の周囲の走行環境を撮像し、自車両１０の周囲に存在する車両や歩行者等を含む画像データを取得する。カメラ１３１は、超音波カメラ、赤外線カメラなどを含む。また、超音波センサー１３２及びレーダー１３３は、自車両１０と対象物との相対距離を取得する。レーダー１３３は、レーザーレーダー、ミリ波レーダーなど（ＬＲＦ等）、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）ユニットを用いることができる。車載センサー１３は、一又は複数のカメラ、超音波センサー１３２及びレーダー１３３を採用することができる。また、ＧＰＳ１３４は、自車両１０の現在位置を検出するＧＰＳ機器である。複数の衛星通信から送信される電波を受信機で受信することで、自車両の位置情報を取得する。また、ＧＰＳ１３４は、周期的に複数の衛星通信から送信される電波を受信することで、自車両の位置情報の変化を検出することができる。

【0022】

車載センサー１３が検知するものは、車線境界線、センターライン、路面標識、中央分離帯、ガードレール、縁石、高速道路の側壁、道路標識、信号機、横断歩道、工事現場、事故現場、交通制限、自車両以外の自動車（他車両）、オートバイ、自転車、歩行者を含む。また、車載センサー１３が検知するものは、ユーザ４０が運転中に注意する必要がある対象物を含む。

【0023】

外部情報取得装置３０は、他車両や路上設備に備えられた装置であり、通信装置３１と、外部センサー群３２とを有する。外部センサー群３２は、車載センサー１３と同様に、カメラ３２０と、超音波センサー３２１と、レーダー３２２と、ＧＰＳ３２３を備え、対象物を含む周囲の走行環境に関する情報を取得する。なお、外部情報取得装置３０を構成する外部センサー群３２は、車載センサー１３と異なる構成としてもよい。通信装置３１は、外部センサー群３２が取得した情報を、対象物提示装置１２の通信装置１２０に送信する。例えば、他車両が移動しながらセンサーによって周囲の環境情報を取得し、あるいは、路上や路上付近に設置された路上設備は、センサーによって周囲の環境情報を取得する。これにより、自車両１０の車載センサー１３では取得できない環境情報を、対象物提示装置１２に送信することができる。例えば、曲がり角によって、曲がり角の壁の後ろに位置する対象物を自車両１０の車載センサー１３で検出できないような場合であっても、コントローラ１２１は、当該対象物を外部情報取得装置３０が検出することで、見えない対象物が存在する位置を取得することができる。

【0024】

次に、図２を用いて、本実施形態に係るユーザ４０に表示する表示画像の強調表示制御について説明する。図２は、ユーザ４０に表示する表示画像の強調表示制御を実行するためのフローチャートである。本実施形態では、ユーザ４０が起動スイッチをオンにして車内ＡＲシステムの利用を開始すると、フローチャートに基づき、ステップＳ２０１から強調表示制御を開始する。

【0025】

ステップＳ２０１では、コントローラ１２１は、自車両１０の周囲の外部環境情報を取得する。具体的には、コントローラ１２１は、車載センサー１３及び外部情報取得装置３０から、それぞれ取得された外部環境情報を取得する。

【0026】

ステップＳ２０２では、コントローラ１２１は、ステップＳ２０１で取得した外部環境情報に基づき、ユーザ４０が注意する必要がある対象物があるか否か検出する。具体的には、コントローラ１２１は、画像認識により、カメラで取得した画像データから、対象物の特徴を抽出し、対象物の種別を特定する。種別としては、例えば、自動車、歩行者、自転車、建造物、標識、信号機が挙げられる。対象物は、自車両１０から所定の範囲内に存在し、自車両に接近する可能性がある障害物（歩行者や自動車等）や、交差点付近であれば、交差点の信号機等を含む。また、コントローラ１２１は、対象物として、外部環境により視認性が低い対象物や、一部または全部が遮蔽物によりユーザ４０の視界から遮蔽されている対象物を検出することとしてもよい。ユーザ４０が注意すべき対象物が検出される場合には、ステップＳ２０３に進む。ユーザ４０が注意すべき対象物が検出されない場合には、ステップＳ２０１に戻り、再び、外部環境情報を取得する。本実施形態では、自車両１０が走行している間に、常に外部環境情報を取得し、対象物の検出を繰り返す。

【0027】

ステップＳ２０３では、コントローラ１２１は、対象物を示す対象物画像を表示する。具体的には、コントローラ１２１は、ステップＳ２０２において特定された対象物の種別ごとに予め設定された表示画像を選択し、当該表示画像を対象物画像として生成する。次に、コントローラ１２１は、生成した対象物画像を、モニター１１１上に表示される対象物画像の位置に関する位置情報とともに、ユーザ４０が装着している表示端末１１に送信する。このとき、対象物画像が表示される位置は、対象物の現実の位置から、対応する２次元の座標位置を求めることで取得される。そして、表示端末１１は、コントローラ１２１から対象物画像及び対象物画像が表示される表示位置の位置情報を取得すると、出力部１１０のモニター１１１上の表示位置に当該対象物画像を表示する。このとき、例えば、対象物が壁等の後ろに存在してユーザ４０の視界において対象物が直接見えていない場合であっても、壁等がなければ、ユーザ４０の視界において対象物が見える位置に表示される。

【0028】

ステップＳ２０４では、コントローラ１２１は、ユーザ４０の姿勢情報を取得する。具体的には、コントローラ１２１は、ユーザ４０が装着している表示端末１１のセンサー群１００により取得されたユーザ４０の視線の方向や顔の向きを含む姿勢情報を取得する。

【0029】

ステップＳ２０５では、コントローラ１２１は、ユーザ４０が対象物画像を認識しているか否かを推定する。まず、コントローラ１２１は、ステップＳ２０４で取得した姿勢情報及び対象物画像が表示されている表示位置の位置情報から、対象物画像の位置の方向とユーザ４０の視線の方向または頭の向きを比較する。そして、ユーザ４０の視線の方向または頭の向きが、対象物画像の位置の方向に一致している方向一致時間が所定時間未満であるか否かを判定する。そして、方向一致時間が所定時間未満ではない、すなわち、所定時間以上であると判定される場合には、ユーザ４０が対象物画像を認識していると推定する。また、方向一致時間が所定時間未満であると判定される場合には、ユーザ４０が対象物画像を認識していないと推定する。ユーザ４０が対象物画像を認識していると推定される場合には、ステップＳ２０９に進む。ユーザ４０が対象物画像を認識していないと推定される場合には、ステップＳ２０６に進む。

【0030】

なお、ユーザ４０の視線の方向または頭の向きが、対象物画像の位置の方向に一致している方向一致時間の閾値として設定されている所定時間は、対象物の種別に応じて、変更することとしてもよい。例えば、対象物の種別が他車両や歩行者である場合の所定時間を、対象物の種別がそれ以外である場合の所定時間よりも長く設定する。また、対象物の種別が案内標識である場合の所定時間を、対象物がそれ以外である場合の所定時間よりも短く設定する。

【0031】

ステップＳ２０６では、コントローラ１２１は、対象物画像を強調表示する制御を実行する。例えば、対象物画像の表示を強調する強調画像を生成して表示する。強調画像としては、例えば、対象物画像のサイズを大きくした画像や、対象物画像を赤色等の目立つ色に変えた画像、対象物画像の輝度を強くした画像が挙げられる。コントローラ１２１は、強調画像を生成すると、強調画像を表示端末１１の出力部１１０に出力する。強調画像を取得した表示端末１１は、モニター１１１上の対象物画像が表示されている位置に強調画像を表示する。また、強調画像を生成することに限らず、対象物画像を点滅表示させることとしてもよい。この場合、コントローラ１２１は、対象物画像の点滅表示を実行する制御信号を出力部１１０に出力する。そして、出力部１１０は、当該制御信号に基づいて、対象物画像を点滅表示させる。

【0032】

図３は、対象物画像の強調表示制御を実行する一例を示す図である。図３では、壁３０１の後ろに対象物である他車両３０２が存在する場面において、表示端末１１を介してユーザ４０の視界に見えている光景を示す一例である。図３で示されるように、他車両３０２は、壁３０１により一部が遮蔽されている状態である。そして、他車両３０２が対象物として検出されると、対象物画像３０３が、モニター１１１上における対象物の位置に表示される。このとき、図３で示されるように、対象物である他車両３０２が壁等により遮蔽されている場合には、対象物画像３０３を壁等の上に重畳表示させる。さらに、対象物画像３０３が表示されている状態において、ユーザ４０が対象物画像３０３を認識しているか否かの推定を行い、ユーザ４０が対象物画像３０３を認識していないと推定される場合には、強調画像３０４が、モニター上における対象物画像の位置に表示される。このとき、強調画像３０４を表示することに限らず、対象物画像３０３を点滅表示することとしてもよい。なお、図３では、他車両３０２が壁３０１に遮蔽されている場面を例として挙げているが、これに限らず、対象物である他車両が遮蔽物がない場所に存在する場合であってもよい。

【0033】

ステップＳ２０７では、コントローラ１２１は、ユーザ４０の姿勢情報を取得する。具体的には、コントローラ１２１は、ステップＳ２０４と同じように、ユーザ４０が装着している表示端末１１により取得されたユーザ４０の視線の方向や顔の向きを含む姿勢情報を取得する。

【0034】

ステップＳ２０８では、コントローラ１２１は、ユーザ４０が対象物画像を認識しているか否かを推定する。推定方法は、ステップＳ２０５と同様である。ステップＳ２０８では、ステップＳ２０６において対象物画像を強調表示したことによって、ユーザ４０の視線の方向または顔の向きが対象物画像の位置の方向に変わったか否かを判定するために、再度、ユーザ４０が対象物画像を認識しているか否かを推定する。ユーザ４０が対象物画像を認識していると推定される場合には、ステップＳ２０９に進む。ユーザ４０が対象物画像を認識していないと推定される場合には、ステップＳ２０６に戻る。ステップＳ２０６では、コントローラ１２１は、他の強調方法で、再度、対象物画像を強調表示にしたり、音声によって対象物画像の位置の方向に、ユーザ４０の視線の方向または頭の向きを誘導したりする。

【0035】

ステップＳ２０９では、コントローラ１２１は、ユーザ４０の注意状態を確認したことをユーザ４０に提示する。注意状態とは、注意する必要がある対象物をユーザが認識している状態である。コントローラ１２１は、例えば、対象物または対象物画像の周囲を発光させることによって、注意状態、すなわち、ユーザ４０が対象物を認識していることを確認したことを提示する。

【0036】

ステップＳ２１０では、コントローラ１２１は、車載センサー１３と外部情報取得装置３０により取得される外部環境情報に基づいて、対象物がユーザ４０から見て遮蔽物の後ろ側にあるか否かを判定する。このとき、ユーザ４０から見て遮蔽物により遮蔽されている部分が対象物の一部か全部かにかかわらず、対象物が遮蔽物の後ろ側にあると判定する。対象物が遮蔽物の後ろ側にあると判定される場合には、ステップＳ２１１に進む。対象物が遮蔽物の後ろ側にあると判定されない場合には、ステップＳ２１２に進む。

【0037】

ステップＳ２１１では、コントローラ１２１は、対象物の実写画像を取得し、対象物の実写画像の透明度を調整した透過画像をモニター１１１に表示する。すなわち、ステップＳ２１１において、ユーザ４０から見えていない対象物の一部または全部を補完する形で透過画像を表示することで、対象物の視認性を高めることができる。

【0038】

ステップＳ２１２では、コントローラ１２１は、対象物画像を非表示にする。具体的には、コントローラ１２１は、対象物画像の表示を中止する制御信号を出力部１１０に出力し、出力部１１０は、当該制御信号に基づき、対象物画像を非表示にする。ステップＳ２１２では、ユーザ４０が対象物の存在を認識していて、かつ対象物が直接視認することができる位置に存在するため、表示していた対象物画像を非表示にすることで、ユーザ４０は対象物を直接視認することができる。

【0039】

図４は、ステップＳ２０９からステップＳ２１２までの、ユーザの注意状態を確認したことの提示制御及び対象物画像の表示制御の一例を示す図である。図４では、モニター１１１上の対象物の位置に対象物画像を重畳表示した後に、ユーザ４０が対象物画像を認識していると推定された場面が示されている。ユーザ４０が対象物を認識していると推定されると、コントローラ１２１は、ユーザ４０が対象物を認識していることを対象物提示装置１２が確認したということをユーザ４０に提示する。例えば、ＳＴＥＰ２０９（１）及びＳＴＥＰ２０９（２）の発光３０５で示されるように、対象物画像３０３の周囲を発光させる。図４では、ＳＴＥＰ２０９（１）は、図２のＳ２０９の一例であって、対象物である他車両が壁３０１に遮蔽されている場面において、対象物画像３０３の周囲を発光させている状況を示している。ＳＴＥＰ２０９（２）は、図２のＳ２０９の一例であって、対象物である他車両が遮蔽物のない場所に存在する場面において、対象物画像３０３の周囲を発光させている状況を示している。次に、対象物の前に壁３０１がある場合（ＳＴＥＰ２０９（１））には、表示画像を対象物画像３０３から透過画像３０６に変更して、モニター１１１上における対象物の位置に透過画像を表示させる（ＳＴＥＰ２１１）。透過画像３０６は、壁等の遮蔽物によりユーザ４０が直接的に見ることができない部分を補完的に表示させる画像である。また、対象物の前に壁３０１がない場合（ＳＴＥＰ２０９（２））には、対象物画像３０３を非表示にして、実際の対象物または実写画像を表示させる（ＳＴＥＰ２１２）。

【0040】

ステップＳ２１３では、コントローラ１２１は、車室内ＡＲシステムの利用を終了したか否かを判定する。例えば、ユーザ４０が、起動スイッチをオフにして、車室内ＡＲシステムの利用を終了した場合には、強調表示制御を終了する。車室内ＡＲシステムの利用を終了したと判定されない場合には、ステップＳ２０１に戻り、以下、車室内ＡＲシステムの利用を終了するまで、フローを繰り返す。

【0041】

また、本実施形態では、対象物検出部１２２により検出された複数の対象物の対象物画像が表示されている場合には、コントローラ１２１は、それらの複数の対象物のうち、対象物の重要度に応じて、重要度が高い対象物を選択して、選択された対象物をユーザ４０が認識しているか否かを判定してもよい。重要度は、ユーザが注意する必要性の高さである。重要度は、あらかじめ対象物の種別ごとに設定されている。例えば、対象物の種別が、「歩行者」、「自転車」、「他車両」であるときには、重要度は「高」に設定され、対象物の種別が「案内板」等であるときには、重要度は「低」に設定される。重要度の設定は、「高」、「低」の２段階に限らず、「高」、「中」、「低」の３段階等、２以上の段階で区分してもよい。本実施形態では、まず、コントローラ１２１は、対象物の種別を特定して、対象物の種別ごとに設定された重要度に基づいて、対象物の重要度を判定する。次に、コントローラ１２１は、対象物画像が表示されている複数の対象物それぞれの重要度に基づいて、最も重要度が高い対象物を選択して、ユーザ４０が当該対象物の対象物画像を認識しているか否かを推定する。そして、コントローラ１２１は、ユーザ４０が当該対象物を認識していないと推定される場合には、当該対象物の強調表示を実行する。これにより、注意する必要性の高い対象物をユーザが認識していない場合には、当該対象物を強調表示することで、注意する必要性の高い対象物が乗員に認識されないことを防ぐことができる。

【0042】

なお、本実施形態では、コントローラ１２１は、対象物検出部１２２により対象物が複数検出されている場合には、複数の対象物それぞれの重要度を判定して、重要度に応じて、対象物画像を生成する対象物を選択してもよい。具体的には、コントローラ１２１は、複数の対象物が検出された場合には、対象物の種別を特定して、対象物の種別ごとに設定された重要度に基づいて、対象物の重要度を判定する。そして、コントローラ１２１は、複数の対象物それぞれの重要度に応じて、検出された対象物の中で重要度が最も高い種別に属する対象物の対象物画像を生成して、表示端末１１に送信する。また、コントローラ１２１は、複数の対象物それぞれの重要度に応じて、重要度が高い順に、対象物画像を生成する対象物を選択してもよい。例えば、コントローラ１２１は、所定数の対象物の対象物画像を生成するとあらかじめ設定しておき、複数の対象物が検出された場合には、重要度が高い順に所定数の対象物について、対象物画像を生成することとしてもよい。

【0043】

以上のように、本実施形態では、車両から所定の範囲内に存在し、車両の乗員が注意する必要がある対象物を検出し、検出された対象物を示す対象物画像を表示装置に送信し、乗員の視線の方向情報または乗員の顔の向きの方向情報を含む乗員姿勢情報を取得し、取得された乗員姿勢情報及び表示装置の表示画面上において対象物画像が表示されている表示位置に基づき、乗員が表示画面上で対象物画像を認識しているか否かを推定し、乗員が対象物画像を認識していないと推定される場合には、対象物画像を強調表示する画像表示制御を実行する。これにより、注意する必要がある対象物が乗員に認識されないことを防ぐことができる。

【0044】

また、本実施形態では、乗員姿勢情報に基づいて、乗員の視線の方向または乗員の顔の向きが表示位置の方向に一致している方向一致時間が所定時間未満であると検知される場合には、乗員が対象物画像を認識していないと推定する。これにより、対象物画像が乗員に認識されていないと判断することができる。

【0045】

また、本実施形態では、方向一致時間が所定時間以上であると検知された場合には、乗員が対象物画像を認識していると推定し、乗員が対象物画像を認識していると推定された後に、乗員の視線の方向または乗員の顔の向きが、表示位置の方向とは異なる方向に変わったとしても、乗員が対象物画像を認識しているという推定結果を維持する。これにより、乗員が一度対象物画像を認識した場合には、乗員の視線の方向または顔の向きが対象物画像の表示位置の方向とは異なる方向に変わったとしても、乗員が対象物画像を認識していると判断することができる。

【0046】

また、本実施形態では、画像表示制御は、対象物画像の表示を強調する強調画像を生成して表示する制御、または対象物画像を点滅表示する制御を含む。これにより、乗員の視線の方向または顔の向きを対象物画像の表示位置の方向に誘導することができる。

【0047】

また、本実施形態では、対象物は、少なくとも車両の外部環境により視認性が低い対象物及び乗員の視界から一部または全部が遮蔽物により遮蔽された対象物のいずれか一方を含む。これにより、視認性が低く認識しづらい対象物であっても、乗員は見落とさずに認識することができる。

【0048】

さらに、本実施形態では、表示位置の方向に、乗員の視線の方向または乗員の顔の向きを誘導する音声データを生成し、音声データを表示装置に送信する。これにより、乗員が視覚的に認識できていない対象物であっても、乗員の視線の方向または顔の向きを対象物画像の表示位置の方向に誘導することができる。

【0049】

なお、本実施形態では、モニター１１１上に対象物画像を表示し、表示された対象物画像をユーザが認識しているか否かを推定したが、これに限らず、例えば、ステップＳ２０２で対象物が検知された後に、ユーザが対象物を認識しているか否かを推定することとしてもよい。そして、ユーザが対象物を認識していないと推定される場合に、対象物画像を表示することとしてもよい。

【0050】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【符号の説明】

【0051】

１１…表示端末
１００…センサー群
１１０…出力部
１２…対象物提示装置
１２０…通信装置
１２１…コントローラ
１２２…対象物検出部
１２３…乗員姿勢情報取得部
１２４…表示画像送信部
１２５…注意喚起制御部
１３…車載センサー
３０…外部情報取得装置
３１…通信装置
３２…外部センサー群

【図1】

【図2】

【図3】

【図4】