特許 7257623 表示制御装置および表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-06

(45)【発行日】2023-04-14

(54)【発明の名称】表示制御装置および表示制御方法

(51)【国際特許分類】

   B60K 35/00 20060101AFI20230407BHJP

   G09G 5/00 20060101ALI20230407BHJP

【ＦＩ】

B60K35/00 A

G09G5/00 510A

【請求項の数】 9

(21)【出願番号】P 2019171648

(22)【出願日】2019-09-20

(65)【公開番号】P2021046171

(43)【公開日】2021-03-25

【審査請求日】2022-03-01

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】前田 和彦

【審査官】藤村 聖子

(56)【参考文献】

【文献】特開２０１９－１５５９６０（ＪＰ，Ａ）

【文献】特開２０１９－１４７５４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｋ ３５／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

移動体に設けられ、スクリーン上に投影された画像をユーザに虚像として視認させる表示装置を制御する表示制御装置であって、
前記移動体の周囲のオブジェクトの検出結果と、前記移動体から前記周囲のオブジェクトまでの距離を示す距離情報と、前記ユーザの視線方向とを取得する取得部と、
前記検出結果に基づいて、前記周囲のオブジェクトのうち、前記虚像を重畳させる第一オブジェクトを決定し、前記距離情報を用いて前記移動体から前記第一オブジェクトまでの第一距離を算出する第一算出部と、
前記距離情報および前記視線方向を用いて、前記移動体から、前記周囲のオブジェクトのうちの前記視線方向における第二オブジェクトまでの第二距離を算出する第二算出部と、
前記虚像を前記ユーザに視認させる、奥行き方向における奥行き位置を、前記移動体から前記第一距離離れた第一位置と前記第二距離離れた第二位置との間の第三位置に決定する決定部と、
決定された前記奥行き位置、かつ、前記第一オブジェクトに重なる位置において前記虚像が前記ユーザに視認されるように前記表示装置を制御する制御部と、を備える
表示制御装置。

【請求項2】

前記決定部は、前記第一距離と前記第二距離との差が第一閾値以上である場合、前記第一位置および前記第二位置の間の予め定められた固定位置を前記奥行き位置として決定する
請求項１に記載の表示制御装置。

【請求項3】

前記決定部は、前記第一距離と前記第二距離との差が第一閾値以上である場合、固定距離だけ前記第一位置よりも前記第二位置に近い位置を前記奥行き位置として決定する
請求項１に記載の表示制御装置。

【請求項4】

前記決定部は、前記第一距離と前記第二距離との差が第一閾値以上である場合、前記差が大きくなるほど長い距離だけ前記第一位置よりも前記第二位置に近い位置を前記奥行き位置として決定する
請求項１に記載の表示制御装置。

【請求項5】

前記決定部は、前記第一距離と前記第二距離との差が前記第一閾値未満である場合、前記第一位置を前記奥行き位置として決定する
請求項２から４のいずれか１項に記載の表示制御装置。

【請求項6】

前記第一閾値は、前記第二距離が大きいほど大きい値である
請求項２から５のいずれか１項に記載の表示制御装置。

【請求項7】

前記取得部は、前記検出結果と、前記距離情報と、前記視線方向とを逐次取得し、
前記第一算出部は、逐次取得された前記検出結果および前記距離情報に基づいて、前記第一距離を逐次算出し、
前記第二算出部は、逐次取得された前記距離情報および前記視線方向に基づいて、前記第二距離を逐次算出し、
前記決定部は、逐次算出された前記第一距離および前記第二距離に基づいて、前記奥行き位置を逐次決定し、
前記制御部は、逐次決定された前記奥行き位置、かつ、前記第一オブジェクトに重なる位置において前記虚像が前記ユーザに視認されるように前記表示装置を制御する
請求項１から６のいずれか１項に記載の表示制御装置。

【請求項8】

前記決定部は、第一タイミングで決定した第一奥行き位置と、前記第一タイミングより前の第二タイミングで決定した第二奥行き位置との差が第二閾値以上である場合、前記第一奥行き位置と前記第二奥行き位置との間の位置を、前記第一タイミングの奥行き位置として決定する
請求項７に記載の表示制御装置。

【請求項9】

移動体に設けられ、スクリーン上に投影された画像をユーザに虚像として視認させる表示装置を制御する表示制御方法であって、
前記移動体の周囲のオブジェクトの検出結果を取得し、
前記移動体から前記周囲のオブジェクトまでの距離を示す距離情報を取得し、
前記ユーザの視線方向を取得し、
前記検出結果に基づいて、前記周囲のオブジェクトのうち、前記虚像を重畳させる第一オブジェクトを決定し、前記距離情報を用いて前記移動体から前記第一オブジェクトまでの第一距離を算出し、
前記距離情報および前記視線方向を用いて、前記移動体から、前記周囲のオブジェクトのうちの前記視線方向における第二オブジェクトまでの第二距離を算出し、
前記虚像を前記ユーザに視認させる奥行き方向における奥行き位置を、前記移動体から前記第一距離離れた第一位置と、前記第二距離離れた第二位置との間の第三位置に決定し、
決定された前記奥行き位置、かつ、前記第一オブジェクトに重なる位置において前記虚像が前記ユーザに視認されるように前記表示装置を制御する
表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示制御装置および表示制御方法に関する。

【背景技術】

【0002】

特許文献１には、投影される画像の結像位置の遠近の切り替えを段階的に行うことができる車両用ヘッドアップディスプレイが開示されている。

【0003】

特許文献２には、ドライバの眼から虚像までの表示距離を設定し、設定した表示距離において虚像を表示させる制御を行う車載表示装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平９－１８５０１２号公報

【文献】特開２０１７－２２６２９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、ユーザに虚像を視認させるまでの時間を短縮することができる表示制御装置などを提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る表示制御装置は、移動体に設けられ、スクリーン上に投影された画像をユーザに虚像として視認させる表示装置を制御する表示制御装置であって、前記移動体の周囲のオブジェクトの検出結果と、前記移動体から前記周囲のオブジェクトまでの距離を示す距離情報と、前記ユーザの視線方向とを取得する取得部と、前記検出結果に基づいて、前記周囲のオブジェクトのうち、前記虚像を重畳させる第一オブジェクトを決定し、前記距離情報を用いて前記移動体から前記第一オブジェクトまでの第一距離を算出する第一算出部と、前記距離情報および前記視線方向を用いて、前記移動体から、前記周囲のオブジェクトのうちの前記視線方向における第二オブジェクトまでの第二距離を算出する第二算出部と、前記虚像を前記ユーザに視認させる、奥行き方向における奥行き位置を、前記移動体から前記第一距離離れた第一位置と前記第二距離離れた第二位置との間の第三位置に決定する決定部と、決定された前記奥行き位置、かつ、前記第一オブジェクトに重なる位置において前記虚像が前記ユーザに視認されるように前記表示装置を制御する制御部と、を備える。

【0007】

なお、上記の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0008】

本開示の表示制御装置によれば、ユーザに虚像を視認させるまでの時間を短縮することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施の形態における映像表示システムの使用例を示す図である。

【図2】図２は、本実施の形態における表示装置によって光が投射される領域であるＤ１の一例を示す図である。

【図3】図３は、本実施の形態における表示制御装置の機能構成の一例を示すブロック図である。

【図4】図４は、走行中の車両の一場面を示す図であり、上方から見た平面図である。

【図5A】図５Ａは、決定部の奥行き位置を決定する決定処理の第一の例を説明するためのグラフである。

【図5B】図５Ｂは、決定部の奥行き位置を決定する決定処理の第二の例を説明するためのグラフである。

【図5C】図５Ｃは、決定部の奥行き位置を決定する決定処理の第三の例を説明するためのグラフである。

【図6】図６は、ドライバからの虚像Ｉ１の見え方を説明するための図である。

【図7】図７は、本実施の形態における表示制御装置の動作を説明するためのフローチャートである。

【図8】図８は、決定部による決定処理の他の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

（本開示の基礎となった知見）
上述したように、特許文献１および２では、ユーザの視線方向において、ユーザに虚像を視認させる位置を変更することができる、３次元拡張現実ヘッドアップディスプレイ（３Ｄ－ＡＲ－ＨＵＤ）と呼ばれる表示装置が開示されている。このような３Ｄ－ＡＲ－ＨＵＤは、例えば車両に搭載され、車両の前方を横切る歩行者がいることを、虚像を表示することで当該車両のユーザ（ドライバ）に通知することができる。このように、３Ｄ－ＡＲ－ＨＵＤでは、ユーザに情報を通知するための虚像を表示することで、ユーザによる車両の運転を支援することができる。

【0011】

しかしながら、このような３Ｄ－ＡＲ－ＨＵＤでは、ユーザの視線方向において、当該ユーザが眼の焦点を合わせて注視している位置（以下、焦点位置とも言う）から所定距離以上離れた位置に虚像を表示する場合、ユーザは、眼の焦点を合わせるための焦点移動に時間がかかるため、表示された虚像を視認するまでに多くの時間を要してしまう。このため、ユーザは、リアルタイムに虚像による通知の支援を受けることが難しい。

【0012】

このような課題を解決するために、本開示の一態様に係る表示制御装置は、移動体に設けられ、スクリーン上に投影された画像をユーザに虚像として視認させる表示装置を制御する表示制御装置であって、前記移動体の周囲のオブジェクトの検出結果と、前記移動体から前記周囲のオブジェクトまでの距離を示す距離情報と、前記ユーザの視線方向とを取得する取得部と、前記検出結果に基づいて、前記周囲のオブジェクトのうち、前記虚像を重畳させる第一オブジェクトを決定し、前記距離情報を用いて前記移動体から前記第一オブジェクトまでの第一距離を算出する第一算出部と、前記距離情報および前記視線方向を用いて、前記移動体から、前記周囲のオブジェクトのうちの前記視線方向における第二オブジェクトまでの第二距離を算出する第二算出部と、前記虚像を前記ユーザに視認させる、奥行き方向における奥行き位置を、前記移動体から前記第一距離離れた第一位置と前記第二距離離れた第二位置との間の第三位置に決定する決定部と、決定された前記奥行き位置、かつ、前記第一オブジェクトに重なる位置において前記虚像が前記ユーザに視認されるように前記表示装置を制御する制御部と、を備える。

【0013】

これによれば、奥行き方向において、虚像を重畳させる第一オブジェクトまでの第一距離に基づく第一位置と、ユーザの視線方向にある第二オブジェクトまでの第二距離に基づく第二位置との間の位置に、虚像をユーザに視認させる奥行き位置を決定する。つまり、第一位置から第二位置に近づいた位置に奥行き位置を決定することができる。このため、ユーザの視線における焦点位置に近い位置に虚像を表示することができ、ユーザは、焦点移動にかかる時間を短縮することができる。よって、ユーザに虚像を視認させるまでの時間を短縮することができる。

【0014】

また、前記決定部は、前記第一距離と前記第二距離との差が第一閾値以上である場合、前記第一位置および前記第二位置の間の予め定められた固定位置を前記奥行き位置として決定してもよい。

【0015】

このため、第一位置が第二位置から第一閾値以上離れている場合、第一位置よりも第二位置に近い位置に虚像を表示することができる。

【0016】

また、前記決定部は、前記第一距離と前記第二距離との差が第一閾値以上である場合、固定距離だけ前記第一位置よりも前記第二位置に近い位置を前記奥行き位置として決定してもよい。

【0017】

このため、第一位置が第二位置から第一閾値以上離れている場合、第一位置を基準とした位置に虚像を表示することができる。

【0018】

また、前記決定部は、前記第一距離と前記第二距離との差が第一閾値以上である場合、前記差が大きくなるほど長い距離だけ前記第一位置よりも前記第二位置に近い位置を前記奥行き位置として決定してもよい。

【0019】

このため、第一位置が第二位置から第一閾値以上離れている場合、第一位置が第二位置から離れるほど第二位置に近づく距離が大きくなる位置に、虚像を表示することができる。

【0020】

また、前記決定部は、前記第一距離と前記第二距離との差が前記第一閾値未満である場合、前記第一位置を前記奥行き位置として決定してもよい。

【0021】

このため、第一位置が第二位置から第一閾値未満しか離れていない場合、第一位置に虚像を表示することができる。

【0022】

また、前記第一閾値は、前記第二距離が大きいほど大きい値であってもよい。

【0023】

このため、第二位置を基準とした位置に虚像を表示することができる。

【0024】

また、前記取得部は、前記検出結果と、前記距離情報と、前記視線方向とを逐次取得し、前記第一算出部は、逐次取得された前記検出結果および前記距離情報に基づいて、前記第一距離を逐次算出し、前記第二算出部は、逐次取得された前記距離情報および前記視線方向に基づいて、前記第二距離を逐次算出し、前記決定部は、逐次算出された前記第一距離および前記第二距離に基づいて、前記奥行き位置を逐次決定し、前記制御部は、逐次決定された前記奥行き位置、かつ、前記第一オブジェクトに重なる位置において前記虚像が前記ユーザに視認されるように前記表示装置を制御してもよい。

【0025】

このため、リアルタイムに虚像を表示させる奥行き位置を制御することができる。

【0026】

また、前記決定部は、第一タイミングで決定した第一奥行き位置と、前記第一タイミングより前の第二タイミングで決定した第二奥行き位置との差が第二閾値以上である場合、前記第一奥行き位置と前記第二奥行き位置との間の位置を、前記第一タイミングの奥行き位置として決定してもよい。

【0027】

このため、奥行き位置の経時的な変化が大きくならないように虚像を表示することができる。

【0028】

なお、表示装置の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

【0029】

以下、実施の形態に係る表示制御装置および表示制御方法を、図面を参照しつつ説明する。なお、以下で説明される実施の形態に係る表示装置は、包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、並びにステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0030】

（実施の形態）
［１．構成］
図１は、本実施の形態における映像表示システム１００の使用例を示す図である。

【0031】

本実施の形態における映像表示システム１００は、表示装置１０と、第一カメラ２０と、第二カメラ３０と、距離センサ４０と、表示制御装置５０とを備える。

【0032】

表示装置１０は、車載用のヘッドアップディスプレイ（ＨＵＤ）として構成され、車両３００のダッシュボード３０１の上面付近に取り付けられる。車両３００は、移動体の一例である。

【0033】

この表示装置１０は、表示媒体であるウインドシールド（フロントガラス）２０１の表示領域Ｒ１に光を投射する。投射された光はそのウインドシールド２０１によって反射される。この反射光は、表示装置１０のユーザである運転席に座るドライバの目に向かう。ドライバは、目に入ったその反射光を、ウインドシールド２０１越しに見える実際にある物を背景に、ウインドシールド２０１の反対側（車外側）に見える虚像Ｉ１として捉える。つまり、表示装置１０はウインドシールド２０１を用いて虚像Ｉ１を表示する。

【0034】

第一カメラ２０は、ドライバの顔の画像を撮像するカメラである。第一カメラ２０は、例えば、ウインドシールド２０１の上方に車両３００の後方に向かう姿勢で配置され、運転席のドライバの顔が位置する領域を撮像対象とする。第一カメラ２０は、異なる複数のタイミングでドライバの顔を含む画像を撮像する。具体的には、第一カメラ２０は、所定の周期（例えば１／２０〔秒〕、１／３０〔秒〕、１／６０〔秒〕など）で、ドライバの顔を含む画像を撮像する。なお、第一カメラ２０は、ドライバの目を含む画像を撮像していればよく、ウインドシールド２０１の上方に配置されることに限らない。

【0035】

第二カメラ３０は、車両３００の周囲の画像を撮像するカメラである。第二カメラ３０は、具体的には、車両３００の前側に前方に向かう姿勢で配置され、車両３００の前方の画像を撮像する。第二カメラ３０は、異なる複数のタイミングで車両３００の前方の画像を撮像する。具体的には、第二カメラ３０は、所定の周期（例えば１／２０〔秒〕、１／３０〔秒〕、１／６０〔秒〕など）で、車両３００の前方の画像を撮像する。なお、第二カメラ３０は、車両３００の周囲の画像を撮像すればよく、車両３００の前方に限らずに、車両３００の右側の画像を撮像してもよいし、車両３００の左側の画像を撮像してもよいし、車両３００の後方の画像を撮像してもよいし、これらの画像を組み合わせてもよい。

【0036】

第一カメラ２０および第二カメラ３０は、画像として、静止画を撮像してもよいし、動画を撮像してもよい。

【0037】

距離センサ４０は、車両３００の周囲のオブジェクトまでの距離を検出するセンサである。距離センサ４０は、例えば、車両３００の３６０度の周囲のオブジェクトまでの距離を検出するＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）である。なお、距離センサ４０は、ＬｉＤＡＲに限らずに、ミリ波センサであってもよいし、ステレオカメラであってもよいし、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラであってもよいし、。

【0038】

表示制御装置５０は、第一カメラ２０、第二カメラ３０および距離センサ４０により得られた検出結果、または、検出結果を用いた表示制御装置５０による処理結果を用いて、表示装置１０に表示させる画像を生成し、生成した画像を虚像として表示装置１０に表示させる。表示制御装置５０は、プロセッサ、および、プログラムを格納しているメモリにより構成されていてもよいし、専用回路により構成されていてもよい。

【0039】

表示装置１０は、表示制御装置５０により出力された画像を、虚像として表示する。

【0040】

図２は、本実施の形態における表示装置１０によって光が投射される領域であるＤ１の一例を示す図である。

【0041】

図２が示すように、ダッシュボード３０１に取り付けられた表示装置１０は例えば、光をウインドシールド２０１の運転席側下寄りに位置する表示領域Ｒ１（図中破線で囲まれた領域）に投射する。これにより、運転席に座るドライバから見てウインドシールド２０１の反対側（車外側）に見える虚像Ｉ１が表示される。

【0042】

図３は、本実施の形態における表示制御装置の機能構成の一例を示すブロック図である。

【0043】

表示制御装置５０は、機能構成として、取得部１０１と、第一算出部１０２と、第二算出部１０３と、決定部１０４と、制御部１０５とを備える。

【0044】

取得部１０１は、ユーザの視線方向を取得する。取得部１０１は、具体的には、第一カメラ２０において撮像された複数の画像であって、ドライバの目（眼球）が撮像された複数の画像を取得し、取得した複数の画像に対して所定の画像解析（アイトラッキング）を行うことで、ドライバの視線方向を検出する。このように、取得部１０１は、第一カメラ２０により撮像された画像を用いて、ドライバの視線方向を取得する。

【0045】

取得部１０１は、車両３００の周囲のオブジェクトの検出結果を取得する。具体的には、取得部１０１は、第二カメラ３０により撮像された画像を取得し、取得した画像を用いて所定の画像解析を行うことで、車両３００の周囲のオブジェクトを検出する。より具体的には、取得部１０１は、車両３００の前方（側方または後方）における複数の撮像動画に対して所定の動画解析を行うことで、歩行者、他の車両（自転車、バイクなどを含む）、その他の物体の当該車両に対する相対的な位置（つまり、車両３００からの距離および方向）を検出してもよい。あるいは、取得部１０１は、歩行者、他の車両（自転車、バイクなどを含む）、その他の物体の当該車両３００に対する相対的な位置と相対的な動きである運動分布を検出してもよい。

【0046】

なお、取得部１０１は、車両３００の走行経路上にある人または物体、あるいは、車両３００の走行経路上を車両３００の前方において横切ると推定される人または物体に絞り込んでもよい。また、取得部１０１は、ドライバの視野内に含まれると推定される全ての人または物体（建物、構造物などを含む）を周辺対象物として認識してもよい。

【0047】

以上のように、取得部１０１は、第二カメラ３０により撮像された画像を用いて、車両３００の周囲のオブジェクトの検出結果を取得する。

【0048】

また、取得部１０１は、距離センサ４０から、車両３００から周囲のオブジェクトまでの距離を示す距離情報を取得する。距離情報は、車両３００の周囲の複数の方向のそれぞれにおける、周囲のオブジェクトまでの距離を示す情報である。つまり、距離情報は、複数の方向にそれぞれ対応する複数の距離を示す情報である。

【0049】

なお、取得部１０１は、第一カメラ２０により撮像された画像を用いて、ドライバの視線方向を検出する処理を行うとしたが、これに限らない。ドライバの視線方向を検出する処理は、表示制御装置５０とは別の装置が行ってもよい。この場合、取得部１０１は、別の装置により検出されたドライバの視線方向を取得する。

【0050】

また、取得部１０１は、第二カメラ３０により撮像された画像を用いて、車両３００の周囲のオブジェクトを検出する処理を行うとしたが、これに限らずに、周囲のオブジェクトを検出する処理は、表示制御装置５０とは別の装置が行ってもよい。この場合、取得部１０１は、別の装置による周囲のオブジェクトの検出結果を取得する。

【0051】

第一算出部１０２は、取得部１０１により取得された、周囲のオブジェクトの検出結果に基づいて、周囲のオブジェクトのうち、虚像を重畳させる第一オブジェクトを決定する。第一算出部１０２は、例えば、車両３００の走行経路上を車両３００の前方において横切ると推定される人または物体を、虚像を重畳させる第一オブジェクトとして決定してもよい。また、第一算出部１０２は、例えば、車両３００の前方を走行している他の車両を、虚像を重畳させる第一オブジェクトとして決定してもよい。また、第一算出部１０２は、例えば、カーナビゲーションシステムなどでユーザにより設定された、車両３００の移動の目的地の建物を、虚像を重畳させる第一オブジェクトとして決定してもよい。

【0052】

そして、第一算出部１０２は、取得部１０１により取得された距離情報を用いて、車両３００から第一オブジェクトまでの第一距離を算出する。具体的には、第一算出部１０２は、第一オブジェクトを決定することで、車両３００に対する第一オブジェクトの方向を特定する。次に、第一算出部１０２は、距離情報が示す複数の方向における複数の距離の中から、特定した第一オブジェクトの方向の距離を特定することで、第一距離を算出する。

【0053】

第二算出部１０３は、距離情報および視線方向を用いて、車両３００から、周囲のオブジェクトのうちの視線方向における第二オブジェクトまでの第二距離を算出する。つまり、第二算出部１０３は、ドライバが焦点を合わせて注視していると推測される第二オブジェクトまでの第二距離を算出することで、ドライバの眼の焦点位置を推測している。これは、人は、視線方向におけるオブジェクトを注視していることが多いと考えられ、注視しているオブジェクトに対して眼の焦点を合わせていると考えられるからである。

【0054】

ここで、図４を用いて具体的に説明する。図４は、走行中の車両の一場面を示す図であり、上方から見た平面図である。図４では、車両３００を走行中に、前方右側に他の車両３２０が走行しており、前方左側に歩行者３１０が車両３００の前方を横切ろうとしている場面が図示されている。

【0055】

表示制御装置５０では、第一算出部１０２は、例えば、車両３００の前方を横切ろうとしている歩行者３１０を第一オブジェクトとして決定し、距離情報が示す複数の距離うちで、車両３００から歩行者３１０への方向である第一方向Ｄ１における距離を、車両３００から歩行者３１０までの第一距離ｄ１として算出する。

【0056】

ところで、車両３００のドライバは、車両３２０に視線を向けており車両３２０を注視している。このため、表示制御装置５０では、第二算出部１０３は、車両３２０を第二オブジェクトとして認識し、距離情報が示す複数の距離のうちで、車両３００から第二方向Ｄ２における距離を、車両３００から車両３２０までの第二距離ｄ２として算出する。

【0057】

なお、第一オブジェクトと第二オブジェクトとは、視線方向から見た場合、異なる位置に位置する。つまり、ユーザから第一オブジェクトを見た場合の第一方向Ｄ１と、ユーザから第二オブジェクトを見た場合の第二方向Ｄ２とは、異なる方向である。

【0058】

決定部１０４は、虚像Ｉ１をユーザに視認させる奥行き方向における奥行き位置を、車両３００から第一距離ｄ１離れた第一位置Ｐ１と、第二距離ｄ２離れた第二位置Ｐ２との間の第三位置Ｐ３に決定する。具体的には、決定部１０４は、第一距離ｄ１と第二距離ｄ２との差が第一閾値Δｄ１以上である場合、奥行き位置を第三位置Ｐ３に決定する。一方で、決定部１０４は、第一距離ｄ１と第二距離ｄ２との差が第一閾値Δｄ１未満である場合、第一位置Ｐ１を奥行き位置として決定する。

【0059】

なお、第二位置Ｐ２は、ドライバの位置Ｐ１１を中心とする半径が第二距離ｄ２の円ｃ１と、第一方向Ｄ１とが交差する位置に決定される。虚像Ｉ１は、第一オブジェクトに重畳して表示させるため、第三位置Ｐ３は、第一方向Ｄ１上の位置に配置される。

【0060】

図５Ａは、決定部の奥行き位置を決定する決定処理の第一の例を説明するためのグラフである。図５Ａのグラフは、第二距離を１つの値に固定した場合の、第一距離と、車両から奥行き位置までの虚像距離との関係を示す。

【0061】

第一の例では、決定部１０４は、第一距離ｄ１と第二距離ｄ２との差が第一閾値Δｄ１以上である場合、第一位置Ｐ１および第二位置Ｐ２の間の予め定められた固定位置を奥行き位置として決定する。例えば、決定部１０４は、第一距離ｄ１が第二距離ｄ２よりも第一閾値Δｄ１以上短い距離である場合、つまり、車両３００から距離ｄ１１までの間に第一オブジェクトが位置する場合、虚像Ｉ１を表示する奥行き方向の位置を、車両３００から距離ｄ１１だけ離れた位置に決定する。なお、距離ｄ１１は、例えば、第二距離ｄ２よりも第一閾値Δｄ１だけ短い距離である。

【0062】

図５Ｂは、決定部の奥行き位置を決定する決定処理の第二の例を説明するためのグラフである。図５Ｂのグラフは、図５Ａのグラフと同様に、第二距離を１つの値に固定した場合の、第一距離と、車両から奥行き位置までの虚像距離との関係を示す。

【0063】

第二の例では、決定部１０４は、第一距離ｄ１と第二距離ｄ２との差が第一閾値Δｄ１以上である場合、固定距離Δｄ２だけ第一位置Ｐ１よりも第二位置Ｐ２に近い位置を奥行き位置として決定する。例えば、決定部１０４は、第一距離ｄ１が第二距離ｄ２よりも第一閾値Δｄ１以上短い距離である場合、つまり、車両３００から距離ｄ１１までの間に第一オブジェクトが位置する場合、虚像Ｉ１を表示する奥行き方向の位置を、車両３００から、第一距離ｄ１に固定距離Δｄ２を加算した距離だけ離れた位置に決定する。なお、第一距離ｄ１に固定距離Δｄ２を加算した距離が、第二距離ｄ２よりも第一閾値Δｄ１だけ短い距離ｄ１１である場合、決定部１０４は、車両３００から距離ｄ１１だけ離れた位置を、虚像Ｉ１を表示する奥行き方向の位置として決定する。

【0064】

図５Ｃは、決定部の奥行き位置を決定する決定処理の第三の例を説明するためのグラフである。図５Ｃのグラフは、図５Ａおよび図５Ｂのグラフと同様に、第二距離を１つの値に固定した場合の、第一距離と、車両から奥行き位置までの虚像距離との関係を示す。

【0065】

第三の例では、決定部１０４は、第一距離ｄ１と第二距離ｄ２との差が第一閾値Δｄ１以上である場合、当該差が大きくなるほど長い距離だけ第一位置Ｐ１よりも第二位置Ｐ２に近い位置を奥行き位置として決定する。例えば、決定部１０４は、第一距離ｄ１が第二距離ｄ２よりも第一閾値Δｄ１以上短い距離である場合、つまり、車両３００から距離ｄ１１までの間に第一オブジェクトが位置する場合、虚像Ｉ１を表示する奥行き方向の位置を、車両３００から、第一距離ｄ１に、第一距離ｄ１が短くなるほど大きくなる距離Δｄ３を加算した距離だけ離れた位置に決定する。

【0066】

なお、例えば、第一距離および奥行き位置の関係を示す関係情報は、第二距離毎に異なっており、図示しないメモリは、第二距離毎に異なる複数の関係情報を記憶していてもよい。この場合、決定部１０４は、第二算出部１０３により算出された第二距離ｄ２に応じて、算出された第二距離ｄ２に対応する関係情報をメモリから読み出して、読み出した関係情報を用いて奥行き位置を決定する。例えば、複数の関係情報では、第一閾値Δｄ１は、第二距離が大きいほど大きい値に設定されている。

【0067】

制御部１０５は、決定部１０４により決定された奥行き位置、かつ、第一オブジェクトに重なる位置において虚像Ｉ１がユーザに視認されるように表示装置１０を制御する。具体的には、制御部１０５は、虚像Ｉ１を表示させるための画像と、虚像Ｉ１を表示させる位置を示す位置情報とを表示装置１０に出力し、虚像Ｉ１を位置情報で示される位置に表示させるように表示装置１０を制御する。なお、虚像Ｉ１を表示させる位置は、第一オブジェクトと重なる位置、および、奥行き位置を含む。虚像Ｉ１は、例えば、図６に示されるように歩行者３１０に重畳されて表示される。なお、図６は、ドライバからの虚像Ｉ１の見え方を説明するための図である。

【0068】

表示装置１０は、制御部１０５により出力された、画像および位置情報に基づいて、画像に基づく虚像Ｉ１を、位置情報で示される位置に表示する。これにより、表示装置１０は、虚像Ｉ１を位置情報で示される位置でユーザに視認させることができる。

【0069】

［２．動作］
次に、表示制御装置５０の動作について説明する。

【0070】

図７は、本実施の形態における表示制御装置の動作を説明するためのフローチャートである。

【0071】

図７に示されるように、表示制御装置５０では、まず、取得部１０１が、車両３００の周囲のオブジェクトの検出結果、車両３００から周囲のオブジェクトまでの距離を示す距離情報、および、ドライバの視線方向を取得する（Ｓ１１）。なお、取得部１０１は、周囲のオブジェクトの検出結果、距離情報および視線方向を同時に取得しなくてもよく、それぞれを異なるタイミングで取得してもよい。

【0072】

次に、第一算出部１０２は、周囲のオブジェクトの検出結果に基づいて、周囲のオブジェクトのうち、虚像Ｉ１を重畳させる第一オブジェクトを決定し、距離情報を用いて車両３００から第一オブジェクトまでの第一距離を算出する（Ｓ１２）。

【0073】

次に、第二算出部１０３は、距離情報および視線方向を用いて、車両３００から、周囲のオブジェクトのうちの視線方向における第二オブジェクトまでの第二距離を算出する（Ｓ１３）。

【0074】

次に、決定部１０４は、虚像Ｉ１をユーザに視認させる奥行き方向における奥行き位置を、算出された第一距離ｄ１および第二距離ｄ２に応じて決定する（Ｓ１４）。具体的には、決定部１０４は、第二距離ｄ２に応じた関係情報をメモリから読み出して、第一距離ｄ１が読み出した関係情報で対応付けられている虚像距離を特定し、車両３００から、特定した虚像距離だけ離れた位置を奥行き位置として決定する。

【0075】

次に、制御部１０５は、決定部１０４により決定された奥行き位置、かつ、第一オブジェクトに重なる位置において虚像Ｉ１がユーザに視認されるように表示装置１０を制御することで、虚像Ｉ１を表示装置１０に表示する（Ｓ１５）。

【0076】

ステップＳ１５が終わると、ステップＳ１１に戻り、ステップＳ１１～Ｓ１５の処理が繰り返し行われる。

【0077】

つまり、取得部１０１は、車両３００の周囲のオブジェクトの検出結果、車両３００から周囲のオブジェクトまでの距離を示す距離情報、および、ドライバの視線方向を逐次取得する。第一算出部１０２は、逐次取得された検出結果および距離情報に基づいて、第一距離ｄ１を逐次算出する。第二算出部１０３は、逐次取得された距離情報および視線方向に基づいて、第二距離ｄ２を逐次算出する。決定部１０４は、逐次算出された第一距離ｄ１および第二距離ｄ２に基づいて、奥行き位置を逐次決定する。制御部１０５は、逐次決定された奥行き位置、かつ、第一オブジェクトに重なる位置において虚像Ｉ１がユーザに視認されるように表示装置１０を制御する。これにより、虚像Ｉ１を表示させる奥行き位置をリアルタイムに制御することができる。

【0078】

この場合、決定部１０４は、ステップＳ１４の代わりに図８に示す処理を行ってもよい。

【0079】

図８は、決定部による決定処理の他の一例を示すフローチャートである。

【0080】

決定部１０４は、ステップＳ１４で説明した処理と同様に、虚像Ｉ１をユーザに視認させる奥行き方向における奥行き位置を、算出された第一距離ｄ１および第二距離ｄ２に応じて決定する（Ｓ２１）。

【0081】

次に、決定部１０４は、メモリから前回決定した奥行き位置を読み出して、前回決定した奥行き位置と、ステップＳ２１で決定した奥行き位置との差が第二閾値Δｄ４以上であるか否かを判定する（Ｓ２２）。

【0082】

決定部１０４は、当該差が第二閾値Δｄ４以上である場合（Ｓ２２でＹｅｓ）、前回決定した奥行き位置と、ステップＳ２１で決定した奥行き位置との間の位置を、奥行き位置として決定する補正を行う（Ｓ２３）。

【0083】

決定部１０４は、ステップＳ２３が行われた場合には補正された奥行き位置を制御部１０５に出力し、かつ、メモリに記憶する。また、決定部１０４は、ステップＳ２３が行われていない場合には補正されていないステップＳ２１で決定された奥行き位置を制御部１０５に出力し、かつ、メモリに記憶する（Ｓ２４）。

【0084】

このように、決定部１０４は、第一タイミングで決定した第一奥行き位置と、第一タイミングより前の第二タイミングで決定した第二奥行き位置との差が第二閾値Δｄ４以上である場合、第一奥行き位置と第二奥行き位置との間の位置を、第一タイミングの奥行き位置として決定する。このため、奥行き位置の経時的な変化が大きくならないように虚像Ｉ１を表示することができる。

【0085】

［３．効果など］
本実施の形態に係る表示制御装置５０は、車両３００に設けられ、スクリーン上に投影された画像をユーザに虚像Ｉ１として認識させる表示装置１０を制御する。表示制御装置５０は、取得部１０１と、第一算出部１０２と、第二算出部１０３と、決定部１０４と、制御部１０５とを備える。取得部１０１は、車両３００の周囲のオブジェクトの検出結果と、車両から周囲のオブジェクトまでの距離を示す距離情報と、ユーザの視線方向とを取得する。第一算出部１０２は、検出結果に基づいて、周囲のオブジェクトのうち、虚像Ｉ１を重畳させる第一オブジェクトを決定し、距離情報を用いて車両３００から第一オブジェクトまでの第一距離ｄ１を算出する。第二算出部１０３は、距離情報および視線方向を用いて、車両３００から、周囲のオブジェクトのうちの視線方向における第二オブジェクトまでの第二距離ｄ２を算出する。決定部１０４は、虚像Ｉ１をユーザに視認させる奥行き方向における奥行き位置を、車両３００から第一距離ｄ１離れた第一位置Ｐ１と、第二距離ｄ２離れた第二位置Ｐ２との間の第三位置Ｐ３に決定する。制御部１０５は、決定された奥行き位置、かつ、第一オブジェクトに重なる位置において虚像Ｉ１がユーザに視認されるように表示装置１０を制御する。

【0086】

これによれば、奥行き方向において、虚像Ｉ１を重畳させる第一オブジェクトまでの第一距離ｄ１に基づく第一位置Ｐ１と、ユーザの視線方向にある第二オブジェクトまでの第二距離ｄ２に基づく第二位置Ｐ２との間の位置に、虚像Ｉ１をユーザに視認させる奥行き位置を決定する。つまり、第一位置Ｐ１から第二位置Ｐ２に近づいた位置に奥行き位置を決定することができる。このため、ユーザの視線における焦点位置に近い位置に虚像Ｉ１を表示することができ、ユーザは、焦点移動にかかる時間を短縮することができる。よって、ユーザに虚像Ｉ１を視認させるまでの時間を短縮することができる。

【0087】

また、本実施の形態に係る表示制御装置５０において、決定部１０４は、第一距離ｄ１と第二距離ｄ２との差が第一閾値Δｄ１以上である場合、第一位置Ｐ１および第二位置Ｐ２の間の予め定められた固定位置を奥行き位置として決定する。

【0088】

このため、第一位置Ｐ１が第二位置Ｐ２から第一閾値Δｄ１以上離れている場合、第一位置Ｐ１よりも第二位置Ｐ２に近い位置に虚像Ｉ１を表示することができる。

【0089】

また、本実施の形態に係る表示制御装置５０において、決定部１０４は、第一距離ｄ１と第二距離ｄ２との差が第一閾値Δｄ１以上である場合、固定距離Δｄ２だけ第一位置Ｐ１よりも第二位置Ｐ２に近い位置を奥行き位置として決定する。

【0090】

このため、第一位置Ｐ１が第二位置Ｐ２から第一閾値Δｄ１以上離れている場合、第一位置Ｐ１を基準とした位置に虚像Ｉ１を表示することができる。

【0091】

また、本実施の形態に係る表示制御装置５０において、決定部１０４は、第一距離ｄ１と第二距離ｄ２との差が第一閾値Δｄ１以上である場合、当該差が大きくなるほど長い距離だけ第一位置Ｐ１よりも第二位置Ｐ２に近い位置を奥行き位置として決定する。

【0092】

このため、第一位置Ｐ１が第二位置Ｐ２から第一閾値Δｄ１以上離れている場合、第一位置Ｐ１が第二位置Ｐ２から離れるほど第二位置Ｐ２に近づく距離が大きくなる位置に、虚像Ｉ１を表示することができる。

【0093】

また、本実施の形態に係る表示制御装置５０において、決定部１０４は、第一距離ｄ１と第二距離ｄ２との差が第一閾値Δｄ１未満である場合、第一位置Ｐ１を奥行き位置として決定する。

【0094】

このため、第一位置Ｐ１が第二位置Ｐ２から第一閾値Δｄ１未満しか離れていない場合、第一位置Ｐ１に虚像Ｉ１を表示することができる。

【0095】

また、本実施の形態に係る表示制御装置５０において、第一閾値Δｄ１は、第二距離ｄ２が大きいほど大きい値である。このため、第二位置Ｐ２を基準とした位置に虚像Ｉ１を表示することができる。

【0096】

［４．変形例］
上記実施の形態に係る表示制御装置５０では、決定部１０４は、第一距離ｄ１が第二距離ｄ２よりも第一閾値Δｄ１以上短い距離である場合、奥行き位置を第一位置Ｐ１と第二位置Ｐ２との間の第三位置Ｐ３に決定するとしたが、第一距離ｄ１が第二距離ｄ２よりも第一閾値Δｄ１以上短い距離である場合に限らない。決定部１０４は、さらに、第一距離ｄ１が第二距離ｄ２よりも第一閾値Δｄ１以上長い距離である場合、奥行き位置を第一位置Ｐ１と第二位置Ｐ２との間の第三位置Ｐ３に決定してもよい。このように、第一オブジェクトが第二オブジェクトよりも車両３００から遠い位置にある場合であっても、虚像Ｉ１を表示させる位置を第二オブジェクトの位置を基準とした第二位置Ｐ２に近づけるように調整してもよい。また、決定部１０４は、第一距離ｄ１が第二距離ｄ２よりも第一閾値Δｄ１以上長い距離である場合のみに、奥行き位置を第一位置Ｐ１と第二位置Ｐ２との間の第三位置Ｐ３に決定してもよい。

【0097】

上記実施の形態に係る表示制御装置５０では、決定部１０４は、第一距離ｄ１と第二距離ｄ２との差が第一閾値Δｄ１以上である場合、第一オブジェクトに重畳させる虚像Ｉ１の奥行き位置を、車両３００から第一位置Ｐ１と第二位置Ｐ２との間の第三位置Ｐ３に決定するとしたが、これに限らない。決定部１０４は、上記の決定処理を、第一オブジェクトが車両３００に脅威を与えるオブジェクトである場合のみに、行ってもよい。このように、決定部１０４は、上記の決定処理を第一オブジェクトの種類が特定の種類である場合のみに、行ってもよい。車両３００に脅威を与えるオブジェクトとは、例えば、車両３００の走行経路上を車両３００の前方において横切ると推定される人または物体である。また、決定部１０４は、上記の決定処理を、第一オブジェクトの位置Ｐ１が危険な場所上にある場合のみに、行ってもよい。危険な場所は、例えば、事故が発生する可能性がある道路上の一部の領域、車両３００の進行方向上の領域などである。

【0098】

上記実施の形態に係る表示装置１０は、移動体の一例として車両３００に設けられるとしたが、これに限らずに、他の乗り物に設けられてもよい。また、移動体は、人であってもよい。移動体が人である場合、表示装置１０は、例えば、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってもよい。この場合、ＨＭＤは、映像表示システム１００を備える。第一カメラ２０は、ＨＭＤを装着している人の顔の画像を撮像する。第二カメラ３０は、ＨＭＤを装着している人の周囲の画像を撮像する。距離センサ４０は、ＨＭＤを装着している人の周囲のオブジェクトまでの距離を検出する。

【0099】

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の表示制御装置５０などを実現するソフトウェアは、次のようなプログラムである。

【0100】

すなわち、このプログラムは、コンピュータに、移動体に設けられ、スクリーン上に投影された画像をユーザに虚像として視認させる表示装置を制御する表示制御方法であって、前記移動体の周囲のオブジェクトの検出結果を取得し、前記移動体から前記周囲のオブジェクトまでの距離を示す距離情報を取得し、前記ユーザの視線方向を取得し、前記検出結果に基づいて、前記周囲のオブジェクトのうち、前記虚像を重畳させる第一オブジェクトを決定し、前記距離情報を用いて前記移動体から前記第一オブジェクトまでの第一距離を算出し、前記距離情報および前記視線方向を用いて、前記移動体から、前記周囲のオブジェクトのうちの前記視線方向における第二オブジェクトまでの第二距離を算出し、前記虚像を前記ユーザに視認させる奥行き方向における奥行き位置を、前記移動体から前記第一距離離れた第一位置と、前記第二距離離れた第二位置との間の第三位置に決定し、決定された前記奥行き位置、かつ、前記第一オブジェクトに重なる位置において前記虚像が前記ユーザに視認されるように前記表示装置を制御する表示制御方法を実行させる。

【0101】

以上、本発明の一つまたは複数の態様に係る表示制御装置および表示制御方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0102】

本開示は、ユーザに虚像を視認させるまでの時間を短縮することができる表示制御装置などとして有用である。

【符号の説明】

【0103】

１０ 表示装置
２０ 第一カメラ
３０ 第二カメラ
４０ 距離センサ
５０ 表示制御装置
１００ 映像表示システム
１０１ 取得部
１０２ 第一算出部
１０３ 第二算出部
１０４ 決定部
１０５ 制御部
２０１ ウインドシールド
３０１ ダッシュボード

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】