特開 2024-11773 仮想画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024011773

(43)【公開日】2024-01-25

(54)【発明の名称】仮想画像表示装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240118BHJP

【ＦＩ】

G08G1/16 C

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022114034

(22)【出願日】2022-07-15

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(72)【発明者】

【氏名】妹尾 俊明

(72)【発明者】

【氏名】樋口 実

(72)【発明者】

【氏名】村上 真一

(72)【発明者】

【氏名】団 功司

(72)【発明者】

【氏名】飯高 良

(72)【発明者】

【氏名】山崎 貴也

(72)【発明者】

【氏名】佐々木 文

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF05

5H181FF22

5H181FF27

5H181FF32

5H181FF33

5H181FF40

5H181LL01

5H181LL04

5H181LL08

(57)【要約】

【課題】遠方に存在する物標の距離感を把握し易い仮想画像を表示させることができる仮想画像表示装置を提供すること。
【解決手段】仮想画像表示装置は、物標の進行方向距離及び幅方向距離を取得する周囲状態認識部と、表示画面５１内に物標アイコン画像Ｉ１，Ｉ２を表示させる表示制御部と、を備える。表示制御部は、物標アイコン画像Ｉ１，Ｉ２の表示位置を幅方向距離が長くなるほど表示画面５１内の横基準線Ｌ１から画面横方向に沿って遠ざけかつ進行方向距離が長くなるほど横基準線Ｌ１へ画面横方向に沿って近づけるとともに、表示位置を進行方向距離が長くなるほど画面下端線Ｌ２から画面縦方向に沿って遠ざける通常表示モードの下での画像表示と、進行方向距離に対する画面下端線Ｌ２と表示位置との間の画面縦方向に沿った距離の比である縦縮尺を通常表示モードよりも大きくする拡大表示モードの下での画像表示と、を切替可能である。
【選択図】図４

【特許請求の範囲】

【請求項1】

人である利用者又は当該利用者とともに移動する移動体を基準として定められた視点から指向方向側に存在する交通参加者を物標として認識し、当該物標に関する物標画像を、前記利用者が視認可能な表示画面に遠近感を生じさせる態様で表示する仮想画像表示装置であって、
前記視点の周囲の状態に関する周囲状態情報を取得し、当該周囲状態情報に基づいて前記視点から前記物標までの前記指向方向に沿った指向方向距離に関する情報及び前記視点から前記物標までの前記指向方向と直交する幅方向に沿った幅方向距離に関する情報を含む物標位置情報を取得する周囲状態認識部と、
前記物標位置情報に基づいて定めた前記表示画面内の表示位置に前記物標画像を表示させる表示制御部と、を備え、
前記表示制御部は、
前記表示位置を前記幅方向距離が長くなるほど前記表示画面内の横基準から横方向に沿って遠ざけかつ前記指向方向距離が長くなるほど前記横基準へ前記横方向に沿って近づけるとともに、前記表示位置を前記指向方向距離が長くなるほど前記表示画面の下端から縦方向に沿って遠ざける通常表示モードの下での画像表示と、
前記指向方向距離に対する前記下端と前記表示位置との間の前記縦方向に沿った距離の比である縦縮尺を前記通常表示モードよりも大きくする拡大表示モードの下での画像表示と、を切替可能であることを特徴とする仮想画像表示装置。

【請求項2】

前記指向方向距離が距離閾値以下である近距離物標に対する前記縦縮尺は、前記通常表示モードと前記拡大表示モードとで等しいことを特徴とする請求項１に記載の仮想画像表示装置。

【請求項3】

前記表示制御部は、前記周囲状態情報に基づいて前記通常表示モードの下での画像表示と前記拡大表示モードの下での画像表示とを切り替えることを特徴とする請求項１又は２に記載の仮想画像表示装置。

【請求項4】

前記表示制御部は、前記周囲状態情報に基づいて、所定時間内に所定数以上の前記物標を認識した場合、前記物標の密度が所定値以上の領域を認識した場合、前記視点から前記指向方向側に特定施設又は特定設備が存在することを認識した場合、又は前記視点から前記指向方向側に特定形態の道路が存在することを認識した場合、前記拡大表示モードの下での画像表示を行うことを特徴とする請求項３に記載の仮想画像表示装置。

【請求項5】

前記移動体の運転者である前記利用者の視線又は顔の向きである視線方向を取得する視線方向取得部をさらに備え、
前記表示制御部は、前記視線方向上に前記物標が存在する場合、前記拡大表示モードの下での画像表示を行うことを特徴とする請求項１又は２に記載の仮想画像表示装置。

【請求項6】

前記表示制御部は、前記視点から前記指向方向側において第１物標及び第２物標が認識されている場合でありかつ前記第１物標と前記第２物標との間の前記指向方向に沿った間隔が間隔閾値以下である場合、前記拡大表示モードの下での画像表示を行うことを特徴とする請求項１又は２に記載の仮想画像表示装置。

【請求項7】

前記表示制御部は、前記拡大表示モードの下で複数の前記物標画像を前記表示画面に表示させる場合、前記物標毎に関連付けられた物標関連情報を前記物標画像の近傍に表示させることを特徴とする請求項１又は２に記載の仮想画像表示装置。

【請求項8】

前記物標関連情報は、前記物標の位置情報、移動方向情報、移動速度情報、及び種別情報の少なくとも何れかを含むことを特徴とする請求項７に記載の仮想画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想画像表示装置に関する。より詳しくは、人である利用者又はこの利用者とともに移動する移動体を基準として定められた視点から指向方向側に存在する物標に関する物標画像を、利用者が視認可能な表示画面に遠近感を生じさせる態様で表示する仮想画像表示装置に関する。

【背景技術】

【0002】

近年、交通の安全性を向上させるため、安全な運転を支援するために有益な仮想画像を、運転中の運転者が視認可能なモニタに表示させる仮想画像表示装置が提案されている。例えば特許文献１に示された装置では、車両前方側における左右方向の死角に関する仮想画像をモニタに表示させている。これにより運転中の運転者は、前方に死角が存在する場合、このモニタを視認することによって死角から自車の前方に現れる可能性がある車両の存在を認識することができるので、交通の安全性を向上することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－２２６９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで一般的な仮想画像表示装置では、運転者が、自身の目で直接視認することができる風景とモニタに表示される仮想画像とを速やかに照らし合わせることができるようにするため、視る者に遠近感を生じさせるような態様の仮想画像をモニタに表示させる場合が多い。

【0005】

しかしながら遠近法に基づいて描画される仮想画像では、対象とする物標画像の大きさは、自車から奥行方向（すなわち、進行方向）に沿った距離が長くなるにつれて小さくなる。また物標画像の表示位置は、自車から奥行方向に沿った距離が長くなるにつれて消失点へ漸近的に近づいてしまう。このため遠近法に基づいて描画される仮想画像では、例えば自車から遠方に複数の物標が存在する場合、これら遠方の物標間の距離（特に、奥行方向に沿った距離）を運転者が認識しにくい、という課題がある。

【0006】

本発明は、遠方に存在する物標の距離感を把握し易い画像を表示させることができる仮想画像表示装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

（１）本発明に係る仮想画像表示装置（例えば、後述の仮想画像表示装置１）は、人である利用者又は当該利用者とともに移動する移動体を基準として定められた視点（例えば、後述の視点９５）から指向方向側に存在する交通参加者を物標として認識し、当該物標に関する物標画像（例えば、後述の物標アイコン画像Ｉ１，Ｉ２）を、前記利用者が視認可能な表示画面（例えば、後述の表示画面５１）に遠近感を生じさせる態様で表示するものであって、前記視点の周囲の状態に関する周囲状態情報を取得し、当該周囲状態情報に基づいて前記視点から前記物標までの前記指向方向に沿った指向方向距離に関する情報及び前記視点から前記物標までの前記指向方向と直交する幅方向に沿った幅方向距離に関する情報を含む物標位置情報を取得する周囲状態認識部（例えば、後述の周囲状態認識部６）と、前記物標位置情報に基づいて定めた前記表示画面内の表示位置に前記物標画像を表示させる表示制御部（例えば、後述の表示制御部８）と、を備え、前記表示制御部は、前記表示位置を前記幅方向距離が長くなるほど前記表示画面内の横基準（例えば、後述の横基準線Ｌ１）から横方向に沿って遠ざけかつ前記指向方向距離が長くなるほど前記横基準へ前記横方向に沿って近づけるとともに、前記表示位置を前記指向方向距離が長くなるほど前記表示画面の下端（例えば、後述の画面下端線Ｌ２）から縦方向に沿って遠ざける通常表示モードの下での画像表示と、前記指向方向距離に対する前記下端と前記表示位置との間の前記縦方向に沿った距離の比である縦縮尺を前記通常表示モードよりも大きくする拡大表示モードの下での画像表示と、を切替可能であることを特徴とする。

【0008】

（２）この場合、前記指向方向距離が距離閾値以下である近距離物標に対する前記縦縮尺は、前記通常表示モードと前記拡大表示モードとで等しいことが好ましい。

【0009】

（３）この場合、前記表示制御部は、前記周囲状態情報に基づいて前記通常表示モードの下での画像表示と前記拡大表示モードの下での画像表示とを切り替えることが好ましい。

【0010】

（４）この場合、前記表示制御部は、前記周囲状態情報に基づいて、所定時間内に所定数以上の前記物標を認識した場合、前記物標の密度が所定値以上の領域を認識した場合、前記視点から前記指向方向側に特定施設又は特定設備が存在することを認識した場合、又は前記視点から前記指向方向側に特定形態の道路が存在することを認識した場合、前記拡大表示モードの下での画像表示を行うことが好ましい。

【0011】

（５）この場合、前記仮想画像表示装置は、前記移動体の運転者である前記利用者の視線又は顔の向きである視線方向を取得する視線方向取得部をさらに備え、前記表示制御部は、前記視線方向上に前記物標が存在する場合、前記拡大表示モードの下での画像表示を行うことが好ましい。

【0012】

（６）この場合、前記表示制御部は、前記視点から前記指向方向側において第１物標及び第２物標が認識されている場合でありかつ前記第１物標と前記第２物標との間の前記指向方向に沿った間隔が間隔閾値以下である場合、前記拡大表示モードの下での画像表示を行うことが好ましい。

【0013】

（７）この場合、前記表示制御部は、前記拡大表示モードの下で複数の前記物標画像を前記表示画面に表示させる場合、前記物標毎に関連付けられた物標関連情報を前記物標画像の近傍に表示させることが好ましい。

【0014】

（８）この場合、前記物標関連情報は、前記物標の位置情報、移動方向情報、移動速度情報、及び種別情報の少なくとも何れかを含むことが好ましい。

【発明の効果】

【0015】

（１）本発明において、周囲状態認識部は、視点から指向方向側に存在する交通参加者を物標として認識し、視点からこの物標までの指向方向距離及び視点から物標までの幅方向距離に関する情報を含む物標位置情報を取得する。表示制御部は、物標位置情報に基づいて定めた表示画面内の表示位置に物標画像を表示させることにより、視る者に遠近感を生じさせる態様の画像を表示画面に表示させる。また表示制御部は、表示位置を幅方向距離が長くなるほど表示画面内の横基準から横方向に沿って遠ざけかつ指向方向距離が長くなるほど横基準へ横方向に沿って近づけるとともに、表示位置を指向方向距離が長くなるほど表示画面の下端から縦方向に沿って遠ざける通常表示モードでの画像表示（すなわち、遠近法に基づく画像表示）と、指向方向距離に対する下端と表示位置との間の縦方向に沿った表示画面での距離の比である縦縮尺を通常表示モードよりも大きくする拡大表示モードの下での画像表示と、を切替可能である。このように拡大表示モードの下では、縦縮尺を通常表示モードよりも大きくすることにより、例えば遠方に２つの物標が存在する場合、これら２つの物標の物標画像は、表示画面内において通常表示モードよりも縦方向へ離れて表示される。よって本発明によれば、このような拡大表示モードの下での画像表示を行うことにより、遠方に存在する物標の距離感を利用者に容易に把握させることができる。

【0016】

（２）上述のように縦縮尺を大きくすることにより、利用者は、視点から遠方に存在する物標の距離感を容易に把握できるものの、視点から近い位置に存在する物標の距離感は把握し難い。これに対し本発明では、指向方向距離が距離閾値以下である近距離物標に対する縦縮尺は、通常表示モードと拡大表示モードとで等しくすることにより、利用者は、視点から遠方に存在する物標及び視点から近い位置に存在する物標の距離感を共に容易に把握することができる。

【0017】

（３）本発明において、表示制御部は、視点の周囲の状態に関する周囲状態情報に基づいて通常表示モードの下での画像表示と拡大表示モードの下での画像表示とを切り替える。よって本発明によれば、視点の周囲の状態の変化に応じて適切なタイミングで通常表示モードと拡大表示モードとを切り替えることができる。

【0018】

（４）本発明において、表示制御部は、周囲状態情報に基づいて、所定時間内に所定数以上の物標を認識した場合、物標の密度が所定値以上の領域を認識した場合、視点から指向方向側に特定施設又は特定設備が存在することを認識した場合、又は視点から指向方向側に特定形態の道路が存在することを認識した場合、拡大表示モードの下での画像表示を行う。よって本発明によれば、指向方向側に既に多くの物標が存在する場合や、指向方向側に多くの物標が現れると予測される場合、拡大表示モードの下での画像表示を行うことにより、利用者に対しこれら複数の物標の間の距離を容易に把握させることができる。

【0019】

（５）本発明では、視線方向取得部は、移動体の運転者である利用者の視線又は顔の向きである視線方向を取得し、表示制御部は、視線方向上に物標が存在する場合、すなわち利用者が物標を注視している場合、拡大表示モードの下での画像表示を行う。これにより利用者は、注視する物標の距離感を容易に把握することができる。

【0020】

（６）本発明では、表示制御部は、視点から指向方向側において第１及び第２物標が認識されている場合でありかつ第１及び第２物標の間の指向方向に沿った間隔が間隔閾値以下である場合、拡大表示モードの下での画像表示を行う。これにより、通常表示モードの下では２つの物標画像が重なってしまうような場合には、拡大表示モードの下で画像表示を行うことにより、これら２つの物標画像が重ならないようにすることができる。

【0021】

（７）本発明では、表示制御部は、拡大表示モードの下での複数の物標画像を表示画面に表示させる場合、物標毎に関連付けられた物標関連情報を物標画像の近傍に表示させることにより、視る者に乱雑さを感じさせないようにしながら多くの情報を表示画面に表示させることができる。

【0022】

（８）本発明において、物標関連情報は、物標の位置情報、移動方向情報、移動速度情報、及び種別情報の少なくとも何れかを含む。よって本発明によれば、物標の位置、移動方向、移動速度、及び種別等、物標画像だけでは把握し難い情報も速やかに認識することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係る仮想画像表示装置及びこの仮想画像表示装置が搭載された自動車の構成を模式的に示す図である。

【図2】片側３車線の道路を走行中の車両を上方から視た平面図である。

【図3】図２に示す状況において表示制御部が通常表示モードの下で画像表示を行った場合に、表示画面に表示される仮想画像の一例を示す図である。

【図4】図２に示す状況において表示制御部が拡大表示モードの下で画像表示を行った場合に、表示画面に表示される仮想画像の一例を示す図である。

【図5】縦縮尺を通常表示モードと拡大表示モードとで比較した図である。

【図6】表示制御部において仮想画像を表示する手順を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、本発明の一実施形態に係る仮想画像表示装置について図面を参照しながら説明する。

【0025】

図１は、本実施形態に係る仮想画像表示装置１及びこの仮想画像表示装置１が搭載された車両Ｖの構成を模式的に示す図である。

【0026】

仮想画像表示装置１は、人である利用者又はこの利用者とともに移動する移動体を基準として定められた視点から指向方向（利用者を基準として視点を定めた場合、利用者の視線や顔の向きであり、移動体を基準として視点を定めた場合、移動体の進行方向）側に存在する交通参加者（歩行者、及び移動体等）を物標として認識し、この物標と関連付けられた物標画像を、利用者が視認可能な位置に設けられたディスプレイ５の表示画面５１に遠近感を生じさせる態様で表示することにより、利用者による物標の認識を支援するためのものである。なお以下では、自動車の運転者を利用者とし、仮想画像表示装置１を四輪自動車である車両Ｖに搭載した場合について説明するが、本発明はこれに限らない。本発明は、トラック、鞍乗型車両、及び自転車等の四輪自動車以外の移動体の運転者を利用者とし、これら移動体に仮想画像表示装置を搭載してもよい。また移動体のうち特に鞍乗型車両に搭載する場合、仮想画像表示装置は、利用者であるライダが装着するヘルメットに搭載してもよい。また歩行者を利用者とし、仮想画像表示装置を歩行者が装着可能なウェアラブルデバイス（例えば、眼鏡型、時計型等）としてもよい。

【0027】

車両Ｖは、進行方向前方の情報を取得する外部センサユニット２と、ナビゲーション装置３と、室内カメラユニット４と、表示画面５１に運転者による安全な運転を支援するための仮想画像を表示する仮想画像表示装置１と、を備える。

【0028】

外部センサユニット２は、前方カメラユニット２１、及び前方レーダユニット２２等によって構成される。

【0029】

前方カメラユニット２１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子を利用したデジタルカメラを備える。この前方カメラユニット２１は、進行方向前方側へ向けた状態で、例えば車両Ｖのルーフの車室内側のうちフロントウィンドウ寄りの位置に取り付けられている。前方レーダユニット２２は、ミリ波照射に対する対象物からの反射波を測定することにより、対象を検出するミリ波レーダを備える。前方レーダユニット２２は、進行方向前方側へ向けた状態で、例えば車両Ｖのフロントバンパに取り付けられている。

【0030】

ナビゲーション装置３は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｉｔｅ Ｓｙｓｔｅｍ）衛星から受信した信号に基づいて自車の現在位置を特定するＧＮＳＳ受信機や、地図情報を記憶する記憶装置等を備える。ここで地図情報には、道路標識に関する情報も含まれる。ナビゲーション装置５は、自車の現在位置に関する情報を現在位置の地図情報とともに仮想画像表示装置１へ送信する。

【0031】

室内カメラユニット４は、例えば、上述のような固体撮像素子を利用したデジタルカメラを備える。この室内カメラユニット４は、運転席に着座する運転者の顔へ向けた状態で車室内に設けられている。室内カメラユニット４によって撮影された運転者の画像は、仮想画像表示装置１へ送信される。

【0032】

仮想画像表示装置１は、運転中の運転者が視認可能な位置に設けられたディスプレイ５と、外部センサユニット２やナビゲーション装置３によって取得される車両Ｖの周囲の状態に関する周囲状態情報を取得し、車両Ｖの周囲の状態を認識する周囲状態認識部６と、室内カメラユニット４から送信される画像に基づいて運転者の視線又は顔の向きである視線方向を取得する視線方向取得部７と、周囲状態認識部６による認識結果に基づいて生成した車両Ｖの進行方向前方に関する仮想画像をディスプレイ５の表示画面５１に表示する表示制御部８と、を備える。

【0033】

本実施形態では、表示制御部８は、運転席の正面に設けられたディスプレイ５の表示画面５１に仮想画像を表示する場合について説明するが、本発明はこれに限らない。表示制御部８は、ヘッドアップディスプレイを利用することによって、フロントガラスの一部を表示画面として仮想画像を表示してもよい。

【0034】

周囲状態認識部６は、外部センサユニット２やナビゲーション装置３から取得した周囲状態情報に基づいて、車両Ｖに対して定められた視点から進行方向前方側に存在する１以上の交通参加者を物標として認識するとともに、各物標の物標位置情報及び物標関連情報を取得する。また物標位置情報は、視点から物標までの進行方向に沿った進行方向距離に関する情報及び視点から物標までの進行方向と直交する幅方向に沿った幅方向距離に関する情報を含む。また物標関連情報は、物標の位置情報、移動方向情報、移動速度情報、及び種別情報の少なくとも何れかを含む。

【0035】

ここで車両Ｖに対して定められる視点は、例えば車両Ｖの車室内（より具体的には、運転席）や車両Ｖの車室外（より具体的には、車両Ｖの後端部から進行方向後方側へ所定距離離れた位置）の任意の位置に定められる。ここで運転席に視点を定めた場合、運転者と同じ視点の仮想画像を表示することができる。また車両Ｖの後端部から後方側へ離れた位置に視点を定めた場合、自車を視界に含む俯瞰的な仮想画像を表示することができる。

【0036】

周囲状態認識部６は、以上のようにして物標位置情報や物標関連情報を取得するとともに、外部センサユニット２やナビゲーション装置３から取得した周囲状態情報に基づいて、車両Ｖ及び認識した物標を含む交通参加者の交通環境情報を取得する。ここで交通環境情報には、走行中の道路の車線数、歩道の有無、進行方向前方側に存在する施設や設備の種類、及び進行方向前方側に存在する道路の形態等に関する情報を含む。

【0037】

なお本実施形態では、周囲状態認識部６は、車両Ｖとともに移動する車載装置としての外部センサユニット２やナビゲーション装置３から周囲状態情報を取得する場合について説明するが、本発明はこれに限らない。周囲状態認識部６は、自車とその近傍を走行する他車両との間の車車間通信や、自車が走行中である道路の交通状態を監視するサーバ装置と自車との間の通信等によって周囲状態情報を取得してもよい。

【0038】

表示制御部８は、周囲状態認識部６による認識結果に基づいて、視点から進行方向前方側に視える様子を再現した仮想画像を生成し、この仮想画像をディスプレイ５の表示画面５１に表示する。より具体的には、表示制御部８は、周囲状態認識部６によって認識される各物標と関連付けられた物標画像を、周囲状態認識部６によって認識される交通環境に応じた背景画像の所定の位置に所定の大きさで重ねて描画することによって、視る者に遠近感を生じさせる態様の仮想画像を生成する。

【0039】

表示制御部８は、通常表示モード又は拡大表示モードの下で仮想画像を生成し、この仮想画像の画像表示を行うことが可能となっている。以下では、各表示モードの下で仮想画像を生成する手順について、図２に示すような状況を例に説明する。

【0040】

図２は、片側３車線の道路９を走行中の車両Ｖを上方から視た平面図である。図２には、自車である車両Ｖは中央の車線９１を走行中であり、その進行方向前方に他車両９３及び歩行者９４が存在する場合を示す。また図２には、他車両９３は歩道側の車線９２に停車しており、歩行者９４は他車両９３の進行方向前方を歩道側から車線９２へ進入しようとしている場合を示す。また以下では、車両Ｖの進行方向後方側に視点９５を設定し、周囲状態認識部６は、他車両９３を第１物標として認識し、歩行者９４を第２物標として認識している場合について説明する。

【0041】

＜通常表示モード＞
図３は、図２に示す状況において表示制御部８が通常表示モードの下で画像表示を行った場合に、矩形状の表示画面５１に表示される仮想画像の一例を示す図である。図３に示すように、仮想画像は、例えば走行中の道路の区画線を模した背景画像Ｉｂと、車両Ｖと関連付けられた自車アイコン画像Ｉｖと、各物標９３，９４と関連付けられた物標アイコン画像Ｉ１，Ｉ２と、によって構成される。なお以下では、自車アイコン画像Ｉｖ及び車両である物標と関連付けられた物標アイコン画像Ｉ１は四角印で簡略化し、歩行者である物標と関連付けられた物標アイコン画像Ｉ２は丸印で簡略化する。

【0042】

表示制御部８は、通常表示モードの下で画像表示を行う場合、周囲状態認識部６によって認識される交通環境に応じて生成した背景画像Ｉｂ上に、自車アイコン画像Ｉｖ及び物標アイコン画像Ｉ１，Ｉ２を、視る者に遠近感を生じさせるような位置、大きさで表示させる。なお以下では、道路の区画線のみを背景画像として表示する場合について説明するが、本発明はこれに限らない。道路の区画線の他、道路上に存在する施設や設備等の構造物を背景画像として表示してもよいし、格子状のグリッドを背景画像として表示してもよい。

【0043】

表示制御部８は、通常表示モードの下で画像表示を行う場合、各アイコン画像Ｉｖ，Ｉ１，Ｉ２の表示画面５１上における大きさを、視点から物標までの進行方向に沿った距離である進行方向距離が長くなるほど小さくする。

【0044】

表示制御部８は、通常表示モードの下で画像表示を行う場合、各アイコン画像Ｉｖ，Ｉ１，Ｉ２の表示画面５１上における表示位置を、視点から物標までの幅方向距離が長くなるほど表示画面５１内に仮想的に定められた横基準線Ｌ１から画面横方向に沿って遠ざけかつ進行方向距離が長くなるほど上記横基準線Ｌ１へ画面横方向に沿って近づける。また表示制御部８は、視点から進行方向に沿って視て右手側に存在する物標は、表示画面５１内では横基準線Ｌ１から右手側に表示し、視点から進行方向に沿って視て左手側に存在する物標は、表示画面５１内では横基準線Ｌ１から左手側に表示する。なお以下では、画面縦方向に沿って延びる横基準線Ｌ１を、表示画面５１内の中央に設定した場合について説明するが、本発明はこれに限らない。

【0045】

また表示制御部８は、通常表示モードの下で画像表示を行う場合、各アイコン画像Ｉｖ，Ｉ１，Ｉ２の表示画面５１上における表示位置を、視点から物標までの進行方向距離が長くなるほど、表示画面５１の画面下端線Ｌ２から上記画面横方向と直交する画面縦方向に沿って遠ざける。

【0046】

なお以下では、実際の幅方向距離に対する表示画面５１上における横基準線Ｌ１と表示位置との間の画面横方向に沿った距離の比を、横縮尺とする。すなわち、図２及び図３の例では、第１の物標９３に対する横縮尺はｘｖ１／ｘ１となり、第２の物標９４に対する横縮尺はｘｖ２／ｘ２となる。従って表示制御部８は、通常表示モードの下で画像表示を行う場合、進行方向距離が長くなるほど横縮尺を漸近的に０に近づける。

【0047】

また以下では、実際の進行方向距離に対する表示画面５１上における画面下端線Ｌ２と表示位置との間の画面縦方向に沿った距離の比を、縦縮尺とする。すなわち、図２及び図３の例では、第１の物標９３に対する縦縮尺はｙｖ１／ｙ１となり、第２の物標９４に対する縦縮尺ｙｖ２／ｙ２となる。従って表示制御部８は、通常表示モードの下で画像表示を行う場合、進行方向距離が長くなるほど縦縮尺を漸近的に０に近づける。

【0048】

表示制御部８は、通常表示モードの下で画像表示を行う場合、以上のような手順によって各アイコン画像Ｉｖ，Ｉ１，Ｉ２の表示画面５１上における表示位置及び大きさを設定することにより、視る者に遠近感を生じさせる仮想画像を表示することができる。但し通常表示モードの下で表示画面５１に表示される仮想画像では、視点から進行方向に沿って遠方に存在する２つの物標９３，９４と関連付けられた物標アイコン画像Ｉ１，Ｉ２は、図３に示すように重複してしまう場合が多いため、運転者は、視点から遠方に存在する物標９３，９４の距離感を把握し難い。

【0049】

＜拡大表示モード＞
図４は、図２に示す状況において表示制御部８が拡大表示モードの下で画像表示を行った場合に、表示画面５１に表示される仮想画像の一例を示す図である。

【0050】

図４に示すように、表示制御部８は、拡大表示モードの下で画像表示を行う場合、周囲状態認識部６によって認識される交通環境に応じて生成した背景画像Ｉｂ上に、自車アイコン画像Ｉｖ及び物標アイコン画像Ｉ１，Ｉ２を、視る者に遠近感を生じさせるような位置、大きさで表示させる。

【0051】

ここで表示制御部８は、拡大表示モードの下で画像表示を行う場合、視る者に視点から遠くに存在する物標の距離感を把握し易くさせるため、少なくとも物標アイコン画像Ｉ１，Ｉ２の表示画面５１における表示位置を通常表示モードから変更する。より具体的には、表示制御部８は、拡大表示モードの下で画像表示を行う場合、縦縮尺を通常表示モードよりも大きくする。

【0052】

これにより図３及び図４を比較して明らかなように、表示画面５１上における２つの物標アイコン画像Ｉ１，Ｉ２の間の画面縦方向に沿った表示間隔は、通常表示モードの下での画像表示よりも拡大表示モードの下での画像表示の方が大きくなる。このため通常表示モードの下で生成された仮想画像における２つの物標アイコン画像Ｉ１，Ｉ２の重複（図３参照）は、図４に示すように拡大表示モードの下での画像表示では解消できる場合がある。このため運転者は、視点から遠方に存在する物標９３，９４の距離感を把握し易い。

【0053】

以上のように、表示制御部８は、拡大表示モードでは通常表示モードよりも縦縮尺を大きくすることにより、視点から遠方に存在する遠距離物標の距離感の把握を容易にすることができるが、この場合、視点から近い位置に存在する近距離物標の距離感を把握し難くなるおそれがある。従って表示制御部８は、進行方向距離が距離閾値（図２参照）以下である近距離物標に対する縦縮尺は、通常表示モードと拡大表示モードとで等しくし、進行方向距離が距離閾値以上である遠距離物標に対する縦縮尺は、通常表示モードより拡大表示モードの方が大きくすることが好ましい。なおこの距離閾値は、固定値としてもよいし、自車速に応じて変化させてもよい。すなわち距離閾値は、車速が速くなるほど長くしてもよい。

【0054】

図５は、縦縮尺を通常表示モード（破線参照）と拡大表示モード（実線及び一点鎖線参照）とで比較した図である。図５において破線で示すように、表示制御部５は、通常表示モードの下で画像表示を行う場合、進行方向距離が長くなるほど縦縮尺を漸近的に０に近づける。これは通常表示モードの下で設定される物標アイコン画像の表示位置は、進行方向距離が長くなるほど表示画面５１内に仮想的に定められる水平線に収束することを意味する。

【0055】

これに対し図５において実線及び一点鎖線で例示するように、表示制御部５は、拡大表示モードの下で画像表示を行う場合、進行方向距離が距離閾値以下である近距離物標に対する縦縮尺は通常表示モードと等しくし、進行方向距離が距離閾値以上である遠距離物標に対する縦縮尺は通常表示モードよりも大きくする。この際、表示制御部５は、遠距離物標に対する縦縮尺を、進行方向距離が距離閾値と等しい近距離物標に対する縦縮尺と同じ値で一定にしてもよいし（図５における実線参照）、進行方向距離が大きくなるほど減少させてもよい（図５における一点鎖線参照）。ただし遠距離物標に対する縦縮尺を、進行方向距離が距離閾値と等しい近距離物標に対する縦縮尺よりも大きくすると遠近感が損なわれてしまう。このため表示制御部８は、拡大表示モードの下で画像表示を行う場合、遠距離物標に対する縦縮尺を、進行方向距離が距離閾値と等しい近距離物標に対する縦縮尺以下の範囲内で通常表示モードよりも大きくすることが好ましい。

【0056】

なお表示制御部８は、拡大表示モードの下で画像表示を行う場合、横縮尺は通常表示モードと等しくしてもよいし、背景画像Ｉｂに対する位置関係が不自然にならないように微調整してもよい。

【0057】

以上のように拡大表示モードの下での画像表示では、２つの物標アイコン画像Ｉ１，Ｉ２の間隔は、通常表示モードの下での画像表示よりも大きくなる。そこで表示制御部８は、拡大表示モードの下で複数の物標アイコン画像Ｉ１，Ｉ２を表示させる場合、各物標アイコン画像Ｉ１，Ｉ２の間に形成されるスペースを利用して、図４に示すように、物標毎に関連付けられた物標関連情報を各物標アイコン画像Ｉ１，Ｉ２の近傍に表示させてもよい。なお図４には、物標関連情報として、歩道から車道に進入しようとする第２の物標９４の移動方向を矢印９９によって表示した場合を示す。

【0058】

なお本実施形態では、表示制御部８は、背景画像Ｉｂの形態及びアイコン画像Ｉｖ，Ｉ１，Ｉ２の表示画面５１における大きさを通常表示モードと拡大表示モードとで同じにする場合について説明したが、本発明はこれに限らない。これら背景画像の形態及びアイコン画像の大きさは、遠近感が損なわれない範囲内で通常表示モードと拡大表示モードとで変えてもよい。

【0059】

図６は、仮想画像表示装置１において表示画面５１に仮想画像を表示する手順を示すフローチャートである。

【0060】

始めにステップＳＴ１では、周囲状態認識部６は、外部センサユニット２やナビゲーション装置３から周囲状態情報を取得し、ステップＳＴ２に移る。

【0061】

次にステップＳＴ２では、周囲状態認識部６は、ステップＳＴ１で取得した周囲状態情報に基づいて物標位置情報、物標関連情報、及び交通環境情報を取得し、ステップＳＴ３に移る。

【0062】

次にステップＳＴ３では、視線方向取得部７は、室内カメラユニット４から送信される画像に基づいて運転者の視線方向を取得し、ステップＳＴ４に移る。

【0063】

次にステップＳＴ４では、表示制御部８は、ステップＳＴ１で取得した周囲状態情報及びステップＳＴ３で取得した視線方向に基づいて、仮想画像の表示モードを拡大表示モードに設定するために定められた６つの拡大表示条件（Ａ）～（Ｆ）の何れか又は組み合わせが成立したか否かを判定する。表示制御部８は、ステップＳＴ４の判定結果がＮＯである場合、ステップＳＴ５に移り、通常表示モードの下で生成した仮想画像を表示画面５１に表示し、ステップＳＴ１に戻る。また表示制御部８は、ステップＳＴ４の判定結果がＹＥＳである場合、拡大表示モードの下で生成した仮想画像を表示画面５１に表示し、ステップＳＴ１に戻る。以上のように表示制御部８は、周囲状態情報に基づいて通常表示モードの下での画像表示と拡大表示モードの下での画像表示とを切り替える。

【0064】

拡大表示条件（Ａ）：周囲状態情報に基づいて、所定時間内に所定数以上の物標が認識されること。
拡大表示条件（Ｂ）：周囲状態情報に基づいて、物標の密度が所定値以上の領域の存在が認識されること。
拡大表示条件（Ｃ）：周囲状態情報に基づいて、視点から進行方向側に特定施設（例えば、人や移動体の出入りが多い駅や商業施設等）又は特定設備（例えば、人の移動が多い横断歩道、及び信号機等）の存在が認識されること。
拡大表示条件（Ｄ）：周囲状態情報に基づいて、視点から進行方向側に特定形態の道路（例えば、交差点、及び２つの道路の合流地点等）の存在が認識されること。
拡大表示条件（Ｅ）：運転中の運転者の視線方向上に物標が存在すると認識されること。
拡大表示条件（Ｆ）：視点から指向方向側において第１物標及び第２物標が認識されている場合でありかつ第１物標と第２物標との間の進行方向に沿った間隔が所定の間隔閾値以下であること。

【0065】

本実施形態に係る仮想画像表示装置１によれば、以下の効果を奏する。
（１）周囲状態認識部６は、視点から進行方向側に存在する交通参加者を物標として認識し、視点からこの物標までの進行方向距離及び視点から物標までの幅方向距離に関する情報を含む物標位置情報を取得する。表示制御部８は、物標位置情報に基づいて定めた表示画面５１内の表示位置に物標アイコン画像を表示させることにより、視る者に遠近感を生じさせる態様の仮想画像を表示画面５１に表示させる。また表示制御部８は、物標アイコン画像の表示位置を幅方向距離が長くなるほど表示画面５１内の横基準線Ｌ１から画面横方向に沿って遠ざけかつ進行方向距離が長くなるほど横基準線Ｌ１へ画面横方向に沿って近づけるとともに、表示位置を進行方向距離が長くなるほど表示画面５１の画面下端線Ｌ２から画面縦方向に沿って遠ざける通常表示モードでの画像表示（すなわち、遠近法に基づく画像表示）と、進行方向距離に対する画面下端線Ｌ２と表示位置との間の画面縦方向に沿った表示画面５１上での距離の比である縦縮尺を通常表示モードよりも大きくする拡大表示モードの下での画像表示と、を切替可能である。このように拡大表示モードの下では、縦縮尺を通常表示モードよりも大きくすることにより、例えば遠方に２つの物標が存在する場合、これら２つの物標の物標アイコン画像は、表示画面５１内において通常表示モードよりも画面縦方向へ離れて表示される。よって仮想画像表示装置１によれば、このような拡大表示モードの下での画像表示を行うことにより、遠方に存在する物標の距離感を利用者に容易に把握させることができる。

【0066】

（２）上述のように縦縮尺を大きくすることにより、運転者は、視点から遠方に存在する物標の距離感を容易に把握できるものの、視点から近い位置に存在する物標の距離感は把握し難い。これに対し仮想画像表示装置１では、進行方向距離が距離閾値以下である近距離物標に対する縦縮尺は、通常表示モードと拡大表示モードとで等しくすることにより、運転者は、視点から遠方に存在する物標及び視点から近い位置に存在する物標の距離感を共に容易に把握することができる。

【0067】

（３）表示制御部８は、視点の周囲の状態に関する周囲状態情報に基づいて通常表示モードの下での画像表示と拡大表示モードの下での画像表示とを切り替える。よって仮想画像表示装置１によれば、視点の周囲の状態の変化に応じて適切なタイミングで通常表示モードと拡大表示モードとを切り替えることができる。

【0068】

（４）表示制御部８は、周囲状態情報に基づいて、所定時間内に所定数以上の物標を認識した場合、物標の密度が所定値以上の領域を認識した場合、視点から進行方向側に特定施設又は特定設備が存在することを認識した場合、又は視点から進行方向側に特定形態の道路が存在することを認識した場合、拡大表示モードの下での画像表示を行う。よって仮想画像表示装置１によれば、進行方向側に既に多くの物標が存在する場合や、進行方向側に多くの物標が現れると予測される場合、拡大表示モードの下での画像表示を行うことにより、運転者に対しこれら複数の物標の間の距離を容易に把握させることができる。

【0069】

（５）視線方向取得部７は、運転者の視線又は顔の向きである視線方向を取得し、表示制御部８は、視線方向上に物標が存在する場合、すなわち運転者が物標を注視している場合、拡大表示モードの下での画像表示を行う。これにより運転者は、注視する物標の距離感を容易に把握することができる。

【0070】

（６）表示制御部８は、視点から進行方向側において第１及び第２物標が認識されている場合でありかつ第１及び第２物標の間の進行方向に沿った間隔が間隔閾値以下である場合、拡大表示モードの下での画像表示を行う。これにより、通常表示モードの下では２つの物標アイコン画像が重なってしまうような場合には、拡大表示モードの下で画像表示を行うことにより、これら２つの物標アイコン画像が重ならないようにすることができる。

【0071】

（７）表示制御部８は、拡大表示モードの下での複数の物標アイコン画像を表示画面５１に表示させる場合、物標毎に関連付けられた物標関連情報を物標アイコン画像の近傍に表示させることにより、視る者に乱雑さを感じさせないようにしながら多くの情報を表示画面５１に表示させることができる。

【0072】

（８）物標関連情報は、物標の位置情報、移動方向情報、移動速度情報、及び種別情報の少なくとも何れかを含む。よって仮想画像表示装置１によれば、物標の位置、移動方向、移動速度、及び種別等、物標アイコン画像だけでは把握し難い情報も速やかに認識することができる。

【0073】

以上、本発明の一実施形態について説明したが、本発明はこれに限らない。本発明の趣旨の範囲内で、細部の構成を適宜変更してもよい。

【符号の説明】

【0074】

Ｖ…車両
１…仮想画像表示装置
２…外部センサユニット
２１…前方カメラユニット
２２…前方レーダユニット
３…ナビゲーション装置
４…室内カメラユニット
５…ディスプレイ
５１…表示画面
６…周囲状態認識部
７…視線方向取得部
８…表示制御部
Ｌ１…横基準線（横基準）
Ｌ２…画面下端線（下端）
Ｉ１，Ｉ２…物標アイコン画像（物標画像）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】