(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-25
(45)【発行日】2023-02-02
(54)【発明の名称】表示制御方法、表示制御装置及びヘッドアップディスプレイ装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20230126BHJP
G09G 5/00 20060101ALI20230126BHJP
G09G 5/38 20060101ALI20230126BHJP
B60K 35/00 20060101ALI20230126BHJP
【FI】
G08G1/16 C
G09G5/00 510A
G09G5/00 530T
G09G5/00 550C
G09G5/38 A
B60K35/00 A
(21)【出願番号】P 2019560905
(86)(22)【出願日】2018-11-26
(86)【国際出願番号】 JP2018043322
(87)【国際公開番号】W WO2019123976
(87)【国際公開日】2019-06-27
【審査請求日】2021-09-17
(31)【優先権主張番号】P 2017244956
(32)【優先日】2017-12-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(72)【発明者】
【氏名】神保 瑞翔
【審査官】佐々木 佳祐
(56)【参考文献】
【文献】国際公開第2017/022047(WO,A1)
【文献】特開2003-291688(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G09G 5/00
G09G 5/38
B60K 35/00
(57)【特許請求の範囲】
【請求項1】
表示画像を表示する表示器と、前記表示器が表示した前記表示画像の表示光を被投影部に投影するリレー光学系を有し、車両(1)の前景に重畳して視認される移動画像(200)
を表示するヘッドアップディスプレイ装置を制御する表示制御方法であって、
インターフェースが、前記車両の周辺に存在する第1のオブジェクト(311)に関して、少なくとも前記第1のオブジェクトの位置を含む第1のオブジェクト情報、及び前記車両の周辺に存在する第2のオブジェクト(312)に関して、少なくとも前記第2のオブジェクトの位置を含む第2のオブジェクト情報を取得する情報取得工程(S10、S110、S210、S310、S410)と、
判定部が、前記移動画像を移動させる移動条件が成立するかどうかを判定する判定工程(S20、S120、S220、S320、S420)と、
前記移動条件が成立したときに実行される以下の工程を有しており、すなわち、
表示処理部が、前記移動画像に含まれる情報画像(210)を、前記第1のオブジェクト情報に関連する第1情報画像(211)から前記第2のオブジェクト情報に関連する第2情報画像(212)に切り替える情報画像更新工程(S40、S140、S240、S340、S440)と、
前記表示処理部が、取得した前記第1のオブジェクトの位置及び前記第2のオブジェクトの位置の少なくとも一方に基づき、前記第1のオブジェクトから離れる移動経路(400)に沿って前記移動画像を移動させる移動工程(S50、S150、S260、S350、S450)と、を含む、表示制御方法。
【請求項2】
前記移動工程が完了するまでに、前記移動画像の近傍に前記第2のオブジェクトが存在する位置を指示する指示画像(250)を表示させる指示画像表示工程(S250、S360、S460)、をさらに含む、請求項1に記載の表示制御方法。
【請求項3】
前記移動工程が、前記第1のオブジェクトから離れた移動中継点(403)に前記移動画像を移動させる第1移動工程(S50、S350)と、前記移動中継点から前記第2のオブジェクトに向けて前記移動画像を移動させる第2移動工程(S150、S450)と、を含む、請求項1又は2に記載の表示制御方法。
【請求項4】
前記第1移動工程の後に、前記移動画像の近傍に前記第2のオブジェクトが存在する位置を指示する指示画像(250)を表示させる指示画像表示工程(S360)、を含む、請求項3に記載の表示制御方法。
【請求項5】
前記移動工程が完了するまでに、前記情報画像更新工程を完了させる、請求項1乃至4のいずれかに記載の表示制御方法。
【請求項6】
前記移動工程を開始するまでに、前記情報画像更新工程を完了させる、請求項5に記載の表示制御方法。
【請求項7】
前記移動工程において、前記移動画像が前記第1のオブジェクト又は前記第2のオブジェクトに重なる場合、前記移動画像の視認性を低下させる、請求項1乃至6のいずれかに記載の表示制御方法。
【請求項8】
車両(1)の前景に重畳して視認される移動画像(200)を表示させる表示制御装置であって、
前記車両の周辺に存在する第1のオブジェクト(311)に関して、少なくとも前記第1のオブジェクトの位置(311)を含む第1のオブジェクト情報、及び第2のオブジェクト(312)に関して、少なくとも前記第2のオブジェクトの位置を含む第2のオブジェクト情報を取得するオブジェクト情報取得部(30)と、
前記移動画像を移動させる移動条件が成立するかどうかを判定する判定部(21)と、
前記移動条件が成立したときに、前記移動画像に含まれる情報画像(210)を、前記第1のオブジェクト情報に関連する第1情報画像(211)から前記第2のオブジェクト情報に関連する第2情報画像(212)に切り替えさせ、かつ、前記第1のオブジェクトから離れる移動経路(400)に沿って前記移動画像を移動させる表示処理部(22)と、を備える、表示制御装置。
【請求項9】
前記表示処理部(22)は、前記移動画像を移動させる際、前記第1のオブジェクト(311)から離れた移動中継点(403)に移動させた後、前記移動中継点から前記第2のオブジェクトに向けて前記移動画像を移動させる、請求項8に記載の表示制御装置。
【請求項10】
前記表示処理部(22)は、前記移動画像の近傍に前記第2のオブジェクトが存在する位置を指示する指示画像を表示させる、請求項8又は9に記載の表示制御装置。
【請求項11】
前記表示処理部(22)は、前記移動画像の移動が完了するまでに、前記移動画像の近傍に前記第2のオブジェクトが存在する位置を指示する指示画像を表示させる、請求項10に記載の表示制御装置。
【請求項12】
前記表示処理部は、前記移動画像の移動が完了するまでに、前記情報画像の切り替えを完了させる、請求項8乃至11のいずれかに記載の表示制御装置。
【請求項13】
前記表示処理部は、前記移動画像の移動が開始するまでに、前記情報画像の切り替えを完了させる、請求項12に記載の表示制御装置。
【請求項14】
前記表示処理部は、前記移動経路において、前記移動画像が前記第1のオブジェクト又は前記第2のオブジェクトに重なると判定された場合、前記移動画像の視認性を低下させる、請求項8乃至13のいずれかに記載の表示制御装置。
【請求項15】
請求項8乃至14のいずれかに記載の表示制御装置(90)と、
前記表示制御装置(90)が制御することで前記移動画像を表示する表示器(10)と、を備える、ヘッドアップディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の前景に重畳して視認させる虚像の表示制御方法、表示制御装置、及び虚像を表示するヘッドアップディスプレイ装置に関する。
【背景技術】
【0002】
特許文献1に開示されているヘッドアップディスプレイ装置は、前景に存在するオブジェクトに対して虚像を表示することで、オブジェクトに情報を付加したり、オブジェクトを強調したりする拡張現実(AR:Augmented Reality)を生成するものである。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の
図10のように、複数のオブジェクトに対してそれぞれ虚像を表示した場合、どの虚像に注意を向けていいかわかりにくく、虚像自体及び虚像が対応するオブジェクトを認識しにくくなるおそれがあった。
【0005】
本発明は、上記の問題点に鑑みてなされたものであり、実景に存在するオブジェクトの認識性を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の実施形態の表示制御方法は、表示画像を表示する表示器と、前記表示器が表示した前記表示画像の表示光を被投影部に投影するリレー光学系を有し、車両(1)の前景に重畳して視認される移動画像(200)を表示するヘッドアップディスプレイ装置を制御する表示制御方法であって、
インターフェースが、前記車両の周辺に存在する第1のオブジェクト(311)に関して、少なくとも前記第1のオブジェクトの位置を含む第1のオブジェクト情報、及び前記車両の周辺に存在する第2のオブジェクト(312)に関して、少なくとも前記第2のオブジェクトの位置を含む第2のオブジェクト情報を取得する情報取得工程(S10、S110、S210、S310、S410)と、
判定部が、前記移動画像を移動させる移動条件が成立するかどうかを判定する判定工程(S20、S120、S220、S320、S420)と、
前記移動条件が成立したときに実行される以下の工程を有しており、すなわち、
表示処理部が、前記移動画像に含まれる情報画像(210)を、前記第1のオブジェクト情報に関連する第1情報画像(211)から前記第2のオブジェクト情報に関連する第2情報画像(212)に切り替える情報画像更新工程(S40、S140、S240、S340、S440)と、
前記表示処理部が、取得した前記第1のオブジェクトの位置及び前記第2のオブジェクトの位置の少なくとも一方に基づき、前記第1のオブジェクトから離れる移動経路(400)に沿って前記移動画像を移動させる移動工程(S50、S150、S260、S350、S450)と、を含む。
【0007】
また、本発明の第2の実施形態の表示制御装置は、自車両(1)の前景に重畳して視認される情報画像(200)を表示させる表示制御装置であって、
前記自車両の周辺に存在する第1のオブジェクト(311)に関して、少なくとも前記第1のオブジェクトの位置(311)を含む第1のオブジェクト情報、及び第2のオブジェクト(312)に関して、少なくとも前記第2のオブジェクトの位置を含む第2のオブジェクト情報を取得するオブジェクト情報取得部(30)と、
前記画像を移動させる移動条件が成立するかどうかを判定する判定部(21)と、
前記移動条件が成立したときに、前記移動画像に含まれる情報画像(210)を、前記第1のオブジェクト情報に関連する第1情報画像(211)から前記第2のオブジェクト情報に関連する第2情報画像(212)に切り替えさせ、かつ、前記第1のオブジェクトから離れる移動経路(400)に沿って前記移動画像を移動させる表示処理部(22)と、を備える。
【0008】
また、本発明の第3の実施形態のヘッドアップディスプレイ装置は、第2の態様の表示制御装置(90)と、
前記表示制御装置(90)が制御することで前記移動画像を表示する表示器(10)と、を備える。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施形態に係るヘッドアップディスプレイ装置の構成を機能的に示すブロック図である。
【
図2】運転者が自車両の前方を向いた際に、上記実施形態のヘッドアップディスプレイ装置が表示する移動画像と実景とが視認される様子の例を示す図である。
【
図3】上記実施形態のヘッドアップディスプレイ装置が表示する移動画像の例を示す図である。
【
図4】上記実施形態のヘッドアップディスプレイ装置の動作を示すフローチャートである。
【
図5】上記実施形態のヘッドアップディスプレイ装置が表示する移動画像が移動する様子を示す図である。
【
図6】本発明の変形例におけるヘッドアップディスプレイ装置が表示する移動画像が移動する様子を示す図である。
【
図7】本発明の変形例におけるヘッドアップディスプレイ装置の動作を示すフローチャートである。
【
図8】上記実施形態のヘッドアップディスプレイ装置が表示する移動画像が移動する様子を示す図である。
【
図9】本発明の変形例におけるヘッドアップディスプレイ装置の動作を示すフローチャートである。
【
図10】上記実施形態のヘッドアップディスプレイ装置が表示する移動画像が移動する様子を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態(図面の内容も含む。)によって限定されるものではない。下記の実施形態に変更(構成要素の削除も含む)を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【0011】
本明細書において、自車両1の周辺300に存在するオブジェクト310の位置を取得するオブジェクト情報取得部30の機能と、移動画像200を移動させ、かつ移動画像200に含まれる情報画像210を切り替えさせる表示処理部22の機能と、を備える装置を、本発明に従う表示制御装置と呼ぶ。1例として、オブジェクト情報取得部30と表示処理部22とを備えているので、
図1の符号90で示されたユニットは、表示制御装置と呼ぶことができる。また、表示制御装置は、本質的には、移動画像200を移動させ、かつ移動画像200に含まれる情報画像210を切り替えさせる機能(表示処理部22)を有していればよいので、表示器10に表示画像を表示させる表示データを生成する機能(画像生成部24)を別に設けてもよい。言い換えれば、
図1の表示制御装置90は、表示データを生成する画像生成部24の機能がない場合であっても、本発明に従う表示制御装置と呼ぶことができる。
【0012】
また、本実施形態に従う表示制御装置(例えば
図1の符号90)と、この表示制御装置90で生成された移動画像200を含む表示画像を表示する表示器10と、を備える装置は、本発明に従うヘッドアップディスプレイ装置と呼ぶことができる。
【0013】
図1は、本実施形態におけるヘッドアップディスプレイ装置100(以下、HUD装置と呼ぶ)の全体構成を示すブロック図である。例えば、HUD装置100は、自車両1のフロントウインドシールド(被投影部2の一例)の一部に表示器10の表示光Lを投影する。被投影部2は、表示光Lを視認者側に向けて反射することで所定のアイボックス3を生成する。視認者(自車両1の運転者)は、アイポイント4(視認者の眼の位置)をアイボックス3内におくことで、被投影部2を介した前方に、HUD装置100の表示エリア101(
図2参照)内で虚像を視認することができる。
【0014】
HUD装置100は、表示画像Mを表示する表示器10と、表示器10が表示した表示画像Mの表示光Lを自車両1の被投影部2(例えば、自車両1のフロントウインドシールド)に投影するリレー光学部11(
図1では、平面鏡12と凹面鏡13)と、表示器10が表示する表示画像Mを制御することで、視認者が視認する虚像(移動画像200)を変化させる処理ユニット20と、オブジェクト情報取得部30と、操作情報取得部40と、入出力インターフェース70と、によって構成される。
【0015】
処理ユニット20は、入力インターフェース(オブジェクト情報取得部30、操作情報取得部40、及び入出力インターフェース70)を介して、外部機器(周辺監視部31、操作検出部41、ナビゲーションシステム500、クラウドサーバー(外部サーバー)600、車両ECU700、及び図示しない自車両1内の他の車載機器、自車両1内の携帯機器、他車両(車車間通信V2V)、路上の通信インフラ(路車間通信V2I)、歩行者の携帯機器(車両と歩行者との通信V2P))と通信可能に連結されている。前記入力インターフェースは、例えば、USBポート、シリアルポート、パラレルポート、OBDII、及び/又は他の任意の適切な有線通信ポートなどの有線通信機能を含むことができる。なお、他の実施形態では、前記入力インターフェースは、例えば、Bluetooth(登録商標)通信プロトコル、IEEE802.11プロトコル、IEEE1002.11プロトコル、IEEE1002.16プロトコル、DSRC(Dedicated Short Range Communications)プロトコル、共有無線アクセスプロトコル、ワイヤレスUSBプロトコル、及び/又は他の任意の適切な無線電信技術を用いた無線入力インターフェースを含むことができる。
【0016】
オブジェクト情報取得部30は、自車両1の少なくとも前方を含む周辺300に存在する特定のオブジェクト310の位置情報を少なくとも含むデータ(オブジェクト情報)を取得する入力インターフェースであり、例えば、自車両1に搭載された単数又は複数のカメラやセンサなどからなる周辺監視部31からオブジェクト情報を取得し、処理ユニット20に出力する。例えば、周辺監視部31は、自車両1の周辺300を撮像(検出)し、その撮像(検出)データを解析して自車両1の周辺300のオブジェクト310の実座標上の位置情報(オブジェクト310までの距離情報も含んでいてもよい)又は/及びHUD装置100の表示エリア101内におけるオブジェクト310の位置情報(オブジェクト310までの距離情報も含んでいてもよい)を生成する図示しない解析部を有する。この場合、オブジェクト情報取得部30が取得するオブジェクト情報は、自車両1の周辺300の実座標又は表示エリア101におけるオブジェクト310の座標(位置情報)である。なお、上記したような解析部は、HUD装置100内に設けられてもよい。具体的には、解析部は、処理ユニット20内に設けられてもよく、この場合、オブジェクト情報取得部30が取得するオブジェクト情報は、周辺監視部31が周辺300を撮像(検出)した撮像(検出)データとなる。
【0017】
また、オブジェクト情報取得部30は、周辺監視部31が自車両1の周辺300を観測し図示しない種類識別部で識別したオブジェクト310の種類情報を取得してもよい。オブジェクト310の種類とは、例えば、障害物(他車両、人物、動物、モノ),道路標識,道路,又は建物などであるが、周辺300に存在し、識別可能であればこれらに限定されない。すなわち、オブジェクト情報取得部30は、オブジェクト情報(オブジェクト310の位置情報、距離情報、種類情報)を取得し、処理ユニット20に出力してもよい。
【0018】
また、他の実施形態では、オブジェクト情報取得部30の代わりに、あるいはオブジェクト情報取得部30とともに、外部機器と通信可能な入出力インターフェース70がオブジェクト情報取得部30として機能してもよい。言い換えると、入出力インターフェース70が、ナビゲーションシステム500、クラウドサーバー600、車両ECU700、及び図示しない自車両1内の他の車載機器、自車両1内の携帯機器、他車両(車車間通信V2V)、路上の通信インフラ(路車間通信V2I)、歩行者の携帯機器(車両と歩行者との通信V2P)からオブジェクト情報を取得してもよい。入出力インターフェース70は、例えば、ナビゲーションシステム500、クラウドサーバー600、車両ECU700から、地図情報とともに、道路標識,道路,建物等のオブジェクト310の位置情報、種類情報等を取得可能であり、また、図示しない他車両(車車間通信V2V)、路上の通信インフラ(路車間通信V2I)、歩行者の携帯機器(車両と歩行者との通信V2P)から、障害物(他車両、人物、動物、モノ),道路標識,道路等の位置情報、種類情報等を取得可能である。処理ユニット20は、自車両1又はHUD装置100の位置情報(自車両1の方角情報を追加してもよい)を、入出力インターフェース70を介して、前記外部機器に出力し、前記外部機器は、入力した自車両1又はHUD装置100の位置情報(追加の方角情報)に基づき、自車両1の周辺300に存在するオブジェクト310の位置情報、種類情報を含むオブジェクト情報を入出力インターフェース70に出力してもよい。
【0019】
操作情報取得部40は、例えば、操作検出部41が検出した自車両1のステアリング、アクセル、ブレーキ、ウィンカ及び前照灯等の部位に対する操作情報を取得し、処理ユニット20に出力する。
【0020】
また、他の実施形態では、操作情報取得部40の代わりに、あるいは操作情報取得部40とともに、外部機器と通信可能な入出力インターフェース70が、操作情報取得部40として機能してもよい。言い換えると、入出力インターフェース70が、クラウドサーバー600、車両ECU700、及び図示しない路上の通信インフラ(路車間通信V2I)から自車両1に関する操作情報を取得してもよい。
【0021】
処理ユニット20は、後述する移動画像200の移動条件が成立するかどうかを判定する判定部21と、移動画像200を変化させる表示処理部22と、表示処理部22が実行するプログラムや画像要素データを記憶する記憶部23と、表示処理部22の演算結果に基づき表示器10に表示画像を表示させるための表示データを生成する画像生成部24と、を備える。
【0022】
判定部21は、オブジェクト310に対して、視認者に報知すべき優先度(以下では報知優先度とも呼ぶ)を決定し、複数のオブジェクト310の報知優先度を比較し、移動画像200が関連付けられた一方のオブジェクト310の報知優先度より、他方のオブジェクト310の報知優先度の方が高くなった場合に、移動画像200を移動させる移動条件が成立したと判定する。『報知優先度』は、オブジェクト310に対して、起こり得る自体の重大さの程度から導き出される危険度や、反応行動を起こすまでに要求される反応時間の長短から導かれる緊急度などであり、オブジェクト情報取得部30が取得するオブジェクト情報のみで決定されてもよく、前記オブジェクト情報に加えて、操作情報取得部40が取得する操作情報や、入出力インターフェース70が取得する各種情報に基づいて決定されてもよい。なお、判定部21は、本質的には、前記報知優先度に基づき移動条件が成立するか判定する機能を有していればいいので、前記報知優先度を決定する機能を有していなくてもよく、前記報知優先度を決定する機能の一部又は全部は、処理ユニット20の外側、又は表示制御装置90外側に設けられてもよい。なお、移動条件の判定は、前記危険度や前記緊急度を用いる方法に限定されない。以下に、変形例を示す。
【0023】
例えば、変形例として、判定部21は、新たに検出されたオブジェクト310に対する報知優先度を高くし、新たに検出されたオブジェクト310に向けて移動画像200を移動させる移動条件が成立したと判定してもよい。言い換えると、移動条件の判定には、危険度又は緊急度に代えて、あるいは、危険度又は緊急度に加えて、情報の新しさが用いられてもよい。具体的には、移動画像200が関連付けられた一方のオブジェクト310の危険度(緊急度)が、このオブジェクト310よりも後に検出された他方のオブジェクト310の危険度(緊急度)より高い場合であっても、情報の新しさを加味して前記他方のオブジェクト310に向けて移動画像200を移動させる移動条件が成立したと判定してもよい。
【0024】
別の変形例として、判定部21は、移動画像200が継続して関連づけられたオブジェクト310に対する報知優先度を低くし、他のオブジェクト310に向けて移動画像200を移動させる移動条件が成立したと判定してもよい。言い換えると、移動条件の判定には、危険度又は緊急度に代えて、あるいは、危険度又は緊急度に加えて、移動画像200の継続時間が用いられてもよい。具体的には、移動画像200が同一のオブジェクト310に対して、予め設定された閾時間以上継続して表示されていた場合、他のオブジェクト310に向けて移動画像200を移動させる移動条件が成立したと判定してもよい。なお、移動条件の判定方法は、前記の例に限定されず、判定部21は、例えば、入力インターフェース(オブジェクト情報取得部30、操作情報取得部40、入出力インターフェース70)を介して、新たに取得した情報が所定の種類の情報であった、又は取得した情報が所定の条件を満たした情報であった、又は取得した複数の情報で所定の組み合わせが成立した場合、運転者が置かれているシチュエーションを総合的に判断して報知優先度を変化させ、前記移動条件を判定してもよい。
【0025】
表示処理部22は、判定部21が、前記移動条件が成立したと判定した場合、移動画像200を移動させるとともに、移動画像200に含まれる第1のオブジェクト情報に基づいた第1情報画像211(
図5(a)参照)を、第2のオブジェクト情報に基づいた第2情報画像212(
図5(b)参照)に切り替えさせるものである。表示処理部22は、移動画像200が元々表示されていた位置(移動始点401)から、移動画像200を移動させる位置(移動終点402)までの移動経路400を決定する機能(移動経路決定部22a)と、移動画像200の情報画像210を決定する機能(情報画像決定部22b)と、を有する。
【0026】
移動経路決定部22aは、移動画像200が現在表示されている位置と、第2のオブジェクト情報に含まれる第2のオブジェクト312の位置と、に基づいて、移動画像200の移動経路400を決定する。例えば、移動経路400は、移動画像200が現在表示されている位置(移動始点401)から、第2のオブジェクト情報に含まれる第2のオブジェクト312の周辺の所定の位置(移動終点402)に向けた直線であり、表示処理部22は、第2のオブジェクト312の輪郭線又は第2のオブジェクト312を囲むバウンディングボックスの外側の所定の位置(移動終点402)に向けた移動経路400を決定する。移動終点402は、移動画像200が直線の移動経路400で移動した場合に、移動対象である第2のオブジェクト312の輪郭線又は第2のオブジェクト312を囲むバウンディングボックスに重ならない位置に設定されることが好ましい。言い換えると、移動経路決定部22aは、第2のオブジェクト312に移動画像200が重ならないように、移動経路400を決定してもよい。しかし、前記移動終点402は、第2のオブジェクト312の輪郭線の内側に設定されてもよい(移動経路決定部22aは、第2のオブジェクト312に移動画像200が重なるように、移動経路400を決定してもよい)。この場合、表示処理部22は、移動画像200が移動に伴い、第1のオブジェクト311又は第2のオブジェクト312に重なる場合、移動画像200の視認性を低下させてもよい。具体的には、表示処理部22は、移動画像200が移動に伴い、第1のオブジェクト311又は第2のオブジェクト312に重なる場合、移動画像200の情報画像210及び塗り画像220の視認性を低下させるが、情報画像210の視認性を低下させ、かつ塗り画像220の視認性を維持、又は情報画像210の視認性低下より度合いを小さくして視認性を低下させてもよい。また、移動経路400は、単なる直線ではなく、視覚的に趣向を凝らした曲線であってもよい。
【0027】
情報画像決定部22bは、移動画像200を関連付けるオブジェクト310のオブジェクト情報(位置情報、距離情報、種類情報)に基づいて、移動画像200に含まれる後述する情報画像210を決定する。なお、情報画像決定部22bは、前記オブジェクト情報に、操作情報取得部40から取得した操作情報や入出力インターフェース70から取得した各種情報も加味して情報画像210を決定してもよい。
【0028】
次に、
図2、
図3を用いて、HUD装置100が表示する移動画像200を説明する。
図2は、運転者が自車両1の前方を向いた際に、HUD装置100が表示する移動画像200と実景とが視認される様子の例を示す図である。HUD装置100は、被投影部2の表示エリア101内の所定の位置に移動画像200を表示する。
図2では、表示エリア101は、点線で囲まれた矩形領域で記され、自車両1の前方に位置する他車両311(オブジェクト310の一例)は、この表示エリア101内に位置する。HUD装置100は、他車両311に対する注意を促す『前方注意』と描画された移動画像200を、他車両311の近傍(
図2では他車両311の鉛直方向下側)に表示する。これにより、視認者は、表示された移動画像200に視覚的注意を向け、移動画像200に描画された情報画像210である『前方注意』により注意しなければいけない状況であることを認識し、かつ、その注意しなければいけない対象が移動画像200の近傍の他車両311であることを迅速に認識することができる。なお、移動画像200が表示される位置(座標)は、オブジェクト310の位置変化に対して、固定であってもよく動的であってもよい。すなわち、移動画像200が表示される位置は、オブジェクト310の大まかな位置により決定され、オブジェクト310の大きくない位置変化では変更されなくてもよい(固定されてもよい)。また、移動画像200が表示される位置は、オブジェクト310の位置情報の変化に応じて変化させてもよい(オブジェクト310との相対的な位置変化が小さくなるように連続的に変化させてもよい。言い換えると、オブジェクト310の位置に追従させてもよい)。
【0029】
図3は、移動画像200の構成を説明する図である。移動画像200は、白色、橙色、黄色、黄緑色、青色、赤色などの色であり、
図3(a)に示すように、「前方注意」などの4文字程度のテキスト画像である情報画像210と、この情報画像210を取り囲む矩形状(形状は一例)であり、情報画像210と異なる色相を有する色で塗りつぶされた塗り画像220と、から構成される。ちなみに、移動画像200は、実景に重なって表示される虚像であるので、視認者は実景と移動画像200の混色を視認することになる。
図3(b)は、塗り画像220を有する移動画像200が実景内の視覚障害物320(例えば、道路上の白線等)と重なった際の様子を示す図であり、例えば、情報画像210を白色(RGB値でR255,G255,B255)、塗り画像220を黄緑色(RGB値でR153,G255,B102)、視覚障害物320を白色(RGB値でR255,G255,B255)とした場合の例である。また、
図3(c)は、塗り画像220を有さない移動画像200が実景内の視覚障害物320(例えば、道路上の白線等)と重なった際の様子を示す図である。このように、情報画像210の色と視覚障害物320の色とが同じ又は近似される色であった場合、
図3(c)に示す塗り画像220を有さない移動画像200では、情報画像210と視覚障害物320との区別がしづらく、情報画像210の視認性が低下してしまう。一方、
図3(b)に示す塗り画像220を有する移動画像200では、塗り画像220と重なる視覚障害物320の色が塗り画像220との混色により異なる色として視認されるため、情報画像210と視覚障害物320との区別がしやすくなり、情報画像210の視認性が向上する。本実施形態では、移動画像200を移動させるため、実景上の様々な視覚障害物320に移動画像200が重なる頻度が増加するが、移動画像200に塗り画像220を設けることで、情報画像210の視認性を向上させることができる。
【0030】
図3(d)は、移動画像200の情報画像210が切り替わる様子を示しており、一方が『右側注意』と記された情報画像210aであり、他方が『車両接近』と記された情報画像210bである。移動画像200は、情報画像210aと情報画像210bとの複数(
図3(d)の例では2種類)の情報画像210を有し、移動画像200内の情報画像210を順次又は往復的に連続して切り替えてもよい。
【0031】
移動画像200の他の例として、移動画像200は、塗り画像220を有していなくてもよい。言い換えれば、移動画像200が、情報画像210のみ、又は塗り画像220とは別の画像要素が加えられて構成されてもよい。また、情報画像210と塗り画像220とは、単色に限定されるものではなく、複数色で構成されてもよい。また、塗り画像220は、情報画像210のそれぞれの文字の縁を囲む画像要素であってもよい。また、塗り画像220は、情報画像210の周り全体を取り囲む事が好ましいが、情報画像210の一部を取り囲んでいなくてもよい。
【0032】
以下、第1~第3の実施形態を
図4~
図8を用いて具体的に説明する。
(第1の実施形態)
まず、
図4,
図5を参照する。
図4は、第1、第2の実施形態におけるHUD装置100の主要な動作手順を示すフロー図であり、
図5は、
図4のフロー図に対応した第1実施形態の移動画像200の表示例を示す図である。
図5(a)は、移動させる前の移動画像200の表示例を示し、
図5(b)は、移動条件が成立した場合に
図4におけるステップS40,S50が実行された後の移動画像200の表示例を示す。
【0033】
図4のステップS10(情報取得工程)において、判定部21は、オブジェクト情報取得部30を介して周辺監視部31からオブジェクト情報を取得する。前記オブジェクト情報は、自車両1の周辺300のオブジェクト310の実座標上の位置情報(オブジェクト310までの距離情報も含んでいてもよい)又は/及びHUD装置100の表示エリア101内におけるオブジェクト310の位置情報(オブジェクト310までの距離情報も含んでいてもよい)を少なくとも含む。なお、この情報取得工程において、判定部21は、操作情報取得部40を介した操作検出部41から自車両1の操作情報や、入出力インターフェース70を介した外部機器(ナビゲーションシステム500、クラウドサーバー600、車両ECU700)からの情報を含む各種情報などを取得してもよい。
【0034】
続いて、ステップS20(判定工程)において、判定部21は、ステップS10で取得した各種情報に基づいて、移動画像200の移動条件が成立したかを判定する。例えば、判定部21は、操作情報取得部40が運転者の右車線に進路を変更するウィンカの操作情報をステップS10で取得した場合、自車両1の前方を走行する第1のオブジェクト311(
図5(a)参照)に対する前記報知優先度より、自車両1の右車線を走行する第2のオブジェクト312(
図5(b)参照)に対する前記報知優先度を高くして、移動条件が成立したと判定する。
【0035】
移動条件が成立しなかった場合(ステップS20でNO)、表示処理部22は、移動画像200を第1のオブジェクト311から離れる方向に移動させずに表示を更新する(ステップS30)。言い換えると、表示処理部22は、移動画像200が関連付けられたオブジェクト310を変更せずに維持する。ここでいう「移動画像200をオブジェクト310から離れる方向に移動させない」とは、単に、HUD装置100の表示エリア101内での移動画像200が表示される位置(座標)を変更させないことだけではなく、オブジェクト310の位置に追従させて移動画像200の位置を変化させ続けることも含む。
【0036】
移動条件が成立した場合(ステップS20でYES)、ステップS40(情報画像更新工程)に移行し、表示処理部22又は情報画像決定部22bは、ステップS10で入力した各種情報に基づき、第2のオブジェクト312に関連する第2情報画像212を決定し、画像生成部24が表示データを生成し、情報画像210を第1情報画像211から第2情報画像212に切り替える。表示処理部22又は情報画像決定部22bは、例えば、情報画像210を、第1のオブジェクト311に関連する第1情報画像211である『前方注意』(
図5(a)参照)から第2のオブジェクト312に関連する第2情報画像212である『右側注意』(
図5(b)参照)に切り替える。
【0037】
続いて、ステップS50(移動工程)に移行し、表示処理部22又は移動経路決定部22aは、第2のオブジェクト312の位置に基づいて、移動画像200が第2のオブジェクト312に近付く(言い換えると、移動画像200が第1のオブジェクト311から離れる)ように移動経路400を決定し、画像生成部24が表示データを生成し、情報画像210を移動経路400に沿って移動させる。例えば、表示処理部22又は移動経路決定部22aは、現在、移動画像200が表示されている位置を移動始点401に設定し、第2のオブジェクト312の位置を基準に決定される所定位置を移動終点402に設定し、これら移動始点401と移動終点402とを結ぶ線分を移動経路400に決定する。
【0038】
なお、ステップS40とS50は、順不同に実行されても同時に実行されてもよいが、処理ユニット20又は表示処理部22は、移動画像200の移動(ステップS50(移動工程))が完了するまでに、情報画像210の第2情報画像212への切り替え(ステップS40(情報画像更新工程))を完了させることが好ましい。言い換えると、移動画像200が移動経路400に沿って移動する最中、又は移動を開始する前に情報画像210の切り替えが完了することが好ましい。これによれば、移動画像200が移動する前に、新たな情報画像210(第2情報画像212)が視認できるため、より早く情報画像210が意図する行動を取ることが可能となる。
【0039】
(第2の実施形態)
次に、
図4,
図6を参照して、第2の実施形態を説明する。第2の実施形態では、移動画像200を、移動始点401から移動中継点403を経由して(第1移動行程)から移動終点402に移動させる(第2移動行程)点で上記実施形態とは異なる。
図6は、第2の実施形態の移動画像200の表示例を示す図である。
図6(a)は、移動させる前の移動画像200の表示例を示し、
図6(b)は、移動始点401から移動中継点403に移動する移動画像200の表示例を示し、
図6(c)は、移動中継点403から移動終点402に移動する移動画像200の表示例を示す。
【0040】
まず、判定部21は、
図4のステップS10で自車両1の周辺300のオブジェクト310のオブジェクト情報を取得し、移動条件が成立していない場合(ステップS20でNO)、ステップS30で表示を更新する。処理ユニット20又は表示処理部22は、自車両1の前方に位置する第1のオブジェクト311に対する報知優先度が高い場合、
図6(a)に示すように、第1のオブジェクト311に関する第1情報画像211を含む移動画像200を表示させる。
【0041】
その後、再び、判定部21は、
図4のステップS10で自車両1の周辺300のオブジェクト310のオブジェクト情報を取得し、自車両1の前方に位置する第1のオブジェクト311に対する報知優先度より、他の第2のオブジェクト312に対する報知優先度が高くなった場合(又は第1のオブジェクト311に対する報知優先度が所定の閾値より低くなった場合)に、移動画像200の移動条件が成立したと判定する(
図4のステップS20でYES)。続いて、ステップS40で、情報画像決定部22bが、第2のオブジェクト312に関する第2情報画像212を決定し、情報画像210を第1情報画像211(
図6(a)の『前方注意』)から第2情報画像212(
図6(b)の『右側注意』)に切り替え、ステップS50で、移動経路決定部22aが、移動始点401から移動中継点403に向かう第1の移動経路410を決定し、処理ユニット20又は表示処理部22は、
図6(b)に示すように、移動画像200を第1の移動経路410に沿って移動中継点403に移動させる。
【0042】
さらにその後、判定部21は、
図4のステップS110で自車両1の周辺300のオブジェクト310のオブジェクト情報を取得し、第2のオブジェクト312に対する報知優先度がさらに高くなり、所定の閾値を超えた場合に、移動画像200の移動条件が成立したと判定する(
図4のステップS120でYES)。続いて、ステップS140で、情報画像決定部22bが、情報画像210を更新するが、情報画像210が以前の処理(ステップS40)により、既に、第2のオブジェクト312に関する第2情報画像212に変化した状態なので、実質的に処理が省略され、ステップS150で、移動経路決定部22aが、移動中継点403から移動終点402に向かう第2の移動経路420を決定し、
図6(c)に示すように、移動画像200を第2の移動経路420に沿って移動終点402に移動させる。
【0043】
なお、上記実施形態では、移動始点401から移動中継点403に向かう時と、移動中継点403から移動終点402に向かう時との双方で、それぞれ個別の移動条件を判定していた(
図4のステップS20とS120との双方を実行していた)が、移動中継点403から移動終点402に向かう時の判定工程(ステップS120)は省略されてもよい。この場合、移動始点401から移動中継点403に向かう時に、移動条件が満たされれば、移動画像200を移動始点401から移動中継点403を経由した後、自動的に移動中継点403から移動終点402に移動させてもよい。なお、移動画像200は、移動中継点403で、予め定められた時間(例えば10秒)、停止した後に移動終点402に向けて移動させてもよい。
【0044】
移動中継点403は、記憶部23に予め記憶された表示エリア101上の特定の位置であるため、シチュエーション毎に変化する移動始点401と移動終点402との間の移動経路400を移動経路決定部22aが算出すること、又は取られ得る全ての移動始点401と移動終点402との間の全ての移動経路400を記憶部23に予め記憶しておき読み出すことよりも、移動経路決定部22a又は記憶部23にかかる負荷を低減することができる。なお、移動中継点403は、単数に限定されるものではなく、記憶部23に予め記憶された表示エリア101上の複数の位置であってもよい。この場合、移動画像200を元々表示していた位置に応じて、複数の中から最も近い移動中継点403を選択してもよく、第2のオブジェクト312の位置に応じて、複数の中から最も近い移動中継点403を選択してもよい。
【0045】
(第3の実施形態)
次に、
図7,
図8を参照する。第3の実施形態では、移動画像200から第2のオブジェクト312に向けた指示画像250を表示させる点で上記実施形態とは異なる。
図7は、第3の実施形態におけるHUD装置100の主要な動作手順を示すフロー図であり、
図8は、第3の実施形態の移動画像200の表示例を示す図である。
図8(a)は、移動させる前の移動画像200の表示例を示し、
図8(b)は、指示画像250の表示例を示し、
図8(c)は、指示画像250を表示した後、又は指示画像250を表示しながら移動始点401から移動終点402に移動する移動画像200の表示例を示す。
【0046】
図7のステップS210(情報取得工程)において、判定部21は、オブジェクト情報取得部30を介して周辺監視部31からオブジェクト情報を取得し、判定部21は、ステップS210で取得した各種情報に基づいて、移動画像200の移動条件が成立したかを判定する(ステップS220(判定工程))。
【0047】
移動条件が成立しなかった場合(ステップS220でNO)、表示処理部22は、移動画像200を第1のオブジェクト311から離れる方向に移動させずに表示を更新する(ステップS230)。
【0048】
移動条件が成立した場合(ステップS220でYES)、ステップS240(情報画像更新工程)に移行し、表示処理部22又は情報画像決定部22bは、ステップS210で入力した各種情報に基づき、第2のオブジェクト312に関連する第2情報画像212を決定し、画像生成部24が表示データを生成し、情報画像210を第1情報画像211から第2情報画像212に切り替える。表示処理部22又は情報画像決定部22bは、例えば、情報画像210を、第1のオブジェクト311に関連する第1情報画像211である『前方注意』(
図8(a)参照)から第2のオブジェクト312に関連する第2情報画像212である『右側注意』(
図8(b)参照)に切り替える。
【0049】
続いて、ステップS250(指示画像表示工程)に移行し、表示処理部22又は画像生成部24は、第2のオブジェクト312の位置に基づいて、現在、移動画像200が表示してある位置から第2のオブジェクト312を指示するように指示画像250の位置や形状を決定し、画像生成部24が表示データを生成し、指示画像250を表示させる。例えば、表示処理部22は、指示画像250を、現在、移動画像200が表示されている位置から第2のオブジェクト312に向けた波紋状の画像に決定する。なお、指示画像250は、移動画像200と第2のオブジェクト312が存在する位置とを関連付ける画像であればよいので、波紋状の画像に限定されず、例えば、移動画像200と第2のオブジェクト312との間に配置される線分、点線、複数の画像からなる群画像などである。また、指示画像250は、単数又は複数の画像が移動画像200と第2のオブジェクト312との間を移動する動画であってもよく、例えば、波紋が移動画像200から第2のオブジェクト312に向けて移動する動画であってもよい。
【0050】
続いて、ステップS260(移動工程)に移行し、表示処理部22又は移動経路決定部22aは、第2のオブジェクト312の位置に基づいて、移動画像200が第2のオブジェクト312に近付く(言い換えると、移動画像200が第1のオブジェクト311から離れる)ように移動経路400を決定し、画像生成部24が表示データを生成し、情報画像210を移動経路400に沿って移動させる。例えば、表示処理部22又は移動経路決定部22aは、現在、移動画像200が表示されている位置を移動始点401に設定し、第2のオブジェクト312の位置を基準に決定される所定位置を移動終点402に設定し、これら移動始点401と移動終点402とを結ぶ線分を移動経路400に決定する。
【0051】
なお、ステップS260における移動画像200の移動が完了するまでにステップS250の指示画像250が表示されるのであれば、ステップS240~S260は、移動順不同に実行されても同時に実行されてもよいが、処理ユニット20又は表示処理部22は、移動画像200の移動(ステップS260(移動工程))が完了するまでに、情報画像210の第2情報画像212への切り替え(ステップS240(情報画像更新工程))を完了させることが好ましい。これによれば、移動画像200が移動する前に、新たな情報画像210(第2情報画像212)が視認できるため、より早く情報画像210が意図する行動を取ることが可能となる。また、処理ユニット20又は表示処理部22は、情報画像210の第2情報画像212への切り替え(ステップS240(情報画像更新工程))が完了した後に、指示画像250の表示(ステップS250(指示画像表示工程))を開始させることが好ましい。これによれば、情報画像210が切り替わった後に、指示画像250が視認できるため、指示画像250が表示された理由などを情報画像210によりすぐに認識することが可能となる。
【0052】
(第4の実施形態)
次に、
図9,
図10を参照する。第4の実施形態では、移動画像200を、移動始点401から移動中継点403を経由してから移動画像200から第2のオブジェクト312に向けた指示画像250を表示させる点で上記実施形態とは異なる。
図9は、第4の実施形態におけるHUD装置100の主要な動作手順を示すフロー図であり、
図10は、第4の実施形態の移動画像200の表示例を示す図である。
図10(a)は、移動させる前の移動画像200の表示例を示し、
図10(b)は、移動始点401から移動中継点403に移動する移動画像200の表示例を示し、
図10(c)は、指示画像250の表示例を示し、
図10(d)は、指示画像250を表示した後、又は指示画像250を表示しながら移動中継点403から移動終点402に移動する移動画像200の表示例を示す。
【0053】
判定部21は、
図9のステップS310で自車両1の周辺300のオブジェクト310のオブジェクト情報を取得し、自車両1の前方に位置する第1のオブジェクト311に対する報知優先度より、他の第2のオブジェクト312に対する報知優先度が高くなった場合(又は第1のオブジェクト311に対する報知優先度が所定の閾値より低くなった場合)に、移動画像200の移動条件が成立したと判定する(
図9のステップS320でYES)。続いて、ステップS340で、情報画像決定部22bが、第2のオブジェクト312に関する第2情報画像212を決定し、情報画像210を第1情報画像211(
図10(a)の『前方注意』)から第2情報画像212(
図10(b)の『右側注意』)に切り替え、ステップS350で、移動経路決定部22aが、移動始点401から移動中継点403に向かう第1の移動経路410を決定し、処理ユニット20又は表示処理部22は、
図10(b)に示すように、移動画像200を第1の移動経路410に沿って移動中継点403に移動させる。
【0054】
続いて、ステップS360(指示画像表示工程)に移行し、表示処理部22又は画像生成部24は、第2のオブジェクト312の位置に基づいて、現在、移動画像200が表示してある位置(移動中継点403)から第2のオブジェクト312を指示するように指示画像250の位置や形状を決定し、画像生成部24が表示データを生成し、指示画像250を表示させる。
【0055】
さらにその後、判定部21は、
図9のステップS410で自車両1の周辺300のオブジェクト310のオブジェクト情報を取得し、第2のオブジェクト312に対する報知優先度がさらに高くなり、所定の閾値を超えた場合に、移動画像200の移動条件が成立したと判定する(
図9のステップS420でYES)。続いて、ステップS440で、情報画像決定部22bが、情報画像210を更新するが、情報画像210が以前の処理(ステップS340)により、既に、第2のオブジェクト312に関する第2情報画像212に変化した状態なので、実質的に処理が省略され、ステップS450で、移動経路決定部22aが、移動中継点403から移動終点402に向かう第2の移動経路420を決定し、
図10(d)に示すように、移動画像200を第2の移動経路420に沿って移動終点402に移動させる。なお、この移動画像200の移動に際して、指示画像250を非表示にしてもよく、指示画像250を表示させながら移動させてもよい。
【0056】
移動中継点403は、記憶部23に予め記憶された表示エリア101上の特定の位置であるため、シチュエーション毎に変化する移動始点401と移動終点402との間の指示画像250を表示処理部22(画像生成部24)が生成すること、又は取られ得る全ての移動始点401と移動終点402との間の全ての指示画像250を記憶部23に予め記憶しておき読み出すことよりも、表示処理部22又は記憶部23にかかる負荷を低減することができる。なお、移動中継点403は、単数に限定されるものではなく、記憶部23に予め記憶された表示エリア101上の複数の位置であってもよい。この場合、移動画像200を元々表示していた位置に応じて、複数の中から最も近い移動中継点403を選択してもよく、第2のオブジェクト312の位置に応じて、複数の中から最も近い移動中継点403を選択してもよい。
[変形例]
【0057】
なお、本発明は、以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、実施形態及び図面に変更(構成要素の削除も含む)を加えることが可能である。以下に、変形例の一例を記す。
【0058】
上記実施形態では、表示処理部22又は移動経路決定部22aは、第2のオブジェクト312の位置に基づいて、移動経路400を決定していたが、これに限定されない。変形例として、表示処理部22又は移動経路決定部22aは、第1のオブジェクト311の位置に基づいて、第1のオブジェクト311から移動画像200が離れるように移動経路400を決定してもよい。移動画像200が、第1のオブジェクト311から離れるように移動し、かつ、情報画像210を、第1情報画像211から第2情報画像212に切り替えることで、第1のオブジェクト311から視覚的注意を離し、他の位置に存在する第2情報画像212が示す第2のオブジェクト312に注意を向けさせることができる。
【符号の説明】
【0059】
1 :自車両
2 :被投影部
3 :アイボックス
4 :アイポイント
10 :表示器
20 :処理ユニット
21 :判定部
22 :表示処理部
22a :移動経路決定部
22b :情報画像決定部
23 :記憶部
24 :画像生成部
30 :オブジェクト情報取得部
31 :周辺監視部
40 :操作情報取得部
41 :操作検出部
70 :入出力インターフェース(オブジェクト情報取得部、操作情報取得部)
90 :表示制御装置
100 :ヘッドアップディスプレイ装置(HUD装置)
101 :表示エリア
200 :移動画像
210 :情報画像
211 :第1情報画像
212 :第2情報画像
220 :塗り画像
250 :指示画像
300 :周辺
310 :オブジェクト
311 :第1のオブジェクト
312 :第2のオブジェクト
320 :視覚障害物
400 :移動経路
401 :移動始点
402 :移動終点
403 :移動中継点
500 :ナビゲーションシステム(外部機器)
600 :クラウドサーバー(外部機器)
700 :車両ECU(外部機器)
L :表示光
M :表示画像