(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-12
(45)【発行日】2023-12-20
(54)【発明の名称】表示方法、表示装置及び表示システム
(51)【国際特許分類】
G08G 1/16 20060101AFI20231213BHJP
B60K 35/00 20060101ALI20231213BHJP
【FI】
G08G1/16 C
B60K35/00 A
(21)【出願番号】P 2020033779
(22)【出願日】2020-02-28
【審査請求日】2022-11-28
(73)【特許権者】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100077665
【氏名又は名称】千葉 剛宏
(74)【代理人】
【識別番号】100116676
【氏名又は名称】宮寺 利幸
(74)【代理人】
【識別番号】100191134
【氏名又は名称】千馬 隆之
(74)【代理人】
【識別番号】100136548
【氏名又は名称】仲宗根 康晴
(74)【代理人】
【識別番号】100136641
【氏名又は名称】坂井 志郎
(74)【代理人】
【識別番号】100180448
【氏名又は名称】関口 亨祐
(72)【発明者】
【氏名】浅見 美咲
(72)【発明者】
【氏名】丸山 雅紀
【審査官】高島 壮基
(56)【参考文献】
【文献】特開2019-163037(JP,A)
【文献】特開2019-012237(JP,A)
【文献】特開2019-075150(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60K 35/00
B60R 11/02
G08G 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
少なくとも他の移動体、及び固定物を含む物体を検知し
、検知された
前記物体の周囲
に画像を表示する表示装置を備えた移動体における表示方法において、
前記他の移動体を検知した際には、当該他の移動体を注視対象物体として、
当該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した
前記画像を誇張表現して、前記表示装置に表示
し、
前記誇張表現は、前記注視対象物体が移動する移動経路に沿った前記周辺物体の個数を多くした画像を表示する、表示方法。
【請求項2】
少なくとも他の移動体、及び固定物を含む物体を検知し、検知された前記物体の周囲に画像を表示する表示装置を備えた移動体における表示方法において、
前記他の移動体を検知した際には、当該他の移動体を注視対象物体として、当該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した前記画像を誇張表現して、前記表示装置に表示し、
前記誇張表現は、前記注視対象物体が移動する移動経路上の周囲物体について、実際の見掛け上の大きさよりも大きくした画像を表示する、表示方法。
【請求項3】
少なくとも他の移動体、及び固定物を含む物体を検知し、検知された前記物体の周囲に画像を表示する表示装置を備えた移動体における表示方法において、
前記他の移動体を検知した際には、当該他の移動体を注視対象物体として、当該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した前記画像を誇張表現して、前記表示装置に表示し、
前記誇張表現は、前記注視対象物体が移動する移動経路上に、当該注視対象物体に対して輝度に違いがある路面の仮想画像を表示するものであり、更に、
前記注視対象物体に対応した
前記画像として、前記路面の
前記仮想画像に対して輝度に違いがあり、当該注視対象物体と共に移動するマーキング画像を表示する、表示方法。
【請求項4】
請求項1
~3のいずれか1項に記載の表示方法において
、
衝突リスクが高い他の交通参加者を
前記注視対象物体として
、当該注視対象物体に対応した
警告表示画像を虚像表示しない、表示方法。
【請求項5】
少なくとも他の移動体、及び固定物を含む物体を認識する周辺物体認識
部により認識された
前記物体の周囲
に画像を表示する表示装置において、
前記周辺物体認識部で
前記他の移動体を認識した際には、当該他の移動体を注視対象物体として、
当該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した
前記画像を誇張表現して表示させる誇張表現処理部を備
え、
前記誇張表現として、当該注視対象物体が移動する移動経路に沿った当該周辺物体の個数を多くした画像を表示する、表示装置。
【請求項6】
少なくとも他の移動体、及び固定物を含む物体を認識する周辺物体認識部により認識された前記物体の周囲に画像を表示する表示装置において、
前記周辺物体認識部で前記他の移動体を認識した際には、当該他の移動体を注視対象物体として、当該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した前記画像を誇張表現して表示させる誇張表現処理部を備え、
前記誇張表現として、前記注視対象物体が移動する移動経路上の周囲物体について、実際の見掛け上の大きさよりも大きくした画像を表示する、表示装置。
【請求項7】
少なくとも他の移動体、及び固定物を含む物体を認識する周辺物体認識部により認識された前記物体の周囲に画像を表示する表示装置において、
前記周辺物体認識部で前記他の移動体を認識した際には、当該他の移動体を注視対象物体として、当該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した前記画像を誇張表現して表示させる誇張表現処理部を備え、
前記誇張表現として、前記注視対象物体が移動する移動経路上に、当該注視対象物体に対して輝度に違いがある路面の仮想画像を表示するものであり、更に、
前記注視対象物体に対応した前記画像として、前記路面の前記仮想画像に対して輝度に違いがあり、当該注視対象物体と共に移動するマーキング画像を表示する、表示装置。
【請求項8】
自車両
に備えられた表示装置への画像表示を制御し、前記自車両の周辺の他の移動体、及び固定物を含む物体の位置を認識する周辺物体認識
部により認識された前記物体の位置に基づいて、前記物体に対応した画像を
前記物体の周囲
に、前記自車両の運転者に視認されるように、前記表示装置により表示する表示システムにおいて、
前記周辺物体認識部で
前記他の移動体を認識した際には、当該他の移動体を注視対象物体として、
当該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した
前記画像を誇張表現して表示させる誇張表現処理部を備
え、
前記誇張表現として、当該注視対象物体が移動する移動経路に沿った当該周辺物体の個数を多くした画像を表示する、表示システム。
【請求項9】
自車両に備えられた表示装置への画像表示を制御し、前記自車両の周辺の他の移動体、及び固定物を含む物体の位置を認識する周辺物体認識部により認識された前記物体の位置に基づいて、前記物体に対応した画像を前記物体の周囲に、前記自車両の運転者に視認されるように、前記表示装置により表示する表示システムにおいて、
前記周辺物体認識部で前記他の移動体を認識した際には、当該他の移動体を注視対象物体として、当該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した前記画像を誇張表現して表示させる誇張表現処理部を備え、
前記誇張表現として、前記注視対象物体が移動する移動経路上の周囲物体について、実際の見掛け上の大きさよりも大きくした画像を表示する、表示システム。
【請求項10】
自車両に備えられた表示装置への画像表示を制御し、前記自車両の周辺の他の移動体、及び固定物を含む物体の位置を認識する周辺物体認識部により認識された前記物体の位置に基づいて、前記物体に対応した画像を前記物体の周囲に、前記自車両の運転者に視認されるように、前記表示装置により表示する表示システムにおいて、
前記周辺物体認識部で前記他の移動体を認識した際には、当該他の移動体を注視対象物体として、当該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した前記画像を誇張表現して表示させる誇張表現処理部を備え、
前記誇張表現として、前記注視対象物体が移動する移動経路上に、当該注視対象物体に対して輝度に違いがある路面の仮想画像を表示するものであり、更に、
前記注視対象物体に対応した前記画像として、前記路面の前記仮想画像に対して輝度に違いがあり、当該注視対象物体と共に移動するマーキング画像を表示する、表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示方法、表示装置及び表示システムに関し、例えば移動体に適用して好適な表示方法、表示装置及び表示システムに関する。
【背景技術】
【0002】
特許文献1記載の画像表示装置は、車両の進行方向に存在する対象物を検出し、運転者が容易且つ確実に周辺状況を把握できるようにすることを課題としている。
【0003】
当該課題を解決するため、特許文献1に係る画像表示装置は、車両に搭載されたカメラ(1R、1L)により得られる画像から車両の進行方向に存在する対象物を抽出し、その位置を検出する。ヘッドアップディスプレイの表示画面(41)を3つの領域に分割する。中央領域(41a)に、カメラにより得られる画像及び車両の進行方向に設定される接近判定領域内に存在する対象物の強調画像を表示する。右領域(41b)及び左領域(41c)に、接近判定領域より外側に設定される侵入判定領域内に存在する対象物に対応するアイコン(ICR、ICL)を表示する。
【0004】
特許文献2記載の車両用表示装置は、目標物が接近するかどうかを運転者が容易に把握することができる車両用表示装置を提供することを課題としている。
【0005】
当該課題を解決するため、特許文献2に係る画像表示装置は、車両用表示装置(1)に、ヘッドアップディスプレイ(14)と、目標物画像を取得する先行車画像取得装置(11)と、自車両(100)から目標物までの車間距離を測定する車間距離センサ(10)と、当該測定された車間距離と相対速度に基づいて、目標物が自車両(100)に接近するかどうかを判定する接近判定部(12)とを設置する。そして、目標物が自車両(100)に接近すると判定された場合には、当該取得された目標物画像に基づいて、運転者により視認される目標物の実像が拡大されて描かれた拡大画像(15)を生成する。当該生成された拡大画像(15)を、当該実像に重畳させて、意識的な知覚限界値よりも低く、無意識的な知覚の範囲内でヘッドアップディスプレイ(14)に表示させる表示制御部(13)とを備える。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2001-23091号公報
【文献】特開2005-75190号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、移動している直近のもの(車両を含む移動体、歩行者等)や、比較的近くに存在しているもの等よりも、比較的遠方に見えるもの(車両を含む移動体)で、相対速度が速く衝突リスクがある状況においては、当該「衝突リスク」がある「交通参加者」の速度を、より早く知覚させたい場合がある。
【0008】
本発明はこのような課題を考慮してなされたものであり、文字や記号等の警告表示や、例えば注視対象である交通参加者に応じた画像の表示等をするよりも、煩わしさがなく、且つ、上記交通参加者の速度把握、リスク把握を早期に行うことができる表示方法、表示装置及び表示システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様による表示方法は、少なくとも他の移動体、及び固定物を含む物体を検知し、この検知された物体の周囲に、又は重畳して画像を表示する表示装置を備えた移動体(実施例:車両)における表示方法において、前記他の移動体を検知した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して、前記表示装置に表示する。
【0010】
本発明の他の態様による表示装置は、少なくとも他の移動体、及び固定物を含む物体を認識する周辺物体認識部と、該周辺物体認識部により認識された物体の周囲に、又は重畳して画像を表示する表示装置において、前記周辺物体認識部で他の移動体を認識した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して表示させる誇張表現処理部を備える。
【0011】
本発明の他の態様による表示システムは、自車両の周辺の他の移動体、及び固定物を含む物体を検知する対象物の位置を認識する周辺物体認識部と、前記自車両に備えられた表示装置への画像表示を制御し、前記周辺物体認識部により認識された前記物体の位置に基づいて、前記物体に対応した画像を、該虚像が該物体の周囲に、又は重畳して、前記自車両の運転者に視認されるように、前記表示装置により表示する表示システムにおいて、前記周辺物体認識部で他の移動体を認識した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して表示させる誇張表現処理部を備える。
【発明の効果】
【0012】
本発明によれば、文字や記号等の警告表示や、例えば注視対象である交通参加者に応じた画像の表示等をするよりも、煩わしさがなく、且つ、上記交通参加者の速度把握、リスク把握を早期に行うことができる表示方法、表示装置及び表示システムを提供することができる。
【図面の簡単な説明】
【0013】
【
図1】一実施形態による表示方法、表示装置及び表示システムが適用される車両を示すブロック図である。
【
図2】虚像表示装置の一例であるヘッドアップディスプレイ(HUD)の一例を示す構成図である。
【
図3】虚像表示装置の一例であるヘッドマウントディスプレイ(HMD)の一例を示す構成図である。
【
図4】交差点において、前方に対向車(注視対象物体)が近づいている状況を示す表示例を示す図である。
【
図5】
図5Aは、注視対象物体である対向車が走行する移動経路上の車線を太くした画像を表示した例を示す説明図であり、
図5Bは、注視対象物体である対向車が走行する移動経路に沿った周辺物体、例えば街路樹の個数を多くした画像を表示した例を示す説明図である。
【
図6】
図5Aに示す表示処理の一例を示すフローチャートである。
【
図7】
図5Bに示す表示処理の一例を示すフローチャートである。
【
図8】
図8Aは、注視対象物体である対向車が走行する移動経路上に、見掛け上の仮想画像(バーチャル・アイコン)を表示した例を示す説明図であり、
図8Bは、注視対象物体である対向車が走行する移動経路上に、サイズの大きな車両の画像を表示した例を示す説明図である。
【
図9】
図8Aに示す表示処理の一例を示すフローチャートである。
【
図10】
図8Bに示す表示処理の一例を示すフローチャートである。
【
図11】
図11Aは、注視対象物体である対向車が走行する道路を暗色(輝度を極端に下げる)にする誇張表現を表示した例を示す説明図であり、
図11Bは、注視対象物体である人が横断する道路を暗色(輝度を極端に下げる)にする誇張表現を表示した例を示す説明図である。
【
図13】
図13Aは、注視対象物体である対向車が走行する道路を暗色にする誇張表現と、輝度コントラストの高いマーカーを強調表示した例を示す説明図であり、
図13Bは、注視対象物体である人が横断する道路を暗色(輝度を極端に下げる)にする誇張表現と、輝度コントラストの高いマーカーを強調表示した例を示す説明図である。
【発明を実施するための形態】
【0014】
本発明による表示方法、表示装置及び表示システムについて、好適な実施形態を挙げ、添付の図面を参照して以下に詳細に説明する。
【0015】
発明者らは、生物学上のヒトの速度知覚の特性として、以下の(A)、(B)、(C)という特性を活用した。
(A) 注視すべき対象の周囲において、周囲の物体の密集度が高いほど、注視対象の物体の速度を速く感じる。
(B) 注視すべき対象のサイズが比較的大きいものと、比較的小さいものとでは、サイズが比較的小さいものの方が、移動の速度が速く感じられる。
(C) 注視すべき移動対象が、背景に対して高い輝度コントラストを有する場合、低い輝度コントラストの場合に比べ、移動速度を過小評価されない。
【0016】
本実施形態は、上述した(A)、(B)、(C)の特性に基づいて構成したものである。例えば車両に乗車しているユーザ(主に運転者)に注視させたい「注視対象や交通参加者」(具体的には、衝突リスクの高い対向車や歩行者等)の周辺にある物体について、当該「周辺物体」に重畳的に、当該「周辺物体」に対応した画像を誇張表現して、ヘッドアップディスプレイ等に表示する。このとき、上記「注視対象や交通参加者」に応じた画像を重畳表示しない。
【0017】
誇張表現としては、以下の(1)~(6)等に示す画像を後述するヘッドアップディスプレイ等に表示することが挙げられる。
(1)対向車線の車線を太くする。
(2)沿道にある街路樹(樹木)・建物・人等の画像を多く配置する。
(3)直近の対向車について見かけよりも大きい「アイコン」画像をゆっくり動かす。
(4)直近の対向車を示す「バーチャルアイコン」画像をゆっくり動かす。
(5)直近の対向車又は横断歩行者の輝度コントラストが高くなるよう、背景の路面の輝度を暗色にする。
(6)直近の対向車又は横断歩行者の接地位置に、路面との輝度コントラストの高いマーカーを表示する。
【0018】
次に、本実施形態に係る表示方法、表示装置及び表示システムが適用される車両10について、
図1~
図3を参照しながら説明する。
【0019】
車両10は、
図1に示すように、表示制御装置(表示システム)12が備えられている。ここでは、表示制御装置12がナビゲーション装置を兼ねている場合を例に説明するが、これに限定されるものではない。表示制御装置12とナビゲーション装置とが別個に設けられていてもよい。
【0020】
図1に示すように、表示制御装置12には、演算部20と、記憶部22とが備えられている。演算部20は、例えば1つ以上のプロセッサによって構成される。かかるプロセッサとしては、例えば、CPU(Central Processing Unit)等が挙げられる。
【0021】
記憶部22は、揮発性メモリ24Aと、不揮発性メモリ24Bとを含む。揮発性メモリ24Aとしては、例えばRAM(Random Access Memory)等が挙げられる。不揮発性メモリ24Bとしては、例えばROM(Read Only Memory)、フラッシュメモリ等が挙げられる。プログラム、マップ等が、例えば不揮発性メモリ24Bに記憶される。記憶部22は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等を更に含んでもよい。記憶部22には、例えば地図情報データベース26と、学習コンテンツデータベース28Aとが備えられる。
【0022】
表示制御装置12には、例えば測位部30と、HMI(ヒューマン・マシン・インタフェース)32と、走行支援部34と、通信部36とが接続される。
【0023】
測位部30には、GNSS(Global Navigation Satellite System、全地球航法衛星システム)センサ40が備えられている。測位部30には、IMU(Inertial Measurement Unit、慣性計測装置)42と、地図情報データベース44とが更に備えられている。測位部30は、GNSSセンサ40によって得られる情報と、IMU42によって得られる情報と、地図情報データベース44に記憶された地図情報とを適宜用いて、車両10の位置を特定し得る。測位部30は、車両10の位置、即ち、現在位置を示す情報を表示制御装置12に供給する。
【0024】
HMI32は、ユーザ(乗員)による操作入力を受け付けると共に、各種情報をユーザに提供する。HMI32には、例えば、表示部50と、虚像表示装置52と、操作部54と、誇張表現処理部56等が備えられている。虚像表示装置52としては、ヘッドアップディスプレイ(以下、「HUD」と記す)58や光学透過式ヘッドマウント拡張現実ゴーグル、即ち、ヘッドマウントディスプレイ(以下、「HMD」と記す)60等が挙げられる。
【0025】
表示部50は、地図や外部との通信に関する各種情報を視覚的にユーザに提供する。表示部50としては、例えば、液晶ディスプレイ、有機ELディスプレイ等を用い得るが、これに限定されるものではない。
【0026】
虚像表示装置52は、誇張表現処理部56からの情報、即ち、上述した誇張表現による画像(虚像、象徴画像)を例えばフロントパネルに向かって表示する。虚像表示装置52の代表例であるHUD58、HMD60の構成例については、後述する。
【0027】
操作部54は、ユーザによる操作入力を受け付ける。表示部50にタッチパネルが備えられている場合には、当該タッチパネルは操作部54として機能する。操作部54は、ユーザによる操作入力に応じた情報を、表示制御装置12に供給する。
【0028】
走行支援部34は、車両10の周辺を撮像する複数のカメラ62と、車両10の周辺に存在する物体を検知する複数のレーダ64等を有する。
【0029】
通信部36は、外部機器との間で無線通信を行う。外部機器には、例えば、サーバ(外部サーバ)70等が含まれる。サーバ70には、例えば、学習コンテンツデータベース28Bが備えられる。通信部36とサーバ70との間の通信は、インターネット等のネットワーク72を介して行われる。
【0030】
表示制御装置12の演算部20には、制御部80と、目的地設定部82と、走行経路設定部84と、周辺物体認識部86と、学習コンテンツ取得部88とが備えられている。これら制御部80と、目的地設定部82と、走行経路設定部84と、周辺物体認識部86と、学習コンテンツ取得部88は、記憶部22に記憶されているプログラムが演算部20によって実行されることによって実現される。
【0031】
制御部80は、表示制御装置12の全体の制御を司る。目的地設定部82は、操作部54等を介して行われるユーザによる操作に基づいて、目的地を設定する。
【0032】
走行経路設定部84は、現在位置に対応する地図情報を、測位部30に記憶された地図情報データベース44から読み出す。なお、現在位置、即ち、車両10の位置を示す情報は、上述したように、測位部30から供給される。走行経路設定部84は、地図情報を用い、現在位置から目的地までの目標経路、即ち、車両10の走行経路を決定する。
【0033】
周辺物体認識部86は、走行支援部34のカメラ62やレーダ64からの情報に基づいて、周辺に存在する物体(周辺物体)を認識する。即ち、周辺物体認識部86は、周辺物体が何であるのかを認識する。具体的には、周辺物体認識部86は、主にカメラ62やレーダ64からの情報に基づいて、揮発性メモリ24Aのうちの画像メモリ(便宜的に「第1画像メモリ90A」と記す)に、撮像した周辺物体の画像を記録する。周辺物体認識部86は、記録された画像に基づいて、周辺物体が車線、街路樹、沿道に居る人、建物等であるかを認識する。
【0034】
周辺物体認識部86での周辺物体の認識は、学習コンテンツ取得部88によって取得された記憶部22の学習コンテンツデータベース28Aやサーバ70の学習コンテンツデータベース28Bに蓄積された様々な周辺物体の情報を教師データとして学習した、学習済み「ニューラルネットワーク」を使用することができる。
【0035】
また、周辺物体認識部86は、認識した1つ以上の周辺物体の種類と、第1画像メモリ90A上の1つ以上の周辺物体の位置(例えばアドレス等)とを、記憶部22の情報テーブル92に記録する。
【0036】
一方、HUD58は、
図2に示すように、車室100の前部と車両10の外部との間にはフロントウインドウが設けられ、そのフロントウインドウ上にフロントパネル102が配置される。フロントパネル102の上端部はルーフ104に接続される。ルーフ104は、互いの前端が接合されるルーフパネル106及びフロントルーフレール108と、ルーフ104の車室100側に位置する内装部材110と、を有する。内装部材110の前部にはサンバイザ112が取り付けられる。一方、フロントパネル102の下部は車室100内のダッシュボード114と対向する。車室100内であってフロントパネル102の周辺にはHUD58が設けられる。
【0037】
HUD58は、ダッシュボード114の内側に設けられるHUDユニット120と、ルーフ104におけるフロントパネル102の近傍に配置される第2反射器122Bと、フロントパネル102の一部である結像部124と、を備える。
【0038】
HUDユニット120は、運転席の正面に配置され、樹脂製の筐体126に収容される投影器128と第1反射器122Aと第3反射器122Cとを有する。筐体126には、内部から外部への光の通過、又は、外部から内部への光の通過を許容する透明の窓130が設けられる。
【0039】
図2に示されるように、本実施形態では、投影器128から結像部124まで投影光P(P1、P2、P3、P4)が伝搬し、結像部124で画像が表示される。
【0040】
ここで、投影光Pの光路上に配置される各光学機器について順に説明する。投影器128は、画像を表示する第1表示パネル132Aと、第1表示パネル132Aを照明する照明部134と、を有する。第1表示パネル132Aは例えば液晶パネルであり、制御装置(不図示)から出力される指令に応じて画面を表示する。照明部134は例えばLEDやプロジェクタである。照明部134が第1表示パネル132Aを照明することにより、第1表示パネル132Aに表示される画像を含む投影光P(P1)が投影器128から出射される。
【0041】
第1反射器122Aは、投影器128から出射される投影光P(P1)の光路上に配置される。第1反射器122Aは、入射する投影光P(P1)を車両10の幅方向に拡大して反射させる凸面鏡である。
【0042】
第2反射器122Bは、筐体126の外部に配置され、且つ、第1反射器122Aで反射される投影光P(P2)の光路上に配置される。第2反射器122Bは、フロントルーフレール108、更に具体的にはフロントルーフレール108の前端部に配置される。第2反射器122Bは、入射する投影光P(P2)を車両10の幅方向に拡大して反射させる凸面鏡である。
【0043】
第3反射器122Cは、第2反射器122Bで反射される投影光P(P3)の光路上に配置される。第3反射器122Cは、入射する投影光P(P3)を車両10の長さ方向及び/又は高さ方向に拡大して反射させる凹面鏡である。
【0044】
結像部124は、第3反射器122Cで反射される投影光P(P4)の光路上に配置され、入射する投影光P(P4)に含まれる画像を車両10の乗員に視認可能に結像するフロントパネル102である。
【0045】
HUD58によると、投影器128から出射された投影光P(P1)は、第1反射器122Aでルーフ104の方向に反射し、窓130を透過して、筐体126の外部に伝搬する。その後、投影光P(P2)は、第2反射器122BでHUDユニット120の方向に反射し、窓130を透過して、再び筐体126の内部に伝搬する。その後、投影光P(P3)は、第3反射器122Cで反射し、窓130を透過して、結像部124に達する。投影光P(P4)に含まれる画像が結像部124で結像されると、運転者の目Eは、光路の長さに応じた遠方に虚像Vを認識する。
【0046】
そして、誇張表現処理部56は、HUD58によって虚像Vとして運転者に認識され得る象徴画像を、第1表示パネル132Aの画像メモリ(便宜的に「第2画像メモリ90B」と記す。)上、情報テーブル92に記録された周辺物体の位置(アドレス)の近傍に描画する。例えば周辺物体が対向車の周辺にある複数の街路樹であれば、例えば各街路樹の画像の間に、象徴画像としての街路樹の画像を描画する。この象徴画像としての街路樹の画像は、上述したように、例えばHUD58によって、虚像Vとして運転者に認識され得る。
【0047】
一方、光学透過式HMD60は、
図3に示すように、ゴーグル内に設置された第2表示パネル132Bと、該第2表示パネル132Bの背面側に設置され、第2表示パネル132Bに照明光を照射する照明部134と、光学透過式の反射ミラー136と、第2表示パネル132Bと反射ミラー136の間に設置された投影レンズ138とを有する。反射ミラー136は、例えば光を半分反射させて半分透過させるため、外の景色が見える。
【0048】
そして、照明部134から出射された光を第2表示パネル132Bを通して、投影レンズ138及び反射ミラー136を介して運転者の目Eに出射することで、第2表示パネル132Bに表示された像が運転者の網膜に直接結像される。これにより、運転者の目Eは、光路の長さに応じた遠方に虚像Vを認識する。
【0049】
従って、誇張表現処理部56は、HMD60によって虚像Vとして運転者に認識され得る象徴画像を、第2表示パネル132Bの画像メモリ(便宜的に「第3画像メモリ90C」と記す。)上、情報テーブル92に記録された周辺物体の位置(アドレス)の近傍に描画する。これにより、上述したHUD58の場合と同様に、第2表示パネル132Bに、各街路樹の画像の間に、象徴画像としての例えば街路樹の画像を描画することで、この象徴画像としての街路樹の画像は、虚像Vとして運転者に認識され得る。
【0050】
次に、誇張表現処理部56による様々な象徴画像の表示形態(第1表示形態~第6表示形態)を
図4~
図14を参照しながら説明する。一例として、
図4に示すように、交差点150において、前方に対向車152が近づいている場合を想定している。
【0051】
[第1表示形態]
第1表示形態は、
図5Aに示すように、注視対象物体である対向車152が走行する移動経路154上の車線156を太くした画像を表示する。この場合、道路が狭く感じられ、注視すべき対象の周囲において、物体の密集度が高いため、注視対象の物体、この例では対向車152の速度が速く感じられる。
【0052】
この表示処理の一例を
図6のフローチャートを参照しながら説明する。
先ず、ステップS1において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
前方に対向車152が存在する場合は、ステップS2に進み、周辺物体認識部86は、対向車152の移動経路上の車線156(
図4参照)を認識する。
【0053】
ステップS3において、誇張表現処理部56は、
図5Aに示すように、対向車152の移動経路上の車線156を太くした画像を作成して、虚像表示装置52(HUD58又はHMD60)に出力する。
【0054】
ステップS4において、虚像表示装置52(HUD又はHMD)は、誇張表現処理部56からの画像を、車両10のフロントパネル102(
図2参照)に向かって出力する。これにより、
図5Aに示すように、対向車152が走行する移動経路154上の車線156に重畳して、該車線を太くした虚像162が表示される。
【0055】
ステップS5において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS1以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
【0056】
[第2表示形態]
第2表示形態は、
図5Bに示すように、注視対象物体である対向車152が走行する移動経路154に沿った周辺物体、例えば街路樹170の個数を多くした画像を表示する。この例では、対向車152の周辺にある複数の街路樹170の画像の間に、象徴画像としての街路樹170aの画像を描画する。この場合、対向車152が移動する移動経路154(道路)に沿って存在する周辺物体(この例では街路樹170)の個数を多く誇張表現した画像を表示することで、道路154が狭く感じられ、注視すべき対象(対向車152)の周囲において物体の密集度が高いため、注視物対象である対向車152の速度が速く感じられる。
【0057】
この表示処理の一例を
図7のフローチャートを参照しながら説明する。
先ず、ステップS101において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
前方に対向車152が存在する場合は、ステップS102に進み、周辺物体認識部86は、対向車152の沿道にある街路樹170を認識する。
【0058】
ステップS103において、誇張表現処理部56は、各街路樹の画像の間に、象徴画像としての街路樹の画像を作成して、虚像表示装置52(HUD58又はHMD60)に出力する。
【0059】
ステップS104において、虚像表示装置52(HUD又はHMD)は、誇張表現処理部56からの画像を、車両10のフロントパネル102に向かって出力する。これにより、
図5Bに示すように、対向車152が走行する移動経路154の沿道にある街路樹170の間に、それぞれ街路樹170aの虚像が表示される。
【0060】
ステップS105において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS101以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
【0061】
[第3表示形態]
第3表示形態は、
図8Aに示すように、注視対象物体である対向車152が走行する移動経路154上に、対向車152についての見掛け上の大きさを違えた他の交通参加者の仮想画像180(例えば注視対象物体である対向車152よりもサイズの大きなバーチャル・アイコン)を、対向車152の速度よりもゆっくりな速度で移動する表示を行う。この場合、仮想画像180の速度がゼロ、即ち、停止状態であってもよい。
図8Aでは、バーチャル・アイコン180として、▽記号を表示した例を示したが、これに限らない。
【0062】
この表示処理の一例を
図9のフローチャートを参照しながら説明する。
先ず、ステップS301において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
【0063】
前方に対向車152が存在する場合は、ステップS302に進み、誇張表現処理部56は、移動する対向車152の前方から、対向車152の進行方向に、仮想画像(バーチャル・アイコン180)が移動する画像を作成して、虚像表示装置52(HUD58又はHMD60)に出力する。この場合、バーチャル・アイコン180がゆっくり移動したり、点滅して移動する画像を作成して虚像表示装置52に出力してもよい。また、上記バーチャル・アイコン180が対向車152の前方あるいは後方で停止した画像を作成して虚像表示装置52に出力してもよい。
【0064】
ステップS303において、虚像表示装置52は、誇張表現処理部56からの画像を、車両10のフロントパネル102に向かって出力する。これにより、
図8Aに示すように、対向車152の進行方向に、バーチャル・アイコン180がゆっくり移動したり、停止したり、点滅しながら移動する虚像が表示される。
【0065】
ステップS304において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS301以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
【0066】
[第4表示形態]
第4表示形態は、
図8Bに示すように、注視対象物体である対向車152が走行する移動経路154上の周囲物体、例えば直近の対向車152についての見掛け上の大きさを大きく(誇張表現)した仮想画像182(例えば注視対象物体である対向車152よりもサイズの大きな車両の画像)を表示する。
【0067】
この表示処理の一例を
図10のフローチャートを参照しながら説明する。
先ず、ステップS401において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
【0068】
前方に対向車152が存在する場合は、ステップS402に進み、誇張表現処理部56は、移動する対向車152の前方から、対向車152の進行方向に、対向車152についての見掛け上の大きさを大きくした仮想画像182が移動する画像を作成して、虚像表示装置52(HUD58又はHMD60)に出力する。この場合、仮想画像182がゆっくり移動する画像を作成して虚像表示装置52に出力してもよい。また、上記仮想画像182が対向車152の前方あるいは後方で停止した画像を作成して虚像表示装置52に出力してもよい。
【0069】
ステップS403において、虚像表示装置52は、誇張表現処理部56からの画像を、車両10のフロントパネル102に向かって出力する。これにより、
図8Bに示すように、対向車152の進行方向に、サイズの大きい仮想画像182がゆっくり移動したり、停止したりする虚像が表示される。
【0070】
ステップS404において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS401以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
【0071】
[第5表示形態]
第5表示形態は、
図11Aに示すように、注視対象物体である対向車152が走行する移動経路154上の周囲物体、例えば直近の対向車152側の道路を暗色(輝度を極端に下げる)にする誇張表現を行う。
【0072】
この表示処理の一例を
図12のフローチャートを参照しながら説明する。
先ず、ステップS501において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
【0073】
前方に対向車152が存在する場合は、ステップS502に進み、誇張表現処理部56は、対向車152が走行する道路を暗色(輝度を極端に下げる)にした誇張表現画像を作成する。
【0074】
その後、ステップS503において、誇張表現処理部56は、上記誇張表現画像を虚像表示装置52(HUD58又はHMD60)に出力する。虚像表示装置52は、誇張表現処理部56からの画像を、車両10のフロントパネル102に向かって出力する。これにより、
図11Aに示すように、対向車152が走行する道路が暗色とされた虚像が表示される。
【0075】
ステップS504において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS501以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
【0076】
なお、上述の処理は、
図11Bに示すように、前方を注視対象物体である人190や動物等が横断する場合も同様で、道路を暗色(輝度を極端に下げる)にする誇張表現を行ってもよい。
【0077】
[第6表示形態]
第6表示形態は、
図13Aに示すように、上述した第5表示形態と同様に、注視対象物体である対向車152が走行する移動経路154上の周囲物体
に、例えば直近の対向車152側の道路を暗色(輝度を極端に下げる)にする誇張表現を行う。更に、対向車152の接地路面中、対向車152に近接した位置に、輝度コントラストの高い(輝度が比較的高い)マーカー192を強調表示する。
【0078】
この表示処理の一例を
図14のフローチャートを参照しながら説明する。
先ず、ステップS601において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
【0079】
前方に対向車152が存在する場合は、ステップS602に進み、誇張表現処理部56は、対向車152が走行する道路154を暗色(輝度を極端に下げる)にした誇張表現画像を作成する。
【0080】
また、誇張表現処理部56は、ステップS603において、対向車152の接地路面中、対向車152に近接した位置に、輝度コントラストの高い(輝度が比較的高い)マーカー192を描画した強調表現画像を作成する。
【0081】
その後、ステップS604において、誇張表現処理部56は、上記強調表示画像を含む誇張表現画像を虚像表示装置52(HUD58又はHMD60)に出力する。
【0082】
このステップS604において、虚像表示装置52は、誇張表現処理部56からの画像を、車両10のフロントパネル102に向かって出力する。これにより、
図13Aに示すように、対向車152が走行する道路154が暗色とされ、更に、対向車152の接地路面中、対向車152に近接した位置に、輝度コントラストの高い(輝度が比較的高い)マーカー192が描画された虚像が表示される。
【0083】
ステップS605において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS601以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
【0084】
なお、上述の処理は、
図13Bに示すように、前方を注視対象物体である人190や動物等が横断する場合も同様で、道路154を暗色(輝度を極端に下げる)にした誇張表現を行い、人190や動物等に近接した位置に、輝度コントラストの高い(輝度が比較的高い)マーカー192を表示した強調表現を行ってもよい。
【0085】
[実施形態のまとめ]
[1] 本実施形態に係る表示方法は、少なくとも他の移動体(対向車152等)、及び固定物(街路樹170等)を含む物体を検知し、この検知された物体の周囲に、又は重畳して画像を表示する表示装置(虚像表示装置52)を備えた移動体(実施例:車両10)における表示方法において、他の移動体を検知した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して、表示装置に表示する。
【0086】
一般に、移動している直近のもの(車両を含む移動体、歩行者等)や、比較的近くに存在しているもの等よりも、比較的遠方に見えるもの(車両を含む移動体、歩行者)で、相対速度が速く衝突リスクがある状況においては、当該「衝突リスク」がある「交通参加者」の速度を、より早く知覚させたいときがある。
【0087】
本実施形態に係る表示方法は、上述の方法により、「ヒトの速度知覚の特性」を利用するので、速度把握、リスク把握を素早くすることができる。文字や記号等の警告表示(「注視対象・交通参加者」に応じた画像表示)をするよりも、煩わしさがなく、且つ、速度把握、リスク把握を素早く行うことができるようになる。
【0088】
[2] 上記表示方法において、当該衝突リスクが高い他の交通参加者を注視対象物体として、該注視対象物体の実像の周囲に、又は重畳して当該注視対象物体に対応した画像を虚像表示しない。
【0089】
これにより、ユーザに注視させたい「注視対象・交通参加者」(車両を含む移動体・歩行者)について、該「注視対象・交通参加者」に応じた画像を、実際の「注視対象・交通参加者」(例:衝突リスクの高い対向車)に重畳表示することがないため、煩わしさを少なくすることができる。
【0090】
[3] 上記表示方法において、誇張表現は、注視対象物体が移動する移動経路上の車線を太くした画像を表示する。
【0091】
注視対象物体が移動する移動経路(道路)上の車線(周辺物体)を太くした画像を表示すると、道路が狭く感じられ、注視すべき対象の周囲において物体の密集度が高いので、注視対象の物体の速度が速く感じられる。
【0092】
[4] 上記表示方法において、誇張表現は、注視対象物体が移動する移動経路に沿った周辺物体の個数を多くした画像を表示する。
【0093】
注視対象物体が移動する移動経路(道路)に沿って存在する周辺物体(街路樹(樹木)、建物、人等)の個数を多く(誇張表現)した画像を表示することで、道路が狭く感じられ、注視すべき対象の周囲において物体の密集度が高いので、注視対象の物体の速度が速く感じられる。
【0094】
[5] 上記表示方法において、誇張表現は、注視対象物体が移動する移動経路上の周囲物体(直近の対向車等)について、実際の見掛け上の大きさよりも大きくした画像を表示する。
【0095】
注視対象物体が移動する移動経路上の周辺物体について実際の見掛け上の大きさよりも大きく(誇張表現)した画像を表示すると、道路が狭く感じられ、注視すべき対象の周囲において、物体の密集度が高いので、注視対象の物体の速度が速く感じられる。
【0096】
[6] 上記表示方法において、誇張表現は、注視対象物体が移動する移動経路上に、当該注視対象物体について見掛け上の大きさを違えた他の交通参加者の仮想画像を表示する。
【0097】
注視対象物体が移動する移動経路上に、当該注視対象物体についての見掛け上の大きさを違えた他の交通参加者の仮想画像(注視対象物体よりも大きなバーチャル・アイコン)を、当該注視対象物体の速度よりもゆっくりな速度(速度ゼロ:即ち、停止状態も含む)で動くように表示すると、注視対象物体の速度が速く感じられる。
【0098】
[7] 表示方法において、前記誇張表現は、前記注視対象物体が移動する移動経路上に、当該注視対象物体に対して輝度に違いがある路面の仮想画像を表示する。移動する注視対象物体と背景の路面との輝度コントラストが高くなるよう、背景の路面の輝度を暗色にすると、低いコントラストの場合に生じることが知られている、移動速度を過小に感じる現象を回避できる。
【0099】
[8] 表示方法において、前記誇張表現は、前記注視対象物体が移動する移動経路上に、当該注視対象物体に対して輝度に違いがある路面の仮想画像を表示するものであり、更に、前記注視対象物体に対応した画像として、前記路面の仮想画像に対して輝度に違いがあり、当該注視対象物体と共に移動するマーキング画像を表示する。注視対象物体と共に移動する、背景の路面との輝度コントラストの高いマーカーを接地面に表示すると、正確に知覚したマーカーの移動速度を参照し、注視対象物の移動速度を過小に感じる現象を回避できる。
【0100】
[9] 本実施形態に係る表示装置は、少なくとも他の移動体、及び固定物を含む物体を認識する周辺物体認識部と、該周辺物体認識部により認識された物体の周囲に、又は重畳して画像を表示する表示装置において、周辺物体認識部で他の移動体を認識した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して表示させる誇張表現処理部を備える。
【0101】
これにより、従来から実施されていた「強調表示」と上述した「誇張表示」とを、同時に実施することができ、煩わしさが比較的少なく、且つ、注視対象物体の速度把握、リスク把握を早期に、即ち、素早く行うことができる。
【0102】
[10] 本実施形態に係る表示システムは、自車両の周辺の他の移動体、及び固定物を含む物体を検知する対象物の位置を認識する周辺物体認識部と、前記自車両に備えられた表示装置への画像表示を制御し、前記周辺物体認識部により認識された前記物体の位置に基づいて、前記物体に対応した画像を、該虚像が該物体の周囲に、又は重畳して、前記自車両の運転者に視認されるように、前記表示装置により表示する表示システムにおいて、前記周辺物体認識部で他の移動体を認識した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して表示させる誇張表現処理部を備える。
【0103】
これにより、従来から実施されていた「強調表示」と上述した「誇張表示」とを、同時に実施することができ、煩わしさが比較的少なく、且つ、注視対象物体の速度把握、リスク把握を早期に、即ち、素早く行うことができる。
【0104】
本発明についての好適な実施形態を上述したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の改変が可能である。
【符号の説明】
【0105】
10…車両 12…表示制御装置
20…演算部 22…記憶部
24A…揮発性メモリ 24B…不揮発性メモリ
32…HMI(ヒューマン・マシン・インタフェース)
34…走行支援部 36…通信部
50…表示部 52…虚像表示装置
54…操作部 56…誇張表現処理部
58…HUD 60…HMD
62…カメラ 64…レーダ
70…サーバ 72…ネットワーク
80…制御部 90A…第1画像メモリ
90B…第2画像メモリ 90C…第3画像メモリ
92…情報テーブル 150…交差点
152…対向車 154…移動経路
156…車線 170、170a…街路樹
180…バーチャル・アイコン 182…仮想画像
190…人や動物等 192…マーカー