(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-21
(45)【発行日】2024-10-29
(54)【発明の名称】表示制御装置、ヘッドアップディスプレイ装置、及び画像の表示制御方法
(51)【国際特許分類】
B60K 35/23 20240101AFI20241022BHJP
G09G 5/00 20060101ALI20241022BHJP
G09G 5/36 20060101ALI20241022BHJP
G09G 5/37 20060101ALI20241022BHJP
G09G 5/377 20060101ALI20241022BHJP
G02B 27/01 20060101ALI20241022BHJP
G02B 30/26 20200101ALI20241022BHJP
H04N 13/359 20180101ALI20241022BHJP
H04N 13/305 20180101ALI20241022BHJP
H04N 13/31 20180101ALI20241022BHJP
H04N 13/346 20180101ALI20241022BHJP
H04N 13/363 20180101ALI20241022BHJP
【FI】
B60K35/23
G09G5/00 510Z
G09G5/00 550C
G09G5/36 500
G09G5/00 520W
G09G5/00 530T
G09G5/37 320
G09G5/00 520V
G09G5/377 110
G02B27/01
G02B30/26
H04N13/359
H04N13/305
H04N13/31
H04N13/346
H04N13/363
(21)【出願番号】P 2020175003
(22)【出願日】2020-10-16
【審査請求日】2023-08-25
(73)【特許権者】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(74)【代理人】
【識別番号】100067356
【氏名又は名称】下田 容一郎
(74)【代理人】
【識別番号】100160004
【氏名又は名称】下田 憲雅
(74)【代理人】
【識別番号】100120558
【氏名又は名称】住吉 勝彦
(74)【代理人】
【識別番号】100148909
【氏名又は名称】瀧澤 匡則
(74)【代理人】
【識別番号】100192533
【氏名又は名称】奈良 如紘
(72)【発明者】
【氏名】板垣 惇平
【審査官】鶴江 陽介
(56)【参考文献】
【文献】国際公開第2016/166887(WO,A1)
【文献】特開2005-067514(JP,A)
【文献】米国特許出願公開第2015/0226965(US,A1)
【文献】特開2019-177718(JP,A)
【文献】特開2004-302643(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60K 35/00-37/20
G02B 27/00-30/60
(57)【特許請求の範囲】
【請求項1】
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置における表示制御を実行する表示制御装置であって、
先方対象物と、前記視認者の側に設定される基準位置との間の距離である対象物距離に基づいて前記虚像の表示態様を制御可能である制御部を有し
、
前記制御部は、
前記対象物距離が閾値を超えるときは、前記視認者の左右の各目に、視差を有する左目用/右目用の各画像を視認させることで、前記虚像を立体的な虚像として表示する3D表示制御を実行し、
前記対象物距離が前記閾値以下のときは、前記視認者の左右の各目に、視差を有さない同一の画像を視認させることで、前記虚像を平面的な虚像として表示する2D表示制御を実行し、
前記先方対象物が複数あるとき、
前記視認者に最も大きく見える先方対象物を選択し、選択された先方対象物について、3D表示/2D表示の切り替えの要否を判定し、
切り替え要と判定されたときは、選択されなかった他の先行対象物についての表示も含めて、一括して表示モードを切り替える、
表示制御装置。
【請求項2】
前記制御部は、
選択された先方対象物について、前記3D表示制御から前記2D表示制御への切り替え、又は前記2D表示制御から前記3D表示制御への切り替えを実行しようとするとき、
前記選択された先方対象物以外の他の先方対象物の表示優先度が、前記選択された先方対象物の表示優先度よりも高い場合は、前記切り替えを実行しない、
請求項1に記載の表示制御装置。
【請求項3】
前記立体的な虚像は、
前記先方対象物の近辺における地面又は地面に相当する面に重畳されるように表示される、請求項1又は2に記載の表示制御装置。
【請求項4】
前記立体的な虚像は、
前記先方対象物の少なくとも一部を囲むように表示される、
請求項3に記載の表示制御装置。
【請求項5】
前記立体的な虚像は、前記先方対象物に重畳される、請求項1又は2に記載の表示制御装置。
【請求項6】
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
前記画像を生成する画像生成部と、
前記画像を表示する表示部と、
前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、
請求項1乃至5の何れか1項に記載の表示制御装置と、
を有するヘッドアップディスプレイ装置。
【請求項7】
画像の表示制御方法であって、
先方対象物と、視認者の側に設定される基準位置との間の距離である対象物距離が閾値を超えるときは、前記視認者の左右の各目に、視差を有する左目用/右目用の各画像を視認させることで、立体的な画像を表示する3D表示制御を実行し、
前記対象物距離が前記閾値以下のときは、前記視認者の左右の各目に、視差を有さない同一の画像を視認させることで、平面的な画像を表示する2D表示制御を実行する、
前記先方対象物が複数あるとき、
前記視認者に最も大きく見える先方対象物を選択し、選択された先方対象物について、3D表示/2D表示の切り替えの要否を判定し、
切り替え要と判定されたときは、選択されなかった他の先行対象物についての表示も含めて、一括して表示モードを切り替える、画像の表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば自動車等の車両に搭載される表示制御装置、ヘッドアップディスプレイ(HUD)装置、及び画像の表示制御方法等に関する。
【背景技術】
【0002】
特許文献1には、両目視差による立体視の原理を利用して、車外情報や車両走行の誘導情報等を3次元のステレオ画像(立体画像)として表示する車載用ステレオ画像表示装置が示されている。特許文献1の[0031]には、発明の効果として、「フロントガラスを通して乗員がみる実際の情景に即した立体感および距離感をもってその画像を認識することができ、乗員に車外情報や誘導情報を的確に与えることができるという利点がある」と記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平7-144578([0004]、[0031]、
図4等)
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明者は、表示器として視差方式3次元ディスプレイを使用し、画像に任意の輻輳角を与えることで運転者に立体像を視認させるヘッドアップディスプレイ装置(ここでは、視差式3DHUD装置と称する)について検討した。その結果として、以下の課題が明らかとなった。
【0005】
視差画像は、運転者側の所定位置から所定の距離だけ離れた地点における仮想的な平面である調整面(結像面)上に結像する。なお、上記の所定距離を「調整距離」と称する。運転者がその調整面上に表示される左目用画像(左目用視差画像)、右目用画像(右目用視差画像)を視認するときは、その調整面に目の焦点(ピント)が合うことになる。
【0006】
一方、運転者は、脳内で左目用画像と右目用画像とを融像して、1つの立体虚像(立体画像)として認識する。この立体虚像が表示される位置(運転者から見た距離)は、その立体虚像についての輻輳角に応じて定まる。運転者側の所定の基準位置から視認者が立体虚像を認識する位置までの距離を「輻輳距離」と称する。
【0007】
輻輳距離は調整距離よりも大きいため、両者は一致しない。言い換えれば、運転者の視点は調整位置に合焦する(ピントが合う)が、虚像は、より遠くの輻輳位置に認識される。この結果、運転者が虚像を認識する輻輳位置は、運転者の目の調整によって実際に焦点が合っている調整位置と合致しないという矛盾が生じる。この矛盾は、輻輳調節矛盾(Vengeance-accommodation conflict:VAC)と呼ばれる。輻輳調整矛盾は、運転者(視認者)に、目の疲れや煩わしさを感じさせる要因となる。
【0008】
よって、上記の視差式3DHUD装置において、例えば、先方対象物である前方車両の位置の路面に、その前方車両を取り囲むように視認される立体的な注意喚起表示を行っているとき、特に、その表示がなされている状態がある程度の時間、継続するときにおいて、運転者に煩わしさ等の違和感を生じさせたり、あるいは、目の疲労を増加させたりする、といった課題が生じる。
【0009】
本発明者によって、このような課題が明らかにされた。上記特許文献1は、この課題やその解決策について何ら言及していない。
【0010】
本発明の目的の一つは、視認者の違和感や視認者の目の疲労等を軽減(低減)することを可能とする表示制御装置、HUD装置(視差式3DHUD装置等)、及び画像の表示制御方法を提供することである。
【0011】
本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
【課題を解決するための手段】
【0012】
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
【0013】
本発明の第1の態様において、表示制御装置は、
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置における表示制御を実行する表示制御装置であって、
先方対象物と、前記視認者の側に設定される基準位置との間の距離である対象物距離に基づいて前記虚像の表示態様を制御可能である制御部を有し、
前記制御部は、
前記対象物距離が閾値を超えるときは、前記視認者の左右の各目に、視差を有する左目用/右目用の各画像を視認させることで、前記虚像を立体的な虚像として表示する3D表示制御を実行し、
前記対象物距離が前記閾値以下のときは、前記視認者の左右の各目に、視差を有さない同一の画像を視認させることで、前記虚像を平面的な虚像として表示する2D表示制御を実行する。
【0014】
第1の態様では、視認者から見て、先方対象物(例えば走行中の前方車両等)が閾値に対応する位置よりも遠くにある場合は、見栄えがよく、臨場感のある3D表示によって、十分な視認性を容易に確保できる。一方、先方対象物までの距離(対象物距離)が閾値以下となった場合は、先方対象物が、3D表示が可能な領域に入ることになり、3次元表現をしてもそのメリットを感じにくい。そこで、2D表示に切り替える。こうすると、輻輳調整矛盾による目の負担はなくなる。また、その表示は、視認者の近くにあることから、ある程度の大きさで視認が可能であり、3D表示をしなくても視認性は確保される。なお、先方対象物という場合の「先方」は、「視認者から距離をおいて先の方(奥の方)に見える」という意味をもつ。
【0015】
このように、先方対象物(前方車両等)に関連付けて視差式3Dの注意喚起マーク等を表示する場合において、先方対象物の対象物距離が、閾値(閾値距離)以下のときは2D表示とすることで、輻輳調整矛盾を無くして目の疲労や違和感を軽減することが可能である。
【0016】
また、2D表示では、目のピントが合っている位置よりも遠くで虚像が視認されるということがなく、先方対象物が視認者に近づいても、虚像が、先方対象物の内部に重なるように視認される不都合が生じにくい。この点でも、視認者の違和感(煩わしく感じることを含む)の低減、抑制による目の疲れの軽減等の効果を奏する。
【0017】
また、3D表示のときは、例えば左右の各目の何れか一方で視点ロスト(視点位置の喪失)が発生すると、正確な立体的な画像を視認できなくなることもあり得る。このことは、違和感や煩わしさの一因となる。2D表示の場合にはこの心配もなく、安定した表示となる。この点でも、視認者の目の疲れや負担は軽減される。
【0018】
なお、先方対象物には広義の障害物が含まれる。ここで、障害物は、移動体としての対象物(前方車両、道路を横切ろうとする人等)の他、静止体としての対象物(駐車中の車両や二輪車、速度を極端に落とした車両、道路上の落下物等)を含めて広義に解釈することもできる。
【0019】
第1の態様に従属する第2の態様において、
前記制御部は、
前記先方対象物が複数あるとき、視認者に最も大きく見える先方対象物を選択し、選択された先方対象物について、3D表示/2D表示の切り替えの要否を判定し、
切り替え要と判定されたときは、選択されなかった他の先行対象物についての表示も含めて、一括して表示モードを切り替えてもよい。
【0020】
第2の態様では、視認者が大きく認識する先方対象物は視認者の視覚に与える影響も大きいため、先方対象物の大きさ(例えば先方対象物の専有面積、あるいは、先方対象物を四角形や円等で置き換えたときの四角形や円のサイズ等)を検出して、最も大きく見える先方対象物について、3D表示/2D表示の切り替えの要否を判定する。切り替え要と判定されたときは、原則的には、表示制御の容易性の観点から、あるいは、視認者に与える違和感を低減する観点から、選択されなかった他の先行対象物についての表示も含めて、一括して表示モードを切り替えるのが好ましい。
【0021】
第2の態様に従属する第3の態様において、
前記制御部は、
選択された先方対象物について、前記3D表示制御から前記2D表示制御への切り替え、又は前記2D表示制御から前記3D表示制御への切り替えを実行しようとするとき、
前記選択された先方対象物以外の他の先方対象物の表示優先度が、前記選択された先方対象物の表示優先度よりも高い場合は、前記切り替えを実行しないようにしてもよい。
【0022】
第3の態様では、選択された先方対象物について3D/2D間の切り替えを行う際に、より高い表示優先度の他の先方対象物がある場合には、その先方対象物の表示を優先させて切り替えを実行しない。例えば、道路を横断しようとする人が、自車両の近くに発見されて安全性の点で緊急度が高いときに、自車両の前を走る前方車両との距離が変化して3D/2Dの変更がなされる状況となっても、緊急度の高い方の表示を優先させ、緊急度の高い表示の不意の表示態様の切り替わりを防止し、視認者に違和感を生じさせないようにすることで、安全性等を確保することができる。
【0023】
第1乃至第3の何れか1つの態様に従属する第4の態様において、
前記立体的な虚像は、
前記先方対象物の近辺における地面又は地面に相当する面に重畳されるように表示されてもよい。
【0024】
第4の態様では、3D表示による立体的な虚像(3D表示、立体表示等)は、先方対象物に直接に重畳されるのではなく、その近辺の下側の地面(路面)等に重畳されるものである。具体的には、その表示は、一例として、間接的に先方対象物についての注意喚起を促す注意喚起表示(あるいは警告表示)である。この表示は、先方対象物に直接に重畳されないため、先方対象物(例えば前方車両)が視認者に近づいてきて、例えば、その先方対象物が3D表示可能範囲に入り込む事態が生じても、立体的な虚像と先方対象物とは分離されて区別可能であり、視覚的な違和感が生じにくい。よって、この点でも視認者の目の負担が軽減される。
【0025】
また、路面等に重畳される表示は、サイズを大きくすることができることが多いと考えられる。よって、2D表示に切り替えたときでも、視認性は確保できると考えられ、3Dから2Dへの切り替えの際にも特に視覚的な違和感は生じない。この点でも視認者の目の負担が軽減される。
【0026】
第4の態様に従属する第5の態様において、
前記立体的な虚像は、
前記先方対象物の少なくとも一部を囲むように表示されてもよい。
【0027】
第5の態様によれば、3D表示による立体的な虚像(3D表示、立体表示等)は、例えば前方の車両の少なくとも一部を取り囲むため、サイズはより大きくなり、見易くなる。また、視認者から見て、手前側から遠方へと延在する部分があるため、遠近感を感得し易く、よって3D表示のときは臨場感が増す。2D表示のときは、サイズが大きいために視認性が十分確保される。
【0028】
第1乃至第3の何れか1つの態様に従属する第6の態様において、
前記立体的な虚像は、前記先方対象物に重畳されてもよい。
【0029】
第6の態様では、3D表示による立体的な虚像(例えば注意喚起表示や警告表示)を、先方対象物に直接的に重畳させることが可能である。前方車両等が自車両に近づいてくると、上述したように、立体的な虚像が前方車両等の内側に入り込むような視覚となって違和感が生じさせることが懸念されるが、本発明によれば、そのような状況下では2D表示に切り替えられているため、上記の問題は生じない。
【0030】
第7の態様において、ヘッドアップディスプレイ装置は、
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
前記画像を生成する画像生成部と、
前記画像を表示する表示部と、
前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、
第1乃至第6の何れか1つの態様の表示制御装置と、
を有する。
【0031】
第7の態様によれば、視差式の立体視(3D)HUD装置における輻輳調整矛盾による目の疲れや違和感を効果的に低減、抑制することができる。さらに、従来の視差式3DHUD装置は、先方対象物が有る程度の位置まで近づくと、3D表示としての虚像が先方対象物の中に入り込んでかえって見づらくなるといった視覚的な課題をもっていたが、本発明では、閾値を適切に設定して、そのような課題が懸念される状況では、2D表示制御に切り替えることで、上記問題を効果的に解消し、先行対象物が有る程度の距離まで自車両に近づいている状態であっても、視認性を確保しつつ、目の疲労や負担を軽減するという効果を得ることができる。よって、HUD装置の性能が向上する。
【0032】
第7の態様に従属する第8の態様において、
画像の表示制御方法であって、
先方対象物と、視認者の側に設定される基準位置との間の距離である対象物距離が閾値を超えるときは、前記視認者の左右の各目に、視差を有する左目用/右目用の各画像を視認させることで、立体的な画像を表示する3D表示制御を実行し、
前記対象物距離が前記閾値以下のときは、前記視認者の左右の各目に、視差を有さない同一の画像を視認させることで、平面的な画像を表示する2D表示制御を実行するようにしてもよい。
【0033】
第8の態様によれば、先方対象物が、視認者からある程度、遠くに位置するときは、3D表示によって立体感、臨場感、距離感のある表示を実現できる。
【0034】
一方、先方対象物が有る程度、視認者に近づいてきたときには、適切に設定した閾値を用いてその状況を検出して、2D表示に切り替えることで、虚像表示が先方対象物に不自然に重なったり、あるいは、片方の目についての視点ロストによって完全な表示が見えなくなったりする課題が生じないようにし、安定した見易い表示を確保することが可能となる。
【0035】
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
【図面の簡単な説明】
【0036】
【
図1】
図1(A)は、視差式3DHUD装置を含む車載システムの構成の一例を示す図、
図1(B)は、輻輳のない2Dによる表示を示す図である。
【
図2】
図2(A)は、自車両の走行中において、前方車両までの距離(対象物距離)が閾値よりも奥側である場合における3D表示の例、及び、対象物距離が閾値以下である場合の2D表示の例を示す図、
図2(B)は、3D表示の詳細を示す図、
図2(C)は、2D表示の詳細を示す図である。
【
図3】
図3(A)、(B)は、3D表示/2D表示を切り替える閾値の設定例を示す図である。
【
図4】
図4(A)、(B)は、先方対象物が複数ある場合における表示制御例を示す図である。
【
図5】
図5(A)は、3D/2D間の切り替えが可能な視差式3DHUD装置の全体構成例を示す図、
図5(B)は、制御部及び画像生成部の構成例を示す図である。
【
図6】表示制御の手順例を示すフローチャートである。
【
図7】
図7(A)は、前方車両に重畳される注意喚起表示(あるいは警告表示)における3D表示の例を示す図、
図7(B)は、2D表示の例を示す図である。
【発明を実施するための形態】
【0037】
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【0038】
図1を参照する。
図1(A)は、視差式3DHUD装置を含む車載システムの構成の一例を示す図、
図1(B)は、輻輳のない2Dによる表示を示す図である。
【0039】
なお、
図1(A)、(B)において、視認者の左右の目E1、E2を結ぶ線分に沿う方向(言い換えれば車両1の幅方向)を左右方向(あるいは横方向:X方向)とし、左右方向に直交すると共に、地面又は地面に相当する面(ここでは路面6とする)に直交する線分に沿う方向を上下方向(あるいは高さ方向:Y方向)とし、左右方向及び上下方向の各々に直交する線分に沿う方向(車両1の前進及び後退の向きを示す方向)を前後方向(Z方向)とする。正のZ方向を前方、負のZ方向を後方とする。この点は、他の図面(
図2、
図3、
図4、
図7)においても同様である。
【0040】
図1(A)の、車両(自車両)1に備わる車載システムは、運転者(視認者)の左目ELと右目ERの視線方向や位置を検出する瞳(あるいは顔)検出用の瞳検出カメラ43と、前方(広義には周囲)撮像カメラ(例えばステレオカメラ)45と、画像処理部46(測距部47、対象物種類/サイズ検出部48を含む)と、HUD装置100と、通信部(GPS通信や車々間通信等の機能を有する)123と、車両1に関する各種情報(例えば照明のオン/オフ情報、車速情報、エンジンに関する情報等)を収集可能なECU120と、を有する。必要に応じて、さらに測距手段としてのレーダー部125等を備えてもよい。
【0041】
なお、画像処理部46に含まれる測距部47は、例えば、撮像カメラ45としてのステレオカメラで撮像した左右一対の元画像を参照し、例えば、各画像の対応点を探索するステレオマッチングにより同一物体(先方対象物とする)に対する視差を検出し、この視差に基づく三角測量の原理により先方対象物までの測距を測定する。また、レーダー部125は、電波を対象物(先方対象物)に向けて発射し、その反射波を測定することにより、対象物(先方対象物)までの距離や方向を測定する。HUD装置100の情報取得部119は、適宜、測定された距離情報等は取得し、立体表示装置111の制御部701に供給する。
【0042】
HUD装置100は、例えばダッシュボード(
図1では不図示、
図2(A)の符号41)内に設置される。このHUD装置100は、立体表示装置111と、光学系116と、光出射窓118と、情報取得部119と、を有する。情報取得部119は、通信部127、ECU120、レーダー部125、及び画像処理部46等から、種々の情報を取得することができる。
【0043】
立体表示装置111は、ここでは視差式3D表示装置とする。この立体表示装置(視差式3D表示装置)111は、画像生成部112と、画像表示部(液晶表示装置等であり、画像を表示する画像表示面を有する)113と、レンチキュラレンズやパララックスバリア(視差バリア)等を有し、画像表示面から出射される光を、左右の各目用の光線に分離する光線分離部114と、制御部701と、を有する。
【0044】
制御部701は、例えば画像生成部(具体的には例えば画像レンダリング)112、画像表示部113の動作を制御することができ、また、2D表示/3D表示を切り替えることが可能である。また、制御部701は、表示制御装置(
図1(A)では不図示、
図5(A)の符号700)の構成要素として設けてもよい。
【0045】
光学系116は、光線分離部114からの光を反射し、画像の表示光K1、K2を、ウインドシールド(被投影部材)2に投影する曲面ミラー(凹面鏡等)117を有する。但し、その他の光学部材(レンズ、補助反射鏡等)を、さらに有してもよい。
【0046】
図1(A)では、HUD装置100の立体表示装置111によって、左右の各目用の、視差をもつ画像(視差画像)が表示される。各視差画像は、
図1(A)に示されるように、調整面(結像面)PSに結像した虚像25L、25Rとして表示される。視認者(人)の各目のピントは、調整面PSの位置に合うように調整される。なお、調整面PSの位置を、「調整位置」と称し、また、所定の基準位置から調整面PSまでの距離(
図2(B)、(C)の符号D1を参照)を調整距離と称する。
【0047】
但し、実際は、人の脳が、各画像(虚像)を融像するため、人は、調整位置よりもさらに奥側である位置(輻輳角によって定まる位置であり、これを「輻輳位置」と称する)における輻輳面VSに、立体的な虚像(ここでは、ナビゲーション用の矢印の図形)27が表示されているように認識する。なお、立体的な虚像27は、「立体虚像」と称される場合があり、また、「画像」を広義に捉えて虚像も含まれるとする場合には、「立体画像」と称することもできる。また、「立体像」、「3D表示」等と称される場合がある。
【0048】
HUD装置100における制御部701は、測距部47、レーダー部125の少なくとも一方により測定された、運転者(視認者側)に設けられる基準点(基準位置)から対象物(先方対象物)までの距離(実測距離という)を、所定の閾値と比較することで、2D表示/3D表示を切り替えることができる。基準位置としては、例えば、運転者の視点位置や、車両1の一部に設定される基準点が挙げられる。
【0049】
2D表示制御が実行された場合には、
図1(B)のように、調整面(結像面)PSにおいて、平面的な虚像29(ナビゲーション用の矢印の図形)が表示される。なお、平面的な虚像は、「平面虚像」、「平面画像」、「2次元画像」、「2次元表示」等と称される場合がある。
【0050】
次に、
図2を参照する。
図2(A)は、自車両の走行中において、前方車両までの距離(対象物距離)が閾値よりも奥側である場合における3D表示の例、及び、対象物距離が閾値以下である場合の2D表示の例を示す図、
図2(B)は、3D表示の詳細を示す図、
図2(C)は、2D表示の詳細を示す図である。
【0051】
図2(A)において、車両1は、直線状の道路(路面)6を走行している。前方には、先方対象物(広義の障害物)としての車両(前方車両)200が見えている。なお、周囲撮像カメラ45にて後方を撮像して後方車両等を検出し、その後方車両等の画像(虚像)を表示領域(HUD表示領域)3の例えば右下に表示するような場合には、その後方車両が、先方対象物となり得る。先方対象物という場合の「先方」は、「視認者から距離をおいて先の方(奥の方)に見える」という意味をもつ。
【0052】
また、表示領域(HUD表示領域)3は、典型的には、
図1(A)の調整面(結像面)PSが表示される仮想的な領域である。HUD装置100は、ダッシュボード41内に設置されている。
【0053】
また、
図2(A)の表示例では、先方対象物(前方車両)200の近辺における路面(地面に相当する面)6に重畳されるように、立体的な虚像としての注意喚起表示300が表示されている。注意喚起表示300の表示態様は、先方対象物200の対象物距離が閾値を超えているか否かに応じて切り替えられる(但し、運転シーンによっては、切り替えられない場合もあり得る)。超えている場合は3D表示(
図2(B)参照)となり、以内の場合は2D表示(
図2(C)参照)となる。
【0054】
なお、対象物距離は、運転者(視認者)5側の基準位置(例えば、運転者5の視点位置や自車両1の特定位置)を基準とした先方対象物までの距離であり(
図2(B)、(C)の符号D4a、D4bを参照)、言い換えれば、基準位置と先方対象物との間の距離である。
【0055】
また、
図2(A)において、実線で示される、奥側の注意喚起表示300(3D)は、3D表示であることを示し、破線で示される、手前側の注意喚起表示300(2D)は、2D表示であることを示す。
【0056】
具体的には、表示領域3(調整面PS)は、上記の基準位置から例えば「5m」の距離に設定され、3D表示/2D表示の切り替えの基準となる閾値は、例えば「7m」に設定されている。但し、これは一例であり、限定されるものではない。
【0057】
図2(A)先方対象物(前方車両)200が、上記の基準位置から例えば8mの距離にあるとすると、対象物距離が閾値(7m)を超えるため3D表示となり、例えば6mの距離にあるとすると、対象物距離が閾値(7m)以下という条件を満たすため、2D表示となる。
【0058】
3D/2Dの切り替えについて、
図2(B)、(C)を用いて説明する。
図2(B)、(C)において、注意喚起表示310は、先方対象物(前方車両)200の横幅と同等の長さをもつ部分円弧状のマークである(但し、これは一例であり、
図2(A)と同様のマークを採用することもできる)。
【0059】
図2(B)では、対象物距離D4a(例えば8m:輻輳角θ1によって定まる)は、閾値Lth(例えば7m)よりも大きい。言い換えれば、先方対象物200は、閾値Lthよりも遠方にある。この場合には、3D表示制御によって立体的な虚像としての注意喚起表示310(3D)が表示される。
【0060】
また、基準位置(ここでは視点位置とする)から調整面(結像面)PSまでの調整距離はD1(例えば5m)であり、調整面PS(の表示領域3)には、左右の各目用の視差画像31L、31Rが結像している。
【0061】
視認者(運転者)は、注意喚起表示310(3D)を、輻輳距離D2の位置(輻輳位置)にある輻輳面VS上にて視認する。立体虚像310(3D)の輻輳角はθ1である。距離D3は、調整距離D1と輻輳距離D2aとの差に相当する、輻輳調整矛盾の原因となる距離である。なお、
図2(B)において、R1は、基準点から閾値(閾値距離)Lthだけ離れた位置(閾値に対応する位置)を示す。
【0062】
図2(C)では、
図2(B)と比較して、先方対象物200は視認者(運転者)の近方に位置する。対象物距離D4bは例えば5mであり、閾値Lth(7m)よりも小さい。よって、
図2(C)の場合は2D表示となり、視差のない画像としての注意喚起表示310(2D)が、調整面PSの表示領域3に表示される。
図2(C)の例では、輻輳調整矛盾は生じない。
【0063】
図2(A)、(B)の実施形態では、視認者5から見て、先方対象物(例えば走行中の前方車両等)200が閾値Lthに対応する位置R1よりも遠くにある場合(言い換えれば対象物距離D4aが閾値Lthを超える場合)は、見栄えがよく、臨場感のある3D(立体)表示によって、十分な視認性を容易に確保できる。一方、先方対象物200の対象物距離D2bが閾値Lth以下となった場合は、先方対象物200が、3D表示が可能な領域に入ることになり、3次元表現をしてもそのメリットを感じにくい。そこで、2D(2次元)表示に切り替える。こうすると、輻輳調整矛盾による目の負担はなくなる。
【0064】
このように、先方対象物(前方車両等)に関連付けて視差式3Dの注意喚起マーク等を表示する場合において、先方対象物の対象物距離が、閾値(閾値距離)以下のときは2D表示とすることで、輻輳調整矛盾を無くして目の疲労や違和感を軽減することが可能である。
【0065】
また、
図2(A)の破線で示される注意喚起表示300(2D)、あるいは
図2(C)の注意喚起表示310(2D)は、視認者の近くにあることから、ある程度の大きさで視認が可能であり、3D表示をしなくても視認性は確保される。
【0066】
また、2D表示では、目のピントが合っている位置よりも遠くで虚像が視認されるということがなく、先方対象物が視認者に近づいても、虚像が、先方対象物の内部に重なるように視認される不都合が生じにくい。この点でも、視認者の違和感(煩わしく感じることを含む)の低減、抑制による目の疲れの軽減等の効果を奏する。
【0067】
また、3D表示のときは、例えば左右の各目の何れか一方で視点ロスト(視点位置の喪失)が発生すると、正確な立体的な画像を視認できなくなることもあり得る。このことは、違和感や煩わしさの一因となる。2D表示の場合にはこの心配もなく、安定した表示となる。この点でも、視認者の目の疲れや負担は軽減される。
【0068】
なお、先方対象物には広義の障害物が含まれる。ここで、障害物は、移動体としての対象物(前方車両、道路を横切ろうとする人等)の他、静止体としての対象物(駐車中の車両や二輪車、速度を極端に落とした車両、道路上の落下物等)を含めて広義に解釈することもできる。
【0069】
また、
図2(A)に示される立体的な虚像としての注意喚起表示300、ならびに、
図2(B)に示される立体的な虚像としての注意喚起表示310は、先方対象物200に直接に重畳されるのではなく(但し、直接的な重畳が排除されるわけではない:
図7参照)、その近辺の下側の路面6に重畳される表示(路面重畳表示と称する)である。言い換えれば、間接的に先方対象物200についての注意喚起を促す注意喚起表示(あるいは警告を発する警告表示)としての機能をもつ
【0070】
この表示は、先方対象物(前方車両)200に直接に重畳されないため、先方対象物が視認者5に近づいてきて、例えば、その先方対象物200が3D表示可能範囲に入り込む事態(但し、閾値Lthよりも遠くにあって3D表示は維持されるものとする)が生じても、立体的な虚像と先方対象物とは分離されて区別可能であり、視覚的な違和感が生じにくい。よって、この点でも視認者の目の負担が軽減される。
【0071】
また、路面等に重畳される表示は、サイズを大きくすることができることが多いと考えられる。例えば、
図2(B)における注意喚起表示310の横幅は、前方車両200の横幅と同程度であり、かなり大きい表示である。
図2(A)の場合も同様である。よって、2D表示に切り替えたときでも、視認性は確保できると考えられ、3Dから2Dへの切り替えの際にも特に視覚的な違和感は生じない。この点でも、視認者の目の負担が軽減される。
【0072】
また、
図2(A)の注意喚起表示(立体的な虚像)300は、先方対象物200の少なくとも一部を囲むように表示されている。その形状は、路面6に垂直な方向(上側)から見た平面視で、部分円環状(あるいは部分楕円状)である。但し、これに限定されるものではなく、円環状あるいは楕円状であってもよい。なお、
図2(B)、(C)における注意喚起表示300の形状は、先方対象物200を囲まない部分円弧(直線的な印象を与える図形)であるが、これに限定されるものではない。例えば、視認者5から見て、手前側から遠方側へと延在する部分(言い換えれば、先方対象物200を左右から挟むように延在する部分)を設けてもよい。
【0073】
立体的な虚像が、先方対象物200の少なくとも一部を取り囲むようにすると、サイズはより大きくなり、見易くなる。3D表示のときは臨場感が増し、また、2D表示のときは視認性が十分確保され、視覚的な違和感も十分に抑制可能である。
【0074】
以上の例は、立体的な表示が対象物に直接的に重畳されない場合(例えば路面重畳表示の場合)であるが、対象物に直接的に重畳される表示(対象物重畳表示)が排除されるものではない。言い換えれば、立体的な虚像は、先方対象物に重畳されてもよい。
【0075】
ここで、
図7を参照する。
図7(A)は、前方車両に重畳される注意喚起表示(あるいは警告表示)における3D表示の例を示す図、
図7(B)は、2D表示の例を示す図である。なお、
図7(A)、(B)の例では、注意喚起表示(警告表示)は、三角形の図形の内部に感嘆符を描いた画像であり、前方車両202の後端面に重畳されるように表示される。
【0076】
図7(A)に示されるように、3D表示による立体的な虚像(注意喚起表示あるいは警告表示)302(3D)を、先方対象物(前方車両)202に直接的に重畳させることが可能である。
【0077】
前方車両202が自車両1に近づいてくると、上述したように、立体的な虚像が前方車両202の内側に入り込むような視覚となって違和感が生じることが懸念されるが、本発明によれば、そのような状況下では、
図2(B)に示されるように、2D表示に切り替えられているため(言い換えれば、302(2D)が表示されているため)、上記の問題は生じない。
【0078】
次に、
図3を参照する。
図3(A)、(B)は、3D表示/2D表示を切り替える閾値の設定例を示す図である。
図3において、前掲の図と共通する部分には同じ符号を付している(他の図においても同様である)。
図3(A)、(B)において、符号21で示される領域(砂模様が付されている領域)は、視差式3D表示が可能な領域(視差式3D表示可能領域)である。
【0079】
図3(A)は、閾値の好ましくない設定例を示す。
図3(A)において、D1は、視点Eの位置から調整面(結像面)PSまでの距離である調整距離を示し、Lth1は、閾値距離を示し、R1は、閾値に対応する位置(閾値の設定位置)を示し、R2は、視差式3D表示が可能な領域21の先端位置(奥側の位置)を示し、Z1は、実際の3D表示に使用可能な領域を示す。
【0080】
図3(A)では、閾値に対応する位置R1が、視認者から見て、視差式3D表示が可能な領域21の先端位置(奥側の位置)R2よりも遠くに設定されている。先方対象物である前方車両200は、閾値に対応する位置R1よりも手前側に位置している。この状態では、2D表示に切り替えられてしまう。言い換えれば、本来は、領域Z1を利用して、適切な視差式3D表示が可能であるにもかかわらず、2D表示しか許容されないことになる。よって、好ましい設定例とはいえない。
【0081】
領域Z1を利用して適切な視差式3D表示を行うためには、閾値Lth1は、視差式3D表示が可能な領域21の先端位置(奥側の位置)R2の内側(R2の位置を含めることができる)に設定するのがよい。一方、視差式3D表示(3D像)は、調整面PSよりも距離D3だけ奥側において視認されることから、適切な3D表示を先方対象物の付近になすためには、先方対象物は、少なくとも調整距離D1に距離D3を加えた距離よりも遠くにあるのが好ましい。
【0082】
これらの点を考慮して、
図2(B)の好ましい閾値設定例では、閾値に対応する位置R1は、視差式3D表示が可能な領域21の先端位置R2よりも手前側(R2の位置を含んでもよい)で、かつ、3D像が認識される位置(調整距離D1に距離D3を加えた虚像認識位置)よりも奥側(但し、虚像認識位置を含んでもよい)に設定している。
【0083】
次に、
図4を参照する。
図4(A)、(B)は、先方対象物が複数ある場合における表示制御例を示す図である。
図4(A)の例では、前方車両200、及び道路を横切ろうとしている人250が、運転者(視認者)5に視認される状態である。
【0084】
また、前方車両200に対して、注意喚起表示としての部分円環形状の路面重畳表示300(3D)が立体的に表示され、人250に対しては、注意喚起表示(警告表示)としての強調枠400(3D)が立体的に表示されているものとする。
【0085】
先方対象物が2つある状態といえる。このとき、3D表示/2D表示の切り替えの基準とする先方対象物は、視認者5に最も大きく見える先方対象物である前方車両200とすることができる。言い換えれば、先方対象物が複数あるとき、視認者に最も大きく見える先方対象物を選択し、その選択された先行対象物について、3D表示/2D表示の切り替えの要否を判定してもよい。
【0086】
視認者5が大きく認識する先方対象物は視認者5の視覚に与える影響も大きいため、例えば、先方対象物200、250の大きさ(例えば先方対象物の専有面積、あるいは、先方対象物を四角形や円等で置き換えたときの四角形や円のサイズ等)を検出して、最も大きく見える先方対象物について、3D表示/2D表示の切り替えの要否判定を行う。なお、先方対象物の大きさを判定する処理は、例えば、
図1(A)における対象物種類/サイズ検出部48が実行する。
【0087】
また、切り替え要と判定されたときは、原則的には、他の先行対象物についての表示も含めて、一括して表示モードを切り替えるのが好ましい。例えば、
図4(A)において、先方車両300が閾値よりも手前側に位置する状態となって、この結果として、3D表示/2D表示の切り替えが実行されたときは、表示制御を容易化する観点から、及び、視認者5に与える違和感を抑制する観点から、人250についての強調枠400も同様に、3Dから2Dへの表示モードの切り替えが実行されるのが好ましい。但し、これは原則であり、例外がある(例えば
図4(B))。
【0088】
図4(B)の例は、先方対象物が2つ(複数)ある点は、
図4(A)と共通する。但し、
図4(B)では、人250と自車両1との距離が、
図4(A)よりも小さく、危険性が増した状態である。言い換えれば、人250についての強調枠400の表示優先度(表示緊急度)が、前方車両200の注意喚起表示300の表示優先度(表示緊急度)よりも高い状態である。
【0089】
このような場合に、強調枠400について、前方車両200の注意喚起表示300の表示モードの切り替えに同期させて表示モードを強制的に切り替えることは、視認者5に違和感を与えて、適正な判断を遅らせることにもなりかねない。よって、注意喚起表示300及び強調枠250の表示モードの切り替えは実行しないのが好ましい。
【0090】
言い換えれば、選択された先方対象物について、3D表示制御から2D表示制御への切り替え、又は2D表示制御から3D表示制御への切り替えを実行しようとするとき、その選択された先方対象物以外の他の先方対象物の表示優先度(表示緊急度)が、先方対象物の表示優先度(表示緊急度)よりも高い場合は、表示モードの切り替えを実行しないこととして、安全性を確保することができる。
【0091】
次に、
図5を参照する。
図5(A)は、3D/2D間の切り替えが可能な視差式3DHUD装置の全体構成例を示す図、
図5(B)は、制御部及び画像生成部の構成例を示す図である。
図5(A)において、
図1(A)と共通する部分には同じ符号を付している。
【0092】
視差式3DHUD装置は、立体表示装置111と、光学系116と、情報取得部119とを備える。立体表示装置111は、表示制御装置700と、画像生成部112と、表示部113と、アクチュエータ179とを有する。アクチュエータ179は、例えば、光学系116に含まれる曲面ミラー(凹面鏡等)117の向きを変更するために使用可能である。
【0093】
表示制御装置700は、制御部701を有する。制御部700は、I/Oインタフェース741と、プロセッサ702と、メモリ743とを有する。
【0094】
図5(B)の例では、瞳撮像カメラ43による撮像画像を解析して視点位置(及び視線方向)を検出するために、視点位置検出部44が設けられている。
【0095】
また、
図5(B)において、制御部701は、運転シーン判定部745と、3D/2D切り替え要否判定部746とを有する。3D/2D切り替え要否判定部746は、先方対象物距離と閾値との比較に基づいて、及び、種々の運転シーンや
図5の例における表示優先度等も考慮して、表示モードの切り替えの要否を判定する。
【0096】
画像生成部112は、画像蓄積部312と、ライトフィールドレンダリング部333と、左目用画像バッファ334と、右目用画像バッファ335と、画像インタフェース(画像I/F)336と、を有する。
【0097】
次に、
図6を参照する。
図6は、表示制御の手順例を示すフローチャートである。ステップS1では、先行対象物(障害物を含む)の検出、判定処理を実行する。ステップS2では、自車両等と先行対象物間の距離(先行対象物距離)を検出する。
【0098】
ステップS3では、検出された距離が、所定の閾値よりも大きいかを判定する。Yのときは、原則的に3D表示とし(ステップS4)、Nのときは、原則的に2D表示とする(ステップS5)。但し、
図5(B)に示される運転シーン等では表示モードの切り替えは実行しない。
【0099】
ステップS6では、表示終了か否かを判定する。Yのときは表示制御を終了し、Nのときは、ステップS1に戻る。
【0100】
以上説明したように、本発明によれば、視差式3DHUD装置等において、視認者の違和感や視認者の目の疲労等を軽減(低減)することが可能である。言い換えれば、先方対象物(前方車両等)に関連付けて視差式3Dの注意喚起マーク等を表示する場合において、先方対象物の対象物距離が、閾値(閾値距離)以下のときは2D表示とすることで、輻輳調整矛盾を無くして目の疲労や違和感を軽減することが可能である。
【0101】
本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語(例えば標識等)についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、HUD装置や表示器装置(及び広義の表示装置)には、シミュレータ(例えば、航空機のシミュレータ、ゲーム装置としてのシミュレータ等)として使用されるものも含まれるものとする。
【0102】
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
【符号の説明】
【0103】
1・・・車両(自車両)、2・・・ウインドシールド(被投影部材)、3・・・HUD装置の表示領域(HUD表示領域)、6・・・地面又は地面の相当面(路面等)、21・・・視差式3D表示が可能な領域(視差式3D表示可能領域)、41・・・ダッシュボード、43・・・瞳撮像カメラ、45・・・周囲撮像カメラ、46・・・画像処理部、47・・・測距部、48・・・対象物種類/サイズ検出部、100・・・HUD装置、111・・・立体表示装置、112・・・画像生成部、113・・・表示部(表示パネル等)、114・・・光線分離部(レンチキュラレンズ、視差バリア等)、116・・・光学部、117・・・曲面ミラー(凹面鏡等)、119・・・情報取得部、120・・・ECU、123・・・通信部、125・・・レーダー部、200・・・先方対象物としての前方車両、250・・・先方対象物としての人、300、310・・・注意喚起表示(あるいは警報表示)、400・・・注意喚起表示(あるいは警報表示)としての強調枠、700・・・表示制御部装置、701・・・制御部、741・・・I/Oインタフェース、742・・・プロセッサ、743・・・メモリ、745・・・運転シーン判定部、2D/3D切り替え要否判定部、K1、K2・・・表示光、PS・・・調整面(結像面)、VS・・・輻輳面、θ1・・・輻輳角、D1・・・調整距離、D2・・・輻輳距離、D3・・・調整面と立体像の視認位置との距離、D4(D4a、D4b)・・・対象物距離、Lth・・・3D表示/2D表示切り替え用閾値(所定の閾値、あるいは閾値距離)、R1・・・閾値に対応する位置、R2・・・視差式3D表示が可能な領域の先端位置。