特許 7189513 ヘッドアップディスプレイ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-06

(45)【発行日】2022-12-14

(54)【発明の名称】ヘッドアップディスプレイ装置

(51)【国際特許分類】

   H04N 13/363 20180101AFI20221207BHJP

   H04N 13/346 20180101ALI20221207BHJP

   H04N 13/398 20180101ALI20221207BHJP

   H04N 5/74 20060101ALI20221207BHJP

   G02B 27/01 20060101ALI20221207BHJP

   G09G 5/00 20060101ALI20221207BHJP

   B60K 35/00 20060101ALI20221207BHJP

   H04N 13/128 20180101ALI20221207BHJP

【ＦＩ】

H04N13/363

H04N13/346

H04N13/398

H04N5/74 Z

G02B27/01

G09G5/00 510B

G09G5/00 550C

B60K35/00 A

H04N13/128

【請求項の数】 6

(21)【出願番号】P 2019509648

(86)(22)【出願日】2018-03-22

(86)【国際出願番号】 JP2018011334

(87)【国際公開番号】W WO2018180856

(87)【国際公開日】2018-10-04

【審査請求日】2020-09-28

(31)【優先権主張番号】P 2017073257

(32)【優先日】2017-03-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】100109221

【弁理士】

【氏名又は名称】福田 充広

(72)【発明者】

【氏名】山田 範秀

(72)【発明者】

【氏名】橋村 淳司

(72)【発明者】

【氏名】丹内 修

(72)【発明者】

【氏名】小嶋 俊之

(72)【発明者】

【氏名】菅原 和弘

【審査官】佐野 潤一

(56)【参考文献】

【文献】国際公開第２０１６／１０３４１８（ＷＯ，Ａ１）

【文献】特開平０４－１７５０９４（ＪＰ，Ａ）

【文献】特開２０１１－１７０１８６（ＪＰ，Ａ）

【文献】特開２００８－１８０７５９（ＪＰ，Ａ）

【文献】特開２０１６－１７６９８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ５／７４

Ｈ０４Ｎ ９／３１

Ｂ６０Ｋ ３５／００

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｇ０２Ｂ ２７／０１

Ｇ０２Ｂ ３０／００

Ｇ０３Ｂ ３５／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

画像表示素子に表示されている画像の虚像を投影する投影光学系と、
検出領域内に存在するオブジェクトを検出するとともに、前記投影光学系から前記オブジェクトまでの距離を目標距離として検出するオブジェクト検出部と、
前記投影光学系からの虚像の投影距離を周期的に変化させる投影距離変更部と、
前記目標距離が前記投影距離と略一致するタイミングで、前記検出されたオブジェクトに対して前記投影光学系によって虚像として関連情報像を付加する像付加部と、
を備え、
前記投影光学は、第１投影光学系または第２投影光学系を含み、
前記第１投影光学系は、前記画像の中間像を形成する第１光学系と、前記中間像の位置に配置される拡散スクリーンと、前記拡散スクリーン上の像を再結像する第２光学系と、前記再結像された像を前記虚像に変換する虚像投映光学系とを有し、
前記第２投影光学系は、前記画像の中間像を形成する第１光学系と、前記中間像位置近傍に配置される拡散スクリーンと、前記拡散スクリーン上の像を前記虚像に変換する虚像投影光学系とを有し
前記投影光学系が前記第１投影光学系を含む場合に、前記投影距離変更部は、前記第２光学系の少なくとも一部を周期的に光軸方向に移動させて、前記虚像の投影距離を周期的に変化させ、
前記投影光学系が前記第２投影光学系を含む場合に、前記拡散スクリーンを周期的に光軸方向に移動させて、前記虚像の投影距離を周期的に変化させる、ヘッドアップディスプレイ装置。

【請求項2】

前記投影距離変更部は、前記投影距離を連続的に変化させる、請求項１に記載のヘッドアップディスプレイ装置。

【請求項3】

前記投影距離変更部は、前記投影距離を段階的に変化させる、請求項１及び２のいずれか一項に記載のヘッドアップディスプレイ装置。

【請求項4】

前記オブジェクト検出部は、前記オブジェクトとして、移動体及び人を検出する、請求項１～３のいずれか一項に記載のヘッドアップディスプレイ装置。

【請求項5】

前記オブジェクト検出部は、３次元計測器を有する、請求項４に記載のヘッドアップディスプレイ装置。

【請求項6】

前記関連情報像は、前記オブジェクトを囲むフレーム枠又は前記オブジェクトに隣接する指標である、請求項１～５のいずれか一項に記載のヘッドアップディスプレイ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、虚像の投影位置を可変としたヘッドアップディスプレイ装置に関するものである。

【背景技術】

【0002】

従来の自動車用のヘッドアップディスプレイ（以下ＨＵＤ（Head-Up Display）とも称する）装置は、虚像を運転者からある一定の距離に生成するのが一般的であり、表示内容は、車速、カーナビ情報等に限られていた。そもそもＨＵＤを車に搭載する目的は、運転者の視線移動を最小限に抑えることで、より安全な運転を支援するものであるが、安全運転支援という意味においては、上記のような表示内容だけでは不十分であり、例えば前方の車、歩行者、障害物等をカメラその他のセンサーで検知し、ＨＵＤを通して運転者に事前に危険を察知させて事故を未然に防ぐようなシステムの方がより好ましい。こういったシステムを実現するには、車、人、障害物等に対して枠状の危険信号を重畳させて表示させることが考えられる（例えば特許文献１参照）。しかしながら、運転者から虚像までの距離が一定だと運転者の眼の位置がずれた場合、実物と危険信号との位置関係がずれてしまい、ズレが過度となった場合、運転者が誤認してしまうという課題がある。

【0003】

なお、虚像の表示距離を変化させるＨＵＤ装置として、走査型の像形成手段と、拡散スクリーンと、投影手段と、拡散スクリーン位置を変える可動手段とを備え、拡散スクリーン位置を変化させることで虚像の奥行き方向の投影位置を変化させるものが公知となっている（例えば特許文献２、３参照）。これらのＨＵＤ装置は、車の速度に伴って人間が注視する距離が変わることを鑑み、虚像の表示距離を近づけたり遠ざけたりして、運転者の視線移動を少なくするもの（特許文献２）であったり、３Ｄ表示を行う目的のもの（特許文献３）であったりして、車、人、障害物等のオブジェクトに対して虚像の表示位置を調整しようとするものではない。

【0004】

また、例えば車、人、障害物等のオブジェクトに対して虚像の表示位置を重ねる、またはその近傍に表示させて運転者に危険を伝えるといった目的でＨＵＤ装置を使用する場合、運転時の危険という事象は視線の遠近に関係なく存在するものであるため、遠距離にも近距離にも同時に危険信号を表示できることが好ましい。そのためには、拡散スクリーンを高速駆動し、それと同期させた映像を像形成手段によって生成することで、人間の目には同時に表示されているかのように見せることが考えられる。しかしながら、走査型の像形成手段では、高フレームレートでの表示切り替えに対応することが難しいため、複数距離に虚像を同時に表示させる構成には向いていない。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１５－１２７１６０号公報

【文献】特開２００９－１５０９４７号公報

【文献】特開２００８－１８０７５９号公報

【発明の概要】

【0006】

本発明は、実物のオブジェクトに対して奥行き方向も含めた配置関係で虚像として関連情報像を付加することができるヘッドアップディスプレイ装置を提供することを目的とする。

【0007】

上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映したヘッドアップディスプレイ装置は、画像表示素子に表示されている画像の虚像を投影する投影光学系と、検出領域内に存在するオブジェクトを検出するとともに、投影光学系からオブジェクトまでの距離を目標距離として検出するオブジェクト検出部と、投影光学系からの虚像の投影距離を周期的に変化させる投影距離変更部と、目標距離が投影距離と略一致するタイミングで、検出されたオブジェクトに対して投影光学系によって虚像として関連情報像を付加する像付加部と、を備える。上記投影光学は、第１投影光学系または第２投影光学系を含む。前者の第１投影光学系は、画像の中間像を形成する第１光学系と、中間像の位置に配置される拡散スクリーンと、拡散スクリーン上の像を再結像する第２光学系と、再結像された像を虚像に変換する虚像投映光学系とを有する。後者の第２投影光学系は、画像の中間像を形成する第１光学系と、中間像位置近傍に配置される拡散スクリーンと、拡散スクリーン上の像を虚像に変換する虚像投影光学系とを有する。投影光学系が第１投影光学系の場合に、投影距離変更部は、第２光学系の少なくとも一部を周期的に光軸方向に移動させて、虚像の投影距離を周期的に変化させ、投影光学系が第２投影光学系の場合に、拡散スクリーンを周期的に光軸方向に移動させて、虚像の投影距離を周期的に変化させる。

【図面の簡単な説明】

【0008】

【図1】図１Ａは、第１実施形態のヘッドアップディスプレイ装置を車体に搭載した状態を示す側方断面図であり、図１Ｂは、ヘッドアップディスプレイ装置を説明する車内側からの正面図である。

【図2】ヘッドアップディスプレイ装置を構成する投影光学系等の具体的な構成例を説明する拡大側方断面図である。

【図3】図２に示す光学系の変形例を説明する図である。

【図4】中間像の位置の変化を具体的に例示する図であり、投影距離の変化を概念的に説明する図である。

【図5】ヘッドアップディスプレイ装置の全体構造を説明するブロック図である。

【図6】具体的な表示状態を説明する斜視図である。

【図7】図７Ａは、図４に対応し、図７Ｂ～７Ｄは、図６中の投影像又はフレーム枠に対応している。

【図8】図８Ａ及び８Ｂは、図４に示す中間像の位置又は投影距離の変化に関する変形例を説明する図である。

【図9】図９Ａ～９Ｃは、図４に示す中間像の位置又は投影距離の変化に関する変形例を説明する図である。

【図10】第２実施形態のヘッドアップディスプレイ装置を説明する図である。

【図11】第３実施形態のヘッドアップディスプレイ装置を説明する図である。

【図12】図１２Ａ及び１２Ｂは、拡散スクリーンの構造を説明する図である。

【図13】第４実施形態のヘッドアップディスプレイ装置を説明する図である。

【図14】第５実施形態のヘッドアップディスプレイ装置を説明する図である。

【図15】図１５Ａ及び１５Ｂは、変形例のフレーム枠及び指標を説明する図である。

【発明を実施するための形態】

【0009】

〔第１実施形態〕
以下、図面を参照しつつ、本発明に係る第１実施形態のヘッドアップディスプレイ装置について説明する。

【0010】

図１Ａ及び１Ｂは、本実施形態のヘッドアップディスプレイ装置のうち画像表示装置１００を説明する概念的な側方断面図及び正面図である。この画像表示装置１００は、例えば自動車の車体２内に搭載されるものであり、描画ユニット１０と表示スクリーン２０とを備える。画像表示装置１００は、描画ユニット１０中の後述する表示素子１１に表示されている画像情報を、表示スクリーン２０を介してドライバーＵＮ向けに虚像表示するものである。

【0011】

画像表示装置１００のうち描画ユニット１０は、車体２のダッシュボード４内であってディスプレイ５０の背後に埋め込むように設置されており、運転関連情報等を含む画像に対応する表示光ＨＫを表示スクリーン２０に向けて射出する。表示スクリーン２０は、コンバイナーとも呼ばれ、半透過性を有する凹面鏡又は平面鏡である。表示スクリーン２０は、下端の支持によってダッシュボード４上に立設され、描画ユニット１０からの表示光ＨＫを車体２の後方に向けて反射する。つまり、図示の場合、表示スクリーン２０は、フロントウインドウ８とは別体で設置される独立型のものとなっている。表示スクリーン２０で反射された表示光ＨＫは、運転席６に座ったドライバーＵＮの瞳ＨＴ及びその周辺位置に対応するアイボックス（不図示）に導かれる。ドライバーＵＮは、表示スクリーン２０で反射された表示光ＨＫ、つまり車体２の前方にある虚像としての投影像ＩＭを観察することができる。一方、ドライバーＵＮは、表示スクリーン２０を透過した外界光、つまり前方景色、自動車等の実像を観察することができる。結果的に、ドライバーＵＮは、表示スクリーン２０の背後の外界像又はシースルー像に重ねて、表示スクリーン２０での表示光ＨＫの反射によって形成される運転関連情報等の関連情報を含む投影像（虚像）ＩＭを観察することができる。

【0012】

ここで、表示スクリーン２０をフロントウインドウ８と別体で構成しているが、フロントウインドウ８を表示スクリーンとして用い、フロントウインドウ８内に設定した表示範囲に投影を行って、ドライバーＵＮが投影像ＩＭを観察できる構成としても構わない。この際、フロントウインドウ８のガラスの一部領域の反射率をコート等によって変更することで、反射領域を確保することができる。また、フロントウインドウ８での反射角度が例えば６０度程度であれば、反射率が１５％程度確保され、特にコートを設けなくても透過性を有する反射面として用いることができる。これら以外に、フロントウインドウ８のガラス中にサンドイッチする構成で表示スクリーンを設けることもできる。

【0013】

図２に示すように、描画ユニット１０は、表示素子１１を含む虚像型の拡大結像系である本体光学系１３と、本体光学系１３を動作させる表示制御部１８と、本体光学系１３等を収納するハウジング１４とを備える。これらのうち本体光学系１３と表示スクリーン２０と組み合わせたものは、投影光学系３０を構成する。

【0014】

本体光学系１３は、表示素子１１のほかに、表示素子１１に形成された画像を拡大した中間像ＴＩを形成する結像光学系１５と、中間像ＴＩを虚像に変換する虚像形成光学系１７とを備える。

【0015】

表示素子１１は、２次元的な表示面１１ａを有する。表示素子１１の表示面１１ａに形成された像は、結像光学系１５のうち第１光学部分１５ａで拡大されて拡散スクリーン１５ｃに投影される。この際、２次元表示が可能な表示素子１１を用いることで、拡散スクリーン１５ｃに対する投影像の切り替え、つまり表示スクリーン２０越しに虚像として表示される投影像ＩＭの切り替えを比較的高速とできる。表示素子１１は、ＤＭＤ（Digital Mirror Device）やＬＣＯＳ（Liquid Crystal On Silicon）等の反射型の素子であっても、液晶等の透過型の素子であってもよい。特に、表示素子１１としてＤＭＤやＬＣＯＳを用いると、明るさを維持しつつ画像を高速で切り替えること（高速の間欠表示を含む）が容易になり、虚像距離又は投影距離を変化させる表示に有利である。なお、表示素子１１は、３０ｆｐｓ以上、更に望ましくは６０ｆｐｓ以上のフレームレートで動作する。これにより、異なる投影距離に複数の投影像（虚像）ＩＭをドライバーＵＮに対して同時に表示されているように見せることが可能になる。特に、９０ｆｐｓ以上で表示の切り替えを行う場合、ＤＭＤやＬＣＯＳが表示素子１１の候補となる。

【0016】

結像光学系１５は、固定焦点の第１光学部分１５ａと、拡散スクリーン１５ｃと、可変焦点の第２光学部分１５ｂとを備える。第１光学部分１５ａは、表示素子１１の表示面１１ａに形成された画像を拡散スクリーン１５ｃ上に拡大投影し、第２光学部分１５ｂは、拡散スクリーン１５ｃ上に投影された画像を再度拡大投影して中間像ＴＩを形成する（中間像ＴＩ自体は、表示素子１１の表示動作が前提となる）。拡散スクリーン１５ｃとしては、例えば摺りガラス、レンズ拡散板、マイクロレンズアレイ等を用いることができる。第２光学部分１５ｂは、光学素子として可動レンズ１５ｆを含む。可動レンズ１５ｆは、後述する配置変更装置６２によって光軸ＡＸ方向に移動可能になっており、かかる可動レンズ（光学素子）１５ｆの光軸ＡＸ方向への移動に伴って第２光学部分１５ｂの焦点距離が増減し、結像又はフォーカス位置としての中間像ＴＩ（表示素子１１の表示が動作していなければ、必ずしも表示としての中間像は形成されないが、中間像が形成されるであろう位置も中間像の位置と呼ぶ）の位置も光軸ＡＸ方向に移動させることができる。第２光学部分１５ｂ等のレンズ構成にもよるが、例えば可動レンズ１５ｆを虚像形成光学系１７側に移動させることで、中間像ＴＩの位置を虚像形成光学系１７側に移動させて、投影像ＩＭまでの虚像距離を減少させることができる。また、可動レンズ１５ｆを表示素子１１側に移動させることで、中間像ＴＩの位置を表示素子１１側に移動させて、投影像ＩＭまでの虚像距離を増加させることができる。

【0017】

虚像形成光学系１７は、結像光学系１５によって形成された中間像ＴＩを表示スクリーン２０と協働して拡大し、ドライバーＵＮの前方に虚像としての投影像ＩＭを形成する。虚像形成光学系１７は、少なくとも１枚のミラーで構成されるが、図示の例では２枚のミラー１７ａ，１７ｂを含む。

【0018】

可動レンズ１５ｆに付随して設けられた配置変更装置６２は、可動レンズ１５ｆや中間像ＴＩを光軸ＡＸに沿って所望の位置に移動させる投影距離変更部であり、投影光学系３０から虚像である投影像ＩＭまでの投影距離を周期的に変化させるためのものである。配置変更装置（投影距離変更部）６２は、可動レンズ１５ｆの光軸ＡＸ方向への移動を可能にする可動機構６４と、可動機構６４を介して可動レンズ１５ｆを光軸ＡＸ方向に所望の速度で往復移動させる駆動部６５とを有する。駆動部６５として例えばモーターを使用する場合、モーターにかかる負荷を低減するため、可動機構６４に可動レンズ１５ｆの往復動又は振動を容易にするバネを組み込むことが望ましい。配置変更装置６２によって可動レンズ１５ｆを光軸ＡＸに沿って移動させることで、虚像形成光学系１７によって表示スクリーン２０の背後に形成される虚像としての投影像ＩＭと観察者であるドライバーＵＮとの距離を大きく、又は小さくすることができる。このように、投影される投影像ＩＭの位置を前後に変化させるとともに、表示内容をその位置に応じたものとすることで、投影像ＩＭまでの虚像距離を変化させつつ投影像ＩＭの表示内容を変化させることになり、一連の投影像としての投影像ＩＭを３次元的なものとすることができる。

【0019】

可動レンズ１５ｆの移動速度は、虚像としての投影像ＩＭが複数個所又は複数虚像距離に同時に表示されているかのように見せることができる速度であることが望ましい。例えば、投影像ＩＭが遠距離、中距離、及び近距離の３段階で順次投影されるものとして、表示素子１１に９０ｆｐｓで表示を行わせると、各距離（例えば遠距離）の投影像ＩＭは、３０ｆｐｓで表示の切り替えが行われることになり、中距離、及び近距離の投影像ＩＭが並列的に行われかつ切り替えが連続的なものとして認識される。この際の可動レンズ１５ｆの移動速度は、表示素子１１の表示動作と同期するように設定される。可動レンズ１５ｆの移動速度は、表示素子１１の動作速度である３０ｆｐｓ以上に対応する必要があり、バネ機構を用いる他に、例えば多数のレンズを円周上に配置したホイールを光軸ＡＸに平行な中心軸の周りに回転させ、多数のレンズを順次光軸ＡＸ上に配置することで、多数のレンズを高速で切り替える構造とすることができる。

【0020】

図２に示す投影光学系３０の場合、観察者であるドライバーＵＮの目が移動した際の観察可能である範囲（つまりアイボックス）を大きくするためにリレー光学系の倍率を高くして拡散スクリーン１５ｃのサイズが大きくなっても、拡散スクリーン１５ｃを移動させなくて済み、移動機構が大掛かりにならないという利点がある。

【0021】

図３は、図２に示す投影光学系３０の変形例を説明する図である。結像光学系１１５は、表示素子１１に形成された画像を拡大投影して中間像ＴＩを形成する。結像光学系１１５は、光学素子として可動レンズ１５ｆを含む。可動レンズ１５ｆは、図２の場合と同様に配置変更装置１６２によって光軸ＡＸ方向に移動可能になっており、かかる可動レンズ（光学素子）１５ｆの光軸ＡＸ方向への移動に伴って結像光学系１１５の焦点距離が増減し、結像又はフォーカス位置としての中間像ＴＩの位置も光軸ＡＸ方向に移動させることができる。この場合、結像光学系１１５内に中間像は形成されていない。図３に示す光学系では、結像光学系１１５の結像位置又はその近傍に光軸ＡＸ方向に移動する光学素子である拡散スクリーン１６を配置している。拡散スクリーン１６は、配置変更装置１６２に設けたガイド部１６４と駆動部６５とによって光軸ＡＸ方向に移動可能になっており、結像光学系１１５によって形成され中間像ＴＩとともに移動する。つまり、拡散スクリーン１６は、可動レンズ１５ｆと同期して動作し、移動する中間像ＴＩの位置にこの中間像ＴＩと同期して配置される。図３に示す投影光学系３０は、中間像を一度結ぶだけの構成なので、移動レンズを少ない枚数で構成する等して移動機構の大型化を抑制すれば、光学系の小型化が図れる。

【0022】

図４は、可動レンズ１５ｆの移動に伴う中間像ＴＩの位置の変化を具体的に例示する図である。可動レンズ１５ｆは、光軸ＡＸ方向に沿って正弦波状の経時パターンで往復移動しており、中間像ＴＩの位置も、表示素子１１が連続表示を行っている場合、図示のように光軸ＡＸ方向に沿って正弦波状の経時パターンで往復移動する。つまり、中間像ＴＩの位置は、可動レンズ１５ｆの移動に伴って連続的に変化する。この結果、図示を省略するが、投影像（虚像）ＩＭの位置も、スケールは異なるが、中間像ＴＩの位置と同様に光軸ＡＸ方向に沿って往復移動し、投影距離を連続的に変化させることができる。ここで、表示素子１１は、連続表示を行うものでなく、表示内容を切り替えつつ間欠的な表示を行うものであるから、中間像ＴＩの表示位置も正弦波状の経時パターン上における離散的な位置となる。図示の例では、中間像ＴＩの光軸ＡＸ上の位置のうち、３点を表示位置Ｐ１～Ｐ３としている。ここで、表示位置Ｐ１～Ｐ３は、表示素子１１に表示動作を行わせるタイミングでの中間像ＴＩの位置に対応する。つまり、表示素子１１は、間欠的に表示動作を行っており、各表示位置Ｐ１～Ｐ３で２回の表示が行われるので、可動レンズ１５ｆの１周期で計６回の表示が行われる。

【0023】

図５は、ヘッドアップディスプレイ装置２００の全体構造を説明するブロック図であり、ヘッドアップディスプレイ装置２００は、その一部として画像表示装置１００を含む。画像表示装置１００は、図２に示す構造を有するものであり、ここでは説明を省略する。

【0024】

ヘッドアップディスプレイ装置２００は、画像表示装置１００のほかに、環境監視部７２と、主制御装置９０とを備える。

【0025】

環境監視部７２は、検出領域内に存在するオブジェクトを検出するオブジェクト検出部であり、前方に近接して存在する移動体や人、具体的には自動車、自転車、歩行者等をオブジェクトとして識別し、オブジェクトの３次元的な位置情報を抽出する３次元計測器を有する。これにより、オブジェクトの３次元的認識によって関連情報像の３次元的表示が可能になる。また、環境監視部７２により、移動体や人に対して虚像の関連情報像を付加することになり、移動体や人の存在をヘッドアップディスプレイ装置２００のドライバーＵＮ等に知らせることができる。環境監視部（オブジェクト検出部）７２は、３次元計測器として、外部用カメラ７２ａと、外部用画像処理部７２ｂと、判断部７２ｃとを備える。外部用カメラ７２ａは、可視又は赤外域において外界像の撮影を可能にする。外部用カメラ７２ａは、車体２内外の適所に設置されており、ドライバーＵＮ又はフロントウインドウ８の前方の検出領域ＶＦ（後述する図６参照）を外部画像として撮影する。外部用画像処理部７２ｂは、外部用カメラ７２ａで撮影した外部画像に対して明るさ補正等の各種画像処理を行って判断部７２ｃでの処理を容易にする。判断部７２ｃは、外部用画像処理部７２ｂを経た外部画像からオブジェクト画像の抽出又は切り出しを行うことによって自動車、自転車、歩行者等のオブジェクト（具体的には、後述する図６中のオブジェクトＯＢ１，ＯＢ２，ＯＢ３参照）の存否を検出するとともに、外部画像に付随する奥行情報から車体２前方におけるオブジェクトの空間的な位置を算出し３次元的な位置情報として記憶部７２ｍに保管する。判断部７２ｃの記憶部７２ｍには、外部画像からオブジェクト画像の抽出を可能にするソフトウエアが保管されており、外部画像からオブジェクト画像を抽出する動作時には、記憶部７２ｍから必要となるソフトウエアやデータが読み出される。判断部７２ｃにより、例えば得られた画像内の各オブジェクト要素の形状、大きさ、色等から、オブジェクト要素に対応するオブジェクトが何かを検出することができる。その際の判断基準は、予め登録されている情報とのパターンマッチングを行ってマッチングの度合からオブジェクトが何かを検出する方法等がある。また、処理速度を高める観点で、画像から車線を検知し、その車線内にあるターゲット又はオブジェクト要素について、上記の形状、大きさ、色等からオブジェクトの検出を行うこともできる。

【0026】

外部用カメラ７２ａは、図示を省略しているが、例えば複眼型の３次元カメラである。つまり、外部用カメラ７２ａは、結像用のレンズと、ＣＭＯＳ（Complementary metal oxide semiconductor）その他の撮像素子とを一組とするカメラ素子をマトリックス状に配列したものであり、撮像素子用の駆動回路をそれぞれ有する。外部用カメラ７２ａを構成する複数のカメラ素子は、例えば奥行方向の異なる位置にピントを合わせるようになっており、或いは相対的な視差を検出できるようになっており、カメラ素子から得た画像の状態（フォーカス状態、オブジェクトの位置等）を解析することで、検出領域に対応する画像内の各領域又はオブジェクトまでの目標距離を判定できる。

【0027】

なお、上記のような複眼型の外部用カメラ７２ａに代えて、２次元カメラと赤外距離センサーとを組み合わせたものを用いても、撮影した画面内の各部（領域又はオブジェクト）に関して奥行方向の距離情報である目標距離を得ることができる。また、複眼型の外部用カメラ７２ａに代えて、２つの２次元カメラを分離配置したステレオカメラによって、撮影した画面内の各部（領域又はオブジェクト）に関して奥行方向の距離情報である目標距離を得ることができる。その他、単一の２次元カメラにおいて、焦点距離を高速で変化させながら撮像を行うことによっても、撮影した画面内の各部（領域又はオブジェクト）に関して奥行方向の距離情報である目標距離を得ることができる。

【0028】

また、複眼型の外部用カメラ７２ａに代えて、ＬＩＤＡＲ（Light Detection and Ranging）技術を用いても、検出領域内の各部（領域又はオブジェクト）に関して奥行方向の距離情報を得ることができる。ＬＩＤＡＲ技術により、パルス状のレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離や拡がりを計測して視野内のオブジェクトまでの距離情報やオブジェクトの拡がりに関する情報を取得することができる。さらに、例えばＬＩＤＡＲ技術のようなレーダーセンシング技術と画像情報からオブジェクトの距離等を検出する技術とを組み合わせるような複合的な手法、つまり複数のセンサーをフュージョンさせる手法によって、オブジェクトの検出精度を高めることができる。

【0029】

オブジェクトを検出する外部用カメラ７２ａの動作速度は、入力の高速化の観点で、表示素子１１の動作速度以上である必要があり、表示素子１１の動作速度３０ｆｐｓ以上の場合、これと同等かこれより早くする必要がある。外部用カメラ７２ａは、例えば１２０ｆｐｓより高速、例えば４８０ｆｐｓや１０００ｆｐｓといった高速動作によってオブジェクトの高速検出を可能にするものが望ましい。また、複数センサーをフュージョンさせる場合、その全てのセンサーが高速である必要は必ずしもなく、少なくとも複数センサーの内１つのセンサーは高速である必要があるが、それ以外は高速でなくても構わない。この場合、高速のセンサーで検出するデータを基本としながら、高速でないセンサーのデータで補完するという使い方で、センシング精度を上げるといった方法を用いてもよい。

【0030】

表示制御部１８は、主制御装置９０の制御下で投影光学系３０を動作させて、表示スクリーン２０の背後に虚像距離又は投影距離が変化する３次元的な投影像ＩＭを表示させる。

【0031】

主制御装置９０は、画像表示装置１００、環境監視部７２等の動作を調和させる役割を有する。主制御装置９０は、例えば表示制御部１８を介して配置変更装置６２を適宜動作させることによって、投影光学系３０による投影像ＩＭである虚像の投影距離を周期的に変化させる。つまり、主制御装置９０等は、投影像ＩＭである虚像の奥行き方向に関する投影位置を周期的に変化させる。この場合、投影位置を周期的に往復移動させる過程の適宜の位置でオブジェクトに対して関連情報像を付与することができる。また、主制御装置９０は、環境監視部７２によって検出したオブジェクトの空間的な位置に対応するように、投影光学系３０によって投影されるフレーム枠ＨＷ（図６参照）の空間的な配置を調整する。すなわち、主制御装置９０は、環境監視部７２から受信した表示形状や表示距離を含む表示情報から、投影光学系３０に表示させる投影像ＩＭを生成する。投影像ＩＭは、例えば表示スクリーン２０の背後に存在する自動車、自転車、歩行者その他のオブジェクトに対してその奥行き位置方向に関して周辺に位置するフレーム枠ＨＷ（図６参照）のような標識とすることができる。以上のように、主制御装置９０は、表示制御部１８と協働して像付加部として機能し、検出されたオブジェクトまでの目標距離が投影距離と略一致するタイミングで、検出されたオブジェクトに対して投影光学系３０によって虚像として関連情報像を付加する。関連情報像は、例えばオブジェクトを囲むフレーム枠ＨＷ又はオブジェクトに隣接する指標である。この場合、フレーム枠ＨＷや指標によって移動体や人の存在を知らせることができる。

【0032】

本実施形態のような構成で、関連情報像の表示を高速に実施して、オブジェクトと同時、又は、略同時性を持って観察者が関連情報像を３次元的表示として見られるようにするためには、検知、認識・判断等の処理、表示のそれぞれを高速とする必要がある。それによって、実際のシーンに存在するオブジェクト又はターゲットに関連情報像を重ねるような表示を行う際に、表示の遅れ（レイテンシー）がなくなって、観察者又はドライバーＵＮが表示又は虚像を見る際の違和感が低減され、事故回避等の運転動作を迅速に行うことが可能となる。

【0033】

図６は、具体的な表示状態を説明する斜視図である。観察者であるドライバーＵＮの前方は観察視野に相当する検出領域ＶＦとなっている。検出領域ＶＦ内、つまり道路及びその周辺に、歩行者等である人のオブジェクトＯＢ１や、自動車等である移動体のオブジェクトＯＢ２が存在すると考える。この場合、主制御装置９０は、画像表示装置１００によって３次元的な投影像（虚像）ＩＭを投影させ、各オブジェクトＯＢ１，ＯＢ２，ＯＢ３に対して関連情報像としてのフレーム枠ＨＷ１，ＨＷ２，ＨＷ３を付加する。この際、ドライバーＵＮから各オブジェクトＯＢ１，ＯＢ２，ＯＢ３までの距離が異なるので、フレーム枠ＨＷ１，ＨＷ２，ＨＷ３を表示させる投影像ＩＭ１，ＩＭ２，ＩＭ３までの投影距離は、ドライバーＵＮから各オブジェクトＯＢ１，ＯＢ２，ＯＢ３までの距離に相当するものとなっている。なお、投影像ＩＭ１，ＩＭ２，ＩＭ３の投影距離は、離散的であり、オブジェクトＯＢ１，ＯＢ２，ＯＢ３までの現実の距離に対して正確に一致させることはできない。ただし、投影像ＩＭ１，ＩＭ２，ＩＭ３の投影距離と、オブジェクトＯＢ１，ＯＢ２，ＯＢ３までの現実の距離との差が大きくなければ、ドライバーＵＮの視点が動いても視差が生じにくく、オブジェクトＯＢ１，ＯＢ２，ＯＢ３とフレーム枠ＨＷ１，ＨＷ２，ＨＷ３との配置関係を略維持することができる。

【0034】

図７Ａは、図４に対応し、図７Ｂは、図６中の投影像ＩＭ３又はフレーム枠ＨＷ３に対応し、図７Ｃは、図６中の投影像ＩＭ２又はフレーム枠ＨＷ２に対応し、図７Ｄは、図６中の投影像ＩＭ１又はフレーム枠ＨＷ１に対応している。図７Ａ～７Ｄより明らかなように、投影像ＩＭ１は、中間像ＴＩが表示位置Ｐ１にあるときに表示素子１１の表示面１１ａに形成される表示像に対応し、投影像ＩＭ２は、中間像ＴＩが表示位置Ｐ２にあるときに表示素子１１の表示面１１ａに形成される表示像に対応し、投影像ＩＭ３は、中間像ＴＩが表示位置Ｐ３にあるときに表示素子１１の表示面１１ａに形成される表示像に対応する。中間像ＴＩの移動を基準とする１周期でみた場合、まず表示位置Ｐ３に対応する投影像ＩＭ３又はフレーム枠ＨＷ３が表示され、次いで表示位置Ｐ３に対応する投影像ＩＭ３又はフレーム枠ＨＷ３が再度表示される。そして、表示位置Ｐ２に対応する投影像ＩＭ２又はフレーム枠ＨＷ２が表示された後、表示位置Ｐ１に対応する投影像ＩＭ１又はフレーム枠ＨＷ１が表示される。その後、表示位置Ｐ１に対応する投影像ＩＭ１又はフレーム枠ＨＷ１が表示され、表示位置Ｐ２に対応する投影像ＩＭ２又はフレーム枠ＨＷ２が表示される。以上の１周期が視覚的に短ければ、投影像ＩＭ１，ＩＭ２，ＩＭ３の切り替えが非常に速くなり、観察者であるドライバーＵＮは、フレーム枠ＨＷ１，ＨＷ２，ＨＷ３を奥行きがある画像として同時に観察していると認識する。

【0035】

以上において、中間像ＴＩの表示位置を正弦波状の経時パターンで変更しているが、中間像ＴＩの表示位置は、正弦波状の経時パターンに限らず、鋸歯状の経時パターンで変更することができ（図８Ａ）、三角波状の経時パターンで変更することができる（図８Ｂ）。これらの場合も、投影像ＩＭの投影距離を連続的に変化させることになる。

【0036】

中間像ＴＩの表示位置は、階段状の経時パターンで変更することができる（図９Ａ及び９Ｂ）。階段状の経時パターンで変更する場合には、中間像ＴＩの表示位置が段階的に変化しないで、増減を複雑にした場合を含む（図９Ｃ）。これらの場合、投影像ＩＭの投影距離を段階的に変化させることになる。これらのパターン以外にも、表示位置をＰ１→Ｐ３→Ｐ２→Ｐ４→Ｐ５の繰り返し等、距離変化が単調に増加、減少するわけではないが周期的に変化している状態や、例えば表示位置をＰ１からＰ５までの距離変化の一往復の時間やパターンが各往復で異なるが、複数回の往復で周期的にそれらが変化しているといった状態も、周期的な変化と言えるものである。

【0037】

以上で説明した第１実施形態に係るヘッドアップディスプレイ装置２００によれば、配置変更装置（投影距離変更部）６２によって投影距離を周期的に変化させつつ、像付加部（主制御装置９０及び表示制御部１８）によって目標距離が投影距離と略一致するタイミングで検出されたオブジェクトＯＢ１，ＯＢ２，ＯＢ３に対して投影光学系３０によって虚像として関連情報像としてのフレーム枠ＨＷ１，ＨＷ２，ＨＷ３を付加するので、オブジェクトＯＢ１，ＯＢ２，ＯＢ３に対して３次元的に対応させて投影距離の変動周期で関連情報像を付加することができる。なお、フレーム枠ＨＷ１，ＨＷ２，ＨＷ３は、奥行き方向に立体的に表示されており、観察者の視点がアイボックス内でずれてもフレーム枠ＨＷ１，ＨＷ２，ＨＷ３がオブジェクトＯＢ１，ＯＢ２，ＯＢ３に対して位置ずれしない、又は位置ずれしにくくなっている。

【0038】

〔第２実施形態〕
以下、第２実施形態に係るヘッドアップディスプレイ装置について説明する。なお、第２実施形態のヘッドアップディスプレイ装置は第１実施形態のヘッドアップディスプレイ装置を変形したものであり、特に説明しない事項は第１実施形態と同様である。

【0039】

図１０に示すように、画像表示装置１００に設けた結像光学系２１５は、表示素子１１に形成された画像を拡大する。この際、結像光学系２１５の像側のＦ値が比較的大きく設定されており、結像光学系２１５の結像位置（つまり中間像の結像予定位置又はその近傍）に光軸ＡＸ方向に移動する光学素子である拡散スクリーン１６を配置している。ここで、拡散スクリーン１６の移動範囲が結像光学系の焦点深度内で設定されていれば、拡散スクリーン１６上に形成される中間像ＴＩの像は、拡散スクリーン１６が結像光学系２１５の結像位置から移動した際のボケが観察者から見て気にならない程度となり、比較的鮮明なものとなる。拡散スクリーン１６は、配光角を所望の角度に制御した拡散板であり、例えば摺りガラス、レンズ拡散板、マイクロレンズアレイ等が用いられる。

【0040】

制御部としての主制御装置９０及び表示制御部１８は、配置変更装置（投影距離変更部）２６２を介して、拡散スクリーン１６の位置を周期的にシフトさせることで、中間像ＴＩの位置を周期的にシフトさせて投影距離を周期的に変化させつつ、表示素子１１に形成する画像を投影距離に応じたものとする。具体的には、配置変更装置（投影距離変更部）２６２を構成するガイド部２６４と駆動部６５とによって拡散スクリーン１６を光軸ＡＸ方向に往復移動させることで投影距離を周期的に変化させる。このように、投影距離を周期的に変化させつつ、主制御装置９０及び表示制御部１８によって目標距離が投影距離と略一致するタイミングで、環境監視部（オブジェクト検出部）７２によって検出されたオブジェクトにＯＢ１，ＯＢ２，ＯＢ３に対して、画像表示装置１００によって虚像として関連情報像としてのフレーム枠ＨＷ１，ＨＷ２，ＨＷ３を付加する。このような構成とすることで、結像光学系２１５内に焦点を可変とする機構を設けなくても虚像の投影位置を可変とできて、簡素な構成で投影位置を可変とできるので、装置の小型化に望ましい構成と言える。

【0041】

中間像ＴＩについては、像のボケ量又はフォーカスずれが少ない方が望ましい。一方で、中間像ＴＩの位置を大きく変化させることで、これらによって形成される投影像（虚像）ＩＭの奥行き方向の投影位置差を確保し３次元的な表示範囲を広くすることができる。この観点で、結像光学系２１５は、下記の条件式（１）を満たすことが望ましい。
０．８≦２×Ｆ×Ｐ×ｍ^２／δ≦１．２ … （１）
ただし、値Ｆは、結像光学系２１５の表示素子１１側のＦナンバーを表し、値Ｐは、表示素子１１の画素ピッチ［ｍｍ］を表し、値δは、所望の虚像距離範囲を得るために必要な拡散スクリーン移動量［ｍｍ］を表す。 上記条件式（１）の値２×Ｆ×Ｐ×ｍ^２／δは、焦点深度の利用率といったものであり、上記条件式（１）を満たす範囲とすることで、拡散スクリーン１６の移動範囲内の各位置でフォーカスずれを少なくすることができるため、所望の虚像距離範囲において鮮明な虚像表示とすることができる。

【0042】

〔第３実施形態〕
以下、第３実施形態に係るヘッドアップディスプレイ装置について説明する。なお、第３実施形態のヘッドアップディスプレイ装置は第１実施形態又は第２実施形態のヘッドアップディスプレイ装置を変形したものであり、特に説明しない事項は第１実施形態等と同様である。

【0043】

図１１に示すように、画像表示装置１００において、結像光学系２１５の結像位置（つまり中間像の結像予定位置又はその近傍）に光学素子である拡散スクリーン３１６が回転体１９ａとして設けられている。拡散スクリーン３１６である回転体１９ａは、配置変更装置（投影距離変更部）３６２に設けた回転駆動装置３６４に駆動されて一定速度、略一定速度、又は周期変化する速度で回転する。回転体１９ａは、複数の拡散領域１６ａ～１６ｄを有する。これらの拡散領域１６ａ～１６ｄは、光軸ＡＸ方向に関する位置が異なっているが、回転体１９ａの回転に伴って結像光学系２１５の結像位置）に順次配置される。

【0044】

図１２Ａは、拡散スクリーン３１６及び配置変更装置（投影距離変更部）３６２を説明する側方断面図であり、図１２Ｂは、拡散スクリーン３１６を説明する正面図である。拡散スクリーン３１６である回転体１９ａは、光軸ＡＸに平行に延びる回転軸ＲＸが通る軸部１９ｄと、軸部１９ｄに支持されて回転軸ＲＸの周りに配置される４つの支持体領域１９ｅを有する支持体１９ｆと、各支持体領域１９ｅに保持されて光軸ＡＸに垂直な方向に延びる４つの拡散領域１６ａ～１６ｄとを有する。回転駆動装置３６４は、軸部１９ｄを介して回転体１９ａを回転させる。回転駆動装置３６４は、台座及び支柱を有する支持部材１９ｊ上に固定されている。

【0045】

回転駆動装置３６４によって軸部１９ｄを回転させることで、支持体１９ｆも回転軸ＲＸの周りに回転する。結果的に、４つの拡散領域１６ａ～１６ｄが光軸ＡＸ上に順次移動し、各拡散領域１６ａ～１６ｄは、光軸ＡＸを横切るように移動する。この際、拡散領域１６ａ～１６ｄの中心が光軸ＡＸを横切るように配置関係が調整され位置決めがなされている。正面から見て軸部１９ｄが例えば時計方向に回転する場合、拡散領域１６ａ～１６ｄの順番で光軸ＡＸ上に配置される。表示素子１１における画像の表示は、間欠的であり、拡散領域１６ａ～１６ｄが光軸ＡＸ上に配置されているタイミングとなる。

【0046】

〔第４実施形態〕
以下、第４実施形態に係るヘッドアップディスプレイ装置について説明する。なお、第４実施形態のヘッドアップディスプレイ装置は第１実施形態又は第２実施形態のヘッドアップディスプレイ装置を変形したものであり、特に説明しない事項は第１実施形態等と同様である。

【0047】

図１３に示すように、本体光学系１３は、虚像形成光学系１７によって、表示素子１１に形成された画像を直接虚像に変換する。

【0048】

制御部としての主制御装置９０及び表示制御部１８は、配置変更装置（投影距離変更部）４６２を介して、表示素子１１の位置を光軸ＡＸ方向に周期的に往復移動させることで投影距離を周期的に変化させつつ、表示素子１１に形成する画像を投影距離に応じたものとする。

【0049】

〔第５実施形態〕
以下、第５実施形態に係るヘッドアップディスプレイ装置について説明する。なお、第５実施形態のヘッドアップディスプレイ装置は第１実施形態のヘッドアップディスプレイ装置等を変形したものであり、特に説明しない事項は第１実施形態等と同様である。

【0050】

図１４に示すように、第５実施形態に係るヘッドアップディスプレイ装置の場合、フロントウインドウ８の運転席正面に設けた矩形の反射領域８ｄの内側にスクリーンとしての表示スクリーン５２０が貼り付けられている。

【0051】

〔その他〕

【0052】

以上では、具体的な実施形態としてのヘッドアップディスプレイ装置２００について説明したが、本発明に係るヘッドアップディスプレイ装置は、上記のものには限られない。例えば、第１実施形態において、画像表示装置１００の配置を上下反転させて、フロントウインドウ８の上部又はサンバイザー位置に表示スクリーン２０を配置することもでき、この場合、描画ユニット１０の斜め下方前方に表示スクリーン２０が配置される。また、表示スクリーン２０は、自動車の従来のミラーに対応する位置に配置してもよい。

【0053】

上記実施形態において、表示スクリーン２０の輪郭は、矩形に限らず、様々な形状とすることができる。

【0054】

図２に示す結像光学系１５や虚像形成光学系１７は、単なる例示であり、これら結像光学系１５及び虚像形成光学系１７の光学的構成については適宜変更することができる。

【0055】

図１５Ａに示すように、関連情報像ＲＩとしてのフレーム枠ＨＷは、オブジェクトＯＢ全体を囲むものに限らず、複数の部分からなるものとすることができる。また、図１５Ｂに示すように、関連情報像ＲＩは、オブジェクトＯＢに隣接して表示される指標ＳＨであってもよい。

【0056】

また、可動レンズ１５ｆについては、液体等を封入した可変焦点レンズに置き換えることができる。

【0057】

以上では、環境監視部７２によって車体２の前方に存在するオブジェクトＯＢを検出し、画像表示装置１００にオブジェクトＯＢの配置に対応するフレーム枠ＨＷ１，ＨＷ２，ＨＷ３といった関連情報像を表示しているが、オブジェクトＯＢの有無に関わらず、通信ネットワークを利用して付随的な運転関連情報を取得し、このような運転関連情報を画像表示装置１００に表示させることができる。例えば死角に存在する車、障害物等を警告するような表示も可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】