特許 7396404 表示制御装置及び表示制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】表示制御装置及び表示制御プログラム

(51)【国際特許分類】

   G02B 27/01 20060101AFI20231205BHJP

   B60R 11/02 20060101ALI20231205BHJP

   B60K 35/00 20060101ALI20231205BHJP

   H04N 5/64 20060101ALI20231205BHJP

【ＦＩ】

G02B27/01

B60R11/02 C

B60K35/00 A

B60K35/00 Z

H04N5/64 521Z

【請求項の数】 3

(21)【出願番号】P 2022115276

(22)【出願日】2022-07-20

(62)【分割の表示】P 2018232750の分割

【原出願日】2018-12-12

(65)【公開番号】P2022161901

(43)【公開日】2022-10-21

【審査請求日】2022-07-20

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】坂野 大翔

(72)【発明者】

【氏名】羽藤 猛

【審査官】井亀 諭

(56)【参考文献】

【文献】特開２０１９－１６４３１８（ＪＰ，Ａ）

【文献】特開２０１８－１７２０８８（ＪＰ，Ａ）

【文献】特開２０１８－１４０７１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２７／０１

Ｂ６０Ｒ １１／０２

(57)【特許請求の範囲】

【請求項1】

車両（Ａ）において用いられ、状態が調整制御される投影光学系（７４）によって前記車両の投影部材（ＷＳ）に投影される光の結像により前景中の重畳対象に重畳される虚像（Ｖｉ）、の表示を制御する表示制御装置であって、
前記車両に生じる姿勢変化のうちで低周波数帯域（ＬＢ）の姿勢変化情報を取得する第一取得部（３３）と、
前記車両の姿勢変化のうちで前記低周波数帯域よりも周波数の高い高周波数帯域（ＨＢ）の姿勢変化情報を取得する第二取得部（５２）と、
前記低周波数帯域の姿勢変化に起因する前記虚像の位置ずれを電子補正する第一補正部（３９）と、
前記高周波数帯域の姿勢変化に起因する前記虚像の位置ずれを、前記第一補正部とは異なる処理によって補正する第二補正部（５３）と、を備え、
前記第二補正部は、前記電子補正が施された入力画像（Ｐｉ）の中で出力画像（Ｐｏ）に使用する抽出範囲を、前記高周波数帯域の姿勢変化情報に基づき決定する表示制御装置。

【請求項2】

前記第二補正部は、前記抽出範囲の画素の２次元配列の並び替えにより、歪み補正が施された前記出力画像を生成する請求項１に記載の表示制御装置。

【請求項3】

車両（Ａ）において用いられ、状態が調整制御される投影光学系（７４）によって前記車両の投影部材（ＷＳ）に投影される光の結像により前景中の重畳対象に重畳される虚像（Ｖｉ）、の表示を制御する表示制御プログラムであって、
少なくとも一つの処理部を、
前記車両に生じる姿勢変化のうちで低周波数帯域（ＬＢ）の姿勢変化情報を取得する第一取得部（３３）と、
前記車両の姿勢変化のうちで前記低周波数帯域よりも周波数の高い高周波数帯域（ＨＢ）の姿勢変化情報を取得する第二取得部（５２）と、
前記低周波数帯域の姿勢変化に起因する前記虚像の位置ずれを電子補正する第一補正部（３９）と、
前記高周波数帯域の姿勢変化に起因する前記虚像の位置ずれを、前記第一補正部とは異なる処理によって補正する第二補正部（５３）と、を含むように機能させ、
前記第二補正部は、前記電子補正が施された入力画像（Ｐｉ）の中で出力画像（Ｐｏ）に使用する抽出範囲を、前記高周波数帯域の姿勢変化情報に基づき決定する表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この明細書による開示は、前景中の重畳対象に重畳される虚像を表示する表示制御装置及び表示制御プログラムに関する。

【背景技術】

【0002】

従来、例えば特許文献１には、虚像を表示するヘッドアップディスプレイ（以下、「ＨＵＤ」）において、視認者の視点高さに応じて光の投影位置を調整可能な構成が開示されている。特許文献１のＨＵＤでは、視認者の視点位置情報に基づき、凹面鏡の前後方向の傾斜角と筐体の位置とが調整される。その結果、視認者の視点位置が変わっても、視認者によって視認される虚像の位置は、一定に維持され得る。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－６０１８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、前景中の特定の物体を重畳対象とし、当該重畳対象に虚像を重畳させる情報提示が新たに試みられている。このように重畳対象に虚像を重畳させる形態では、従来のような投影光学系の調整は、不適切となり得る。

【0005】

詳しく説明すると、特許文献１では、視認者から見て虚像を重畳可能となる前景中の領域（以下、「表示可能領域」）は、視点位置の変化に合わせた調整により、必然的に移動してしまう。こうした表示可能領域の移動によれば、虚像を重畳させたい重畳対象が表示可能領域から外れてしまい、虚像を重畳できなくなるシーンが発生し得た。

【0006】

本開示は、重畳対象に虚像を重畳させる情報提示に好適な表示制御装置及び表示制御プログラムの提供を目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、開示された一つの態様は、車両（Ａ）において用いられ、状態が調整制御される投影光学系（７４）によって車両の投影部材（ＷＳ）に投影される光の結像により前景中の重畳対象に重畳される虚像（Ｖｉ）、の表示を制御する表示制御装置であって、車両に生じる姿勢変化のうちで低周波数帯域（ＬＢ）の姿勢変化情報を取得する第一取得部（３３）と、車両の姿勢変化のうちで低周波数帯域よりも周波数の高い高周波数帯域（ＨＢ）の姿勢変化情報を取得する第二取得部（５２）と、低周波数帯域の姿勢変化に起因する虚像の位置ずれを電子補正する第一補正部（３９）と、高周波数帯域の姿勢変化に起因する虚像の位置ずれを、第一補正部とは異なる処理によって補正する第二補正部（５３）と、を備え、第二補正部は、電子補正が施された入力画像（Ｐｉ）の中で出力画像（Ｐｏ）に使用する抽出範囲を、高周波数帯域の姿勢変化情報に基づき決定する表示制御装置とされる。

【0009】

また開示された一つの態様は、車両（Ａ）において用いられ、状態が調整制御される投影光学系（７４）によって車両の投影部材（ＷＳ）に投影される光の結像により前景中の重畳対象に重畳される虚像（Ｖｉ）、の表示を制御する表示制御プログラムであって、少なくとも一つの処理部を、車両に生じる姿勢変化のうちで低周波数帯域（ＬＢ）の姿勢変化情報を取得する第一取得部（３３）と、車両の姿勢変化のうちで低周波数帯域よりも周波数の高い高周波数帯域（ＨＢ）の姿勢変化情報を取得する第二取得部（５２）と、低周波数帯域の姿勢変化に起因する虚像の位置ずれを電子補正する第一補正部（３９）と、高周波数帯域の姿勢変化に起因する虚像の位置ずれを、第一補正部とは異なる処理によって補正する第二補正部（５３）と、を含むように機能させ、第二補正部は、電子補正が施された入力画像（Ｐｉ）の中で出力画像（Ｐｏ）に使用する抽出範囲を、高周波数帯域の姿勢変化情報に基づき決定する表示制御プログラムとされる。

【0010】

これらの態様では、虚像を重畳すべき重畳対象に、虚像を重畳できなくなるシーンは、減少し得る。以上によれば、重畳対象に虚像を重畳させる情報提示に好適となる。

【0011】

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

【図面の簡単な説明】

【0012】

【図1】本開示の第一実施形態による虚像表示システムの全体像を示すブロック図である。

【図2】車両に生じる姿勢変化の振動特性を示す図であって、高周波数帯域及び低周波数帯域の各範囲の一例を示す図である。

【図3】表示制御ＥＣＵの記憶部に記憶される歪み補正テーブルの詳細と、歪み補正テーブルに基づく歪み補正の処理内容の詳細とを示す図である。

【図4】ＨＵＤに設けられた調整機構の詳細を示す図である。

【図5】表示可能領域の変化を低減させる光学補正を、具体的なＡＲ表示の例と共に模式的に示す図である。

【図6】虚像表示システムの各処理部にて実施される虚像描画処理の詳細を示すフローチャートである。

【図7】本開示の第二実施形態による虚像表示システムの全体像を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

【0014】

（第一実施形態）
図１に示す本開示の第一実施形態による虚像表示システム１０は、車両Ａにおいて用いられる。虚像表示システム１０は、ウィンドシールドＷＳの一部を投影領域ＰＡとし、当該投影領域ＰＡへの光の投影により、車両Ａの前景に重畳される虚像Ｖｉを運転者から視認可能に表示する。虚像表示システム１０は、虚像Ｖｉを用いた拡張現実（Augmented Reality，以下「ＡＲ」）表示により、車両Ａに関連する種々の情報を運転者に提示する。

【0015】

ＡＲ表示される虚像Ｖｉの表示位置は、投影領域ＰＡを通して視認される前景中の特定物体、例えば、前走車、歩行者及び路面等の重畳対象に関連付けられる。虚像Ｖｉは、重畳対象に相対固定されているように、重畳対象を追って、運転者の見た目上で移動する。そのため、車両Ａの姿勢が変化した場合でも、虚像Ｖｉが重畳対象に重畳表示された状態は、維持される。一例として、走行すべき車線の範囲を示す虚像Ｖｉが、前景中における左右の区画線の間の路面上に、ＡＲ表示物として重畳表示される（図５参照）。

【0016】

虚像表示システム１０は、車両Ａの姿勢変化及び運転者のアイポイントＥＰの位置変化等に起因し、重畳対象、投影領域ＰＡ及びアイポイントＥＰの相対的な位置関係が変化した場合でも、重畳対象への虚像Ｖｉの重畳状態を維持させる制御を行う。虚像表示システム１０は、重畳対象に対する虚像Ｖｉの表示位置のずれが低減され、望ましくは解消されるように、虚像Ｖｉとして結像される光の形状及び投影位置等を逐次補正可能である。

【0017】

虚像表示システム１０は、虚像表示を補正する複数の補正機能を備えている。各補正機能は、互いに異なる周波数帯域の振動に対して、表示位置のずれを補正する効果を発揮する。詳記すると、表示位置のずれを引き起こす振動（例えば、車両振動）は、図２に示すように、主に２Ｈｚ程度までの周波数帯域の成分を含んでいる。虚像表示システム１０では、こうした周波数帯域を、例えば低周波数帯域ＬＢと高周波数帯域ＨＢとに分けて、それぞれ異なる方式により、表示ずれの低減が図られている。

【0018】

低周波数帯域ＬＢは、０～０．５Ｈｚ程度までの周波数帯域とされている。この低周波数帯域ＬＢのうちで、特に周波数の低い側の帯域が第一帯域ＬＢ１とされ、周波数の高い側の帯域が第二帯域ＬＢ２とされる。第一帯域ＬＢ１の帯域幅は、第二帯域ＬＢ２の帯域幅よりも狭く設定されている。第一帯域ＬＢ１は、周波数が概ねゼロに近い帯域である。例えば車両Ａの乗員数の増減及び積載重量の変化に起因する車両姿勢の変化は、第一帯域ＬＢ１に含まれる。加えて、運転者の体格に起因するアイポイントＥＰの位置変化も、第一帯域ＬＢ１に含まれる。一方、第二帯域ＬＢ２は、走行中に生じる車両振動のうちで、０．５Ｈｚ未満の車両振動を主に含む帯域である。例えば、車両Ａをゆっくりと加減速させる場合等、通常の運転操作（ペダル操作）に基づく加減速での姿勢変化が、第二帯域ＬＢ２に属する車両振動となる。

【0019】

高周波数帯域ＨＢは、低周波数帯域ＬＢよりも周波数の高い０．５～２Ｈｚまでの周波数帯域である。例えば、悪路走行中、ブレーキ操作を複数回入力した場合、及び車両Ａを急発進又は急減速させる場合等の走行シーンでの姿勢変化が、高周波数帯域ＨＢに属する車両振動となる。

【0020】

図１に示す虚像表示システム１０は、描画ＥＣＵ（Electronic Control Unit）３０、表示制御ＥＣＵ４０及びヘッドアップディスプレイ（以下、「ＨＵＤ」）７０等によって構成されている。上述の周波数帯域のうちで、第一帯域ＬＢ１の姿勢変化等に起因する虚像Ｖｉの位置ずれは、表示制御ＥＣＵ４０での電子的な補正又はＨＵＤ７０での光学的な補正により、低減が図られる。また、第二帯域ＬＢ２の姿勢変化に起因する虚像Ｖｉの位置ずれは、描画ＥＣＵ３０での電子的な補正により、低減が図られる。さらに、高周波数帯域ＨＢの姿勢変化に起因する虚像Ｖｉの位置ずれは、表示制御ＥＣＵ４０での電子的な補正により、低減が図られる。以下、描画ＥＣＵ３０、表示制御ＥＣＵ４０及びＨＵＤ７０の詳細を順に説明する。尚、上述の電子的な補正（以下、「電子補正」）は、ＨＵＤ７０に提供される映像データに対し、演算処理上で行われる補正であり、非光学的な補正である。

【0021】

描画ＥＣＵ３０は、複数の車載表示器と直接的又は間接的に接続されており、各車載表示器の表示を統合的に制御する制御装置である。描画ＥＣＵ３０は、各車載表示器によって表示される映像データを個別に生成し、各車載表示器に逐次出力する。描画ＥＣＵ３０は、車載ネットワークの通信バス２９と電気接続されており、通信バス２９を介して、他の車載構成と相互に通信可能である。描画ＥＣＵ３０は、映像データの生成に必要なデータを、車載ネットワークから取得する。通信バス２９には、外界センサ２１、ハイトセンサ２２、車両制御ユニット２４及びドライバステータスモニタ２５等が直接的又は間接的に電気接続されている。

【0022】

外界センサ２１は、歩行者及び他の車両等の移動物体、さらに路上の縁石、道路標識、道路標示、及び区画線等の静止物体を検出する。これら移動物体及び静止物体の少なくとも一部が、虚像Ｖｉの重畳対象とされる。車両Ａには、例えばカメラユニット、ライダ及びミリ波レーダ等が外界センサ２１として搭載されている。外界センサ２１は、検出した移動物体及び静止物体の相対位置及び種別等を示す物体情報を、通信バス２９に逐次出力する。

【0023】

ハイトセンサ２２は、車両Ａが置かれた路面からボディまでの高さを計測するため、車両Ａに生じる上下方向の変位を検出するセンサである。ハイトセンサ２２は、例えば左右いずれか一方のリヤサスペンションに設置されている。ハイトセンサ２２は、ボディとサスペンションアームとの間の相対距離を計測し、車高の計測結果として通信バス２９に逐次出力する。

【0024】

車両制御ユニット２４は、マイクロコントローラを主体に構成された制御装置である。車両制御ユニット２４は、外界センサ２１にて検出される物体情報及び運転者の運転操作等に基づき、車両Ａの挙動を制御する。車両制御ユニット２４は、ペダルセンサ２３と電気的に接続されている。ペダルセンサ２３には、アクセルポジションセンサ及びブレーキ踏力センサが含まれる。

【0025】

車両制御ユニット２４は、ペダルセンサ２３の検出信号に基づき、車両Ａに発生させる前後方向の加速度、即ち、車軸トルク及びブレーキ力を制御する。加えて車両制御ユニット２４は、運転者の加減速操作及び路面の凹凸等の外乱に伴う車両Ａの振動が抑制されるように、車軸トルク及びブレーキ力をフィードフォワード制御する。車両制御ユニット２４は、フィードフォワード制御における車軸トルク及びブレーキ力の各目標値を、制御情報として通信バス２９に逐次出力する。

【0026】

ドライバステータスモニタ（以下、「ＤＳＭ」）２５は、近赤外光源、近赤外カメラ及び画像解析部を有している。ＤＳＭ２５は、近赤外カメラを運転席側に向けた姿勢にて、例えばインスツルメントパネルの上面等に配置されている。ＤＳＭ２５は、近赤外光源によって近赤外光を照射された運転者の顔周辺又は上半身を近赤外カメラで撮影し、運転者の顔を含んだ顔画像を撮像する。ＤＳＭ２５は、撮像した顔画像を画像解析部にて解析し、運転者のアイポイントＥＰの位置を検出する。ＤＳＭ２５は、アイポイントＥＰの位置情報を、通信バス２９に逐次出力する。

【0027】

描画ＥＣＵ３０は、処理部３０ａ、ＲＡＭ、記憶部３０ｂ及び入出力インターフェースを有するコンピュータを主体に構成されている。処理部３０ａは、ＲＡＭと結合された演算処理のためのハードウェアである。処理部３０ａは、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等の演算コアを少なくとも一つ含む構成である。処理部３０ａは、ＦＰＧＡ（Field-Programmable Gate Array）及び他の専用機能を備えたＩＰコア等をさらに含む構成であってよい。記憶部３０ｂには、処理部３０ａによって実行される種々のプログラム（表示制御プログラム等）が格納されている。

【0028】

描画ＥＣＵ３０は、記憶部３０ｂに記憶されたプログラムを処理部３０ａにより実行し、複数の機能部を備える。具体的に、描画ＥＣＵ３０には、センサ値取得部３１、輝度設定部３４、コンテンツ選定部３５、対象設定部３６、投影調整部３７、補正量算出部３８及び描画データ生成部３９等の機能部が構築される。センサ値取得部３１、輝度設定部３４、コンテンツ選定部３５及び対象設定部３６は、通信バス２９から情報を取得可能である。

【0029】

センサ値取得部３１は、低周波数帯域ＬＢの姿勢変化を示す情報を、通信バス２９から取得する。センサ値取得部３１には、ＤＣ情報処理部３２及びＡＣ情報処理部３３等の補助的な機能部が設けられている。

【0030】

ＤＣ情報処理部３２は、第一帯域ＬＢ１に属するＤＣ（Direct Current）成分の状態情報を取得する。具体的に、ＤＣ情報処理部３２は、車両Ａが停止した状態での車高の計測結果（以下、「車両基準姿勢」）と、運転者が実質静止した状態でのアイポイントＥＰの位置情報（以下、「アイポイント基準位置」）とを、ＤＣ成分の状態情報として取得する。ＤＣ情報処理部３２は、車両基準姿勢及びアイポイント基準位置を、詳細を後述する特定パラメータの基準状態値として、投影調整部３７及び補正量算出部３８に提供する。

【0031】

ＡＣ情報処理部３３は、車軸トルク及びブレーキ力の制御情報を用いて、車両Ａに生じる姿勢変化のうちで第二帯域ＬＢ２に属するＡＣ（Alternate Current）成分の姿勢変化情報を取得する。具体的に、ＡＣ情報処理部３３は、車軸トルク及びブレーキ力の制御情報をバンドパスフィルタに通す処理により、第二帯域ＬＢ２に属する姿勢変化（主にピッチ角変化等）の振動成分を抽出する。

【0032】

輝度設定部３４は、虚像Ｖｉに要求される要求輝度を把握する。輝度設定部３４は、例えば外界センサ２１のカメラユニットにて設定された露出情報を通信バス２９から取得し、現在の車外の明るさ（外光量）を推定する。輝度設定部３４は、推定した外光量に応じて、虚像Ｖｉの要求輝度を設定する。要求輝度は、車外が明るくなるほど高く設定され、車外が暗くなるほど低く設定される。輝度設定部３４は、現在の外光量に対して好適となる要求輝度を、ＨＵＤ７０に逐次通知する。

【0033】

コンテンツ選定部３５は、通信バス２９から取得する各種情報に基づき、虚像表示を行うコンテンツの選択及び調停を行う。具体的に、コンテンツ選定部３５は、各コンテンツの表示の優先度を総合的に判定し、虚像Ｖｉを用いて運転者に通知すべき情報を選定する。コンテンツ選定部３５は、選定したコンテンツを指定する指令と、選定したコンテンツの描画に必要な情報とを、描画データ生成部３９に逐次提供する。

【0034】

対象設定部３６は、外界センサ２１によって出力された物体情報を通信バス２９から取得し、移動物体及び静止物体の中から、虚像Ｖｉを重畳させる重畳対象を選別する。対象設定部３６は、選別した重畳対象の相対位置を、描画データ生成部３９に逐次提供する。一例として、走行中の車線の路面を重畳対象とし、当該路面上に虚像Ｖｉを重畳させる場合（図５参照）、対象設定部３６は、左右両側の区画線の相対位置を、描画データ生成部３９に逐次提供する。

【0035】

投影調整部３７は、ＨＵＤ７０の投影光学系７４（後述する）の姿勢を調整する制御により、ウィンドシールドＷＳに規定される投影領域ＰＡの位置、ひいては虚像Ｖｉとして結像される光の投影位置を、運転者からの見た目上にて、上下方向に変位させる。投影調整部３７は、ＤＣ情報処理部３２より提供される車両基準姿勢及びアイポイント基準位置を取得する。投影調整部３７は、これら基準状態値に基づき、投影光学系７４の目標姿勢を決定する。基準状態値と目標姿勢との相関関係は、設計時において予め規定され、相関テーブル又は相関関数等のデータ形式で記憶部３０ｂに記憶されている。投影調整部３７は、基準状態値を相関テーブル又は相関関数に適用し、基準状態値に対応した目標姿勢を決定する。投影調整部３７は、決定した目標姿勢を、ＨＵＤ７０に制御情報として通知する。加えて投影調整部３７は、決定した目標姿勢を、投影光学系７４の調整結果を示す情報として、描画データ生成部３９及び表示制御ＥＣＵ４０にも通知する。

【0036】

補正量算出部３８は、ＡＣ情報処理部３３にて取得される第二帯域ＬＢ２の姿勢変化情報を主に用いて、車両Ａの現在姿勢を特定する。補正量算出部３８は、特定した車両Ａの現在姿勢から、虚像Ｖｉの表示ずれを補正する補正量（以下、「低周波補正量」）を算出する。補正量算出部３８は、算出した低周波補正量の値を、描画データ生成部３９に逐次提供する。

【0037】

補正量算出部３８は、低周波補正量の算出にあたり、投影調整部３７より提供される投影光学系７４の調整結果と、ＤＣ情報処理部３２より提供される基準状態値とを加味する。例えば後述するように、基準状態値に対応した目標姿勢への投影光学系７４の調整を投影調整部３７が中断している場合、補正量算出部３８は、現在の投影光学系７４の姿勢と、車両基準姿勢及びアイポイント基準位置とを考慮した低周波補正量を算出する。

【0038】

描画データ生成部３９は、映像データを生成する３Ｄ描画部である。描画データ生成部３９は、映像出力線等によって表示制御ＥＣＵ４０と電気的に接続されている。描画データ生成部３９は、虚像表示のための映像データ、即ち表示制御ＥＣＵ４０にとっての入力映像データＶｄｉを、予め規定された映像フォーマットにて、表示制御ＥＣＵ４０へ向けて逐次出力する。

【0039】

描画データ生成部３９は、入力映像データＶｄｉの各フレーム画像（以下、「入力画像Ｐｉ」）を描画する。入力画像Ｐｉのフレーム内における個々の描画物の描画位置及び描画形状は、結像された虚像Ｖｉが重畳対象に正しく重なって視認されるように制御される。詳記すると、描画データ生成部３９は、アイポイントＥＰ、投影領域ＰＡ、及び重畳対象の相対位置を把握し、これらの位置関係に基づき、投影領域ＰＡ内に投影される光の投影位置及び投影形状等を、幾何学的な演算によって算出する。

【0040】

加えて描画データ生成部３９は、低周波数帯域ＬＢの姿勢変化に起因する虚像Ｖｉの位置ずれを電子補正する。補正量算出部３８は、補正量算出部３８から取得する低周波補正量に基づき、低周波数帯域ＬＢ（又は第二帯域ＬＢ２）の姿勢変化に起因する虚像Ｖｉの位置ずれが低減（相殺）されるように、入力画像Ｐｉを逐次補正する。描画データ生成部３９は、低周波数帯域ＬＢの姿勢変化に対する補正が予め施された入力画像Ｐｉを、入力映像データＶｄｉとして表示制御ＥＣＵ４０に連続的に伝送する。

【0041】

表示制御ＥＣＵ４０は、描画ＥＣＵ３０及びＨＵＤ７０の間にて映像データを中継し、ＨＵＤ７０による虚像Ｖｉの表示を制御する制御装置である。表示制御ＥＣＵ４０は、慣性センサ４１及びフィルタ回路４２と、ＬＣＤ（Liquid Crystal Display）制御基板５０等とによって構成されている。

【0042】

慣性センサ４１は、車両Ａの姿勢変化を計測する計測部である。慣性センサ４１は、ジャイロセンサ及び加速度センサを組み合わせた構成である。慣性センサ４１は、ハイトセンサ２２及び車両制御ユニット２４等とは別の姿勢検出センサとして、車両Ａに搭載されている。慣性センサ４１は、車両Ａにおけるピッチ方向及びロール方向の各角速度と、車両Ａのヨー軸に沿った上下方向の加速度とを計測し、各計測信号をフィルタ回路４２に送信する。慣性センサ４１は、ＬＣＤ制御基板５０に固定されていてもよく、又は表示制御ＥＣＵ４０の金属筐体等に固定されていてもよい。

【0043】

フィルタ回路４２は、慣性センサ４１の計測信号を処理する信号処理回路であり、例えばハイパスフィルタ及び積分処理部等を少なくとも含む構成である。ハイパスフィルタは、高周波数帯域ＨＢの信号を概ね通過させ、低周波数帯域ＬＢ以下の信号を減衰させる（図２参照）。加えてハイパスフィルタは、計測信号に含まれるドリフト成分を除去する。積分処理部は、例えばローパスフィルタを主体とした構成であり、姿勢変化の角速度を示す計測信号を時間積分する信号処理により、車両姿勢（ピッチ角，ロール角等）を示す信号を生成する。フィルタ回路４２は、ハイパスフィルタ及び積分処理部を順に通過した信号を、高周波数帯域ＨＢの姿勢変化情報として取得し、ＬＣＤ制御基板５０に逐次提供する。

【0044】

ＬＣＤ制御基板５０には、処理部５０ａ、ＲＡＭ、記憶部５０ｂ及び入出力インターフェース等が設けられている。ＬＣＤ制御基板５０に形成されたデータバスには、フィルタ回路４２、ＲＡＭ、記憶部５０ｂ及び処理部５０ａ等が高速アクセス可能に接続されている。

【0045】

記憶部５０ｂは、ＲＯＭ又はフラッシュメモリ等の不揮発性の記憶媒体を主体に構成されている。記憶部５０ｂは、処理部５０ａに提供されるデータを保持している。記憶部５０ｂには、処理部５０ａによって実行される種々のプログラムと、虚像表示に必要な多数のパラメータとが格納されている。こうしたパラメータの一つとして、後述する歪み補正テーブルＴＢ（図３参照）が、記憶部５０ｂには記憶されている。

【0046】

処理部５０ａは、ＲＡＭと結合された画像処理のためのハードウェアである。処理部５０ａは、入力映像データＶｄｉの各フレームを構成する入力画像Ｐｉを補正し、出力映像データＶｄｏの各フレームとなる出力画像Ｐｏを描画する。処理部５０ａは、ＲＡＭへのアクセスを制御するメモリコントローラと、ＣＰＵ及びＦＰＧＡ等の演算コアとを少なくとも含む構成である。処理部５０ａは、ＧＰＵ及び他の専用機能を備えたＩＰコア等をさらに含む構成であってもよい。処理部５０ａには、描画データ取得部５１、姿勢情報取得部５２及び補正実行部５３等の機能部が構築される。

【0047】

描画データ取得部５１は、描画データ生成部３９と電気的に接続されている。描画データ取得部５１には、入力映像データＶｄｉの各入力画像Ｐｉが、描画データ生成部３９から逐次伝送される。描画データ取得部５１は、取得した入力画像ＰｉをＲＡＭに順次書き込む処理により、入力画像Ｐｉを補正可能な状態に準備する。

【0048】

姿勢情報取得部５２は、車両Ａの姿勢変化に関連した情報として、高周波数帯域ＨＢ（図２参照）の姿勢変化情報を、フィルタ回路４２から取得する。

【0049】

補正実行部５３は、入力画像Ｐｉを２次元的に変形させる２Ｄグラフィックス処理により、入力画像Ｐｉを補正する補正部である。補正実行部５３は、映像出力線等によってＨＵＤ７０と電気的に接続されている。補正実行部５３は、入力画像Ｐｉの補正によって出力画像Ｐｏを生成し、出力映像データＶｄｏとして、ＨＵＤ７０に連続的に伝送する。補正実行部５３は、描画データ生成部３９とは異なる処理により、虚像Ｖｉを電子補正する。補正実行部５３は、入力画像Ｐｉに対する補正として、姿勢補正と歪み補正とを実施する。

【0050】

姿勢補正は、高周波数帯域ＨＢの姿勢変化に起因する重畳対象からの虚像Ｖｉの位置ずれを低減（相殺）させる補正である。補正実行部５３は、入力画像Ｐｉの中で出力画像Ｐｏに使用する抽出範囲を決定する。補正実行部５３は、姿勢情報取得部５２の取得する姿勢変化情報に基づき、抽出範囲の位置を主に入力画像Ｐｉの上下方向にシフトする。

【0051】

歪み補正は、投影領域ＰＡ及び投影光学系７４での反射に起因する虚像Ｖｉの変形を考慮し、歪みを低減（相殺）させた状態で虚像Ｖｉが表示されるように、出力画像Ｐｏの形状を予め変形させておく補正である。歪み補正の補正演算には、図３に示す歪み補正テーブルＴＢが補正情報として用いられる。

【0052】

歪み補正テーブルＴＢは、補正前座標及び補正後座標を一組のデータセットとし、このデータセットを多数連続させてなるファイル構成である。補正後座標は、出力画像Ｐｏにおける画素の位置を示す情報である。補正前座標は、補正後座標の画素に割り当てられる入力画像Ｐｉの画素の位置を、Ｘ座標及びＹ座標によって示す情報である。

【0053】

具体的に、歪み補正テーブルＴＢにおける数値の並びは、＜補正後座標のＸ座標＞，＜補正後座標のＹ座標＞，＜補正前座標のＸ座標＞，＜補正前座標のＹ座標＞の順とされている。例えば歪み補正テーブルの１行目の数値群は、出力画像Ｐｏの座標（０，０）が（－１，－１）の無効ピクセル（黒背景）であることを示している。２行目の数値群は、出力画像Ｐｏの（１，０）には、入力画像Ｐｉの（０，１）の画素情報（階調値）を割り当てることを示している。

【0054】

加えて歪み補正テーブルＴＢには、投影光学系７４の姿勢とアイポイントＥＰとの関係が示されている。そのため図１に示す補正実行部５３は、投影光学系７４の調整結果を投影調整部３７より取得し、投影光学系７４の現在姿勢に対応する内容の歪み補正テーブルＴＢを、記憶部５０ｂより選択的に読み出すことができる。

【0055】

以上により、補正実行部５３は、投影調整部３７にて設定される目標姿勢に応じた内容の歪み補正テーブルＴＢを取得し、姿勢補正に基づく抽出範囲の画素の２次元配列を、当該歪み補正テーブルＴＢに基づき並び替える。こうした処理により、補正実行部５３は、入力画像Ｐｉの抽出範囲を変形させてなる出力画像Ｐｏを生成する。

【0056】

図１及び図４に示すＨＵＤ７０は、ウィンドシールドＷＳの下方にて、インスツルメントパネルに設けられた収容空間に収容される車載表示器である。ＨＵＤ７０からウィンドシールドＷＳの投影領域ＰＡへ向けて射出された光は、投影領域ＰＡによってアイポイントＥＰ側へ向けて反射され、運転者によって知覚される。運転者は、投影領域ＰＡを通して見える前景に、虚像Ｖｉが重畳された表示を視認する。ＨＵＤ７０は、例えばアイポイントＥＰから車両Ａの前方向に１０～２０ｍ程度の空間中に虚像Ｖｉを結像させる。

【0057】

ＨＵＤ７０では、運転席の座面上方且つヘッドレスト近傍に、アイボックスＥＢＸが設定される。アイボックスＥＢＸは、所定の輝度以上で虚像Ｖｉを視認可能な空間領域である。アイボックスＥＢＸは、車種毎に規定される仮想領域であり、運転者の目の位置の分布を統計的に表したアイレンジと重なるように設定される。

【0058】

ＨＵＤ７０は、ＬＣＤ７１、バックライト７２、バックライト制御部７３、投影光学系７４及び調整機構７５によって構成されている。各光学要素は、ＨＵＤ７０の筐体７９に収容されており、筐体７９によって相対的な位置関係を高精度に規定されている。

【0059】

ＬＣＤ７１は、多数の画素が配列されてなる表示面を有している。ＬＣＤ７１は、各画素に設けられた赤色、緑色、及び青色等のサブ画素の光の透過率を増減させ、表示面に種々の画像をカラー表示する。各サブ画素における光の透過率は、ＬＣＤ制御基板５０によって制御される。ＬＣＤ７１の表示面には、出力映像データＶｄｏに基づく出力画像Ｐｏが表示される。

【0060】

バックライト７２は、多数の発光ダイオードを有する構成である。多数の発光ダイオードは、ＬＣＤ７１の背面側に配置されており、ＬＣＤ７１の表示面に沿って所定の間隔で２次元配列されている。バックライト７２は、個々の発光ダイオードにて照明されるエリア毎に、発光輝度を調整可能な構成とされている。バックライト７２は、ＬＣＤ７１を背面側から透過照明し、表示面に描画された出力画像Ｐｏを発光表示させる。その結果、出力画像Ｐｏの光が表示面から射出される。

【0061】

バックライト制御部７３は、バックライト７２の各発光ダイオードを駆動する駆動回路を主体に構成されている。バックライト制御部７３は、各発光ダイオードの個別に発光させる部分駆動（ローカルディミング）により、バックライト７２の発光輝度をエリア毎に制御する。バックライト制御部７３は、出力映像データＶｄｏをＬＣＤ制御基板５０から取得し、各出力画像Ｐｏにおける描画物の位置及び形状等に合わせて、バックライト７２における各エリアの発光輝度を決定する。加えてバックライト制御部７３は、輝度設定部３４より通知される要求輝度に基づき、各エリアの輝度を外光量に応じて調整する。

【0062】

投影光学系７４は、例えば平面鏡７４ａ及び凹面鏡７４ｂ等を含む構成であり、虚像Ｖｉとして結像される出力画像Ｐｏの光を投影領域ＰＡに投影する。各反射鏡は、合成樹脂又はガラス等からなる無色透明な基材の表面に、アルミニウム等の金属を蒸着させてなる。投影光学系７４は、ＬＣＤ７１から射出された虚像Ｖｉの光を反射によって広げつつ、投影領域ＰＡに投影し、出力画像Ｐｏを拡大させてなる虚像Ｖｉを表示させる。投影光学系７４には、例えば回折によって出力画像Ｐｏを拡大する回折光学素子（Diffractive Optical Element：ＤＯＥ）等が用いられてもよい。

【0063】

調整機構７５は、投影調整部３７と連携し、投影光学系７４の状態を制御する機構である。調整機構７５は、投影光学系７４の凹面鏡７４ｂと一体的に構成されており、凹面鏡７４ｂの姿勢を機械的に調整する。調整機構７５は、回転軸Ａｘまわりの凹面鏡７４ｂの回転により、ウィンドシールドＷＳにおける投影領域ＰＡの位置を、上下方向に移動させる。調整機構７５は、可動支持部７５ａ、ポテンションメータ７６、ステッパモータ７７及びコントローラ７８等によって構成されている。

【0064】

可動支持部７５ａは、回転軸Ａｘまわりに回転可能な状態で、凹面鏡７４ｂを筐体７９に対して支持している。ポテンションメータ７６は、可変抵抗を主体に構成された回転角センサである。ポテンションメータ７６は、可動支持部７５ａ及び凹面鏡７４ｂの現在の回転角を検出し、回転角に応じた出力をコントローラ７８へ向けて出力する。ステッパモータ７７は、可動支持部７５ａを回転駆動させる駆動部である。ステッパモータ７７は、コントローラ７８の駆動信号に従い、可動支持部７５ａ及び凹面鏡７４ｂを回転軸Ａｘまわりに回転させる。

【0065】

コントローラ７８は、ステッパモータ７７の作動を制御する駆動制御部である。コントローラ７８は、投影調整部３７にて決定された目標姿勢に基づき、可動支持部７５ａ及び凹面鏡７４ｂの回転角を設定する。コントローラ７８は、ポテンションメータ７６の出力を参照しつつステッパモータ７７の駆動を制御し、凹面鏡７４ｂの回転角を目標姿勢と一致させる。

【0066】

次に、投影調整部３７及び調整機構７５の連携による光学的な補正の詳細を説明する。光学的な補正は、虚像Ｖｉの表示可能領域ＳＡの変化を低減させるために実施される。表示可能領域ＳＡは、アイポイントＥＰから見たときに、投影領域ＰＡと重なる前景範囲である。虚像Ｖｉは、表示可能領域ＳＡにある物体に対してのみ重畳可能となる。表示可能領域ＳＡは、主に車両Ａのピッチ方向の姿勢変化と、アイポイントＥＰの位置変化とによって変動する。故に、車両Ａのピッチ姿勢とアイポイントＥＰとが、表示可能領域ＳＡを変化させる主要な「特定パラメータ」となる。そして上述したように、ＤＣ情報処理部３２にて取得される車両基準姿勢及びアイポイント基準位置が、特定パラメータの基準となる「基準状態値」となる。

【0067】

投影調整部３７は、特定パラメータの基準状態値を取得し、基準状態値に合わせて、運転者から見た表示可能領域ＳＡの変化を低減させるように、投影光学系７４の目標姿勢を設定する。投影調整部３７は、目標姿勢に基づく調整機構７５の制御により、投影光学系７４を調整し、投影領域ＰＡを移動させる。こうした投影光学系７４の姿勢変更により、投影領域ＰＡの上下方向位置が調整される。

【0068】

一例として、アイポイントＥＰが標準位置よりも高い場合（図５ ＥＰｈ）、又はフロント側が沈み込んだ車両姿勢である場合、補正が実施されないと、表示可能領域ＳＡは、車両Ａへ近づく方向へ移動する。故に、投影調整部３７は、表示可能領域ＳＡの変化を低減させるために、ウィンドシールドＷＳにおける投影領域ＰＡを上方にシフトさせる。以上によれば、虚像Ｖｉの結像位置も上方に移動するため、アイポイントＥＰから見た虚像Ｖｉと重なる路面範囲は、維持される。

【0069】

一方、アイポイントＥＰが標準位置よりも低い場合（図５ ＥＰｌ）、又はリヤが沈み込んだ車両姿勢である場合、補正が実施されないと、表示可能領域ＳＡは、車両Ａから離れる方向へ移動する。故に、投影調整部３７は、表示可能領域ＳＡの変化を低減させるために、ウィンドシールドＷＳにおける投影領域ＰＡを下方にシフトさせる。以上によれば、虚像Ｖｉの結像位置も下方に移動するため、アイポイントＥＰから見た虚像Ｖｉと重なる路面範囲は、維持される。

【0070】

ここで、表示可能領域ＳＡを維持するための投影領域ＰＡの移動は、アイポイントＥＰからアイボックスＥＢＸの中心（以下、「アイボックス中心」）を遠ざけてしまう場合がある。故に、光学的に表示可能領域ＳＡを維持する制御を行う場合、運転者の姿勢変化等に起因し、アイポイントＥＰが当初の基準位置からずれた際に、虚像Ｖｉの顕著な輝度低下及び見切れ等が生じ易くなる。

【0071】

故に、投影調整部３７は、上記のような光学的なデメリットを考慮しつつ、投影光学系７４の調整を実施する。具体的に、投影調整部３７は、表示可能領域ＳＡの固定がＨＵＤ７０の光学性能等に起因して困難である場合、表示可能領域ＳＡのうちの重要範囲ＳＡｉが表示可能領域ＳＡから外れないように、投影光学系７４の姿勢を制御する。重要範囲ＳＡｉは、虚像Ｖｉを用いた情報提示において、運転者の意味理解に不可欠な範囲として予め規定されている。投影調整部３７は、コンテンツ選定部３５にて選定されたコンテンツに応じて、重要範囲ＳＡｉの位置を調整可能である。また一例として、投影調整部３７は、アイポイントＥＰから表示可能領域ＳＡへの俯角が一定となるように投影領域ＰＡの位置を制御することで、重要範囲ＳＡｉを表示可能領域ＳＡ内に留まらせてもよい。

【0072】

加えて投影調整部３７は、輝度設定部３４にて判定された要求輝度に応じて、表示可能領域ＳＡを維持する投影光学系７４の制御を中断する。具体的に、投影調整部３７は、要求輝度が閾値を超えているか否かを判定する。投影調整部３７は、要求輝度が閾値を超えている場合に、表示可能領域ＳＡの維持制御を中断し、アイボックス中心がアイポイント基準位置と一致するように、投影光学系７４の姿勢を調整する輝度優先制御に切り替える。

【0073】

以上説明した虚像表示を実現するために、虚像表示システム１０の各構成によって実施される一連の虚像描画処理の詳細を、図６に基づき、図１，図２及び図５等を参照しつつ説明する。図６に示す虚像描画処理は、例えば車両電源のオン状態への切り替えに基づき開始され、車両電源がオフ状態となるまで繰り返し実施される。

【0074】

Ｓ１０１～Ｓ１０３の処理は、描画ＥＣＵ３０の投影調整部３７にて実施される。Ｓ１０１では、輝度設定部３４にて設定された要求輝度を、閾値と比較する。Ｓ１０１にて、閾値よりも要求輝度が高いと判定した場合、Ｓ１０２に進む。Ｓ１０２では、輝度優先制御により、アイポイント基準位置に、アイボックス中心が一致するように、投影光学系７４の目標姿勢を設定する。そして、設定した目標姿勢を調整機構７５に通知し、Ｓ１０４に進む。Ｓ１０２にて通知された目標姿勢に基づき、調整機構７５は、投影光学系７４の回転角を調整する。

【0075】

一方、Ｓ１０１にて、要求輝度が閾値以下であると判定した場合、Ｓ１０３に進む。Ｓ１０３では、表示可能領域ＳＡの維持制御として、表示可能領域ＳＡの変化を低減させるように投影光学系７４を調整する。Ｓ１０３では、アイポイント基準位置とアイボックス中心との距離を考慮しつつ、虚像Ｖｉの見切れを生じさせないような範囲で、表示可能領域ＳＡの変化を低減させるように、投影光学系７４を調整し、Ｓ１０４に進む。

【0076】

Ｓ１０４及びＳ１０５の各処理は、描画ＥＣＵ３０の描画データ生成部３９にて主に実施される。Ｓ１０４では、アイポイント基準位置と、投影調整部３７にて設定された目標姿勢とを、入力画像Ｐｉの描画に反映させる設定とし、Ｓ１０５に進む。

【0077】

Ｓ１０５では、低周波数帯域ＬＢの姿勢変化を示す姿勢変化情報を、入力画像Ｐｉの描画にさらに反映させて、Ｓ１０６に進む。Ｓ１０１にて、要求輝度が閾値以下と判定された場合、乗員数や積載重量に起因する車両基準姿勢の変動や、体格差に起因するアイポイント基準位置の変動は、Ｓ１０３の維持制御にて、光学的に補正される。一方、Ｓ１０１にて、要求輝度が閾値を超えていると判定した場合、光学的な虚像Ｖｉの位置ずれ補正は、実施されない。そのため、この場合のＳ１０５では、入力画像Ｐｉの描画において、車両基準姿勢及びアイポイント基準位置の変動分が、電子的に補正される。

【0078】

Ｓ１０６～Ｓ１０８の各処理は、表示制御ＥＣＵ４０の補正実行部５３にて主に実施される。Ｓ１０６では、高周波数帯域ＨＢの姿勢変化を示す姿勢変化情報を、出力画像Ｐｏの姿勢補正に反映させて、Ｓ１０７に進む。Ｓ１０７では、アイポイントＥＰの基準位置と、投影調整部３７にて設定された目標姿勢とを、出力画像Ｐｏの歪み補正に反映させて、Ｓ１０８に進む。Ｓ１０８では、姿勢補正及び歪み補正を行った出力画像Ｐｏを、出力映像データＶｄｏとしてＨＵＤ７０に伝送する。以上により、出力画像ＰｏがＬＣＤ７１の画面に発光表示され、前景中に虚像Ｖｉとして結像される。

【0079】

ここまで説明した第一実施形態では、特定パラメータについての基準状態値が変わっても、投影調整部３７による投影光学系７４の調整により、表示可能領域ＳＡの変化が低減される。このように表示可能領域ＳＡの移動が抑制されれば、虚像Ｖｉを重畳すべき重畳対象に虚像Ｖｉを重畳できなくなるシーンは、減少し得る。以上によれば、重畳対象に虚像Ｖｉを重畳させる情報提示に好適な投影光学系７４の調整が実施可能となる。

【0080】

加えて第一実施形態では、視認者のアイポイントＥＰ及び車両Ａのピッチ姿勢が、特定パラメータとして採用されている。これらのように、表示可能領域ＳＡに大きく影響するアイポイントＥＰ及びピッチ姿勢が変わる場合に、表示可能領域ＳＡを光学的に補正できれば、虚像Ｖｉを重畳できなくなるシーンは、いっそう低減され得る。

【0081】

また第一実施形態の各ＥＣＵ３０，４０では、ＡＣ情報処理部３３及び姿勢情報取得部５２が、姿勢取得部としてそれぞれ機能し、車両Ａに生じる姿勢変化を検出した姿勢変化情報を取得する。さらに、各ＥＣＵ３０，４０では、描画データ生成部３９及び補正実行部５３が、表示補正部としてそれぞれ機能し、各姿勢変化に起因した虚像Ｖｉの位置ずれを電子補正する。

【0082】

以上のように、第一実施形態では、表示可能領域ＳＡを維持する光学的な補正に加えて、車両振動等に起因した虚像Ｖｉの位置ずれが電子補正される。故に、重畳対象に虚像Ｖｉを重畳可能な状態としつつ、重畳対象への虚像Ｖｉの追従を精度良く実施することが可能になる。

【0083】

さらに第一実施形態では、低周波数帯域ＬＢの姿勢変化に対する電子補正が描画データ生成部３９にて実施される一方で、補正実行部５３は、描画データ生成部３９とは異なる処理にて、高周波数帯域ＨＢの姿勢変化を電子補正する。以上のように、振幅の大きい低周波数帯域ＬＢの振動を描画時において補正しつつ、それとは別に高周波数帯域ＨＢの振動をさらに電子補正すれば、虚像Ｖｉは、重畳対象にさらに精度良く重畳可能になる。

【0084】

加えて第一実施形態のように、表示可能領域ＳＡを維持する投影光学系７４の調整を行うと、虚像Ｖｉの輝度確保容易なアイボックス中心が、アイポイントＥＰから遠ざかり得る。この場合、輝度不足に起因する虚像Ｖｉの視認性悪化が生じ得る。故に、虚像Ｖｉの要求輝度が高い場合、投影調整部３７は、投影光学系７４の調整による表示可能領域ＳＡの維持制御を中断する。そして、描画データ生成部３９が、車両基準姿勢及びアイポイント基準位置の変化に起因する虚像Ｖｉの位置ずれを電子補正する。以上によれば、表示可能領域ＳＡの維持制御に伴う輝度不足に起因して、虚像Ｖｉを用いた情報提示が分かり難くなってしまう事態は、回避される。

【0085】

また第一実施形態では、虚像Ｖｉの要求輝度が高い場合、投影調整部３７は、アイボックスＥＢＸの中心をアイポイントＥＰに重ねるように調整機構７５を調整する。故に、表示可能領域ＳＡの維持制御の中断期間には、虚像Ｖｉの輝度は、十分に確保され得る。

【0086】

さらに第一実施形態のＬＣＤ制御基板５０では、記憶部５０ｂに電子補正のための歪み補正テーブルＴＢが記憶されており、投影光学系７４の調整結果に対応する内容の歪み補正テーブルＴＢが、補正実行部５３に提供される。故に、補正実行部５３では、凹面鏡７４ｂの角度及びアイポイント基準位置等を考慮した虚像Ｖｉの歪み補正が実施可能となる。

【0087】

尚、第一実施形態では、描画ＥＣＵ３０が「表示制御装置」に相当し、ＤＣ情報処理部３２が「状態値取得部」に相当し、ＡＣ情報処理部３３が「第一取得部」及び「姿勢取得部」に相当する。また、輝度設定部３４が「輝度把握部」に相当し、描画データ生成部３９が「第一補正部」及び「表示補正部」に相当し、姿勢情報取得部５２が「第二取得部」及び「姿勢取得部」に相当し、補正実行部５３が「第二補正部」及び「表示補正部」に相当する。さらに、歪み補正テーブルＴＢが「補正情報」に相当し、ウィンドシールドＷＳが「投影部材」に相当する。

【0088】

（第二実施形態）
図７に示す第二実施形態は、第一実施形態の変形例である。第二実施形態の虚像表示システム２１０は、描画ＥＣＵ３０及びＨＵＤ２７０等によって構成されている。虚像表示システム２１０では、第一実施形態の表示制御ＥＣＵ４０（図１参照）に相当する構成が省略されている。虚像表示システム２１０では、描画ＥＣＵ３０が、低周波数帯域ＬＢ（図２参照）の車両振動に加えて、高周波数帯域ＨＢ（図２参照）の車両振動を電子補正する。

【0089】

第二実施形態の描画ＥＣＵ３０からは、輝度設定部３４（図１参照）に相当する機能部が省略されている。一方、描画ＥＣＵ３０では、ＡＣ情報処理部２３３及び描画データ生成部２３９の機能が、第一実施形態とは異なっている。ＡＣ情報処理部２３３は、第二帯域ＬＢ２（図２参照）となる車両振動の姿勢変化情報に加えて、高周波数帯域ＨＢとなる車両振動の姿勢変化情報を取得する。

【0090】

描画データ生成部２３９は、投影調整部３７による投影光学系７４の調整結果を反映しつつ、ＨＵＤ２７０に伝送される出力画像Ｐｏを描画する。描画データ生成部２３９は、ＡＣ情報処理部２３３から提供される姿勢変化情報に基づき、３Ｄグラフィックスとしての出力画像Ｐｏを生成する処理にて、低周波数帯域ＬＢ及び高周波数帯域ＨＢの両帯域の車両振動に起因する表示位置のずれを電子補正する。

【0091】

ＨＵＤ２７０は、外光センサ１７１及び輝度設定部１７２をさらに備えている。外光センサ１７１は、ウィンドシールドＷＳを通じて車室内に入射する外光量を検出する。輝度設定部１７２は、外光センサ１７１の検出結果に基づき、虚像Ｖｉに必要とされる要求輝度を把握する。輝度設定部１７２は、虚像Ｖｉの要求輝度を設定し、ＬＣＤ７１、バックライト制御部７３及びコントローラ７８のそれぞれに通知する。

【0092】

次に、虚像表示システム２１０における調整機構７５の制御の詳細を説明する。

【0093】

投影調整部３７は、コントローラ７８と連携し、輝度設定部１７２より通知される要求輝度に基づき、投影光学系７４の姿勢制御の内容を切り替える。投影調整部３７及びコントローラ７８は、要求輝度が閾値以下の場合（図６ Ｓ１０３参照）、凹面鏡７４ｂ（図４参照）の回転角を、基準状態値に基づく目標姿勢に一致させる。この場合、表示可能領域ＳＡ（図５参照）の変化を低減させる制御が実施される。

【0094】

一方、投影調整部３７及びコントローラ７８は、要求輝度が閾値よりも高い場合（図６
Ｓ１０２参照）、上述のような表示可能領域ＳＡの維持制御を中止し、輝度優先制御に切り替える。具体的には、アイポイントＥＰとアイボックス中心との距離が、要求輝度に応じて制御される。アイポイントＥＰとアイボックス中心とが一致する凹面鏡７４ｂの回転角を、最大輝度姿勢とすると、投影調整部３７及びコントローラ７８は、目標姿勢と最大輝度姿勢との間となる回転角に凹面鏡７４ｂを制御する。投影調整部３７及びコントローラ７８は、輝度設定部１７２から通知される要求輝度が高くなるほど、凹面鏡７４ｂの回転角を最大輝度姿勢に近づける。その結果、アイボックス中心は、要求輝度が高くなるほどアイポイントＥＰに近づくようになり、特定の要求輝度以上である場合には、アイポイントＥＰと一致した状態となる。

【0095】

ここまで説明した第二実施形態でも、第一実施形態と同様の効果を奏し、重畳対象に虚像Ｖｉを重畳させる情報提示に好適な投影光学系７４の調整が実施される。加えて第二実施形態では、要求輝度が閾値を超える場合、要求輝度が高くなるほど、アイボックス中心がアイポイントＥＰ近づけられる。こうした制御によれば、虚像Ｖｉの視認性を確保しつつ、表示可能領域ＳＡを維持させることが可能になる。

【0096】

また第二実施形態では、車両振動による表示位置のずれを補正する電子補正が、周波数帯域を分けることなく、描画データ生成部２３９にて全て実施される。以上のシステム構成によれば、表示制御ＥＣＵ４０（図１参照）に相当する構成が省略される。その結果、虚像表示システム２１０の簡素化が実現され得る。

【0097】

尚、第二実施形態では、ＡＣ情報処理部２３３が「姿勢取得部」に相当し、描画データ生成部２３９が「表示補正部」に相当し、投影調整部３７及びコントローラ７８が「投影調整部」に相当し、輝度設定部１７２が「輝度把握部」に相当する。

【0098】

（他の実施形態）
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

【0099】

上記第二実施形態の変形例１では、描画ＥＣＵにおける虚像の電子補正機能が省略されている。変形例１の虚像表示システムでは、車両振動の補正により、虚像を重畳対象に追従させる制御が実施されない。変形例１では、虚像に関連した補正処理のうちで、車両基準姿勢及びアイポイント基準位置に合わせて投影領域を調整する光学補正のみが実施される。

【0100】

上記実施形態の変形例２では、要求輝度に基づく輝度優先制御への切り替えは、実施されない。変形例２のように、虚像の要求輝度が高くても、アイポイント基準位置及びその近傍での虚像輝度が確保可能であれば、表示可能領域の維持制御は、継続されてよい。尚、虚像の要求輝度を判定する機能部は、虚像表示システムのどの構成に設けられてもよい。また、外光量を検出する具体的な構成は適宜変更可能である。さらに、輝度優先制御の内容も適宜変更可能である。

【0101】

上記実施形態の変形例３では、車両のピッチ姿勢のみが特定パラメータとして用いられる。投影調整部は、ＤＣ情報処理部にて基準状態値として取得される車両基準姿勢に基づき、表示可能領域を維持するように、調整機構と連携して投影光学系の状態を制御する。また上記実施形態の変形例４では、アイポイントのみが特定パラメータとして用いられる。投影調整部は、ＤＣ情報処理部にて基準状態値として取得されるアイポイント基準位置に基づき、表示可能領域を維持するように、調整機構と連携して投影光学系の状態を制御する。

【0102】

上記第一実施形態の変形例５にて、補正実行部は、歪み補正テーブルＴＢ（図３参照）に替えて、補正関数を補正情報として歪み補正に用いる。補正関数は、投影領域及び光学反射系の湾曲形状を考慮した多項式又は単項式として、予め規定されている。補正関数では、補正後座標（Ｘ，Ｙ）が入力パラメータとされ、補正前座標（Ｘ，Ｙ）が出力パラメータとされている。補正実行部は、補正後座標（Ｘ，Ｙ）を補正関数に順に代入する処理により、各補正後座標に割り当てられる補正前座標（Ｘ，Ｙ）を特定する。

【0103】

上記実施形態における描画ＥＣＵは、他の車載構成と一体的な構成であってもよい。具体的に、上記実施形態の変形例６にて、描画ＥＣＵは、表示制御ＥＣＵと一体的に構成されている。即ち、変形例６では、低周波数帯域の車両振動を３Ｄ描画にて補正する機能と、高周波数帯域の車両振動を２Ｄ補正する機能とが、一つの表示制御装置に実装されている。さらに、上記実施形態の変形例７にて、上記第一実施形態の描画ＥＣＵ、表示制御ＥＣＵ及びＨＵＤの全機能が、一つの虚像表示ユニットに集約されている。

【0104】

虚像を空中表示させるＨＵＤの具体的な投影構成は、適宜変更されてよい。例えば変形例８のＨＵＤには、ＬＣＤ及びバックライトに替えて、ＥＬ（Electro Luminescence）パネルが設けられている。さらに、ＥＬパネルに替えて、プラズマディスプレイパネル、ブラウン管及びＬＥＤ等の表示器を用いたプロジェクタがＨＵＤには採用可能である。

【0105】

また変形例９のＨＵＤには、ＬＣＤ及びバックライトに替えて、レーザモジュール（以下「ＬＳＭ」）及びスクリーンが設けられている。ＬＳＭは、例えばレーザ光源及びＭＥＭＳ（Micro Electro Mechanical Systems）スキャナ等を含む構成である。スクリーンは、例えばマイクロミラーアレイ又はマイクロレンズアレイである。変形例９のＨＵＤでは、ＬＳＭから照射されるレーザ光の走査により、スクリーンに出力画像が描画される。ＨＵＤは、スクリーンに投影された出力画像を反射光学系によって投影領域に投影し、虚像を空中表示させる。

【0106】

また変形例１０のＨＵＤには、ＤＬＰ（Digital Light Processing，登録商標）プロジェクタが設けられている。ＤＬＰプロジェクタは、多数のマイクロミラーが設けられたデジタルミラーデバイス（以下、「ＤＭＤ」）と、ＤＭＤに向けて光を投射する投射光源とを有している。ＤＬＰプロジェクタは、ＤＭＤ及び投射光源を連携させた制御により、出力画像をスクリーンに描画する。さらに、変形例１１のＨＵＤでは、ＬＣＯＳ（Liquid Crystal On Silicon）を用いたプロジェクタが採用されている。

【0107】

上記実施形態の変形例１２では、出力画像の光が、ウィンドシールドとは別の車載構成に投影される。具体的に、変形例１３では、ウィンドシールドとは別体で設けられた投影部材（例えばコンバイナ等）に、出力画像の光が投影される。

【0108】

上記第一実施形態の変形例１３では、低周波数帯域及び高周波数帯域とされる各帯域が、第一実施形態とは異なっている。さらに上記第一実施形態の変形例１４では、低周波数帯域及び高周波数帯域の車両振動に対する電子補正が、表示制御ＥＣＵの補正実行部にて実施される。また上記第一実施形態の変形例１５の慣性センサは、加速度センサ及びジャイロセンサの一方のみを備える構成である。さらに、上記第一実施形態の変形例１６にて、表示制御ＥＣＵの姿勢情報取得部は、描画ＥＣＵのセンサ値取得部と同様に、通信バスから姿勢変化情報を取得する。

【0109】

表示制御ＥＣＵ及びＬＣＤ制御基板における各処理部の具体的な構成は、適宜変更可能である。上述したように、処理部は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ及び他の専用ＩＰ等の演算コアを適宜組み合わせた構成であってよい。さらに処理部は、多数の演算コアを含んでなるＳｏＣ（System-on-a-Chip）の形態であってもよく、物理的に独立した複数の演算コアを回路基板に個別実装してなる形態であってもよい。

【0110】

処理部に各機能部を構築する各種プログラム（表示制御プログラム）は、ＣＰＵ及びＧＰＵ等に処理内容を指示する通常のソフトウェアであってもよく、又はＦＰＧＡを任意のハードウェア論理回路として機能させるハードウェアプログラムであってもよい。

【0111】

表示制御ＥＣＵ及びＬＣＤ制御基板の記憶部には、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体（non-transitory tangible storage medium）が採用可能である。加えて、虚像表示に関連するプログラム及びパラメータを記憶する記憶媒体は、回路基板上に実装された記憶媒体に限定されず、例えばメモリカード等の形態であり、カードスロット部に挿入されて、データバスに電気的に接続される構成であってよい。さらに、記憶媒体は、表示制御ＥＣＵ及びＬＣＤ制御基板等へのコピー元となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。

【0112】

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
ここまで説明した実施形態及び変形例から把握される技術的思想を、以下に「付記」として記載する。
（付記１－１）
車両（Ａ）において用いられ、前景中の重畳対象に重畳される虚像（Ｖｉ）を表示する虚像表示システムであって、
前記車両の投影部材（ＷＳ）に、前記虚像として結像される光を投影する投影光学系（７４）と、
前記前景のうちで前記虚像を重畳可能な表示可能領域（ＳＡ）を変化させる少なくとも一つの特定パラメータについて、基準となる基準状態値を取得する状態値取得部（３２）と、
前記基準状態値が変わることに起因する前記表示可能領域の変化を低減させるように、前記投影光学系を調整する投影調整部（３７）と、
前記車両に生じる姿勢変化のうちで低周波数帯域（ＬＢ）の姿勢変化情報を取得する第一取得部（３３）と、
前記車両の姿勢変化のうちで前記低周波数帯域よりも周波数の高い高周波数帯域（ＨＢ）の姿勢変化情報を取得する第二取得部（５２）と、
前記投影光学系の調整結果を反映しつつ、前記低周波数帯域の姿勢変化に起因する前記虚像の位置ずれを電子補正する第一補正部（３９）と、
前記投影光学系の調整結果を反映しつつ、前記高周波数帯域の姿勢変化に起因する前記虚像の位置ずれを、前記第一補正部とは異なる処理によって補正する第二補正部（５３）と、を備える虚像表示システム。
（付記１－２）
前記虚像に要求される要求輝度を把握する輝度把握部（３４，１７２）、をさらに備え、
前記第一補正部は、前記要求輝度が閾値を超えている場合、前記投影光学系の調整に替えて、前記基準状態値の変化に起因する前記虚像の位置ずれを電子補正する付記１に記載の虚像表示システム。
（付記１－３）
前記投影調整部は、前記要求輝度が前記閾値を超えている場合に、前記虚像を視認可能な範囲であるアイボックス（ＥＢＸ）の中心が前記虚像の視認者のアイポイント（ＥＰ）と重なるように、前記投影光学系を調整する付記２に記載の虚像表示システム。
（付記１－４）
前記投影調整部は、前記要求輝度が高くなるほど、前記虚像を視認可能な範囲であるアイボックス（ＥＢＸ）の中心が前記虚像の視認者のアイポイント（ＥＰ）に近づくように、前記投影光学系を調整する付記２に記載の虚像表示システム。
（付記１－５）
前記虚像の電子補正に用いられる補正情報（ＴＢ）を記憶し、前記投影光学系の調整結果に対応する内容の前記補正情報を提供する記憶部（５０ｂ）、をさらに備える付記１～４のいずれか一項に記載の虚像表示システム。
（付記１－６）
前記特定パラメータは、前記虚像の視認者のアイポイント（ＥＰ）及び前記車両のピッチ方向における姿勢、の少なくとも一方を含む付記１～５のいずれか一項に記載の虚像表示システム。
（付記１－７）
車両（Ａ）において用いられ、前景中の重畳対象に重畳される虚像（Ｖｉ）の表示を制御する表示制御装置であって、
前記前景のうちで前記虚像を重畳可能な表示可能領域（ＳＡ）を変化させる少なくとも一つの特定パラメータについて、基準となる基準状態値を取得する状態値取得部（３２）と、
前記車両の投影部材（ＷＳ）に前記虚像として結像される光を投影する投影光学系（７４）の状態を制御し、前記基準状態値の変動に起因する前記表示可能領域の変化を低減させるように、前記投影光学系を調整する投影調整部（３７）と、
前記車両に生じる姿勢変化のうちで低周波数帯域（ＬＢ）の姿勢変化情報を取得する第一取得部（３３）と、
前記車両の姿勢変化のうちで前記低周波数帯域よりも周波数の高い高周波数帯域（ＨＢ）の姿勢変化情報を取得する第二取得部（５２）と、
前記投影光学系の調整結果を反映しつつ、前記低周波数帯域の姿勢変化に起因する前記虚像の位置ずれを電子補正する第一補正部（３９）と、
前記投影光学系の調整結果を反映しつつ、前記高周波数帯域の姿勢変化に起因する前記虚像の位置ずれを、前記第一補正部とは異なる処理によって補正する第二補正部（５３）と、を備える表示制御装置。
（付記１－８）
車両（Ａ）において用いられ、前景中の重畳対象に重畳される虚像（Ｖｉ）の表示を制御する表示制御プログラムであって、
少なくとも一つの処理部（５０ａ）を、
前記前景のうちで前記虚像を重畳可能な表示可能領域（ＳＡ）を変化させる少なくとも一つの特定パラメータについて、基準となる基準状態値を取得する状態値取得部（３２）と、
前記車両の投影部材（ＷＳ）に前記虚像として結像される光を投影する投影光学系（７４）の状態を制御し、前記基準状態値の変動に起因する前記表示可能領域の変化を低減させるように、前記投影光学系を調整する投影調整部（３７）と、
前記車両に生じる姿勢変化のうちで低周波数帯域（ＬＢ）の姿勢変化情報を取得する第一取得部（３３）と、
前記車両の姿勢変化のうちで前記低周波数帯域よりも周波数の高い高周波数帯域（ＨＢ）の姿勢変化情報を取得する第二取得部（５２）と、
前記投影光学系の調整結果を反映しつつ、前記低周波数帯域の姿勢変化に起因する前記虚像の位置ずれを電子補正する第一補正部（３９）と、
前記投影光学系の調整結果を反映しつつ、前記高周波数帯域の姿勢変化に起因する前記虚像の位置ずれを、前記第一補正部とは異なる処理によって補正する第二補正部（５３）と、を含むように機能させる表示制御プログラム。

【符号の説明】

【0113】

Ａ 車両、ＥＰ アイポイント、ＥＢＸ アイボックス、ＨＢ 高周波数帯域、ＬＢ 低周波数帯域、ＳＡ 表示可能領域、ＴＢ 歪み補正テーブル（補正情報）、Ｖｉ 虚像、ＷＳ ウィンドシールド（投影部材）、１０，２１０ 虚像表示システム、３０ 描画ＥＣＵ（表示制御装置）、３２ ＤＣ情報処理部（状態値取得部）、３３，２３３ ＡＣ情報処理部（姿勢取得部，第一取得部）、３４，１７２ 輝度設定部（輝度把握部）、３７ 投影調整部、３９，２３９ 描画データ生成部（表示補正部，第一補正部）、５０ａ 処理部、５０ｂ 記憶部、５２ 姿勢情報取得部（姿勢取得部，第二取得部）、５３ 補正実行部（表示補正部，第二補正部）、７４ 投影光学系

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】