知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6870109
(24)【登録日】2021年4月16日
(45)【発行日】2021年5月12日
(54)【発明の名称】ヘッドアップディスプレイ装置およびその表示制御方法
(51)【国際特許分類】
B60K 35/00 20060101AFI20210426BHJP
G02B 27/01 20060101ALI20210426BHJP
G02B 26/10 20060101ALI20210426BHJP
【ＦＩ】
B60K35/00 A
G02B27/01
G02B26/10 104Z
【請求項の数】7
【全頁数】34
(21)【出願番号】特願2019-553750(P2019-553750)
(86)(22)【出願日】2018年10月12日
(86)【国際出願番号】JP2018038165
(87)【国際公開番号】WO2019097918
(87)【国際公開日】20190523
【審査請求日】2020年4月2日
(31)【優先権主張番号】特願2017-218741(P2017-218741)
(32)【優先日】2017年11月14日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】317015179
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】特許業務法人筒井国際特許事務所
(72)【発明者】
【氏名】中田 卓見
(72)【発明者】
【氏名】渡辺 敏光
(72)【発明者】
【氏名】下田 望
【審査官】
松永 謙一
(56)【参考文献】
【文献】
特開２０１５−２２１６３３（ＪＰ，Ａ）
【文献】
特開２０１７−１５７０９３（ＪＰ，Ａ）
【文献】
特開２０１７−０１５９１８（ＪＰ，Ａ）
【文献】
特開２０１７−０５２３６４（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｂ６０Ｋ ３５／００
Ｇ０２Ｂ ２６／１０
Ｇ０２Ｂ ２７／０１
(57)【特許請求の範囲】
【請求項1】
車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の実像に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、
前記ウィンドシールドまたはコンバイナの視認領域に前記虚像を表示する制御を行う制御部と、
前記制御部の制御に従って、前記視認領域に前記虚像を表示する表示部と、
を備え、
前記制御部は、
車外カメラの撮影画像に基づいて、所定の物体を抽出し、
空間内の前記物体の物体位置を含む物体情報と、車内カメラの撮影画像に基づいた、空間内の前記運転者の視点位置および移動量を含む視点情報と、空間内の前記虚像の画像を表示可能な範囲である虚像領域の位置を含む虚像情報と、を含む情報を取得し、
前記物体に対して重畳表示するための前記画像を生成し、
前記取得された情報を用いて、前記虚像領域内の前記画像の表示位置を、少なくとも水平方向を含めて補正し、
前記補正後のデータを用いて、前記表示部に対する前記制御を行い、
前記補正の際、前記運転者の基本設定の視点位置より移動後の視点位置から、前記視認領域を通じて前記物体位置を見た場合の直線上の前記虚像領域との交差点の位置を、補正後の前記画像の表示位置とするように、変換処理を行い、
前記虚像領域は、前記運転者の視点位置から見て前記視認領域よりも前方の所定の虚像距離にある虚像領域位置に設定され、
前記制御部は、前記物体位置が前記虚像領域位置よりも後にある第１の場合と、前記物体位置が前記虚像領域位置よりも前にある第２の場合とに応じて、前記補正を行うか否かを制御する、
ヘッドアップディスプレイ装置。
前記ウィンドシールドまたはコンバイナの視認領域に前記虚像を表示する制御を行う制御部と、
前記制御部の制御に従って、前記視認領域に前記虚像を表示する表示部と、
を備え、
前記制御部は、
車外カメラの撮影画像に基づいて、所定の物体を抽出し、
空間内の前記物体の物体位置を含む物体情報と、車内カメラの撮影画像に基づいた、空間内の前記運転者の視点位置および移動量を含む視点情報と、空間内の前記虚像の画像を表示可能な範囲である虚像領域の位置を含む虚像情報と、を含む情報を取得し、
前記物体に対して重畳表示するための前記画像を生成し、
前記取得された情報を用いて、前記虚像領域内の前記画像の表示位置を、少なくとも水平方向を含めて補正し、
前記補正後のデータを用いて、前記表示部に対する前記制御を行い、
前記補正の際、前記運転者の基本設定の視点位置より移動後の視点位置から、前記視認領域を通じて前記物体位置を見た場合の直線上の前記虚像領域との交差点の位置を、補正後の前記画像の表示位置とするように、変換処理を行い、
前記虚像領域は、前記運転者の視点位置から見て前記視認領域よりも前方の所定の虚像距離にある虚像領域位置に設定され、
前記制御部は、前記物体位置が前記虚像領域位置よりも後にある第１の場合と、前記物体位置が前記虚像領域位置よりも前にある第２の場合とに応じて、前記補正を行うか否かを制御する、
ヘッドアップディスプレイ装置。
【請求項2】
請求項１記載のヘッドアップディスプレイ装置において、
前記制御部は、前記生成した前記画像の基本表示位置と、前記物体位置と、前記視点位置の移動量と、前記虚像領域の位置とを入力値として、変換テーブルまたは変換計算式を参照して前記変換処理を行い、出力値として前記補正後の前記画像の表示位置を得る、
ヘッドアップディスプレイ装置。
前記制御部は、前記生成した前記画像の基本表示位置と、前記物体位置と、前記視点位置の移動量と、前記虚像領域の位置とを入力値として、変換テーブルまたは変換計算式を参照して前記変換処理を行い、出力値として前記補正後の前記画像の表示位置を得る、
ヘッドアップディスプレイ装置。
【請求項3】
請求項１記載のヘッドアップディスプレイ装置において、
前記制御部は、前記視点位置の前記移動量が、閾値以内の場合には前記補正を行わず、前記閾値を越える場合には前記補正を行うように制御する、
ヘッドアップディスプレイ装置。
前記制御部は、前記視点位置の前記移動量が、閾値以内の場合には前記補正を行わず、前記閾値を越える場合には前記補正を行うように制御する、
ヘッドアップディスプレイ装置。
【請求項4】
請求項１記載のヘッドアップディスプレイ装置において、
前記物体の種類および前記画像の種類に応じて前記補正を行うか否かが設定可能である、
ヘッドアップディスプレイ装置。
前記物体の種類および前記画像の種類に応じて前記補正を行うか否かが設定可能である、
ヘッドアップディスプレイ装置。
【請求項5】
請求項１記載のヘッドアップディスプレイ装置において、
前記車両の車載システムに搭載され、
前記表示部は、前記ウィンドシールドまたはコンバイナの前記視認領域に対して投射表示を行う投射型表示装置を含む、
ヘッドアップディスプレイ装置。
前記車両の車載システムに搭載され、
前記表示部は、前記ウィンドシールドまたはコンバイナの前記視認領域に対して投射表示を行う投射型表示装置を含む、
ヘッドアップディスプレイ装置。
【請求項6】
請求項１記載のヘッドアップディスプレイ装置において、
前記表示部は、
前記画像の映像光を前記視認領域に導くための光学系として、角度が可変であるミラーを含み、前記角度に応じて前記視認領域への前記映像光の投射位置が変わることで前記視認領域内に見える前記虚像領域の位置が変わる構成を有する前記光学系と、
前記運転者の操作または前記制御部の制御に基づいて、前記ミラーの前記角度を変えるように駆動する駆動部と、
を有し、
前記ミラーの前記角度に応じて、前記基本設定の視点位置および前記虚像領域の位置が設定される、
ヘッドアップディスプレイ装置。
前記表示部は、
前記画像の映像光を前記視認領域に導くための光学系として、角度が可変であるミラーを含み、前記角度に応じて前記視認領域への前記映像光の投射位置が変わることで前記視認領域内に見える前記虚像領域の位置が変わる構成を有する前記光学系と、
前記運転者の操作または前記制御部の制御に基づいて、前記ミラーの前記角度を変えるように駆動する駆動部と、
を有し、
前記ミラーの前記角度に応じて、前記基本設定の視点位置および前記虚像領域の位置が設定される、
ヘッドアップディスプレイ装置。
【請求項7】
車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の実像に重畳させて虚像を表示するヘッドアップディスプレイ装置における表示制御方法であって、
前記ヘッドアップディスプレイ装置は、前記ウィンドシールドまたはコンバイナの視認領域に前記虚像を表示する制御を行う制御部と、前記制御部の制御に従って、前記視認領域に前記虚像を表示する表示部と、を備え、
前記制御部で実行されるステップとして、
車外カメラの撮影画像に基づいて、所定の物体を抽出するステップと、
空間内の前記物体の物体位置を含む物体情報と、車内カメラの撮影画像に基づいた、空間内の前記運転者の視点位置および移動量を含む視点情報と、空間内の前記虚像の画像を表示可能な範囲である虚像領域の位置を含む虚像情報と、を含む情報を取得するステップと、
前記物体に対して重畳表示するための前記画像を生成するステップと、
前記取得された情報を用いて、前記虚像領域内の前記画像の表示位置を、少なくとも水平方向を含めて補正するステップと、
前記補正後のデータを用いて、前記表示部に対する前記制御を行うステップと、
を有し、
前記補正するステップでは、前記運転者の基本設定の視点位置より移動後の視点位置から、前記視認領域を通じて前記物体位置を見た場合の直線上の前記虚像領域との交差点の位置を、補正後の前記画像の表示位置とするように、変換処理を行い、
前記虚像領域は、前記運転者の視点位置から見て前記視認領域よりも前方の所定の虚像距離にある虚像領域位置に設定され、
前記補正するステップでは、前記制御部が、前記物体位置が前記虚像領域位置よりも後にある第１の場合と、前記物体位置が前記虚像領域位置よりも前にある第２の場合とに応じて、前記補正を行うか否かを制御する、
表示制御方法。
前記ヘッドアップディスプレイ装置は、前記ウィンドシールドまたはコンバイナの視認領域に前記虚像を表示する制御を行う制御部と、前記制御部の制御に従って、前記視認領域に前記虚像を表示する表示部と、を備え、
前記制御部で実行されるステップとして、
車外カメラの撮影画像に基づいて、所定の物体を抽出するステップと、
空間内の前記物体の物体位置を含む物体情報と、車内カメラの撮影画像に基づいた、空間内の前記運転者の視点位置および移動量を含む視点情報と、空間内の前記虚像の画像を表示可能な範囲である虚像領域の位置を含む虚像情報と、を含む情報を取得するステップと、
前記物体に対して重畳表示するための前記画像を生成するステップと、
前記取得された情報を用いて、前記虚像領域内の前記画像の表示位置を、少なくとも水平方向を含めて補正するステップと、
前記補正後のデータを用いて、前記表示部に対する前記制御を行うステップと、
を有し、
前記補正するステップでは、前記運転者の基本設定の視点位置より移動後の視点位置から、前記視認領域を通じて前記物体位置を見た場合の直線上の前記虚像領域との交差点の位置を、補正後の前記画像の表示位置とするように、変換処理を行い、
前記虚像領域は、前記運転者の視点位置から見て前記視認領域よりも前方の所定の虚像距離にある虚像領域位置に設定され、
前記補正するステップでは、前記制御部が、前記物体位置が前記虚像領域位置よりも後にある第１の場合と、前記物体位置が前記虚像領域位置よりも前にある第２の場合とに応じて、前記補正を行うか否かを制御する、
表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドアップディスプレイ（ＨＵＤ：Head Up Display）装置等の表示装置の技術に関し、拡張現実（ＡＲ：Augmented Reality）の画像情報を運転者に提供する技術に関する。【背景技術】
【0002】
ＡＲ機能を有するＡＲ表示装置やそのシステムとして、自動車等に搭載されるＨＵＤ装置がある。そのＨＵＤ装置（ＡＲ−ＨＵＤと呼ばれる場合もある）では、運転者等の利用者の視界におけるウィンドシールドやコンバイナ等の視認領域において、透過される実像に対し、映像光の投射によって虚像を重畳表示する。視認領域は、利用者が画像を視認できる領域である。以下、虚像をＡＲ画像と記載する場合がある。虚像は、例えば、自車の前方の道路や車等を含む実像に対する、運転支援等のための画像情報が挙げられる。詳しい例としては、車速等の車両情報の画像、進行方向ナビゲーション等の矢印画像、車や人や自転車等の接近を示す注意喚起や強調等のためのアイコン画像、等が挙げられる。また、虚像の生成のための元データとしては、車載のセンサやエンジン制御部やカーナビゲーションシステム等の情報が利用可能である。【0003】
ＨＵＤ装置は、例えば、表示素子、光源、および光学系を備える。光学系は、映像光を視認領域に導くためのレンズやミラー等がある。表示素子からの映像光は、ミラー等を経由して、ウィンドシールドやコンバイナ等の視認領域内の所定の領域に投射される。所定の領域で反射された光は、運転者の目に入射して網膜に結像し、運転者が虚像として認識する。所定の領域に対応して、運転者の視点から視認領域越しの前方に、虚像が見える領域である虚像領域が構成される。【0004】
車載のＨＵＤ装置に関する先行技術例としては、特開２０１０−７００６６号公報（特許文献１）が挙げられる。特許文献１には、ヘッドアップディスプレイとして、映像の投影位置が、車両の振動や運転者の姿勢の変化により一方の目の視線上からずれることを低減し、表示される情報の視認性を高める旨が記載されている。【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１０−７００６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来のＨＵＤ装置を含む車載システムでは、ＡＲ機能を用いて、ウィンドシールド等の視認領域越しの虚像領域において、物体の実像に対しＡＲ画像を含む虚像を重畳表示する。その際、運転者の目の位置（視点位置と記載する場合がある）によっては、物体とＡＲ画像とで位置のずれが生じる場合がある。言い換えると、ＨＵＤ装置による設計上および計算上で物体位置に合わせるように決定したＡＲ画像の表示位置が、運転者の実際の視認上では物体位置と一致しない場合がある。上記物体とＡＲ画像とのずれが生じる要因としては、運転者が姿勢を変える動作や頭を動かす動作等によって、目の位置が基本設定の視点位置（その視点位置を含む範囲であるアイボックス）から変動する場合が挙げられる。【0007】
例として、視点位置が基本設定の視点位置から水平方向の左右に移動した場合、移動後の視点位置から見て、物体位置とＡＲ画像の表示位置とで水平方向でのずれが生じる。視点位置の移動量が大きいほど、そのずれが大きい。そのずれが大きいほど、運転者にとって、物体とＡＲ画像とを関係付けた視認がしにくい、またはできない。そのようなＡＲ画像は不適である。【0008】
本発明の目的は、ＡＲ機能を持つＨＵＤ装置の技術に関して、物体と虚像（ＡＲ画像）とのずれを低減して、好適なＡＲ表示が実現できる技術を提供することである。【課題を解決するための手段】
【0009】
本発明のうち代表的な実施の形態は、ヘッドアップディスプレイ装置等であって、以下に示す構成を有することを特徴とする。【0010】
一実施の形態のヘッドアップディスプレイ装置は、車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の実像に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、前記ウィンドシールドまたはコンバイナの視認領域に前記虚像を表示する制御を行う制御部と、前記制御部の制御に従って、前記視認領域に前記虚像を表示する表示部と、を備え、前記制御部は、車外カメラの撮影画像に基づいて、所定の物体を抽出し、空間内の前記物体の物体位置を含む物体情報と、車内カメラの撮影画像に基づいた、空間内の前記運転者の視点位置および移動量を含む視点情報と、空間内の前記虚像の画像を表示可能な範囲である虚像領域の位置を含む虚像情報と、を含む情報を取得し、前記物体に対して重畳表示するための前記画像を生成し、前記取得された情報を用いて、前記虚像領域内の前記画像の表示位置を、少なくとも水平方向を含めて補正し、前記補正後のデータを用いて、前記表示部に対する前記制御を行い、前記補正の際、前記運転者の基本設定の視点位置から移動後の視点位置から、前記視認領域を通じて前記物体位置を見た場合の直線上の前記虚像領域との交差点の位置を、補正後の前記画像の表示位置とするように、変換処理を行う。【発明の効果】
【0011】
本発明のうち代表的な実施の形態によれば、ＡＲ機能を持つＨＵＤ装置の技術に関して、物体と虚像（ＡＲ画像）とのずれを低減して、好適なＡＲ表示が実現できる。【図面の簡単な説明】
【0012】
【図1】本発明の実施の形態のＨＵＤ装置の概要構成を示す図である。
【図2】本発明の実施の形態のＨＵＤ装置を含む、車載システムの構成を示す図である。
【図3】実施の形態で、自動車の運転座席付近を横から見た状態を示す図である。
【図4】実施の形態で、運転座席から前方のウィンドシールドの視認領域や虚像領域を見た場合の概略を示す図である。
【図5】実施の形態で、視点位置および虚像領域の基本設定について示す図である。
【図6】実施の形態で、虚像領域内の設定例について示す図である。
【図7】実施の形態で、視点、物体、虚像の位置および距離の関係を示す図である。
【図8】実施の形態で、制御部の主要処理のフローを示す図である。
【図9】実施の形態で、物体位置および視点位置の取得を示す図である。
【図10】実施の形態で、虚像領域内のＡＲ画像の生成の基本を示す図である。
【図11】実施の形態で、物体と虚像領域との前後関係に応じた補正方式を示す図である。
【図12】実施の形態で、視点位置移動量に応じた補正方式を示す図である。
【図13】実施の形態で、ＡＲ画像の表示位置の補正を示す図である。
【図14】実施の形態で、視点、物体、虚像の位置および距離の関係の例を示す図である。
【図15】実施の形態で、基本設定視点位置から見た物体およびＡＲ画像の重畳表示の例を示す図である。
【図16】実施の形態で、視点位置の移動時における物体とＡＲ画像のずれ、および補正の例を示す図である。
【図17】実施の形態の変形例における、虚像領域位置の可変設定を示す図である。
【図18】実施の形態の変形例における、虚像領域の設定例を示す図である。
【図19】実施の形態で、虚像領域外の場合の制御を示す図である。
【図20】比較例の第１のＨＵＤ装置の場合における、視点、物体、虚像、ずれ等を示す図である。
【図21】比較例の第２のＨＵＤ装置の場合における、視点、物体、虚像、ずれ等を示す図である。
【図22】比較例の第１のＨＵＤ装置の場合における、視点移動時のずれの例を示す図である。
【図23】比較例の第２のＨＵＤ装置の場合における、視点移動時のずれの例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。【0014】
（実施の形態）図１〜図２３を用いて、本発明の実施の形態のヘッドアップディスプレイ装置（ＨＵＤ装置）等について説明する。実施の形態のＨＵＤ装置は、ＡＲ機能を持つＡＲ表示装置であり、車載のＡＲ−ＨＵＤとして実装される場合を示す。実施の形態の表示制御方法は、実施の形態のＨＵＤ装置で実行されるステップを有する方法である。
【0015】
実施の形態のＨＵＤ装置は、ＡＲ画像を含む虚像の表示の際に、虚像領域のＡＲ画像の表示位置を補正する機能を有する。この補正機能は、運転者の視点位置の移動に合わせて、物体の実像とＡＲ画像とのずれが解消または低減されるように、ＡＲ画像の表示位置を自動的に補正する機能である。この補正機能では、運転者の視点位置が、基本設定の視点位置から、水平方向の左右の位置に移動した際に、物体位置と移動後の視点位置とに合わせて、ＡＲ画像の表示位置を補正する。また、この補正機能では、視点位置に対する虚像領域位置の設定、および虚像領域位置に対する物体位置の関係に応じて、ＡＲ画像の表示位置の補正を制御する。この補正機能では、ＡＲ画像の表示位置の補正を、制御部のソフトウェアプログラム処理によってＡＲデータの内容を補正する処理で実現する。【0016】
この補正機能では、運転中等に運転者の頭の動き等によって、視点位置が基本設定の視点位置から水平方向に移動した場合でも、ＡＲ画像を物体に対して正確に重畳する位置に表示することができる。すなわち、物体とＡＲ画像とのずれを解消または低減することができる。これにより、運転者は、物体とＡＲ画像を好適に視認できる。【0017】
［課題等］図２０〜図２３を用いて、課題等について補足説明する。実施の形態に対する比較例として、従来技術例のＨＵＤ装置を含む車載システムでは、以下のような課題がある。比較例のＨＵＤ装置は、物体の実像とＡＲ画像とのずれを補正する機能を持たない。そのため、運転者の視点位置が水平方向に移動した際に、水平方向での物体とＡＲ画像とのずれが生じ、運転者が物体とＡＲ画像とを関係付けた視認がしにくい場合がある。
【0018】
運転者の視点位置が水平方向の左右に動く事例としては以下が挙げられる。運転時に運転者の視点位置はある程度動くものであり、常時に視点位置が動かないことはありえない。視点位置の変動が、所定のアイボックスの範囲内である場合には、物体とＡＲ画像とのずれの影響はあまり無い。視点位置の変動が、ある程度の量を超える場合、ずれの影響が大きく、運転者が物体とＡＲ画像と関係付けた視認がしにくくなる。【0019】
例えば、車両の右左折時、車線変更時、交差点進入時等には、運転者が周囲状況確認のため、視点位置が動きやすい。また、カーブ進入時等には、運転者がカーブに合わせて事前に体を預けることや、遠心力の作用によって、頭および視点位置が動きやすい。また、片手運転時には、体の重心が傾くので、視点位置がずれやすい。また、交差点等で見通しが悪い状況では、周囲状況確認のために運転者が前かがみ姿勢になる場合があり、視点位置が動きやすい。【0020】
なお、ＨＵＤ技術では、虚像領域を見る者（例えば運転者）の目の位置によって、実像と虚像の相対位置関係がずれる等、見え方が異なってくる。ＨＵＤ装置が形成する虚像の位置と、見る者の目の位置との関係によって、見る者の網膜に結像される像の状態が定まる。ＨＵＤ装置による虚像の表示位置と見る者の目の位置とが所定の関係を満たさない場合には、見る者が虚像を視認できない、または視認しにくい。見る者が画像を視認できるために、目の位置が入らなければならない範囲は、アイボックスと呼ばれる。【0021】
図２０は、第１比較例として従来技術例の第１ＨＵＤ装置の場合における、視点、物体、ＡＲ画像、ずれ等について示す。図２０では、水平方向（Ｘ方向）と前後方向（Ｚ方向）とで成す上から見た平面（Ｘ−Ｚ平面）を示す。自車の運転者の視点位置を三角点で示す。基本設定の視点位置Ｅ１と、例えばＸ方向の右へ移動した場合の移動後の視点位置Ｅｘとを示す。【0022】
物体位置を黒丸点で示す。本例では、Ｚ方向で、虚像領域７よりも後方に、相対的に異なる３種類の距離の位置に物体がある場合を示す。遠距離の位置ＰＡ、中距離の位置ＰＢ、近距離の位置ＰＣとして示す。例えば、位置ＰＡは、視点位置から４０〜６０ｍ程度、例えば４５ｍの距離の位置である。位置ＰＢは、視点位置から２０〜３０ｍ程度、例えば２５ｍの距離の位置である。位置ＰＣは、視点位置から５ｍの距離の位置である。Ｚ方向で、視点位置から物体位置（例えば位置ＰＣ）までの距離を物体距離ＦＡとして示す。また、Ｚ方向の各位置において、視点位置Ｅ１から見て、Ｘ方向で、左、中央、右の各位置に物体がある場合を示す。【0023】
第１ＨＵＤ装置では、設計上、基本設定の視点位置Ｅ１から前方（Ｚ方向）へ比較的近い所定の距離の位置に、虚像領域７が設定されている。Ｚ方向の虚像領域７の位置を、虚像領域位置Ｐ１とする。視点位置（０ｍとする）から虚像領域７までの距離を虚像距離ＦＢとして示す。第１ＨＵＤ装置では、虚像領域位置Ｐ１の虚像距離ＦＢが２〜３ｍであり、本例では２．５ｍである。また、Ｚ方向で、物体位置（例えば位置ＰＣ）と虚像領域位置Ｐ１との距離を、物体虚像距離ＦＣとして示す。虚像領域位置Ｐ１の虚像領域７において、視点位置Ｅ１から見て各物体の物体位置に合わせて設定される、物体に重畳表示するためのＡＲ画像の表示位置を、白丸点で示す。視点位置Ｅ１から見て、Ｚ方向に伸びる一点鎖線は、虚像領域７の中心、およびＸ方向で中央の物体を見る視線を示す。実線は、左右の物体を見る視線を示す。視点位置Ｅ１から各物体およびＡＲ画像を見る場合、視線上で物体とＡＲ画像の位置が重なっており、ずれが無い。【0024】
移動後の視点位置Ｅｘから見て、点線は、物体を見る視線を示し、破線は、ＡＲ画像を見る視線を示す。視点位置Ｅｘから物体とＡＲ画像を見る場合、物体とＡＲ画像とで視線が重ならず（視線が成す角度が異なり）、Ｘ方向で位置のずれが有る。【0025】
なお、基本設定の視点位置Ｅ１と虚像領域７の左右端とを含む三角形の領域は、虚像が表示可能な領域に対応し、その外側は、基本的に虚像が表示不可能な領域に対応する。虚像領域位置を調節できる場合には、それに応じて表示可能な領域や表示不可能な領域も変わる。【0026】
図２１は、第２比較例として、第２ＨＵＤ装置の場合における、視点、物体、虚像、ずれ等を同様に示す。実施の形態のＨＵＤ装置１は、第２ＨＵＤ装置を前提としている。第２ＨＵＤ装置では、設計上、基本設定の視点位置Ｅ１から前方（Ｚ方向）へ比較的離れた所定の距離の位置に、虚像領域７が設定されている。虚像領域位置Ｐ１は、虚像距離ＦＢとして２０〜３０ｍの位置であり、本例ではＰ１＝ＰＢ＝２５ｍの場合を示す。【0027】
Ｚ方向での物体位置および物体距離ＦＡとして、虚像領域位置Ｐ１に対し、前後の位置に物体がある場合を示す。（Ａ）で示す位置Ｐ３（特に遠距離の位置ＰＡとした）は、虚像領域７（虚像領域位置Ｐ１）よりも後にある場合であり、（Ｂ）で示す位置Ｐ２（特に近距離の位置ＰＣとした）は、虚像領域７の虚像領域位置Ｐ１よりも前にある場合を示す。また、Ｚ方向の各位置において、視点位置Ｅ１から見て、Ｘ方向で、左、中央、右の各位置に物体がある場合を示す。位置Ｐ３の物体は、物体虚像距離ＦＣが＋２０ｍであり、位置Ｐ２の物体は、物体虚像距離ＦＣが−２０ｍである。【0028】
視点位置Ｅ１から見て、虚像領域位置Ｐ１の虚像領域７において、各物体にＡＲ画像を重畳表示する場合のＡＲ画像の表示位置を白丸点で示す。視点位置Ｅ１から物体とＡＲ画像を見る場合、視線（一点鎖線、実線）上で物体とＡＲ画像が重なっており、ずれが無い。移動後の視点位置Ｅｘから物体とＡＲ画像を見る場合、物体を見る視線（点線）とＡＲ画像を見る視線（破線）とが重ならず、角度が異なり、Ｘ方向での位置のずれが有る。【0029】
図２０や図２１の例のように、物体位置や物体距離、および移動後の視点位置に応じて、視認上で物体とＡＲ画像との位置のずれが生じる。特に、第２ＨＵＤ装置の場合では、（Ｂ）の位置Ｐ２のように物体が虚像領域７の前にある場合の方が、（Ａ）の位置Ｐ３のように後にある場合よりも、ずれの影響が相対的に大きい。運転者から見ると、前にある場合の方が、物体とＡＲ画像との焦点が合わせにくく、物体とＡＲ画像とを関係付けた認識がしにくい。【0030】
図２２は、第１ＨＵＤ装置の場合で、視点位置のＸ方向の移動時に応じたずれの例を簡易的に示す。なお、図２２等では、説明のため、Ｚ方向の距離を小さくＸ方向の距離を大きく強調して図示している。図２２の（Ａ）は、視点位置が左移動の場合で、中距離の中央の位置ＰＢに物体４がある場合を示す。視点位置Ｅ１から左に移動後の視点位置Ｅ２を示す。視点位置の移動量Ｈ１を示す。ＡＲ画像６ａは、補正無しの場合のＡＲ画像を示す。基本設定の視点位置Ｅ１から物体４とＡＲ画像６ａを見る場合、視線が成す角度は０度であり、Ｘ方向でのずれは無い。移動後の視点位置Ｅ２から物体４とＡＲ画像６ａを見る場合、両者の間にＸ方向でのずれｈ１（位置ＰＢで考えた場合のずれとして示す）が有る。角度α１は、視点位置Ｅ２から物体４を見る際の視線がＺ方向と成す角度を示す。角度β１は、視点位置Ｅ２からＡＲ画像６ａを見る際の視線がＺ方向と成す角度を示す。角度α１と角度β１が異なる（α１＜β１）。【0031】
図２２の（Ｂ）は、同様に、視点位置が右移動の場合で、中距離の中央の位置ＰＢに物体４がある場合を示す。視点位置Ｅ１から右に移動後の視点位置Ｅ３を示す。視点位置の移動量Ｈ２を示す。移動後の視点位置Ｅ３から物体４とＡＲ画像６ａを見る場合、両者の間にずれｈ２が有る。角度α２は、視点位置Ｅ３から物体４を見る際の角度を示す。角度β２は、視点位置Ｅ３からＡＲ画像６ａを見る際の角度を示す。角度α２と角度β２が異なる（α２＜β２）。【0032】
このように、視点位置の移動方向および移動量（移動距離）に応じたずれが有る。視点位置Ｅ１での角度に対し、移動後の視点位置での角度の方が大きく、角度が大きいほどずれが大きい。【0033】
図２２の（Ｃ）は、同様に、視点位置が左移動の場合で、物体位置が遠距離の位置ＰＡや近距離の位置ＰＣにある場合を示す。移動後の視点位置Ｅ２から、位置ＰＡの物体４ａと補正無しのＡＲ画像６ａを見る場合、両者の間にずれｈ３が有る。角度α３は、視点位置Ｅ２から物体４ａを見る際の角度を示す。角度β３は、視点位置Ｅ２からＡＲ画像６ａを見る際の角度を示す。また、視点位置Ｅ２から、位置ＰＣの物体４ｃと補正無しのＡＲ画像６ａを見る場合、両者の間にずれｈ４が有る。なお、ずれｈ３とずれｈ４は、比較のため、位置ＰＡで考えた場合のずれとして図示している。角度α４は、視点位置Ｅ２から物体４ｃを見る際の角度を示す。角度α３と角度α４が異なる（α３＜α４）。位置ＰＡの場合の角度α３の方が、位置ＰＣの場合の角度α４よりも、角度β３との角度差が大きく、ずれが大きい。このように、各物体距離の物体位置に応じたずれが有る。【0034】
図２２の（Ｄ）は、同様に、視点位置が左移動の場合で、中距離の位置ＰＢにおいてＸ方向の左右の各位置に物体がある場合を示す。位置ＰＢにおいて、中央よりも左側の位置に物体４ｂ１、右側の位置に物体４ｂ２がある。移動後の視点位置Ｅ２から、左側の物体４ｂ１と補正無しのＡＲ画像６ａ１を見る場合、両者の間にずれｈ５が有る。また、視点位置Ｅ２から、右側の物体４ｂ２と補正無しのＡＲ画像６ａ２を見る場合、両者の間にずれｈ６が有る。基本設定の視点位置Ｅ１から物体とＡＲ画像を見る場合と、移動後の視点位置Ｅ２から物体とＡＲ画像を見る場合とでは、角度が異なり、後者の方がずれが大きい。例えば、視点位置Ｅ１から物体４ｂ２とＡＲ画像６ａ２を見る場合の角度γ１、視点位置Ｅ２から物体４ｂ２を見る場合の角度γ２、視点位置Ｅ２からＡＲ画像６ａ２を見る場合の角度γ３を示す。γ１＜γ２＜γ３である。このように、Ｘ方向の物体位置および視点移動方向に応じたずれが有る。【0035】
上記のように、運転者の視点位置からウィンドシールド９の視認領域５越しに、物体４と虚像領域７のＡＲ画像６を見る場合に、基本設定の視点位置Ｅ１から見る場合と、移動後の視点位置から見る場合とでは、視線が成す角度等が異なる。移動後の視点位置から見る場合には、物体位置とＡＲ画像６の表示位置との間にＸ方向でのずれが生じ得る。そのずれが大きいほど、運転者は、物体４とＡＲ画像６とを関係付けた認識がしにくく、好適な視認ができない。【0036】
図２２の（Ａ）で、位置２０１は、視点位置Ｅ２の場合に虚像領域７でＡＲ画像６を重畳したい理想的な位置を示す。虚像領域７のＸ方向の線と、視点位置Ｅ２から物体４を見る視線との交差点に位置２０１がある。この位置２０１にＡＲ画像６を重畳表示した場合、視点位置Ｅ２から見て、物体４とＡＲ画像６とが重なり、ずれが解消される。同様に、（Ｂ）の位置２０２、（Ｃ）の位置２０３や位置２０４、（Ｄ）の位置２０５や位置２０６は、ＡＲ画像６の理想的な表示位置を示す。【0037】
図２３は、第２ＨＵＤ装置の場合で、視点位置のＸ方向の移動に応じたずれの例を示す。図２３の（Ａ）は、視点位置Ｅ１からの左移動の場合を示す。移動後の視点位置Ｅ２、移動量Ｈ１を示す。物体位置として、虚像領域位置Ｐ１である位置ＰＢに対し、後にある位置Ｐ３（＝ＰＡ）に物体４ａがある場合や、前にある位置Ｐ２（＝ＰＣ）に物体４ｃがある場合を示す。視点位置Ｅ２から、位置Ｐ３の物体４ａと補正前のＡＲ画像６ａを見る場合、両者の間にＸ方向でのずれｈ１１が有る。視点位置Ｅ２から、位置Ｐ２の物体４ｃと補正前のＡＲ画像６ａを見る場合、両者の間にずれｈ１２が有る。なお、比較のため、虚像領域位置Ｐ１でのずれｈ１１、ずれｈ１２として示している。角度α１１は、位置Ｐ３の物体４ａを見る場合の角度を示す。角度α１２は、位置Ｐ２の物体４ｃを見る場合の角度を示す。角度β１１は、虚像領域位置Ｐ１のＡＲ画像６ａを見る場合の角度を示す。α１１＜α１２、α１１＜β１１、α１２＞β１１である。位置Ｐ２の場合の方が、位置Ｐ３の場合よりも、ずれが大きい（ｈ１１＜ｈ１２）。【0038】
図２３の（Ｂ）は、同様に、視点位置の右移動の場合を示す。移動後の視点位置Ｅ３、移動量Ｈ２を示す。視点位置Ｅ３から、位置Ｐ２の物体４ａと補正前のＡＲ画像６ａを見る場合、両者の間にずれｈ１３が有る。視点位置Ｅ３から、位置Ｐ２の物体４ｃと補正前のＡＲ画像６ａを見る場合、両者の間にずれｈ１４が有る。位置Ｐ２の場合の方が、位置Ｐ３の場合よりも、ずれが大きい（ｈ１３＜ｈ１４）。【0039】
上記のように、各視点位置および各物体位置に応じて、ずれが生じる。特に、位置Ｐ２のように物体４が虚像領域７よりも前にある場合の方が、位置Ｐ３のように後にある場合よりも、ずれの影響が大きい。【0040】
図２３の（Ａ）で、位置２１１や位置２１２は、虚像領域７におけるＡＲ画像６を重畳したい理想的な位置を示す。例えば、虚像領域７のＸ方向の線と、視点位置Ｅ２から物体４ａを見る視線（視点位置Ｅ２と物体４ａの位置とを結ぶ直線）との交差点に位置２１１がある。この位置２１１にＡＲ画像６を重畳表示した場合、視点位置Ｅ２から見て、物体４ａとＡＲ画像６とが重なり、ずれが解消される。実施の形態のＨＵＤ装置１では、これらの位置を、補正後のＡＲ画像６の表示位置として得る。同様に、（Ｂ）の位置２１３や位置２１４は、各物体位置でのＡＲ画像の理想的な表示位置、実施の形態での補正後の表示位置を示す。【0041】
上記のように、第１ＨＵＤ装置や第２ＨＵＤ装置では、視点位置Ｅ１から前方（Ｚ方向）へ所定の距離（虚像距離ＦＢ）の位置（虚像領域位置Ｐ１）に、虚像領域７が設定される。虚像領域７は、ＨＵＤ装置によって虚像が表示可能なＨＵＤ表示範囲である。虚像距離ＦＢおよび虚像領域位置Ｐ１の虚像領域７内に、ＡＲ画像を含む虚像が表示される。第１ＨＵＤ装置では、虚像領域位置Ｐ１は、虚像距離ＦＢが２〜３ｍの位置であり、運転者およびウィンドシールド９から比較的近い位置である。一方、第２ＨＵＤ装置および実施の形態のＨＵＤ装置１では、虚像領域位置Ｐ１は、虚像距離ＦＢが２０〜３０ｍの位置であり、運転者およびウィンドシールド９から比較的離れた位置であり、言い換えると、より物体に近い位置である。また、実施の形態の変形例のＨＵＤ装置１では、Ｚ方向での虚像領域位置Ｐ１を、所定の設定範囲（例えば２０〜３０ｍ）内において可変に設定および制御できる。【0042】
そのため、第２ＨＵＤ装置および実施の形態のＨＵＤ装置１では、第１ＨＵＤ装置よりも、物体になるべく近い距離および位置にＡＲ画像を重畳表示することができる。言い換えると、物体虚像距離ＦＣを比較的小さくできる。運転者が視点位置から物体とそれに関係付けたＡＲ画像を見る場合に、Ｚ方向で物体とＡＲ画像との距離が近いほど、Ｚ方向での遠近感、焦点が合いやすい。よって、運転者は、その物体とＡＲ画像を、認識しやすく、より自然で好適に視認できる。【0043】
上記のように、第１ＨＵＤ装置および第２ＨＵＤ装置では、視点位置から見た物体とＡＲ画像のずれに関して、それぞれの特性がある。特に、第２ＨＵＤ装置では、Ｚ方向での虚像領域位置Ｐ１に対する物体位置および物体距離の関係に応じて、ずれの影響が異なる。図２１や図２３のように、物体が虚像領域よりも前にある場合の方が、物体が虚像領域よりも後にある場合よりも、ずれの影響が大きい。仮に、前にある場合と後にある場合とで、物体虚像距離ＦＣが同じ場合でも、前にある場合の方が、視認上、ずれを感じやすい。【0044】
実施の形態のＨＵＤ装置１では、上記のような第１ＨＵＤ装置および第２ＨＵＤ装置の課題等を考慮して、ＡＲ画像の表示位置を補正する機能を工夫した。この補正機能では、物体位置と視点位置との関係、かつ、虚像領域位置と物体位置との関係に応じて、少なくともＸ方向を含むＡＲ画像の表示位置を適切に補正する。【0045】
［概要］図１は、実施の形態のＨＵＤ装置１の概要を示す。なお、図１等で、説明上の方向として、Ｘ方向、Ｙ方向、Ｚ方向を示す。Ｘ方向は、第１水平方向であり、車両および運転者を基準とした左右方向であり、虚像領域７の横方向に対応する。Ｙ方向は、鉛直方向であり、車両および運転者を基準とした上下方向であり、虚像領域７の縦方向に対応する。Ｚ方向は、第２水平方向であり、車両および運転者を基準とした前後方向であり、虚像領域７等を見る方向に対応する。
【0046】
実施の形態のＨＵＤ装置１は、車載システム（図２）の一部であり、制御部１０、表示部２０を有し、車外カメラ２および車内カメラ３等が接続されている。表示部２０は、プロジェクタ（投射型映像表示装置）等で構成され、光学系を含む。ＨＵＤ装置１は、車外カメラ２で撮影した画像に基づいて、車両の前方（Ｚ方向）にある物体４の位置等を検出する。また、ＨＵＤ装置１は、車内カメラ３で運転者を撮影した画像に基づいて、運転者の視点位置等を検出する。ＨＵＤ装置１は、検出した物体４に基づいて、制御部１０で、ＡＲ画像を含む虚像の表示のためのＡＲデータを生成し、表示部２０へ与える。ＡＲデータは、運転者から見てウィンドシールド９の視認領域５越しの前方に所定の虚像領域７を形成して虚像を表示するための表示データである。表示部２０は、ＡＲデータに基づいて、ウィンドシールド９の視認領域５へ投射するための映像光を生成して出射する。出射された映像光は、光学系を通じてウィンドシールド９の視認領域５内の領域へ投射され、その領域で反射されて、運転者の目に入射する。これにより、運転者には、視認領域５越しに見える虚像領域７において、物体４に重畳表示されるＡＲ画像６を含む虚像として視認される。【0047】
ＨＵＤ装置１の制御部１０は、ＡＲ画像表示位置補正機能である補正機能を実現する。この補正機能では、物体位置、視点位置、および虚像領域位置の位置関係に応じて、虚像領域７のＡＲ画像６の表示位置を補正する。この補正機能では、虚像領域位置Ｐ１等の設定情報を参照する。この補正機能では、基本設定の視点位置Ｅ１のＡＲ画像６ａの表示位置に基づいて、視点位置の移動量に応じて、移動後の視点位置Ｅｘから見る場合の補正後のＡＲ画像６ｂの表示位置を計算する。この補正機能では、移動後の視点位置Ｅｘから物体位置を見る直線上で虚像領域７との交差点に補正後のＡＲ画像６ｂの表示位置をとるように、補正する。この補正機能では、制御部１０での所定の変換処理によって、補正後のＡＲ画像６ｂの表示位置を得る。この補正機能では、制御部１０の処理によって、補正後のＡＲ画像６ｂの表示位置の情報を含むＡＲデータを生成し、表示部２０へ与える。表示部２０は、そのＡＲデータに従って、虚像領域７のＡＲ画像６ｂを投射表示する。【0048】
図１で、運転者の基本設定の視点位置Ｅ１から見てウィンドシールド９の視認領域５越しの前方の所定の距離にある虚像領域位置Ｐ１に、虚像領域７が設定されている。Ｚ方向で虚像領域７よりも前の位置Ｐ２に、ＡＲ画像６を重畳表示する対象の物体４がある例を示す。補正前のＡＲ画像６ａと補正後のＡＲ画像６ｂを示す。位置Ｑａは、Ｘ方向での補正前のＡＲ画像６ａの表示位置を示す。位置Ｑｂは、Ｘ方向での補正後のＡＲ画像６ｂの表示位置を示す。【0049】
ＡＲ機能では、基本設定の視点位置Ｅ１から見て、虚像領域７内において、物体４の実像上に、ＡＲ画像６を重畳表示する。運転者は、視点位置Ｅ１等からウィンドシールド９の視認領域５越しに前方にある物体４の実像や、虚像領域７のＡＲ画像６を見る。その前提で、運転者の視点位置が、視点位置Ｅ１から水平方向（Ｘ方向）の左右の位置、例えば右へ移動後の視点位置Ｅｘに移動した場合、補正前の状態では、物体４とＡＲ画像６ａにずれが生じる。言い換えると、視点位置Ｅｘから見て、物体位置とＡＲ画像表示位置との差、距離が生じる。このずれが大きいほど、運転者が物体とＡＲ画像とを関係付けた認識がしにくい。【0050】
一方、実施の形態のＨＵＤ装置１では、補正機能によって、物体位置および視点位置に合わせて、ＡＲ画像６ａの表示位置（位置Ｑａ）を、ＡＲ画像６ｂの表示位置（位置Ｑｂ）へと補正する。補正後の状態では、視点位置Ｅｘから物体４とＡＲ画像６ｂを見る場合、位置のずれが解消されている。【0051】
ＨＵＤ装置１は、車外カメラ２の画像に基づいて、自車の位置および視点位置に対する、物体４の位置および距離を検出する。また、ＨＵＤ装置１は、車内カメラ３の画像に基づいて、自車の運転者の視点位置および移動量を検出する。そして、ＨＵＤ装置１は、Ｚ方向での虚像領域位置Ｐ１と物体位置との関係に基づいて、補正の制御を行う。ＨＵＤ装置１は、物体位置、視点位置、および虚像領域位置Ｐ１に応じて、ＡＲ画像の表示位置を補正する。制御部１０は、虚像表示および補正の際、まず、基本設定の視点位置Ｅ１からのＡＲ画像６ａの表示位置を基本として決定する。次に、制御部１０は、視点位置の移動量に応じて、移動後の視点位置Ｅｘから見る場合の補正後のＡＲ画像６ｂの表示位置を、補正によって決定する。【0052】
なお、図１等では、説明上、ウィンドシールド９の視認領域５に対して、基本設定の視点位置Ｅ１や虚像領域７が、Ｘ方向で中心に配置されているように図示しているが、実装はこれに限るものではない。【0053】
［ＨＵＤ装置および車載システム］図２は、実施の形態のＨＵＤ装置１を含む、車載システム１００の構成を示す。車載システム１００は、自動車に搭載されているシステムである。利用者である運転者は、車載システム１００およびＨＵＤ装置１を操作し利用する。このＨＵＤ装置１は、特にＡＲ機能を持つＡＲ−ＨＵＤ装置である。
【0054】
車載システム１００は、ＥＣＵ（Engine Control Unit：エンジン制御部）１０１、ＨＵＤ装置１、車外カメラ２を含む車外撮影部１０２、映像データ記憶部１０３、通信部１０４、ＧＰＳ（Global Positioning System）受信器１０５、カーナビ部１０６、センサ部１０８、ＤＢ部１０９等を有し、それらが車載バスおよびＣＡＮ（Car Area Network）１１０に接続されている。車載システム１００は、その他図示しない音声出力部、操作部、電源部等を有する。【0055】
ＨＵＤ装置１は、制御部１０、表示部２０を有する。ＨＵＤ装置１は、ＡＲ機能を有する。ＨＵＤ装置１は、ＡＲ機能を用いて、ウィンドシールド９の視認領域５越しの虚像領域７にＡＲ画像を含む虚像を表示することで、運転者に各種の情報を伝えることができる。ＨＵＤ装置１のＡＲ機能は、補正機能を含む。補正機能は、虚像領域７内のＡＲ画像の表示位置を自動的に補正する機能である。【0056】
ＨＵＤ装置１は、音声出力部を併用して、運転者に音声出力、例えばカーナビ機能やＡＲ機能による案内やアラーム等を行うこともできる。ＨＵＤ装置１は、操作パネルや操作ボタン等の操作部も備え、運転者による手動操作入力、例えばＡＲ機能のオン／オフやユーザ設定、光学系２４のミラーの角度の調節、等も可能である。【0057】
制御部１０は、ＨＵＤ装置１の全体を制御する。制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアおよび対応するソフトウェアを備える。制御部１０や他の各部は、マイコンやＦＰＧＡ等のハードウェアによって実装されてもよい。制御部１０は、例えばＣＰＵによりＲＯＭからプログラムを読み出してプログラムに従った処理を実行することで、画像入力部１１等の各部を実現する。制御部１０は、必要に応じて各種のデータや情報を内部のメモリまたは外部のメモリに格納し、読み書き等を行う。制御部１０は、メモリのうちの不揮発性メモリに、ＡＲ機能のための設定情報等を保持する。設定情報は、補正部１４の変換処理のための設定情報や、ユーザ設定情報を含む。ユーザ設定情報は、基本設定の視点位置や虚像領域位置、光学系２４のミラーの角度の設定情報等を含む。【0058】
制御部１０は、車外カメラ２で撮影された画像を入力し、取得した各情報を用いながら、視認領域５の虚像領域７に虚像を表示するためのＡＲデータを生成し、表示部２０に与える。制御部１０は、ＡＲデータの生成の際に、虚像領域７内のＡＲ画像の表示位置を補正する。また、制御部１０は、表示部２０を制御して、光学系２４のミラーの角度等の状態を調節できる。これにより、虚像領域７の位置を調節できる。【0059】
表示部２０は、投射型映像表示装置（プロジェクタ）等によって構成される。表示部２０は、表示駆動回路２１、表示素子２２、光源２３、光学系２４、駆動部２５を有し、それらが接続されている。表示部２０は、制御部１０からの制御および映像データ（ＡＲデータ）に基づいて、虚像を表示するための映像光を生成して、視認領域５内の領域に投射する。表示駆動回路２１は、ＡＲ表示部１５からの映像データに従って、ＡＲ表示のための表示駆動信号を生成し、表示素子２２および光源２３に与えて駆動制御する。【0060】
光源２３は、表示駆動信号に基づいて、表示素子２２への照明光を発生する。光源２３は、例えば高圧水銀ランプ、キセノンランプ、ＬＥＤ素子、またはレーザー素子等で構成される。光源２３からの光は、図示しない照明光学系を通じて表示素子２２に入射される。照明光学系は、照明光を集光し、均一化して、表示素子２２に照射する。【0061】
表示素子２２は、表示駆動信号および光源２３からの照明光に基づいて、映像光を生成し、光学系２４へ出射する。表示素子２２は、例えばＳＬＭ（Spatial Light Modulator：空間光変調器）、ＤＭＤ（Digital Micromirror Device、登録商標）、ＭＥＭＳデバイス、またはＬＣＤ（透過型液晶パネルや反射型液晶パネル）等で構成される。【0062】
光学系２４は、表示素子２２からの映像光をウィンドシールド９の視認領域５へ導くためのレンズやミラー等の素子を含む。光学系２４には駆動部２５が接続されている。表示素子２２からの映像光は、光学系２４のレンズによって拡大等され、ミラーによって反射等されて、視認領域５内の一部の領域に投射される（図３）。その領域で反射された映像光は、運転者の目に入射し、網膜に結像する。これにより、運転者の視点から見ると、視認領域５内の領域に対応して、視認領域５越しに見える虚像領域７が形成され、虚像領域７内に虚像が視認される。【0063】
駆動部２５は、光学系２４を駆動するための光学系駆動部であり、レンズやミラー等を駆動するためのモータ等の部品を含む。駆動部２５は、運転者の手動操作入力、あるいは制御部１０からの制御に従って、光学系２４を駆動し、例えばミラーの角度を変更する。駆動部２５は、例えばミラーの角度を調節するための操作ボタンを備えている。運転者は、その操作ボタンの上下の手動操作によって、ミラーの角度を、標準に設定された角度を基準として正負に変更可能である。例えば、操作ボタンの第１部分が押されている間、ミラーの角度が正方向（角度を大きくする方向）に変化し、第２部分が押されている間、ミラーの角度が負方向（角度を小さくする方向）に変化する。【0064】
ＥＣＵ１０１は、エンジン制御を含む車両制御、車載システム１００の全体の制御を行う。ＥＣＵ１０１は、言い換えると車両制御部である。ＥＣＵ１０１は、運転支援や運転自動制御のための高度な機能を有してもよい。その場合、ＥＣＵ１０１は、その機能に係わる情報をＨＵＤ装置１に出力してＨＵＤ装置１を制御し、ＨＵＤ装置１にその機能に係わる虚像の表示を行わせてもよい。ＥＣＵ１０１は、センサ部１０８からの検出情報に基づいて、車速等の車両情報を把握し、制御に用いる。また、ＨＵＤ装置１は、ＥＣＵ１０１から車両情報を取得して制御に利用できる。【0065】
車外撮影部１０２は、１台以上の車外カメラ２を含み、自車の停止中や走行中等に、車外カメラ２を用いて、自車の前方を含む状況を撮影し、映像データ（時系列の画像フレームを含む）および車両周囲情報を取得する。車外撮影部１０２は、その映像データ等を、映像データ記憶部１０３に格納し、あるいはＥＣＵ１０１やＨＵＤ装置１へ出力する。【0066】
車外カメラ２は、車両の所定の位置に所定の向きや画角で設置されている（図３）。車外カメラ２の位置は、例えば車両前部バンパー付近、ウィンドシールド９の辺付近、あるいは車両横部のバックミラー付近等である。車外カメラ２は、車両および運転者の前方を含むように、所定の撮影方向で所定の画角の範囲で撮影し、映像データを出力する。【0067】
車外撮影部１０２は、車外カメラ２の画像を処理する信号処理部を備えてもよいし、備えなくてもよい。その信号処理部は、ＥＣＵ１０１やＨＵＤ装置１に備えてもよい。その信号処理部は、１台以上の車外カメラ２の画像を処理して、車両周囲情報等を計算して得てもよい。車外撮影部１０２は、車外カメラ２の画像の解析に基づいて、自車の周囲の他車や人や建物や路面や地形や天候等の状況を判断してもよい。【0068】
車外撮影部１０２は、車外カメラ２の画像に基づいて、自車と物体との距離（物体距離）や、自車を基準とした空間内の物体の位置（物体位置）を計測する機能を備えてもよい。車外カメラ２として２つ以上のカメラやステレオカメラを備える場合、左右の２つのカメラが撮影した２つの画像を用いて、公知の両眼視差に基づいた距離計測方式等によって、物体距離が計算できる。また、１つの車外カメラ２しか備えない場合でも、その車外カメラ２の画像内の物体位置や、他のセンサの検出情報等に基づいて、所定の計算で概略的に、空間内の物体位置や物体距離等を計算できる。【0069】
映像データ記憶部１０３は、車外カメラ２からの映像データ等を記憶する。映像データ記憶部１０３は、車外撮影部１０２内でもよいし、ＨＵＤ装置１内でもよい。また、映像データ記憶部１０３は、運転者撮影部１０７の車内カメラ３の映像データ等も記憶するようにしてもよい。【0070】
通信部１０４は、車外の移動体網やインターネット等に対する通信を行う通信インタフェース装置を含む部分である。通信部１０４は、ＥＣＵ１０１やＨＵＤ装置１等からの制御に基づいて、例えばインターネット上のサーバ等と通信ができる。例えば、ＨＵＤ装置１は、通信部１０４を介してサーバからＡＲ表示に用いるための元データや関連情報等を参照、取得してもよい。通信部１０４は、車車間通信用無線受信機、路車間通信用無線受信機、ＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム、登録商標）受信機等を含んでもよい。車車間通信は、自車と周辺の他車との間の通信である。路車間通信は、自車と周辺の道路や信号機等の機器との間の通信である。【0071】
ＧＰＳ受信器１０５は、ＧＰＳ衛星からの信号に基づいて、自車の現在の位置情報（例えば緯度、経度、高度等）を取得する。ＥＣＵ１０１やＨＵＤ装置１やカーナビ部１０６は、ＧＰＳ受信器１０５から自車の現在の位置情報を取得して、制御に用いることができる。【0072】
カーナビ部１０６は、車両に搭載されている既存のカーナビゲーションシステムの部分であり、地図情報や、ＧＰＳ受信器１０５から取得した位置情報等を保持し、それらの情報を用いて公知のナビゲーション処理を行う。ＥＣＵ１０１やＨＵＤ装置１は、カーナビ部１０６から情報を取得して制御を行うことができる。ＨＵＤ装置１は、カーナビ部１０６から情報を参照してＡＲ表示の元データとして用いてもよい。例えば、ＨＵＤ装置１は、その元データに基づいて、ＡＲ画像の例として、目的地への進行方向のナビゲーションのための矢印画像を生成してもよい。【0073】
センサ部１０８は、車両に搭載されている公知のセンサ群を有し、検出情報を出力する。ＥＣＵ１０１やＨＵＤ装置１は、その検出情報を取得して制御を行う。センサ部１０８に含むセンサデバイスの例として、車速計、加速度センサ、ジャイロセンサ、地磁気センサ（電子コンパス）、エンジン始動センサ、シフトポジションセンサ、ハンドル操舵角センサ、ヘッドライトセンサ、外光センサ（色度センサや照度センサ）、赤外線センサ（近接物体センサ）、温度センサ等がある。加速度センサおよびジャイロセンサは、自車の状態として、加速度、角速度および角度等を検出する。【0074】
センサ部１０８は、自車と物体との距離を計測する距離センサを備えてもよい。距離センサは、例えば光学的センサで実現でき、発した光が物体に当たって戻ってくるまでの時間から距離を計算できる。距離センサがある場合、その距離センサから物体距離情報を取得可能である。【0075】
ＤＢ部１０９は、ストレージ等で構成され、ＤＢに、ＡＲ表示に利用可能な元データや情報が格納されている。元データは、例えばＡＲ画像を生成するための基本画像データ等がある。情報は、例えば対象の物体に関する基本情報や関連情報、基準画像等がある。ＤＢ部１０９は、ＨＵＤ装置１内でもよいし、カーナビ部１０６との併合でもよいし、車載システム１００の外部の通信網上のデータセンタ等に設けられてもよい。ＤＢには、通信部１０４を介して外部から取得された情報が格納されてもよい。【0076】
ウィンドシールド９は、自動車の一部であり、透過性および剛性を持つガラス、所定の光学特性のフィルム等で構成されている（図３）。ウィンドシールド９の視認領域５内の一部の領域には、ＡＲ機能の利用時に虚像領域７が形成される。なお、ウィンドシールド９の手前にＡＲ専用表示板（コンバイナ等）が設けられてもよい。視認領域５の範囲内で虚像領域７が設定可能である。【0077】
画像入力部１１は、車外カメラ２で撮影された画像を入力し、画像からＡＲのための所定の物体を抽出する。情報取得部１２は、ＡＲ表示および補正等のために必要な情報として、物体情報、視点情報、車両情報、虚像情報等を取得する。物体情報は、物体位置や物体距離を含む情報である。物体位置は、画像内の２次元座標、または空間内の３次元座標等である。物体距離は、自車と物体との距離である。車両情報は、車速や走行方向等を含む情報である。視点情報は、運転者の視点位置等の情報である。虚像情報は、虚像領域７の設定位置等の情報である。【0078】
ＡＲ画像生成部１３は、物体に対して重畳表示するための基本的なＡＲ画像のデータを生成する。基本的なＡＲ画像は、虚像領域７における基本表示位置を持つ。補正部１４は、言い換えると表示位置変換部であり、補正機能に対応して、ＡＲ画像の表示位置の補正処理を行う。補正部１４は、ＡＲ画像生成部１３で生成された基本的なＡＲ画像、および情報取得部１２で取得された各情報を用いて、虚像領域７内のＡＲ画像の表示位置を補正する。補正部１４は、その補正を、所定の変換処理として行う。変換処理は、例えば予め変換テーブルで定義されている。補正部１４は、補正後のＡＲ画像表示位置を含むデータを出力する。ＡＲ表示部１５は、補正後のデータを用いて、虚像領域７にＡＲ画像を含む虚像を重畳表示するためのＡＲデータを生成し、ＡＲデータに基づいて表示部２０に対する表示制御を行う。【0079】
［運転座席］図３は、自動車の運転座席付近を横（Ｘ方向）から見た平面で、視点位置や虚像領域位置等の概要を示す。図３の状態は、基本設定状態を示し、運転者が基本設定の視点位置Ｅ１からウィンドシールド９の視認領域５越しの前方に見える虚像領域７のＡＲ画像６、および物体４を見る状態を示す。運転座席の前方にウィンドシールド９があり、その一部として視認領域５があり、視認領域５内の一部の領域３０７に対応して虚像領域７が形成される。運転座席の前方のダッシュボードの一箇所、例えばコンソールパネルの位置に、ＨＵＤ装置１やカーナビ部１０６等が収容されて設置されている。
【0080】
運転者の目の位置に基づいた基本設定の視点位置Ｅ１を示す。また、視点位置Ｅ１を含むアイボックス３００を示す。なお、視点位置は、目の位置と異なってもよい。例えば、視点位置は、左右の両目の中間点として計算されてもよいし、頭や顔の中心点等として計算されてもよい。また、視点位置Ｅ１から、視認領域５内の領域３０７越しに虚像領域７のＡＲ画像６および物体４を見る場合の視線３０１を一点鎖線で示す。【0081】
車両における車外カメラ２の設置の位置ｐ２および撮影方向３０２の例を示す。撮影方向３０２がＺ方向である場合を示す。車両における車内カメラ３の設置の位置ｐ３および撮影方向３０３の例を示す。車外カメラ２や車内カメラ３の設置位置は、これらに限らず可能である。【0082】
図３では、ＨＵＤ装置１内の光学系２４のうち、ミラー５０１を示している。ミラー５０１は、２軸の可変の角度として角度θおよび角度φを有する（図５）。映像光３０４が、ミラー５０１での反射によって、ウィンドシールド９の内側の視認領域５内の領域３０７へ投射され、運転者の目の方へ反射される。映像光３０４の投射位置である、領域３０７の中心の位置ｐＣを示す。なお、光学系２４の構成は、これに限らず可能であり、視認領域５に映像光を投射する位置および方向が可変である構成であればよい。【0083】
ＨＵＤ装置１の計算上で、視点位置Ｅ１から見て、空間内の物体４の位置ｐＡに対応させるように、視認領域５越しの前方の位置に、虚像領域７内のＡＲ画像６が形成される。空間内の虚像領域７の中心点、およびその中心点に表示する場合のＡＲ画像６の表示位置を、位置ｐＢとして示す。視線３０１は、位置ｐＣ、位置ｐＢ、位置ｐＡを通り、物体４の実像とそれに重畳されるＡＲ画像６とを見る視線である。虚像領域７は、視線方向３０１を法線とした面である場合を示す。【0084】
ミラー５０１は、自由曲面ミラー等であり、例えば凹面ミラーである。ミラー５０１は、向きを表す角度θおよび角度φを有する。ミラー５０１は、例えば、Ｘ方向に延在する回転軸（Ｘ軸）の角度θと、Ｙ方向に延在する回転軸（Ｙ軸）の角度φとを有する。ミラー５０１は、駆動部２５からの駆動によって、角度θおよび角度φが所定の範囲内で可変である。角度θおよび角度φの状態に応じて、映像光３０４の投射方向および投射位置（位置ｐＣ）が可変である。また、ミラー５０１等の曲面の設計によって、曲面の領域３０７へ対応させるための歪み補正の機能を持たせることもできる。【0085】
視点位置等の各位置は、空間内の３次元座標を有する。例えば、視点位置Ｅ１（Ｘ１，Ｙ１，Ｚ１）、位置ｐＡ（ＸＡ，ＹＡ，ＺＡ）、位置ｐＢ（ＸＢ，ＹＢ，ＺＢ）、位置ｐＣ（ＸＣ，ＹＣ，ＺＣ）等を有する。制御部１０は、計算によって各位置の３次元座標を把握する。【0086】
車外カメラ２の位置ｐ２と、車内カメラ３の位置ｐ３と、視点位置との関係については以下である。車載システム１００およびＨＵＤ装置１で、予め、空間内の車外カメラ２の位置ｐ２や車内カメラ３の位置ｐ３が設定されている。また、運転者の視点位置は、運転座席の付近に対応する所定の範囲内に概ね収まり、運転者撮影部１０７によって把握される。各位置の３次元座標は異なるが、位置ｐ２と位置ｐ３と視点位置（例えば視点位置Ｅ１）とが所定の関係を有する。それらの各位置は、所定の関係に基づいて、計算によって相互変換可能であり、補正等の計算の際に揃えることができる。また、自車の位置は、それらの位置との関係を有し、同様に相互変換可能である。例えば、視点位置からみた物体の位置および物体距離は、車外カメラ２の位置ｐ２から見た物体位置および物体距離と、位置ｐ２と視点位置Ｅ１との距離とから、計算できる。また、変形例としては、各位置の間の相互変換の計算を省略して、各位置を概略的に同じとみなして制御を行ってもよく、相応の効果が得られる。【0087】
［ウィンドシールド］図４は、車両前部座席から見たウィンドシールド９の視認領域５や虚像領域７を簡易的に示す。図４では、実像と虚像（ＡＲ画像）とにずれが無い状態を示す。右側にはハンドル４０１等があり、ダッシュボードの中央付近にはコンソールパネル４０２等があり、ＨＵＤ装置１やカーナビ部１０６等が収容されている。コンソールパネル４０２では、ＨＵＤ装置１やカーナビ部１０６の操作入力や画面表示がされる。ウィンドシールド９は曲面の視認領域５を有する。ウィンドシールド９の上側には室内後写鏡４０３等が設置されている。また、本例では、ウィンドシールド９の右上の位置には車内カメラ３が設置されている。図示しないが、車両のいずれかの所定の位置には車外カメラ２が設置されている。
【0088】
図４の実像の例では、自車の前方の道路上、交差点付近で、対象の物体４として他車（対向車）がある。ＨＵＤ装置１の開口部４０４を通じて映像光がウィンドシールド９の視認領域５内の領域に投射されることで、運転者から見て虚像領域７（破線枠で示す。実際には表示されない。）が形成される。虚像領域７内で、物体４上にＡＲ画像６が重畳表示される。本例では、ＡＲ画像６は、対向車の注意喚起のためのアラートアイコン画像であり、アーチ形状（切り欠きを持つリング形状）の場合を示す。【0089】
［基本設定］図５は、運転者個人に応じた視点位置Ｅ１および虚像領域７の基本設定等について示す。基本設定の視点位置Ｅ１を示す。視点位置Ｅ１は、ＨＵＤ装置１の初期設定値に基づいたユーザ設定値として設定される。運転者は、運転座席等を自分の体格や姿勢に合わせて調節し、基本姿勢をとる。その後、運転者は、ＨＵＤ装置１の虚像領域７および視点位置Ｅ１の基本設定を行う。運転者は、必要に応じて光学系２４のミラー５０１の角度θ，φ等を調節して、自分の視点位置から見て虚像領域７が好適な状態になるように調節する。虚像領域７の位置を、所定の設定範囲内で、Ｘ方向、Ｙ方向で変更可能である。変形例では、さらに、虚像領域７の位置を、所定の設定範囲内で、Ｚ方向でも変更可能である。
【0090】
基本設定時、ＨＵＤ装置１は、基本設定のためのガイドＡＲ画像５０３（例えば、虚像領域７を示す枠や、中央位置を示すマーク等）を虚像領域７に表示する。運転者は、ガイドＡＲ画像５０３を見ながら、自分の視点位置からの視線に合わせて、好適な状態になるように、ミラー５０１の角度等を例えば手動で調節する。【0091】
ＨＵＤ装置１は、光学系２４の一部としてミラー５０１を有する。ＨＵＤ装置１は、そのミラー５０１の角度θ，φを可変に駆動する駆動部２５を有する。駆動部２５は、制御部１０からの制御、または操作部（例えばコンソールパネル４０２の操作ボタン）からの操作入力に基づいて、モータ等の駆動によって、ミラー５０１の角度θ，φを変更する。ミラー５０１の角度θ，φに応じて投射方向および投射位置（位置ｐＣ）が決まる。角度θの調節によって、運転者から見て虚像領域７のＹ方向の位置を調節可能である。また、角度φの調節によって、運転者から見て虚像領域７のＸ方向の位置を調節可能である。図５の例では、角度φの調節によって、ウィンドシールド９における右側寄りの位置に虚像領域７を調節した場合を示す。【0092】
基本設定時、ＨＵＤ装置１は、車内カメラ３によって運転者を撮影し、例えば両目の中間点等に基づいて視点位置を検出し、基本設定の視点位置Ｅ１として設定する。また、ＨＵＤ装置１は、駆動部５０２を通じて、視点位置Ｅ１に対応する状態の時のミラー５０１の角度θ，φの状態を検出し、設定する。なお、運転者による調節の操作を省略して、ＨＵＤ装置１が自動的にミラー５０１の角度を調節して基本設定を行ってもよい。【0093】
また、実施の形態の変形例のＨＵＤ装置１では、虚像領域７の前後方向（Ｚ方向）の位置等も可変に設定および制御が可能である。虚像領域位置に応じて、ＡＲ画像の表示位置の補正の有無や、補正方式も設定可能である。制御部１０の設定情報の１つとして、虚像領域位置および虚像距離を有する。ＨＵＤ装置１は、用途や状況に応じて、また、ユーザ設定に応じて、虚像距離を変えて、その虚像距離の位置に虚像領域７を設定できる。例えば、一般道路の走行の場合と高速道路の走行の場合とでは、それぞれに適した虚像距離がある。ＨＵＤ装置１の制御部１０では、それらの状況の判断（例えば車速に基づいた判断）に応じて、虚像距離を切り替えて設定可能である。また、運転者の任意の入力操作に応じて、虚像距離を変更できる。【0094】
［虚像領域内の設定例］図６は、虚像領域７（ＨＵＤ表示範囲）内の設定例を示す。虚像領域７内において、設定に応じて、各種の虚像を表示可能である。虚像領域７内で、情報種類毎に、表示位置や表示領域が設定可能である。本例では、虚像領域７内で、下辺領域である非ＡＲ領域６０１と、その非ＡＲ領域６０１以外の領域であるＡＲ領域６０２とが設定されている。非ＡＲ領域６０１では、虚像（非ＡＲ画像）として、車両情報等が表示される。車両情報として、例えば、車速情報６０３、右左折や目的地距離等のナビゲーション情報６０４、その他の情報（任意の文字等）が挙げられる。非ＡＲ領域６０１の虚像については、補正機能の適用対象外として設定される。
【0095】
ＡＲ領域６０２では、対象の物体４上に、ＡＲ画像６（例えばアラートアイコン画像）が重畳表示され、基本的に補正機能の適用対象として設定される。ＡＲ領域６０２に表示するＡＲ画像６としては、各種の種類がある。物体４の種類毎に、ＡＲ画像６の種類や、補正機能の適用有無等が設定可能である。図６の下側の表では、ＡＲ機能および補正機能によって虚像領域７のＡＲ領域６０２にＡＲ画像を表示する際のＡＲ設定例を示す。この表では、情報項目として、物体種類、ＡＲ画像種類、補正機能の補正有無等を有する。物体種類毎に、ＡＲ画像種類や補正有無等が設定可能となっている。設定例として、対象物体が物体種類Ｋ１である車の場合には、ＡＲ画像種類Ｇ１を適用し、補正機能によってＡＲ画像表示位置の補正を適用する設定等を示す。【0096】
［位置および距離の関係］図７は、視点、物体、虚像（虚像領域７）の位置および距離の関係を示す。基本設定の視点位置Ｅ１と、Ｘ方向の右へ移動後の視点位置Ｅｘを示す。視点位置Ｅ１から視点位置Ｅｘへの移動量Ｈ（視点移動距離）を示す。物体位置として、Ｚ方向で、虚像領域７の虚像領域位置Ｐ１に対し、前にある物体４ｂの場合の位置Ｐ２（特にＸ方向で左側）と、後にある物体４ａの場合の位置Ｐ３（特にＸ方向で右側）とを示す。物体４を実線の円で示す。ＡＲ画像６を点線の円で示す。視点位置から物体位置（例えば位置Ｐ２や位置Ｐ３）までの距離を、物体距離ＬＡとして示す。視点位置と虚像領域位置Ｐ１との距離を、虚像距離ＬＢとして示す。虚像領域位置Ｐ１と物体位置との距離を、虚像物体距離ＬＣ（相対距離）として示す。
【0097】
視点位置Ｅ１からウィンドシールド９越しの前方（Ｚ方向）へ所定の虚像距離ＬＢの虚像領域位置Ｐ１に、虚像領域７が設定されている。虚像距離ＬＢは、ＨＵＤ装置１によって設定されており、変形例の場合には可変である。虚像距離ＬＢは、前述の第２ＨＵＤ装置のように、２０〜３０ｍ（例えば２５ｍ）である。なお、物体４が虚像領域位置Ｐ１にある場合、ＡＲ画像６の表示位置は物体４と同じ位置になる。【0098】
虚像領域７内のＸ方向で、各物体４のＡＲ画像６の表示位置を白丸点で示す。例えば、物体位置Ｐ３の物体４ａの場合に、視点位置Ｅ１から見た補正前のＡＲ画像６に基づいて、移動後の視点位置Ｅｘから見た補正後のＡＲ画像６Ａを示す。物体位置Ｐ２の物体４ｂの場合に、視点位置Ｅ１から見た補正前のＡＲ画像６に基づいて、移動後の視点位置Ｅｘから見た補正後のＡＲ画像６Ｂを示す。例えば、物体４ｂに関して、補正前のＡＲ画像の位置Ｑａ、補正後のＡＲ画像６Ｂの位置Ｑｂを示す。【0099】
ＨＵＤ装置１は、補正機能において、上記のような視点、物体、および虚像領域７の位置および距離の関係に応じて、ＡＲ画像６の表示位置を補正する。特に、虚像領域７に対し物体４が前にある場合と後にある場合とでは、位置のずれの影響が異なる。そのため、ＨＵＤ装置１は、例えば、物体４が虚像領域７よりも前にある場合にはＡＲ画像６の表示位置の補正を行う。【0100】
［処理フロー］図８は、ＨＵＤ装置１の制御部１０の主要処理のフローを示す。この処理は、ＡＲ画像の表示位置の補正の変換処理を含む。制御部１０は、自車の走行中およびＡＲ機能の利用中に、このような処理をリアルタイムで行う。図８は、ステップＳ１〜Ｓ１０を有する。以下、ステップの順に説明する。
【0101】
（Ｓ１） ＨＵＤ装置１は、運転者の操作に基づいて、基本設定処理を行う。図５のように、基本設定の視点位置Ｅ１、虚像領域位置Ｐ１等が設定される。ＨＵＤ装置１は、ＡＲ機能のオン状態で、以下のような処理を行う。【0102】
（Ｓ２） 制御部１０の画像入力部１１は、車外撮影部１０２の車外カメラ２の映像データの画像フレームを、映像データ記憶部１０３から読み出す等して順次に入力する。【0103】
（Ｓ３） 画像入力部１１は、入力された画像内から、ＡＲのための所定の物体の領域等を抽出する処理を行う。所定の物体は、例えばＡＲ画像を重畳表示する対象となる車や人や自転車等であり、また、ＡＲ制御のために用いる、路面の車線やマーク、交通標識等である。なお、この抽出処理は、特徴量抽出や画像マッチング等の画像解析を含む公知技術によって実現できる。【0104】
（Ｓ４） 画像入力部１１は、入力された画像から抽出された物体４に関する、画像内の物体位置の２次元座標（ｘ，ｙ）、および視点位置と物体位置との物体距離等を検出する。あるいは、画像入力部１１は、空間内の物体位置の３次元座標（Ｘ，Ｙ，Ｚ）を検出する。【0105】
（Ｓ５） 画像入力部１１または運転者撮影部１０７は、車内カメラ３からの映像データの画像を入力する。なお、運転者撮影部１０７の機能によって視点位置等を検出できる場合には、運転者撮影部１０７で検出した視点位置等の情報を、情報取得部１２が取得するようにしてもよい。【0106】
（Ｓ６） 画像入力部１１または運転者撮影部１０７は、車内カメラ３の画像から、運転者の現在の視点位置を検出する。画像入力部１１または運転者撮影部１０７は、画像内の視点位置の２次元座標（ｘ，ｙ）、または空間内の視点位置の３次元座標（Ｘ，Ｙ，Ｚ）を検出する。また、画像入力部１１または運転者撮影部１０７は、基本設定の視点位置Ｅ１からの移動後の視点位置Ｅｘに関する移動量および移動方向等を検出する。【0107】
（Ｓ７） 情報取得部１２は、虚像表示および補正のために必要な情報として、物体情報、視点情報、車両情報、虚像情報等を取得する。物体情報は、物体位置、物体距離、物体種類（例えば車、人、自転車等）、サイズ等の情報がある。視点情報は、視点位置、移動量等がある。車両情報は、車速、走行方向等がある。虚像情報は、虚像領域位置Ｐ１等の設定情報がある。【0108】
情報取得部１２は、例えば、車外撮影部１０２またはセンサ部１０８（例えば距離センサ）から、物体距離情報を取得してもよい。情報取得部１２は、例えば、ＥＣＵ１０１やセンサ部１０８から、車両情報を取得してもよい。情報取得部１２は、例えば、センサ部１０８やＧＰＳ受信器１０５またはカーナビ部１０６から、自車の現在の位置情報等を取得してもよい。情報取得部１２は、ＤＢ部１０９や、通信部１０４を介して外部から情報を取得してもよい。【0109】
（Ｓ８） ＡＲ画像生成部１３は、上記各画像や取得された情報を用いて、対象の物体４に重畳表示するためのＡＲ画像６の基本ＡＲ画像データを生成する。ここで生成する基本ＡＲ画像データは、補正前の基本表示位置を持つ。ＡＲ画像生成部１３は、物体種類等に応じたＡＲ画像を生成する。ＡＲ画像生成部１３は、抽出された物体（例えば他車）に応じてＡＲ画像（例えばアラートアイコン画像）を生成する。また、ＡＲ画像生成部１３は、ＥＣＵ１０１、カーナビ部１０６、ＤＢ部１０９等から、データや情報を適宜参照して、ＡＲ画像（例えばナビゲーション矢印画像）を生成してもよい。これらは、ＡＲ機能としてどのような情報を提供するかに依るものであり、特に限定しない。ＡＲ画像生成部１３は、生成したＡＲ画像データ等を出力する。【0110】
（Ｓ９） 補正部１４は、ＡＲ画像生成部１３で生成された基本ＡＲ画像データについて、虚像領域７のＡＲ画像６の表示位置を補正するための変換処理を行う。補正部１４は、この補正処理で、物体位置および物体距離と、視点位置の移動量と、虚像領域位置Ｐ１に対する物体の前後関係等に応じて、補正後のＡＲ画像の表示位置を決定する。言い換えると、補正前のＡＲ画像の表示位置からの補正量を決定する。【0111】
補正部１４は、所定の変換テーブル（または所定の変換計算式）に基づいた変換処理を行うことで、補正後のＡＲ画像の表示位置を決定する。補正部１４は、物体位置、視点位置移動量、虚像領域位置等を入力値として、変換テーブルを参照して変換処理を行い、出力値として補正後のＡＲ画像の表示位置等を出力する。【0112】
補正部１４は、補正方式として、例えば後述の第２方式を用いて、虚像領域７よりも前にある物体４については、補正処理を行い、補正後のＡＲ画像の表示位置を得る。また、補正部１４は、補正方式として、Ｘ方向の視点位置の移動量に関して、所定の閾値と比較し、閾値越えの場合には補正処理を行う。閾値は、アイボックス等に応じて設定可能である。【0113】
（Ｓ１０） ＡＲ表示部１５は、Ｓ９までの補正等を反映した虚像表示のための表示データであるＡＲデータを生成する。また、ＡＲ表示部１５は、ＡＲデータの生成の際には、ＨＵＤ装置１での計算上の平面（虚像平面）から、ウィンドシールド９の曲面の領域（図３の領域３０７）に対応させるための座標変換も行う。この座標変換は、公知の射影変換等を用いて実現でき、曲面への投射の結果として平面的な虚像領域７が形成されるようにするための変換である。【0114】
表示部２０は、制御部１０のＡＲ表示部１５からのＡＲデータに基づいて、映像光を生成し出射する。その映像光が光学系２４を通じてウィンドシールド９の視認領域５内の領域３０７に投射されて反射される。これにより、運転者には、虚像領域７内における物体に重畳されたＡＲ画像として視認される。ＡＲ機能のオン状態では、以上のような主要処理が同様に繰り返し行われる。【0115】
［物体位置、視点位置の取得］図９は、物体位置や視点位置の取得について示す。図９の（Ａ）は、車外カメラ２の画像９０１を示す。画像９０１内に、物体４（例えば他車）を含む場合、画像９０１内の物体４の位置として２次元座標（ｘｍ，ｙｍ）が検出される。さらに、（Ａ）の下側には、空間におけるＸ−Ｚ平面で、自車９００の位置、他車（物体４）の物体位置、および物体距離として自車９００と他車との距離Ｄを示す。自車位置（前述のように視点位置と関係付けられる）の３次元座標（Ｘｍ１，Ｙｍ１，Ｚｍ１）、物体位置の３次元座標（Ｘｍ２，Ｙｍ２，Ｚｍ２）、距離Ｄ（ＤＸ，ＤＹ，ＤＺ）を示す。物体位置の３次元座標は、自車位置（視点位置）を基準とした３次元座標系における位置座標である。距離Ｄのうちの距離ＤＸはＸ方向の成分、距離ＤＹはＹ方向の成分、距離ＤＺはＺ方向の成分である。制御部１０は、画像９０１や前述の手段を用いて、このような物体位置の３次元座標等を得る。
【0116】
図９の（Ｂ）は、車内カメラ３の画像９０２を示す。画像９０２から、運転者の視点位置として、基本設定の視点位置Ｅ１、移動後の視点位置Ｅｘ、移動量Ｈ、移動方向（少なくともＸ方向を含む）等が検出できる。画像９０２内の視点位置の２次元座標として、視点位置Ｅ１（ｘ１，ｙ１）、視点位置Ｅｘ（ｘ２，ｙ２）を示す。視点位置Ｅ１および視点位置Ｅｘは、２次元座標として検出されてもよいし、３次元座標として検出されてもよい。２次元座標に基づいて、所定の計算で３次元座標を得ることができる。視点位置の３次元座標として、視点位置Ｅ１（Ｘ１，Ｙ１，Ｚ１）、視点位置Ｅｘ（Ｘ２，Ｙ２，Ｚ２）を示す。これらの視点位置の差分から、視点位置の移動量Ｈ等が検出できる。【0117】
なお、実施の形態のＨＵＤ装置１の補正機能でのＡＲ画像の表示位置の補正の際には、上記のような３次元情報を用いて実現するが、２次元情報を用いて簡易的に実現してもよい。なお、視点位置の３次元座標と物体位置の３次元座標とが検出できた場合、それらの２点を結ぶ直線を検出できたことになる。また、その直線を、概略的に視線とみなして、制御に利用してもよい。【0118】
実施の形態のＨＵＤ装置１では、車内カメラ３を用いて、少なくとも視点位置の２次元座標または３次元座標を計算して検出する。これに限らず、運転者撮影部１０７の機能として、さらに視線方向（目が実像や虚像を見る視線）や、目のまばたき等を検出できる場合には、それらの情報を補正機能の制御に利用してもよい。例えば、視点位置および視線方向に応じて、ＡＲ画像の表示位置を制御してもよい。例えば、視線方向として虚像領域７の方（物体やＡＲ画像）を見ていない場合には補正を行わない等の制御が挙げられる。【0119】
また、変形例として、視点位置および視線方向等に応じて、ＡＲ画像の表示位置の補正だけでなく、ＡＲ画像の加工の制御を追加してもよい。これにより、より正確な補正や、より視認しやすくするＡＲ提示ができる。例えば、ＡＲ画像の表示位置の補正中の時には、その補正中の状態（すなわち視点位置の変動中の状態）が運転者に伝わるように、ＡＲ画像の形状や色等を変化させる加工をしてもよい。ＡＲ画像を視認しやすくするための各種の公知技術との組み合わせが可能である。【0120】
［ＡＲ画像生成］図１０は、ＡＲ画像生成部１３による、虚像領域７内のＡＲ画像６の生成の際の基本について示す。図１０の上側では、虚像領域７に対応するＨＵＤ装置１の計算上の平面（虚像平面８と記載する）における、物体位置に対するＡＲ画像６の基本表示位置（補正前表示位置ともいう）等を示す。虚像平面８内の２次元座標系（ｘ，ｙ）において、対象の物体４の物体位置毎に、ＡＲ画像６（対応するＡＲ画像データ）が配置される。ＡＲ画像生成部１３は、物体位置および視点位置Ｅ１に基づいて、虚像平面８における、物体位置の２次元座標（ｘｍ，ｙｍ）に対し、ＡＲ画像６の基本表示位置の２次元座標（ｘａ，ｙａ）を決定する。虚像平面８内のＡＲ画像の基本表示位置の２次元座標（ｘａ，ｙａ）は、物体位置、視点位置の３次元座標や、両者の距離に基づいて、所定の計算で得られる。
【0121】
本例では、物体４として他車（対向車）の場合に、ＡＲ画像６として、注意喚起のためのアラートアイコン画像を重畳表示する場合を示す。アラートアイコン画像の一例としてアーチ形状であり、路面に平行にみえるように表示される。本例では、物体４の物体領域の下辺の中央を、ＡＲ画像の基本表示位置としているが、これに限らず可能である。アラートアイコン画像の基本画像に基づいて、路面に合わせて傾き等が調整されたＡＲ画像が生成される。そして、虚像平面８内の基本表示位置に、そのＡＲ画像が配置される。また、その際、ＡＲ画像の色やサイズ等が調整されてもよい。例えば、物体種類に応じた色や、物体領域サイズに合わせたＡＲ画像サイズ等としてもよい。【0122】
図１０の下側には、他のＡＲ画像の例を示す。物体４として他車の場合に、ＡＲ画像６として、物体４（物体領域）を囲む枠画像とする例を示す。また、ＡＲ画像６として、道路上の前方の位置に、進行方向ナビゲーションのための矢印画像を表示する例を示す。また、物体４として所定の施設または看板である場合に、ＡＲ画像６として、物体位置から少し離れて関係付けた位置に、吹き出し画像を表示する例を示す。吹き出し画像内には、物体４に関する情報（例えばカーナビ部１０６やＤＢ部１０９の参照に基づいた施設や看板の情報）が文字等で表示される。【0123】
上記例のように、ＡＲ画像の種類として各種が可能である。なお、ＡＲ画像の種類として、上記吹き出し画像のように、表示位置が物体位置から少し離れる場合でも、補正機能を同様に適用可能である。吹き出し画像について、補正有りとして設定してもよいし、補正無しとして設定してもよい。上記吹き出し画像に補正を行った場合、補正前後で、物体と吹き出し画像との位置関係が維持される。補正を行った場合、視点位置に応じて、物体と吹き出し画像との距離等の見え方が変化する。図示しないが、その他のＡＲ画像の例としては、車線画像（道路の左右端の線の強調表示のための画像）等でもよい。【0124】
［補正方式（１）］実施の形態では、補正機能として、物体位置、視点位置移動量、および虚像領域と物体との位置関係に応じて、ＡＲ画像の表示位置の補正の内容を制御する。この補正機能に関して、以下に示す各方式を用いる。
【0125】
まず、図１のように、実施の形態のＨＵＤ装置１では、補正機能によってＡＲ画像の表示位置を補正する際、制御部１０で、ＡＲデータ（表示部２０に与える表示データ）の内容を補正する処理を行うことで実現する。その補正処理は、制御部１０のソフトウェアプログラム処理に基づいた、例えば変換テーブルを用いた変換処理によって実現できる。【0126】
なお、この補正の実現手段に関して、変形例のＨＵＤ装置としては、ＨＵＤ装置のハードウェアにおける表示部２０の光学系２４のミラー５０１の角度θ，φ等を変更する制御を適用してもよい。あるいは、上記ＡＲデータの情報処理と、光学系２４の駆動制御との組み合わせによる制御を適用してもよい。【0127】
［補正方式（２）］図１１は、実施の形態のＨＵＤ装置１の補正機能におけるＡＲ画像表示位置の補正方式について示す。この補正方式は、特に、Ｚ方向の前後における物体４と虚像領域７との位置関係に応じて補正を制御する方式である。補正機能では、以下に示す方式のうち少なくともいずれかの方式を用いて、ＡＲ画像の表示位置の補正を行う。ＨＵＤ装置１では、予め設計事項として、少なくともいずれか１つの方式の補正機能が実装される。あるいは、ＨＵＤ装置１では、ユーザ設定機能を用いて、複数のいずれかの方式からユーザが選択した方式を、使用する方式として設定可能としてもよい。また、ＨＵＤ装置１では、状況に応じて複数の方式から使用する方式を切り替えて使い分けてもよい。用いる方式に応じた補正の効果が実現できる。
【0128】
（Ａ）第１方式： まず、基本的な補正方式として、第１方式では、Ｚ方向で虚像領域７に対して物体４がいずれの位置にある場合でも、同様に補正を適用する。ＨＵＤ装置１は、物体位置と、視点位置の移動量Ｈとに応じて、虚像領域７内のＡＲ画像６のＸ方向の補正後の表示位置を決定する。【0129】
（Ｂ）第２方式： さらに、第２方式等では、Ｚ方向で虚像領域７（虚像領域位置Ｐ１）に対して物体４が後にある場合と前にある場合との少なくとも２つの区分で、補正の適用の有無を制御する。図７でも示したように、後にある場合とは、位置Ｐ３の物体４ａのような場合であり、言い換えると、物体距離ＬＡが虚像距離ＬＢ以上に大きい場合（ＬＡ≧ＬＢ）である。前にある場合とは、位置Ｐ２の物体４ｂのような場合であり、言い換えると、物体距離ＬＡが虚像距離ＬＢよりも小さい場合（ＬＡ＜ＬＢ）である。第２方式では、ＨＵＤ装置１は、位置関係として、物体４が虚像領域７よりも前にある場合には、ＡＲ画像６の表示位置の補正を行い、物体４が虚像領域位置Ｐ１内やそれよりも後にある場合には、補正を行わない。図１１の例では、前にある物体４ｂについては、移動後の視点位置Ｅｘから見て、補正を行い、補正後のＡＲ画像６ｂを示している。後にある物体４ａについては、視点位置Ｅ１からのＡＲ画像６ａについて、補正を行わず、補正前のＡＲ画像６ａを示している。【0130】
（Ｃ）第３方式： 第２方式の変形例として、第３方式以下の方式を用いてもよい。第３方式では、Ｚ方向で虚像領域位置Ｐ１よりも前の所定の距離８０１の位置８０２に、制御用の閾値の位置が設定される。第３方式で、ＨＵＤ装置１は、物体位置が、位置８０２よりも前にある場合には補正を行い、位置８０２以降の後にある場合には、補正を行わない。第３方式では、考え方として、物体位置が虚像領域位置Ｐ１と位置８０２との間にある場合、物体４と虚像領域７が比較的近く、ずれの影響が比較的小さいことから、補正を行わない。【0131】
（Ｄ）第４方式： 第４方式では、虚像領域位置Ｐ１を含む前後に、所定の距離の範囲８０３が、制御用の範囲である虚像領域近傍範囲として設定される。第４方式では、範囲８０３とその前後とで、３つの区分が設けられる。第４方式では、ＨＵＤ装置１は、物体位置が、範囲８０３内にある場合には、補正を行わない。範囲８０３内の場合、物体４と虚像領域７が比較的近く、ずれの影響が比較的小さいことから、補正を行わない。また、第４方式では、物体位置が、範囲８０３外で、前にある場合には、補正を行い、範囲８０３外で、後にある場合には、補正を行わない。【0132】
（Ｅ）第５方式： 第４方式の変形例として、第５方式では、物体位置が、範囲８０３内の場合には補正を行わず、範囲８０３外で、前にある場合には、補正を行い、範囲８０３外で、後にある場合にも、補正を行う。【0133】
虚像領域位置Ｐ１に対する物体位置の距離（虚像物体距離ＦＣ）が大きいほど、ずれの影響が大きいので、補正の必要性や有効性が高い。また、物体が虚像領域７よりも前にある場合の方が、ずれの影響が大きいので、補正の必要性や有効性が高い。上記各補正方式では、少なくとも、物体が虚像領域７よりも前の方にある場合には、確実に補正を行い、ずれを解消または低減する。【0134】
［補正方式（３）］図１２は、実施の形態のＨＵＤ装置１で、加えて適用される補正方式として、視点位置の移動量に応じた補正方式を示す。この補正方式では、視点位置のＸ方向の移動量Ｈの大きさに応じて、移動量Ｈが所定の閾値以内の場合と閾値を超える場合とで、ＡＲ画像の表示位置の補正の有無を制御する。
【0135】
図１２の（Ａ）は、基本設定の視点位置Ｅ１から例えば右へ移動後の視点位置Ｅｘ１で、移動量Ｈが移動量Ｈｘ１であり、移動量Ｈｘ１が所定の閾値Ｈｔ以内である場合を示す。虚像領域７よりも後の位置Ｐ３の物体４ａや前の位置Ｐ２の物体４ｂがある場合を示す。この場合、ＨＵＤ装置１は、移動量Ｈｘ１が閾値Ｈｔ以内であるため、前述の第１方式や第２方式等を用いた補正を行わない。考え方として、この場合では、物体４ａまたは物体４ｂと補正前のＡＲ画像６ａとのずれが、視点位置Ｅｘ１からの視認上で、許容範囲内である。このことから、補正処理を省略して、効率化を図るものである。【0136】
図１２の（Ｂ）は、同様に、基本設定の視点位置Ｅ１からの移動後の視点位置Ｅｘ２で、移動量Ｈが移動量Ｈｘ２（Ｈｘ２＞Ｈｘ１）であり、移動量Ｈｘ２が所定の閾値Ｈｔを越える場合を示す。この場合、ＨＵＤ装置１は、移動量Ｈｘ２が閾値Ｈｔを越えるため、前述の第１方式や第２方式等を用いた補正を行う。考え方として、この場合では、物体４ａまたは物体４ｂと補正前のＡＲ画像６ａとのずれが、視点位置Ｅｘ２からの視認上で、許容範囲外である。このことから、補正処理を実行して、ずれの解消を図るものである。【0137】
虚像領域位置Ｐ１において、位置１２１は、補正前のＡＲ画像６ａの表示位置を示す。前の位置Ｐ２に物体４ｂがある場合で、補正を行う場合に、位置１２２は、補正後のＡＲ画像の表示位置を示す。同様に、後の位置Ｐ３に物体４ａがある場合で、補正を行う場合に、位置１２３は、補正後のＡＲ画像の表示位置を示す。【0138】
［補正］図１３は、補正部１４によるＡＲ画像の表示位置の補正および変換を示す。補正部１４は、変換処理の際、入力値として、物体位置（例えば３次元座標）、基本設定の視点位置Ｅ１からの移動量、虚像領域位置Ｐ１、および補正前のＡＲ画像の表示位置を入力し、変換の結果の出力値として、補正後のＡＲ画像の表示位置（または補正量）を得る。
【0139】
図１３の例では、物体位置が虚像領域位置Ｐ１に対して後の位置Ｐ３や前の位置Ｐ２の場合で、Ｘ方向では中央から少し左側の位置である場合を示す。また、視点位置の移動としては、基本設定の視点位置Ｅ１から右へ移動して移動後の視点位置Ｅｘ、移動量Ｈｘである場合を示す。【0140】
虚像領域７において、視点位置Ｅ１から位置Ｐ３の物体４ａまたは位置Ｐ２の物体４ｂに合わせたＡＲ画像６を表示する場合の表示位置を、補正前のＡＲ画像６Ｂの位置ＱＢとして示す。なお、図示しないが、虚像領域位置Ｐ１＝ＰＢにおける位置ＱＢに物体がある場合、ＡＲ画像の表示位置は同じ位置ＱＢとなる。【0141】
第１方式等の場合で、虚像領域７よりも後にある物体４ａについて表示位置を補正する場合には以下である。ＨＵＤ装置１は、移動後の視点位置Ｅｘに合わせて、位置Ｐ３の物体４ａのＡＲ画像６Ｂの表示位置（位置ＱＢ）を補正する。変換処理によって、補正後の表示位置が、位置ＱＡとして決定される。虚像領域７のＸ方向の線と、視点位置Ｅｘから物体４ａを見る直線との交差点として、位置ＱＡが得られる。ＨＵＤ装置１は、補正後の位置ＱＡに、ＡＲ画像６Ａを表示する。【0142】
第１方式や第２方式等の場合で、虚像領域７よりも前にある物体４ｂについて表示位置を補正する場合には以下である。ＨＵＤ装置１は、移動後の視点位置Ｅｘに合わせて、位置Ｐ２の物体４ｂのＡＲ画像６Ｂの表示位置（位置ＱＢ）を補正する。変換処理によって、補正後の表示位置が、位置ＱＣとして決定される。虚像領域７のＸ方向の線と、視点位置Ｅｘから物体４ｂを見る直線との交差点として、位置ＱＣが得られる。ＨＵＤ装置１は、補正後の位置ＱＣに、ＡＲ画像６Ｃを表示する。【0143】
［位置関係の例］図１４は、視点、物体、虚像の位置および距離の関係の例を示す。物体虚像距離ＬＣ等が異なる例を示す。図１４では、上から道路等を見たＸ−Ｚ平面で示す。虚像領域位置Ｐ１（ＡＲ画像表示位置を含む）は、例えば、自車の視点位置からの虚像距離ＬＢとして２０〜３０ｍの範囲（設定範囲１４０）内で設定される。本例では、虚像領域位置Ｐ１を、虚像距離ＦＢで２５ｍの位置とした場合を示す。
【0144】
ＡＲの対象となる物体４として、人１５１、コーン１５２、車１５３等がある場合を示す。人１５１（歩行者等）が、虚像領域位置Ｐ１よりも前で、視点位置から比較的近い５ｍの距離の位置にいる。物体虚像距離ＬＣとしては−２０ｍである（虚像領域位置Ｐ１に対して前にある場合を負とした）。コーン１５２が、虚像領域位置Ｐ１の付近の位置、２０〜３０ｍの設定範囲１４０内の位置にある。車１５３（対向車等）が、虚像領域位置Ｐ１よりも後で、視点位置から比較的遠い４０〜６０ｍ程度の距離（例えば４５ｍ）の位置にある。物体虚像距離ＬＣとしては＋２０ｍである。【0145】
まず、コーン１５２のように、設定範囲１４０内の虚像領域７（虚像領域位置Ｐ１）の付近の位置に物体４がある場合、ＡＲ画像６の表示位置のずれの影響が小さく、好適なＡＲ画像表示が可能である。【0146】
車１５３は、虚像領域位置Ｐ１よりも後の位置にあり、物体虚像距離ＬＣが＋２０ｍである。車１５３の位置に重畳するＡＲ画像については、ずれの影響があるものの、人１５１のように前にある場合よりも影響が小さい。そのため、車１５３のＡＲ画像については、第１方式等で補正を行ってもよいし、第２方式等で補正を省略してもよい。【0147】
人１５１は、虚像領域位置Ｐ１よりも前の位置にあり、物体虚像距離ＬＣが−２０ｍである。人１５１の位置に重畳するＡＲ画像については、車１５３のように後にある場合よりもずれの影響が大きい。そのため、人１５１のＡＲ画像については、ずれの解消が重要であり、確実に補正を行う。【0148】
例えば、前述の第２方式を適用する場合、虚像領域７よりも後にある車１５３等の物体については補正処理を省略して効率化し、前にある人１５１等の物体については、補正によってずれを解消し、運転者にとって好適な視認を実現する。【0149】
図１５は、図１４の例に対応した、物体やＡＲ画像の例を示す。図１５の上側の（Ａ）は、基本設定の視点位置Ｅ１から見た物体４の例を簡易的に示す。道路上、自車から比較的近い位置に、物体４として人１５１がいる。また、自車から比較的遠い位置に、物体４として車１５３がある。また、それらの中間程度の位置には、物体４として、曲がり角付近に設置されたコーン１５２がある。物体位置１５４は、人１５１の場合の物体位置の２次元座標（ｘ，ｙ）を示し、物体領域１５５の中心点とする場合を示す。物体領域１５５は、物体４として人１５１を囲む領域（例えば人１５１の形状を包含する矩形）であり、破線枠で示す。物体領域は矩形に限らず可能である。【0150】
図１５の下側の（Ｂ）は、（Ａ）の物体４に対するＡＲ画像６の重畳表示の例を示す。人１５１、コーン１５２、車１５３のそれぞれに対し、ＡＲ画像６としてアラートアイコン画像を重畳表示する例を示す。例えば、表示位置１５６は、人１５１の場合のＡＲ画像６の補正前の基本表示位置を示す。物体位置１５４および物体領域１５５に対し、ＡＲ画像６の表示位置として、物体位置１５４よりも下にある、物体領域１５５の下辺の中央とした場合を示すが、これに限らず可能であり、物体位置をそのままＡＲ画像表示位置としてもよい。【0151】
図１６は、図１４、図１５の例に対応した、物体とＡＲ画像との位置ずれ、および補正について示す。視点位置の移動前後の虚像領域７を簡易的に示す。虚像領域７Ａは、移動前の基本設定の視点位置Ｅ１から見た虚像領域を示す。虚像領域７Ｂは、視点位置Ｅ１から右へ移動後の視点位置Ｅｘから見た虚像領域を示す。移動量Ｈが例えば１００ｍｍである。補正前の状態では、視点位置Ｅｘから見て、物体４として例えば人１５１とＡＲ画像６ａ（補正前ＡＲ画像）とで位置のずれがある。補正後の状態では、視点位置Ｅｘから見て、人１５１とＡＲ画像６ｂ（補正後ＡＲ画像）とで位置のずれが解消されている。補正によって、補正前のＡＲ画像６ａの表示位置１５６から、補正後のＡＲ画像６ｂの表示位置１５７になっている。【0152】
特に、人１５１の例のように、虚像領域７よりも前に物体４があり、物体虚像距離ＬＣが比較的大きい場合には、ずれの影響が大きいので、表示位置の補正が有効である。人１５１と車１５３とでは、いずれも物体虚像距離ＬＣが２０ｍであるが、人１５１の方が、車１５３よりも、ずれの影響が大きい。そのため、第２方式等を用いて、人１５１の方については、確実にＡＲ画像の表示位置を補正する。【0153】
［変形例：虚像領域の可変設定］図１７は、変形例のＨＵＤ装置１における、虚像領域７のＺ方向の位置の可変設定について示す。所定の設定範囲１４０（２０〜３０ｍ）内で、虚像領域位置Ｐ１を可変に設定できる。位置Ｐ１ａは、虚像距離ＦＢとして３０ｍの位置を虚像領域位置として虚像領域７ａを設定する場合を示す。位置Ｐ１ｂは、虚像距離ＦＢとして２０ｍの位置を虚像領域位置として虚像領域７ｂを設定する場合を示す。また、各物体距離の位置（ＰＡ，ＰＢ，ＰＣ）に物体４がある場合を示す。位置ＰＡの物体４Ａ、位置ＰＢの物体４Ｂ、位置ＰＣの物体４Ｃを示す。
【0154】
各虚像領域７の設定の場合でも、同様に、補正機能を適用できる。例えば、前述の第２方式を適用するとする。虚像領域７ａの場合において、物体４Ｃ、物体４Ｂについては、前にあるので、補正を行い、物体４Ａについては、後にあるので、補正を行わない。虚像領域７ｂの場合において、物体４Ｃについては、前にあるので、補正を行い、物体４Ｂ、物体４Ａについては、後にあるので、補正を行わない。【0155】
なお、路面、車両、および運転者の状態を基準として設定される虚像領域７の面（例えば矩形の面）は、Ｘ−Ｙ平面としてもよいし、図３の例のように視点位置Ｅ１からの視線３０１を法線とする平面としてもよい。各場合で、同様に、補正機能を適用できる。【0156】
［変形例：虚像領域］図１８は、他の変形例における虚像領域７の設定状態を示す。このように、虚像領域７を、視点位置Ｅ１からの視線３０１に対して、垂直面に限らず、斜めに傾けた平面としてもよい。本例では、虚像領域７は、Ｚ方向の視線３０１に対し、角度δを持つ平面として設定されている。さらに、角度δが可変設定できる形態としてもよい。この場合、虚像領域７は、Ｚ方向の虚像領域位置Ｐ１、視線３０１上の位置ｐＢを中心として、Ｚ方向の幅１８１を持つ。幅１８１は、設定範囲１４０内の大きさである。この場合でも、補正機能を同様に適用可能である。本例では、虚像領域７において、ＡＲ画像６として、位置Ｑｙ１のＡＲ画像６ｙ１や、位置Ｑｙ２のＡＲ画像６ｙ２を示す。位置Ｑｙ１は、Ｚ方向の視線３０１よりも上側の位置で、虚像領域位置Ｐ１よりも後の位置である。位置Ｑｙ２は、Ｚ方向の視線３０１よりも下側の位置で、虚像領域位置Ｐ１よりも前の位置である。
【0157】
この変形例の場合、補正方式としては、例えば図１１の（Ｄ）の第４方式や（Ｅ）の第５方式を同様に適用可能である。例えば、幅１８１を、（Ｄ）の範囲８０３と対応させて、補正有無の制御を行えばよい。【0158】
［虚像領域外の場合の制御］図１９は、補正機能における一部の機能として、虚像領域７外の場合の制御を示す。視点位置移動量に応じて、補正後のＡＲ画像表示位置が虚像領域７外に出てしまう場合の制御を示す。
【0159】
（１）この制御として、第１制御では、物体４に関するＡＲ画像６の表示位置が、視点位置から見た虚像領域７（対応する虚像平面）で考えて、虚像領域７内にある場合には、表示可能であり、ＡＲ画像の表示位置の補正を行う。また、この制御では、物体４に関するＡＲ画像６の表示位置（補正しようとする際に計算した表示位置）が、視点位置から見た虚像領域７（対応する虚像平面）で考えて、虚像領域７外にある場合には、ＡＲ画像の表示位置の補正を行わず、ＡＲ画像も表示しない。虚像領域外１９０（表示不可領域）は、虚像領域７の右外の領域の例を示す。位置１９１は、基本設定の視点位置Ｅ１に合わせて計算したＡＲ画像６ａの表示位置である。位置１９２は、移動後の視点位置Ｅｘに合わせて、補正のために計算した表示位置である。位置１９２は、虚像領域外１９０にある。第１制御では、虚像領域外１９０の場合、単に、ＡＲ画像を表示および補正しないようにする。視点位置が戻った場合、すなわち補正後の表示位置が虚像領域７内に戻った場合には、補正を行い、ＡＲ画像が再度表示される。【0160】
（２）第２制御では、ＨＵＤ装置１は、通常時、視点位置が虚像領域７内を見る状態、あるいは補正後の表示位置が虚像領域７内の状態と判断した場合には、補正機能を自動的にオン状態とし、補正および表示を行う。ＨＵＤ装置１は、視点位置が、虚像領域７を見ない状態、あるいは、補正後の表示位置が虚像領域７外の状態と判断した場合には、補正機能を自動的にオフ状態に切り替え、補正および表示を行わない。後者の場合、運転者が、虚像領域７のＡＲ画像が見えない状態、あるいは意図的に見ない状態であると考えて、補正機能をオフ状態にするものである。状況に応じて、運転者が虚像を見たくない場合、実像のみを見たい場合に、そのために運転者が視点位置を動かす場合があり得る。上記制御を適用することで、そのような場合でも、運転者がＡＲ画像を見ずに物体のみを見やすくなる。【0161】
（３）第３制御では、ＨＵＤ装置１は、視点位置に基づいて、補正後のＡＲ画像の表示位置が、虚像領域７外に出る場合、補正を行わず、補正前のＡＲ画像の表示位置のままとして表示する。すなわち、虚像領域７の左右端の付近の位置に、補正前のＡＲ画像が残ったまま表示される。虚像領域７内に戻った場合、補正の要否が再び判断される。この制御の場合、運転者の視認上で、物体とＡＲ画像とのずれが残り、運転者がそのずれを認識する。運転者は、視点をずらすことで物体を見たい場合には、ＡＲ画像の重畳がずれている状態であるため、物体を見やすい。【0162】
［効果等］上記のように、実施の形態のＨＵＤ装置１によれば、物体と虚像（ＡＲ画像）とのずれを低減して、好適なＡＲ表示が実現できる。特に、視点位置および虚像領域位置に合わせた好適な補正が実現できる、
【0163】
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。実施の形態の構成要素の追加や削除、分離や併合、置換、組合せ等が可能である。実施の形態の機能等は、一部または全部が集積回路等のハードウェアで実現されてもよいし、ソフトウェアプログラム処理で実現されてもよい。各ソフトウェアは、製品出荷時点で予め装置内に格納されていてもよいし、製品出荷後に外部装置から通信を介して取得されてもよい。【0164】
実施の形態の補正機能による補正は、水平方向（Ｘ方向）のみではなく、鉛直方向（Ｙ方向）等についても同様に適用可能である。本発明は、車載システムに限らず、各種の用途に適用可能である。【符号の説明】
【0165】
１…ＨＵＤ装置、２…車外カメラ、３…車内カメラ、４…物体、５…視認領域、６（６ａ，６ｂ）…ＡＲ画像、７…虚像領域、９…ウィンドシールド、１０…制御部、２０…表示部、Ｅ１，Ｅｘ…視点位置、Ｐ１…虚像領域位置、Ｐ２…位置。