特許7183393画像を地面に位置させて運転手の視点に拡張現実を実現する３次元拡張現実ヘッドアップディスプレイ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-25
(45)【発行日】2022-12-05
(54)【発明の名称】画像を地面に位置させて運転手の視点に拡張現実を実現する３次元拡張現実ヘッドアップディスプレイ
(51)【国際特許分類】
G02B 27/01 20060101AFI20221128BHJP
B60K 35/00 20060101ALI20221128BHJP
【ＦＩ】
G02B27/01
B60K35/00 A
【請求項の数】
18
(21)【出願番号】P 2021510058
(86)(22)【出願日】2018-12-05
(65)【公表番号】
(43)【公表日】2021-12-09
(86)【国際出願番号】 KR2018015307
(87)【国際公開番号】W WO2020075911
(87)【国際公開日】2020-04-16
【審査請求日】2021-02-22
(31)【優先権主張番号】10-2018-0120504
(32)【優先日】2018-10-10
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2018-0120463
(32)【優先日】2018-10-10
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2018-0149251
(32)【優先日】2018-11-28
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】319012978
【氏名又は名称】ネイバーラボス コーポレーション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジョン ウニョン
(72)【発明者】
【氏名】チャ ジェウォン
【審査官】近藤 幸浩
(56)【参考文献】
【文献】国際公開第２０１８／１６８５９５（ＷＯ，Ａ１）
【文献】特開２０１４－１８１０２５（ＪＰ，Ａ）
【文献】特開２００６－１４５９９８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０１２９０５１（ＵＳ，Ａ１）
【文献】特開２０１６－０６８６９３（ＪＰ，Ａ）
【文献】国際公開第２０１４／０６１１３８（ＷＯ，Ａ１）
【文献】国際公開第２０１６／１６６８８７（ＷＯ，Ａ１）
【文献】特開２０１５－１９７４９６（ＪＰ，Ａ）
【文献】特開２０１６－１０９６４５（ＪＰ，Ａ）
【文献】特開２０１８－１２０１４１（ＪＰ，Ａ）
【文献】特開２０１８－０５８５４４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ２７／０１
Ｂ６０Ｋ ３５／００
(57)【特許請求の範囲】
【請求項1】
車両用３次元ヘッドアップディスプレイであって、光源の役割を担うディスプレイ装置、
前記光源の光を運転席の方に反射させると同時に、車両の外部光を透過させるコンバイナ、
前記車両の前方領域の周辺情報を取得するセンサ、および
前記周辺情報に基づき、３次元ポイントクラウドを生成し、前記３次元ポイントクラウドに基づき、３次元情報を取得するプロセッサ
を含み、
前記光源の光による画像が、前記車両の前方地面に対応するように、前記３次元情報を基準にして３次元視点（ｐｅｒｓｐｅｃｔｉｖｅ）の虚像で表示され、
前記プロセッサは、
前記周辺情報に基づき、地面に対応する背景と前記虚像との間の距離誤差を認識し、前記虚像を調整することで前記距離誤差を補正し、
前記距離誤差が事前に定められた許容誤差範囲内を維持するように前記虚像を調整し、
前記背景までの実際距離が遠いほど、前記虚像の表現距離に対する前記許容誤差範囲は大きく定められること
を特徴とする、車両用３次元ヘッドアップディスプレイ。
【請求項2】
前記ディスプレイ装置に対応するディスプレイ平面は、前記コンバイナにより、前記地面に対応する虚像平面とイメージング条件（ｉｍａｇｉｎｇ ｃｏｎｄｉｔｉｏｎ）を満たすことを特徴とする、請求項１に記載の車両用３次元ヘッドアップディスプレイ。
【請求項3】
前記ディスプレイ装置に対応するディスプレイ平面と前記コンバイナに対応するコンバイナ平面、および前記地面に対応する虚像平面の間のイメージング条件に基づいて前記虚像が生成されることを特徴とする、請求項１または２に記載の車両用３次元ヘッドアップディスプレイ。
【請求項4】
前記コンバイナ平面に対して垂直でありながら前記コンバイナの光学的中心を通過する直線を基準に、前記ディスプレイ平面と前記虚像平面でイメージング条件を満たす角度を利用して前記虚像の開始位置と大きさが決められることを特徴とする、請求項３に記載の車両用３次元ヘッドアップディスプレイ。
【請求項5】
前記角度、前記虚像平面を基準に、前記ディスプレイ平面の角度、前記ディスプレイ平面と前記コンバイナ平面の角度、前記虚像平面から前記コンバイナの光学的中心までの高さのうちの少なくとも１つによって前記虚像の開始位置と大きさが調節されることを特徴とする、請求項４に記載の車両用３次元ヘッドアップディスプレイ。
【請求項6】
前記虚像平面から前記コンバイナまでの高さにおいて、前記ディスプレイ装置と前記コンバイナの離隔距離は、前記虚像平面から前記コンバイナの光学的中心までの高さに該当の高さ方向へのオフセットを加えた高さ値、前記虚像平面を基準に前記ディスプレイ平面の角度、前記虚像平面を基準に前記コンバイナ平面の角度、前記ディスプレイ平面と前記コンバイナ平面の角度によって導き出されることを特徴とする、請求項３～５のうちのいずれか１項に記載の車両用３次元ヘッドアップディスプレイ。
【請求項7】
前記コンバイナの位置は、要求されるアイボックス（Ｅｙｅ－ｂｏｘ）の位置によるオフセットを含んだ高さとして決められることを特徴とする、請求項１～６のうちのいずれか１項に記載の車両用３次元ヘッドアップディスプレイ。
【請求項8】
前記プロセッサは、前記虚像を遠近感が適用された画像で表示することを特徴とする、請求項１～７のうちのいずれか１項に記載の車両用３次元ヘッドアップディスプレイ。
【請求項9】
前記ディスプレイ装置は、マルチ画像を同時に実現するためにマルチ光源が配置される形態で構成されることを特徴とする、請求項１～８のうちのいずれか１項に記載の車両用３次元ヘッドアップディスプレイ。
【請求項10】
前記ディスプレイ装置は、前記地面に対応するように、前記３次元情報を基準にした画像を生成するための第１ディスプレイ、および
前記地面に対して垂直な画像を生成するための少なくとも１つの第２ディスプレイ
を含む、請求項９に記載の車両用３次元ヘッドアップディスプレイ。
【請求項11】
前記プロセッサは、前記周辺情報を利用し、前方の全般的な領域で距離誤差が発生する全般的誤差、前方の部分的な領域で距離誤差が発生する部分的誤差、および前方の障害物との距離が閾値内まで近くなった状況の完全な誤差を区分して認識すること
を特徴とする、請求項１に記載の車両用３次元ヘッドアップディスプレイ。
【請求項12】
前記センサは、前記車両用３次元ヘッドアップディスプレイに備えられたセンサ、あるいは前記車両に備えられたＡＤＡＳ（ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ－ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）またはセンサであることを特徴とする、請求項１～１１のうちのいずれか１項に記載の車両用３次元ヘッドアップディスプレイ。
【請求項13】
前記プロセッサは、前記虚像の遠近感を調整する補正を実行すること
を特徴とする、請求項１～１２のうちのいずれか１項に記載の車両用３次元ヘッドアップディスプレイ。
【請求項14】
前記プロセッサは、前記光源と前記コンバイナのうちの少なくとも１つを調整して前記虚像の勾配または位置を調整すること
を特徴とする、請求項１～１３のうちのいずれか１項に記載の車両用３次元ヘッドアップディスプレイ。
【請求項15】
前記プロセッサは、前記虚像の位置が前記コンバイナの画角（ＦＯＶ）を逸脱する場合、前記コンバイナの位置を移動させること
を特徴とする、請求項１４に記載の車両用３次元ヘッドアップディスプレイ。
【請求項16】
前記プロセッサは、前方の部分的な領域で距離誤差が発生する場合、誤差が発生した部分の遠近感を調整するか一部の画像を除去すること
を特徴とする、請求項１～１５のうちのいずれか１項に記載の車両用３次元ヘッドアップディスプレイ。
【請求項17】
前記プロセッサは、前方の障害物によって距離誤差が発生する場合、前記地面の代わりに、前記障害物上あるいは前記障害物よりも近い距離に、前記地面に対して垂直な画像で表示すること
を特徴とする、請求項１～１６のうちのいずれか１項に記載の車両用３次元ヘッドアップディスプレイ。
【請求項18】
前記ディスプレイ装置は、前記地面に対応するように、前記３次元情報を基準にした画像を生成するための第１ディスプレイ、および
前記地面に対して垂直な画像を生成するための少なくとも１つの第２ディスプレイ
を含み、
前記プロセッサは、
前方の障害物によって距離誤差が発生する場合、前記第１ディスプレイの代わりに、前記第２ディスプレイを利用して前記虚像を表示すること
を特徴とする、請求項１～１７のうちのいずれか１項に記載の車両用３次元ヘッドアップディスプレイ。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、３次元ヘッドアップディスプレイ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）に関する。
【背景技術】
【0002】
図１は、一般的なヘッドアップディスプレイ装置の情報確認のための焦点調節を説明した図である。
【0003】
図１を参照すると、一般的な車両用ヘッドアップディスプレイ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）装置は、ディスプレイ１０が車両の現在速度、燃料残量、ナビゲーション（Ｎａｖｉｇａｔｉｏｎ）の道案内情報のような画像を発信すると、光学系１１、１２を通過して運転手の前方に位置するフロントガラス１３にグラフィックイメージ１４が投映されることで、運転手が視線を必要以上に他の場所に移すことを最小限に抑える車両量ディスプレイ装置である。ここで、光学系１１、１２は、ディスプレイ１０が発信した画像の光の経路を変更するために複数のミラーで構成される。このような車両用ヘッドアップディスプレイ装置は、運転手の即時的な反応を誘導すると同時に、利便性を提供するという長所がある。
【0004】
一般的な車両用ヘッドアップディスプレイ（ＨＵＤ）装置において、画像は、利用者の前方約２～３ｍに固定されて位置する。この反面、運転時の運転手の注視距離は近距離～約３００ｍである。このような点を考慮するとき、運転手が遠距離を注視しながら運転している最中にヘッドアップディスプレイ（ＨＵＤ）装置の情報を確認するためには、目の焦点を大幅に調整しなければならない不便が生じる。すなわち、主体となる視野が位置する遠距離と画像が映し出された～３ｍとの間で、焦点調節が繰り返されるようになる。
【0005】
したがって、運転中の注視時点に、目の焦点を変化させなくても運転手が情報を取得することができるように運転環境に拡張現実を実現し、画像表現距離の制約がない３次元ヘッドアップディスプレイ（Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）装置の開発が求められている。
【0006】
例えば、特許文献１（登録日２０１４年６月１３日）は、３次元拡張現実に基づくヘッドアップディスプレイ装置に関するものであって、３次元イメージに拡張されたイメージ情報を実際の距離情報に基づいて立体的に表示することにより、運転手にリアルな情報を提供することができる、ヘッドアップディスプレイ装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【文献】韓国登録特許１０－１４０９８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
画像位置を地面に対応させる形態の３次元実現方式を有する、３次元ヘッドアップディスプレイを提供する。
【0009】
仮想のスクリーンを地面に対応するように横にした３次元視点（ｐｅｒｓｐｅｃｔｉｖｅ）で表現する、３次元ヘッドアップディスプレイを提供する。
【課題を解決するための手段】
【0010】
車両用３次元ヘッドアップディスプレイであって、光源の役割を担うディスプレイ装置と、前記光源の光を運転席の方に反射させると同時に、車両の外部光を透過させるコンバイナとを含み、前記光源の光による画像が前記車両の前方地面に対応するように横にした３次元視点（ｐｅｒｓｐｅｃｔｉｖｅ）の虚像を表示することを特徴とする、車両用３次元ヘッドアップディスプレイを提供する。
【0011】
一側面によると、前記ディスプレイ装置に対応するディスプレイ平面は、前記コンバイナにより、前記地面に対応する虚像平面とイメージング条件（ｉｍａｇｉｎｇ ｃｏｎｄｉｔｉｏｎ）を満たしてよい。
【0012】
他の側面によると、前記ディスプレイ装置に対応するディスプレイ平面、前記コンバイナに対応するコンバイナ平面、および前記地面に対応する虚像平面の間のイメージング条件に基づき、前記虚像が生成されてよい。
【0013】
また他の側面によると、前記コンバイナ平面に対して垂直でありながら前記コンバイナの光学的中心を通過する直線を基準に、前記ディスプレイ平面と前記虚像平面でイメージング条件を満たす角度を利用して前記虚像の開始位置と大きさが決められてよい。
【0014】
また他の側面によると、前記角度、前記虚像平面を基準に、前記ディスプレイ平面の角度、前記ディスプレイ平面と前記コンバイナ平面の角度、前記虚像平面から前記コンバイナの光学的中心までの高さのうちの少なくとも１つにより、前記虚像の開始位置と大きさが調節されてよい。
【0015】
また他の側面によると、前記虚像平面から前記コンバイナまでの高さにおいて、前記ディスプレイ装置と前記コンバイナの離隔距離は、前記虚像平面から前記コンバイナの光学的中心までの高さに該当の高さ方向へのオフセットを加えた高さ値、前記虚像平面を基準に前記ディスプレイ平面の角度、前記虚像平面を基準に前記コンバイナ平面の角度、前記ディスプレイ平面と前記コンバイナ平面の角度によって導き出されてよい。
【0016】
また他の側面によると、前記コンバイナの位置は、要求されるアイボックス（Ｅｙｅ－ｂｏｘ）の位置によるオフセットを含む高さが決定されてよい。
【0017】
また他の側面によると、前記虚像を遠近感が適用された画像で表示するためのプロセッサをさらに含んでよい。
【0018】
また他の側面によると、前記ディスプレイ装置は、マルチ画像を同時に実現するためにマルチ光源が配置される形態で構成されてよい。
【0019】
また他の側面によると、前記ディスプレイ装置は、前記地面に対応するように横にした画像を生成するための第１ディスプレイ、および前記地面に垂直に画像を生成するための少なくとも１つの第２ディスプレイを含んでよい。
【0020】
また他の側面によると、前記車両の前方領域の周辺情報に基づき、前記地面に対応する背景と前記虚像との距離誤差を認識して補正するためのプロセッサをさらに含んでよい。
【0021】
また他の側面によれば、前記プロセッサは、前記周辺情報を利用して、前方の全般的な領域で距離誤差が発生する全般的誤差、前方の部分的な領域で距離誤差が発生する部分的誤差、および前方の障害物との距離が閾値以内に接近した状況の完全な誤差を区分して認識してよい。
【0022】
また他の側面によると、前記プロセッサは、前記３次元ヘッドアップディスプレイに含まれたセンサ、あるいは前記車両に含まれたＡＤＡＳ（ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ－ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）またはセンサから前記周辺情報を取得してよい。
【0023】
また他の側面によると、前記プロセッサは、前記距離誤差が事前に定められた許容誤差範囲内を維持するように、前記虚像を調整してよい。
【0024】
また他の側面によると、前記プロセッサは、前記虚像の遠近感を調整する補正を実行してよい。
【0025】
また他の側面によると、前記プロセッサは、前記光源と前記コンバイナのうちの少なくとも１つを調整して、前記虚像の勾配または位置を調整してよい。
【0026】
また他の側面によると、前記プロセッサは、前記虚像の位置が前記コンバイナの画角（ＦＯＶ）を逸脱する場合、前記コンバイナの位置を移動させてよい。
【0027】
また他の側面によると、前記プロセッサは、前方の部分的な領域で距離誤差が発生する場合、誤差が発生した部分の遠近感を調整するか一部の画像を取り除いてよい。
【0028】
また他の側面によると、前記プロセッサは、前方の障害物による距離誤差が発生する場合、前記地面の代わりに、前記障害物上あるいは前記障害物よりも近い距離に、前記地面に垂直な画像で表示してよい。
【0029】
また他の側面によると、前記ディスプレイ装置は、前記地面に対応するように横にした画像を生成するための第１ディスプレイ、および前記地面に垂直な画像を生成するための少なくとも１つの第２ディスプレイを含み、前記プロセッサは、前方の障害物による距離誤差が発生する場合、前記第１ディスプレイの代わりに前記第２ディスプレイを利用して前記虚像を表示してよい。
【0030】
車両用３次元ヘッドアップディスプレイの誤差補正方法であって、前記３次元ヘッドアップディスプレイは、光源の光による画像が、コンバイナを経て車両の前方地面に対応するように横になった３次元視点（ｐｅｒｓｐｅｃｔｉｖｅ）の虚像で表示されるものであり、前記誤差補正方法は、少なくとも１つのプロセッサにより、前記車両の前方領域の周辺情報に基づき、前記地面に対応する背景と前記虚像との距離誤差を認識する段階、および前記少なくとも１つのプロセッサにより、前記虚像を調整して前記距離誤差を補正する段階を含む、誤差補正方法を提供する。
【0031】
前記誤差補正方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。
【0032】
車両用３次元ヘッドアップディスプレイの誤差補正装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記３次元ヘッドアップディスプレイは、光源の光による画像が、コンバイナを経て車両の前方地面に対応するように横にした３次元視点の虚像で表示されるものであり、前記少なくとも１つのプロセッサは、前記車の前方領域の周辺情報に基づき、前記地面に対応する背景と前記虚像との距離誤差を認識する誤差認識部、および前記虚像を調整して前記距離誤差を補正する誤差補正部を含む、誤差補正装置を提供する。
【発明の効果】
【0033】
本発明の実施形態によると、画像位置を地面に対応させる形態の３次元実現方式を有する、３次元ヘッドアップディスプレイを提供することができる。
【0034】
本発明の実施形態によると、仮想のスクリーンを地面に対応するように横にした３次元視点で表現する、３次元ヘッドアップディスプレイを提供することができる。
【図面の簡単な説明】
【0035】
【図1】一般的なヘッドアップディスプレイ装置の情報確認のための焦点調節を説明するための図である。
【図2】本発明の一実施形態における、３次元ヘッドアップディスプレイの画像位置を示した図である。
【図3】本発明の一実施形態における、道路面のような地面に対応する仮想の平面上に画像を提供する例を示した図である。
【図4】本発明の一実施形態における、３次元ヘッドアップディスプレイの光学設計構成の例を示した図である。
【図5】本発明の一実施形態における、ディスプレイ平面とコンバイナ平面、および虚像平面の間のイメージング条件を示した図である。
【図6】本発明の一実施形態における、ディスプレイ装置とコンバイナの関係式を導き出すのに必要となる変数を示した図である。
【図7】本発明の一実施形態における、アイボックス（Ｅｙｅ－ｂｏｘ、瞳孔の位置）によって決定されるコンバイナの位置を説明するための例示図である。
【図8】本発明の一実施形態における、地面に対応する仮想の平面上に遠近感が反映された画像の例を示した図である。
【図9】本発明の一実施形態における、マルチ画像を同時に実現するための３次元ヘッドアップディスプレイの光学設計構成の例を示した図である。
【図10】虚像と背景の距離差によって発生する問題を説明するための例示図である。
【図11】人間の瞳孔間の距離による許容誤差範囲を示したグラフである。
【図12】実際の運転環境で距離による許容誤差範囲を説明するための図である。
【図13】本発明の一実施形態における、３次元ヘッドアップディスプレイのプロセッサが含むことのできる構成要素の例を示した図である。
【図14】本発明の一実施形態における、３次元ヘッドアップディスプレイが実行することのできる誤差補正方法を示したフローチャートである。
【図15】本発明の一実施形態における、全般的誤差を補正する方式を説明するための例示図である。
【図16】本発明の一実施形態における、全般的誤差を補正する方式を説明するための例示図である。
【図17】本発明の一実施形態における、部分的誤差を補正する方式を説明するための例示図である。
【図18】本発明の一実施形態における、部分的誤差を補正する方式を説明するための例示図である。
【図19】本発明の一実施形態における、完全な誤差を補正する方式を説明するための例示図である。
【発明を実施するための形態】
【0036】
以下、添付の図面を参照しながら、実施形態について説明する。
【0037】
以下で説明する実施形態は、複数の他の形態に変形されてよく、本発明の範囲が以下で説明する実施形態によって限定されてはならない。また、複数の実施形態は、当技術分野において通常の知識を有する者に本発明をより完全に説明するために提供されるものである。図面において、要素の形状および大きさなどは、より明確な説明のために簡素化されるか、縮約あるいは誇張されることもある。
【0038】
図１を参照しながら説明した既存のヘッドアップディスプレイはもちろん、ＴＶ、モニター、プロジエクタスクリーン、ＶＲ／ＡＲガラスなどのようなディスプレイの殆どは、運転手の視線に対して垂直方向に位置している。
【0039】
本発明の実施形態は、画像の位置を地面に対応させる形態の３次元実現方式を有する３次元ヘッドアップディスプレイを提供する。特に、仮想のスクリーンを地面に対応するように横にした３次元視点で表現することにより、運転環境において運転手の視点に対して最適化された３次元ヘッドアップディスプレイを提供することができる。
【0040】
また、本発明の実施形態は、画像を地面に位置させて運転手の視点に拡張現実を実現する３次元ヘッドアップディスプレイにおいて、周辺環境によって発生するエラーを最小化する方法を提供する。
【0041】
また、本発明の実施形態は、３次元ヘッドアップディスプレイで提供する画像の距離感が周辺環境と異なるように発生する誤差を、誤差発生状態を考慮しながら効果的に補正する方法を提供する。
【0042】
図２は、本発明の一実施形態における、３次元ヘッドアップディスプレイの画像位置を示した図である。
【0043】
図２を参照すると、本発明に係る３次元ヘッドアップディスプレイは、運転手が目で見ることのできる仮想の画像、すなわち虚像２４の位置を、運転手の前方の地面と対応するように横にした３次元視点で表現してよい。
【0044】
一般的な車両用ヘッドアップディスプレイの光学系による画像は、運転手の２～３ｍ前方の固定された距離に位置し、その殆どが地面２５に対して垂直に表示される。これとは異なり、本発明に係る３次元ヘッドアップディスプレイは、運転手が注視する前方の地面２５と対応する仮想の平面上に、虚像２４を位置させる。
【0045】
本発明に係る３次元ヘッドアップディスプレイは、プロジエクタのようなスクリーンに直に透写して実像を生成する一般的な方式ではなく、ヘッドアップディスプレイの光学系で反射させて目で見ることのできる虚像２４を生成する方式を採用する。
【0046】
車両用ナビゲーションが提供する主な情報としては、走行中の道路上の迂回路情報、車線情報、前車との距離情報などが該当する。また、ＡＤＡＳ（ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ－ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）では運転手に安全情報を提供するようになるが、これに該当する情報としては、主に、車線情報、前／横の車両との距離情報、突発情報などとなる。同じように、自律走行時にも、運転の主体となる車両では、道路上の迂回や車線変更などのように、これから起こる状況に関する情報を搭乗者に提供する必要がある。
【0047】
図３を参照すると、上述したような情報、例えば、車線情報３１や前車との距離情報３２などを、運転手が注視している時点の実際の道路面上に仮想のイメージで表示することは、極めて重要かつ効果的である。
【0048】
本発明に係る３次元ヘッドアップディスプレイは、仮想のスクリーンを地面に対応するように横にした３次元視点で表現することにより、多様な運転環境において運転手が運転中に注視している視点から目の焦点を他の場所に移動する必要がなく、運転手が運転中に実際に注視している道路面に伝達すべき情報を拡張現実で実現することができる。
【0049】
図４は、本発明の一実施形態における、３次元ヘッドアップディスプレイの光学設計の例を示した図である。
【0050】
図４を参照すると、本発明に係る３次元ヘッドアップディスプレイ４００は、虚像２４を地面２５と対応するように横にした３次元視点で表現するための光学設計構造を含むものであって、ディスプレイ装置（ｄｉｓｐｌａｙ ｓｏｕｒｃｅ）４０１とコンバイナ（ｃｏｍｂｉｎｅｒ）４０２とで構成されてよい。
【0051】
言い換えれば、３次元ヘッドアップディスプレイ４００は、光源の役割を担うディスプレイ装置４０１と、光源の光を運転手の目の方に反射させると同時に、外部（前方）の光を透過させるコンバイナ４０２とで構成されてよい。
【0052】
コンバイナ４０２は、単一あるいは多数の光学素子で構成されてよいが、以下では、説明の便宜のために、単一光学素子で構成されたコンバイナ４０２を使用する場合について説明する。
【0053】
画像の品質を高めたり、場合によって最適な大きさと性能を備えるようにするためには、ディスプレイ装置４０１とコンバイナ４０２との間に追加の光学系をさらに含んでよい。
【0054】
また、コンバイナ４０２は、３次元ヘッドアップディスプレイ４００に含まれる素子で構成されてもよいし、車両のフロントガラスをコンバイナ４０２として利用することも可能である。フロントガラスをコンバイナ４０２として利用するためには、ディスプレイ装置４０１の光を運転席の方に反射させると同時に、外部の光を透過させる役割をする追加の光学的措置が必要となる。車両を製造するときに、フロントガラスの基本機能としてコンバイナ４０２としての機能を含ませることもあるが、このような場合であれば、追加の光学的措置は必ずしも必要でない。
【0055】
以下では、３次元ヘッドアップディスプレイ４００による虚像２４を地面２５に対応するように位置させるディスプレイ装置４０１とコンバイナ４０２の理論的関係式を誘導する。
【0056】
３次元ヘッドアップディスプレイ４００の構成において、ディスプレイ装置４０１とコンバイナ４０２は地面２５に対してほぼ垂直であり、車両の運転席に座っている運転手の目は地面２５とほぼ水平方向に前方を注視する。図４は、説明の便宜のために制限的な状況を示したものであり、３次元ヘッドアップディスプレイ４００による虚像２４が、実際にはより遠距離に位置することもあるし、実際の状況に比べて一部に差が存在することもある。
【0057】
図５を参照すると、光が移動する実際の経路は、ディスプレイ装置４０１を出発してコンバイナ４０２で反射する。このとき、反射した光が運転手の目に到達し、水晶体（レンズ）によって網膜の焦点に合うようになる（実線）。しかし、運転手が見る画像は、実際の画像が生成されるディスプレイ平面（ｄｉｓｐｌａｙ ｐｌａｎｅ）５１に位置する実像ではなく、虚像２４である。このとき、虚像２４は、地面と対応する仮想の平面上に位置する（点線）。すなわち、ディスプレイ平面５１は、コンバイナ４０２によって虚像平面（ｖｉｒｔｕａｌ ｉｍａｇｅ ｐｌａｎｅ）５３とイメージング条件（ｉｍａｇｉｎｇ ｃｏｎｄｉｔｉｏｎ）を満たす（破線）。
【0058】
地面と対応する位置に虚像２４を生成するためのディスプレイ装置４０１とコンバイナ４０２の理論的関係式は、運転手の目を除いたディスプレイ装置４０１と対応するディスプレイ平面５１、コンバイナ４０２と対応するコンバイナ平面５２、地面と対応する虚像平面５３の間のイメージング条件に基づいて導き出されてよい。
【0059】
図６は、ディスプレイ装置４０１とコンバイナ４０２の関係式を導き出すのに必要となる変数を示している。
【0060】
ＤＰはディスプレイ平面５１、ＣＰはコンバイナ平面５２、ＩＰは虚像平面５３を意味する。
【0061】
ＣＫは、ＣＰ５２に対して垂直であり、コンバイナ４０２の光学的中心Ｃを通過する直線を意味する。
【0062】
ただし、実際のコンバイナ４０２の位置は、必ずしもＣを含んで使用される必要はなく、運転手の視線の位置によってはオフセットを備えて位置してもよい。数式化の便宜のために、Ｃを含んだ関係式を誘導する。
【0063】
ＩはＤＰ５１、ＣＰ５２、ＩＰ５３が交差する点、ＪはＤＰ５１と平行でありながらＣを通過する直線がＩＰ５３と交差する点、ＫはＣＰ５２に対して垂直であってＣを通過する直線がＩＰ５３と交差する点を意味する。
【0064】
αは、ＣＫ基準のＤＰ５１とＩＰ５３でイメージング条件（ｉｍａｇｉｎｇ ｃｏｎｄｉｔｉｏｎ）を満たす位置の角度であり、該当の位置は、イメージング条件を満たすため、ＤＰ５１の方向角度とＩＰ５３の方向角度が常に一致するようになる。
【0065】
βはＩＰ５３あるいは地面基準のＤＰ５１の角度、γはＩＰ５３あるいは地面基準のＣＰ５２の角度、θはＤＰ５１とＣＰ５２からなる角度を意味する。
【0066】
ｈはＩＰ５３あるいは地面からＣまでの高さであり、ｈ’はｈ方向へのオフセットを加えた値（実際にコンバイナ４０２が使用される高さ）を意味する。
【0067】
ｓはＩＪの長さ、すなわち、地面に対して平行な軸方向であって、高さｈにおけるＤＰ５１とＣＰ５２の離隔距離（ｓｅｐａｒａｔｉｏｎ ｄｉｓｔａｎｃｅ）を意味する。
【0068】
ｓ’は地面に対して平行な軸方向であって、高さｈ’におけるＤＰ５１とＣＰ５２の離隔距離を意味する。
【0069】
ｄＳは、ＩＰ５３あるいは地面基準のコンバイナ４０２の中心位置から虚像２４が始まる位置までの距離を意味する。
【0070】
ｄＥは、ＩＰ５３あるいは地面基準のコンバイナ４０２中心の位置から虚像２４が終わる位置までの距離を意味する。
【0071】
ｄＩは、虚像２４の大きさを意味する。
【0072】
ｆは、コンバイナ４０２の焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）を意味する。
【0073】
先ず、β、γ、およびθの関係式は、次のとおりとなる。
【0074】
ＤＰ５１とＩＰ５３の間のイメージング条件を適用すれば、数式（１）が成立される。
【0075】
【数1】
ここで、ｈは、車両において地面からダッシュボード上の３次元ヘッドアップディスプレイ４００の位置までの高さ（正確には、コンバイナ４０２の光学的中心Ｃまでの高さ）を意味する。また、ｆは、一般的な大きさと曲律を有する３次元ヘッドアップディスプレイ４００のコンバイナ４０２の焦点距離を意味する。
【0076】
数式（１）にｈとｆを代入すればθとγの数値的関係が導き出され、これにより、β、γ、θの関係式β＝γ＋θが導き出される。
【0077】
次に、ｓ’は、数式（２）により、ｈ’、βとγ、θを利用して導き出される。
【0078】
【数2】
【0079】
【数3】
数式（３）を利用してｄＳとｄＩを計算する。このとき、虚像２４の開始位置を示すｄＳと虚像２４の大きさを示すｄＩの調節が必要であれば、ｈ、αとβ、およびθのうちの少なくとも１つを調節して光学構成を最適化してよい。
【0080】
上述したような関係式により、地面に対するＤＰ５１とＣＰ５２の角度、および虚像２４の位置と大きさを導き出すことができる。
【0081】
図７を参照すると、要求されるアイボックス（Ｅｙｅ－ｂｏｘ、瞳孔の位置）の高さは、運転手が運転席に座っているときに目が位置する高さとすることが一般的であり、アイボックスからコンバイナ４０２までの距離は、目から３次元ヘッドアップディスプレイ４００のコンバイナ４０２までの距離とする。
【0082】
コンバイナ４０２の位置は、要求されるアイボックスの位置に応じてオフセットを含んで高さｈ’が決まるが、その位置が必ずしもコンバイナ４０２の光学的中心Ｃを含む必要はない。ｈ’に応じてＤＰ５１とＣＰ５２の離隔距離であるｓ’が決められてよく、このとき、ｓ’は、ディスプレイ装置４０１とコンバイナ４０２の距離として参考されてよい。
【0083】
したがって、本発明に係る３次元ヘッドアップディスプレイ４００は、上述した関係式に基づくディスプレイ装置４０１とコンバイナ４０２により、運転手が注視している前方の地面２５に対応するように横になった３次元視点の虚像２４を実現することができる。
【0084】
運転手と虚像２４の間に他の車両や人間などのように虚像２４と重なる障害物が存在する場合には、該当の部分で運転手が距離感に対して混同を感じることがある。このような問題を解決するために、本発明に係る３次元ヘッドアップディスプレイ４００は、車両に備えられたＡＤＡＳや各種センサなどのような周辺状況を認識するシステム（図示せず）と連動して周辺情報を取得し、取得した周辺情報に基づいて虚像２４の表示を制御するためのプロセッサを含んでよい。一例として、３次元ヘッドアップディスプレイ４００は、虚像２４と重なる障害物が存在する場合、障害物と重なる領域の画像を遮断してよい。他の例として、３次元ヘッドアップディスプレイ４００は、虚像２４と重なる障害物が存在する場合、前方の地面の代わりに、障害物上あるいは障害物よりも近い距離（例えば、前方の障害物上やボンネット上、あるいはダッシュボードやフロントガラスのような車両内部など）に、地面に対して垂直方向に虚像２４を表示してよい。また他の例として、３次元ヘッドアップディスプレイ４００は、虚像２４と重なる障害物が存在する場合、物理的に虚像２４を移動させてもよい。このとき、３次元ヘッドアップディスプレイ４００は、ディスプレイ装置４０１とコンバイナ４０２のうちの少なくとも１つを移動させて虚像２４を表現する位置を移動させてよい。
【0085】
また、本発明に係る３次元ヘッドアップディスプレイ４００は、運転手が注視する前方の地面２５に対応する位置に虚像２４を生成するときに、図８に示すように、遠近感を与える画像を利用することで、地面に対して垂直方向に立体感のある虚像２４を表現してよい。このとき、３次元ヘッドアップディスプレイ４００は、虚像２４の開始位置を示すｄＳを基準として虚像２４の大きさを示すｄＩ以内で虚像２４に遠近感を適用してよい。
【0086】
さらに、３次元ヘッドアップディスプレイ４００は、マルチディスプレイ装置を利用してマルチ画像を同時に実現することも可能である。
【0087】
図９は、マルチ画像を同時に実現するための３次元ヘッドアップディスプレイの光学設計構成の例を示した図である。
【0088】
３次元ヘッドアップディスプレイ４００は、マルチ光源が配置された形態のディスプレイ装置４０１を含んでよく、例えば、地面に対応する横になった画像を生成する第１ディスプレイと、第１ディスプレイを基準にサイド（例えば、左側と右側、上側と下側など）に配置され、地面に対して垂直な画像を生成する第２ディスプレイおよび第３ディスプレイとを含んでよい。
【0089】
３次元ヘッドアップディスプレイ４００は、複数のディスプレイを含むディスプレイ装置４０１により、地面に対して横になった画像および地面に対して垂直な画像を同時に実現してよい。地面に対して横になった画像の場合は、運転中に運転手が注視する前方３ｍ以上の遠距離に表現し、地面に対して垂直な画像の場合は、車両のダッシュボードやフロントガラスのように運転手の前方約２～３ｍ以内の近距離に表現してよい。
【0090】
したがって、本発明に係る３次元ヘッドアップディスプレイは、運転手が運転中に注視する視点に、必要な視覚的情報を前方の地面に対応する位置に表示することができ、車両内で運転手と一定の距離内に画像が固定されて表示される既存のヘッドアップディスプレイの限界を改善し、運転手が注視する多様な遠距離に画像を実現することができる。特に、本発明に係る３次元ヘッドアップディスプレイは、運転手が運転中に主に注視する前方の地面に画像を提供することにより、運転中に目の焦点を調節する必要がなく、情報を自然に取得することができる。本発明に係る３次元ヘッドアップディスプレイは、運転視野と同じ場所に画像を正確に実現することにより、ＶＲやＡＲの体験時に目眩や吐き気の原因となる遠近調節と両目の収斂との差（すなわち、ｖｅｒｇｅｎｃｅ ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ）をなくして心地よい視野を取得することができ、車両内の運転手に対して最適化された拡張現実を実現することができる。
【0091】
以下の実施形態は、画像を地面に位置させて運転手の視点に拡張現実を実現する３次元ヘッドアップディスプレイで周辺環境によって発生するエラーを最小限に抑えるための技術に関する。
【0092】
地面２５に対応する背景に虚像２４を位置させるときに虚像２４と背景の距離感が一致しない場合、収斂（ｃｏｎｖｅｒｇｅｎｃｅ）あるいは発散（ｄｉｖｅｒｇｅｎｃｅ）のような２つの形態の誤差が発生することがある。
【0093】
図１０を参照すると、図１０（Ａ）に示すように、虚像２４の位置が運転手の視線の実際の位置（ｎａｔｕｒａｌ ｖｉｅｗ）に該当する背景２５’と一致する場合には、正常な距離感の画像を実現することができ、心地よい視野を提供することができる。
【0094】
この反面、図１０（Ｂ）に示すように、虚像２４の位置が背景２５’と一致せずに背景２５’よりも前方に位置する場合には収斂によるエラーが発生し、図１０（Ｃ）に示すように、虚像２４の位置が背景２５’よりも後方に位置する場合には発散によるエラーが発生する。
【0095】
収斂や発散による誤差を含んだ虚像２４が長期間かつ持続的に表示される場合には、運転手の目に疲労感や痛みが生じやすくなり、頭痛などに繋がる恐れもある。
【0096】
図１１を参照すると、観察者から背景までの実際の距離による虚像の表現距離に対する許容誤差範囲が存在する。図１２に示すように、実際の運転環境では、虚像２４が収斂と発散の許容範囲内に存在する場合には、実際の位置と虚像２４との間に距離感差を感じることはない。
【0097】
したがって、本発明では、虚像２４と背景２５’の距離差が許容誤差範囲内を維持するように該当の誤差を補正してよい。図１３を参照すると、本発明に係る３次元ヘッドアップディスプレイ４００は、周辺情報に基づいて運転手の視線に対応する実際の位置と虚像２４との距離差を補正するためのプロセッサ１３１０を含んでよい。
【0098】
プロセッサ１３１０は、図１４の誤差補正方法を実行するための構成要素として、図１３に示すように、誤差認識部１３１１と、誤差補正部１３１２とを含んでよい。実施形態によって、プロセッサ１３１０の構成要素は、選択的にプロセッサ１３１０に含まれても除外されてもよい。また、実施形態によって、プロセッサ１３１０の構成要素は、プロセッサ１３１０の機能の表現のために分離されても併合されてもよい。
【0099】
このようなプロセッサ１３１０およびプロセッサ１３１０の構成要素は、図１４の誤差補正方法が含む段階１４１０～１４３０を実行するように３次元ヘッドアップディスプレイ４００を制御してよい。例えば、プロセッサ１３１０およびプロセッサ１３１０の構成要素は、３次元ヘッドアップディスプレイ４００が含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。
【0100】
ここで、プロセッサ１３１０の構成要素は、３次元ヘッドアップディスプレイ４００に記録されたプログラムコードが提供する命令にしたがってプロセッサ１３１０によって実行される、プロセッサ１３１０の互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、３次元ヘッドアップディスプレイ４００が虚像と背景との距離誤差を認識するように上述した命令にしたがって３次元ヘッドアップディスプレイ４００を制御するプロセッサ１３１０の機能的表現として、誤差認識部１３１１が利用されてよい。
【0101】
段階１４１０で、プロセッサ１３１０は、３次元ヘッドアップディスプレイ４００の制御と関連する命令がロードされた３次元ヘッドアップディスプレイ４００に含まれたメモリから必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明する段階１４２０～１４３０をプロセッサ１３１０が実行するように制御するための命令を含んでよい。
【0102】
段階１４２０で、誤差認識部１３１１は、周辺情報に基づき、運転手の視線の実際の位置と虚像との距離差による誤差を認識してよい。誤差認識部１３１１は、３次元ヘッドアップディスプレイ４００に備えられた自体センサシステムおよび／または３次元ヘッドアップディスプレイ４００と連動可能な車両内のＡＤＡＳや各種センサシステムによって取得したデータを利用し、周辺情報として画像（すなわち、虚像）が位置する領域の３Ｄ情報を取得してよい。３Ｄ情報を取得するために、ＡＤＡＳや各種センサを通じて車両が取得するデータを使用してよく、さらに、画像を正確な位置に表現するために、ステレオカメラ、赤外線カメラ、ＬｉＤＡＲ、ＲＡＤＡＲ、超音波センサなどを追加で利用してよい。一例として、３Ｄ情報を取得するためにＬｉＤＡＲ、ＲＡＤＡＲのような位置による距離値を測定するセンサを利用する場合は、道路面、構造物、周辺車両などのような前方領域を測定して３Ｄポイントクラウドを生成した後、３Ｄポイントクラウドに基づいてメッシュデータに対応する面、すなわち、３Ｄ情報を取得するようになる。他の例として、３Ｄ情報を取得するためにステレオカメラを利用する場合は、前方領域に対して２つの互いに異なる角度のイメージを両眼視差によって認識し、２つのイメージ差による距離感を累積することによって３Ｄ情報を取得してもよい。このとき、誤差認識部１３１１は、前方領域の３Ｄ情報を基準に、３次元ヘッドアップディスプレイ４００で提供する画像の距離誤差を認識してよい。３Ｄ情報を取得するための方法としては、上述したような方式はもちろん、周知の多様な技術の適用も可能である。また、誤差認識部１３１１は、前方領域の３Ｄ情報に応じて誤差発生状態を次のように３つに区分して認識することも可能である。（１）走行路面環境によって前方の全般的な領域で誤差が発生する場合（全般的誤差）、（２）前方道路の急カーブ、道路上の障害物（例えば、周辺車両、人間、凹凸など）によって前方領域の部分的な領域で誤差が発生する場合（部分的誤差）、（３）車両の停止や駐車などによって前方の障害物や周辺車両との距離が閾値内まで近くなり、地面に対応する形態の画像を提供できなくなった場合（完全な誤差）。
【0103】
段階１４３０で、誤差補正部１３１２は、３次元ヘッドアップディスプレイ４００で提供する画像を調整し、画像と背景との距離差が許容誤差範囲内を維持するように該当の画像の距離誤差を補正してよい。誤差補正部１３１２は、誤差発生状態（全般的誤差、部分的誤差、完全な誤差）を考慮しながら、該当の状態に適した方式によって距離誤差を補正してよい。
【0104】
具体的な誤差補正方法について、以下のように説明する。
【0105】
図１５～１６は、本発明の一実施形態における、全般的誤差を補正する方式を説明するための例示図である。
【0106】
図１５は、上り坂、下り坂、路面上の凹凸のように、走行路面環境によって全般的誤差が発生した状況の例を示している。
【0107】
誤差補正部１３１２は、許容範囲内の全般的誤差が発生した場合（Ａ）には、誤差補正過程を実行せずに虚像を維持するか、または虚像の遠近感を調整する補正を実行してよい。このとき、誤差補正部１３１２は、虚像の開始位置を示すｄＳを基準に、虚像の大きさを示すｄＩ内で虚像の遠近感を調整してよい。
【0108】
誤差補正部１３１２は、許容範囲を逸脱した全般的誤差が発生した場合（Ｂ）には、虚像の遠近感を調整する補正とともに、虚像の勾配と距離のうちの少なくとも１つを調整する補正を実行してよい。一例として、誤差補正部１３１２は、ディスプレイ装置４０１の位置および勾配を調整することによって虚像の位置を補正してよい。３次元ヘッドアップディスプレイ４００は、ディスプレイ装置４０１とコンバイナ４０２のうちの少なくとも１つの位置と勾配を調整するための構成要素として、２軸以上のアクチュエータ（ａｃｔｕａｔｏｒ）を含んでよい。図１６に示すように、誤差補正部１３１２は、アクチュエータを利用してディスプレイ装置４０１とコンバイナ４０２のうちの少なくとも１つの位置および／または勾配を調整してよい。このとき、誤差補正部１３１２は、ディスプレイ平面５１と虚像平面５３の間のイメージング条件を満たす範囲内で、ディスプレイ装置４０１の位置と勾配を調整してよい。光学系にミラーなどの追加の構成要素が含まれた場合、該当の構成要素を調整することにより、ディスプレイ装置４０１を直接調整するのと同じ効果を得ることができる。ディスプレイ装置４０１を調整することによって虚像の位置がコンバイナ４０２の画角（ＦＯＶ）を逸脱する場合、誤差補正部１３１２は、コンバイナ平面５２上でコンバイナ４０２の位置を移動してよい。
【0109】
したがって、誤差補正部１３１２は、許容範囲を逸脱した全般的誤差が発生した場合、虚像の勾配と距離を調整することにより、虚像の距離誤差を前方の走行路面環境に合わせて補正することができる。
【0110】
図１７～１８は、本発明の一実施形態における、部分的誤差を補正する方式を説明するための例示図である。
【0111】
図１７は、前方向の急カーブあるいは周辺車両、人間、凹凸などのように、道路上の障害物によって部分的誤差が発生した状況の例を示している。
【0112】
誤差補正部１３１２は、許容範囲内の部分的誤差が発生した場合（Ａ）には、誤差補正過程を実行せずに虚像を維持するか、または誤差が発生した部分の遠近感を調整する補正を実行してよい。このとき、誤差補正部１３１２は、虚像の誤差が発生した開始位置を基準に、虚像の大きさを示すｄＩ内で誤差発生部分の遠近感を調整してよい。他の例として、誤差補正部１３１２は、虚像で誤差が発生した部分の画像を除去（遮断）する方式によって補正を実行してよい。
【0113】
誤差補正部１３１２は、許容範囲を逸脱した部分的誤差が発生した場合（Ｂ）には、虚像で誤差が発生した部分の遠近感を調整するか、該当の部分の画像を除去する方式の補正を実行してよく、特に、虚像が提供される距離（すなわち、位置）を調整する補正を実行してよい。一例として、誤差補正部１３１２は、虚像の距離を調整するためにディスプレイ平面５１上でディスプレイ装置４０１の位置を調整してよく、必要によってはコンバイナ４０２の位置もコンバイナ平面５２上で調整してよい。虚像の距離を調整するために、ディスプレイ装置４０１とコンバイナ４０２の角度および位置を変更してよい。３次元ヘッドアップディスプレイ４００は、ディスプレイ装置４０１とコンバイナ４０２のうちの少なくとも１つの位置を調整するための構成要素として、１軸以上のアクチュエータを含んでよい。図１８に示すように、誤差補正部１３１２は、アクチュエータを利用してディスプレイ装置４０１の位置を調整してよい。光学系にミラーなどの追加の構成要素が含まれた場合、該当の構成要素を調整することにより、ディスプレイ装置４０１を直接調整するのと同じ効果を得ることができる。ディスプレイ装置４０１の位置を調整することによって虚像の位置がコンバイナ４０２の画角（ＦＯＶ）を逸脱した場合、誤差補正部１３１２は、追加でコンバイナ４０２の位置をコンバイナ平面５２上で移動させてよい。誤差補正のために虚像の距離を調整する方法はもちろん、虚像の大きさ（すなわち、ｄＩ）を調整する方法も適用可能である。
【0114】
したがって、誤差補正部１３１２は、許容範囲を逸脱した部分的誤差が発生した場合、虚像が提供される距離を調整することにより、誤差が発生した部分から離れた位置で虚像を提供することができる。
【0115】
図１９は、本発明の一実施形態における、完全な誤差を補正する方式を説明するための例示図である。
【0116】
図１９は、渋滞などによって完全な誤差が発生した状況の例を示している。
【0117】
誤差補正部１３１２は、虚像を地面に対応させる形態で表示することのできない、完全な誤差が発生した場合、虚像の位置を変更するようになる。一例として、前方の地面の代わりに、障害物上あるいは障害物よりも近い距離（例えば、前方の障害物上やボンネット上、あるいはダッシュボードやフロントガラスのような車両内部など）に、地面に対して垂直方向に表示してよい。
【0118】
他の例として、完全な誤差が発生した状況では、虚像を地面に一致させるディスプレイとは別に、同じコンバイナ４０２を使用しながらも他の位置に虚像を表示するディスプレイを利用してよい。図に示すように、ディスプレイ装置４０１が、マルチ光源が配置された形態であって、地面に対応する横になった画像を生成する第１ディスプレイと、地面に対して垂直に画像を生成する第２ディスプレイおよび第３ディスプレイとを含む場合、誤差補正部１３１２は、完全な誤差に対応して、第１ディスプレイはオフにし、第２ディスプレイと第３ディスプレイのうちの少なくとも１つに虚像を表示してよい。
【0119】
したがって、虚像を地面と一致させるディスプレイの使用が完全に不可能な状況では、虚像の位置を、地面ではなく、運転手により近い位置に移動させるか、他のディスプレイを利用して地面に対して垂直に画像を提供することができる。誤差補正方式は、虚像の遠近感を調整する方法、虚像の勾配や位置を調整する方法、虚像の誤差を部分除去する方法、垂直画像転換方法、個別のディスプレイを利用する方法などがあり、誤差の大きさあるいは誤差状態に応じて１つの補正方法あるいは２つ以上の補正方法の適用が可能である。
【0120】
このように、本発明の実施形態によると、運転手が運転中に注視する視点に、必要な視覚的情報を前方の地面と対応する位置に表示する３次元ヘッドアップディスプレイを提供することができる。本発明に係る３次元ヘッドアップディスプレイは、車両内で運転手から一定の距離内に画像が固定されて表示される既存のヘッドアップディスプレイの限界を改善し、運転手が注視する多様な遠距離に画像を実現することができる。
【0121】
また、本発明の実施形態によると、地面に対応する３次元視点の仮想のスクリーンにより、運転手の視点に対して最適化された３次元ヘッドアップディスプレイを提供することができる。
【0122】
特に、本発明に係る３次元ヘッドアップディスプレイは、運転手が運転中に主に注視する前方の地面に画像を提供することにより、運転中に目の焦点を調節する必要がなく、情報を自然に取得することができる。本発明に係る３次元ヘッドアップディスプレイは、運転視野と同じ場所に画像を正確に実現することにより、ＶＲやＡＲの体験時に目眩や吐き気の原因となる遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）と両眼の収斂（ｖｅｒｇｅｎｃｅ）との差（すなわち、ｖｅｒｇｅｎｃｅ ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ）をなくして心地よい視野を提供することができ、車両内で運転手に対して最適化された拡張現実を実現することができる。
【0123】
また、本発明の実施形態によると、画像を地面に位置させて運転手の視点に拡張現実を実現する３次元ヘッドアップディスプレイで、周辺環境によって発生するエラーを最小限に抑えることができる。さらに、本発明の実施形態によると、３次元ヘッドアップディスプレイで提供される画像の距離感が周辺環境と異なるように発生する誤差を、誤差発生状態を考慮しながら効果的に補正することができる。
【0124】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0125】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0126】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
【0127】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0128】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】