特許7178485フロントガラス反射方式によって仮想の画像を地面に位置させる３次元拡張現実ヘッドアップディスプレイ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-16
(45)【発行日】2022-11-25
(54)【発明の名称】フロントガラス反射方式によって仮想の画像を地面に位置させる３次元拡張現実ヘッドアップディスプレイ
(51)【国際特許分類】
G02B 27/01 20060101AFI20221117BHJP
B60K 35/00 20060101ALI20221117BHJP
G02B 17/00 20060101ALI20221117BHJP
【ＦＩ】
G02B27/01
B60K35/00 A
G02B17/00 Z
【請求項の数】
10
(21)【出願番号】P 2021510059
(86)(22)【出願日】2019-10-10
(65)【公表番号】
(43)【公表日】2021-12-09
(86)【国際出願番号】 KR2019013288
(87)【国際公開番号】W WO2020076090
(87)【国際公開日】2020-04-16
【審査請求日】2021-02-22
(31)【優先権主張番号】10-2018-0120463
(32)【優先日】2018-10-10
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】319012978
【氏名又は名称】ネイバーラボス コーポレーション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジョン ウニョン
(72)【発明者】
【氏名】チャ ジェウォン
【審査官】近藤 幸浩
(56)【参考文献】
【文献】国際公開第２０１８／１６８５９５（ＷＯ，Ａ１）
【文献】特開２０１４－１８１０２５（ＪＰ，Ａ）
【文献】特開２０１５－１９７４９６（ＪＰ，Ａ）
【文献】国際公開第２０１８／０６６０６２（ＷＯ，Ａ１）
【文献】特開２００６－１４５９９８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０１２９０５１（ＵＳ，Ａ１）
【文献】国際公開第２０１７／１３８２４２（ＷＯ，Ａ１）
【文献】特開２０１６－１０９６４５（ＪＰ，Ａ）
【文献】特開２０１８－１２０１４１（ＪＰ，Ａ）
【文献】特開２０１６－０６８６９３（ＪＰ，Ａ）
【文献】国際公開第２０１４／０６１１３８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ２７／０１
Ｂ６０Ｋ ３５／００
Ｇ０２Ｂ １７／００
(57)【特許請求の範囲】
【請求項1】
３次元拡張現実ヘッドアップディスプレイであって、 光源の役割を担うディスプレイ装置、および 前記光源の光を車両のフロントガラス（ｗｉｎｄｓｈｉｅｌｄ）に反射させる自由曲面ミラー（ｆｒｅｅｆｏｒｍ ｓｕｒｆａｃｅ ｍｉｒｒｏｒ）を含み、 前記光源の光を前記自由曲面ミラーによって前記フロントガラスに反射させる反射方式により、前記光源の光による画像を３次元視点（ｐｅｒｓｐｅｃｔｉｖｅ）の虚像として前記車両の前方の地面にフォーカシングする構造を含み、 前記光源の光を前記フロントガラスに反射させるための自由曲面ミラーは、一定の曲率を有する凹ミラーであり、 前記ディスプレイ装置に対応するディスプレイ平面、前記自由曲面ミラーに対応するミラー平面、および前記地面に対応する虚像平面との間の結像条件（ｉｍａｇｉｎｇ ｃｏｎｄｉｔｉｏｎ）に基づいて前記虚像が生成され、 前記結像条件は、前記ディスプレイ装置から放出された光が、前記自由曲面ミラーによって前記虚像平面に集束されるレンズの公式（ｌｅｎｓ ｆｏｒｍｕｌａ）によるものであり、 前記結像条件の下で、前記虚像平面から前記自由曲面ミラーの光学的中心までの高さ、前記虚像平面を基準とした前記ディスプレイ平面の角度および前記ミラー平面の角度、および前記ディスプレイ平面と前記ミラー平面の間の角度に基づいて、前記ディスプレイ装置と前記自由曲面ミラーとの間の離隔距離が決定されること を特徴とする、３次元拡張現実ヘッドアップディスプレイ。
【請求項2】
前記フロントガラスは、前記自由曲面ミラーによって反射した前記光源の光をアイボックス（Ｅｙｅ－ｂｏｘ）に向けて反射させると同時に、外部の光を透過させる役割を含むこと を特徴とする、請求項１に記載の３次元拡張現実ヘッドアップディスプレイ。
【請求項3】
前記虚像を前記地面にフォーカシングするために前記地面に伸びる光線のうちで近距離光線側に前記ディスプレイ装置が位置する構造であって、前記光源の光が前記自由曲面ミラーよりも下の位置で前記自由曲面ミラーに伝達される構造を含むこと を特徴とする、請求項１に記載の３次元拡張現実ヘッドアップディスプレイ。
【請求項4】
光の経路の全体の大きさを減らすためのフォールドミラー（ｆｏｌｄ ｍｉｒｒｏｒ） をさらに含み、 前記光源の光が、前記ディスプレイ装置、前記フォールドミラー、前記自由曲面ミラー、前記フロントガラスの順に、あるいは前記ディスプレイ装置、前記自由曲面ミラー、前記フォールドミラー、前記フロントガラスの順に伝達される構造を含むこと を特徴とする、請求項１に記載の３次元拡張現実ヘッドアップディスプレイ。
【請求項5】
前記結像条件を満たす前記ディスプレイ平面の角度に基づいて前記ディスプレイ装置の角度が決められること を特徴とする、請求項１に記載の３次元拡張現実ヘッドアップディスプレイ。
【請求項6】
前記結像条件を満たす前記ディスプレイ平面の角度と前記フロントガラスの角度、およびフォールドミラーの角度に基づいて前記ディスプレイ装置の角度が決められること を特徴とする、請求項１に記載の３次元拡張現実ヘッドアップディスプレイ。
【請求項7】
前記結像条件を満たす前記ミラー平面の角度と前記フロントガラスの角度に基づいて前記自由曲面ミラーの角度が決められること を特徴とする、請求項１に記載の３次元拡張現実ヘッドアップディスプレイ。
【請求項8】
前記自由曲面ミラーの法線が前記虚像平面と交差する点と前記自由曲面ミラーの光学的中心を通過する直線を基準に、前記ディスプレイ平面と前記虚像平面で結像条件を満たす角度を利用して前記虚像の開始位置と大きさが決められること を特徴とする、請求項１に記載の３次元拡張現実ヘッドアップディスプレイ。
【請求項9】
前記角度、前記虚像平面を基準とした前記ディスプレイ平面の角度、前記ディスプレイ平面と前記ミラー平面の角度、前記虚像平面から前記自由曲面ミラーの光学的中心までの高さのうちの少なくとも１つによって前記虚像の開始位置と大きさが調節されること を特徴とする、請求項７に記載の３次元拡張現実ヘッドアップディスプレイ。
【請求項10】
前記自由曲面ミラーの位置は、要求されるアイボックス（Ｅｙｅ－ｂｏｘ）の位置によるオフセットを含む高さによって決められること を特徴とする、請求項１に記載の３次元拡張現実ヘッドアップディスプレイ。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、３次元ヘッドアップディスプレイ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）に関する。
【背景技術】
【0002】
図１は、一般的なヘッドアップディスプレイ装置の情報確認のための焦点調節を説明した図である。
【0003】
図１を参照すると、一般的な車両用ヘッドアップディスプレイ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）装置は、ディスプレイ１０から車両の現在速度、燃料残量、ナビゲーション（Ｎａｖｉｇａｔｉｏｎ）の道案内情報のような画像を発信すると、光学系１１、１２を通過して運転手の前方に位置するフロントガラス１３にグラフィックイメージ１４が投映されることで、運転手が視線を必要以上に他の場所に移すことを最小限に抑える車両用ディスプレイ装置である。ここで、光学系１１、１２は、ディスプレイ１０が発信した画像の光の経路を変更するために複数のミラーで構成される。このような車両用ヘッドアップディスプレイ装置は、運転手の即時的な反応を誘導すると同時に、利便性を提供するという長所がある。
【0004】
一般的な車両用ヘッドアップディスプレイ（ＨＵＤ）装置において、画像は、利用者の前方約２～３ｍに固定されて位置する。この反面、運転時の運転手の注視距離は近距離～約３００ｍである。このような点を考慮するとき、運転手が遠距離を注視しながら運転している最中にヘッドアップディスプレイ（ＨＵＤ）装置の情報を確認するためには、目の焦点を大幅に調整しなければならない不便が生じる。すなわち、主体となる視野が位置する遠距離と画像が映し出された～３ｍとの間で、焦点調節が繰り返されるようになる。
【0005】
したがって、運転中の注視視点に、目の焦点を変化させなくても運転手が情報を取得することができるように運転環境に拡張現実を実現し、画像表現距離の制約がない３次元ヘッドアップディスプレイ（３Ｄ Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）装置の開発が求められている。
【0006】
例えば、特許文献１は、３次元拡張現実に基づくヘッドアップディスプレイ装置に関するものであって、３次元イメージに拡張されたイメージ情報を実際の距離情報に基づいて立体的に表示することにより、運転手にリアルな情報を提供することができる、ヘッドアップディスプレイ装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【文献】韓国登録特許１０－１４０９８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
フロントガラス反射方式によって虚像を地面と一致させ、運転手の視点を基準に拡張現実の３次元虚像を生成することができる、３次元拡張現実ヘッドアップディスプレイを提供する。
【0009】
フロントガラスを含む構造により、地面と一致する仮想の３Ｄ画像を生成するための光学系の光の効率を最大化させる構造を提供する。
【課題を解決するための手段】
【0010】
３次元拡張現実ヘッドアップディスプレイであって、光源の役割を担うディスプレイ装置、および前記光源の光を車両のフロントガラス（ｗｉｎｄｓｈｉｅｌｄ）に反射させる自由曲面ミラー（ｆｒｅｅｆｏｒｍ ｓｕｒｆａｃｅ ｍｉｒｒｏｒ）を含み、前記光源の光を前記自由曲面ミラーによって前記フロントガラスに反射させる反射方式により、前記光源の光による画像を３次元視点（ｐｅｒｓｐｅｃｔｉｖｅ）の虚像として前記車両の前方の地面にフォーカシングする構造を含むことを特徴とする、３次元拡張現実ヘッドアップディスプレイを提供する。
【0011】
一側面によると、前記フロントガラスは、前記自由曲面ミラーによって反射した前記光源の光をアイボックス（Ｅｙｅ－ｂｏｘ）に向けて反射させると同時に、外部の光を透過させる役割を含んでよい。
【0012】
他の側面によると、前記虚像を前記地面にフォーカシングするために、前記地面に伸びる光線のうちの近距離光線側に前記ディスプレイ装置が位置する構造であって、前記光源の光が前記自由曲面ミラーよりも下の位置で前記自由曲面ミラーに伝達される構造を含んでよい。
【0013】
他の側面によると、光の経路の全体の大きさを減らすためのフォールドミラー（ｆｏｌｄ ｍｉｒｒｏｒ）をさらに含み、前記光源の光が、前記ディスプレイ装置、前記フォールドミラー、前記自由曲面ミラー、前記フロントガラスの順、あるいは前記ディスプレイ装置、前記自由曲面ミラー、前記フォールドミラー、前記フロントガラスの順に伝達される構造を含んでよい。
【0014】
また他の側面によると、前記ディスプレイ装置に対応するディスプレイ平面は、前記自由曲面ミラーにより、前記地面に対応する虚像平面と結像条件（ｉｍａｇｉｎｇ ｃｏｎｄｉｔｉｏｎ）を満たしてよい。
【0015】
また他の側面によると、前記ディスプレイ装置に対応するディスプレイ平面と前記自由曲面ミラーに対応するミラー平面、および前記地面に対応する虚像平面の間の結像条件に基づいて前記虚像が生成されてよい。
【0016】
また他の側面によると、前記結像条件を満たす前記ディスプレイ平面の角度に基づき、前記ディスプレイ装置の角度が決められてよい。
【0017】
また他の側面によると、前記結像条件を満たす前記ディスプレイ平面の角度と前記フロントガラスの角度、およびフォールドミラーの角度に基づき、前記ディスプレイ装置の角度が決められてよい。
【0018】
また他の側面によると、前記結像条件を満たす前記ミラー平面の角度と前記フロントガラスの角度に基づき、前記自由曲面ミラーの角度が決められてよい。
【0019】
また他の側面によると、前記自由曲面ミラーの法線が前記虚像平面と交差する点と前記自由曲面ミラーの光学的中心を通過する直線を基準に、前記ディスプレイ平面と前記虚像平面で結像条件を満たす角度を利用して前記虚像の開始位置と大きさが決められてよい。
【0020】
また他の側面によると、前記角度、前記虚像平面を基準とした前記ディスプレイ平面の角度、前記ディスプレイ平面と前記ミラー平面の角度、前記虚像平面から前記自由曲面ミラーの光学的中心までの高さの少なくとも１つにより、前記虚像の開始位置と大きさが調節されてよい。
【0021】
また他の側面によると、前記虚像平面から前記自由曲面ミラーまでの高さにおいて、前記ディスプレイ装置と前記自由曲面ミラーとの離隔距離は、前記虚像平面から前記自由曲面ミラーの光学的中心までの高さに該当の高さ方向へのオフセットを加えた高さ値、前記虚像平面を基準とした前記ディスプレイ平面の角度、前記虚像平面を基準とした前記ミラー平面の角度、前記ディスプレイ平面と前記ミラー平面の角度によって導き出されてよい。
【0022】
さらに他の側面によると、前記自由曲面ミラーの位置は、要求されるアイボックス（Ｅｙｅ－ｂｏｘ）の位置によるオフセットを含む高さとして決められてよい。
【発明の効果】
【0023】
本発明の実施形態によると、フロントガラス反射方式によって虚像を地面と一致させ、運転手の視点を基準に拡張現実の３次元虚像を生成する、３次元拡張現実ヘッドアップディスプレイを提供することができる。
【0024】
本発明の実施形態によると、フロントガラスを含む構造により、地面と一致する仮想の３Ｄ画像を生成するための光学系の光の効率を最大化させる構造を提供することができる。
【図面の簡単な説明】
【0025】
【図1】一般的なヘッドアップディスプレイ装置の情報確認のための焦点調節を説明するための図である。
【図2】本発明の一実施形態における、３次元拡張現実ヘッドアップディスプレイの画像位置を示した図である。
【図3】本発明の一実施形態における、道路面のような地面に対応する仮想の平面上に画像を提供する例を示した図である。
【図4】本発明の一実施形態における、フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイの例を示した図である。
【図5】本発明の一実施形態における、フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイの光学設計構成の一例を示した図である。
【図9】本発明の一実施形態における、フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイの光学設計構成の他の例を示した図である。
【図10】本発明の一実施形態における、フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイの光学設計構成のまた他の例を示した図である。
【図14】本発明の一実施形態における、３次元拡張現実ヘッドアップディスプレイの光学設計構成による光の効率を説明するための図である。
【図15】本発明の一実施形態における、３次元拡張現実ヘッドアップディスプレイの光学設計構成による光の効率を説明するための図である。
【図16】本発明の一実施形態における、３次元拡張現実ヘッドアップディスプレイの光学設計構成による光の効率を説明するための図である。
【図17】本発明の一実施形態における、３次元拡張現実ヘッドアップディスプレイの光学設計構成による光の効率を説明するための図である。
【図18】本発明の一実施形態における、３次元拡張現実ヘッドアップディスプレイのディスプレイ装置と自由ミラーの関係式を導き出すために必要な変数を示した図である。
【図19】本発明の一実施形態における、アイボックス（Ｅｙｅ－ｂｏｘ、瞳孔の位置）によって決められる自由ミラーの位置を説明するための例示図である。
【図20】本発明の一実施形態における、ディスプレイ平面と自由ミラー平面、および虚像平面の間の結像条件を示した図である。
【図21】本発明の一実施形態における、フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイのディスプレイ装置と自由ミラーの角度を導き出すために必要な変数を示した図である。
【発明を実施するための形態】
【0026】
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
【0027】
以下で説明する実施形態は、複数の異なる形態に変形されてよく、本発明の範囲が以下で説明する実施形態によって限定されてはならない。また、複数の実施形態は、当技術分野において通常の知識を有する者に本発明をより完全に説明するために提供されるものである。図面において、要素の形状および大きさなどは、より明確な説明のために簡素化されるか、縮約あるいは誇張されることもある。
【0028】
図１を参照しながら説明した既存のヘッドアップディスプレイはもちろん、ＴＶ、モニター、プロジエクタスクリーン、ＶＲ／ＡＲガラスなどのようなディスプレイの殆どは、運転手の視線に対して垂直方向に位置している。
【0029】
本発明の実施形態は、画像の位置を地面に対応させる形態の３次元実現方式を有する３次元拡張現実ヘッドアップディスプレイを提供する。特に、仮想のスクリーンを地面と対応するように横にした３次元視点で表現することにより、運転環境において運転手の視点に対して最適化された３次元拡張現実ヘッドアップディスプレイを提供することができる。
【0030】
図２は、本発明の一実施形態における、３次元拡張現実ヘッドアップディスプレイの画像位置を示した図である。
【0031】
図２を参照すると、本発明に係る３次元拡張現実ヘッドアップディスプレイは、運転手が目で見ることのできる仮想の画像、すなわち虚像２４の位置を、運転手の前方の底面、すなわち地面２５に対応するように横にした３次元視点で表現してよい。
【0032】
一般的な車両用ヘッドアップディスプレイの光学系による画像は、運転手の２～３ｍ前方の固定された距離に位置し、その殆どが地面２５に対して垂直に表示される。これとは異なり、本発明に係る３次元拡張現実ヘッドアップディスプレイは、運転手が注視する前方の地面２５に対応する仮想の平面上に虚像２４を位置させる。
【0033】
本発明に係る３次元拡張現実ヘッドアップディスプレイは、プロジエクタのようなスクリーンに直に透写して実像を生成する一般的な方式ではなく、ヘッドアップディスプレイの光学系によって反射させて目で見ることのできる虚像２４を生成する方式を採用する。
【0034】
車両用ナビゲーションが提供する主な情報としては、走行中の道路上の迂回路情報、車線情報、前車との距離情報などが該当する。また、ＡＤＡＳ（ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ－ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）では運転手に安全情報を提供するようになるが、これに該当する情報としては、主に、車線情報、前／横の車両との距離情報、突発情報などがある。同じように、自律走行時にも、運転の主体となる車両では、道路上の迂回や車線変更などのように、これから起こる状況に関する情報を搭乗者に提供する必要がある。経路情報は、経路を案内するための情報であって、直進や迂回などを案内するＴＢＴ（ｔｕｒｎ－ｂｙ－ｔｕｒｎ）情報を含んでよい。
【0035】
図３を参照すると、上述したような情報、例えば、車線情報３１や前車との距離情報３２などを、運転手が注視している視点の実際の道路面上に仮想のイメージで表示することは、極めて重要かつ効果的である。車線情報３１は、走行中の車線に関する情報であって、車線上に表示する走行情報あるいはナビゲーション情報を意味してよい。
【0036】
本発明に係る３次元拡張現実ヘッドアップディスプレイは、仮想のスクリーンを地面に対応するように横にした３次元視点で表現することにより、多様な運転環境において、運転手が運転中に注視している視点から目の焦点を他の場所に移動させる必要がなく、運転手が運転中に実際に注視している道路面に、伝達すべき情報を拡張現実で実現することができる。
【0037】
アフター・マーケット（ａｆｔｅｒｍａｒｋｅｔ：市販）製品のヘッドアップディスプレイは、主に、コンバイナ（ｃｏｍｂｉｎｅｒ）方式によって実現されるが、ビルトイン製品の場合は、一般的に部品（コンバイナ）を追加する必要がなく、画像の光を車両のフロントガラスに直ぐに反射させるフロントガラス反射方式で実現されている。
【0038】
本発明に係る３次元拡張現実ヘッドアップディスプレイは、光源の光と外部（前景）の光を結合して運転手の目に伝達する役割を担う結合機能と、虚像を運転手の前方の地面と一致させ、運転手の視点を基準とした３次元の拡張現実画像で生成する役割の光学的機能（３Ｄ機能）とを含む。
【0039】
本発明に係る３次元拡張現実ヘッドアップディスプレイは、フロントガラス反射方式を利用する。このとき、フロントガラスは結合機能の役割を担い、３Ｄ機能のために、光学的パワーを有する自由曲面ミラー（ｆｒｅｅｆｏｒｍ ｓｕｒｆａｃｅ ｍｉｒｒｏｒ）（以下、「自由ミラー」と称する）を含む光学部品を利用してよい。
【0040】
図４を参照すると、本発明に係る３次元拡張現実ヘッドアップディスプレイ４００は、フロントガラス４０を含む反射方式によって仮想の３Ｄ画像を生成する構成であって、光源の役割を担うディスプレイ装置４０１と、光源の光をフロントガラス４０に反射させて仮想の画像を運転手の前方地面にフォーカシングするための自由ミラー４０２とを含んでよい。フロントガラス４０は、自由ミラー４０２で反射した光源の光をアイボックス（Ｅｙｅ－ｂｏｘ）（運転手の目の位置）に向けて反射させると同時に、外部（前方）光を透過する役割を含んでよい。
【0041】
言い換えれば、３次元拡張現実ヘッドアップディスプレイ４００は、光源の光を自由ミラー４０２とフロントガラス４０を通過して地面に投射（ｐｒｏｊｅｃｔｉｏｎ）させる構造を含むことにより、仮想の画像を運転手の前方地面に位置（位置付け）させてよい。
【0042】
フロントガラス４０の角度を考慮しながら地面に対するディスプレイ装置４０１と自由ミラー４０２の位置と角度を導き出すことにより、地面に仮想の３Ｄ画像を位置させるフロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイ４００を実現することが可能となる。
【0043】
図５は、本発明の一実施形態における、フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイの光学設計構成の一例を示した図である。
【0044】
図５を参照すると、本発明に係るフロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイ４００は、ディスプレイ装置４０１が放射した画像の光の経路において、ディスプレイ装置４０１が放射した光が遠距離光線側に位置して自由ミラー４０２に伝達される構造を有し、光の経路の全体の大きさを減らすためのフォールドミラー（ｆｏｌｄ ｍｉｒｒｏｒ）４０３をさらに含んでよい。ここで、フロントガラス４０とフォールドミラー４０３は、光学的パワーがないものと仮定する。
【0045】
遠距離光線とは、地面に虚像をフォーカシングするためにディスプレイ装置４０１から放射されて地面に伸びる光線のうち、運転手を基準に地面上の最も遠い距離に虚像を形成する光線を意味してよい。これとは反対に、地面に虚像をフォーカシングするためにディスプレイ装置４０１から放射されて地面に伸びる光線のうち、運転手を基準に地面上の最も近い距離に虚像を形成する光線は、近距離光線と呼ばれてよい。
【0046】
光の経路の全体の大きさを減らすということは、光がディスプレイ装置４０１から放射されて最終的にフロントガラスに到達するまでに通過する経路が占める領域の全体の大きさを減らすということを意味する。フォールドミラー４０３を使用する場合、光の経路の全体の長さ（ｌｅｎｇｔｈ）は等しいが、光の経路が占める領域の全体の大きさ（ｓｉｚｅ）を減らすことができる。
【0047】
ディスプレイ装置４０１から放射された光が、ディスプレイ装置４０１から自由ミラー４０２に直に伝達されても、フォールドミラー４０３で反射させて伝達されてもよく、このとき、光源の光が遠距離光線に近い位置で自由ミラー４０２に伝達される構造で実現されてよい。
【0048】
虚像を地面にフォーカシングするためのディスプレイ装置４０１と自由ミラー４０２の理論的関係式を導き出す過程を簡単に説明するために、先ず、図６に示すように、フォールドミラー４０３およびフロントガラス４０によって変更した光の経路を簡略化した等価構造として、光の経路を変化させる役割の他に光学的役割がないフォールドミラー４０３およびフロントガラス４０の図は省略し、ディスプレイ装置４０１の位置を、フォールドミラー４０３を基準に対称となる位置に表現してよい。次に、図７に示すように、ディスプレイ装置４０１に対応するディスプレイ平面（ｄｉｓｐｌａｙ ｐｌａｎｅ）７１、自由ミラー４０２に対応する自由ミラー平面（ｆｒｅｅｆｏｒｍ ｍｉｒｒｏｒ ｐｌａｎｅ）７２、地面に対応する虚像平面（ｉｍａｇｅ ｐｌａｎｅ）７３を追加した後、図８に示すように、虚像平面７３が地面に対して平行となるように回転させると同時に、Ｙ軸（図面上で垂直方向の軸）に対して左右に反転する状態で表現してよい。
【0049】
図８を参照すると、フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイ４００は、ディスプレイ装置４０１から放射された光が自由ミラー４０２よりも上の位置で自由ミラー４０２に伝達される構造、言い換えれば、虚像を地面にフォーカシングするために地面に放射される光線のうち、運転手の位置から近い近距離光線よりも遠距離光線側にディスプレイ装置４０１が位置する構造を含んでよい。
【0050】
図９は、本発明の一実施形態における、フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイの光学設計構成の他の例を示した図であり、図１０は、本発明の一実施形態における、フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイの光学設計構成のまた他の例を示した図である。
【0051】
図９と図１０を参照すると、本発明に係るフロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイ４００は、ディスプレイ装置４０１が放射した画像の光の経路において、ディスプレイ装置４０１が放射した光が近距離光線側に位置して自由ミラー４０２に伝達される構造を有し、光の経路の全体の大きさを減らすためのフォールドミラー４０３をさらに含んでよい。同じように、フロントガラス４０とフォールドミラー４０３は、光学的パワーがないものと仮定する。
【0052】
ディスプレイ装置４０１から放射された光がディスプレイ装置４０１から自由ミラー４０２に直に伝達されても、フォールドミラー４０３で反射させて伝達されてもよく、このとき、光源の光が近距離光線から近い位置で自由ミラー４０２に伝達される構造で実現してよい。
【0053】
図９は、光が移動する経路が、ディスプレイ装置４０１、フォールドミラー４０３、自由ミラー４０２、フロントガラス４０、運転手の順からなる構造を示しているが、図１０に示すように、光が、ディスプレイ装置４０１、自由ミラー４０２、フォールドミラー４０３、フロントガラス４０の順に伝達される構造も実現可能である。
【0054】
図９に示した光学設計構成に対し、虚像を地面にフォーカシングするためのディスプレイ装置４０１と自由ミラー４０２との理論的関係式を導き出す過程を簡単に説明するために、先ず、図１１に示すように、フォールドミラー４０３およびフロントガラス４０によって変更した光の経路を簡略化した等価構造として、光の経路を変化させる役割の他に光学的役割がないフォールドミラー４０３およびフロントガラス４０の図は省略し、ディスプレイ装置４０１の位置を、フォールドミラー４０３を基準に対称となる位置に表現してよい。次に、図１２に示すように、ディスプレイ装置４０１に対応するディスプレイ平面７１、自由ミラー４０２に対応する自由ミラー平面７２、地面に対応する虚像平面７３を追加した後、図１３に示すように、虚像平面７３が地面に対して平行になるように回転させると同時に、Ｙ軸（図面上で垂直方向の軸）に対して左右反転した状態で表現してよい。
【0055】
図１３を参照すると、フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイ４００は、ディスプレイ装置４０１から放射された光が自由ミラー４０２よりも下の位置で自由ミラー４０２に伝達される構造、言い換えれば、虚像を地面にフォーカシングするために地面に放射される光線のうち、運転手の位置から近い近距離光線側にディスプレイ装置４０１が位置する構造を含んでよい。
【0056】
ディスプレイ装置４０１から放射される光の角度ごとに出力を比べると、垂直成分の出力が最も高く、垂直から遠ざかるほど出力が低くなり、垂直あるいは垂直に近い角度の光を使用することが光の効率の側面において良好であると言える。
【0057】
【0058】
図５の光学設計構成を表現した図８の等価構造を、図１５に示すように、自由ミラー平面７２が垂直になるように回転させたものを詳察すると、ディスプレイ装置４０１から放射される光のうち、出力が強い垂直成分の光の殆どは捨てられる（利用されない）ようになり、垂直から遠い出力が相対的に低い成分の光を主に使用するようになるため、光の効率が低下する可能性がある。
【0059】
フロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイ４００にディスプレイ装置４０１が自由ミラー４０２よりも上部に位置する光学設計構成を適用するためには、光の放射角度を調整することのできるディスプレイ装置、すなわち、回折素子、Ｍｉｃｒｏ－Ｌｅｎｓ Ａｒｒａｙ、Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅのような追加の光学素子が含まれたディスプレイ装置を利用することにより、光の効率を保障することが可能となる。
【0060】
【0061】
図９の光学設計構成を表現した図１３の等価構造を、図１７に示すように、自由ミラー平面７２が垂直になるように回転させたものを詳察すると、ディスプレイ装置４０１から放射される光のうち、出力が強い垂直成分の光を主に使用するようになり、光の効率が高いと言える。
【0062】
光が移動する実際の経路は、ディスプレイ装置４０１を出発して自由ミラー４０２とフロントガラス４０で反射する。このとき反射した光が運転手の目に到達し、水晶体（レンズ）によって網膜の焦点に合うようになる。しかし、運転手が見る画像は、実際の画像が生成されるディスプレイ平面７１に位置する実像ではなく、虚像２４である。このとき、虚像２４は、地面と対応する仮想の平面である虚像平面７３上に位置する。すなわち、ディスプレイ平面７１は、自由ミラー４０２によって虚像平面７３と結像条件（ｉｍａｇｉｎｇ ｃｏｎｄｉｔｉｏｎ）を満たす。
【0063】
虚像を地面位置に生成するためのディスプレイ装置４０１と自由ミラー４０２の理論的関係式は、運転手の目を除いたディスプレイ装置４０１に対応するディスプレイ平面７１、自由ミラー４０２に対応する自由ミラー平面７２、地面に対応する虚像平面７３の間の結像条件に基づいて導き出されてよい。また、自由ミラー平面７２の焦点距離が、結像条件の一変数となってよい。
【0064】
図１８は、ディスプレイ装置４０１と自由ミラー４０２の関係式を導き出すために必要な変数を示している。
【0065】
図１８を参照すると、ディスプレイ平面７１と自由ミラー平面７２の交点Ｉは、地面上に位置してよい。言い換えれば、ディスプレイ平面７１と自由ミラー平面７２と虚像平面７３は、所定の位置Ｉで同時に交差してよい。このような条件下において、ディスプレイ平面７１と自由ミラー平面７２と虚像平面７３が結像条件を満たすように光学系を設定することが可能である。
【0066】
ＤＰは、ディスプレイ装置４０１に対応するディスプレイ平面７１を意味し、ＦＭＰは自由ミラー４０２に対応する自由ミラー平面７２を意味し、ＩＰは地面に対応する平面自体を示す虚像平面７３を意味する。
【0067】
Ｃは、ディスプレイ装置４０１に対する自由ミラー４０２の光学的中心を意味する。ただし、Ｃが必ずしも実際の自由ミラー４０２上に位置する必要はなく、運転手の視線の位置に応じて自由ミラー４０２の位置にオフセットを適用してよい。運転手の視線の位置が高く設定されるほどオフセットは大きく設定され、運転手の視線の位置が低く設定されるほどオフセット値は低く設定されてよい。これによると、運転手の視線の位置が高く設定されるほど自由ミラー４０２も高く設置され、運転手の視線の位置が低く設定されるほど自由ミラー４０２も低く設置されてよい。ただし、このような変化とは関係なく、全体的な光学システムと内部構成要素の数学的関係式は、同じように維持される。
【0068】
以下では、簡単な数式化のために、Ｃが自由ミラー４０２上に位置する場合を仮定しながら関係式を導き出すことにする。
【0069】
ＩはＤＰ７１、ＦＭＰ７２、ＩＰ７３が交わる交点、ＪはＤＰ７１に対して平行でありながら中心点Ｃを通過する直線がＩＰ７３と交差する点、ＫはＩＰ７３上の自由ミラー４０２の法線との交点であって、ＦＭＰ７２に対して垂直であって中心点Ｃを通過する直線がＩＰ７３と交差する点を意味する。
【0070】
α（αＥ、αＳ）は、中心点Ｃと交点Ｋを通過する直線を基準としてＤＰ７１とＩＰ７３で結像条件を満たす位置の角度であり、該当の位置は結像条件を満たすため、ＤＰ７１方向角度とＩＰ７３方向角度が常に一致するようになる。ここで、結像条件とは、光源から全方位的な立体角に放出された光が自由ミラーによって虚像ＶＩの同じ地点に到達するという条件を意味する。図１８において、結像条件が満たされるということは、ディスプレイ装置４０１、自由ミラー、および虚像ＶＩが合わさるＩＰ７３の位置と角度、および自由ミラーの焦点距離ｆがレンズの公式（ｌｅｎｓ ｆｏｒｍｕｌａ）を満たすことにより、ディスプレイ装置４０１から放出された光が自由ミラーによってＩＰ７３に収斂（収束）されることによってＩＰ７３上に虚像ＶＩが生成されることを意味する。ただし、本発明の実施形態は、実像ではなく虚像ＶＩが形成される例について説明しているため、光が実際にＩＰ７３に到達することではなく、発散する光線の延長線がＩＰ７３上で収斂されて虚像ＶＩを形成することであるのは、本発明が属する分野の技術者であれば理解できるであろう。
【0071】
βはＩＰ７３あるいは地面基準のＤＰ７１の角度、γはＩＰ７３あるいは地面基準のＦＭＰ７２の角度、θはＤＰ７１とＦＭＰ７２の角度を意味する。
【0072】
ｈはＩＰ７３あるいは地面から中心点Ｃまでの距離を意味し、ｈ’（図１９を参照）はｈにｈ方向へのオフセット（正数または負数）を加えた値（実在的な自由ミラー４０２の高さ）を意味する。このとき、ｈ’は、自由ミラー４０２の位置に運転手の視線の位置によるオフセットが適用される場合に該当する。
【0073】
Ｓは、交差点Ｉから交差点Ｊまでの長さ、すなわち、地面に対して平行な軸方向であって、高さｈでのＤＰ７１とＦＭＰ７２の離隔距離（ｓｅｐａｒａｔｉｏｎ ｄｉｓｔａｎｃｅ）を意味する。
【0074】
【0075】
ｄＳは、ＩＰ７３あるいは地面に対応する平面上において、自由ミラー４０２の中心点ＣとＩＰ７３あるいは地面との直交位置Ｃ’から虚像（ＶＩ）が始まる位置までの距離を意味する。
【0076】
ｄＥは、ＩＰ７３あるいは地面に対応する平面上において、自由ミラー４０２の中心点ＣとＩＰ７３あるいは地面との直交位置Ｃ’から虚像ＶＩが終わる位置までの距離を意味する。
【0077】
ｄＩは虚像ＶＩの大きさ（ｓｉｚｅ）を、ｆは自由ミラー４０２の焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）を意味する。
【0078】
先ず、β、γ、θの関係式は、次のとおりとなる。
【0079】
ＤＰ７１とＩＰ７３の間の結像条件を適用すれば、数式（１）が成立される。
【0080】
【数1】
（γ、θ、ｈ、ｆはすべて正数と仮定）
ここで、ｈは、一般的な車両において、地面からダッシュボード上の３次元拡張現実ヘッドアップディスプレイ４００の位置までの高さ（正確には、自由ミラー４０２の光学的中心Ｃまでの高さ）を意味する。また、ｆは、一般的な大きさと曲律を有する３次元拡張現実ヘッドアップディスプレイ４００の自由ミラー４０２の焦点距離を意味する。
【0081】
数式（１）にｈとｆの値を代入すれば、θとγとの数値的関係が導き出されるようになり、これに基づき、β、γ、θの関係式、β＝γ＋θによってβが導き出される。
【0082】
次に、Ｓは、数式（２）により、ｈ、βとγ、およびθを利用して導き出されてよい。
【0083】
【数2】
【0084】
【数3】
数式（３）を利用してｄＳとｄＩが計算されるようになるが、このとき、虚像ＶＩの開始位置を示すｄＳとおよび虚像ＶＩの大きさを示すｄＩに対する調節が必要であれば、α（αＥ、αＳ）とβおよびθのうちの少なくとも１つを調節して光学構成を最適化してよい。
【0085】
上述したような関係式により、地面に対するＤＰ７１とＦＭＰ７２の角度、および虚像ＶＩの位置と大きさを導き出すことができる。
【0086】
図１９は、３次元拡張現実ヘッドアップディスプレイ４００において、アイボックス（Ｅｙｅ－ｂｏｘ、瞳孔の位置）によって決められる自由ミラー４０２の位置を説明するための例示図である。
【0087】
図１９を参照すると、要求されるアイボックス（Ｅｙｅ－ｂｏｘ、瞳孔の位置）の高さは、運転手が運転席に座っているときに目が位置する高さとすることが一般的であり、アイボックスから自由ミラー４０２までの距離は、目から３次元拡張現実ヘッドアップディスプレイ４００の自由ミラー４０２までの距離とする。
【0088】
自由ミラー４０２の位置は、要求されるアイボックスの位置に応じてオフセットを含んで高さｈ’が決まるが、その位置が必ずしも自由ミラー４０２の光学的中心Ｃを含む必要はない。ｈ’に応じてＤＰ７１とＦＭＰ７２の離隔距離であるｓ’が決められてよく、このとき、ｓ’は、ディスプレイ装置４０１と自由ミラー４０２の距離として参考されてよい。
【0089】
図９の光学設計構成を表現した図１３の等価構造を自由ミラー平面７２が垂直になるように回転させたものを詳察すると、図２０に示すように、ＤＰ７１とＩＰ７３で結像条件を満たす位置の角度α（αＥ、αＳ）は、ＤＰ７１方向角度とＩＰ７３方向角度が一致する。
【0090】
ディスプレイ装置４０１が近距離光線の近くに位置する構造はもちろん、ディスプレイ装置４０１が遠距離光線の近くに位置する構造でも同じように結像条件を満たす場合には、光源と虚像の位置角度（αＥ、αＳ）が常に統一する。
【0091】
図２１は、フロントガラス４０とフォールドミラー４０３を考慮したディスプレイ装置４０１と自由ミラー４０２の角度を導き出すために必要な変数を示している。図２１は、ディスプレイ装置４０１が近距離光線の近くに位置する構造の光学設計構成を示している。
【0092】
図２１を参照すると、δは地面基準のディスプレイ装置４０１の角度を意味し、εは地面基準の自由ミラー４０２の角度を意味し、σは地面基準のフォールドミラー４０３の角度を、τは地面基準のフロントガラス４０の角度を意味する。
【0093】
図１８を参照しながら説明したディスプレイ装置４０１と自由ミラー４０２との理論的関係式に基づいてディスプレイ装置４０１と自由ミラー４０２の角度を導き出せば、次のとおりとなる。
【0094】
ディスプレイ装置４０１の角度は、結像条件を満たすＤＰ７１の角度βを利用して導き出すことができ、一例として、数式（４）または数式（５）によって導き出されてよい。
【0095】
δ＝β＋２×（τ－σ）（ｉｆ σ≠τ：σ≠τの場合）・・・（４）
【0096】
δ＝β（ｉｆ σ＝τ：σ＝τの場合）・・・（５）
自由ミラー４０２の角度は、結像条件を満たすＦＭＰ７２の角度γを利用して導き出すことができ、一例として、数式（６）によって導き出されてよい。
自由ミラー４０２の角度は、結像条件を満たすＦＭＰ７２の角度γを利用して導き出すことができ、一例として、数式（６）によって導き出されてよい。
【0097】
ε＝γ＋２τ・・・（６）
したがって、本発明に係る３次元拡張現実ヘッドアップディスプレイ４００は、上述したような関係式に基づくディスプレイ装置４０１と自由ミラー４０２により、フロントガラス反射方式によって、運転手が注視している前方の地面に横になった３次元視点の虚像（ＶＩ）を実現することができる。
したがって、本発明に係る３次元拡張現実ヘッドアップディスプレイ４００は、上述したような関係式に基づくディスプレイ装置４０１と自由ミラー４０２により、フロントガラス反射方式によって、運転手が注視している前方の地面に横になった３次元視点の虚像（ＶＩ）を実現することができる。
【0098】
ＤＰ７１とＩＰ７３の間の結像条件を満たす位置において、ＤＰ７１の角度βを利用して地面基準のディスプレイ装置４０１の角度を導き出し、ＦＭＰ７２の角度γを利用して地面基準の自由ミラー４０２の角度を導き出すことにより、地面に仮想の３Ｄ画像を位置させるフロントガラス反射方式の３次元拡張現実ヘッドアップディスプレイ４００を実現することができる。
【0099】
このように、本発明の実施形態によると、フロントガラス反射方式によって虚像を地面と一致させ、運転手の視点を基準に拡張現実の３次元虚像を生成する３次元拡張現実ヘッドアップディスプレイを提供することができ、特に、フロントガラスを含む構造において、地面と一致する仮想の３Ｄ画像を生成するための光学系の光の効率を最大化する構造を提供することができる。
【0100】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0101】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0102】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
【0103】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0104】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】