(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-15
(45)【発行日】2024-01-23
(54)【発明の名称】少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(AR)眼鏡および方法
(51)【国際特許分類】
G02C 9/00 20060101AFI20240116BHJP
G02C 7/14 20060101ALI20240116BHJP
G02B 27/02 20060101ALI20240116BHJP
【FI】
G02C9/00
G02C7/14
G02B27/02 Z
(21)【出願番号】P 2020504762
(86)(22)【出願日】2018-03-29
(86)【国際出願番号】 EP2018000140
(87)【国際公開番号】W WO2018184718
(87)【国際公開日】2018-10-11
【審査請求日】2021-02-16
(31)【優先権主張番号】102017003336.6
(32)【優先日】2017-04-06
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】519359365
【氏名又は名称】コンスタンティン ロガッツ
【氏名又は名称原語表記】Konstantin Roggatz
【住所又は居所原語表記】Bahnhofstrasse 74, 25560 Puls, Germany
(74)【代理人】
【識別番号】100114890
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100135633
【氏名又は名称】二宮 浩康
(74)【代理人】
【識別番号】100162880
【氏名又は名称】上島 類
(72)【発明者】
【氏名】コンスタンティン ロガッツ
【審査官】森内 正明
(56)【参考文献】
【文献】国際公開第2015/192117(WO,A1)
【文献】米国特許出願公開第2015/0219899(US,A1)
【文献】特開平10-260374(JP,A)
【文献】特開2006-276524(JP,A)
【文献】中国実用新案第204256270(CN,U)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 27/02
G02C 1/00 - 13/00
(57)【特許請求の範囲】
【請求項1】
拡張現実(AR)眼鏡において、少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に、仮想像を合成するための方法において、
マルチモード光ファイバ(42)から成る複数の光ファイバプロジェクタ(59)によって、被写界深度の大きい仮想像を、眼鏡着用者の少なくとも一方の目に投影し、前記仮想像は、相互に上下左右に並んで配置された個々の投影(48)のパターンから成るインテグラルイメージングであり、前記個々の投影(48)は、前記眼鏡着用者に対しては近くでの観察時には1つの全体投影に統合され、かつそれぞれが前記仮想像の一部(37)であり、各光ファイバ(42)の入射端部に取り付けられたコンピュータ制御式の空間光変調器(SLM)(24)に対して、前記光ファイバの変換マトリクス(36)による本来の像の変換から決定されるピクセルパターンをコンピュータによって計算し、前記空間光変調器(SLM)(24)によってホログラム投影として供給され、かつ振幅および相対的な位相シフト(39)を有する波面を、光学系(40)によって前記光ファイバ(42)に結合し(41)、前記光ファイバ(42)から出射される本来の像を前記眼鏡着用者の目に投影し、
第1の較正プロセス(87)において、設置されたすべてのマルチモード光ファイバ(92)に対して、ファイバの光混合特性(96)を、すべての色成分および考えられるすべての通過経路(102)に対して別個に測定し、そこから算術的に変換マトリクス(98)を統計的に算出するか、または測定を別のデータの形態で記憶して、さらに最適化された使用のために最適化し、通常の投影プロセスにおいては、SLMに必要とされる像または像パターンを、コンピュータによって、結像すべき像自体から、ならびに記憶されている変換マトリクスまたは他の記憶されている最適化された変換情報(84)から統合して算出し、SLMによって、そこから生じた波面(39)をそれぞれ、高速なシーケンスで時間的に連続して、また異なる色成分で、必要とされる投影点に対して生成して、各光ファイバに結合させ、眼鏡ガラスにおいて、必要に応じて別のスイッチ(10)またはミラー面(19)が相応の調整を行い、それによって光を所望の出射点まで誘導し、
前記光ファイバプロジェクタ(42)または前記光ファイバプロジェクタ(42)に接続されて延長された光チャネルまたは光学システムが、眼鏡ガラス内のクローキングチャネルを介して、インテグラルイメージングパターンにとって最適な位置まで直接的に設置され(64)、勾配光学系によって、前記眼鏡ガラスを通過する光は、前記クローキングチャネルを迂回し(66)、前記クローキングチャネルは、外側からは不可視となり、光学媒体の屈折率の勾配(69)を、内側の低い屈折率から、周囲のガラスの屈折率になるまで、外側に向かってより高い屈折率になるように、層内でまたはシームレスに構成し、
クローキングチャネルジャケット内の前記勾配光学系を通過する光を瞳の方向に変化させることによって(69)、前記クローキングチャネルジャケットを通過する光学経路を、前記光ファイバプロジェクタ(64、70)のために確保する
ことを特徴とする、仮想像を合成するための方法。
【請求項2】
前記インテグラルイメージングの投影点を、少なくとも2つのパターン面(47、46)において並行して制御し(74、75)、眼鏡着用者によって焦点合わせされた領域を、アイカメラ(53)によって登録し、どれ程の高さの解像度の投影点およびどれ程の低さの解像度の投影点が要求されなければならないかを確定し、各面に対して異なる分解能および色深度をレンダリングすることができる、請求項
1記載の仮想像を合成するための方法。
【請求項3】
個々のインテグラルイメージング投影の重畳部を、適切に相互に切り取り(51)、前記切り取りを、瞳孔サイズおよび/または周囲光強度をアイカメラおよびセンサによって求めて、クリッピングフレームの計算に組み込むことによって行い、像レンダリングの間、張り出した像領域は厳格にレンダリングされるか、または円滑に移行しながら一切レンダリングされない、請求項
1または
2記載の仮想像を合成するための方法。
【請求項4】
像の生成を、特に、ホログラム方式によって実現し、すなわち、SLM上に結像され、レーザ光または他の光によって照明され、それによって振幅も位相シフトも調整する波面を生成する、コンピュータにより計算された回折パターンによって実現し、複数の光源による前記SLMの照明および最適なSLM構造の利用によって、光ファイバ投影に関する前記ホログラムの品質およびグレースケール深度を向上させることができる、請求項
1から
3までのいずれか1項記載の仮想像を合成するための方法。
【請求項5】
生成された像を、特に、単純なピクセルグラフィックによって実現し、すなわち算出された振幅パターンおよび位相パターンの直接的な伝送によって、しかしながら、同様に振幅および位相シフトが区別される投影を生成する、最適化されたSLM構造と照明とを使用して実現する、請求項
1から
4までのいずれか1項記載の仮想像を合成するための方法。
【請求項6】
前記空間光変調器(SLM)(24)は、光ファイバプロジェクタ最適化DMD-SLMを有し、該DMD-SLMの利用時に、それぞれが専用の複数の光源と共に、算出されたSLMパターンが、所定の光源からの最適化された混合を生じさせ、結合点における最適な振幅パターンおよび位相シフトパターンを形成する、請求項
1から
5までのいずれか1項記載の仮想像を合成するための方法。
【請求項7】
前記空間光変調器(SLM)(24)は高速SLMを有し、低い解像度の光ファイバ投影に関して、ホログラム、多数の光源、またはピクセル毎の伝送パターン(96)によってサイクル毎にグレー値が生成され、それによって、前記高速SLMが多数の周囲投影を達成することができるので、3つの色成分に対しては3つのSLM周期で充分である、
請求項
1から
6までのいずれか1項記載の仮想像を合成するための方法。
【発明の詳細な説明】
【技術分野】
【0001】
[1]適用分野
本発明は、通常の眼鏡のように透明であるが、しかしながら眼鏡ガラスを介して見ることができる実際の像に、仮想のオブジェクトまたは像を高解像度で付加的に挿入することができる、AR(拡張現実)眼鏡に関する。特に、本発明は、眼鏡着用者の瞳孔のすぐ前に多数の光ファイバ端部を配置することによって、解像度が動的なライトフィールドを瞳孔に投影するAR眼鏡に関し、光ファイバ線路は、光学的なクローキング装置によって、外部からは不可視であるようにガラスを通って案内され、光学スイッチによって分配することができ、また眼鏡着用者の耳または頭部の後方において、SLMプロセッサは、伝送マトリクス変換された像を光ファイバに結合させ、それによって光ファイバの端部は、瞳孔の手前で完全な部分像を送出する。
【背景技術】
【0002】
[2]従来技術
どのようにAR眼鏡が機能的に構成されるかについて種々のシステムが公知である。この場合、眼鏡ガラス越しの、またはプリズム内の小型のディスプレイの後方反射の旧式のアプローチは大まかに区別される。このアプローチは、このディスプレイの範囲を過度に大きくするか、または可視のセクションを極めて小さくするので、本願において以降では考察しない(例えば、Google GlassまたはMeta 2)。
【0003】
別のより新たなアプローチでは、像を回折格子によってパネルから浮かび上がらせるフラットな導波体(Waveguide)が利用されている。しかしながら、この技術は非常に制限された視野角しか提供せず、また見通しも悪い(例えばHoloLensまたはMagic Leap)。まだ実現されていない幾つかのより新たなアプローチでは、全体像の、パターン配置された複数の部分区間のうちの1つのライトフィールドが生成される。これらの部分像は、(Magic Leap社の特許権が付与された幾つかのアプローチと同様に)高速に切り替えられる反射プリズム(光学ゲート)のパターンによって、または回折格子(回折格子が埋め込まれた導波体)によって、それらの側から眼鏡ガラスに、続いて目に投影される。また、発振するシングルモード光ファイバを非常に小型の像プロジェクタとして利用することも、Magic Leap社によって提案されている。
【0004】
別のシステム(UNCのPinlight Display)では、SLM(空間光変調器)を用いて、眼鏡ガラス上の粗面化された複数の点のパターンに波面が偏向される。この場合、粗面化されたそれらの点は、近くで考察すると、ライトフィールド区間のスクリーンのように作用するが、しかしながら外部から照射されている。
【0005】
アイトラッキングを使用して、観察者に対して、計算機合成ホログラムを目の方向に投影する、3Dモニタが公知である。ここでもまた同様に、SLMを用いて、部分ホログラムが生成され、続いて、それらの部分ホログラムが1つの全体ホログラムに統合される。
【0006】
[3]従来技術の欠点
上記において紹介した構想は、市販の眼鏡のように可能な限り小さいフレームを備えた外観とは大きく離れている。しかしながら、Google Glassの市場での経験から、眼鏡が毎日利用されるべき場合には、通常の眼鏡との極僅かな差異でさえも、市場での受け入れに関して問題を意味することがはっきりと分かった。個々人の顔の表情およびアイコンタクトは、多くの場合、社会的には繊細過ぎるので、未来の技術によってもそれらを偽装することはできない。さらに、それらの眼鏡は、ピクセル解像度が低く、透過性も制限されており、実際のオブジェクトのように集束せず、限定的な視野しか提供せず、また多くの光が目に入射する。
【発明の概要】
【課題を解決するための手段】
【0007】
[4]本発明の利点およびタスク
本発明の利点およびタスクは、模範的にガラスに直接取り付けられたブリッジおよびテンプルを備えた、最大限に小型化されたフレームレスの眼鏡(1)を採用し、その眼鏡にほぼ不可視の光学システム(10)を統合させ、この光学システムが、外部からは不可視であり、また最大限の分解能でインテグラルライトフィールドを目に投影する(少なくとも20K)(48)、ということである。この場合、ライトフィールドの広がりは、眼鏡の視界によってのみ制限されているので、眼鏡を相応に設計すれば、220°の視界も実現できる。ガラスの前面には、LCD減光層が設けられている。さらに、目に向けられた少なくとも2つのビデオカメラと、視野に向けられた2つのビデオカメラと、が取り付けられている(53)。
【0008】
ガラスは、通常の眼鏡屋が扱うガラスとして形成することができる。やや誇張した表現になるが、あらゆる技術を、耳および頭部の後方において、着用可能なユニット(3)またはモダンの端部に組み込むことができる。
【0009】
投影されたライトフィールドの像は、必要であれば、考察される各オブジェクトに関して、適合された焦点を供給することができ、これによって、目の輻輳運動と焦点との関係が模倣され、またその際に、頭部を回すことなく、最大限に可能なRetina解像度(47)で、焦点が合わせられたオブジェクトを結像することができる。本特許は、「主流の」AR眼鏡の構造が絶対的に実現されることを示す。しかしながら、これは、ARプライバシの悪夢に、絶対的な信頼性のブロックチェイン構造でもって対処し、またAR眼鏡を究極的なブロックチェインに使用する、「オープンソース」のオペレーションシステムへのパラダイムシフトももたらす。
【0010】
[5]検索見出し語
ピンホールプロジェクタ、インテグラルイメージング、光学クローキング装置、マルチモードファイバ内視鏡、計算機合成ホログラフィ(CGH)、フォービエイテッドレンダリング、適合的眼球離反運動の不一致、時間領域イメージング、振幅・位相複素変調SLM、Magic Leap、HoloLens、SLM、DMD、DLP、FLCOS、拡張現実AR、複合現実MR、マトリクス光学系、スペックル低減、ピエゾFTIR、エレクトロクロミックミラー、ピンホール眼鏡。
【0011】
[6]図面のリスト
以下では、図面に図示した複数の実施形態に基づき、本発明を詳細に説明する。
【図面の簡単な説明】
【0012】
【
図1】微小電気機械システム(MEMS:Micro Electro Mechanical System)技術またはスイッチングミラーを備えたAR眼鏡の概観を示す。
【
図3】マルチモード光ファイバプロジェクタの概念図を示す。
【
図4】AR眼鏡の解像度が動的なインテグラルイメージングを示す。
【
図5】眼鏡ガラスにおける勾配光学系クローキングチャネルを示す。
【
図6】眼鏡ガラスにおける焦点および周囲に関する投影面を示す。
【発明を実施するための形態】
【0013】
[7]詳細な説明
図面に図示したように、AR眼鏡に関して、後頭部に配置された、複数のSLMライトプロセッサから成るホログラムプロジェクタ(3)において、それぞれが低解像度の部分像(51)を含む、少なくとも300個の光ファイバ投影点(48)が供給される。供給光ファイバは、眼鏡テンプル(9)および眼鏡縁部(62)を通り、眼鏡における投影のために任意に位置決めされる。これによって、複数の部分像またはホログラム(33)を瞳孔に直接的に投影するために、どのようにして投影をパターンとして目の前に直接到達させることができるかについての種々のアプローチ(34)が明らかになる。線状のヴァリエーション(2)では、投影点が眼鏡フレームに配置され、ガラス内の高速スイッチング可能なミラー面(19)が利用される。ここで説明する好適な点状のヴァリエーション(1)では、勾配クローキング光学系(12、69)が利用される。このために、眼鏡ガラス内の光ファイバは、光学的なクローキングチューブを通って案内されるので(12)、ファイバ、またはファイバに取り付けられた終端にあるMEMSスイッチシステム(10、70)は、ガラス内で特にあらゆる方向からも不可視である(66)。したがって、光導体はパターンとして、目のすぐ手前で、ガラス内で目の方向に向かって投影を行うことができる(59)。
【0014】
眼鏡着用者の視点からは、個々の投影が融合されて、視野を満たす高解像度の1つの全体像(48)になる。3Dの印象は、右側のガラスおよび左側のガラスを通した投影の立体的な分離によって既に生じている。それにもかかわらず、各目にホログラム像を供給することができ、各目は遠くから極めて近くまでシームレスに、ホログラム像に焦点を合わせることができる。これによって初めて、頭部の動きに応じた3D像の動的計算(ジャイロセンサ)と、相応の減光LCDマスク(31、67)の挿入との協働において、完全なホログラム像が現実世界に混入される。光ファイバ投影点(43)が非常に小さいことによって、それらの光ファイバ投影点は、極めて高被写界深度の像を供給するので、プロジェクタは、オブジェクトが非常に近い場合にのみ、焦点を調整すればよい。またこれによって、眼鏡ガラスが、光学系に起因して、通常の眼鏡(66)よりも不透明になることは決してない。反対に、一部のファイバは、並行して、または専らカメラ(25、53)として使用される。光ファイバ毎に、プロセッサまたはコンピュータは、各ファイバ(92)および各点(102)についての較正(87)時に事前に測定された、個々の伝送マトリクス(23、36)に従い、像の一部を変換する。SLM(空間光変調器)(24)は、そこから、正確な光強度分布だけでなく、位相シフト分布も光ファイバ(41)に結合させる光前線(39)を生成する。位相分布も含むこの光前線変換だけで、個々のマルチモード光ファイバ(42)を、それぞれ1つの基本色に対して、光路およびプロジェクタとして利用することができる(44)。像を投影するために、1つのSLMだけを利用するか(83)、連続的に複数のSLMを利用して(76、77)、計算時間を節約する(78、79)、種々の方法を説明する。1つの方法では、一貫して、計算機合成ホログラム、ならびに効果的なホログラムグレースケール生成(ホロプロジェクタ)に焦点が当てられている。第2の方法では、一貫して、伝送およびフォーカシングのための種々のマトリクスの計算用途(マトリクスプロジェクタ)に焦点が当てられており、またこのために、位相シフトを生じさせるための特別な照明を用いる特別に最適化されたSLMが必要とされる。ARアプリケーションは、典型的には、遠い視界内に少数のオブジェクトのみを結像する(46)。プロジェクタは、オブジェクトが存在する光ファイバプロジェクタのみを動的に制御する。目を追跡する(アイトラッキング)ことによって(53)、その時点で焦点合わせされたプロジェクタ(47)のみが付加的に、より高い解像度で応答する。すなわち、人間の視覚は周囲をいずれにせよ、それほど高い解像度で認識しないので、大部分の投影点には、低い解像度(45)しか提供されない。大きい眼球運動(71)に起因して、フォーカシングおよび周囲の投影に対して、少なくとも2つの平行なインテグラルイメージングパターン平面が使用され、それらは、異なる投影角度(74、75)によって、異なるピクセル密度を実現し、また目にとって障害となる照明が生じないようにするために、まさに瞳孔に合わせられる。解像度ならびに作業のこの大幅な低減、および事前に計算されたモジュール回折パターンまたは像パターンの大規模な使用によって初めて、極めて高速のSLMライトプロセッサおよび並列グラフィックプロセッサでもって、結像プロセスを今日既に実現することができる。一連のすべての方法によって、特に投影時の弱いインコヒーレントなレーザ光によって、妨害的なスペックル作用が除外される。クローキングチューブ内のMEMS光ファイバスイッチ(10)によって、光ファイバ素線(8)の数が低減され、これによって、光ファイバの太さおよび解像度が増大される。AR眼鏡にとって最適なホログラムまたはマトリクス投影を実現する技術的な最適化が、SLMチップにおいて行われる。複数の異なる光源を用いたSLMチップの照明、または全体の照明ホログラムによって、また複数の方向に傾斜可能なDMDミラーによって、個々の結合点に対する投影を大幅に最適化することができる。そのようにして、極めて高速なSLMライトプロセッサに関する個々の結像サイクル内で、グレースケールを生成することができる。この場合、DMDチップの毎秒24,000~32,000のサイクルは、各目に対するインテグラルライトフィールドの個別の各投影(例えば150)について、また各RGB色成分について、60Hzのフレームレートでもって、完全な像を時間的に連続して構築することができる。しかしながら、実際には、通常のARアプリケーションに対しては、はるかに小さい像領域しか利用されない。
【0015】
技術のさらなる詳細およびヴァリエーションについては、その内容が参照により本願明細書に組み込まれる、独国特許出願明細書第10 2017 003 336.6号を参照されたい。
【0016】
[8]PV 点ヴァリエーション(11)
このヴァリエーションは、光ファイバの先端が本来ははっきりとしない影しか示さない程度にしか、光学クローキング部から突出しない、非常に小さい光ファイバの先端に基づいて、その名が付けられた。光ファイバの先端が完全にクローキング領域に押し込まれると、先端はもはや全く見てとることができなくなる。このヴァリエーションの魅力は、像がまさに何もないところからガラス内に現れるという、魔法のように思われる効果である。このヴァリエーションは、提供される可能性および自由度を完全に利用することができることから、技術的に特に魅力的である。
【0017】
クローキング効果:ここで技術的な基礎を成すのはクローキング効果(66)であり、これは、密な光学媒体(68)においては、細い空所(64)を光学的に不可視にすることを可能にする。このことは、空所の周囲を囲む、屈折率が大きく低下した環状の層(69)によって達成され、この場合、周囲の光学媒体は、適切な高さの屈折率(少なくとも1.7)を有していなければならないことが前提とされ、またクローキングされた領域における前述の層は、最小の屈折率(最大で1.5)しか有さない。この場合、光ビームは空所を完全に迂回する(66)。人間は光を常に直線光として解釈するので、空所は認識されない。
【0018】
完全なクローキングボディは、相応のチューブ(12)であるが、しかしながら、楕円形のようなより複雑な空間も、あらゆる方向から完全にクローキングされる。
【0019】
非常に多くの光ファイバ:点ヴァリエーションに関して、多数の光ファイバが、眼鏡縁部に配置され、また直接的に眼鏡ガラス内に収まる投影点のパターンを成すように分散される(11)。ガラスの内部に到達するために、複数のクローキングチューブが、相互に並んでガラスを通って案内される(12)。光ファイバは、ガラスチューブに通され、クローキングチューブ内において、約1~2mmの曲率半径で湾曲され(64)、チューブの孔を通って正確に瞳孔の方向に向けられる(60)。光ファイバ端部は、クローキングチューブの特性と組み合わされることで投影コーンを瞳孔の方向に放出する光学系を有している。このシステムは、ファイバの投影が正確に所望の方向に放射される(59)ことを実現する。プロジェクタの密なパターンは、近ライトフィールド投影の原理によって、1つの関連付けられた像になる(48)。続いて、投影トリミング(50、51)の技術によって、重畳する像から1つの完全な合成像が生成される。
【0020】
湾曲されたチューブおよび縁部:クローキングチューブは、眼鏡ガラスの湾曲に沿うように湾曲した形状をとる。同様に、ガラス周囲の線路チャネルもクローキングするために、同じ技術がクローキングハーフシェル(61)を用いて適用される。テンプルは、2つのチューブ間の孔を介して取り付けることができる。
【0021】
複数の投影面:設計の1つのヴァリエーションにとっての重要な条件は、複数の投影面を採用できるようにすることである。このことは、目の大きい運動に起因して、周囲の結像のために必要とされ、また次段落でさらに説明する。このために、異なる投影角度を提供する、第2および第3のパターンを並行して使用することができる。投影ユニットは、目の向きに応じて、どの平面が利用されるかを制御する。
【0022】
MEMS技術の使用:MEMS技術による実現を進めると、クローキングチューブ内には、複雑なロッド状のマイクロシステム(10、70)が収容され、このマイクロシステム(10、70)は、MEMS、ウェハレベルオプティクスおよびナノオプティクスでの印刷法でもって製造され、また偏向ミラースイッチおよび投影光学系(16)を備えた光導体(14)ならびに制御電子装置(13)から構成されている。
【0023】
[9]SV 線ヴァリエーション(2)
このヴァリエーションは、個々のガラスボディ間の細い溝に基づいて、その名が付けられた。ただし実際には、張り合わせによってそれらの溝は可視のものではなくなっている。
【0024】
スイッチング可能なミラー:ここで技術的な基礎を成すのは、2つのガラスボディの間の層を高周波数で反射性にするか、または少なくとも部分反射性にする(19)方法である。これによって、眼鏡縁部に位置決めされた光ファイバプロジェクタ(18)は、その投影を、この鏡面(21)において瞳孔の方向に誘導させることができる。そのような複数のスイッチングミラーによって相互的な相応の切り替えを行うことで、単一のプロジェクタが複数の像を連続的に種々の方向から生成することができる。ミラー層は、ガラスの全幅にわたり延びているので、複数のプロジェクタが並行してY座標に関して複数の像を結像することができる。これによって、個々の像のライトフィールドパターンが目の前方において形成される。考えられるスイッチングミラー方法は以下の通りである:
SV6 漏れ全反射(FTIR:Frustrierte Totale interne Reflektion):内部全反射、または漏れTIRのみが、ピエゾ素子を用いた間隙の拡張によって生じ、このピエゾ素子は、伸張または振動によって間隙を形成する。
SV8 エレクトロクロミックミラー:
エレクトロクロミックミラーのシステムが、ミラー(エレクトロクロミックミラー)として利用される。
【0025】
[10]プロジェクタの取り付けのヴァリエーション
PA1:演算ユニットは、小型化の度合いに応じて、眼鏡に直接取り付けることができるか(3)、または別個のユニットとして構成することができる。この場合、接続は無線または有線により構成することができる。
PA2:プロジェクタおよび演算ユニットは、1つのユニットとして頭部の後方に配置することができる。
PA3:プロジェクタおよび/または演算ユニットは、ポケットまたはベルト内の1つのユニットとして、身体に配置することができる。演算ユニット自体も、無線によりハンドバック内に保持することができるか、または単純にユーザの周囲最大10メートルの範囲内に保持することができる。
【0026】
[11]ライトフィールドの投影トリミングのヴァリエーション
インテグラルライトフィールドは、重複する円形の投影(50)を生成する。重複部は、像レンダリングの際に切り抜かれなければならない(クリッピング)(51)。
PB1:アイトラッキングによって、視線方向が正確に検出され、クリッピングフレームが算出される。
PB2:さらに、瞳孔の幅がアイトラッキングカメラ(53)によって検出され、クリッピングフレームが適合される。
PB3:滑らかな遷移:クリッピングの縁部は、巧みにシームレスで円滑に切り取られ、それによって、複数の投影が僅かな誤差で相互に適合される。
【0027】
[12]カバーマスク機能
AR眼鏡の前面には、高解像度の減光LCDディスプレイ(67)が設けられており、この減光LCDディスプレイ(67)は、眼鏡ガラスを介する完全な視野をカバーする。
【0028】
透明でない仮想オブジェクトに関する背景カバー:カバーのメイン機能は、挿入された仮想オブジェクトを必要に応じて不透明にし、したがって現実世界を覆うようにすることである。このために、各仮想オブジェクトに対して、それら各仮想オブジェクトに属するマスクが算出される。
【0029】
[13]周囲の認識およびオブジェクトの認識
ローカルのKIサーバが、パターン認識に使用される。周囲が周囲カメラ(53)を用いてスキャンされ、すべてのオブジェクトがニューラルネットワーク(ディープラーニング)を介して、可能な限り広範に、既知の論理的なオブジェクトに対応付けられる。コンピュータにおいて、ディジタルで解釈された世界が構築され、ユーザインタフェースによってこの世界にアクセスすることができる。この場合、ユーザインタフェースは、オブジェクトに関連付けられて機能することができる。
【0030】
[14]クローキング光学系のヴァリエーション
クローキング光学系を、種々のやり方で、密なガラス媒体に導入することができる。形状は、正確にチューブである必要はなく、より複雑であるが、それにもかかわらず一貫してクローキングが行える、以下のような形状をとることもできる:
TO1 円形状:クローキングチャネルは、完全なシリンダ形状(12)を有する。
TO2 楕円形状:クローキングチャネルは、完全な楕円形状を有する。
TO3 シェル形状:ガラスの縁部において、クローキング光学系は、その縁部によって満たすことができるシェル形状(61)を有する。
TO4 屈曲あり:この形状は、その均一な形状に加えて、異なる強さで、または均一に湾曲されている。
TO5 全体の格子:この形状は、相応の分岐または交点を有するメッシュまたは格子に形成されている。
TO6:分岐における丸み:各分岐における鋭い移行部が緩やかに丸められている。
【0031】
クローキング機能は、空所の周囲に位置する、光学密度が低減された複数の異なる層(69)によって生じる、光の均一な偏向によってもたらされる。これらの勾配経過を種々に設定することができる:
GR1 異なる屈折率:層は、相互に調整された異なる屈折率を有する。
GR2 異なる分散値:層は、クローキングの光学的な一貫性を高めるために、相互に調整された異なる分散値を有する。
GR3 非常に厚いまたは薄い層:層は、非常に薄く設計されているか、または非常に厚く設計されている。
GR4 不均一な強さの減少:層の密度(屈折率)または層の厚さは、均一に減少するのではなく、指数関数的にまたは可変に高速で減少する。
GR5 段状または無段状:層は、相互に段状に設計されているか、または層は、相互に段状にならないような厚さの経過を有する。
【0032】
[15]クローキング光学系の穿孔のヴァリエーション
クローキング部の内部から投影を行うために、クローキングジャケットを貫通させる(穿孔)(69)ことが必要になると考えられる。これを様々なやり方で行うことができる:
TP1 孔:孔(69)は、相応の箇所に相応の角度で設けられる。
TP2 孔の深さ:孔の深さを介して、正確な光学特性は調整される。
TP3 孔の形状:孔の形状によって、特性は変化する。形状は、球状、円錐状、スリット状、楔状または他の形状を有することができる。
TP4 孔の充填:孔は、他の光学媒体で充填されるか、または閉鎖される。
TP5 孔の内側:穿孔は、層の作製の中間段階で行われ、孔は閉鎖され、作製は継続される。穿孔は、内側からのみ作用する。
【0033】
[16]クローキング光学系の層の作製および穿孔印刷
クローキング光学系を大量生産できるようにするために、全体の格子が層毎にそれぞれ作製される。この場合、UV硬化ポリマー層または相応の屈折率を有する他の材料がそれぞれ設けられる。この段階で、クローキングチューブの投影箇所において光学的な穿孔を行うために、「バブルジェット」のような印刷技術を用いて、それらの箇所に、別の屈折率を有する別のポリマーが噴射される。このポリマーが、この点において、事前に設けられている層を押し退ける。その後、層はUV硬化され、後続の層が設けられる。これらのステップの順序および印刷材料は変更することができる。
PD1 層形成前の印刷:全体の層が形成される前に、穿孔された箇所に印刷が行われる。印刷材料は、この箇所へのコーティングの流入を阻止する流入抑制材料であってよい。
PD2 層形成後の印刷:全体の層が形成された後に、印刷が行われる。
PD3 ドーパントのみの印刷:屈折率を変化させる物質のみが噴射される。
PD4 層形成前後の印刷:事前印刷および事後印刷を組み合わせた印刷が行われ、これには層の中間硬化を含むこともできる。
PD5 さらなる補正印刷:光学的な補正を行うために、層においてさらに別の箇所に印刷が行われる。この印刷が行われなければ、光学的な補正が妨害される恐れがある。
【0034】
[17]クローキング光学系の嵌め込みのヴァリエーション
クローキングチューブの内部構造を、技術水準に応じて種々に構成することができる。メインタスクは、投影の正確な位置決めおよび光導が行われる撓みである。より高い技術水準では、スイッチおよび分岐もこれに含めることができる。さらに、投影システムならびに記録システムも設置することができる。
TI1 構造:光ファイバが案内され、別の光学素子が取り付けられている、より複雑な保持構造が製造される。
TI2 光学系の嵌め込み:ウェハレベルオプティクスによって形成された導波体、偏向光学系およびレンズを備えた細いマイクロチップが製造され、このマイクロチップは、所望の投影点を正確に生成し、眼鏡縁部における線路が提供される。続いて、眼鏡縁部には、MEMSスイッチおよび光学系を備えた細いICが収容され、このICは、それらの線路に光ファイバ信号を分配する。
TI3 MEMS基板(70):非常に細長いマイクロチップが使用され、このマイクロチップには、電気回路の他に、光学的なスイッチとしての多数のMEMS-DMDマイクロミラー、ならびに光導体およびレンズも集積されている。チップは、IC、MEMS(13)およびウェハレベルオプティクス(15)技術を用いて大量生産することができ、またナノポリマー光学プリンタを用いて洗練することができる。
【0035】
[18]投影面の説明およびヴァリエーション
ライトフィールドの投影は、目に比較的近い位置において眼鏡ガラスに取り付けられている光ファイバプロジェクタのパターンから成る。眼球における瞳孔(58)は、眼鏡ガラスの比較的近くに位置しており、したがって比較的大きい眼球の回転によって比較的大きくずれる(71)。この大きい目の運動は、右方、左方ならびに上方および下方に行われる。またターゲットの位置は、したがって、視線方向に強く依存する。通常のディスプレイにとっては、これは問題にならない。何故ならば、通常のスクリーンは、各ピクセルを大きい視野角で結像するからである。スクリーンの光は、それが眼鏡ガラスの反射面において反射される場合であっても、あらゆる方向を比較的強く照らし、また目の領域全体を照明する。
【0036】
根本的に異なるライトフィールド:これに対し、ライトフィールドの個々の投影は、1点から出発して、映写機のように1つの全体の像を瞳孔の方向へと放射する。これは、目に像が現れる原理とは根本的に異なる原理である。この場合、投影角度(74)は限定的なものでしかない。
【0037】
光ファイバは、太さに応じて、限定的な解像度の像しか伝送せず、この像は続いて、ファイバの端部において20°~40°の所望の出射角度(74、75)にされる。
【0038】
これらの投影点は、先ず、人間の目における適切な幅の瞳孔に起因して円形の像に成る。投影の出射角度は、像の解像度密度を決定する。
【0039】
今まさに焦点が合わせられている領域において、可能な限り高い解像度を有する像を得るために、この方向におけるライトフィールドでは、プロジェクタが非常に小さい角度の投影を供給しなければならない(59)。焦点が合わせられてない領域において、解像度の低い周囲の像を得るために、この方向におけるライトフィールドでは、プロジェクタが大きい角度の投影を供給することができ(60)、これによって、投影を瞳孔の可能な限り広範な視線角度に対して利用することができる。この部分的に小さい投影角度に起因して、ライトフィールドは、眼球の目の動きに正確に合わせて調整されなければならない。これらの状況はまた、少なくとも2つの完全な投影フィールド面を並行して使用する必要性の基礎も成す。一方の面は、焦点合わせされた領域のための面(47)であり、もう一方の面は、残りの焦点合わせされていない周囲を結像するための面(46)である。
【0040】
MEMS技術による、投影点に直接的に設けられている光学スイッチ、ならびにウェハレベルオプティクス法による最適な光導体の技術によって、異なる解像度に対して使用される投影点の数の制限はなくなる。案内される光ファイバの数は大幅に低減され、それによって束は非常に細くなる。これに対して、個々のファイバをより太くすることができ、また解像度をより高くすることができる。
【0041】
[19]視野の解像度低減のヴァリエーション
完全な視野をカバーする高解像度のAR眼鏡のための理論的なピクセル解像度は、容易に20~40メガピクセルに達する。しかしながら幸いなことに、ARホログラム投影は、実際の使用では、従来の像プロジェクタまたはモニタとは根本的に異なる。
【0042】
AR1 既存のオブジェクトのみ:拡張現実では、視界全体が仮想オブジェクトで完全に覆われることはほぼない。多くの場合、個別化されたオブジェクト(46)が現実世界に挿入される。
【0043】
AR2 焦点合わせされた領域HQのみ:実際のARの第2の態様は、人間が常に一箇所のみを見ることができ、またその箇所のみが高解像度で焦点が合わせられるので、細部を認識する(47)ということである。全体の残りの周囲は、はるかに低い解像度で認識される(45)。ARホログラムプロジェクタは、アイトラッキングによって、どこに、またどれほどの深さに視線が向けられているかが常に正確に分かる。この情報でもって、プロジェクタは常に、非常に小さい部分を最高の解像度で投影することだけが必要とされる。残りのプロジェクタは、より少ない像サイクルで単純により低い解像度で投影することができる。これによって、さらにフレームレートが大幅に節約される。この種の解像度低減は、周囲に関して、より低い画像周波数、ピクセル解像度、色深度および焦点合わせ能力で行うことができる。
【0044】
AR3 焦点領域におけるより低い画像レート:第3の態様は、焦点合わせされた比較的動きの少ないオブジェクトに関する繰り返しレートが、高速に動くオブジェクトよりもはるかに低いということである。人間の目は、周囲におけるちらつきしか気づかず、焦点合わせされた領域(47)においては非常に緩慢である。つまり技術的には、繰り返しレートを、焦点合わせされた領域においては低減することができ、動きが速い場合には、解像度を僅かに低減することができる。
【0045】
AR4 焦点領域のみでの焦点の適合:オブジェクトへの実際の焦点合わせの可能性は、焦点領域においてのみ実現されることが必要とされる。
【0046】
[20]マトリクスホロプロジェクタおよびハイブリッドプロジェクタ(35)
A1 マトリクスプロジェクタ:変換マトリクスTMは、光学的には、変換ホログラムによって行われるのではなく、純粋にコンピュータにおける計算によって像に適用される。SLMは、光ファイバの端部の手前に像を配置するために、オーソドックスなやり方で利用される。これによって、計算機合成ホログラムの複雑さは低減され、照明システムを備えた専用の最適化されたSLM(83)のみが必要になる。
【0047】
B1 ハイブリッドプロジェクタ:像として、オーソドックスに利用されるSLMの通常のピクセルパターンが利用される。しかしながら、光ファイバ変換マトリクスを適用するために、第2のSLM面がCGHとして利用され、それによって本物のホログラムが目の前に投影される(76、77)。これは、実現できる最も簡単な使用形態である。何故ならば、CGH(計算機合成ホログラム)(78、79)のための別途の計算能力およびノウハウの使用が極僅かで済むからである。
【0048】
B2 ハイブリッドプロジェクタ:B1の場合と同様の方式であるが、しかしながら、オブジェクトの目の焦点合わせは省略されない。この場合、第2のSLMは、光ファイバ用のTMだけを変換するのではなく、個々のピクセルの結像深さも付加的に変換する。このための情報は、先行して算出された2D像のZバッファから取り出される。
【0049】
C1 ホログラムプロジェクタ:Bのヴァリエーションでは、像が依然としてピクセルから従来のOpenGL方式によって直接的に算出されるが、Cのヴァリエーションの像計算は、モデルからホログラムデータを直接的に生成することができ、また干渉パターンも生成することができ、これらが続いて、SLMに伝送される。相応に変調されたRGB色成分レーザでSLMが照射された後になって初めて、結合される光前線が生じる。単一のSLMが利用され(82)、像形成および光ファイバ変換を1つのステップで実施することができる。しかしながら、このために、高周波数で、変換を乗算しなければならないか、またはホログラム(84)が算出されなければならない。
【0050】
[21]光源およびスペックル低減
E1 コヒーレンスの低減:レーザ光源は、ホログラフィ方式に関してまだなお許容できる程度に、1つまたは複数の異なる態様で、組み合わされて変調される。
1. 光の波長は、相応に限定されて混合されたスペクトルに変調される。
2. 位相はシフトされて均一に混合される(移動拡散板またはマルチモードファイバ)。
3. ビーム相互の角度(平行度)は、相応に限定された範囲で混合される。
これらの変調は、可動拡散板、ピエゾベンダ、音響光学変調器、またはマルチモード光ファイバを介する受動的な通過によって達成することができる。
【0051】
E3 光ファイバ伝送:マルチモード光ファイバを介する、瞳孔の手前までの、システムを特徴付ける波面の通過は、スペックルの形成を大幅に抑制するコヒーレンス位相混合をもたらす。
【0052】
E4 一定のホログラムの変化:同一の結果を生じさせるために複数の異なるやり方を実現する回折パターン生成法が像コンテンツに対して利用される場合、像の生成は常に別のパターンのヴァリエーションを利用することができる。乱数発生器は、その都度、次のヴァリエーションを選択することができる。スペックルパターンは、常に1サイクルにしか現れないが、所望の像は各サイクルに残る。
【0053】
E5 ピエゾシフト:ピエゾ振動式ミラーまたは拡散板によってコヒーレンスが低減される。
【0054】
[22]分割フィールド、説明およびヴァリエーション
AR眼鏡は、目のすぐ前に位置決めされている光ファイバ投影点の密なパターンを基礎とする。水平方向において最大限に知覚できる220°のアクティブな視野が大きくなるほど、またそのために必要とされる垂直方向の点解像度が高くなるほど、より多くの光ファイバ端部が使用される。しかしながら、使用されるSLMプロジェクタの数に応じて、またプロジェクタの、使用されるホログラムの併用に応じて、それらの光ファイバのうちの少数(2~32)しか並行して使用されない。また、それらの光ファイバは、高周波で選択されなければならない。これに関する観念的な基礎は、光学スイッチであり、最終的には、種々の形態のスイッチの混合形態が使用される。
【0055】
第1のスイッチ段階としての結合フィールド:AR眼鏡では、結合フィールド(28)が、ファイバ端部への像の結合のプロセスの他に、ファイバ端部の選択の機能も実現する。この選択は、ホログラム投影では、既に像計算において考慮され、したがって非常に効果的であるが、計算方式に非常に強く組み込まれている。結合フィールド(28)は、しかしながら、ファイバ毎の可能な限り大きい光学系に起因して、選択可能なファイバの数が限定されている。
【0056】
第2のスイッチ段階:結合フィールドからの光ファイバを、投影出射点までの経路において、必要とされる投影の最終的な数に達するようにするために、種々のやり方で分岐させることができる。これは個々のスイッチおよびツリー構造を介して行うことができる。しかしながら、複数の分岐を備えたスイッチも使用することができる。
【0057】
能動的なスイッチ:光束を完全に分岐させる能動的なスイッチが最善である。しかしながら多くの技術は、100%弱しか達成できず、その場合、残りの光は許容しなければならないか、または付加的な遮断層によってブロックされなければならない。
【0058】
MEMS技術:MEMS製造技術では、スキームは、設置されるファイバの数も大幅に低減できるようにさらに最適化することができる。これは、スイッチが出射点のすぐ前に設置されることによって達成される。
【0059】
スイッチおよび角度:MEMSまたはマイクロ光学系の特に小さい構造形態によって、直接的にクローキングチューブにおいて、能動的なスイッチおよび90°の偏向を組み合わせることができる(16)。90°の偏向は臨界点でもあることから、一石二鳥である。光ファイバ線路が大幅に節約されることによって、ファイバは、より太くすることができ、またそれによって、より高い解像度の像を案内することができる。
【0060】
周囲ファイバおよび焦点ファイバの組み合わせ:光ファイバが大量に統合される場合、焦点プロジェクタおよび周囲プロジェクタのために光ファイバを統合することができる。すなわち、このタイプのプロジェクタは、結合光学系および出射光学系のみが異なる。その場合、焦点プロジェクタのための煩雑な結合光学系を、より簡潔な周囲プロジェクタのために利用することもできる。
【0061】
ファイバの統合:焦点プロジェクタおよび周囲プロジェクタを統合するために、2つの光ファイバを1つにマージすることもできる。
【0062】
スイッチ技術:種々の物理的な方式を、スイッチ設定のために利用することができる。
【0063】
WT1 ピエゾアクチュエータ:光学系は、物理的に相互にずらされる。つまり、全体のフィールドを、ピエゾアクチュエータでもって広範にずらすことができる。
【0064】
WT2 FLCD:選択は、FLCD絞りを単純に開閉することによって行うことができる(27)。
【0065】
WT3 FTIR:調整可能な漏れ全反射または内部全反射FTIR。
【0066】
WT4 エレクトロクロミックミラー:エレクトロクロミック層による切り替え。
【0067】
WT5 MEMS:ミラーまたは他の要素のマイクロメカニカル式の回転、降下またはシフト。
【0068】
WT6 DMD:全体のフィールドとして、または大きいミラーとしてのDMDミラー(16)の傾斜。
【0069】
スイッチツリー:複数のスイッチシステムを組み合わせることによって、多くの分岐を実現することができる。
【0070】
WB1 カスケード式のスイッチ:1つのストランドにおいて多数の分岐を有するようにするために(10)、1種類のスイッチを多重に連続して接続することができる。これは、スイッチの種類が、スイッチ端部への信号の転送を殊に効果的に行える場合には殊に効果的である。
【0071】
WB2 ツリーの分岐:すべてのスイッチ端部がさらに分岐される。
【0072】
[23]クローキングチューブの嵌め込みにおける特別なスイッチ形状
AR眼鏡は、最後のスイッチを、カスケード式にクローキングチューブ嵌め込み部に取り付けることができ、これをMEMS技術および/またはウェハレベルオプティクス技術で作製することができる(10)。投影光学系は、付加的に、例えばナノ勾配ポリマープリンタでもって、UV硬化ベースで洗練することができる。スイッチは、同様に、約90°の回転を実行することができる。このために、以下の設計のヴァリエーションが有利である。
【0073】
出力光学系および再結合光学系を備えたDMDミラー:
スイッチの機能は、1つの大きいDMDミラーによって、またはDMDミラーの1つのパターンによって実施される。この場合、ミラーを種々の位置に傾斜させることができる。この場合、個々のミラーは、焦点合わせされたシェル形状を有することができるか、またはミラーアレイは、同様に所望の焦点合わせを実行することができる。傾斜方向に応じて、焦点合わせは異なる結果になると考えられる。
【0074】
出力を焦点合わせによって、直接的にまたは別の光学系を介して、最終的な投影として利用することができる。ミラーの制御を個別に行う必要はなく、すべてのミラーに対して一緒に行うだけでよい。
【0075】
波面は、転送時に、再び結合光学系に案内される。拡張およびシステムにおけるより大きい導波体によって、波面をあまり急峻にトリミングしなくて済む。波面を、急峻な全反射ミラーによって、DMDに案内することができる。これに対して、出力された波面は、急峻な角度に起因して、ミラーを通過することができる。
【0076】
[24]精製された光ファイバ先端
光ファイバの端部に、ナノ光学ポリマープリンタでもって、精密なレンズ光学系を設けることができる。プリンタは、勾配光学系も印刷することができ、また複雑な光波束が妨害されずに、開口部の大きさによって制限される、システム全体の解像度能力が向上するように、ファイバの開口部を拡大および構成することができる。この場合、幾何学は伝送マトリクスによって再び確立されるので、この幾何学の維持に注意する必要はない。
【0077】
[25]ホログラム最適化FLCOSおよびDMDシステム
公知のSLMシステムは、主に、通常のビデオ投影のために開発されたものである。それらは、CGHの用途にも良好に利用することができる。それにもかかわらず、AR眼鏡に関して、SLMシステムはCGH用途について、また光ファイバ結合のために最適化されるべきである。何故ならば、波面によって、単一の視点しか利用されず、また残りの視点は、通常のプロジェクタとは異なり無関係だからである。
【0078】
KF2 複素変調されたFLCOS SLM
独立して調整可能である振幅変調および位相変調を達成するために、それぞれが反対方向に偏光を回転させることができる、2つの厚いFLCDの層が使用される。つまり、純粋な位相変調は、両方の層の等しい強さのアクティブ化によって達成することができる。この場合、光の偏光は、先ず、一方の方向に回転され、続いて、再び正確に逆方向に回転される。最終的には、偏光は等しいままである。両方の層の屈折率のみが、したがって位相シフトのみが、活性化の強さに応じて変化する。この場合、両方の層の異なる強さの活性化は、付加的に偏光回転を生じさせ、それと共に振幅変調も生じさせる。
【0079】
KD2 種々の光源
種々の方向から種々の光源を利用することによって、それらの光源を相応に組み合わせた場合、多くの異なる振幅強度を生じさせることができる。異なる光源は、異なる位相シフトも提供することができ、これによって、異なる位相を有する結合パターンが生成される。
【0080】
KD3 バイナリ位相変調されたMEMS-SLM
簡略化されたヴァリエーションは、マイクロミラーを2つの位相シフト位置の間で切り替え、例えば利用される波長の0とπとの間でのみ切り替える。第3の状態として、ミラーは依然として完全に傾斜させることができ、それによって、付加的にバイナリ振幅変調器として機能する。
【0081】
CM1:複数の方向に傾斜するマイクロミラー:ミラーは、2つの方向に傾斜するだけでなく、照明光前線からより多くの異なる位相または振幅を選び出すことができるようにするために、複数の方向に傾斜することができる。