(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022081556
(43)【公開日】2022-05-31
(54)【発明の名称】ハイブリッドフォトニックＶＲ／ＡＲシステム
(51)【国際特許分類】
G09G 5/00 20060101AFI20220524BHJP
【ＦＩ】
G09G5/00 555D
G09G5/00 520V
G09G5/00 520W
G09G5/00 510A
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022031648
(22)【出願日】2022-03-02
(62)【分割の表示】P 2018568159の分割
【原出願日】2017-03-15
(31)【優先権主張番号】62/308,585
(32)【優先日】2016-03-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/308,687
(32)【優先日】2016-03-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/308,361
(32)【優先日】2016-03-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/308,825
(32)【優先日】2016-03-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/457,991
(32)【優先日】2017-03-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/458,009
(32)【優先日】2017-03-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/457,980
(32)【優先日】2017-03-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/457,967
(32)【優先日】2017-03-13
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】519455586
【氏名又は名称】フォトニカ，インコーポレイテッド
(74)【代理人】
【識別番号】110000659
【氏名又は名称】特許業務法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】エルウッド，サザーランド クック
(57)【要約】 （修正有）
【課題】拡張現実と仮想現実という２つの関連分野を組み合わせて、両分野における従来技術の重要な問題及び制限を解決する一体化モバイル装置の解決策に取り組みかつこれを提供する。
【解決手段】ＶＲ／ＡＲシステム、方法、アーキテクチャは、合成世界画像組成信号を作成しつつ、現実世界画像組成信号を同時に受信かつ処理し、その後、これらの信号をさらに処理するためにインターリーブ／増強する、オーグメンタを含む。いくつかの実施態様では、現実世界信号（オーグメンタによって処理される可能性を有しつつ通過する）は、ＨＶＳ用に意図された表示画像プリカーサのセットを作成するための、可視化（可視スペクトルへの変換）、振幅／帯域幅処理、及び出力整形を含む継続的処理のために、赤外線に変換され（例えば、偽カラーマップを用いて）かつ合成世界信号（赤外線に作成される）でインターリーブされる。
【選択図】図５
【解決手段】ＶＲ／ＡＲシステム、方法、アーキテクチャは、合成世界画像組成信号を作成しつつ、現実世界画像組成信号を同時に受信かつ処理し、その後、これらの信号をさらに処理するためにインターリーブ／増強する、オーグメンタを含む。いくつかの実施態様では、現実世界信号（オーグメンタによって処理される可能性を有しつつ通過する）は、ＨＶＳ用に意図された表示画像プリカーサのセットを作成するための、可視化（可視スペクトルへの変換）、振幅／帯域幅処理、及び出力整形を含む継続的処理のために、赤外線に変換され（例えば、偽カラーマップを用いて）かつ合成世界信号（赤外線に作成される）でインターリーブされる。
【選択図】図５
【特許請求の範囲】
【請求項1】
現実世界環境からチャネル化された画像組成信号の第１のセットを作成するための 第１のインターフェースと、
合成世界環境からチャネル化された画像組成信号の第２のセットを作成するための第２のインターフェースと、
前記インターフェースに結合された信号処理マトリックスであって、前記チャネル化された画像組成信号をチャネル化された画像組成信号の処理済みセットとしてチャネル化し、処理し、インターリーブし、かつ配信するように構成された分離された光チャネルの信号処理マトリックスと、
前記信号処理マトリックスに結合された信号マニピュレーション構造のセットであって、前記チャネル化された画像組成信号の処理済みセットから人間視覚システムのために表示画像プリミティブのセットを作成するように構成された、信号マニピュレーション構造のセットと
を備える、フォトニック拡張現実システム。
合成世界環境からチャネル化された画像組成信号の第２のセットを作成するための第２のインターフェースと、
前記インターフェースに結合された信号処理マトリックスであって、前記チャネル化された画像組成信号をチャネル化された画像組成信号の処理済みセットとしてチャネル化し、処理し、インターリーブし、かつ配信するように構成された分離された光チャネルの信号処理マトリックスと、
前記信号処理マトリックスに結合された信号マニピュレーション構造のセットであって、前記チャネル化された画像組成信号の処理済みセットから人間視覚システムのために表示画像プリミティブのセットを作成するように構成された、信号マニピュレーション構造のセットと
を備える、フォトニック拡張現実システム。
【請求項2】
仮想現実モードでの合成世界を含む操作世界を可視化するフォトニックシステムであって、
前記合成世界からチャネル化された合成世界画像組成信号のセットを作成するオーグメンタであって、当該チャネル化された合成世界画像組成信号のセットはそれぞれ、望ましい属性のオーグメンタ・セットを有しており、チャネル化されたオーグメンタ画像組成信号の出力セットにおける前記チャネル化された合成世界画像組成信号のセットを含む、オーグメンタと、
前記オーグメンタに結合されたビジュアライザであって、それぞれが望ましい属性のビジュアライザ・セットを有するチャネル化されたビジュアライザ画像組成信号の出力セットを作成する各前記チャネル化されたオーグメンタ画像組成信号についての前記望ましい属性のオーグメンタ・セットからの周波数／波長変調又は周波数／波長変換属性を修正するために、前記チャネル化されたオーグメンタ画像組成信号の出力セットを処理する、ビジュアライザと、
前記ビジュアライザに結合された出力コンストラクタであって、前記チャネル化されたビジュアライザ画像組成信号の出力セットから表示画像プリミティブのセットを作成する、出力コンストラクタと
を備える、フォトニックシステム。
前記合成世界からチャネル化された合成世界画像組成信号のセットを作成するオーグメンタであって、当該チャネル化された合成世界画像組成信号のセットはそれぞれ、望ましい属性のオーグメンタ・セットを有しており、チャネル化されたオーグメンタ画像組成信号の出力セットにおける前記チャネル化された合成世界画像組成信号のセットを含む、オーグメンタと、
前記オーグメンタに結合されたビジュアライザであって、それぞれが望ましい属性のビジュアライザ・セットを有するチャネル化されたビジュアライザ画像組成信号の出力セットを作成する各前記チャネル化されたオーグメンタ画像組成信号についての前記望ましい属性のオーグメンタ・セットからの周波数／波長変調又は周波数／波長変換属性を修正するために、前記チャネル化されたオーグメンタ画像組成信号の出力セットを処理する、ビジュアライザと、
前記ビジュアライザに結合された出力コンストラクタであって、前記チャネル化されたビジュアライザ画像組成信号の出力セットから表示画像プリミティブのセットを作成する、出力コンストラクタと
を備える、フォトニックシステム。
【請求項3】
前記望ましい属性のオーグメンタ・セットはそれぞれ、各前記チャネル化された合成世界画像組成信号の周波数／波長属性を含み、前記望ましい属性のオーグメンタ・セットの前記周波数／波長属性はすべて、電磁スペクトルのうち人間視覚システムを基準とした不可視部分にあり、かつ前記周波数／波長変調又は前記周波数／波長変換属性はすべて、電磁スペクトルのうち人間視覚システムを基準とした可視部分にある、前記周波数／波長属性を有する前記望ましい属性のビジュアライザ・セットを作成する、請求項２に記載のフォトニックシステム。
【請求項4】
前記操作世界はさらに、拡張現実モードの現実世界を含み、
前記現実世界からチャネル化された現実世界画像組成信号のセットを作成する現実世界インターフェースであって、前記チャネル化された現実世界画像組成信号のセットはそれぞれ、望ましい属性の現実世界セットを有する、現実世界インターフェースをさらに備え、
前記オーグメンタは、前記チャネル化された現実世界画像組成信号のセットを受信し、かつ前記チャネル化されたオーグメンタ画像組成信号の出力セットにおいて前記チャネル化された現実世界画像組成信号のセットを選択的に含む、請求項２に記載のフォトニック
システム。
前記現実世界からチャネル化された現実世界画像組成信号のセットを作成する現実世界インターフェースであって、前記チャネル化された現実世界画像組成信号のセットはそれぞれ、望ましい属性の現実世界セットを有する、現実世界インターフェースをさらに備え、
前記オーグメンタは、前記チャネル化された現実世界画像組成信号のセットを受信し、かつ前記チャネル化されたオーグメンタ画像組成信号の出力セットにおいて前記チャネル化された現実世界画像組成信号のセットを選択的に含む、請求項２に記載のフォトニック
システム。
【請求項5】
前記望ましい属性の現実世界セットはそれぞれ、各前記チャネル化された現実世界画像組成信号の周波数／波長属性を含み、前記望ましい属性のオーグメンタ・セットはそれぞれ、各前記チャネル化された合成世界画像組成信号の周波数／波長属性を含み、前記望ましい属性のオーグメンタ・セットの前記周波数／波長属性はすべて、電磁スペクトルのうち人間視覚システムを基準とした不可視部分にあり、かつ前記周波数／波長変調又は前記周波数／波長変換属性はすべて、前記電磁スペクトルのうち前記人間視覚システムを基準とした可視部分にある、前記周波数／波長属性を有する前記望ましい属性のビジュアライザ・セットを作成する、請求項４に記載のフォトニックシステム。
【請求項6】
前記現実世界インターフェースは、前記現実世界の電磁波面の複合合成セットを前記チャネル化された現実世界画像組成信号のセットに変換し、前記電磁波面の複合合成セットは、前記電磁スペクトルの前記可視部分におけるかつ前記電磁スペクトルの前記不可視部分における周波数／波長を有する波面を含み、かつ前記現実世界インターフェースは、前記チャネル化された現実世界画像組成信号のセットの一因となる、前記電磁スペクトルの前記可視部分を有する前記波面の入力を抑制する入力構造を含む、請求項５に記載のフォトニックシステム。
【請求項7】
前記現実世界インターフェースは、前記現実世界の電磁波面の複合合成セットを前記チャネル化された現実世界画像組成信号のセットに変換し、前記電磁波面の複合合成セットは、前記電磁スペクトルの前記可視部分におけるかつ前記電磁スペクトルの前記不可視部分における周波数／波長を有する波面を含み、前記現実世界インターフェースは、前記チャネル化された現実世界画像組成信号のセットの一因となる、前記電磁スペクトルの前記不可視部分を有する前記波面の入力を抑制する入力構造を含み、かつ前記現実世界インターフェースは、前記電磁スペクトルの前記可視部分における前記波面を、前記電磁スペクトルの前記不可視部分における信号に変換しかつマッピングする、請求項５に記載のフォトニックシステム。
【請求項8】
現実世界環境からチャネル化された画像組成信号の第１のセットを作成することと、
合成世界環境からチャネル化された画像組成信号の第２のセットを作成することと、
分離された光チャネルの信号処理マトリックスを用いて、チャネル化された画像組成信号の処理済みセットとして前記チャネル化された画像組成信号を処理することと、
前記チャネル化された画像組成信号の処理済みセットから人間視覚システムのために表示画像プリミティブのセットを作成することと
を含む、方法。
合成世界環境からチャネル化された画像組成信号の第２のセットを作成することと、
分離された光チャネルの信号処理マトリックスを用いて、チャネル化された画像組成信号の処理済みセットとして前記チャネル化された画像組成信号を処理することと、
前記チャネル化された画像組成信号の処理済みセットから人間視覚システムのために表示画像プリミティブのセットを作成することと
を含む、方法。
【請求項9】
実質的に本書に開示される通りの前記装置。
【請求項10】
実質的に本書に開示される通りの前記方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０１７年３月１３日にすべて出願された米国特許出願第１５／４５７，９６７号、第１５／４５７，９８０号、第１５／４５７，９９１号、及び第１５／４５８，００９号の利益を主張し、かつ２０１６年３月１５日にすべて出願された米国特許出願第６２／３０８，８２５号、第６２／３０８，３６１号、第６２／３０８，５８５号、及び第６２／３０８，６８７号の利益を主張し、かつ本出願は米国特許出願第１２／３７１，４６１号、第６２／１８１，１４３号、及び第６２／２３４，９４２号に関係し、これらの出願の内容はすべての目的のためにその全体として参照することによりすべて本明細書に明示的に組み込まれている。
本出願は、２０１７年３月１３日にすべて出願された米国特許出願第１５／４５７，９６７号、第１５／４５７，９８０号、第１５／４５７，９９１号、及び第１５／４５８，００９号の利益を主張し、かつ２０１６年３月１５日にすべて出願された米国特許出願第６２／３０８，８２５号、第６２／３０８，３６１号、第６２／３０８，５８５号、及び第６２／３０８，６８７号の利益を主張し、かつ本出願は米国特許出願第１２／３７１，４６１号、第６２／１８１，１４３号、及び第６２／２３４，９４２号に関係し、これらの出願の内容はすべての目的のためにその全体として参照することによりすべて本明細書に明示的に組み込まれている。
【0002】
本発明は概してビデオ及びデジタル画像、並びにこれらのデータを生成し、送信し、切り替え、割り当て、記憶し、かつ表示するデータ処理装置及びネットワーク、並びに感知アレイ及び空間光変調器などのアレイでの非ビデオ及び非ピクセルデータ処理、並びにこれらのためのデータの適用及び使用に関し、また特に（但し排他的にではない）、デジタル映像ディスプレイ（フラットスクリーン、フレキシブルスクリーン、２Ｄもしくは３Ｄ、又は投影画像のいずれかを問わない）及び素子アレイによる非表示データ処理に関し、かつこれらのプロセスの組織化及び配置の空間形態（フラットスクリーンテレビ及びコンシューマーモバイルデバイスなどのコンパクト装置を含む）、並びにピクセル信号もしくはデータ信号又はこれらの集約又は集まりの画像取込、送信、割当、分割、組織化、記憶、配送、表示及び投射を提供するデータネットワークに関する。
【背景技術】
【0003】
背景セクションで論じられる主題は、背景セクションにおいて指摘されたという結果のみで従来技術であると想定すべきではない。同様に、背景セクションにて指摘された又は背景セクションの主題に関連付けられた課題は、従来技術において事前に認識されてきたものと想定すべきではない。背景セクションにおける主題は単に、それ自体が発明でもあり得る異なるアプローチを表している。
【0004】
本発明分野は１つではなく、むしろ拡張現実と仮想現実という２つの関連分野を組み合わせたものであり、両分野における従来技術の重要な問題及び制限を解決する一体化モバイル装置の解決策に取り組みかつこれを提供する。これらの関連分野の背景を簡単に見直すことで、解決すべき課題及び制限が明らかになり、かつ本開示の解決案の準備となることだろう。
【0005】
これらの用語の２つの標準的辞書の定義（出典：Ｄｉｃｔｉｏｎａｒｙ．ｃｏｍ）は、以下の通りである。
【0006】
仮想現実：「対話型ソフトウェア及びハードウェアを用いたコンピュータシステムによる３次元グラフィックを含む環境の現実的シミュレーション。略語：ＶＲ」
【0007】
拡張現実：「現実世界環境でコンピュータ生成された画像、音声又はその他のデータを重ねることによって、スクリーン又はその他のディスプレイ上で見られるように拡張された画像又は環境。そして：「このような拡張環境を作成するために使用されるシステム又はテクノロジー。略語：ＡＲ」
【0008】
上記定義（非技術的なものであるが）から、関連分野の当業者にとって、最も重要な違
いは、シミュレートされた要素が、現実の部分的直視でさえ完全にスクリーニングする完全かつ没入型のシミュレーションであるか、又はシミュレートされた要素が、さもなければクリアで遮るもののない現実のビューにスーパーインポーズされているか否かであることが明白である。
いは、シミュレートされた要素が、現実の部分的直視でさえ完全にスクリーニングする完全かつ没入型のシミュレーションであるか、又はシミュレートされた要素が、さもなければクリアで遮るもののない現実のビューにスーパーインポーズされているか否かであることが明白である。
【0009】
このトピックに関するＷｉｋｉｐｅｄｉａ の見出し語で、そのページの編集への貢献の深さと範囲を前提として、当該分野をよく表していると見なされる、若干より技術的な定義が提供されている。
【0010】
仮想現実（ＶＲ）（没入型マルチメディアという場合もある）は、現実世界又は想像世界の場所での物理的存在をシミュレートできるコンピュータでシミュレートされた環境である。仮想現実は、仮想の味覚、視覚、嗅覚、聴覚、触覚などの知覚経験を再現できる。
【0011】
拡張現実（ＡＲ）は、音声、ビデオ、グラフィック又はＧＰＳデータなどのコンピュータ生成された知覚入力によってその要素が増強（又は補足）された、物理的現実世界環境のライブの直視又は間接視である。
【0012】
これらの定義に固有であるが単に黙示的であることは、モバイル視点の非常に重要な属性である。より一般的なクラスのコンピュータシミュレーション（「リアルタイム」の、現実の「直接」イメージング（ローカル又はリモートのいずれか）との組み合わせ、融合、合成、又は一体化の有無を問わない）と、仮想又は拡張現実を区別するのは、シミュレートされた又はハイブリッドの（増強された又は「混合の」）現実の「同時現実」画像であり、ビューアーが現実世界内で移動するにつれて、ビューアーと共にビューアーの視点も移動するという点である。
【0013】
本開示は、このより正確な定義が、没入型で表示され経験されたシミュレートされた世界の静止ナビゲーション（シミュレータ）と、シミュレートされた世界（仮想現実）のモバイルナビゲーションとを区別するために必要であることを提案している。そしてシミュレータのサブカテゴリは、シミュレートされた世界の部分的に「仮想現実的な」ナビゲーションを可能にする、静止ユーザが没入型ＨＭＤ（ヘッドマウントディスプレイ）及びハプティックインターフェース（例えば、モーション追跡グローブ）を装着した、「個人シミュレータ」又はせいぜい「部分仮想現実」となるであろう。
【0014】
他方では、ＣＡＶＥシステムが、制限付き仮想現実システムとして概略的に適していると見なされるであろう。なぜならば、ＣＡＶＥのサイズを超えたナビゲーションが、可動床によってのみ可能になるであろうからであり、ＣＡＶＥ自体の限度に達してしまうと、その後に続くのはまた別の形態の「部分仮想現実」となる。
【0015】
「モバイル」視点と「可動」視点との差に注意。シミュレートされた世界の探索者が個人的に動いているのでない限り、又は別の人もしくはロボットの動作を指示しているのでない限り、ビデオゲームなどのコンピュータシミュレーションは、シミュレートされた世界又は「現実」であり、そこで言えることは（過去４０年間でのコンピュータグラフィックの主要な成果のうちのこの成果は、ソフトウェアにおいて探索可能であるシミュレートされた世界を単に「構築する」ことであるが）、シミュレートされた世界は「ナビゲーション可能」ということである。
【0016】
シミュレーションは仮想又はハイブリッド（著者の好みの用語）現実のいずれかであるため、非常に重要で決定的な特徴とは、現実空間へのシミュレーションのマッピング（完全に合成か又はハイブリッドかを問わず）があるということである。このような現実空間は、研究室又はサウンドステージ内の部屋と同じくらい基本的で、かつシミュレートされ
た世界に対してある比率でマッピングしかつ較正を行う単なるグリッドであり得る。
た世界に対してある比率でマッピングしかつ較正を行う単なるグリッドであり得る。
【0017】
この区別は評価的ではなく、なぜならば、モバイルではなく又は実際の現実トポグラフィー（自然か、人工であるか、又はハイブリッドであるか否かを問わず）へのマッピングなしに、リアルタイム自然インターフェース（ヘッドトラッキング、触覚の、聴覚の等）を提供する部分的ＶＲは、物理的相互作用をシミュレートしかつ及び知覚没入を提供する部分的ＶＲシステムよりも根本的に価値が低くはないからである。しかし、足病治療フィードバックシステム無しでは、又はより普遍的には全身動作範囲フィードバックシステム、及び／又はユーザのシミュレートされた、（その感覚として）地形（静止している）上での全身動作（立っているか、座っているか又はリクライニングしているかを問わず）をサポートする動的変形可能機械インターフェース・相互作用面無しでは、ＶＲシステムは定義上、「部分的」である。
【0018】
しかし、このような理想的な全身物理的インターフェース／フィードバックシステムが無い場合、ＶＲを「完全」な全モバイルバージョンに制限することは、ＶＲ世界の地形を、現実世界で見つけることができる地形（修正されたか又はゼロから構築した）に制限することになるであろう。このような制限は、概して仮想現実経験の範囲及び力をひどく制限してしまうことになるであろう。
【0019】
しかし、以降の開示で明白になるが、この区別は変化をもたらす。なぜならば、この区別は、既存のＶＲシステムとＡＲシステムがいかに異なるか、そしてこれらの制限についての「明快な境界基準」を設定し、並びに本開示の教示を知らせるための背景を提供するからである。
【0020】
欠如しているが非常に重要なシミュレーションの特徴及び要件が、完全な「仮想現実」であることを証明してきたが、次のステップは、実現される「モバイル視点」というのが何を意味するのかという黙示的問題を特定することである。その答えは、モバイルであるシミュレーションのビューを提供することであり、これはそれ自体がハードウェアとソフトウェアの組み合わせによって実現される２つの構成要素、すなわち、動画表示手段（これによってシミュレーションを見ることができる）と、モーション追跡手段（３軸の動作でのディスプレイを含む装置の動きを追跡できる）とを必要とし、これは、３次元視聴装置の経時的位置を最低でも３つの追跡点（装置がマッピングされて測定がなされ、３番目の軸の３番目の位置が推測される場合には、２つの追跡点）で測定することを意味し、そして基準３軸フレーム（現実空間にマッピングされる任意の３Ｄ座標系であり得る）に関連して、空間のナビゲーションを機械的に行うという実用目的上、２軸は地面である平面を形成し、３番目の軸であるＺ軸は、その地面に対して垂直となる。
【0021】
正確にかつ時間機能として頻繁にこの位置的配向を実際的に達成するための解決策には、センサとソフトウェアの組み合わせが必要であり、これらの解決策における前進は、ＶＲ及びＡＲハードウェア／ソフトウェアモバイル視聴装置及びシステムの両方の分野の開拓における主要な軌道を表す。
【0022】
これらは、初期の実験と現在の実用的テクノロジー及び製品との間のタイム・フレームの観点から言うと比較的新しい分野であり、モバイル視覚シミュレーションシステムの両カテゴリーにおける起源と最新技術について書き留めることで十分であり、唯一の例外としては、本開示の開発にとって重要であるか、又は分野における現在の問題又は従来技術から本開示の解決策を区別するもののいずれかをより良く説明するために役に立つ重要な相違点又は類似点に関連する、従来技術における特定の革新である。
【0023】
１９６８年以降から９０年代後半までの期間は、関連シミュレーション及びシミュレー
タ、ＶＲ及びＡＲ分野における多くの革新の期間であり、この期間中に、部分的ＶＲ及びＡＲを達成する際の重要な問題の多くが、最初の又は部分的な解決策を見つけた。
タ、ＶＲ及びＡＲ分野における多くの革新の期間であり、この期間中に、部分的ＶＲ及びＡＲを達成する際の重要な問題の多くが、最初の又は部分的な解決策を見つけた。
【0024】
１９６８年以降のＩｖａｎ Ｓｕｔｈｅｒｌａｎｄ及び彼の助手のＢｏｂ Ｓｐｒｏｕｅｌｌの独創的で影響力の強い実験及び実験的ヘッドマウント表示システムは、これらの関連分野の起源を記すものと一般的に見なされているが、より早い時期の取り組みでは、本質的に概念的な開発がこれに先立ち、没入感及びナビゲーションを達成するＡＲ／ＶＲのいずれかの形態の最初の実験的実施がある。
【0025】
静止シミュレータシステムの誕生は、フライトシミュレータへのコンピュータ生成されたイメージングの追加まで遡り、これは一般的に１９６０年代半ば～後半に始まったと認識されている。これはユーザからＣＲＴへの距離で完全に焦点が合った画像を表示する、ＣＲＴの使用に制限されていたが、１９７２年になって、Ｓｉｎｇｅｒ－Ｌｉｎｋ Ｃｏｍｐａｎｙが、ビームスプリッタミラーシステムを通して遠方焦点画像を投影するコリメート投影システムを初公開し、これは各ユニットにつき約２５～３５度まで視野を改良した（一人乗り用シミュレータで用いられる３ユニットで１００度）。
【0026】
このベンチマークは、１９８２年になって初めて、ビューシステムの広視野を導入した広角インフィニティディスプレイシステムでＲｅｄｉｆｆｕｓｉｏｎ Ｃｏｍｐａｎｙによって改良され、このシステムは、複数のプロジェクタと大きな曲面コリメートスクリーンを使用することで、１５０度のＦＯＶ，そして最終的には２４０度のＦＯＶを実現した。この段階になって、静止シミュレータは、ビューアーを隔離し、かつ周辺からの視覚的キューとなる気を散らすものを排除するためにＨＭＤを使用することで、仮想現実におけるリアルな没入感の重要な程度を最終的に達成したと説明されるかもしれない。
【0027】
しかし、Ｓｉｎｇｅｒ－Ｌｉｎｋ ＣｏｍｐａｎｙがＶＲ型体験への足掛かりとしてシミュレータ用のスクリーンコリメーションシステムを紹介する頃には、最初の非常に制限された商用ヘルメットマウントディスプレイが軍事使用のために初めて開発されつつあり、これは、レチクルベースの電子標的システムをヘルメットのモーション追跡自体と一体化した。これらの最初の開発は、１９７０年代に南アフリカ空軍によって（これに続いて、当該時点から７０年代半ばにかけてイスラエル空軍によって）初歩的な形態で達成されたと一般的に認識されており、初歩的ＡＲ又は媒介／ハイブリッドリアリティシステムの開始と言ってもよい。
【0028】
これらの初期の、グラフィック的には最小限度だが、それでもなお独創的で影響力の強いヘルメットマウントシステムは、レチクルに重ねられた位置的に調整された標的情報と、ユーザ作動のモーション追跡ターゲティングとの制限的複合を実施し、その後に、眼鏡にグラフィックをスーパーインポーズした、最初の「媒介現実」モバイルビュースルーシステムである第一世代「ＥｙｅＴａｐ」のＳｔｅｖｅ Ｍａｎｎによる本発明がある。
【0029】
Ｍａｎｎによる後のバージョンは、ビームスプリッタ／コンバイナ光融合現実及び処理済みイメージに基づく光再結合システムを用いた。この研究の後に、Ｃｈｕｎｙｕ ＧａｏとＡｕｇｍｅｎｔｅｄ Ｖｉｓｉｏｎ Ｉｎｃによる研究があり、これは基本的に、処理済み実像と生成画像とを光学的に組み合わせる二重Ｍａｎｎシステムを提案しており、ここでＭａｎｎのシステムは電子的に処理済み実像と生成画像の両方を達成した。Ｍａｎｎのシステムでは、イメージを通しての実景が保持されたが、Ｇａｏのシステムでは、すべてビュースルーイメージが処理されて、オプションとしてさえも直接ビュースルーイメージが排除された。（２０１３年４月１３日に出願されたＣｈｕｎｙｕ Ｇａｏの米国特許出願第２０１４０１７７０２３号）。Ｇａｏのシステムによって特定された「光路折り畳み光学体」構造及び方法は、その他の光学ＨＭＤシステムでも見られる。
【0030】
１９８５年までに、Ｊａｒｏｎ ＬａｎｉｅｒとＶＰＬ Ｒｅｓｅｅａｒｃｈが結成されてＨＭＤと「データグローブ」が開発されたため、１９８０年代までには、非常に活発な開発分野の中でも、最も重大な進歩のうちのいくつかで高い評価を得て、かつ大半の場合に現在まで最新技術として生き残っているいくつかの基本的ソリューションタイプを確立した、Ｍａｎｎ、Ｌａｎｉｅｒ、そしてＲｅｄｅｆｕｓｓｉｏｎ Ｃｏｍｐａｎｙによる、シミュレーション、ＶＲ及びＡＲの３つの主要な開発路が存在していた。
【0031】
コンピュータ生成されたイメージング（ＣＧＩ）の精巧化、リアルタイム対話型ＣＧテクノロジーでのゲーム機（ハードウェア及びソフトウェア）における継続的改良、複数のシステムの中でのより大きいシステム一体化、並びにＡＲと（より制限された程度での）ＶＲの両方の可動性の拡張は、１９９０年代の主要な開発トレンドに含まれていた。
【0032】
モバイルＶＲの制限形態とシミュレータの新しい種類の両方であったのは、シカゴのイリノイ州立大学のＥｌｅｃｔｒｏｎｉｃ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｌａｂｏｒａｔｏｒｙが開発し、１９９２年に世界にデビューしたＣＡＶＥシステムであった。（Ｃａｒｏｌｉｎａ Ｃｒｕｚ－Ｎｅｉｒａ、Ｄａｎｉｅｌ Ｊ． Ｓａｎｄｉｎ， Ｔｈｏｍａｓ Ａ． ＤｅＦａｎｔｉ、Ｒｏｂｅｒｔ Ｖ． Ｋｅｎｙｏｎ及びＪｏｈｎ Ｃ． Ｈａｒｔ、「Ｔｈｅ ＣＡＶＥ： Ａｕｄｉｏ Ｖｉｓｕａｌ Ｅｘｐｅｒｉｅｎｃｅ Ａｕｔｏｍａｔｉｃ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ（ＣＡＶＥ：オーディオビジュアル体験自動仮想環境）」、Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ、第３５（６）号、１９９２年６４～７２頁）。ＬａｎｉｅｒのＨＭＤ／データグローブの組み合わせに代わって、ＣＡＶＥは、ＷＦＯＶマルチウォールシミュレータ「ステージ」とハプティックインターフェースとを組み合わせた。
【0033】
同時に、静止部分ＡＲの一形態が、アームストロング米国空軍研究所にてＬｏｕｉｓ Ｒｏｓｅｎｂｅｒｇによって、「Ｖｉｒｔｕａｌ Ｆｉｘｔｕｒｅｓ」システム（１９９２年）として開発され、その一方で、Ｊｏｎａｔｈａｎ Ｗａｌｄｅｒｎの静止「Ｖｉｒｔｕａｌｉｔｙ」ＶＲシステム（１９８５年から１９９０年までの早い時期に最初の開発がなされたと認識されている）も、１９９２年に商的にデビューした。
【0034】
実際の車両と仮想車両を「増強されたシミュレーション」（「ＡＵＧＳＩＭＭ」）に組み合わせてマルチユニットモバイル車両「戦争ゲーム」システムに一体化したモバイルＡＲでは、１９９３年に業界でデモンストレーションされたＬｏｒａｌ ＷＤＬ の形態で、次の主要な前進が見られた。その後１９９９年に、最終的１９９５年ＳＢＩＲレポートの研究結果についてコメントした、Ｐｅｃｕｌｉａｒ Ｔｅｃｈｎｏｌｏｇｉｅｓのプロジェクト参加者Ｊｏｎ Ｂａｒｒｉｌｌｅａｕｘによって、「Ｅｘｐｅｒｉｅｎｃｅｓ ａｎｄ Ｏｂｓｅｒｖａｔｉｏｎｓ ｉｎ Ａｐｐｌｙｉｎｇ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ｔｏ Ｌｉｖｅ Ｔｒａｉｎｉｎｇ（ライブトレーニングへの拡張現実の適用における体験及び観察）」が書かれ、現時点にまで至るまでも継続してモバイルＶＲ及び（モバイル）ＡＲが直面している課題である以下の内容を記した。
【0035】
ＡＲ対ＶＲ追跡
【0036】
概して、ＶＲ用に開発された市販製品は良好な解像度を有するが、ＡＲに必要な絶対精度及び広域カバレッジは欠いており、ＡＵＧＳＩＭでの使用についてはより少なくなっている。
【0037】
ユーザが合成環境に没入するＶＲアプリケーションについては、絶対精度よりも相対追跡の方がより関心が持たれている。ユーザの世界は完全に合成であり、自分の頭を０．１
度だけ回したことが、たとえ１０度以内でも真北を今現在指しているということを分かっていることよりもより重要であるという事実と自己矛盾がない。
度だけ回したことが、たとえ１０度以内でも真北を今現在指しているということを分かっていることよりもより重要であるという事実と自己矛盾がない。
【0038】
ＡＵＧＳＩＭなどのＡＲシステムにはこのような余裕はない。ユーザの頭部が回転し又は車両が動くにつれて、現実世界において仮想要素がスムーズに動くように見えるように、ＡＲ追跡は良好な解像度を有しなければならず、また、仮想要素が正確に重ねられて現実世界におけるオブジェクトによって目立たなくされるように、ＡＲ追跡は良好な精度を有しなければならない。
【0039】
計算速度及びネットワーク速度は９０年代の間改良し続け、屋外のＡＲシステムでの新しいプロジェクトが開始され、それには米国海軍研究所でのＢＡＲＳシステムのプロジェクト（「ＢＡＲＳ： Ｂａｔｔｌｅｆｉｅｌｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍ（ＢＡＲＳ：戦場拡張現実システム）」、Ｓｉｍｏｎ Ｊｕｌｉｅｒ、Ｙｏｈａｎ Ｂａｉｌｌｏｔ、Ｍａｒｃｏ Ｌａｎｚａｇｏｒｔａ、Ｄｅｎｎｉｓ Ｂｒｏｗｎ、Ｌａｗｒｅｎｃｅ Ｒｏｓｅｎｂｌｕｍ；２０００年軍事システムのための情報処理技術に関するＮＡＴＯシンポジウム）が含まれる。要約には以下の記載がある。「このシステムは、ウェアラブルコンピュータと、無線ネットワークシステムと、被追跡シースルーヘッドマウントディスプレイ（ＨＭＤ）とから構成される。ユーザによる環境の認知は、ユーザの視野にグラフィックをスーパーインポーズすることによって強化される。このグラフィックは、実際の環境に登録される（合わせられる）。」
【0040】
非軍事専用の開発も進行し、これは奈良先端科学技術大学院大学の加藤博一の研究であるＡＲＴｏｏｌｋｉｔを含み、後に発表されてＨＩＴＬａｂにてさらに開発され、ソフトウェア開発スイート及び視点追跡及び仮想オブジェクト追跡のためのプロトコルを紹介した。
【0041】
これらの画期的出来事は、この期間において最も重要であったとして頻繁に言及されるが、その他の研究者及び企業もこの分野において活発であった。
【0042】
訓練シミュレーション用のＡＲの大規模開発及び検査のための軍の資金調達については文書で十分に裏付けがあり、その需要があったことは明白であるが、その他のシステムレベルの設計及びシステムデモンストレーションも、軍の資金調達された研究努力と同時に進行していた。
【0043】
最も重要な非軍事的実験の中で、南オーストラリア大学のウェアラブルコンピュータ研究所のＢｒｕｃｅ Ｔｈｏｍａｓが開始しかつ引率した開発が、ビデオゲームＱｕａｋｅのＡＲバージョンであるＡＲ Ｑｕａｋｅであり、「ＡＲＱｕａｋｅ：Ａｎ Ｏｕｔｄｏｏｒ／Ｉｎｄｏｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｆｉｒｓｔ Ｐｅｒｓｏｎ
Ａｐｐｌｉｃａｔｉｏｎ（ＡＲＱｕａｋｅ：屋外／屋内拡張現実一人称アプリケーション）」を発表した（ウェアラブルコンピュータについての第４回国際シンポジウム、１３９～１４６頁、ジョージア州アトランタ、２０００年１０月；（Ｔｈｏｍａｓ， Ｂ．、Ｃｌｏｓｅ， Ｂ．、Ｄｏｎｏｇｈｕｅ， Ｊ．、Ｓｑｕｉｒｅｓ， Ｊ．、Ｄｅ Ｂｏｎｄｉ， Ｐ．、Ｍｏｒｒｉｓ， Ｍ．及びＰｉｅｋａｒｓｋｉ， Ｗ．）。要約には以下の通り記載されている。「我々は、ＧＰＳ、デジタルコンパス及び基準ビジョンに基づく追跡に基づく、低コストで適宜に正確な６自由度追跡システムを提示する。」
Ａｐｐｌｉｃａｔｉｏｎ（ＡＲＱｕａｋｅ：屋外／屋内拡張現実一人称アプリケーション）」を発表した（ウェアラブルコンピュータについての第４回国際シンポジウム、１３９～１４６頁、ジョージア州アトランタ、２０００年１０月；（Ｔｈｏｍａｓ， Ｂ．、Ｃｌｏｓｅ， Ｂ．、Ｄｏｎｏｇｈｕｅ， Ｊ．、Ｓｑｕｉｒｅｓ， Ｊ．、Ｄｅ Ｂｏｎｄｉ， Ｐ．、Ｍｏｒｒｉｓ， Ｍ．及びＰｉｅｋａｒｓｋｉ， Ｗ．）。要約には以下の通り記載されている。「我々は、ＧＰＳ、デジタルコンパス及び基準ビジョンに基づく追跡に基づく、低コストで適宜に正確な６自由度追跡システムを提示する。」
【0044】
１９９５年に設計開発が開始された別のシステムは、本開示の著者によって開発されたものである。当初、屋外のＡＲとテレビ番組で吹替の「Ｅｖｅｒｑｕｅｓｔ Ｌｉｖｅ」のハイブリッドを実現することを意図したもので、９０年代後半を通してその設計がさらに開発され、その最も重要な要素が１９９９年までに仕上げられ、その時点で、オリジナ
ルビデオゲーム／ＴＶハイブリッドの資金調達を行うための商的努力が開始され、そして当該時点までに、最高級のテーマリゾート開発での使用のために別バージョンが含まれていた。２００１年までに、このことはＲｉｄｌｅｙとＴｏｎｙ Ｓｃｏｔｔの会社を含む諸会社と、特に彼らのジョイントベンチャーであるＡｉｒｔｉｇｈｔｐｌａｎｅｔ（その他のパートナーは、Ｒｅｎｎｙ Ｈａｒｌｉｎ、Ｊｅａｎ Ｇｉｒａｕｄ、及びｔｈｅ Ｅｕｒｏｐｅａｎ Ｈｅａｖｙ Ｍｅｔａｌを含む）に対して機密ベースで開示され、本開示の著者は彼らのためにエグゼクティブ監督業務を務め、そしてこれについて当該時点で「Ｏｔｈｅｒｗｏｒｌｄ」及び「Ｏｔｈｅｒｗｏｒｌｄ Ｉｎｄｕｓｔｒｉｅｓ」プロジェクト兼ベンチャーを、ＡＴＰとの投資及び協同でのジョイントベンチャー案として提起した。
ルビデオゲーム／ＴＶハイブリッドの資金調達を行うための商的努力が開始され、そして当該時点までに、最高級のテーマリゾート開発での使用のために別バージョンが含まれていた。２００１年までに、このことはＲｉｄｌｅｙとＴｏｎｙ Ｓｃｏｔｔの会社を含む諸会社と、特に彼らのジョイントベンチャーであるＡｉｒｔｉｇｈｔｐｌａｎｅｔ（その他のパートナーは、Ｒｅｎｎｙ Ｈａｒｌｉｎ、Ｊｅａｎ Ｇｉｒａｕｄ、及びｔｈｅ Ｅｕｒｏｐｅａｎ Ｈｅａｖｙ Ｍｅｔａｌを含む）に対して機密ベースで開示され、本開示の著者は彼らのためにエグゼクティブ監督業務を務め、そしてこれについて当該時点で「Ｏｔｈｅｒｗｏｒｌｄ」及び「Ｏｔｈｅｒｗｏｒｌｄ Ｉｎｄｕｓｔｒｉｅｓ」プロジェクト兼ベンチャーを、ＡＴＰとの投資及び協同でのジョイントベンチャー案として提起した。
【0045】
以下は、１９９９年／２０００年までに仕上げられたシステムデザイン及び構成要素の概要である。
【0046】
「ＯＴＨＥＲＷＯＲＬＤ ＩＮＤＵＳＴＲＩＥＳ ＢＵＳＩＮＥＳＳ ＰＲＯＰＯＳＡＬ ＤＯＣＵＭＥＮＴ（ＯＴＨＥＲＷＯＲＬＤ ＩＮＤＵＳＴＲＩＥＳビジネス提案書）」（アーカイブ文書バージョン、２００３年）からの抜粋：
【0047】
技術背景説明：最先端技術「オープンフィールド」シミュレーション及びモバイル仮想現実の専有一体化：ツール、設備及びテクノロジー
【0048】
これは単に、専有システムの骨格を共に形成する関連技術の部分的リスト及び概略である。いくつかのテクノロジー構成要素は専有のものであり、外部のベンダーからのものもある。しかし、証明された構成要素を組み合わせたユニークなシステムは、絶対的に専有的でかつ革新的なものとなるであろう。
【0049】
ＶＲ改変世界とのインタラクション
【0050】
１）ＯＴＨＥＲＷＯＲＬＤのＶＲ拡張された風景にゲスト／参加者及び俳優を没入させるためのモバイル軍事規格ＶＲ機器。彼らの「冒険」（つまり、彼らがリゾート周辺のＯＴＨＥＲＷＯＲＬＤ を探索する際の彼らの各動作）がモバイルモーションキャプチャーセンサ及びデジタルカメラにより（自動マッティングテクノロジーで）リアルタイムで取り込まれ、ゲスト／プレイヤー及び従業員／俳優は、コンピュータシミュレーションイメージの重ね合わせと共に、自身のバイザーを通してお互いを見ることができる。バイザーとは、双眼鏡（半透明フラットパネルディスプレイ）か、又は双眼鏡（但し、不透明フラットパネルディスプレイで、前面に双眼鏡カメラが取り付けられているもの）のいずれかである。
【0051】
視野にフラットパネルディスプレイでスーパーインポーズされたこれらの「合成要素」は、風景の改変部分（又はデジタル処理で改変された風景全体）を含むことができる。実際に、実際にそこあるものを置き換えるこれらの「合成」風景部分は、リゾートの各部分のオリジナル３Ｄ写真を「キャプチャーしたもの」に基づいて生成されている。（以下第７項をご参照下さい）。コンピュータ内の正確で写真に基づく幾何学的「仮想空間」として、オリジナルキャプチャーの写実的品質及び幾何学的／空間精度を維持しつつ、この仮想空間を何らかの方法でデジタル処理で改変することが可能である。これによって、同一空間と改変されたデジタル部分のライブデジタル写真の正確な組み合わせが生み出される。
【0052】
フラットパネルディスプレイによってスーパーインポーズされるその他の「合成要素」は、コンピュータ生成されたか又は改変された人々、生き物、大気ＦＸ、及び「マジック
」を含む。これらはディスプレイ（透明又は不透明）を通した視野の現実的な要素として現れる。
」を含む。これらはディスプレイ（透明又は不透明）を通した視野の現実的な要素として現れる。
【0053】
位置決めデータ、ゲスト／プレイヤー及び従業員／俳優のモーションキャプチャーデータ、そして多数のデジタルカメラによるこれらのデータのリアルタイムマッティング（これらすべては、リゾートの各エリアの事前に「キャプチャーされた」バージョンに較正される）（以下第４項及び第５項をご参照下さい）の使用によって、合成要素は、ディスプレイを通して示される実要素に対して、リアルタイムで絶対精度でマッチングすることができる。
【0054】
よって、写実的なコンピュータ生成されたドラゴンが、実際の木の後ろを通って、ぐるりと回って戻ってきて、飛び上がり、そしてリゾートの実際の城の上に着地することができ、そして、ドラゴンはコンピュータ生成された火で「燃え上がる」ことができる。フラットパネルディスプレイ（半透明又は不透明）では、火は、「黒くした」城の上部から出ているように見える。バイザーを通して、城の上部が、システムのファイルの中の城の３Ｄ「キャプチャー」のコンピュータ改変バージョンによって「重ねてマッティング」されたことにより、この効果が達成される。
【0055】
２）実際の人間と、仮想の人間、生き物及びＦＸとの間の戦闘のための物理的電気光学機械的ギア。モーションセンサ及びその他のデータ、並びに振動及び抵抗フィードバックを提供する「ハプティック」インターフェースは、実際の人間と、仮想の人間、生き物及びマジックとのリアルタイムなインタラクションを可能にする。例えば、「小道具」の剣の柄の形態のハプティック装置は、戦闘のイリュージョンを達成するために、ゲスト／プレイヤーがその剣を振り回している間のデータと、ゲスト／プレイヤーが仮想鬼を「突いた」と思われる際の物理的フィードバックとを提供する。これはすべてリアルタイムで組み合わせられて、双眼鏡フラットパネルディスプレイを通して表示される。
【0056】
３）オープンフィールドモーションキャプチャー機器。モバイル及び固定モーションキャプチャー機器用具（映画『マトリックス』で使用されたものと同様のもの）は、リゾートの敷地全体に亘って配備される。ゲスト／プレイヤー及び従業員／俳優が装着したテーマのある「ギア」上のデータポイントは、カメラ及び／又はセンサに追跡されて、ＶＲバイザー内の双眼鏡フラットパネル上に表示される視野内の仮想要素とインタラクションするためのモーションデータを提供する。
【0057】
モーションキャプチャーデータからの出力は、『ロード・オブ・ザ・リング』の第二部と第三部の映画のゴラムというキャラクターの原理に沿った、ゲスト／プレイヤー及び従業員／俳優のＣＧＩ改変バージョンを可能にする（十分な計算レンダリング能力及びモーション編集及びモーションライブラリの利用と共に）。
【0058】
４）ＬＡＡＳ＆ＧＰＳデータ、ライブレーザー距離測定データ及び三角測量技術（Ｍｏｌｌｅｒ Ａｅｒｏｂｏｔ のＵＡＶ技術を含む）でのモーションキャプチャーデータの増強。追加の「位置決めデータ」は、ライブ要素と合成要素のなおさらに効果的（かつ誤差補正する）一体化を可能にする。
【0059】
ＵＡＶ製造業者による新聞発表から。
【0060】
７月１７日。１週間前にローカルエリア補強システム（Ｌｏｃａｌ Ａｒｅａ Ａｕｇｍｅｎｔａｔｉｏｎ Ｓｙｓｔｅｍ）（ＬＡＡＳ）ステーションの最初のネットワークのための契約が、Ｈｏｎｅｙｗｅｌｌと交わされ、数カ所のテストステーションが既に稼働している。このシステムは、空港（及び垂直離着陸飛行場）にインチ単位の精度で正確に
接地させるように航空機を誘導することを可能にする。ＬＡＡＳシステムは、２００６年までに運用可能となることが期待されている。
接地させるように航空機を誘導することを可能にする。ＬＡＡＳシステムは、２００６年までに運用可能となることが期待されている。
【0061】
５）オープンフィールド「プレイ」の自動リアルタイムマッティング。シミュレートされた要素とのインタラクションを可能にするモーションキャプチャーデータとの組み合わせで、リゾートのゲスト／参加者たちは、Ｐ２４（又は同等物）デジタルカメラでデジタル処理により撮像され、専有Ａｕｔｏｍａｔｔｅソフトウェアと連動して、合成要素と一体化されるべき視野から適切な要素を自動的に分離（マッティング）する。この技術は、デジタル要素をスーパーインポーズする際に、前景／背景の適切な分離を確保するために使用されるパッケージソフトの一つとなるであろう。
【0062】
６）最先端ゲームエンジンソフトウェアと組み合わせられた軍事規格シミュレーションハードウェア及びテクノロジ－。モーションキャプチャーシステム、小道具の剣のような「合成」要素とインタラクションするためのハプティック装置、合成要素及びライブ要素（マッティング処理されたか又は完全な）からのデータと組みまわせることは、軍事シミュレーションソフトウェア及びゲームエンジンソフトウェアによる一体化である。
【0063】
これらのソフトウェア構成要素は、合成の人間及び生き物を動画化するためのＡＩコード（映画『ロード・オブ・ザ・リング』での軍隊を動画化するために使用されたＭａｓｓｉｖｅソフトウェアなどのＡＩもしくは「人工知能」ソフトウェア）を提供し、リアルな水、雲、火などを生成し、かつまさにコンピュータゲームや軍事シミュレーションソフトウェアがするように、その他の態様ですべての要素を一体化しかつ組み合わせる。
【0064】
７）Ｐａｕｌ Ｄｅｂｅｖｅｃ博士が先駆者として開発した、画像に基づく技術でリアルなデジタル仮想セットを創作するための、実際の場所の写真に基づくキャプチャー（『マトリックス』の「ブレットタイム」ＦＸの基盤）。
【0065】
「ベース」の仮想位置（リゾートの内部及び外部）は、これらが「キャプチャー」された際のその場所の写真及び実際の照明から派生させられているので、現実世界とは区別がつけられない。光プローブからのデータ及びレーザー測距データと組み合わせられた高品質のデジタル画像の小さいセットと、適切な「画像に基づく」グラフィックソフトウェアとが、現物とまさに一致するコンピュータ内の写実的仮想３Ｄ空間を再現するために必要なもののすべてである。
【0066】
「仮想セット」は、実際の城の内部の場所及び周囲の田園地方の外部の場所からキャプチャーされているが、一旦デジタル化されると、これらの「ベース」又はデフォルトバージョン（当初キャプチャーされたまさにその時点の照明パラメータとその他すべてのデータを有する）、現実世界には存在しない要素を追加したり、我々の世界のファンタジーバージョンを創作するために存在する要素を改変したりかつ「装飾したり」して、改変することができる（照明を含む）。
【0067】
ゲスト／プレイヤー及び従業員／俳優が、リゾート内の様々なポイントでの「ゲートウェイ」を通ると（「ゲートウェイ」とは、「我々の世界」から「Ｏｔｈｅｒｗｏｒｌｄ」への有効な「通過点」である）、較正手続きが発生する。「ゲートウェイ」の座標にコンピュータ内の仮想空間を「ロックする」ために、「ゲートウェイ」にいるゲスト／プレイヤー又は従業員／俳優からの位置決めデータが、その時点で取られる。コンピュータは、上述の画像に基づく「キャプチャー」プロセスを通して取得される、仮想バージョンのリゾート全体についてゲートウェイの座標を「知っている」のだ。
【0068】
よって、コンピュータは、ゲスト／プレイヤー又は従業員／俳優がＶＲゴーグルをつけ
る前に見えるものと一緒に、仮想リゾートを「並べる」ことができる。従って、双眼鏡フラットパネルディスプレイの半透明バージョンを通すと、仮想バージョンが実際のリゾートにスーパーインポーズされている場合、一方は他方に非常に精密に調和するであろう。
る前に見えるものと一緒に、仮想リゾートを「並べる」ことができる。従って、双眼鏡フラットパネルディスプレイの半透明バージョンを通すと、仮想バージョンが実際のリゾートにスーパーインポーズされている場合、一方は他方に非常に精密に調和するであろう。
【0069】
あるいは、「不透明」双眼鏡フラットパネルディスプレイゴーグル又はヘルメットでは、装着者は、自分の前にリゾートの仮想バージョンのみを見ながら、ヘルメットをつけながら自信を持って歩くことができるだろう。なぜならば、仮想世界の風景が、彼が実際に歩いている風景とぴったり一致するであろうからである。
【0070】
もちろん、ゴーグルを通して装着者に見せることができるのは、改変された赤い空や、実際にそこにはない荒れ狂った嵐の雲、そしてまさにちょうど城の銃眼付き胸壁に「火を放った」ドラゴンが上部に止まった城の胸壁だろう。
【0071】
そして、遠方の丘を突撃する１０００鉱石の軍も！
【0072】
８）リゾートのスーパーコンピュータレンダリング及びシミュレーション設備。極めて高品質で近未来映画の品質のシミュレーションを可能にするであろう重要なリソースは、各リゾートの現場のスーパーコンピュータレンダリング及びシミュレーション複合施設だろう。
【0073】
デスクトップコンピュータ用のコンピュータゲームと同様に、スタンドアローンコンピュータゲームコンソール（プレイステーション２、Ｘｂｏｘ、ゲームキューブ）上のグラフィック及びゲームプレイの改良は周知である。
【0074】
しかしながら、このようなゲーム体験における改良は、１台のコンソール又はパーソナルコンピュータのプロセッサ及び支援システムの改良に基づくということを考慮して下さい。そしてスーパーコンピューティングセンターの能力をゲーム体験に注ぎ込むと想像してみて下さい。それだけでも、グラフィックとゲームプレイの品質における飛躍的進歩となるであろう。そしてこれは、Ｏｔｈｅｒｗｏｒｌｄ体験となるモバイルＶＲ冒険の一局面でしかない。
【0075】
上記を再検討することで明らかになると思うが、つまりは関連分野（より広義ではＶＲ、ＡＲ、及びシミュレーションの分野）の当業者にとっては明白なはずであるが、最先端技術を改良するために提案される個々のハードウェア又はソフトウェアシステムは、より広いシステムパラメータを考慮に入れ、かつ適切に評価されるべき当該システムパラメータについての前提を明確にしなければならない。
【0076】
よって、本提案の本質（その焦点は、携帯可能なＡＲ及びＶＲ技術のカテゴリーに該当するハードウェアテクノロジーシステムであり、実際のところ両方の融合であるが、その融合の最も好適なバージョンではウェアラブルテクノロジーであり、かつ好適なウェアラブルバージョンはＨＭＤテクノロジーである）のみが、その中の一部であるシステム全体を考慮又は再考することによって、優れたソリューションとなる完全な事例となる。よって、より大きいＶＲ、ＡＲ及びシミュレーションシステムのこの歴史を提示する必要性があり、なぜならば、新しいＨＭＤテクノロジーの提案及び商的オファーが、例えば、狭くなり過ぎたり、システムレベルでの前提、要件及び新たな可能性を考慮しなかったり、検討しなかったりする傾向があるからである。
【0077】
ＨＭＤ技術の進化における主要な画期的出来事を同様に歴史的に見直すことは必要ではない。なぜならそれは、ＨＭＤの従来技術の制限及び従来技術の現状、並びに提案されるソリューションの理由、そしてなぜ提案されるソリューションが特定された問題を解決す
るのかを説明する際の手伝けとするために利用できるフレームワークを提供する必要があるだろう、システムレベルでのより広い歴史であるからである。
るのかを説明する際の手伝けとするために利用できるフレームワークを提供する必要があるだろう、システムレベルでのより広い歴史であるからである。
【0078】
ＨＭＤの従来技術の制限を理解しかつ特定するために十分なものとは、以下から始まる。
【0079】
ヘッドマウントディスプレイ（本開示の目的上、ヘルメットマウントディスプレイを包含する）のカテゴリーにおいて、現時点までに２つの主要なサブタイプである「ＶＲ ＨＭＤ」と「ＡＲ ＨＭＤ」が特定されており、これらは本明細書で既に提供されたこれらの定義の意味合いに従い、かつＡＲ ＨＭＤのカテゴリー内で、これらのタイプを区別するために２つのカテゴリーが用いられており、「ビデオシースルー」又は「光学シースルー」（よりしばしば単に「光学ＨＭＤ」と呼ばれる）である。
【0080】
ＶＲ ＨＭＤディスプレイでは、ユーザは、１つのパネル又は２つの別個のディスプレイを見る。このようなＨＭＤの典型的な形状はゴーグル又はフェイスマスク形状であるが、多くのＶＲ ＨＭＤは、嵩張った密閉型バイザー付きの溶接工のヘルメットの外観を有している。最適なビデオ品質、没入感、そして注意を逸らすものがないということを確保するために、ディスプレイの周囲の辺縁部に光吸収材を用い、このシステムは完全に密閉される。
【0081】
本開示の著者は以前、２００４年２月１２月に出願され、本明細書に組み込まれている
米国仮出願「ＳＹＳＴＥＭ， ＭＥＴＨＯＤ ＡＮＤ ＣＯＭＰＵＴＲ ＰＲＯＧＲＡＭ ＰＲＯＤＵＣＴ ＦＯＲ ＭＡＧＮＥＴＯ－ＯＰＴＩＣ ＤＥＶＩＣＥ ＤＩＳＰＬＡＹ（磁気光学装置ディスプレイ用のシステム、方法及びコンピュータプログラム製品）」第６０／５４４，５９１号 において、２つのタイプのＶＲ ＨＭＤを提案した。２つのタイプのうちの１つは、当該出願の主たる目的のウェーハー・タイプの実施形態で、従来の直視ＬＣＤに取って代わることを単に提案しており、このウェーハー・タイプの実施形態とは、初めての実用的磁気光学ディスプレイであり、その優れた性能特徴は、改良されたディスプレイテクノロジー全般についての、かつ当該実施形態では改良されたＶＲ ＨＭＤについてのその他の利点の中で、非常に高いフレーム率を含む。
米国仮出願「ＳＹＳＴＥＭ， ＭＥＴＨＯＤ ＡＮＤ ＣＯＭＰＵＴＲ ＰＲＯＧＲＡＭ ＰＲＯＤＵＣＴ ＦＯＲ ＭＡＧＮＥＴＯ－ＯＰＴＩＣ ＤＥＶＩＣＥ ＤＩＳＰＬＡＹ（磁気光学装置ディスプレイ用のシステム、方法及びコンピュータプログラム製品）」第６０／５４４，５９１号 において、２つのタイプのＶＲ ＨＭＤを提案した。２つのタイプのうちの１つは、当該出願の主たる目的のウェーハー・タイプの実施形態で、従来の直視ＬＣＤに取って代わることを単に提案しており、このウェーハー・タイプの実施形態とは、初めての実用的磁気光学ディスプレイであり、その優れた性能特徴は、改良されたディスプレイテクノロジー全般についての、かつ当該実施形態では改良されたＶＲ ＨＭＤについてのその他の利点の中で、非常に高いフレーム率を含む。
【0082】
第２のバージョンは、当該開示の教示に従い、新しい種類の遠隔生成画像表示を企図したものであり、これは例えば車両コックピットで生成され、その後に光ファイバー束を介して送信され、そして特別の光ファイバーアレイ構造（当該出願で開示された構造及び方法）を通して配信されるものであり、光ファイバーを介した遠隔画像搬送用の新しいアプローチ及び構造を有する光ファイバーフェースプレートの経験を基礎とする。
【0083】
当初ＨＭＤについてコアとなるＭＯテクノロジーは製品化されなかったが、むしろ投影システムについては、これらの開発は本提案のいくつかの態様に関係するものであり、さらに、当該技術分野では一般には知られていない。特に第２のバージョンは、他のものよりも前に公表された方法を開示したものであり、より最近の提案は、ＨＭＤ光学体に一体化されてはいない又はＨＭＤ光学体の近くにはない画像エンジンからのビデオ画像を伝達するために光ファイバーを用いる。
【0084】
床さえもある密に制御されたステージ環境を超えた可動性に対する完全密閉型ＶＲ ＨＭＤの実用性についての極めて重要な考慮事項は、移動運動が安全であるということであり、ナビゲーションされる仮想世界は、現実の表面地形又はモーション軌跡に対して、１：１のマッピング（人間の移動運動に対する安全偏差内で）を行わなければならない。
【0085】
しかしながら、ＢＡＲＳの開発者であるＬｏｒａｌ ＷＤＬのＢａｒｒｉｌｌｅａｕｘ
などの研究者によって、また実用的となるべきシステムとしてＡＲシステムについて、過去四半世紀近い開発に亘って当該分野のその他の研究者たちによって一貫して、観察され結論が出されたように、走行中の車両の形状を含む（市街戦のための軍によるシステムの開発から驚くべきことではないが）、仮想の（合成のＣＧ生成されたイメージ）世界と現実世界の地形及び構築環境との間に非常に密な対応が得られなければならない。
などの研究者によって、また実用的となるべきシステムとしてＡＲシステムについて、過去四半世紀近い開発に亘って当該分野のその他の研究者たちによって一貫して、観察され結論が出されたように、走行中の車両の形状を含む（市街戦のための軍によるシステムの開発から驚くべきことではないが）、仮想の（合成のＣＧ生成されたイメージ）世界と現実世界の地形及び構築環境との間に非常に密な対応が得られなければならない。
【0086】
よって、ＶＲ又はＡＲのいずれかがモバイル形態で可能となるためには、「仮想」又は合成要素と、いずれかの現実世界要素との間に１：１の位置的対応がなければならないというのが、より一般的な事例である。
【0087】
ＡＲ ＨＭＤのカテゴリーでは、「ビデオシースルー」と「光学シースルー」との区別は、ユーザが、光学メガネの一部としてのビューアーの真正面に配置された透明又は半透明ピクセルアレイ及びディスプレイとして直接見ることと、（典型的に直に隣接する）マイクロディスプレイから生成されて、対面する光学ピースへの光リレーの形態を通して伝達される、これもまたビューアーの真正面に配置された光学素子上の半透明投影画像を通してみることとの間の区別である。
【0088】
直接ビュースルーディスプレイの主要なかつおそらくは単に部分的に実用的なタイプである、透明又は半透明表示システムは、（歴史的に）照明バックプレーンなしに構成されたＬＣＤであった。従って、特に、ＡＲビデオビュースルーメガネは、ＬＣＤ光変調器ピクセルアレイがその上に製作される透明な光基板を含む光学画面を保持する。
【0089】
オリジナルのＭａｎｎの「ＥｙｅＴａｐ」と類似のアプリケーション（テキスト／データが直接表示されるか又は対面する光学体に投影される）については、現実世界の地形及びオブジェクトへの較正は必要とされないが、ある程度の位置相関は、視野内のアイテムに情報テキストで文脈上の「タグ付け」を行うのに役立つ。このことは、Ｇｏｏｇｌｅ Ｇｌａｓｓ製品の記述された主たる目的であるが、本開示のドラフティングを行う際に、非常に多くの開発者たちが、ライブシーン上にテキストよりも多くスーパーインポーズするＡＲタイプのアプリケーションの開発に集中した。
【0090】
略２Ｄ面又は粗ビューコーンにおける緩く近似な位置相関以外の、ビデオ又は光学シースルーシステムのいずれかのユーザの視野における地形又はオブジェクトへのこのような「較正」の主な問題は、ビューアーの環境にあるオブジェクトの相対位置の決定である。重大な不調和のないパースペクティブ及び相対的サイズの計算は、ローカル環境の基準のかつ／又はおおよそリアルタイムな空間位置決めデータ及び３Ｄマッピングなしには行うことはできない。
【0091】
相対的サイズに加えて、あらゆる視点からのパースペクティブの重要な局面は、ライティングの方向に応じたリアルな照明／遮光（ドロップシャドーを含む）である。そして最後に、所定のビューイング位置決めからのオブジェクトの遮蔽が、知覚された透視的かつ相対距離及び位置決めの重要な光学特徴である。
【0092】
ビデオシースルー又は光学シースルーＨＭＤは存在せず、又はビデオ又は光学ビュースルータイプのいずれのシステムでも、又は実際にモバイルＶＲタイプのシステムについても、安全な移動運動又は経路探索に必須な、装着者の周囲の次元ビューイングを可能にするように、このようなデータがいかにして提供されるかという問題から隔絶してはビデオシースルー又は光学シースルーＨＭＤを設計することはできない。このようなデータは外部で、ローカルで、又は複数のソースの組み合わせで提供されるのだろうか？もしも部分的にローカルでかつＨＭＤの一部である場合、このことはＨＭＤシステム全体の設計と性能に影響を及ぼすだろうか？ この問題がもし影響を及ぼすとしたら、ビデオシースルー
と光学シースルーとの間の選択において、その他の含意及び影響を受けるパラメータの中で、所定の重量、バランス、嵩、データ処理要件、構成要素間のラグ、そしてディスプレイと光学構成要素との選択においての詳細に関し、どのような影響があるのだろうか？
と光学シースルーとの間の選択において、その他の含意及び影響を受けるパラメータの中で、所定の重量、バランス、嵩、データ処理要件、構成要素間のラグ、そしてディスプレイと光学構成要素との選択においての詳細に関し、どのような影響があるのだろうか？
【0093】
ＶＲ ＨＭＤが進化及び進歩する際に解決すべき技術的パラメータ及び問題の中で、主に、視野の増大、待ち時間の低減（モーション追跡センサ間のラグ及び仮想パースペクティブの変化）、解像度、フレーム率、ダイナミックレンジ／コントラスト、並びにその他の一般的表示品質特徴の増大、並びに重量、バランス、嵩、及び総合人間工学の問題が含まれてきた。画像コリメーション及びその他のディスプレイ光学体の詳細は、当初から主要な課題であった「シミュレータ病」の問題に効果的に取り組むために改良されてきた。
【0094】
ディスプレイ、光学体及びその他の電子機器の重量及び嵩は、これらの一般的技術カテゴリー、そして重量、サイズ／嵩及びバランスにおける改良とともに、時間をかけて減少する傾向があった。
【0095】
静止ＶＲギアは、車両（航空機を含む）における暗視システムのために一般的に用いられてきたが、モバイル暗視ゴーグルは、モバイルＶＲと同様の媒介ビューイングの形態と見なすことができる。なぜならば、基本的に装着者が見ているのは、リアルタイムでの実際の場面（赤外線撮像された）（但し、ビデオスクリーンを通してであり、「ビュースルー」の形態ではない）だからである。
【0096】
このサブタイプは、同じく言及された１９９９年に遡及して、Ｂａｒｒｉｌｌｅａｕｘが「間接視ディスプレイ」として定義したものに類似している。彼は、実際の「ビュースルー」はないが、見えるものが、おそらくはあらゆるＶＲタイプ又は暗視システムとして含まれる、ディスプレイ上の排他的に融合された／処理済みの実像／仮想画像である、提案したＡＲ ＨＭＤに関してその定義を提示した。
【0097】
しかしながら、暗視システムは、仮想・合成風景と、赤外線署名の強さに応じた異なる強度の単色像として、ビデオ信号処理を通して解釈された通りの赤外線センサデータの、実際のものだがむしろ直接送信されたビデオ画像との融合又は混和ではない。ビデオ画像としては、これは、Ｅｙｅｔａｐ が最初に着想されたのと同じ単純な形態での、かつＧｏｏｇｌｅが述べたように、Ｇｌａｓｓ製品のために意図された主な目的である、リアルタイムテキスト／グラフィックオーバーレイに適している。
【0098】
いかにそしてどんなデータをライブで抽出するのか、又は参照からモバイルＶＲ又はモバイルＡＲシステムのいずれかに提供するのか、又はこれらの両方か、又は一貫してキューを出して組み合わせられたビューを提供するために、仮想風景と実際の風景の効果的一体化を可能にするために、両カテゴリーと類似性を有する、このハイブリッドでライブ処理されたビデオフィードの「間接視表示」を今含めるのかという問題は、デザインパラメータであり、そしてタイプに拘わらず、あらゆる新しいかつ改良されたモバイルＨＭＤシステムを設計する際に考慮されなければならない問題である。
【0099】
ＡＲ用のソフトウェア及びデータ処理は、既に言及したシステム開発者の初期の研究を基礎として、これらの課題に取り組むために進歩してきた。この例としては、係属中の米国特許出願である「Ｍｉｘｅｄ ｒｅａｌｉｔｙ ｓｐａｃｅ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｍｅｔｈｏｄ ａｎｄ ｍｉｘｅｄ ｒｅａｌｉｔｙ ｓｙｓｔｅｍ（混合現実空間画像生成方法及び混合現実システム）」（２００４年９月２９日出願の米国特許出願第１０／９５１，６８４号（米国特許出願公開第２００５０１７９６１７号、現在は米国特許第７，５８９，７４７号））に開示されている、キャノン株式会社のマツイとスズキの研究がある。その要約には以下の通り記載されている。
【0100】
「現実空間をキャプチャーすることによって得られた現実空間画像に仮想空間画像をスーパーインポーズすることによって形成された混合現実空間画像を生成するための混合現実空間画像生成装置は、仮想空間画像の現実空間上のオブジェクトによる遮蔽を考慮して表示される仮想空間画像を、現実空間画像にスーパーインポーズする画像合成部（１０９）と、仮想空間画像の遮蔽を考慮せずに表示される画像をさらにインポーズする注釈生成部（１０８）とを含む。このようにして、自然な表示と便利な表示を両方とも達成できる混合現実空間画像を生成することができる。」
【0101】
このシステムの目的は、モックアップ（代理の小道具）上にスーパーインポーズされるべき完全にレンダーされた工業製品（カメラなど）の組み合わせを可能にするように意図されたものであり、光学ビュースルーＨＭＤメガネ一式とモックアップの両方ともに、位置センサが備え付けられる。ＣＧ生成された仮想モデルを複合ビデオフィードにスーパーインポーズできるように（わずかなラグでのレイヤリングを可能にするためにバッファ遅延される）、モックアップからピクセルをマッティングするために、リアルタイムのピクセル単位検索比較プロセスが用いられる。注釈グラフィックもシステムによって追加される。コンピュータグラフィック。マッティングを決定し、よって合成物の中に正確でかつ間違っていない遮蔽を確保するためのデータの最も重要なソースは、モックアップ上のモーションセンサと、ハンドマットとモックアップマットを引くためのピクセルを比較する事前決定された参照テーブルである。
【0102】
このシステムは、モバイルＡＲ、ＶＲ、又はいずれのハイブリッドについてもその一般化には役立っていないが、実際の３Ｄ空間を分析し、かつ透視ビューで適切に仮想オブジェクトの位置決めをするための、単純な（完全自動ではないが）システムを提供する試みの一例である。
【0103】
ビデオ又は光学シースルーＨＭＤの領域では、ＨＭＤに届けられた理想的に計算された混合現実透視ビューを前提としてさえ、満足できるリアルかつ正確な融合透視ビュー（パースペクティブの適正な順番の取り扱い、現実空間内の所定ビューアーの位置からの融合要素の適正な遮蔽を含む）を実施できるディスプレイ又は光学体及び表示システムの設計には進歩がほとんどない。
【0104】
この問題に対する最も効果的な（たとえ部分的であっても）解決策であると主張されている一つのシステムであり、おそらくは唯一の一体化ＨＭＤシステム（ＨＭＤから独立して、何らかの包括的な態様でこれらの課題を解決するように設計された、ソフトウェア／写真測量／データ処理及び配送システムとは対照的に）が、既述の米国特許出願第１３／８５７，６５６号（米国公開第２０１４０１７７０２３号）「ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＯＰＴＩＣＡＬ ＳＥＥ－ＴＨＲＯＵＧＨ ＨＥＡＤ ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ ＷＩＴＨ ＭＵＴＵＡＬ ＯＣＣＬＵＳＩＯＮ ＡＮＤ ＯＰＡＱＵＥＮＥＳＳ ＣＯＮＴＲＯＬ ＣＡＰＡＢＩＬＩＴＹ（相互遮蔽及び不透明性制御能力を有する光学シースルーヘッドマウントディスプレイ用装置）」におけるＣｈｕｎｙｕ Ｇａｏ の提案で言及されている。
【0105】
Ｇａｏは、ＡＲ用のビュースルーＨＭＤの分野についての自身の概説を、以下の見解から始めている。
【0106】
光学とビデオという２つのタイプのＳＴ－ＨＭＤがある（Ｊ． Ｒｏｌｌａｎｄ及びＨ． Ｆｕｃｈｓ、「Ｏｐｔｉｃａｌ ｖｅｒｓｕｓ ｖｉｄｅｏ ｓｅｅ－ｔｈｒｏｕｇｈ ｈｅａｄ ｍｏｕｎｔｅｄ， ｄｉｓｐｌａｙｓ（光学対ビデオ・シースルーヘッドマウントディスプレイ）」、Ｉｎ Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｗｅａｒａｂｌｅ
Ｃｏｍｐｕｔｅｒｓ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ウェアラブルコンピュータと拡張現実の基本において）、１１３～１５７頁、２００１年）。ビデオシースルーアプローチの主要な欠点は、シースルービューの画像品質の劣化、入って来るビデオストリームの処理による画像ラグ、ハードウェア／ソフトウェア誤動作によるシースルービューの損失の可能性を含む。また対照的に、光学シースルーＨＭＤ（ＯＳＴ－ＨＭＤ）は、ビームスプリッタを通して現実世界の直視を提供し、よって、現実世界のビューへの影響は最小である。ライブ環境に対するユーザの意識が最優先であるアプリケーションを要求する際に、非常に好適である。
Ｃｏｍｐｕｔｅｒｓ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ウェアラブルコンピュータと拡張現実の基本において）、１１３～１５７頁、２００１年）。ビデオシースルーアプローチの主要な欠点は、シースルービューの画像品質の劣化、入って来るビデオストリームの処理による画像ラグ、ハードウェア／ソフトウェア誤動作によるシースルービューの損失の可能性を含む。また対照的に、光学シースルーＨＭＤ（ＯＳＴ－ＨＭＤ）は、ビームスプリッタを通して現実世界の直視を提供し、よって、現実世界のビューへの影響は最小である。ライブ環境に対するユーザの意識が最優先であるアプリケーションを要求する際に、非常に好適である。
【0107】
しかしながら、ビデオシースルーの問題についてのＧａｏの見解は、第１の事例において、従来技術のビデオシースルーを排他的にＬＣＤと特定することによっては適格とはされず、また、彼はＬＣＤが（比較的、そしてどの基準でということも省略されている）シースルー画像を劣化させるに違いないという主張を立証してはない。当業者は、この質の悪い画像のビューが、当該分野での昨今の加速的進歩を迎える前の、初期のビュースルーＬＣＤシステムで達成された結果から派生したものであることを、認識するであろう。比較として多くの光学素子と、「現実」の「シースルー画像」の再処理又は媒介に対するその他の表示テクノロジーの影響とを用いて、最先端ＬＣＤ又はその他のビデオビュースルー表示テクノロジーに比較すると、光学シースルーシステムが、最終結果を相対的に悪化させ、又はＧａｏなどの提案に劣るということは、事実上真実ではなく、明白でもない。
【0108】
この根拠のない一般化についての別の問題は、入力ライブ画像の処理もしなければならないその他のシステムに比べて、シースルーのカテゴリーにおけるラグの推定である。この場合、速度の比較は、競合するシステムの全体としての構成要素及びその性能の詳細な分析の結果である。そして最後に、「ハードウェア／ソフトウェアに対するシースルービューの損失の可能性」の憶測は、ビデオと光学シースルースキーム全般の間の、又はどちらかの及びその構成要素テクノロジー及びシステム設計の特定のバージョンの間のいずれかでの、比較システムのロバスト性又は安定性の厳密な分析により、基本的に根拠がなく、任意であり、かつ有効でもない。
【0109】
該当分野における比較の欠陥のある及び偏った表明の最初の問題を上回って、彼ら自身が提案した解決策には、既に言及しかつ取り組まれてきたデータ取得、分析及び配信の課題と共に、質的問題（完全なＨＭＤシステムとして（より広いＡＲシステムにおける構成要素としても含む）の提案されたＨＭＤシステムを考慮することを省略しかつかかる考慮が欠けていることを含む）がある。ＨＭＤは、「既知の事実」として、改変画像又は混合画像の生成のために特定のレベル及び品質のデータ又は処理能力を扱うことは許可されておらず、この場合そのこと自体だけでも、ＨＭＤ自体及びそのデザインが補助し又は妨げとなり得る、かつ既知の事実として単純に提示することはできない、重要な疑問及び問題である。
【0110】
さらに、課題と解決策の詳述で省略されているのは、モバイルプラットフォームでの現実と仮想の視覚一体化の問題の全範囲である。
【0111】
開示と、開示が教示するシステムとは、特に以下の通りである。
【0112】
この背景で前述しているが、Ｇａｏの提案は、２つの表示タイプの装置を利用することであり、なぜならば、ライブ画像を選択的に反映し又は送信する空間光変調器の仕様は、基本的に、これらがいずれの表示アプリケーションでも動作可能であるのと同じ目的のＳＬＭの仕様であるからである。
【0113】
そして、２つの装置からの出力画像は、ピクセル単位でラインアップされる間に、これ
らの装置の精度についての記述以外の具体的説明はなしに、ビームスプリッタ・コンバイナ（想定されている）内で組み合わせられる。
らの装置の精度についての記述以外の具体的説明はなしに、ビームスプリッタ・コンバイナ（想定されている）内で組み合わせられる。
【0114】
しかしながら、２つのピクセル化されたアレイのこの融合を達成するために、Ｇａｏは彼が「折り畳み光学体」と呼ぶものの重複を特定しているが、基本的に、合計で２つの「折り畳み光学」素子（例えば、格子面／ＨＯＥ又はその他のコンパクトプリズムもしくは「フラット」光学体）を、各ソースにつき１つずつと、２つの対物レンズ（１つは実景からの波面用で、１つは結合画像そしてビームスプリッタ・コンバイナ）の焦点の他方端に、を必要とする、Ｍａｎｎ Ｅｙｅｔａｐスキームの二重バージョン以外の何物でもない。
【0115】
よって、多数の光学素子（これらのために彼は多様な従来の光学バリエーションを提示している）は、１）第１の反射／折り畳み光学体（平面型格子／ミラー、ＨＯＥ、ＴＩＲプリズム、又はその他の「フラット」光学体）を介して及びそこから対物レンズまで、実際の場面の光を集め、その光を次の格子／ミラー、ＨＯＥ、ＴＩＲプリズム、又はその他の「フラット」光学体に通過させ、光路を再度「折り畳む」ことが必要とされ、これらのすべては、光学システム全体が比較的コンパクトであり、かつ２つの矩形の光学中継域の概略セットに含まれることを確実にするためのものである。折り畳み光学体から、このビームはビームスプリッタ／コンバイナを通してＳＬＭまで通過させられる。そしてＳＬＭは、ピクセル化（サンプリング）に基づいて反射又は送信し、よって可変的に（グレースケール等を修正するための実像コントラスト及び強度からの変化） 変調され、今はピクセル化された実像を通過させて、ビームスプリッタ／コンバイナに戻す。ディスプレイが仮想又は合成／ＣＧ画像を同期して生成する間、かかる画像は、修正されピクセル化／サンプリングされた実波面との一体化を確実に容易にするためにおそらく較正もされ、マルチステップで修正されかつピクセル化された実際の場面のサンプルとピクセルごとに一体化するためにビームスプリッタを通過させられ、そこから接眼対物レンズを通り、そして別の「折り畳み光学体」素子に戻って、ビューアーの眼へと光学システムの外へ反射される。
【0116】
全体として、修正、ピクセル化かつサンプリングされた部分の実像波面については、ビューアーの眼に届くまでに７個の光学素子（ＳＬＭを含まない）を通過する。ディスプレイで生成された合成画像は、単に２個の光学素子を通過する。
【0117】
光学像コンバイナの正確な位置合わせの問題、つまりピクセルレベルでは、レーザーによって問い合わせされた画像サンプルから集められた反射光なのか否か、又は画像の結合が、小さくフィーチャーされたＳＬＭ／表示装置を生じさせたのか否かという問題は、特に機械的振動及び熱応力という条件下で位置合わせを維持することは、当該技術において些細な事ではないと見なされている。
【0118】
高解像度（２ｋ又は４ｋ）の赤、緑及び青の画像エンジン（典型的にはＤＭＤ又はＬＣｏＳ ＳＬＭによって生成された画像）の出力を組み合わせる、デジタル投影自由空間光ビーム混合システムは高価であり、これらの位置合わせを達成しかつ維持することは容易ではない。また、Ｇａｏスキームの７個の素子の障害物の場合よりも単純なデザインのものもある。
【0119】
さらに、これらの複合マルチエンジン・マルチ素子の光学コンバイナシステムは、ＨＭＤにとって必要なくらいにはほぼコンパクトにはなっていない。
【0120】
生命科学市場のためにＡｇｉｌｅｎｔ によって開発されかつマーケティングされたＴ－Ｒｈｏｍｂｏｉｄコンバイナなどのモノリシックプリズムは、既存のアプリケーション
において自由空間コンバイナが示してきた問題に特に取り組むために開発されてきた。
において自由空間コンバイナが示してきた問題に特に取り組むために開発されてきた。
【0121】
そして、Ｍｉｃｒｏｖｉｓｉｏｎやその他の企業が、ＳＬＭに基づいてオリジナルにマイクロ投影テクノロジーのために開発されたＨＭＤプラットフォームの配備に成功してきたが、これらの光学セットアップは典型的に、Ｇａｏの提案よりも実質的により複雑ではない。
【0122】
さらに、２つのプラットフォーム上での、２つの画像処理ステップ及び計算繰返しについて基本の論理的根拠は何であるか、そして実際のかつ仮想の波面入力の平滑化及び一体化を達成して、組み合わせられた場面要素の適切な遮蔽／不透明化を実施するために、なぜそれが必要とされるのかを判断するのは難しい。Ｇａｏの最大の懸念と解決すべき問題とは、実像との明るさに対して困難さをもって競う合成画像の問題であり、よって、ＳＬＭの主なタスクは、実際の場面の部分又は実際の場面全体の明るさを選択的に落とすことであるように思われる。概して、例えば、時間分割多重化システム内の反射位置にあるＤＭＤミラーの持続時間を最短化することによって、遮蔽された実際の場面の要素の強度を落としつつ、遮蔽されたピクセルは単純に「オフ」のままとされるだろうことも推測されるが、このことはＧａｏによって特定されてはおらず、ＳＬＭがいかにしてその関連する画像改変機能を達成するかの詳細についても特定してはいない。
【0123】
両方とも計算され、較正され、かつ位置合わせされるべき多くのパラメータの中で、現実のフィールドからのまさにどのピクセルが、合成ピクセルに対して較正されたピクセルなのかを判断することが含まれる。完全な一致はなしで、ゴーストのオーバーラップ及び非整列及び遮蔽は、特に動く場面では倍加する。実際の場面の波面部分を対物レンズに通過させる反射光学素子の位置は、その場面でのビューアーの透視位置とは最初は同一ではない、場面に関する実際の透視位置を有しており、なぜならばそれは平面ではなく、ど真ん中に位置している訳ではないからであり、かつそれは単に波面サンプルであり、位置が何かではないからである。さらに、モバイルであり、動いてもいて、かつ前もって合成画像処理装置には知らされていない場合。このシステムの変数の数は、上記の事実の理由だけでも非常に多い。
【0124】
もしそうであったとして、かつこの解決策の目的がより具体的にされた場合、これを達成するために第２のディスプレイ（双眼鏡システムにおいて、合計２個のディスプレイ、つまり特定されたＳＬＭを追加）を使用することよりももっと単純な方法があるかもしれないことが明確になるかもしれない。
【0125】
第二に、いずれかのアプローチが、多数の累積したアラインメント耐性を有するこのような複合システムの耐久性、マルチ素子経路のオリジナルパーツ及び経年摩損からの欠陥の累積、融合されたビームの非整列を理由として、累積した熱的及び機械的振動効果や、７個の素子とこれに加えて光学システムの複雑性から生じるその他の困った問題をもたらす場合、本質的に外部のライブ画像波面のおそらくは劣化（特に経年の）をもたらすのは、このシステムである。
【0126】
加えて、かなり詳しく前述したが、実要素と仮想要素との間の空間関係を計算するという問題は、些細な問題ではない。この計算に基づいて２つの（かつ双眼鏡システム内の）おそらくは異なるタイプ（よって異なる色域、フレーム率など）であろうディスプレイ４個タイプの装置を駆動しなければならないシステムの設計は、既に要求が厳しいシステム設計パラメータに複雑さを追加することになる。
【0127】
さらに、ゴースト発生又はラグなしで、かつ眼精疲労や視覚系の疲労を誘発せずに、高性能画像を配送するためには、高フレーム率が必須である。しかしながら、Ｇａｏシステ
ムでは、システム設計は、反射ＳＬＭではなく、ビュースルーの使用のみで、若干より単純化されるが、より速いＦｅＬＣｏＳマイクロディスプレイ付きですら、フレーム率及び画像速度はなお、ＴＴのＤＬＰ（ＤＭＤ）などのＭＥＭＳ装置のフレーム率及び画像速度よりも実質的に低い。
ムでは、システム設計は、反射ＳＬＭではなく、ビュースルーの使用のみで、若干より単純化されるが、より速いＦｅＬＣｏＳマイクロディスプレイ付きですら、フレーム率及び画像速度はなお、ＴＴのＤＬＰ（ＤＭＤ）などのＭＥＭＳ装置のフレーム率及び画像速度よりも実質的に低い。
【0128】
しかしながら、ＨＭＤ用により高い解像度が望まれるので（最低でもより広いＦＯＶを達成するために）、ＴＴの２ｋ又は４ｋ装置などの高解像度ＤＭＤへのリソースは、非常に高価なソリューションのリソースを意味する。なぜならば、その特徴サイズ及び数のＤＭＤは、低収率で、大衆消費者又はビジネス生産及びコストのために典型的に許容され得るより高い欠陥率、現在それらが利用されているシステム（ＴＩ ＯＥＭのＢａｒｃｏ、Ｃｈｒｉｓｔｉｅ、及びＮＥＣによって商的にマーケティングされたデジタルシネマプロジェクタなど）のための非常に高いプライス・ポイントを有していると知られている。
【0129】
Ｌｕｍｕｓ、ＢＡＥ及びその他のように光学シースルーＨＭＤのためにフラット光学投影テクノロジー（ここで遮蔽は、設計の目的ではなく、これらのアプローチの範囲及び能力の範囲内で可能でもない）から、基本的にこのアプローチを複製するところまで進め、かつ実像を調節して、その後でＧａｏが提案するような従来の光学セットアップを用いて２つの画像を組み合わせるというのは本能的に容易なステップだが、一方、この組み合わせをもたらし、かつ比較的コンパクトな空間でそのように行うために、多数のフラット光学素子に頼る。
【0130】
背景の概説を締め括るため、ＨＭＤの２つの一般的カテゴリーである光学シースルーＨＭＤと古典的ＶＲ ＨＭＤにおける現在のリーダーに戻ると、現在の最先端技術の概略は以下の通りであるが、留意すべき点は、その他の変異形である光学シースルーＨＭＤ及びＶＲ ＨＭＤは両方とも市販されており、かつ集中的研究開発の対象となっており、実質的にＧｏｏｇｌｅ、Ｇｌａｓｓ、及びＯｃｕｌｕｓ ＶＲ ＨＭＤ、ｔｈｅ Ｒｉｆｔから飛躍的進歩がもたらされて以降増大している製品発表、出版及び特許出願を含む多大な量の商業的かつ学究的の両方の研究が行われている。
【0131】
・Ｇｏｏｇｌｅは、商的に主要なモバイルＡＲ光学ＨＭＤであるＧｌａｓｓで、この文書を著している時点では、光学シースルーＨＭＤカテゴリーにおいて躍進的な一般認知度と主要なマーケティングの地位を確立した。
【0132】
しかし彼らは、主に防衛／工業セクターでの製品を既に開発して送り出してきた市場（Ｌｕｍｕｓ及びＢＡＥ（Ｑ－Ｓｉｇｈｔホログラフィック導波管テクノロジー）を含む）については、他者に追従した。その他の最近の市場及び研究ステージに参入してきた企業としては、ｔｈｅ ＵＫ Ｎａｔｉｏｎａｌ Ｐｈｙｓｉｃａｌ Ｒｅａｌｉｔｙからの研究で、かつホログラフィック導波管の分野での研究を商業化したＴｒｕＬｉｆｅ Ｏｐｔｉｃｓがあり、彼らは比較的優位を主張している。
【0133】
多くの軍事用ヘルメットマウントディスプレイアプリケーションについて、そしてＧｏｏｇｌｅのＧｌａｓｓについての公式の主たる用途の場合について（繰り返すが、上記で分析している通り）、大まかな位置相関のみ必要であるビュー空間へのテキスト及び象徴的グラフィック要素のスーパーインポーズが、多くの初期の単純なモバイルＡＲアプリケーション用には十分であり得る。
【0134】
しかし、情報表示アプリケーションの場合でさえ、ビューアーに対面している（かつ最終的にはビューアーを取り囲む）ビュー空間におけるアイテム及び地形にタグ付けされた情報の密度が高いほど、タグの空間的順番／レイヤリングがタグ付けされた要素の透視／相対位置に一致する必要性が大きくなることが明白である。
【0135】
従って、オーバーラップ、すなわち、視野内の実要素によるタグの部分的遮蔽は（単にタグ自体のオーバーラップだけではなく）必然的に、ビジュアルクラッタを管理するために、「基本的」な情報表示を目的とする光学ビュースルーシステムでさえその要件となる。
【0136】
タグはさらに、現実空間の透視ビューにおけるタグ付けされた要素の相対位置だけではなく、自動化された優先度（事前に決められた又はソフトウェアで計算された優先度に基づく）と、リアルタイムのユーザが割り当てた優先度の、両方の度合いを反映しなければならないので、タグのサイズ及び透明度（情報階層を反映するためにグラフィックシステムによって用いられているただ２つの主要な視覚的キューを指定すること）が管理され、かつ実施されなければならない。
【0137】
そこで直ちに生じる疑問は、タグ及びスーパーインポーズされたグラフィック要素の半透明度及びオーバーラップ／遮蔽の問題を詳細に検討した上で、これらの基本的光学シースルーＨＭＤ（単眼レチクルタイプか又は双眼鏡全ガラスタイプかのいずれかを問わない）の光学素子を通過させられたライブ要素及びスーパーインポーズされた生成されたビデオ表示要素の相対的の明るさ（特に明るく照らされた屋外照明状態と、非常に薄暗く照らされた屋外状態での）の問題をいかに対処するかということである。これらのディスプレイタイプの有用性を十分に拡張するために、夜間の使用が、明らかに低照度の問題の極端なケースである。
【0138】
よって、受動的光学シースルーＨＭＤタイプの最も制限された使用事例の条件を超えて動くと、情報密度が増すにつれて（このようなシステムが商業的に成功し、かつ通常は高密度の都会又は郊外地域が営利事業からタグ付け情報を取得した場合に、このようになることが期待される）、かつ明るいかつ薄暗い状態での使用パラメータが制約に追加するにつれ、「受動的」光学シースルーＨＭＤは、モバイルＡＲ ＨＭＤの現実的で実用的な実施態様の問題及びニーズから逃れることも、これらに対処することもできないことが明らかである。
【0139】
そこで、モバイルＡＲ ＨＭＤを実現するための不完全なモデルとして受動的光学パススルーＨＭＤを検討しなければならず、そして後に振り返ってみた時に、能動的システムへの暫定的な足掛かりとしてのみ見られるようになるであろう。
【0140】
・Ｏｃｕｌｕｓ Ｒｉｆｔ ＶＲ （Ｆａｃｅｂｏｏｋ） ＨＭＤ： Ｇｏｏｇｌｅ Ｇｌａｓｓ製品マーケティングキャンペーンのインパクトと若干並行して、但し、Ｏｃｕｌｕｓが実用的ＶＲ ＨＭＤの重大な出発点でのバリアのいくつかを解決し、かつ／又は実質的に解決し始めていたという点で（Ｇｏｏｇｌｅの場合には、Ｌｕｍｕｓ及びＢＡＥに続くよりも）、実際には当該分野において先を進んでいたという差があるが、Ｏｃｕｌｕｓ Ｒｉｆｔ ＶＲ ＨＭＤは、本文書を記載している時点では、広く認められる消費者及びビジネス／産業用ＶＲの市場に参入しかつ当該市場を作り上げる主要な大量発売前のＶＲ ＨＭＤ製品である。
【0141】
Ｏｃｕｌｕｓ Ｒｉｆｔ ＶＲ ＨＭＤの基本的出発点での進歩の概要は、以下の製品特長のリストにまとめられ得る。
【0142】
ｏユーザの眼から数インチの位置に置かれ、かつ単一ディスプレイ上の双眼鏡透視領域に分割された、１０８０ｐ解像度の１個の現時点で対角７インチのディスプレイを用いて達成された、大幅に広げられた視野。以前存在していたＨＭＤの一般的仕様である全４５度と比べて、現在のＦＯＶは本文書上１００度である（その元々の９０度を改良）。別個
の双眼鏡光学体は、ステレオビジョン効果を実現する。
の双眼鏡光学体は、ステレオビジョン効果を実現する。
【0143】
ｏ 大幅に改良されたヘッドトラッキングと、結果としてもたらされる低いラグ。これは、改良されたモーションセンサ／ソフトウェアの進歩であり、３Ｄ位置追跡用の内蔵モーションセンサ（加速度計、ＭＥＭＳジャイロスコープなど）付きのその他のハンドヘルド及びハンドヘルド装置製品の中で、任天堂Ｗｉｉ、Ａｐｐｌｅ及びその他の携帯電話センサ技術における素早い追従者たち、プレイステーションＰＳＰ（現Ｖｉｔａ）、任天堂ＤＳ（現３ＤＳ）、そしてＸｂｏｘ Ｋｉｎｅｃｔシステムから移行してきたミニチュアモーションセンサテクノロジーを活用している。現在のヘッドトラッキングは、協調して作動する外部センサを用いて、マルチポイント赤外線光学システムを実現している。
【0144】
ｏ少ない待ち時間。これは、改良されたヘッドトラッキングと、対話型ゲームソフトウェアシステムの更新を行う速いソフトウェアプロセッサとの組み合わせの成果であるが、用いられるディスプレイテクノロジー（元々はＬＣＤであって、若干より速いＯＬＥＤがこれに取って代わった）の固有の応答時間によって制限される。
【0145】
ｏ 低い持続性。これは、より速いスイッチング速度のＯＬＥＤディスプレイとの組み合わせで作動して、ビデオストリームをスムーズに維持するのを助けるために、バッファリングの形態である。
【0146】
ｏ スキーゴーグル形態のファクター／材料及び機械プラットフォームを用いることによる、より軽い重量、低減された嵩、より良好なバランス、そして全体的に改良された人間工学。
【0147】
これらの改良点を組み合わせる正味のメリットの概要をまとめると、このようなシステムは構造上又は作動上、パターンとしては新しいものではないかもしれないが、改良された構成要素と、特に効果的な米国意匠特許第Ｄ７０１，２０６号、並びにあらゆる専有ソフトウェアの正味の効果は、結果として画期的レベルの大量市場ＶＲ ＨＭＤの性能と検証をもたらした。
【0148】
多くの場合にはこれらの先例に倣いかつそのアプローチを採用し、またＯｃｕｌｕｓ ＶＲ Ｒｉｆｔ構成の成功に基づいて自分たちのデザインを改変したその他の者達の場合には、同時期に発生した数個の製品プログラムがあり、多くのＶＲ ＨＭＤ製品開発者（ブランド名を冠した企業と新興企業の両方）が存在していて、彼らはオリジナルの２０１２年Ｅｌｅｃｔｒｏｎｉｃ Ｅｘｐｏ デモンストレーション及びＯｃｕｌｕｓ ＶＲ によるキックスターター融資キャンペーンの後、製品計画発表を行った。
【0149】
迅速に後に続いた者たちそしてＯｃｕｌｕｓ ＶＲテンプレートに従って自身の戦略を明らかに改変した者たちの中に、サムスンがいた。サムスンは、本文書記載の時点でＯｃｕｌｕｓ ＶＲ ＲｉｆｔのデザインとＳｏｎｙのＭｏｒｐｈｅｕｓによく似た開発モデルのデモンストレーションを行った。この分野で頭角を現してきた新興企業には、Ｖｒｖａｎａ（前Ｔｒｕｅ Ｇｅａｒ Ｐｌａｙｅｒ）、ＧａｍｅＦａｃｅ、ＩｎｆｉｎｉｔｅＥｙｅ、そしてＡｖｅｇａｎｔが含まれる。
【0150】
これらのシステム構成のいずれも、Ｏｃｕｌｕｓ ＶＲと全く同一と思われるものはないが、２パネルを使用するものもいれば、その他は４パネルを使用し、ＩｎｆｉｎｉｔｅＥｙｅは、その主張によると２００＋度までＦＯＶを拡げるために、４パネルシステムを利用した。ＬＣＤを使用するものもいれば、その他はＯＬＥＤを使用している。ヘッドトラッキングシステムの精度と更新速度を改良するために、光学センサが用いられている。
【0151】
これらのシステムのすべては、基本的に決まった場所での又は高度に制約付きの可動性のために実現される。これらは、居間や外科教室又はシミュレータステージなどの密閉空間で使用されるように設計された、搭載型及び能動的光学マーカに基づくモーション追跡システムを利用する。
【0152】
Ｏｃｕｌｕｓ ＶＲスキームと最も大きく異なるシステムは、ＡｖｅｇａｎｔのＧｌｙｐｈとＶｒｖａｎａ Ｔｏｔｅｍである。
【0153】
Ｔｈｅ Ｇｌｙｐｈは、反射平面光学素子上に投影されたマイクロ画像を生成するためにＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ＤＬＰ ＤＭＤを用いて、以前確立された光学ビュースルーＨＭＤソリューション及び構造に従ったディスプレイソリューションを実際に実現しており、既存の光学ビュースルーＨＭＤの平面光学素子と同じ構成及び操作であり、異なる点としては、反射／間接マイクロプロジェクタ・ディスプレイ・タイプを実現するために、高コントラストの光吸収バックプレーン構造が用いられており、ビデオ画像は、不透明、非透明表示画像の一般カテゴリーに属する。
【0154】
しかし、ここでＧａｏ開示の考察で前述した際に立証されたが、ＤＬＰ ＤＭＤ又はその他のＭＥＭＳ構成要素を使用する場合に、ディスプレイ解像度及びその他のシステム性能を１０８０ｐ／２ｋを超えて高める際の制限は、そのシステムのコスト、製造収率及び欠陥率、耐久性及び信頼性である。
【0155】
さらに、平面光学素子（格子構造、ＨＯＥ又はその他）の制限付き拡張／拡大率からの画像サイズ／ＦＯＶへの制限（これはＳＬＭ画像サイズを拡張するが、人間視覚システム（ＨＶＳ）（特に焦点システム）へのインタラクション／負担がある）は、ビューアーの安全と快適さへの制限を提示する。Ｇｏｏｇｌｅ Ｇｌａｓｓの試験での、同様のサイズだが解像度が低い画像の使用に対するユーザの反応では、より高い解像度でより明るいが、等しく小さい画像面積でのＨＶＳへのさらなる負担が、ＨＶＳに難題をもたらすことが示唆されている。Ｇｏｏｇｌｅの公式コンサルタントである眼科医のＥｌｉ Ｐｅｌｉ医師は、オンラインサイトＢｅｔａＢｅａｔとのインタビューでのＧｏｏｇｌｅ Ｇｌａｓｓユーザたちに対する、何らかの眼精疲労と不快感を予測した以前の警告（２０１４年５月１９日）を追跡調査し、改訂版の警告（２０１４年５月２９日）にて潜在的利用の事例と範囲を制限することを求めた。その境界決定は、意図されていない態様で使用された又は長時間使用された眼筋についてであり、改定された声明でのこの近因は、ユーザを強制的に見上げさせてしまうことになった小さい表示画像の位置であった。その他の専門家たち
【0156】
しかしながら、実際のＦＯＶの小さな部分への焦点使用のために必要な眼筋の使用の特定の組み合わせは、実際のＦＯＶ全体に亘っての眼の動きに必要なものと同一であると想定することはできない。事実上、焦点筋肉の小さい微調整は、自然のＦＯＶのスキャンに伴うモーション範囲よりも限定／制約される。よって、収縮性ＲＯＭの繰り返しの動きは、当該分野で知られている通り、焦点方向のみに制限されているのではないが、ＨＶＳの特質により、通常使用を超えた過度の緊張を追加し、またさらに、モーション範囲の制約と、非常に小さい制御された微調整を行う必要性を追加することが予想される。
【0157】
追加される複雑さとは、制約される眼の動きの領域における詳細のレベルが、複雑で詳細な動きが伴う場面で解像度が高まるにつれ、眼精疲労が精密工具作業を急速に上回ってしまうということである。この問題についての厳密な処置は、光学ビュースルーシステムのいずれの開発者によっても何ら報告されておらず、そしてこれらの問題点と、Ｓｔｅｖｅ Ｍａｎｎが自身のＥｙｅＴａｐシステムの使用について何年にも亘って報告してきた眼精疲労、頭痛及びめまいの問題（この問題については、最新のＤｉｇｉｔａｌ Ｅｙｅ
Ｔａｐ アップデートにおいて、視野の中心に画像を移動することによって、一部分は改良されたと報告されているが、系統的な研究はなされていない）については、精密作業から生じ得る眼精疲労及び「コンピュータ視覚病」の課題及び問題のごく一部のみに着目している限定されたコメントしかなされていない。
Ｔａｐ アップデートにおいて、視野の中心に画像を移動することによって、一部分は改良されたと報告されているが、系統的な研究はなされていない）については、精密作業から生じ得る眼精疲労及び「コンピュータ視覚病」の課題及び問題のごく一部のみに着目している限定されたコメントしかなされていない。
【0158】
しかしながら、ＧｏｏｇｌｅがＰｅｌｉ医師から入手可能とした限定された公的コメントでは、概して、光学ビュースルーシステムとしてのＧｌａｓｓは、長期の又は高周波数での視聴よりもむしろ、時折使用することが意図されていると、繰り返し主張している。
【0159】
Ｇｌｙｐｈスキームを理解するためのもう一つの方法としては、最高レベルにおいて、Ｍａｎｎ Ｄｉｇｉｔａｌ ＥｙｅＴａｐシステム及び構造配置に従い、光分離させたＶＲ操作のための実施態様のバリエーションを用い、かつ最新の光学ビュースルーシステムの側面投影偏向光学セットアップを利用することである。
【0160】
Ｖｒｖａｎａ Ｔｏｔｅｍでは、Ｏｃｕｌｕｓ ＶＲ Ｒｉｆｔからの出発とは、同一の光学的に覆われたＯＬＥＤディスプレイパネル上でビデオキャプチャーされた前方画像キャプチャーと、生成されたシミュレーションとを切り替えることを可能にするため、双眼鏡、従来のビデオカメラを追加することによって、Ｊｏｎ Ｂａｒｒｉｌｌｅａｕｘの「間接視ディスプレイ」のスキームを採用することにある。Ｖｒｖａｎａは、まさにＢａｒｒｉｌｌｅａｕｘの特定したスキーム及びパターンに従って、ＡＲ用のこの非常に基本的な「間接視ディスプレイ」を実現する材料をマーケティングすることを示してきた。最低でもＨＭＤの重量及びバランスへの影響はあるが、事実上現在のＯｃｕｌｕｓ ＶＲ世代のその他のＶＲ ＨＭＤのいずれも、このような従来のカメラに取り付けることができることが明らかである。
【0161】
上記より、「ビデオシースルーＨＭＤ」のカテゴリーにおいて又は一般的に「間接視ディスプレイ」の分野においては暗視ゴーグルのカテゴリーを超えるような進歩はほとんどあるいは全くないということが、上記の内容から明白であろう。暗視ゴーグルは、サブタイプとしてはよく開発されてきているが、当該技術分野で知られているビデオプロセッサ方法の範囲内で、ライブ画像にテキスト又はその他のシンプルなグラフィックを追加する提供以外のあらゆるＡＲ特長を欠いている。
【0162】
さらに、ＶＲ ＨＭＤに対する既存の制限に関して、ＯＬＥＤ及びＬＣＤパネルを用いるすべてのこのようなシステムは比較的低いフレーム率となってしまい、これはモーションラグや待ち時間、そしてこれは広いカテゴリーでの「シミュレータ病」に属する一部のユーザへのネガティブな生理的影響の一因となる。また、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ＤＬＰ ＤＭＤに基づくプロジェクタ又はＳｏｎｙ ＬＣｏＳに基づくプロジェクタ用に実現されたＲｅａｌＤ システムなどのこのような市販のステレオシステムを用いる、映画のデジタルステレオ投影システムでは、不十分に高いフレーム率もまた、観客のほんの一部（ある研究では１０％ほど）が頭痛や関連症状を体験する一因となるとも報告されていることも注記しておく。これらのうちの一部は該当する個人に特有のものであるが、これについてかなりの割合がフレーム率の制限に原因を帰することができる。
【0163】
そしてさらに、注記した通り、Ｏｃｕｌｕｓ ＶＲは、本書記載の時点で用いられているＯＬＥＤのなおも不十分に高いピクセルスイッチング／フレーム率を補うために、パット内のシステムをバッファリングする「低い持続性」を実現している。
【0164】
既存のＶＲ ＨＭＤの性能へのさらなる影響は、既存のＯＬＥＤ及びＬＣＤパネルディスプレイの解像度制限によるもので、この解像度制限は、十分に効果的な解像度を達成するために、対角５～７インチディスプレイを使用して、かつ視聴光学体（そしてビューア
ーの眼）から少し離してこれらを取り付ける要件の一部要因となり、大半のその他の光学ヘッドウェア製品よりもかなり大きく、より嵩があって、より重い、既存のそして計画された提供物の嵩、サイズ及びバランスの一因となる。
ーの眼）から少し離してこれらを取り付ける要件の一部要因となり、大半のその他の光学ヘッドウェア製品よりもかなり大きく、より嵩があって、より重い、既存のそして計画された提供物の嵩、サイズ及びバランスの一因となる。
【0165】
嵩を追加することなくＦＯＶをさらに改良することが期待され得る曲面ＯＬＥＤディスプレイを採用することから、潜在的な部分的改良が期待される。しかしながら、受容可能な収率の製造工場の能力に対して大幅な追加規模の投資を必要とする、十分な量を市場に出すための経費は、この見通しを短期的に実践的ではないものにする。そのため、嵩やサイズの問題に単に部分的に対処するのみとなってしまう。
【0166】
完全性のために、インタラクティブではなく又はいかなるモーション感知能力なしで、よって仮想又はハイブリッド（混合の現実／ＡＲ）世界をナビゲートする能力なしにビデオコンテンツを視聴するために採用されるビデオＨＭＤを指摘する必要もある。このようなビデオＨＭＤは、過去１５年間に亘って基本的に改良されてきて、効果的なＦＯＶ及び解像度及び視聴の快適さ／人間工学を高め、かつ最新のＶＲ ＨＭＤが活用しかつそのために構築することが可能となった開発経路及び進歩を提供してきた。しかし、これらもまた、ＯＬＥＤ、ＬＣＤ及びＤＭＤに基づく反射／偏向光学システムについて観察された制限に従うパターンで、採用されたディスプレイ技術のコア性能によって制限されてきた。
【0167】
透明なアイウェアの光学パラダイムにおける投影画像についてのその他の重要なバリエーションは、Ｏｓｔｅｒｈｏｕｄｔ Ｄｅｓｉｇｎ Ｇｒｏｕｐ、Ｍａｇｉｃ Ｌｅａｐ、及びＭｉｃｒｏｓｏｆｔ（Ｈｏｌｏｌｅｎｓ）によるものを含む。
【0168】
これらのバリエーションは、互いに対して、そして前述で詳細に考察したその他の従来技術に対していくつかの相関的な利点又は欠点をもたらし、これらはすべて基本アプローチの制限を保持している。
【0169】
共通してより根本的かつ普遍的でさえあって、既存のコアディスプレイ技術のフレーム率／リフレッシュとして、高速ＬＣ、ＯＬＥＤ又はＭＥＭＳのいずれかを問わず、また表示画像をビューイング光学体に伝達するために開示された機械的スキャニングファイバー入力又はその他の光学システムを採用しているか否かを問わず、これらは採用されたディスプレイ／ピクセル技術の基本タイプによっても制限され、すべては、大量市場の高品質で楽しめるＡＲ及びＶＲの実現に別々にかつ共に寄与する、高品質で、目に優しい（ＨＶＳ）、低電力、高解像度、高ダイナミックレンジ及びその他のディスプレイ性能パラメータの要件を満たすにはまだ不十分である。
【0170】
上に記載された詳細について従来技術の状態の概要をまとめると、以下の通りである。
【0171】
・「高視力」ＶＲは、ＦＯＶ、待ち時間、頭部／モーション追跡、軽量、サイズ及び嵩という実質的に多くの点において改良した。
【0172】
・しかし、フレーム率／待ち時間及び解像度、そして当然の重要な結果として生じる範囲において、重量、サイズ及び嵩は、コアディスプレイ技術の制約によって制限される。
【0173】
・そして現代のＶＲは、小さい制御された空間での静止型又は非常に制約かつ制限されたモバイル用途に制約される。
【0174】
・光学ビュースルーシステムの密閉バージョンに基づくが、ＳＬＭが一連の３つの光学素子を介して画像を眼に投影する側面投影偏向システムとして構成されたＶＲは、反射画像のサイズの性能において制限され、この反射画像は拡大されるが、標準のメガネレンズ
の合計面積に比べて、ＳＬＭ（ＤＬＰ ＤＭＤ、その他のＭＥＭＳ、又はＦｅＬＣｏＳ／ＬＣｏＳ）の出力よりもかなり大きくはない。「クローズアップ作業」の非常に激しいバージョンの拡張ビューイングと、これによって眼筋に要求されることからの眼精疲労のリスクは、実用的受け入れにおける追加の制限となる。そして、ＳＬＭタイプ及びサイズのディスプレイはまた、言及されたテクノロジーのより高い解像度のＳＬＭのスケーリングコストにより、改良された解像度及び性能全般への実用的進路も制限する。
の合計面積に比べて、ＳＬＭ（ＤＬＰ ＤＭＤ、その他のＭＥＭＳ、又はＦｅＬＣｏＳ／ＬＣｏＳ）の出力よりもかなり大きくはない。「クローズアップ作業」の非常に激しいバージョンの拡張ビューイングと、これによって眼筋に要求されることからの眼精疲労のリスクは、実用的受け入れにおける追加の制限となる。そして、ＳＬＭタイプ及びサイズのディスプレイはまた、言及されたテクノロジーのより高い解像度のＳＬＭのスケーリングコストにより、改良された解像度及び性能全般への実用的進路も制限する。
【0175】
・光学ビュースルーシステムは概して、眼筋の比較的小さい領域への使用の限定により眼精疲労の可能性は同じであり、これらの制約内でのかつ短い使用期間を超える場合について、比較的細かくかつ頻繁に眼を追跡する調整を要する。Ｇｏｏｇｌｅ Ｇｌａｓｓは、真直ぐ前を見る眼の直接レスト位置よりも上にかつ外に光学素子を位置づけることによって、制限された継続期間の使用の予想を反映するように設計されていた。しかし、ユーザは、Ｇｏｏｇｌｅ Ｇｌａｓｓ Ｅｘｐｌｏｒｅｒｓからの文章やインタビューによって出版物で幅広く文書化されてきたように、それにもかかわらず眼精疲労を報告していた。
【0176】
・光学ビュースルーシステムは、透視ビューにおける現実世界のオブジェクトへのタグを整理する必要性があるため、重ねられた半透明情報の密度において制限される。可動性及び情報密度の必要性により、グラフィック情報表示アプリケーション用でさえ受動的光学ビュースルーを制限付きとする。
【0177】
・「間接視ディスプレイ」の諸態様は暗視ゴーグルの形態で実現されてきており、Ｏｃｕｌｕｓ ＶＲの競合相手であるＶｒｖａｎａは、ＡＲ用の双眼鏡ビデオカメラが搭載されたＴｏｔｅｍの適応を示唆したのみである。
【0178】
・Ｇａｏの提案。これは光学ビュースルーディスプレイであると主張されているが、実際には、ＳＬＭ装置の使用により擬似ビュースルーの態様を有し、どちらかというと「間接視ディスプレイ」であり、実波面の一部をサンプリングしかつ当該波面の複数部分をデジタル処理で改変するために、投影ディスプレイ用に修正されて、そのように機能する。
【0179】
最初の波面部分の光ルーティングに介在する光学素子の数（また、ここに追加すべき点は、従来のメガネの従来のレンズの光学領域よりもかなり小さい）（７個又はこれに近い数である）は、画面収差、画像の乱れ、及び損失の両方の機会をもたらすが、多くのそのような素子の複雑自由空間アラインメントが一般的でなく、かつそれらが必要とされ、高価であって、維持が困難であり、かつ堅牢ではない場合に、光学アラインメントの複雑なシステムが必要となる。ＳＬＭが現実の場面の改変を管理することを期待されている際に用いられる方法も、その特定の要件について特定も検証もされていない。ディスプレイ２個～４個タイプの装置（双眼鏡システムの単眼に応じて）間の信号処理の調整を行う問題についても特定も検証もされておらず、この問題は、透視ビューにおける実要素と合成要素との間の適正な関係を作り出すために計算を行うことが既に非常に厳しい要求である状況において、特に、個人が、情報が密集していて地形的に複雑な環境の中で動いている場合に、現実のフィールドからの具体的にどのピクセルが、適正な合成のもののための較正されたピクセルなのかを判断することを含む。車両への搭載は、単にこの問題をさらに悪化させるのみである。
【0180】
Ｇａｏが提案する光学セットを構築するというタスクに比べて、又はこれを比較的コンパクトな形状因子に縮小するタスクでさえあっても、完全なシステムを開発するには無数の追加の問題がある。サイズ、バランス、及び重量は、様々な処理及び光学体アレイユニットの数及び（暗示的に）必要な場所にもたらされる多くの結果のうちのほんの一つであるが、言及したその他の問題や制限に比べて、比較的マイナーなものである。但し、この
ようなシステムを現場使用（軍事用又は高耐久化された工業利用又は消費者利用のいずれか）するために実際に配備するには深刻なものではある。
ようなシステムを現場使用（軍事用又は高耐久化された工業利用又は消費者利用のいずれか）するために実際に配備するには深刻なものではある。
【0181】
・１００％「間接視ディスプレイ」は、Ｇａｏの提案に関する重要な点で同様の需要があるだろうし（ディスプレイタイプユニットの数や、アラインメント、光学システム、ピクセルとシステムのマッチング、及びパースペクティブの問題の詳細を除く）、よって、このようなシステムのすべての重要なパラメータが、リアルタイムの個々の透視リアルタイムビュースルー画像と協調して保存された合成ＣＧ３Ｄマッピングされた空間の「総当たりの」計算を必要とする度合いについての問題を投げかける。この問題は、前方ビデオカメラによって撮像されたビデオ画像について、基本的なＢａｒｒｉｌｌｅａｕｘで、そして今は可能なＶｒｖａｎａデザインで、計算がすべて行われ、合成要素と合成するための非ローカルな（ＨＭＤ及び／又は装着者自身へ）プロセッサへと中継されなければならない程度まで、より大きくなる。
【0182】
現実の環境に没入感及び較正の両方を実現する真にモバイルなシステムにとって（ＶＲ又はＡＲのいずれでも）何が必要なのかは、以下の通りである。
【0183】
・人間視覚システムへの非正規な要求を最小限に抑える人間工学光学体及び視聴システム。これは、より拡張された使用を可能にするためであり、その拡張使用はモバイル使用によって暗示される。
【0184】
・１２０～１５０度の広いＦＯＶ（理想的には周辺の視界を含む）。
【0185】
・典型的にディスプレイが原因である待ち時間及びその他の画像の乱れを最小限に抑えるための高いフレーム率（理想的に６０ｆｐｓ／眼）。
【0186】
・顔からユニットまでの快適な距離での高い実効解像度。最大値を測定するために使用され得る実効解像度基準は、有効８ｋ又は「網膜ディスプレイ」である。この距離は、一般的にバランス点として鼻梁を用いる従来のメガネの距離と同様となるはずである。視準及び光路光学体が、この有効表示解像度及び眼までの光学素子の実際の距離も実現する適正な仮想焦点面を確立するために必要である。
【0187】
・ライブ実景のダイナミックレンジに可能な限り近く一致する高ダイナミックレンジ。
【0188】
・既知の地形（事前に知っているか、又は装着者の視界範囲内でジャスト・イン・タイムで知ったかを問わず）での頭部と体の両方の向きを決定するための搭載モーション追跡。これは、ハイブリッドスキームでは、外部システムによって補足されるかもしれない。
【0189】
・現実の場面の波面といずれかの合成要素との間で、人間視覚システムの枠の中で、速い合成プロセスを可能にするディスプレイ光学体システム。搭載型（ＨＭＤ及び装着者への）及び／又は外部の処理システムのいずれかへの負担を可能な限り最小限に抑えるために、多くの受動的手段が用いられるべきである。
【0190】
・光学素子が少しだけ、能動的装置要素が少しだけ、かつ最低重量及び厚さの両方であり、機械的かつ熱的応力下で堅牢な単純で能動的装置デザインを有する、比較的シンプルで粗野なディスプレイ光学体システム。
【0191】
・軽量、嵩が低く、重心のバランスが取れ、かつ軍のかつ耐久性のある環境産業ユーザなどの両専門ユーザにとって受け入れられると知られている設計構成に適し、かつスポーツアプリケーション、並びに一般消費及びビジネス用途を高耐久化する形状因子。Ｏａｋ
ｌｅｙ、Ｗｉｌｅｙ、Ｎｉｋｅ、及びＡｄｉｄａｓなどのメガネ製造業者から、Ｏａｋｌｅｙ、Ａｄｉｄａｓ、Ｓｍｉｔｈ、Ｚｅａｌ及びその他の若干より専門的なスポーツゴーグル製造業者までのファクター範囲により、このように認められている。
ｌｅｙ、Ｗｉｌｅｙ、Ｎｉｋｅ、及びＡｄｉｄａｓなどのメガネ製造業者から、Ｏａｋｌｅｙ、Ａｄｉｄａｓ、Ｓｍｉｔｈ、Ｚｅａｌ及びその他の若干より専門的なスポーツゴーグル製造業者までのファクター範囲により、このように認められている。
【0192】
・可変的に、完全可動性を保持しつつのＶＲ体験と、可変遮蔽、透視一体型ハイブリッドビューイングＡＲシステムとの間で切り替え可能なシステム。
【0193】
・ＨＶＳ用に受信する波長を管理するとともに、対象波長（センサを介して）とこれらのハイブリッドから有効な情報を取得することができるシステム。赤外線、可視及びＵＶが、典型的な対象波長である。
【発明の概要】
【0194】
人間視覚システムに対する又は非表示データアレイ出力機能性に対する取り込み、配信、組織化、送信、記憶、及び提示のプロセスの非最適化操作ステージの損なわれた機能性から装置及びシステムデザインを解放する態様で、かつその代わりに、各ステージにとって最も適する装置の最適化機能を可能にする操作ステージへと、フォトニック信号処理及びアレイ信号処理ステージを分解する態様で、上記プロセスを新たに想像するためのシステム及び方法を開示するものであり、これは実際には、これらの装置及びプロセスが最も効率的に作動する周波数で装置を設計かつ操作し、そしてより効率的な全光信号処理（ローカルと長距離の両方）をさらに可能にする正味の効果とともに、かかる「便宜的周波数」の間を行き来するように、効率的な周波数／波長変調／シフトステージに取り組むことを意味する。
【0195】
本発明の以下の概要は、信号処理に関係する技術的特長のいくつかについての理解を容易にするために提供されるものであり、本発明を完全に記載することを意図したものではない。明細書全文、請求項、図面及び要約を全体として捉えることによって、本発明の多様な局面を十分に評価することができる。
【0196】
本発明の実施形態は、一体型ピクセル信号「変調器」の構成要素を個別の信号処理ステージに分解し、よってテレコムタイプネットワーク（コンパクトに又は空間的にリモートとなり得る）に分解することを伴い得る。動作可能なように最も基本的なバージョンは、典型的に一体型ピクセル変調器で達成されるピクセル論理「状態」符号化と、これとは分離される色変調ステージと、次にまたこれとは分離される強度変調ステージとを含む、３段階「ピクセル信号処理」シーケンスを提案する。より詳細なピクセル信号処理システムがさらに詳しく述べられ、このピクセル信号処理システムは、サブステージ及びオプションを含み、かつ磁性フォトニックシステムの効率的な実施態様により詳述されかつ具体的に調整され、１）バルク光（好ましくは不可視近赤外線）が適切なモードに変換されて、チャネル化されたアレイに組み込まれる、効率的照明光源ステージと、これが供給する２）ピクセル／論理処理及び符号化ステージと、これに続く３）オプションの不可視エネルギーフィルタ及び回収ステージと、４）信号分割及びモード修正などの属性を改良／修正するためのオプションの信号修正ステージと、５）周波数／波長変調／シフティング及び追加帯域幅及びピーク強度管理と、６）オプションの信号増幅／利得と、７）特定のＭＯ型ライトバルブ切替えを完了するためのオプションのアナライザと、８）ピクセル信号処理及び配信の特定の無線（ステージ）のためのオプションの構成とで構成される。さらに、このシステムのＤＷＤＭ型構成が提案され、この構成は全光ネットワークのあるバージョン及び全光ネットワークへの経路を提供し、これによって得られるその付随する主要な費用及び効率は、特に動機付けされ、かつより効率化される画像情報（ライブのかつ記録済みの両方）の取り扱いである。そして最後に、新しいハイブリッド磁性フォトニック装置及び構造が提案され、ピクセル信号処理システムを最大限活用するために、本開示のシステムのために以前は実用的ではなかったその他のものが可能とされ、その周囲にこのよ
うなシステムが最適に構成される（新規の基本スイッチと、すべての適用のための大半でなくても多くのＭＰＣ型装置を改良する新規のハイブリッド２Ｄ及び３Ｄフォトニック結晶構造とを実現する、磁気光学及び非磁気光学効果（スローライト及び逆磁気光学効果など）のハイブリッド化に基づく装置の新規及び／又は改良バージョンを含む）。
うなシステムが最適に構成される（新規の基本スイッチと、すべての適用のための大半でなくても多くのＭＰＣ型装置を改良する新規のハイブリッド２Ｄ及び３Ｄフォトニック結晶構造とを実現する、磁気光学及び非磁気光学効果（スローライト及び逆磁気光学効果など）のハイブリッド化に基づく装置の新規及び／又は改良バージョンを含む）。
【0197】
本開示の発明者による同時係属出願では、典型的な一体型ピクセル信号「変調器」の構成要素を個別の信号処理ステージに分解する、新しいクラスの表示システムが提案される。よって、一体化ピクセル変調器において一般的に達成される基本論理「状態」は、色変調ステージから分離され、色変調ステージは、強度変調ステージから分離される。これは可視画像ピクセル変調の問題に適用されるテレコム信号処理アーキテクチャとして考えてよい。一般的に、３つの信号処理ステージと３つの個別の装置構成要素及び操作が提案されるが、追加の信号に影響を与える操作が追加されてもよく、かつ企図される（偏光特性、従来の信号からポラリトン及び表面プラズモンなどのその他の形態への変換、信号の重ね合わせ（その他の信号データに重畳されたベースピクセル・オン／オフ状態など）等を含む）。受動的な材料の後のステージで実質的に構成される比較的「ダム」な表示器具を提供する、広帯域ネットワークに亘る高度分散ビデオ／信号処理アーキテクチャが、連続して、同一の装置で又は別個の装置の間に密に接触している複数の装置で、かつ大きなアレイで個別の信号処理ステップを実施するコンパクトフォトニック一体化回路装置と共に、主な結果である。
【0198】
ハイブリッドテレコムタイプの改良されたかつ詳細のバージョンの本開示では、特に周波数／波長変調／シフトステージ及び装置（確固たる範囲の実施形態で実現され得る）を含むその他のピクセル信号処理ステージ／装置と組み合わせた磁気光学／磁性フォトニックステージ／装置を用いたピクセル信号処理表示システムも含まれ、改良されかつ新規のハイブリッド磁気光学／フォトニック構成要素は、古典的な又は非線形ファラデー効果ＭＯ効果に制約されないが、非可逆的ＭＯ効果及び現象並びにそれらの組み合わせをより広く包含し、かつハイブリッドファラデー／スローライト効果及びカー効果に基づく、かつファラデー及びＭＯカー効果のハイブリッドに基づく装置及びその他のＭＯ効果も含み、かつ装置形状サイズ全体を低減するために、装置の表面と同一面内に変調信号の経路が折り畳まれる、改良された「ライトバッフル」構造も含み、かつ擬似２Ｄ及び３Ｄフォトニック結晶構造及び多層フィルムＰＣと表面格子／分極ＰＣとのハイブリッド、並びにＭＯ及びマッハ・ツェンダー干渉計装置のハイブリッドも含む。
【0199】
従って、早期のＭＯベース装置と本明細書に開示される改良された装置の両方を包括して、本開示は、ピクセル信号処理（又は、同様に、ＰＩＣ、センサ、もしくはテレコム信号処理）ステージの以下のプロセスフローの、テレコムタイプ又はテレコム構造化されたピクセル信号処理システムを、よって本開示のシステムを特徴とするアーキテクチャ（及びその変異形）を提案する。
【0200】
本明細書に記載する実施形態のいずれも、単独で又は互いに共にあらゆる組み合わせで使用され得る。本明細書内に包含される発明は、本概要において又は要約において部分的にのみ言及もしくは示唆され、又はまったく言及もしくは示唆されていない実施形態も含み得る。本発明の多様な実施形態は、従来技術の多様な欠点を動機付けとしているかもしれないが（かかる欠点について、本明細書の１か所以上の場所で検討され又は示唆されるかもしれない）、本発明の実施形態は、必ずしもこれらの欠点のいずれかに取り組むものではない。言い換えると、本発明の異なる実施形態は、本明細書で検討され得る異なる欠点に取り組み得る。本明細書で検討され得るいくつかの欠点又はただ１つの欠点のみに部分的に取り組む実施形態もあれば、これらの欠点のいずれにも取り組まない実施形態もあり得る。
【0201】
本発明のその他の特長、メリット、及び利点は、明細書、図面及び請求の範囲を含む本開示を精査することで明らかになるであろう
【図面の簡単な説明】
【0202】
添付の図面（これらの図面における同様の符号は別個の図面に亘って同一又は機能的に類似の要素を指し、かつ本明細書に組み込まれて本明細書の一部を形成する図面である）は、本発明をさらに示し、本発明の詳細な説明と共に、本発明の原理を説明するのに役立つ。
【0203】
【0204】
【0205】
【0206】
【0207】
【0208】
【発明を実施するための形態】
【0209】
本発明の実施形態は、人間視覚システムに対する又は非表示データアレイ出力機能性に対する取り込み、配信、組織化、送信、記憶、及び提示のプロセスの非最適化操作ステージの損なわれた機能性から装置及びシステムデザインを解放する態様で、かつその代わりに、各ステージにとって最も適する装置の最適化機能を可能にする操作ステージへと、ピクセル信号処理及びアレイ信号処理ステージを分解する態様で、上記プロセスを新たに想像するためのシステム及び方法を提供するものであり、これは実際には、これらの装置及びプロセスが最も効率的に作動する周波数で装置を設計かつ操作し、そしてより効率的な全光信号処理（ローカルと長距離の両方）をさらに可能にする正味の効果とともに、かかる「便宜的周波数」の間を行き来するように、効率的な周波数／波長変調／シフトステージに取り組むことを意味する。以下の説明は、当業者が本発明を製造かつ使用することが可能になるように提示され、かつ特許出願及びその要件の文脈において提供される。
【0210】
本明細書に記載される好適実施形態と一般的原則及び特長への多様な修正が、当業者には容易に明らかとなるであろう。よって本発明は、示される実施の形態に制限されることを意図されたものではなく、本明細書に記載の原則及び特長に一致する最も広い範囲が与えられることが意図されたものである。
【0211】
定義
【0212】
別段の定義がなされない限り、本明細書で使用されるすべての用語（技術用語及び科学用語を含む）は、この一般的発明概念が所属する分野の当業者によって一般的に理解されるのと同じ意味を有する。さらに、一般的に使用される辞書で定義される用語などの用語は、該当技術分野及び本開示の文脈上でのその用語の意味に一致する意味を有するとして
解釈されるべきであること、及び本明細書において明示的に定義されない限り、理想化されたか又は過度に形式張った意味では解釈されないことが理解される。
解釈されるべきであること、及び本明細書において明示的に定義されない限り、理想化されたか又は過度に形式張った意味では解釈されないことが理解される。
【0213】
本発明のいくつかの実施形態に関して記載される態様のいくつかに、以下の定義が適用する。これらの定義は同様に本明細書においてさらに詳しく述べられ得る。
【0214】
本明細書上、「又は」という用語は「及び／又は」を含み、かつ「及び／又は」という用語は、関連して列記される項目のうちの１つ以上のあらゆる組み合わせを含む。「～のうちの少なくとも１つ」などの表現が、複数の要素のリストの後に来る場合、当該要素のリスト全体を修飾し、当該リストの個々の要素を修飾するものではない。
【0215】
本明細書上、単数の用語「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈上別段の明確な指示がなされていなければ、複数の指示対象を含む。よって、例えば、文脈上別段の明確な指示がなされていなければ、ある単数のオブジェクトへの言及は、複数のオブジェクトを含み得る。
【0216】
また、本明細書の説明においてかつその後の請求項に亘って使用されている通り、「～における（ｉｎ）」の意味は、文脈上別段の明確な指示がなされていない限り、「～の中に（ｉｎ）」と「～上に（ｏｎ）」を含む。ある要素が他の要素の「上に」あるとして言及された場合、当該要素は他の要素の直接上にあるか又は両要素の間に介在する要素が存在する可能性があることが理解されるであろう。一方、ある要素が別の要素の「直接上に」あるとして言及される場合、両要素の間には介在する要素は一切ない。
【0217】
本明細書上、「セット」という用語は、１つ以上のオブジェクトの集まりを指す。よって、例えば、オブジェクトのセットは、単一のオブジェクト又は複数のオブジェクトを含み得る。１セットのオブジェクトも、当該セットの要素を言及し得る。１セットのオブジェクトは、同一又は異なり得る。１セットのオブジェクトが、１つ以上の共通特性をシェアし得る場合もある。
【0218】
本明細書上、「隣接する」という用語は、近くにある又は隣にあるということを指している。隣接するオブジェクトは、互いに離れているか又は実際にもしくは直接的に互いに接触している可能性がある。隣接するオブジェクトは、互いに結合し得るか又は互いに一体化形成され得る場合もある。
【0219】
本明細書上、「接続する」、「接続された」、及び「接続している」という用語は、直接の取付又はリンクを指す。接続されたオブジェクトは、文脈が示す通り、１つの又は１セットの介在するオブジェクトを全く有しないか又は実質的に介在するオブジェクトを有しない。
【0220】
本明細書上、「結合する」、「結合された」、及び「結合している」という用語は、作動接続又はリンクを指す。結合されたオブジェクトは、互いに直接接続され得るか、又は介在するセットのオブジェクトを介してなどで互いに間接的に接続され得る。
【0221】
本明細書上、「実質的に」及び「実質的」という用語は、かなりの程度又は範囲を指す。ある事象又は状況と共に使用された場合、この用語は、当該事象又は状況がまさに発生した事例や、当該事象又は状況がおおよそ発生しそうな事例（本明細書に記載の実施形態の典型的許容レベル又は可変性を説明するなど）を指し得る。
【0222】
本明細書上、「オプションの」及び「オプションで」という用語は、その後に説明する事象又は状況が発生するかもしれないし又は発生しないかもしれないということ、そして
その説明が、当該事象又は状況が発生する事例と、当該事象又は状況が発生しない事例とを含むことを意味する。
その説明が、当該事象又は状況が発生する事例と、当該事象又は状況が発生しない事例とを含むことを意味する。
【0223】
本明細書上、「機能素子」という用語は、エネルギー提供構造からエネルギーを受け取る減勢構造を広義に意味する。機能素子という用語は、一方向構造と双方向構造を包含する。機能素子が、ディスプレイの構成要素又は要素であり得る実施態様もある。
【0224】
本明細書上、「表示」「ディスプレイ」という用語は、表示組成要素を作成するための構造又は方法を広義に意味する。表示構成要素は、表示画像プリミティブプリカーサから作成された処理済み画像組成信号から作成された表示画像構成要素の集まりである。この画像プリミティブプリカーサは、他の文脈では、ピクセル又はサブピクセルと呼ばれることもあった。残念なことに、「ピクセル」という用語は、ピクセル／サブピクセルからの出力や、表示画像の構成要素を含む、多くの異なる意味を発展させてきた。本発明のいくつかの実施形態は、これらの要素を分離して、追加の中間構造及び要素（その一部は独立した処理用）を形成する実施態様を含み、これはさらに、これらすべての要素／構造をピクセルと呼ぶことによって混乱が生じ得るので、特定の構成要素／要素を明確に言及するために、本明細書では多様な用語が使用される。画像組成信号から表示画像プリミティブのセットを作成するために、中間処理システムによって受信され得る画像組成信号を放出する。意図された視聴条件において人間視覚システムに提示された際に（ディスプレイを通しての直視で又は投影システムによって投影されて）、画像を作成する表示画像プリミティブの集まり。この文脈での信号とは、表示画像プリミティブプリカーサである、又はこれに相当する、信号発生器の出力を意味する。重要なことは、処理が望まれる限り、これらの信号は、自由空間に送信されることなしに、多様な信号保存伝搬チャネル内の信号として保存され、当該自由空間では、信号は、他のソースからの他の拡張波面（これもまた自由空間内を伝搬している）と結合する拡張波面を生み出す。信号は掌性を有さず、かつ鏡像を有さない（つなり、逆転した、上下逆の、又は反転した信号はないが、画像及び画像部分は異なる鏡像を有する）。さらに、画像部分は直接追加されるものではなく（ある画像部分を別の画像部分に重ねることは、結果を予測するのは（それが仮に可能であっても）難しい）、かつ画像部分を処理するのは非常に困難であり得る。信号発生器として使用され得る多くの異なるテクノロジーがあり、異なるテクノロジーは、異なる特徴又はメリット、そして異なる欠点を有する信号を提供する。本発明のいくつかの実施形態は、特定のテクノロジーの欠点を最小限に抑えつつ、複数のテクノロジーの組み合わせから利点を取り入れ得るハイブリッドアセンブリ／システムを可能にする。組み込まれた米国特許出願第１２／３７１，４６１号は、このようなテクノロジーを有利に組み合わせることができるシステム及び方法を記載し、よって、表示画像プリミティブプリカーサという用語は、ピクセル技術のためのピクセル構造及びサブピクセル技術のためのサブピクセル構造をカバーする。
【0225】
本明細書上、「信号」という用語は、信号が生成される時点での信号発生器の状態についての情報を伝える、表示画像プリミティブプリカーサなどの信号発生器からの出力を指す。撮像システムでは、各信号は、意図された条件で人間視覚システムによって認知された際に、画像又は画像部分を生み出す表示画像プリミティブの一部である。この意味で、信号とは体系化されたメッセージであり、つまり、メッセージを符号化する通信路における表示画像プリミティブの状態のシーケンスである。表示画像プリミティブプリカーサのセットプリカーサからの同期信号の集まりは、画像のフレーム（又はフレームの一部）を定義し得る。各信号は、１つ以上のその他の信号からの１つ以上の特徴と組み合わせられる得る特徴（色、周波数、振幅、タイミング、但し、掌性ではない）を有し得る。
【0226】
本明細書上、「人間視覚システム」（ＨＶＳ）という用語は、複数の個別の表示画像プリミティブ（直視又は投影されたもののいずれか）からの画像の認知及び可視化を伴う生
物学的及び心理的プロセスを指す。よって、ＨＶＳとは、表示画像プリミティブの伝搬と、受信されて処理されたこれらのプリミティブに基づいて画像の概念の形成との合成物を受信する際の人間の目、視神経及び人間の脳を含意する。ＨＶＳはどの人にとっても正確に同一ではなく、人工のかなりのパーセンテージについて一般的な類似性がある。
物学的及び心理的プロセスを指す。よって、ＨＶＳとは、表示画像プリミティブの伝搬と、受信されて処理されたこれらのプリミティブに基づいて画像の概念の形成との合成物を受信する際の人間の目、視神経及び人間の脳を含意する。ＨＶＳはどの人にとっても正確に同一ではなく、人工のかなりのパーセンテージについて一般的な類似性がある。
【0227】
図１は、本発明の実施形態を実施するために使用され得る撮像アーキテクチャ１００を示す。本発明のいくつかの実施形態は、信号生成構造の大きなセットからの、人間視覚システム（ＨＶＳ）を用いた人間知覚可能画像の形成が、アーキテクチャ１００を含むことを企図している。アーキテクチャ１００は、複数の表示画像プリミティブプリカーサ（ＤＩＰＰ）１１０ｉ、ｉ＝１～Ｎ（Ｎは１以上数十、数百、数千のＤＩＰＰまでのあらゆる整数であり得る）を含む画像エンジン１０５を含む。各ＤＩＰＰ１１０ｉは、複数の画像組成信号１１５ｉ、ｉ ＝１～Ｎ（各ＤＩＰＰ１１０ｉからの個々の画像組成信号１１５ｉ）を生成するために適切に操作されかつ変調される。これらの画像組成信号１１５ｉは処理されて、複数の表示画像プリミティブ（ＤＩＰ）１２０ｊ、ｊ ＝１～Ｍ（ＭはＮよりも小さい、等しいか、又は大きい整数）を形成する。ＨＶＳによって認知された時に表示画像１２５（又は例えばアニメーション／モーションエフェクトのための一連の表示画像）を形成するＤＩＰ１２０ｊの集約／集まり（同一空間及び断面積に占める１つ以上の画像組成信号１１５ｉ）。ＨＶＳは、ディスプレイ上のアレイや、スクリーン、壁又はその他の表面上の投影画像など、適切なフォーマットで提示された場合に、ＤＩＰ１２０ｊ
から表示画像１２５を再構築する。これは、ビューアー（及びＨＶＳ）への距離に関連
して十分に小さい、異なる色を付けた又はグレースケールシェーディングの小さい形状（「点」など）のアレイからの画像を認知するＨＶＳの馴染みのある現象である。よって、表示画像プリミティブプリカーサ１１０ｉは、非合成色システムから画像組成信号を生成する装置を言及する際に一般的に「ピクセル」と言われる構造に対応し、よって、合成色システムから画像組成信号を生成する装置を言及する際に一般的に「サブピクセル」と言われる構造に対応するであろう。多くの馴染みのあるシステムが、各ＲＧＢ要素（例えば、ＬＣＤセル等）から一つの画像組成信号となる、ＲＧＢ画像組成信号などの合成色システムを採用している。残念ながら、ピクセル及びサブピクセルという用語は、撮像システムにおいて、ハードウェア ＬＣＤセル（サブピクセル）、セル（サブピクセル）から放射される光、そしてＨＶＳによって認知される際の信号（一般的に、このようなサブピクセルは混ぜ合わせられ、かつ視聴が意図された条件セットにおいてユーザにとって感知不能であるように構成される）などの多くの異なる概念に言及するために使用されている。アーキテクチャ１００は、多様な「ピクセル又はサブピクセル」の区別をし、よって、異なる組成要素に言及する際に異なる用語が採用される。
から表示画像１２５を再構築する。これは、ビューアー（及びＨＶＳ）への距離に関連
して十分に小さい、異なる色を付けた又はグレースケールシェーディングの小さい形状（「点」など）のアレイからの画像を認知するＨＶＳの馴染みのある現象である。よって、表示画像プリミティブプリカーサ１１０ｉは、非合成色システムから画像組成信号を生成する装置を言及する際に一般的に「ピクセル」と言われる構造に対応し、よって、合成色システムから画像組成信号を生成する装置を言及する際に一般的に「サブピクセル」と言われる構造に対応するであろう。多くの馴染みのあるシステムが、各ＲＧＢ要素（例えば、ＬＣＤセル等）から一つの画像組成信号となる、ＲＧＢ画像組成信号などの合成色システムを採用している。残念ながら、ピクセル及びサブピクセルという用語は、撮像システムにおいて、ハードウェア ＬＣＤセル（サブピクセル）、セル（サブピクセル）から放射される光、そしてＨＶＳによって認知される際の信号（一般的に、このようなサブピクセルは混ぜ合わせられ、かつ視聴が意図された条件セットにおいてユーザにとって感知不能であるように構成される）などの多くの異なる概念に言及するために使用されている。アーキテクチャ１００は、多様な「ピクセル又はサブピクセル」の区別をし、よって、異なる組成要素に言及する際に異なる用語が採用される。
【0228】
アーキテクチャ１００は、画像エンジン１０５が１つ以上のサブセットのＤＩＰＰ１１０用の異なるテクノロジーを含む、ハイブリッド構造を含み得る。つまり、第１サブセットのＤＩＰＰは、第１のサブセットの画像組成信号を作成するために、第１の色テクノロジー（例えば、混合色テクノロジー）を使用してよく、そして第２のサブセットのＤＩＰＰは、第２のサブセットの画像組成信号を作成するために、第１の色テクノロジーとは異なる第２の色テクノロジー（例えば、異なる混合色テクノロジー又は非合成色テクノロジー）を使用してよい。これにより、表示画像プリミティブのセットを作成するための多様な技術と、表示画像１２５との組み合わせの使用を可能にし、これはいずれかの一つのテクノロジーから作成される場合よりも優れたものになり得る。
【0229】
アーキテクチャ１００はさらに、入力として画像組成信号１１５ｉを受け付け、かつ出力として表示画像プリミティブ１２０ｊ を作成する信号処理マトリックス１３０を含む
。本発明のある実施形態のうちの特定の実施態様の適合及び目的に応じて、マトリックス１３０の多くの可能な配置がある（単一次元のアレイを含む実施形態もある）。概して、マトリックス１３０は、複数の信号チャネル（例えばチャネル１３５～チャネル１６０）
を含む。マトリックス１３０の各チャネルについて多くの異なる可能な配置がある。各チャネルは、個別の光ファイバーチャネルから生じる光学的分離などのように、他のチャネルから十分に分離されるので、一つのチャネル内の信号は、当該実施態様／実施形態のためのクロストーク閾値を超えて他の信号を干渉しない。各チャネルは、１つ以上の入力及び１つ以上の出力を含む。各入力は、ＤＩＰＰ１１０から画像組成信号１１５を受信する。各出力は、表示画像プリミティブ１２０を作成する。入力から出力まで、各チャネルは純粋な信号情報を向け、そしてあるチャネルでのいずれのポイントでの当該純粋な信号情報は、オリジナルの画像組成信号１１５と、１つ以上の処理済みのオリジナルの画像組成信号のセットの離解と、及び／又は１つ以上の処理済みのオリジナルの画像組成信号のセットの集約とを含んでよく、各「処理」は１つ以上の信号の１つ以上の集約又は離解を含んでいたかもしれない。
。本発明のある実施形態のうちの特定の実施態様の適合及び目的に応じて、マトリックス１３０の多くの可能な配置がある（単一次元のアレイを含む実施形態もある）。概して、マトリックス１３０は、複数の信号チャネル（例えばチャネル１３５～チャネル１６０）
を含む。マトリックス１３０の各チャネルについて多くの異なる可能な配置がある。各チャネルは、個別の光ファイバーチャネルから生じる光学的分離などのように、他のチャネルから十分に分離されるので、一つのチャネル内の信号は、当該実施態様／実施形態のためのクロストーク閾値を超えて他の信号を干渉しない。各チャネルは、１つ以上の入力及び１つ以上の出力を含む。各入力は、ＤＩＰＰ１１０から画像組成信号１１５を受信する。各出力は、表示画像プリミティブ１２０を作成する。入力から出力まで、各チャネルは純粋な信号情報を向け、そしてあるチャネルでのいずれのポイントでの当該純粋な信号情報は、オリジナルの画像組成信号１１５と、１つ以上の処理済みのオリジナルの画像組成信号のセットの離解と、及び／又は１つ以上の処理済みのオリジナルの画像組成信号のセットの集約とを含んでよく、各「処理」は１つ以上の信号の１つ以上の集約又は離解を含んでいたかもしれない。
【0230】
この文脈において、集約とは、ＳＡ数（ＳＡ＞１）のチャネル（これらの集約された信号それ自体が、オリジナルの画像組成信号、処理済みの信号、又は組み合わせであり得る）から、ＴＡ数（１≦ＴＡ＜ＳＡ）のチャネルへの結合信号を指し、離解とは、信号チャネルＳＤ 数（ＳＤ≧１）のチャネル（これ自体、オリジナルの画像組成信号、処理済み
の信号、又は組み合わせであり得る）からのＴＤ数（ＳＤ ＜ＴＤ）のチャネルへの信号
分割を指す。ＳＡは、集約がまったく無く早期に離解するなどにより、Ｎを上回り得るもので、ＳＤ は、後続の集約によりＭを上回り得る。ＳＡ＝２、ＳＤ ＝１及びＴＤ ＝２
となる実施形態もある。しかしながら、アーキテクチャ１００は、多くの信号が集約されることを可能にし、これにより十分に強い信号を作成することができ、その強い信号は、多くのチャネルへと離解され得るもので、各チャネルは実施態様で使用するために十分な強さとなる。信号の集約は、チャネル又は隣接するチャネルのその他の配置の集約（例えば、接合、融合、結合など）の後に続いて、当該隣接するチャネルによって伝搬された信号の接合、融合、結合などを可能にし、信号の離解は、チャネル又はその他のチャネル配置の離解（例えば、分岐、分離、分割など）に続いて、当該チャネルによって伝搬された信号の分岐、分離、分割などを可能にする。マトリックス１３０を通して伝搬するコンテンツの信号状態を保存しつつ、多数のチャネルに２つ以上の信号を集約するための（又は１つのチャネル内の１つの信号を多数のチャネルの多数の信号に離解するための）チャネルの特定の構造又は要素がある実施形態もある。
の信号、又は組み合わせであり得る）からのＴＤ数（ＳＤ ＜ＴＤ）のチャネルへの信号
分割を指す。ＳＡは、集約がまったく無く早期に離解するなどにより、Ｎを上回り得るもので、ＳＤ は、後続の集約によりＭを上回り得る。ＳＡ＝２、ＳＤ ＝１及びＴＤ ＝２
となる実施形態もある。しかしながら、アーキテクチャ１００は、多くの信号が集約されることを可能にし、これにより十分に強い信号を作成することができ、その強い信号は、多くのチャネルへと離解され得るもので、各チャネルは実施態様で使用するために十分な強さとなる。信号の集約は、チャネル又は隣接するチャネルのその他の配置の集約（例えば、接合、融合、結合など）の後に続いて、当該隣接するチャネルによって伝搬された信号の接合、融合、結合などを可能にし、信号の離解は、チャネル又はその他のチャネル配置の離解（例えば、分岐、分離、分割など）に続いて、当該チャネルによって伝搬された信号の分岐、分離、分割などを可能にする。マトリックス１３０を通して伝搬するコンテンツの信号状態を保存しつつ、多数のチャネルに２つ以上の信号を集約するための（又は１つのチャネル内の１つの信号を多数のチャネルの多数の信号に離解するための）チャネルの特定の構造又は要素がある実施形態もある。
【0231】
図１に示される多くの代表的信号チャネルがある。チャネル１３５は、単一の入力と単一の入力を有するチャネルを示している。チャネル１３５は、単一のオリジナルの画像組成信号１１５ｋを受信し、かつ単一の表示画像プリミティブ１２０ｋを作成する。これは、チャネル１３５が何も処理を行わないということを言っているのではない。例えば、この処理は、物理的特徴の変換を含み得る。チャネル１３５の入力の物理的サイズディメンションは、画像組成信号１１５ｋを作成するその対応する／関連ＤＩＰＰ１１０のアクティブ領域と一致する／補うようになされている。出力の物理的サイズは、入力の物理的サイズディメンションに一致することは必要とされていない。つまり、出力は比較的先細り又は拡張されたりしてもよく、又は円周入力は直線周辺出力になってもよい。その他の変換は、信号の再位置決めを含み、その一方で、画像組成信号１１５ｉは、画像組成信号１１５２の付近でスタートし、チャネル１３５によって作成された表示画像プリミティブ１２０１は、前に「リモート」だった画像組成信号１１５ｘから作成された表示画像プリミティブ１２０ｘ の隣に位置付けられ得る。これにより、その作成に使用されたテクノロジーから分離された信号／プリミティブをインターリーブする際の大きな柔軟性を可能にする。この個々の又は集合的な物理的変換の可能性は、マトリックス１３０の各チャネルについてのオプションである。
【0232】
チャネル１４０は、一対の入力と単一の出力（当該一対の入力を集約する）を有するチャネルを示している。チャネル１４０は、２つのオリジナルの画像組成信号、例えば信号
１１５３及び信号１１５４ を受信し、例えば単一の表示画像プリミティブ１２０２を作
成する。チャネル１４０は、プリミティブ１２０２がいずれかの組成信号よりも大きい振幅を有するように、２つの振幅が追加されることを可能にする。チャネル１４０はまた、組成信号をインターリーブする／多重化することによって改良されたタイミングを可能にし、各組成信号は、３０Ｈｚで作動し得るが、結果として生じるプリミティブは、例えば６０Ｈｚで作動され得る。
１１５３及び信号１１５４ を受信し、例えば単一の表示画像プリミティブ１２０２を作
成する。チャネル１４０は、プリミティブ１２０２がいずれかの組成信号よりも大きい振幅を有するように、２つの振幅が追加されることを可能にする。チャネル１４０はまた、組成信号をインターリーブする／多重化することによって改良されたタイミングを可能にし、各組成信号は、３０Ｈｚで作動し得るが、結果として生じるプリミティブは、例えば６０Ｈｚで作動され得る。
【0233】
チャネル１４５は、単一の入力と一対の出力（当該入力を離解する）を有するチャネルを示している。チャネル１４０は、単一のオリジナルの画像組成信号、例えば信号１１５５を受信し、一対の表示画像プリミティブ、つまりプリミティブ１２０３及びプリミティブ１２０４を作成する。チャネル１４５は、離解された信号の特徴の多く（おそらく振幅を除く）を有する２つの並列チャネルに分岐されるなどして、単一の信号が再形成されることを可能にする。上述の通り振幅が望ましくない場合、振幅は集約によって増大されてよく、そして離解は、図１に示される代表的チャネルのうちのその他のチャネルで実証されている通り、結果として十分に強い信号を生じさせることができる。
【0234】
チャネル１５０は、３つの入力と単一の出力を有するチャネルを示している。チャネル１５０は、仮想的にあらゆる数の独立した入力も、例えば単一のプリミティブ１２０の作成用の単一のチャネルにおいて処理済みの信号に集約し得ることを強調するために、含まれている。
【0235】
チャネル１５５は、単一の入力と３つの出力を有するチャネルを示している。チャネル１５０は、単一のチャネル（及びその中の信号）が、仮想的にあらゆる数の、それぞれ独立しているが関連している出力及びプリミティブに離解され得ることを強調するために、含まれている。チャネル１５５は、別の態様でチャネル１４５とは異なっている。すなわち、プリミティブ１２０の振幅が、出力から作成されている。チャネル１４５では、各振幅は等しい振幅に分岐させられ得る（但し、可変振幅分岐を可能にする離解構造もある）。チャネル１５５では、プリミティブ１２０６ は、プリミティブ１２０７及び１２０８
の振幅とは等しくならないかもしれない（例えば、プリミティブ１２０６は、プリミティブ１２０７及びプリミティブ１２０８のそれぞれの振幅の約２倍の振幅を有するかもしれず、なぜならば、すべての信号が同じノードで離解される必要はないからである）。第１の分割が、結果としてプリミティブ１２０６を作成する２分の１の信号をもたらし、結果として得られた２分の１の信号がさらに半分に分割されて、それぞれがプリミティブ１２０７及びプリミティブ１２０８となってよい。
の振幅とは等しくならないかもしれない（例えば、プリミティブ１２０６は、プリミティブ１２０７及びプリミティブ１２０８のそれぞれの振幅の約２倍の振幅を有するかもしれず、なぜならば、すべての信号が同じノードで離解される必要はないからである）。第１の分割が、結果としてプリミティブ１２０６を作成する２分の１の信号をもたらし、結果として得られた２分の１の信号がさらに半分に分割されて、それぞれがプリミティブ１２０７及びプリミティブ１２０８となってよい。
【0236】
チャネル１６０は、３つの入力の集約と、一対の出力への離解の両方を含むチャネルを示している。チャネル１６０は、単一のチャネルが信号の集約と信号の離解の両方を含み得ることを強調するために含まれている。よって、一つのチャネルは、必要に応じて又は望ましい場合に、集約の多数の領域と、離解の多数の領域を有し得る。
【0237】
従って、マトリックス１３０は、集約と離解を含む処理ステージ１７０の物理的なかつ信号特性のマニピュレーションによる信号プロセッサである。
【0238】
いくつかの実施形態では、マトリックス１３０は、数千から数百万もの多数のチャネルをまとめて画定する光ファイバーのセットのためのジャカード織りプロセスなどのように、チャネルを画定する物理構造の精密な織りプロセスによって作成され得る。
【0239】
大まかに言うと、本発明の実施形態は、プリミティブ生成システム（例えば、マトリックス１３０）に結合された画像生成ステージ（例えば、画像エンジン１０５）を含み得る。画像生成ステージは、数Ｎの表示画像プリミティブプリカーサ１１０を含む。表示画像
プリミティブプリカーサ１１０ｉのそれぞれは、対応する画像組成信号１１５ｉを生成する。これらの画像組成信号１１５ｉは、プリミティブ生成システムに入力される。プリミティブ生成システムは、Ｍ個の入力チャネルを含む（ＭはＮと等しくてもよいが、一致する必要はない。図１では、例えばいくつかの信号はマトリックス１３０には入力されない）入力ステージ１６５を含む。入力チャネルの入力は、単一の表示画像プリミティブプリカーサ１１０ｘから画像組成信号１１５ｘ を受信する。図１では、各入力チャネルは入
力と出力を有し、各入力チャネルは、その単一のオリジナルの画像組成信号をその入力からその出力へと向かわせ、入力ステージ１６５ではＭ個の入力とＭ個の出力となる。プリミティブ生成システムは、Ｐ個の配信チャネルを有する配信ステージ１７０も含み、各配信チャネルは入力と出力を含む。概して、Ｍ ＝ Ｎであり、かつＰは実施態様に応じで変動し得る。ＰがＮ未満であり、例えば、Ｐ＝Ｎ／２である実施形態もある。これらの実施形態では、配信チャネルの各入力は、入力チャネルからの固有の対の出力に結合される。ＰがＮよりも大きく、例えば Ｐ＝Ｎ＊２である実施形態もある。これらの実施形態では、入力チャネルの各出力は、配信チャネルの固有の対の入力に結合される。従って、プリミティブ生成システムは、表示画像プリミティブプリカーサから画像組成信号を拡大縮小するものであり、すなわち、多数の画像組成信号が配信チャネルにおいて信号として結合される場合があり、また他の場合では、単一の画像組成信号が分割されて、多数の配信チャネルに提示される。マトリックス１３０、入力ステージ１６５、及び配信ステージ１７０の可能なバリエーションは多くある。
プリミティブプリカーサ１１０ｉのそれぞれは、対応する画像組成信号１１５ｉを生成する。これらの画像組成信号１１５ｉは、プリミティブ生成システムに入力される。プリミティブ生成システムは、Ｍ個の入力チャネルを含む（ＭはＮと等しくてもよいが、一致する必要はない。図１では、例えばいくつかの信号はマトリックス１３０には入力されない）入力ステージ１６５を含む。入力チャネルの入力は、単一の表示画像プリミティブプリカーサ１１０ｘから画像組成信号１１５ｘ を受信する。図１では、各入力チャネルは入
力と出力を有し、各入力チャネルは、その単一のオリジナルの画像組成信号をその入力からその出力へと向かわせ、入力ステージ１６５ではＭ個の入力とＭ個の出力となる。プリミティブ生成システムは、Ｐ個の配信チャネルを有する配信ステージ１７０も含み、各配信チャネルは入力と出力を含む。概して、Ｍ ＝ Ｎであり、かつＰは実施態様に応じで変動し得る。ＰがＮ未満であり、例えば、Ｐ＝Ｎ／２である実施形態もある。これらの実施形態では、配信チャネルの各入力は、入力チャネルからの固有の対の出力に結合される。ＰがＮよりも大きく、例えば Ｐ＝Ｎ＊２である実施形態もある。これらの実施形態では、入力チャネルの各出力は、配信チャネルの固有の対の入力に結合される。従って、プリミティブ生成システムは、表示画像プリミティブプリカーサから画像組成信号を拡大縮小するものであり、すなわち、多数の画像組成信号が配信チャネルにおいて信号として結合される場合があり、また他の場合では、単一の画像組成信号が分割されて、多数の配信チャネルに提示される。マトリックス１３０、入力ステージ１６５、及び配信ステージ１７０の可能なバリエーションは多くある。
【0240】
図２は、図１の撮像アーキテクチャのあるバージョンを実施する撮像システム２００のある実施形態を示す。このシステム２００は、好ましくは可視周波数で、より具体的には現実世界可視撮像周波数でデジタル画像プリミティブ２２５のセット２２０を作成するフォトニック信号変換器２１５に提供される複数の画像組成信号（赤外線／近赤外線の周波数で）などの、符号化信号のセット２０５を含む。
【0241】
図３は、図２のフォトニック信号変換器２１５の一般構造を示す。変換器２１５は、１つ以上の入力フォトニック信号を受信し、１つ以上の出力フォトニック信号を作成する。変換器２１５は、信号論理状態（例えば、ＯＮ／ＯＦＦ）、信号色状態（赤外線から可視）、及び／又は信号強度状態などの入力フォトニック信号の多様な特徴を調節する。
【0242】
図４は、フォトニックコンバータ４００の特定の実施形態を示す。コンバータ４０５は、効率的光源４０５を含む。光源４０５は、例えば、後続のステージでの最適変調器の実行のための赤外線及び／又は近赤外線源（例えば、赤外線及び／又は近赤外線で放射するＬＥＤアレイ）を含み得る。コンバータ４００は、オプションのバルク光エネルギー源ホモジナイザ４１０を含む。ホモジナイザ４１０は、必要な場合又は望ましい場合に、光源４０５からの光の偏光を均質化する構造を提供する。ホモジナイザ４１０は、能動的及び／又は受動的均質化のために配置され得る。
【0243】
次にコンバータ４００は、光源４０５からの光の伝搬の順番で、エンコーダ４１５を含む。エンコーダ４１５は、光源４０５からの光（均質化されているかもしれない）の論理的符号化を提供して、符号化信号を作成する。エンコーダ４０５は、ハイブリッド磁性フォトニッククリスタル（ＭＰＣ）、マッハ・ツェンダー、透過バルブなどを含み得る。エンコーダ４１５は、画像組成信号のセットの状態を設定するために変調器のアレイ又はマトリックスを含み得る。この点に関して、個々のエンコーダ構造は、表示画像プリミティブプリカーサ（例えば、ピクセル及び／又はサブピクセル及び／又はその他の表示光エネルギー信号発生器）と同等に作動し得る。
【0244】
コンバータ４００は、平面偏向機構（例えば、プリズムアレイ／格子構造）と組み合わせられた偏光フィルター／アナライザ（例えば、フォトニック結晶誘導体ミラー）などの
オプションのフィルター４２０を含む。
オプションのフィルター４２０を含む。
【0245】
コンバータ４００は、フィルター４２０の要素によって偏向された光源４０５からのエネルギー（例えば、赤外線／近赤外線偏向されたエネルギー）を再度キャプチャーするオプションのエネルギーリキャプチャラ４２５を含む。
【0246】
コンバータ４００は、エンコーダ４１５から作成された符号化信号（フィルター４２０によってフィルタリングされているかもしれない）の波長又は周波数を変調する／シフトするアジャスタ４３０を含む。アジャスタ４３０は、蛍光物質、周期的に分極された材料、衝撃を加えられた水晶などを含み得る。） アジャスタ４３０は、生成され／切り替えられた赤外線／近赤外線周波数を受け、これらを１つ以上の望ましい周波数（例えば、可視周波数）に変換する。アジャスタ４３０は、すべての入力周波数を同一の周波数にシフトする／変調する必要はなく、また赤外線／近赤外線の異なる入力周波数を同一出力周波数にシフト／変調し得る。その他の調整も可能である。
【0247】
コンバータ４００は、例えば赤外線／近赤外線エネルギー用の第２のフィルター４３５をオプションで含み、また、第２のエネルギーリキャプチャラ４４０をオプションで含み得る。フィルター４３５は、平面偏向構造（例えば、プリズムアレイ／格子構造）と組み合わせられたフォトニック結晶誘導体ミラーを含み得る。
【0248】
コンバータ４００は、１つ以上のパラメータを調整する（例えば、符号化され、オプションでフィルタリングされ、かつ周波数シフトされた信号の信号振幅を増大させるなど）ためのオプションの増幅器／利得調整４４５も含み得る。その他の又は追加の信号パラメータが、調整４４５によって調整され得る。
【0249】
図５は、ハイブリッドフォトニックＶＲ／ＡＲシステム５０５のための一般化アーキテクチャ５００を示す。アーキテクチャ５００は、周囲の現実世界合成電磁波面にシステム５０５を晒し、かつ人間視覚システム（ＨＶＳ）用の表示画像プリミティブのセット５１０を作成する。表示画像プリミティブのセット５１０は、現実世界（ＡＲモード）からの情報を含み、もしくは当該情報を使用し得るもので、又はこの表示画像プリミティブのセットは、合成世界（ＶＲモード）によって完全に作成された情報を含み得る。システム５０５は、いずれかのモードで又は両方のモードで選択的に作動可能なように構成され得る。さらに、システム５００は、ＡＲモードで使用された現実世界情報の量が選択的に変更され得るように構成されてよい。システム５０５は堅牢性及び汎用性がある。
【0250】
システム５０５は異なる態様で実施され得る。一実施形態は、合成世界から画像組成信号を作成し、かつ現実世界から作成された画像組成信号（「現実世界信号」）で合成信号をＡＲモードでインターリーブする。これらの信号は、分離された光チャネルの信号処理マトリックスを用いて、組み込まれた特許出願第１２／３７１，４６１号に記載されている通り、チャネル化され、処理され、かつ配信され得る。システム５０５は、配信、集約、離解、及び／又は 物理的特徴の形成に加えて、多様な受動的及び能動的信号マニピュレーション構造を組み込み得る信号処理マトリックスを含む。
【0251】
これらの信号マニピュレーション構造は、システム５０５の特定の配置及び設計の目標に基づいて変化することもあり得る。例えば、これらのマニピュレーション構造は、現実世界インターフェース５１５、オーグメンタ５２０、ビジュアライザ５２５、及び／又は出力コンストラクタ５３０を含み得る。
【0252】
インターフェース５１５は、現実世界の複雑合成電磁波面を、チャネル化され、配信されて、オーグメンタ５２０に提示される現実世界画像組成信号５３５のセットに変換する
際の画像プリミティブプリカーサの機能と同様の機能を含む。
際の画像プリミティブプリカーサの機能と同様の機能を含む。
【0253】
本明細書に記載する通り、システム５０５はかなり汎用性があり、多くの異なる実施形態がある。マニピュレーション構造の特徴及び機能は、広範囲の考慮及び設計目標によって影響を受け得る。これらすべてを本明細書において明確に詳細を記載することはできないが、いくつかの代表的実施形態が示される。組み込まれる特許出願及び本明細書に記載される通り、それぞれのテクノロジーが、ＤＩＰのセット５１０の作成の一部について特に有利であり得る、複数のテクノロジーの組み合わせ（例えば、ハイブリッド）を用いて、作成のすべての部分について単一のテクノロジーに依存するよりも優れた全体的結果をもたらすようにするために、アーキテクチャ５００は有効とされる。
【0254】
例えば、現実世界の複雑合成電磁波面は、可視波長と不可視波長の両方を含む。ＤＩＰのセット５１０は可視波長も含むため、信号５３５も同様に可視でなければならないと考えられるかもしれない。本明細書で説明する通り、信号５３５が可視スペクトル内である場合に、すべての実施形態が優れた結果を達成できるわけではない。
【0255】
システム５０５は、可視信号５３５を含む使用のために構成され得る。可視ではない波長を使用する信号５３５をＨＶＳに提供するいくつかの実施形態には利点がある。本明細書上、電磁スペクトルが関連する範囲を以下に定める。
【0256】
ａ）可視放射線（光）とは、ＨＶＳによって検知されかつ可視光として認知される、３８０ｎｍ～７６０ｎｍ（４００～７９０テラヘルツ）の波長を有する電磁放射線である。
【0257】
ｂ）赤外（ＩＲ）放射線とは、１ｍｍ～７６０ｎｍ（３００ＧＨｚ～４００ＴＨｚ）の波長を有する不可視の（ＨＶＳにとって）電磁放射線であって、かつ遠赤外線（１ｍｍ～１０μｍ）、中赤外線（１０～２．５μｍ）、及び近赤外線（２．５ μｍ～７５０ｎｍ）を含む。
【0258】
ｃ）紫外（ＵＶ）放射線は、３８０ｎｍ～１０ｎｍ（７９０ＴＨｚ～３０ＰＨｚ）の波長を有する不可視（ＨＶＳにとって）電磁放射線である。
【0259】
不可視現実世界信号実施形態のインターフェース５１５は、赤外線／近赤外線スペクトルの信号５３５を作成する。いくつかの実施形態においては、不可視信号５３５は、可視スペクトルの波長の特定の波長又は帯域を、赤外線スペクトルの波長の事前に決められた特定の波長又は帯域にマッピングするスペクトルマップを使用して作成されることが望ましい。このことは、信号５３５が赤外線波長としてシステム５０５内で効率的に処理されることを可能にするという利点をもたらし、かつシステム５０５が信号５３５を現実世界の色に復元することを可能にするという利点を含む。
【0260】
インターフェース５１５は、受信した現実世界の放射線から赤外線及び／又はＵＶ成分を取り除くためのフィルターなどのその他の機能的及び／又は構造的要素を含み得る。赤外線を使用する暗視モード用などのいくつかのアプリケーションでは、インターフェース５１５は、赤外線フィルターを除外し、又は受信した現実世界放射線のうちの赤外線の一部がサンプリングされ処理されることを可能にする赤外線フィルターを有する。
【0261】
インターフェース５１５は、フィルタリングされて受信した現実世界放射線を、処理済みの現実世界画像組成信号のマトリックス（表示画像プリミティブプリカーサのマトリックスと同様である）に変換するための現実世界サンプリング構造を含み、これらの処理済みの現実世界画像組成信号は、信号配信及び処理マトリックスにチャネル化される。
【0262】
信号配信及び処理マトリックスは、赤外線スペクトル（望ましい場合）に処理済みの現実世界画像組成信号を提供するための周波数／波長変換構造も含み得る。システム５０５で後にどの追加信号操作が行われるか、そしてどの符号化／切替えテクノロジーが実施されるかに応じて、インターフェース５１５は、フィルタリングされた現実世界画像組成信号の選択された特徴について、例えば偏光フィルタリング機能（例えば、赤外線／ＵＶフィルタリングされた現実世界画像組成信号の偏光フィルタリング、又は偏光フィルターし、ソートし、かつ偏光均質化するなど）を含む前処理をしてもよい。
【0263】
例えば、偏光に基づいて信号振幅を修正するための構造又はプロセスを含むシステム５０５では、インターフェース５１５は信号５３５を適切に準備し得る。最高値でのデフォルト信号振幅（例えば、デフォルト「ＯＮ」）を有するのが望ましい実施態様もあるが、その他の実施態様では、最低値のデフォルト信号振幅（例えば、デフォルト「ＯＦＦ」）を有するのが望ましいかもしれず、かつその他の実施態様では、異なる条件でデフォルトを提供し、かつすべてがデフォルトＯＮ又はデフォルトＯＦＦとするのではない、いくつかの信号チャネルを有し得る。信号５３５の偏光状態（可視か否か）の設定は、インターフェース５１５の一つの役割である。すべての信号５３５又は信号５３５の選択されたサブセットについてのその他の信号特性は、設計目標、テクノロジー、及び実施の詳細によって決められる通りに、インターフェース５１５によって設定されてもよい。
【0264】
現実世界のチャネル化された画像組成信号５３５はオーグメンタ５２０に入力される。オーグメンタ５２０は、さらなる信号処理のためのシステム５０５における特別な構造である。この信号処理は、信号５３５について作動する多機能であってよく、これらの一部又はすべては、いかにオーグメンタ５２０がこれらについて作動するかに基づいて「パススルー」信号と見なされ得る。これらの多数の機能は、ａ）例えば、各個々の現実世界画像組成信号の独立した振幅制御、周波数／波長の設定／修正、及び／又は論理状態など、信号５３５のマニピュレーション、ｂ）望ましい特徴を有する独立した合成世界画像組成信号のセットの作成、そしてｃ）「パススルーされた」現実世界画像組成信号の一部又はすべてと、作成された合成世界画像組成信号のセットとを、望ましい比率でインターリーブして、インターリーブされた画像組成信号５４０のセットを作成することを含み得る。
【0265】
オーグメンタ５２０は、受信された画像組成信号（例えば、現実世界）のプロセッサに加えて合成世界画像組成信号のセットの生成器である。システム５０５は、すべての信号がオーグメンタ５２０によって処理されるように構成される。オーグメンタ５２０を実施するためには多くの異なる方法があり得るが、例えば、オーグメンタ５２０が複数の放射線を弁調整するゲートを画定する（各ゲートは１つの信号に関連する）多層光学素子複合体である場合、可能なパススルーのために構成されたいくつかのゲートは個別に、制御可能なパススルーのための現実世界信号のいくつかを受信し、かつ合成世界信号の作成のために構成されたいくつかのゲートは、合成世界画像組成信号の作成のために、パススルー信号から分離されたバッググラウンド放射線を受信する。よって、このような実施態様での合成世界を作成するこれらのゲートは、バッググラウンド放射線から合成世界信号を創出する。
【0266】
図示されているように、アーキテクチャ５００は、選択的かつ制御可能に処理されかつ融合された表示画像プリミティブプリカーサの多数の（例えば２つの）独立したセットを含む。インターフェース５１５は、表示画像プリミティブプリカーサの１つのセットとして機能し、オーグメンタ５２０は、表示画像プリミティブプリカーサの第２のセットとして機能する。この第１のセットは、現実世界から画像組成信号を作成し、第２のセットは、合成世界から画像組成信号を作成する。特に、アーキテクチャ５００は、システム５０５において表示画像プリミティブプリカーサの追加のセット（合計で３つ以上の表示画像プリミティブプリカーサとなるように、１つ以上）が利用可能となる事を可能にし、シス
テム５０５は、画像組成信号の追加のチャネル化されたセットが、処理のためにオーグメンタ５２０によって利用可能とするようにできる。
テム５０５は、画像組成信号の追加のチャネル化されたセットが、処理のためにオーグメンタ５２０によって利用可能とするようにできる。
【0267】
アーキテクチャ５００を考慮する１つの方法として、オーグメンタ５２０は、インターリーブされた信号５４０を作成する表示画像プリミティブプリカーサのマスターセットを定義し、ここでインターリーブされた信号のうち、最初に表示画像プリカーサの１つ以上の予備セットによって作成されるものもあるし（例えば、インターフェース５１５が現実世界画像組成信号を作成する）、オーグメンタ５２０によって直接作成されるものもある。アーキテクチャ５００は、すべての表示画像プリミティブプリカーサが同一の又は補足的なテクノロジーを用いることを必要とはしていない。整理されかつ事前に決められたフォーマットで（例えば、独立したチャネルで、かつオーグメンタ５２０による信号振幅変調などの信号マニピュレーションと互換性のある共通の周波数範囲で）すべての組成信号を提供することによって、アーキテクチャ５００は、最新のＡＲ／ＶＲシステムの短所、制限及び欠点の範囲のうちの１つ以上について、強力で堅牢かつ汎用性があるソリューションを提供し得る。
【0268】
本明細書に記載される通り、チャネル化された信号処理及び配信配置は、信号がシステム５０５を通して伝搬する際に、個々の画像組成信号を集約し、離解し、かつ／又はその他の方法で処理し得る。この結果、信号５４０における信号チャネルの数は、パススルー信号の数と、生成された信号の数との合計とは異なるかもしれない。オーグメンタ５２０は、現実世界パススルー信号の第１の量と、合成信号の第２の量とをインターリーブする（システム５０５の純ＶＲモードでは、第１の量はゼロである）。この文脈においてインターリーブされたとは、大雑把に言うと、両方のタイプの信号が存在していることを含み、合成世界信号を含む別のチャネルに物理的に隣接するチャネルに各現実世界パススルー信号が存在することを必要とすることは意図されていない。ルート決定は、システム５０５のチャネル配信特性により独立して制御可能である。
【0269】
ビジュアライザ５２５は、インターリーブされた信号５２０を受信し、かつ可視信号のセット５４５を出力する。システム５０５では、信号５４０の合成世界画像組成信号は、電磁スペクトルの不可視範囲で作成されていた（例えば、赤外線又は近赤外線）。いくつかの実施態様では、オーグメンタ５２０によってパススルーされた現実世界信号５３５の一部又はすべては、電磁スペクトルの不可視範囲に変換されていた（これもまた、重複するかもしれず、又はすべてもしくは部分的に合成世界信号の範囲に含まれるかもしれない）。ビジュアライザ５２５は、周波数／波長変調及び／又は不可視信号の変換を行う。信号（合成及び現実世界）が不可視の偽カラーマップを用いて定義されかつ作成された場合、周波数が修正された現実世界信号に適切な色が復元されて、現実世界の色という観点から、合成世界が可視化され得る。
【0270】
出力コンストラクタ５３０は、ＨＶＳによる認知（例えば、直視によるか又は投影によるかを問わない）のために可視信号５４５から表示画像プリミティブのセット５１０を作成する。出力コンストラクタ５３０は、は、その他の可能な機能の中で、統合、集約、離解、チャネル再配置／位置変更、物理的特徴定義、光線形成などを含み得る。コンストラクタ５３０は、可視信号５４５のいくつか又はすべての増幅、帯域幅修正（例えば、事前に構成されたタイミング関係で信号を有する多数のチャネルの集約及び時間多重化、つまり、これらは異なる位相で作成され、かつ信号として組み合わせられて、ストリームのうちのいずれかの多くの周波数で信号のストリームを作成してよい）、及びその他の画像組成信号マニピュレーションも含み得る。１８０度位相差関係の２つのストリームは、各ストリームの周波数を倍にし得る。１２０度位相関係の３つのストリームは周波数を３倍にし、その他Ｎ＝１以上に多重化されたストリームについて同様となり得る。そして互いに同一位相になる融合されたストリームは、信号振幅を増大させ得る（例えば、２つの 同
相ストリームは、信号振幅などを倍にし得る）。
相ストリームは、信号振幅などを倍にし得る）。
【0271】
図６は、システム５００の実施形態を実施するハイブリッドフォトニックＶＲ／ＡＲシステム６００を示す。システム６００は、システム６００と図５のシステム５０５との間の対応する構造をマッピングする斜線付きのボックスを含む。
【0272】
システム６００は、オプションのフィルター６０５、「シグナライザ」６１０、現実世界信号プロセッサ６１５、放射線源６２５（例えば、赤外線）によって動力供給される放射線ディフューザ６２０、磁性フォトニックエンコーダ６３０、周波数／波長変換器６３５、信号プロセッサ６４０、信号コンソリデータ６４５、及び出力シェーパ光学体６５０を含む。本明細書に記載される通り、多くの異なる実施態様及び実施形態があり、そのうちのいくつかは異なる要件の異なるテクノロジーを含む。例えば、可視スペクトル内の放射線を使用して、波長／周波数変換のための要素を必要としない実施形態もある。純粋なＶＲ実施態様については、現実世界信号を扱う構造は必要ではない。最小限度の可視化後の統合及び形成が必要とされ又は望ましい場合がある。アーキテクチャ５００は非常に柔軟で、好適なセットのテクノロジーに適合され得る。
【0273】
フィルター６０５は、インターフェース５１５に入射する周囲の現実世界の照明から望ましくない波長を取り除く。何が望ましくないかは、アプリケーションや設計目標次第である（例えば、暗視ゴーグルは、赤外線の一部又はすべてを必要とするかもしれないが、その他のＡＲシステムでは、ＵＶ／赤外線を取り除くことが望ましいかもしれない）。
【0274】
シグナライザ６１０は、フィルタリングされて入射した現実世界放射線を現実世界画像組成信号に変換し、かつ信号ディストリビュータステージの光学的に分離されたチャネルへと個々の信号を挿入するために、表示画像プリミティブプリカーサとして機能する。これらの信号は、合成又は非合成イメージングモデルに基づき得る。
【0275】
プロセッサ６１５は、現実世界パススルー画像組成信号の一部又はすべてが異なる周波数（例えば、赤外線）に変換されようとしている場合、偏光をフィルタリングし、かつ／又は偏光をフィルタリング、ソート、及び均質化する偏光構造である、波長／周波数変換器を含み得る。
【0276】
ディフューザ６２０は、放射線源からの放射線を受け、かつエンコーダ６３０用のバッググラウンド放射線環境を設定して、合成世界画像組成信号を生成する。ディフューザ６２０は、現実世界パススルー信号チャネルから分離されたバッググラウンド放射線を維持する
【0277】
エンコーダ６３０は、同時に現実世界パススルー信号を受信かつ処理し（例えば、これはとりわけこれらの信号を変調することができる）、合成世界信号を作成する。エンコーダ６３０は、現実世界からと合成世界からの信号をインターリーブし／交互にし、かつ光学的に分離されたチャネルにこれらの信号を維持する。図６では、現実世界信号は黒塗りの矢印で記され、合成世界信号は白抜きの矢印として記されて、インターリーブ／交互にすることを図示している。図６は、エンコーダ６３０が現実世界信号の重要な部分を拒絶する必要があると暗示することを意味しているのではない。エンコーダ６３０は、すべての現実世界信号及びすべての合成世界信号を処理するために多くの表示画像プリミティブプリカーサ型構造のマトリックスを含み得る。
【0278】
変換器６３５が存在する場合には、これは不可視信号を可視信号に変換する。よって、変換器６３５は、合成世界信号、現実世界信号、又は両方を処理し得る。換言すると、この変換は、信号配信チャネルの個々のチャネルについて可能にされ得る。
【0279】
信号プロセッサ６４０が存在する場合には、これは信号振幅／利得、帯域幅、又はその他の信号修正／変調を修正し得る。
【0280】
信号コンソリデータ６４５が存在する場合には、これはビジュアライザ５２５からの信号を整理する（例えば、集約し、離解し、ルート決定し、グループ化し、クラスタ化し、複製するなど）。
【0281】
出力シェーパ光学体６５０が存在する場合には、これはあらゆる必要な又は望ましい信号形成又はその他の信号マニピュレーションを行って、ＨＶＳが認知すべき望ましい表示画像プリミティブを作成する。これには、直視、投影、反射、組み合わせなどが含まれ得る。ルート決定／グループ化は、３Ｄイメージング又はその他の視覚効果を可能にし得る。
【0282】
システム６００は、信号が生成された時点から、その他の表示画像プリカーサにおけるその他の信号の一部として、ＨＶＳに伝搬されるために表示画像プリカーサに含められるまで（かつそのように含められる場合は）、個別の光学的に分離された信号チャネルにおいて、当該信号を受信し、処理し、かつ送信する複数の機能フォトニックアセンブリの積み重ねとして、時には一体化された機能フォトニックアセンブリとして実現され得る。
【0283】
本発明分野は１つではなく、むしろ拡張現実と仮想現実という２つの関連分野を組み合わせたものであり、両分野における従来技術の重要な問題及び制限を解決する一体化モバイル装置の解決策に取り組みかつこれを提供する。これらの関連分野の背景を簡単に見直すことで、解決すべき課題及び制限が明らかになり、かつ本開示の解決案の準備となることだろう。
【0284】
これらの用語の２つの標準的辞書の定義（出典：Ｄｉｃｔｉｏｎａｒｙ．ｃｏｍ）は、以下の通りである。
【0285】
仮想現実：「対話型ソフトウェア及びハードウェアを用いたコンピュータシステムによる３次元グラフィックを含む環境の現実的シミュレーション。略語：ＶＲ」
【0286】
拡張現実：「現実世界環境でコンピュータ生成された画像、音声又はその他のデータを重ねることによって、スクリーン又はその他のディスプレイ上で見られるように拡張された画像又は環境。そして：「このような拡張環境を作成するために使用されるシステム又はテクノロジー。略語：ＡＲ」
【0287】
上記定義（非技術的なものであるが）から、関連分野の当業者にとって、最も重要な違いは、シミュレートされた要素が、現実の部分的直視でさえ完全にスクリーニングする完全かつ没入型のシミュレーションであるか、又はシミュレートされた要素が、さもなければクリアで遮るもののない現実のビューにスーパーインポーズされているか否かであることが明白である。
【0288】
このトピックに関するＷｉｋｉｐｅｄｉａ の見出し語で、そのページの編集への貢献の深さと範囲を前提として、当該分野をよく表していると見なされる、若干より技術的な定義が提供されている。
【0289】
仮想現実（ＶＲ）（没入型マルチメディアという場合もある）は、現実世界又は想像世界の場所での物理的存在をシミュレートできるコンピュータでシミュレートされた環境である。仮想現実は、仮想の味覚、視覚、嗅覚、聴覚、触覚などの知覚経験を再現できる。
【0290】
拡張現実（ＡＲ）は、音声、ビデオ、グラフィック又はＧＰＳデータなどのコンピュータ生成された知覚入力によってその要素が増強（又は補足）された、物理的現実世界環境のライブの直視又は間接視である。
【0291】
これらの定義に固有であるが単に黙示的であることは、モバイル視点の非常に重要な属性である。より一般的なクラスのコンピュータシミュレーション（「リアルタイム」の、現実の「直接」イメージング（ローカル又はリモートのいずれか）との組み合わせ、融合、合成、又は一体化の有無を問わない）と、仮想又は拡張現実を区別するのは、シミュレートされた又はハイブリッドの（増強された又は「混合の」）現実の「同時現実」画像であり、ビューアーが現実世界内で移動するにつれて、ビューアーと共にビューアーの視点も移動するという点である。
【0292】
本開示は、このより正確な定義が、没入型で表示され経験されたシミュレートされた世界の静止ナビゲーション（シミュレータ）と、シミュレートされた世界（仮想現実）のモバイルナビゲーションとを区別するために必要であることを提案している。そしてシミュレータのサブカテゴリは、シミュレートされた世界の部分的に「仮想現実的な」ナビゲーションを可能にする、静止ユーザが没入型ＨＭＤ（ヘッドマウントディスプレイ）及びハプティックインターフェース（例えば、モーション追跡グローブ）を装着した、「個人シミュレータ」又はせいぜい「部分仮想現実」となるであろう。
【0293】
他方では、ＣＡＶＥシステムが、制限付き仮想現実システムとして概略的に適していると見なされるであろう。なぜならば、ＣＡＶＥのサイズを超えたナビゲーションが、可動床によってのみ可能になるであろうからであり、ＣＡＶＥ自体の限度に達してしまうと、その後に続くのはまた別の形態の「部分仮想現実」となる。
【0294】
「モバイル」視点と「可動」視点との差に注意。シミュレートされた世界の探索者が個人的に動いているのでない限り、又は別の人もしくはロボットの動作を指示しているのでない限り、ビデオゲームなどのコンピュータシミュレーションは、シミュレートされた世界又は「現実」であり、そこで言えることは（過去４０年間でのコンピュータグラフィックの主要な成果のうちのこの成果は、ソフトウェアにおいて探索可能であるシミュレートされた世界を単に「構築する」ことであるが）、シミュレートされた世界は「ナビゲーション可能」ということである。
【0295】
シミュレーションは仮想又はハイブリッド（著者の好みの用語）現実のいずれかであるため、非常に重要で決定的な特徴とは、現実空間へのシミュレーションのマッピング（完全に合成か又はハイブリッドかを問わず）があるということである。このような現実空間は、研究室又はサウンドステージ内の部屋と同じくらい基本的で、かつシミュレートされた世界に対してある比率でマッピングしかつ較正を行う単なるグリッドであり得る。
【0296】
この区別は評価的ではなく、なぜならば、モバイルではなく又は実際の現実トポグラフィー（自然か、人工であるか、又はハイブリッドであるか否かを問わず）へのマッピングなしに、リアルタイム自然インターフェース（ヘッドトラッキング、触覚の、聴覚の等）を提供する部分的ＶＲは、物理的相互作用をシミュレートしかつ及び知覚没入を提供する部分的ＶＲシステムよりも根本的に価値が低くはないからである。しかし、足病治療フィードバックシステム無しでは、又はより普遍的には全身動作範囲フィードバックシステム、及び／又はユーザのシミュレートされた、（その感覚として）地形（静止している）上での全身動作（立っているか、座っているか又はリクライニングしているかを問わず）をサポートする動的変形可能機械インターフェース・相互作用面無しでは、ＶＲシステムは定義上、「部分的」である。
【0297】
しかし、このような理想的な全身物理的インターフェース／フィードバックシステムが無い場合、ＶＲを「完全」な全モバイルバージョンに制限することは、ＶＲ世界の地形を、現実世界で見つけることができる地形（修正されたか又はゼロから構築した）に制限することになるであろう。このような制限は、概して仮想現実経験の範囲及び力をひどく制限してしまうことになるであろう。
【0298】
しかし、以降の開示で明白になるが、この区別は変化をもたらす。なぜならば、この区別は、既存のＶＲシステムとＡＲシステムがいかに異なるか、そしてこれらの制限についての「明快な境界基準」を設定し、並びに本開示の教示を知らせるための背景を提供するからである。
【0299】
欠如しているが非常に重要なシミュレーションの特徴及び要件が、完全な「仮想現実」であることを証明してきたが、次のステップは、実現される「モバイル視点」というのが何を意味するのかという黙示的問題を特定することである。その答えは、モバイルであるシミュレーションのビューを提供することであり、これはそれ自体がハードウェアとソフトウェアの組み合わせによって実現される２つの構成要素、すなわち、動画表示手段（これによってシミュレーションを見ることができる）と、モーション追跡手段（３軸の動作でのディスプレイを含む装置の動きを追跡できる）とを必要とし、これは、３次元視聴装置の経時的位置を最低でも３つの追跡点（装置がマッピングされて測定がなされ、３番目の軸の３番目の位置が推測される場合には、２つの追跡点）で測定することを意味し、そして基準３軸フレーム（現実空間にマッピングされる任意の３Ｄ座標系であり得る）に関連して、空間のナビゲーションを機械的に行うという実用目的上、２軸は地面である平面を形成し、３番目の軸であるＺ軸は、その地面に対して垂直となる。
【0300】
正確にかつ時間機能として頻繁にこの位置的配向を実際的に達成するための解決策には、センサとソフトウェアの組み合わせが必要であり、これらの解決策における前進は、ＶＲ及びＡＲハードウェア／ソフトウェアモバイル視聴装置及びシステムの両方の分野の開拓における主要な軌道を表す。
【0301】
これらは、初期の実験と現在の実用的テクノロジー及び製品との間のタイム・フレームの観点から言うと比較的新しい分野であり、モバイル視覚シミュレーションシステムの両カテゴリーにおける起源と最新技術について書き留めることで十分であり、唯一の例外としては、本開示の開発にとって重要であるか、又は分野における現在の問題又は従来技術から本開示の解決策を区別するもののいずれかをより良く説明するために役に立つ重要な相違点又は類似点に関連する、従来技術における特定の革新である。
【0302】
１９６８年以降から９０年代後半までの期間は、関連シミュレーション及びシミュレータ、ＶＲ及びＡＲ分野における多くの革新の期間であり、この期間中に、部分的ＶＲ及びＡＲを達成する際の重要な問題の多くが、最初の又は部分的な解決策を見つけた。
【0303】
１９６８年以降のＩｖａｎ Ｓｕｔｈｅｒｌａｎｄ及び彼の助手のＢｏｂ Ｓｐｒｏｕｅｌｌの独創的で影響力の強い実験及び実験的ヘッドマウント表示システムは、これらの関連分野の起源を記すものと一般的に見なされているが、より早い時期の取り組みでは、本質的に概念的な開発がこれに先立ち、没入感及びナビゲーションを達成するＡＲ／ＶＲのいずれかの形態の最初の実験的実施がある。
【0304】
静止シミュレータシステムの誕生は、フライトシミュレータへのコンピュータ生成されたイメージングの追加まで遡り、これは一般的に１９６０年代半ば～後半に始まったと認識されている。これはユーザからＣＲＴへの距離で完全に焦点が合った画像を表示する、
ＣＲＴの使用に制限されていたが、１９７２年になって、Ｓｉｎｇｅｒ－Ｌｉｎｋ Ｃｏｍｐａｎｙが、ビームスプリッタミラーシステムを通して遠方焦点画像を投影するコリメート投影システムを初公開し、これは各ユニットにつき約２５～３５度まで視野を改良した（一人乗り用シミュレータで用いられる３ユニットで１００度）。
ＣＲＴの使用に制限されていたが、１９７２年になって、Ｓｉｎｇｅｒ－Ｌｉｎｋ Ｃｏｍｐａｎｙが、ビームスプリッタミラーシステムを通して遠方焦点画像を投影するコリメート投影システムを初公開し、これは各ユニットにつき約２５～３５度まで視野を改良した（一人乗り用シミュレータで用いられる３ユニットで１００度）。
【0305】
このベンチマークは、１９８２年になって初めて、ビューシステムの広視野を導入した広角インフィニティディスプレイシステムでＲｅｄｉｆｆｕｓｉｏｎ Ｃｏｍｐａｎｙによって改良され、このシステムは、複数のプロジェクタと大きな曲面コリメートスクリーンを使用することで、１５０度のＦＯＶ，そして最終的には２４０度のＦＯＶを実現した。この段階になって、静止シミュレータは、ビューアーを隔離し、かつ周辺からの視覚的キューとなる気を散らすものを排除するためにＨＭＤを使用することで、仮想現実におけるリアルな没入感の重要な程度を最終的に達成したと説明されるかもしれない。
【0306】
しかし、Ｓｉｎｇｅｒ－Ｌｉｎｋ ＣｏｍｐａｎｙがＶＲ型体験への足掛かりとしてシミュレータ用のスクリーンコリメーションシステムを紹介する頃には、最初の非常に制限された商用ヘルメットマウントディスプレイが軍事使用のために初めて開発されつつあり、これは、レチクルベースの電子標的システムをヘルメットのモーション追跡自体と一体化した。これらの最初の開発は、１９７０年代に南アフリカ空軍によって（これに続いて、当該時点から７０年代半ばにかけてイスラエル空軍によって）初歩的な形態で達成されたと一般的に認識されており、初歩的ＡＲ又は媒介／ハイブリッドリアリティシステムの開始と言ってもよい。
【0307】
これらの初期の、グラフィック的には最小限度だが、それでもなお独創的で影響力の強いヘルメットマウントシステムは、レチクルに重ねられた位置的に調整された標的情報と、ユーザ作動のモーション追跡ターゲティングとの制限的複合を実施し、その後に、眼鏡にグラフィックをスーパーインポーズした、最初の「媒介現実」モバイルビュースルーシステムである第一世代「ＥｙｅＴａｐ」のＳｔｅｖｅ Ｍａｎｎによる本発明がある。
【0308】
Ｍａｎｎによる後のバージョンは、ビームスプリッタ／コンバイナ光融合現実及び処理済みイメージに基づく光再結合システムを用いた。この研究の後に、Ｃｈｕｎｙｕ ＧａｏとＡｕｇｍｅｎｔｅｄ Ｖｉｓｉｏｎ Ｉｎｃによる研究があり、これは基本的に、処理済み実像と生成画像とを光学的に組み合わせる二重Ｍａｎｎシステムを提案しており、ここでＭａｎｎのシステムは電子的に処理済み実像と生成画像の両方を達成した。Ｍａｎｎのシステムでは、イメージを通しての実景が保持されたが、Ｇａｏのシステムでは、すべてビュースルーイメージが処理されて、オプションとしてさえも直接ビュースルーイメージが排除された。（２０１３年４月１３日に出願されたＣｈｕｎｙｕ Ｇａｏの米国特許出願第２０１４０１７７０２３号）。Ｇａｏのシステムによって特定された「光路折り畳み光学体」構造及び方法は、その他の光学ＨＭＤシステムでも見られる。
【0309】
１９８５年までに、Ｊａｒｏｎ ＬａｎｉｅｒとＶＰＬ Ｒｅｓｅｅａｒｃｈが結成されてＨＭＤと「データグローブ」が開発されたため、１９８０年代までには、非常に活発な開発分野の中でも、最も重大な進歩のうちのいくつかで高い評価を得て、かつ大半の場合に現在まで最新技術として生き残っているいくつかの基本的ソリューションタイプを確立した、Ｍａｎｎ、Ｌａｎｉｅｒ、そしてＲｅｄｅｆｕｓｓｉｏｎ Ｃｏｍｐａｎｙによる、シミュレーション、ＶＲ及びＡＲの３つの主要な開発路が存在していた。
【0310】
コンピュータ生成されたイメージング（ＣＧＩ）の精巧化、リアルタイム対話型ＣＧテクノロジーでのゲーム機（ハードウェア及びソフトウェア）における継続的改良、複数のシステムの中でのより大きいシステム一体化、並びにＡＲと（より制限された程度での）ＶＲの両方の可動性の拡張は、１９９０年代の主要な開発トレンドに含まれていた。
【0311】
モバイルＶＲの制限形態とシミュレータの新しい種類の両方であったのは、シカゴのイリノイ州立大学のＥｌｅｃｔｒｏｎｉｃ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｌａｂｏｒａｔｏｒｙが開発し、１９９２年に世界にデビューしたＣＡＶＥシステムであった。（Ｃａｒｏｌｉｎａ Ｃｒｕｚ－Ｎｅｉｒａ、Ｄａｎｉｅｌ Ｊ． Ｓａｎｄｉｎ， Ｔｈｏｍａｓ Ａ． ＤｅＦａｎｔｉ、Ｒｏｂｅｒｔ Ｖ． Ｋｅｎｙｏｎ及びＪｏｈｎ Ｃ． Ｈａｒｔ、「Ｔｈｅ ＣＡＶＥ： Ａｕｄｉｏ Ｖｉｓｕａｌ Ｅｘｐｅｒｉｅｎｃｅ Ａｕｔｏｍａｔｉｃ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ（ＣＡＶＥ：オーディオビジュアル体験自動仮想環境）」、Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ、第３５（６）号、１９９２年６４～７２頁）。ＬａｎｉｅｒのＨＭＤ／データグローブの組み合わせに代わって、ＣＡＶＥは、ＷＦＯＶマルチウォールシミュレータ「ステージ」とハプティックインターフェースとを組み合わせた。
【0312】
同時に、静止部分ＡＲの一形態が、アームストロング米国空軍研究所にてＬｏｕｉｓ Ｒｏｓｅｎｂｅｒｇによって、「Ｖｉｒｔｕａｌ Ｆｉｘｔｕｒｅｓ」システム（１９９２年）として開発され、その一方で、Ｊｏｎａｔｈａｎ Ｗａｌｄｅｒｎの静止「Ｖｉｒｔｕａｌｉｔｙ」ＶＲシステム（１９８５年から１９９０年までの早い時期に最初の開発がなされたと認識されている）も、１９９２年に商的にデビューした。
【0313】
実際の車両と仮想車両を「増強されたシミュレーション」（「ＡＵＧＳＩＭＭ」）に組み合わせてマルチユニットモバイル車両「戦争ゲーム」システムに一体化したモバイルＡＲでは、１９９３年に業界でデモンストレーションされたＬｏｒａｌ ＷＤＬ の形態で、次の主要な前進が見られた。その後１９９９年に、最終的１９９５年ＳＢＩＲレポートの研究結果についてコメントした、Ｐｅｃｕｌｉａｒ Ｔｅｃｈｎｏｌｏｇｉｅｓのプロジェクト参加者Ｊｏｎ Ｂａｒｒｉｌｌｅａｕｘによって、「Ｅｘｐｅｒｉｅｎｃｅｓ ａｎｄ Ｏｂｓｅｒｖａｔｉｏｎｓ ｉｎ Ａｐｐｌｙｉｎｇ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ｔｏ Ｌｉｖｅ Ｔｒａｉｎｉｎｇ（ライブトレーニングへの拡張現実の適用における体験及び観察）」が書かれ、現時点にまで至るまでも継続してモバイルＶＲ及び（モバイル）ＡＲが直面している課題である以下の内容を記した。
【0314】
ＡＲ対ＶＲ追跡
【0315】
概して、ＶＲ用に開発された市販製品は良好な解像度を有するが、ＡＲに必要な絶対精度及び広域カバレッジは欠いており、ＡＵＧＳＩＭでの使用についてはより少なくなっている。
【0316】
ユーザが合成環境に没入するＶＲアプリケーションについては、絶対精度よりも相対追跡の方がより関心が持たれている。ユーザの世界は完全に合成であり、自分の頭を０．１度だけ回したことが、たとえ１０度以内でも真北を今現在指しているということを分かっていることよりもより重要であるという事実と自己矛盾がない。
【0317】
ＡＵＧＳＩＭなどのＡＲシステムにはこのような余裕はない。ユーザの頭部が回転し又は車両が動くにつれて、現実世界において仮想要素がスムーズに動くように見えるように、ＡＲ追跡は良好な解像度を有しなければならず、また、仮想要素が正確に重ねられて現実世界におけるオブジェクトによって目立たなくされるように、ＡＲ追跡は良好な精度を有しなければならない。
【0318】
計算速度及びネットワーク速度は９０年代の間改良し続け、屋外のＡＲシステムでの新しいプロジェクトが開始され、それには米国海軍研究所でのＢＡＲＳシステムのプロジェクト（「ＢＡＲＳ： Ｂａｔｔｌｅｆｉｅｌｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ
Ｓｙｓｔｅｍ（ＢＡＲＳ：戦場拡張現実システム）」、Ｓｉｍｏｎ Ｊｕｌｉｅｒ、Ｙｏｈａｎ Ｂａｉｌｌｏｔ、Ｍａｒｃｏ Ｌａｎｚａｇｏｒｔａ、Ｄｅｎｎｉｓ Ｂｒｏｗｎ、Ｌａｗｒｅｎｃｅ Ｒｏｓｅｎｂｌｕｍ；２０００年軍事システムのための情報処理技術に関するＮＡＴＯシンポジウム）が含まれる。要約には以下の記載がある。「このシステムは、ウェアラブルコンピュータと、無線ネットワークシステムと、被追跡シースルーヘッドマウントディスプレイ（ＨＭＤ）とから構成される。ユーザによる環境の認知は、ユーザの視野にグラフィックをスーパーインポーズすることによって強化される。このグラフィックは、実際の環境に登録される（合わせられる）。」
Ｓｙｓｔｅｍ（ＢＡＲＳ：戦場拡張現実システム）」、Ｓｉｍｏｎ Ｊｕｌｉｅｒ、Ｙｏｈａｎ Ｂａｉｌｌｏｔ、Ｍａｒｃｏ Ｌａｎｚａｇｏｒｔａ、Ｄｅｎｎｉｓ Ｂｒｏｗｎ、Ｌａｗｒｅｎｃｅ Ｒｏｓｅｎｂｌｕｍ；２０００年軍事システムのための情報処理技術に関するＮＡＴＯシンポジウム）が含まれる。要約には以下の記載がある。「このシステムは、ウェアラブルコンピュータと、無線ネットワークシステムと、被追跡シースルーヘッドマウントディスプレイ（ＨＭＤ）とから構成される。ユーザによる環境の認知は、ユーザの視野にグラフィックをスーパーインポーズすることによって強化される。このグラフィックは、実際の環境に登録される（合わせられる）。」
【0319】
非軍事専用の開発も進行し、これは奈良先端科学技術大学院大学の加藤博一の研究であるＡＲＴｏｏｌｋｉｔを含み、後に発表されてＨＩＴＬａｂにてさらに開発され、ソフトウェア開発スイート及び視点追跡及び仮想オブジェクト追跡のためのプロトコルを紹介した。
【0320】
これらの画期的出来事は、この期間において最も重要であったとして頻繁に言及されるが、その他の研究者及び企業もこの分野において活発であった。
【0321】
訓練シミュレーション用のＡＲの大規模開発及び検査のための軍の資金調達については文書で十分に裏付けがあり、その需要があったことは明白であるが、その他のシステムレベルの設計及びシステムデモンストレーションも、軍の資金調達された研究努力と同時に進行していた。
【0322】
最も重要な非軍事的実験の中で、南オーストラリア大学のウェアラブルコンピュータ研究所のＢｒｕｃｅ Ｔｈｏｍａｓが開始しかつ引率した開発が、ビデオゲームＱｕａｋｅのＡＲバージョンであるＡＲ Ｑｕａｋｅであり、「ＡＲＱｕａｋｅ：Ａｎ Ｏｕｔｄｏｏｒ／Ｉｎｄｏｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｆｉｒｓｔ Ｐｅｒｓｏｎ
Ａｐｐｌｉｃａｔｉｏｎ（ＡＲＱｕａｋｅ：屋外／屋内拡張現実一人称アプリケーション）」を発表した（ウェアラブルコンピュータについての第４回国際シンポジウム、１３９～１４６頁、ジョージア州アトランタ、２０００年１０月；（Ｔｈｏｍａｓ， Ｂ．、Ｃｌｏｓｅ， Ｂ．、Ｄｏｎｏｇｈｕｅ， Ｊ．、Ｓｑｕｉｒｅｓ， Ｊ．、Ｄｅ Ｂｏｎｄｉ， Ｐ．、Ｍｏｒｒｉｓ， Ｍ．及びＰｉｅｋａｒｓｋｉ， Ｗ．）。要約には以下の通り記載されている。「我々は、ＧＰＳ、デジタルコンパス及び基準ビジョンに基づく追跡に基づく、低コストで適宜に正確な６自由度追跡システムを提示する。」
Ａｐｐｌｉｃａｔｉｏｎ（ＡＲＱｕａｋｅ：屋外／屋内拡張現実一人称アプリケーション）」を発表した（ウェアラブルコンピュータについての第４回国際シンポジウム、１３９～１４６頁、ジョージア州アトランタ、２０００年１０月；（Ｔｈｏｍａｓ， Ｂ．、Ｃｌｏｓｅ， Ｂ．、Ｄｏｎｏｇｈｕｅ， Ｊ．、Ｓｑｕｉｒｅｓ， Ｊ．、Ｄｅ Ｂｏｎｄｉ， Ｐ．、Ｍｏｒｒｉｓ， Ｍ．及びＰｉｅｋａｒｓｋｉ， Ｗ．）。要約には以下の通り記載されている。「我々は、ＧＰＳ、デジタルコンパス及び基準ビジョンに基づく追跡に基づく、低コストで適宜に正確な６自由度追跡システムを提示する。」
【0323】
１９９５年に設計開発が開始された別のシステムは、本開示の著者によって開発されたものである。当初、屋外のＡＲとテレビ番組で吹替の「Ｅｖｅｒｑｕｅｓｔ Ｌｉｖｅ」のハイブリッドを実現することを意図したもので、９０年代後半を通してその設計がさらに開発され、その最も重要な要素が１９９９年までに仕上げられ、その時点で、オリジナルビデオゲーム／ＴＶハイブリッドの資金調達を行うための商的努力が開始され、そして当該時点までに、最高級のテーマリゾート開発での使用のために別バージョンが含まれていた。２００１年までに、このことはＲｉｄｌｅｙとＴｏｎｙ Ｓｃｏｔｔの会社を含む諸会社と、特に彼らのジョイントベンチャーであるＡｉｒｔｉｇｈｔｐｌａｎｅｔ（その他のパートナーは、Ｒｅｎｎｙ Ｈａｒｌｉｎ、Ｊｅａｎ Ｇｉｒａｕｄ、及びｔｈｅ Ｅｕｒｏｐｅａｎ Ｈｅａｖｙ Ｍｅｔａｌを含む）に対して機密ベースで開示され、本開示の著者は彼らのためにエグゼクティブ監督業務を務め、そしてこれについて当該時点で「Ｏｔｈｅｒｗｏｒｌｄ」及び「Ｏｔｈｅｒｗｏｒｌｄ Ｉｎｄｕｓｔｒｉｅｓ」プロジェクト兼ベンチャーを、ＡＴＰとの投資及び協同でのジョイントベンチャー案として提起した。
【0324】
以下は、１９９９年／２０００年までに仕上げられたシステムデザイン及び構成要素の
概要である。
概要である。
【0325】
「ＯＴＨＥＲＷＯＲＬＤ ＩＮＤＵＳＴＲＩＥＳ ＢＵＳＩＮＥＳＳ ＰＲＯＰＯＳＡＬ ＤＯＣＵＭＥＮＴ（ＯＴＨＥＲＷＯＲＬＤ ＩＮＤＵＳＴＲＩＥＳビジネス提案書）」（アーカイブ文書バージョン、２００３年）からの抜粋：技術背景説明：最先端技術「オープンフィールド」シミュレーション及びモバイル仮想現実の専有一体化：ツール、設備及びテクノロジー
【0326】
これは単に、専有システムの骨格を共に形成する関連技術の部分的リスト及び概略である。いくつかのテクノロジー構成要素は専有のものであり、外部のベンダーからのものもある。しかし、証明された構成要素を組み合わせたユニークなシステムは、絶対的に専有的でかつ革新的なものとなるであろう。
【0327】
ＶＲ改変世界とのインタラクション
【0328】
１）ＯＴＨＥＲＷＯＲＬＤのＶＲ拡張された風景にゲスト／参加者及び俳優を没入させるためのモバイル軍事規格ＶＲ機器。彼らの「冒険」（つまり、彼らがリゾート周辺のＯＴＨＥＲＷＯＲＬＤ を探索する際の彼らの各動作）がモバイルモーションキャプチャーセンサ及びデジタルカメラにより（自動マッティングテクノロジーで）リアルタイムで取り込まれ、ゲスト／プレイヤー及び従業員／俳優は、コンピュータシミュレーションイメージの重ね合わせと共に、自身のバイザーを通してお互いを見ることができる。バイザーとは、双眼鏡（半透明フラットパネルディスプレイ）か、又は双眼鏡（但し、不透明フラットパネルディスプレイで、前面に双眼鏡カメラが取り付けられているもの）のいずれかである。
【0329】
視野にフラットパネルディスプレイでスーパーインポーズされたこれらの「合成要素」は、風景の改変部分（又はデジタル処理で改変された風景全体）を含むことができる。実際に、実際にそこあるものを置き換えるこれらの「合成」風景部分は、リゾートの各部分のオリジナル３Ｄ写真を「キャプチャーしたもの」に基づいて生成されている。（以下第７項をご参照下さい）。コンピュータ内の正確で写真に基づく幾何学的「仮想空間」として、オリジナルキャプチャーの写実的品質及び幾何学的／空間精度を維持しつつ、この仮想空間を何らかの方法でデジタル処理で改変することが可能である。これによって、同一空間と改変されたデジタル部分のライブデジタル写真の正確な組み合わせが生み出される。
【0330】
フラットパネルディスプレイによってスーパーインポーズされるその他の「合成要素」は、コンピュータ生成されたか又は改変された人々、生き物、大気ＦＸ、及び「マジック」を含む。これらはディスプレイ（透明又は不透明）を通した視野の現実的な要素として現れる。
【0331】
位置決めデータ、ゲスト／プレイヤー及び従業員／俳優のモーションキャプチャーデータ、そして多数のデジタルカメラによるこれらのデータのリアルタイムマッティング（これらすべては、リゾートの各エリアの事前に「キャプチャーされた」バージョンに較正される）（以下第４項及び第５項をご参照下さい）の使用によって、合成要素は、ディスプレイを通して示される実要素に対して、リアルタイムで絶対精度でマッチングすることができる。
【0332】
よって、写実的なコンピュータ生成されたドラゴンが、実際の木の後ろを通って、ぐるりと回って戻ってきて、飛び上がり、そしてリゾートの実際の城の上に着地することができ、そして、ドラゴンはコンピュータ生成された火で「燃え上がる」ことができる。フラ
ットパネルディスプレイ（半透明又は不透明）では、火は、「黒くした」城の上部から出ているように見える。バイザーを通して、城の上部が、システムのファイルの中の城の３Ｄ「キャプチャー」のコンピュータ改変バージョンによって「重ねてマッティング」されたことにより、この効果が達成される。
ットパネルディスプレイ（半透明又は不透明）では、火は、「黒くした」城の上部から出ているように見える。バイザーを通して、城の上部が、システムのファイルの中の城の３Ｄ「キャプチャー」のコンピュータ改変バージョンによって「重ねてマッティング」されたことにより、この効果が達成される。
【0333】
２）実際の人間と、仮想の人間、生き物及びＦＸとの間の戦闘のための物理的電気光学機械的ギア。モーションセンサ及びその他のデータ、並びに振動及び抵抗フィードバックを提供する「ハプティック」インターフェースは、実際の人間と、仮想の人間、生き物及びマジックとのリアルタイムなインタラクションを可能にする。例えば、「小道具」の剣の柄の形態のハプティック装置は、戦闘のイリュージョンを達成するために、ゲスト／プレイヤーがその剣を振り回している間のデータと、ゲスト／プレイヤーが仮想鬼を「突いた」と思われる際の物理的フィードバックとを提供する。これはすべてリアルタイムで組み合わせられて、双眼鏡フラットパネルディスプレイを通して表示される。
【0334】
３）オープンフィールドモーションキャプチャー機器。モバイル及び固定モーションキャプチャー機器用具（映画『マトリックス』で使用されたものと同様のもの）は、リゾートの敷地全体に亘って配備される。ゲスト／プレイヤー及び従業員／俳優が装着したテーマのある「ギア」上のデータポイントは、カメラ及び／又はセンサに追跡されて、ＶＲバイザー内の双眼鏡フラットパネル上に表示される視野内の仮想要素とインタラクションするためのモーションデータを提供する。
【0335】
モーションキャプチャーデータからの出力は、『ロード・オブ・ザ・リング』の第二部と第三部の映画のゴラムというキャラクターの原理に沿った、ゲスト／プレイヤー及び従業員／俳優のＣＧＩ改変バージョンを可能にする（十分な計算レンダリング能力及びモーション編集及びモーションライブラリの利用と共に）。
【0336】
４）ＬＡＡＳ＆ＧＰＳデータ、ライブレーザー距離測定データ及び三角測量技術（Ｍｏｌｌｅｒ Ａｅｒｏｂｏｔ のＵＡＶ技術を含む）でのモーションキャプチャーデータの増強。追加の「位置決めデータ」は、ライブ要素と合成要素のなおさらに効果的（かつ誤差補正する）一体化を可能にする。
【0337】
ＵＡＶ製造業者による新聞発表から。
【0338】
７月１７日。１週間前にローカルエリア補強システム（Ｌｏｃａｌ Ａｒｅａ Ａｕｇｍｅｎｔａｔｉｏｎ Ｓｙｓｔｅｍ）（ＬＡＡＳ）ステーションの最初のネットワークのための契約が、Ｈｏｎｅｙｗｅｌｌと交わされ、数カ所のテストステーションが既に稼働している。このシステムは、空港（及び垂直離着陸飛行場）にインチ単位の精度で正確に接地させるように航空機を誘導することを可能にする。ＬＡＡＳシステムは、２００６年までに運用可能となることが期待されている。
【0339】
５）オープンフィールド「プレイ」の自動リアルタイムマッティング。シミュレートされた要素とのインタラクションを可能にするモーションキャプチャーデータとの組み合わせで、リゾートのゲスト／参加者たちは、Ｐ２４（又は同等物）デジタルカメラでデジタル処理により撮像され、専有Ａｕｔｏｍａｔｔｅソフトウェアと連動して、合成要素と一体化されるべき視野から適切な要素を自動的に分離（マッティング）する。この技術は、デジタル要素をスーパーインポーズする際に、前景／背景の適切な分離を確保するために使用されるパッケージソフトの一つとなるであろう。
【0340】
６）最先端ゲームエンジンソフトウェアと組み合わせられた軍事規格シミュレーションハードウェア及びテクノロジ－。モーションキャプチャーシステム、小道具の剣のような
「合成」要素とインタラクションするためのハプティック装置、合成要素及びライブ要素（マッティング処理されたか又は完全な）からのデータと組みまわせることは、軍事シミュレーションソフトウェア及びゲームエンジンソフトウェアによる一体化である。
「合成」要素とインタラクションするためのハプティック装置、合成要素及びライブ要素（マッティング処理されたか又は完全な）からのデータと組みまわせることは、軍事シミュレーションソフトウェア及びゲームエンジンソフトウェアによる一体化である。
【0341】
これらのソフトウェア構成要素は、合成の人間及び生き物を動画化するためのＡＩコード（映画『ロード・オブ・ザ・リング』での軍隊を動画化するために使用されたＭａｓｓｉｖｅソフトウェアなどのＡＩもしくは「人工知能」ソフトウェア）を提供し、リアルな水、雲、火などを生成し、かつまさにコンピュータゲームや軍事シミュレーションソフトウェアがするように、その他の態様ですべての要素を一体化しかつ組み合わせる。
【0342】
７）Ｐａｕｌ Ｄｅｂｅｖｅｃ博士が先駆者として開発した、画像に基づく技術でリアルなデジタル仮想セットを創作するための、実際の場所の写真に基づくキャプチャー（『マトリックス』の「ブレットタイム」ＦＸの基盤）。
【0343】
「ベース」の仮想位置（リゾートの内部及び外部）は、これらが「キャプチャー」された際のその場所の写真及び実際の照明から派生させられているので、現実世界とは区別がつけられない。光プローブからのデータ及びレーザー測距データと組み合わせられた高品質のデジタル画像の小さいセットと、適切な「画像に基づく」グラフィックソフトウェアとが、現物とまさに一致するコンピュータ内の写実的仮想３Ｄ空間を再現するために必要なもののすべてである。
【0344】
「仮想セット」は、実際の城の内部の場所及び周囲の田園地方の外部の場所からキャプチャーされているが、一旦デジタル化されると、これらの「ベース」又はデフォルトバージョン（当初キャプチャーされたまさにその時点の照明パラメータとその他すべてのデータを有する）、現実世界には存在しない要素を追加したり、我々の世界のファンタジーバージョンを創作するために存在する要素を改変したりかつ「装飾したり」して、改変することができる（照明を含む）。
【0345】
ゲスト／プレイヤー及び従業員／俳優が、リゾート内の様々なポイントでの「ゲートウェイ」を通ると（「ゲートウェイ」とは、「我々の世界」から「Ｏｔｈｅｒｗｏｒｌｄ」への有効な「通過点」である）、較正手続きが発生する。「ゲートウェイ」の座標にコンピュータ内の仮想空間を「ロックする」ために、「ゲートウェイ」にいるゲスト／プレイヤー又は従業員／俳優からの位置決めデータが、その時点で取られる。コンピュータは、上述の画像に基づく「キャプチャー」プロセスを通して取得される、仮想バージョンのリゾート全体についてゲートウェイの座標を「知っている」のだ。
【0346】
よって、コンピュータは、ゲスト／プレイヤー又は従業員／俳優がＶＲゴーグルをつける前に見えるものと一緒に、仮想リゾートを「並べる」ことができる。従って、双眼鏡フラットパネルディスプレイの半透明バージョンを通すと、仮想バージョンが実際のリゾートにスーパーインポーズされている場合、一方は他方に非常に精密に調和するであろう。
【0347】
あるいは、「不透明」双眼鏡フラットパネルディスプレイゴーグル又はヘルメットでは、装着者は、自分の前にリゾートの仮想バージョンのみを見ながら、ヘルメットをつけながら自信を持って歩くことができるだろう。なぜならば、仮想世界の風景が、彼が実際に歩いている風景とぴったり一致するであろうからである。
【0348】
もちろん、ゴーグルを通して装着者に見せることができるのは、改変された赤い空や、実際にそこにはない荒れ狂った嵐の雲、そしてまさにちょうど城の銃眼付き胸壁に「火を放った」ドラゴンが上部に止まった城の胸壁だろう。
【0349】
そして、遠方の丘を突撃する１０００鉱石の軍も！
【0350】
８）リゾートのスーパーコンピュータレンダリング及びシミュレーション設備。極めて高品質で近未来映画の品質のシミュレーションを可能にするであろう重要なリソースは、各リゾートの現場のスーパーコンピュータレンダリング及びシミュレーション複合施設だろう。
【0351】
デスクトップコンピュータ用のコンピュータゲームと同様に、スタンドアローンコンピュータゲームコンソール（プレイステーション２、Ｘｂｏｘ、ゲームキューブ）上のグラフィック及びゲームプレイの改良は周知である。
【0352】
しかしながら、このようなゲーム体験における改良は、１台のコンソール又はパーソナルコンピュータのプロセッサ及び支援システムの改良に基づくということを考慮して下さい。そしてスーパーコンピューティングセンターの能力をゲーム体験に注ぎ込むと想像してみて下さい。それだけでも、グラフィックとゲームプレイの品質における飛躍的進歩となるであろう。そしてこれは、Ｏｔｈｅｒｗｏｒｌｄ体験となるモバイルＶＲ冒険の一局面でしかない。
【0353】
上記を再検討することで明らかになると思うが、つまりは関連分野（より広義ではＶＲ、ＡＲ、及びシミュレーションの分野）の当業者にとっては明白なはずであるが、最先端技術を改良するために提案される個々のハードウェア又はソフトウェアシステムは、より広いシステムパラメータを考慮に入れ、かつ適切に評価されるべき当該システムパラメータについての前提を明確にしなければならない。
【0354】
よって、本提案の本質（その焦点は、携帯可能なＡＲ及びＶＲ技術のカテゴリーに該当するハードウェアテクノロジーシステムであり、実際のところ両方の融合であるが、その融合の最も好適なバージョンではウェアラブルテクノロジーであり、かつ好適なウェアラブルバージョンはＨＭＤテクノロジーである）のみが、その中の一部であるシステム全体を考慮又は再考することによって、優れたソリューションとなる完全な事例となる。よって、より大きいＶＲ、ＡＲ及びシミュレーションシステムのこの歴史を提示する必要性があり、なぜならば、新しいＨＭＤテクノロジーの提案及び商的オファーが、例えば、狭くなり過ぎたり、システムレベルでの前提、要件及び新たな可能性を考慮しなかったり、検討しなかったりする傾向があるからである。
【0355】
ＨＭＤ技術の進化における主要な画期的出来事を同様に歴史的に見直すことは必要ではない。なぜならそれは、ＨＭＤの従来技術の制限及び従来技術の現状、並びに提案されるソリューションの理由、そしてなぜ提案されるソリューションが特定された問題を解決するのかを説明する際の手伝けとするために利用できるフレームワークを提供する必要があるだろう、システムレベルでのより広い歴史であるからである。
【0356】
ＨＭＤの従来技術の制限を理解しかつ特定するために十分なものとは、以下から始まる。
【0357】
ヘッドマウントディスプレイ（本開示の目的上、ヘルメットマウントディスプレイを包含する）のカテゴリーにおいて、現時点までに２つの主要なサブタイプである「ＶＲ ＨＭＤ」と「ＡＲ ＨＭＤ」が特定されており、これらは本明細書で既に提供されたこれらの定義の意味合いに従い、かつＡＲ ＨＭＤのカテゴリー内で、これらのタイプを区別するために２つのカテゴリーが用いられており、「ビデオシースルー」又は「光学シースルー」（よりしばしば単に「光学ＨＭＤ」と呼ばれる）である。
【0358】
ＶＲ ＨＭＤディスプレイでは、ユーザは、１つのパネル又は２つの別個のディスプレイを見る。このようなＨＭＤの典型的な形状はゴーグル又はフェイスマスク形状であるが、多くのＶＲ ＨＭＤは、嵩張った密閉型バイザー付きの溶接工のヘルメットの外観を有している。最適なビデオ品質、没入感、そして注意を逸らすものがないということを確保するために、ディスプレイの周囲の辺縁部に光吸収材を用い、このシステムは完全に密閉される。
【0359】
本開示の著者は以前、組み込まれている米国仮出願「ＳＹＳＴＥＭ， ＭＥＴＨＯＤ ＡＮＤ ＣＯＭＰＵＴＲ ＰＲＯＧＲＡＭ ＰＲＯＤＵＣＴ ＦＯＲ ＭＡＧＮＥＴＯ－ＯＰＴＩＣ ＤＥＶＩＣＥ ＤＩＳＰＬＡＹ（磁気光学装置ディスプレイ用のシステム、方法及びコンピュータプログラム製品）」において、２つのタイプのＶＲ ＨＭＤを提案した。２つのタイプのうちの１つは、当該出願の主たる目的のウェーハー・タイプの実施形態で、従来の直視ＬＣＤに取って代わることを単に提案しており、このウェーハー・タイプの実施形態とは、初めての実用的磁気光学ディスプレイであり、その優れた性能特徴は、改良されたディスプレイテクノロジー全般についての、かつ当該実施形態では改良されたＶＲ ＨＭＤについてのその他の利点の中で、非常に高いフレーム率を含む。
【0360】
第２のバージョンは、当該開示の教示に従い、新しい種類の遠隔生成画像表示を企図したものであり、これは例えば車両コックピットで生成され、その後に光ファイバー束を介して送信され、そして特別の光ファイバーアレイ構造（当該出願で開示された構造及び方法）を通して配信されるものであり、光ファイバーを介した遠隔画像搬送用の新しいアプローチ及び構造を有する光ファイバーフェースプレートの経験を基礎とする。
【0361】
当初ＨＭＤについてコアとなるＭＯテクノロジーは製品化されなかったが、むしろ投影システムについては、これらの開発は本提案のいくつかの態様に関係するものであり、さらに、当該技術分野では一般には知られていない。特に第２のバージョンは、他のものよりも前に公表された方法を開示したものであり、より最近の提案は、ＨＭＤ光学体に一体化されてはいない又はＨＭＤ光学体の近くにはない画像エンジンからのビデオ画像を伝達するために光ファイバーを用いる。
【0362】
床さえもある密に制御されたステージ環境を超えた可動性に対する完全密閉型ＶＲ ＨＭＤの実用性についての極めて重要な考慮事項は、移動運動が安全であるということであり、ナビゲーションされる仮想世界は、現実の表面地形又はモーション軌跡に対して、１：１のマッピング（人間の移動運動に対する安全偏差内で）を行わなければならない。
【0363】
しかしながら、ＢＡＲＳの開発者であるＬｏｒａｌ ＷＤＬのＢａｒｒｉｌｌｅａｕｘなどの研究者によって、また実用的となるべきシステムとしてＡＲシステムについて、過去四半世紀近い開発に亘って当該分野のその他の研究者たちによって一貫して、観察され結論が出されたように、走行中の車両の形状を含む（市街戦のための軍によるシステムの開発から驚くべきことではないが）、仮想の（合成のＣＧ生成されたイメージ）世界と現実世界の地形及び構築環境との間に非常に密な対応が得られなければならない。
【0364】
よって、ＶＲ又はＡＲのいずれかがモバイル形態で可能となるためには、「仮想」又は合成要素と、いずれかの現実世界要素との間に１：１の位置的対応がなければならないというのが、より一般的な事例である。
【0365】
ＡＲ ＨＭＤのカテゴリーでは、「ビデオシースルー」と「光学シースルー」との区別は、ユーザが、光学メガネの一部としてのビューアーの真正面に配置された透明又は半透明ピクセルアレイ及びディスプレイとして直接見ることと、（典型的に直に隣接する）マイクロディスプレイから生成されて、対面する光学ピースへの光リレーの形態を通して伝
達される、これもまたビューアーの真正面に配置された光学素子上の半透明投影画像を通してみることとの間の区別である。
達される、これもまたビューアーの真正面に配置された光学素子上の半透明投影画像を通してみることとの間の区別である。
【0366】
直接ビュースルーディスプレイの主要なかつおそらくは単に部分的に実用的なタイプである、透明又は半透明表示システムは、（歴史的に）照明バックプレーンなしに構成されたＬＣＤであった。従って、特に、ＡＲビデオビュースルーメガネは、ＬＣＤ光変調器ピクセルアレイがその上に製作される透明な光基板を含む光学画面を保持する。
【0367】
オリジナルのＭａｎｎの「ＥｙｅＴａｐ」と類似のアプリケーション（テキスト／データが直接表示されるか又は対面する光学体に投影される）については、現実世界の地形及びオブジェクトへの較正は必要とされないが、ある程度の位置相関は、視野内のアイテムに情報テキストで文脈上の「タグ付け」を行うのに役立つ。このことは、Ｇｏｏｇｌｅ Ｇｌａｓｓ製品の記述された主たる目的であるが、本開示のドラフティングを行う際に、非常に多くの開発者たちが、ライブシーン上にテキストよりも多くスーパーインポーズするＡＲタイプのアプリケーションの開発に集中した。
【0368】
略２Ｄ面又は粗ビューコーンにおける緩く近似な位置相関以外の、ビデオ又は光学シースルーシステムのいずれかのユーザの視野における地形又はオブジェクトへのこのような「較正」の主な問題は、ビューアーの環境にあるオブジェクトの相対位置の決定である。重大な不調和のないパースペクティブ及び相対的サイズの計算は、ローカル環境の基準のかつ／又はおおよそリアルタイムな空間位置決めデータ及び３Ｄマッピングなしには行うことはできない。
【0369】
相対的サイズに加えて、あらゆる視点からのパースペクティブの重要な局面は、ライティングの方向に応じたリアルな照明／遮光（ドロップシャドーを含む）である。そして最後に、所定のビューイング位置決めからのオブジェクトの遮蔽が、知覚された透視的かつ相対的距離及び位置決めの重要な光学特徴である。
【0370】
ビデオシースルー又は光学シースルーＨＭＤは存在せず、又はビデオ又は光学ビュースルータイプのいずれのシステムでも、又は実際にモバイルＶＲタイプのシステムについても、安全な移動運動又は経路探索に必須な、装着者の周囲の次元ビューイングを可能にするように、このようなデータがいかにして提供されるかという問題から隔絶してはビデオシースルー又は光学シースルーＨＭＤを設計することはできない。このようなデータは外部で、ローカルで、又は複数のソースの組み合わせで提供されるのだろうか？もしも部分的にローカルでかつＨＭＤの一部である場合、このことはＨＭＤシステム全体の設計と性能に影響を及ぼすだろうか？ この問題がもし影響を及ぼすとしたら、ビデオシースルーと光学シースルーとの間の選択において、その他の含意及び影響を受けるパラメータの中で、所定の重量、バランス、嵩、データ処理要件、構成要素間のラグ、そしてディスプレイと光学構成要素との選択においての詳細に関し、どのような影響があるのだろうか？
【0371】
ＶＲ ＨＭＤが進化及び進歩する際に解決すべき技術的パラメータ及び問題の中で、主に、視野の増大、待ち時間の低減（モーション追跡センサ間のラグ及び仮想パースペクティブの変化）、解像度、フレーム率、ダイナミックレンジ／コントラスト、並びにその他の一般的表示品質特徴の増大、並びに重量、バランス、嵩、及び総合人間工学の問題が含まれてきた。画像コリメーション及びその他のディスプレイ光学体の詳細は、当初から主要な課題であった「シミュレータ病」の問題に効果的に取り組むために改良されてきた。
【0372】
ディスプレイ、光学体及びその他の電子機器の重量及び嵩は、これらの一般的技術カテゴリー、そして重量、サイズ／嵩及びバランスにおける改良とともに、時間をかけて減少する傾向があった。
【0373】
静止ＶＲギアは、車両（航空機を含む）における暗視システムのために一般的に用いられてきたが、モバイル暗視ゴーグルは、モバイルＶＲと同様の媒介ビューイングの形態と見なすことができる。なぜならば、基本的に装着者が見ているのは、リアルタイムでの実際の場面（赤外線撮像された）（但し、ビデオスクリーンを通してであり、「ビュースルー」の形態ではない）だからである。
【0374】
このサブタイプは、同じく言及された１９９９年に遡及して、Ｂａｒｒｉｌｌｅａｕｘが「間接視ディスプレイ」として定義したものに類似している。彼は、実際の「ビュースルー」はないが、見えるものが、おそらくはあらゆるＶＲタイプ又は暗視システムとして含まれる、ディスプレイ上の排他的に融合された／処理済みの実像／仮想画像である、提案したＡＲ ＨＭＤに関してその定義を提示した。
【0375】
しかしながら、暗視システムは、仮想・合成風景と、赤外線署名の強さに応じた異なる強度の単色像として、ビデオ信号処理を通して解釈された通りの赤外線センサデータの、実際のものだがむしろ直接送信されたビデオ画像との融合又は混和ではない。ビデオ画像としては、これは、Ｅｙｅｔａｐ が最初に着想されたのと同じ単純な形態での、かつＧｏｏｇｌｅが述べたように、Ｇｌａｓｓ製品のために意図された主な目的である、リアルタイムテキスト／グラフィックオーバーレイに適している。
【0376】
いかにそしてどんなデータをライブで抽出するのか、又は参照からモバイルＶＲ又はモバイルＡＲシステムのいずれかに提供するのか、又はこれらの両方か、又は一貫してキューを出して組み合わせられたビューを提供するために、仮想風景と実際の風景の効果的一体化を可能にするために、両カテゴリーと類似性を有する、このハイブリッドでライブ処理されたビデオフィードの「間接視表示」を今含めるのかという問題は、デザインパラメータであり、そしてタイプに拘わらず、あらゆる新しいかつ改良されたモバイルＨＭＤシステムを設計する際に考慮されなければならない問題である。
【0377】
ＡＲ用のソフトウェア及びデータ処理は、既に言及したシステム開発者の初期の研究を基礎として、これらの課題に取り組むために進歩してきた。この例としては、係属中の米国特許出願である「Ｍｉｘｅｄ ｒｅａｌｉｔｙ ｓｐａｃｅ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｍｅｔｈｏｄ ａｎｄ ｍｉｘｅｄ ｒｅａｌｉｔｙ ｓｙｓｔｅｍ（混合現実空間画像生成方法及び混合現実システム）」に開示されている、キャノン株式会社のマツイとスズキの研究がある。
【0378】
（２００４年９月２９日出願の米国特許出願開第２００５０１７９６１７号）その要約には以下の通り記載されている。
【0379】
「現実空間をキャプチャーすることによって得られた現実空間画像に仮想空間画像をスーパーインポーズすることによって形成された混合現実空間画像を生成するための混合現実空間画像生成装置は、仮想空間画像の現実空間上のオブジェクトによる遮蔽を考慮して表示される仮想空間画像を、現実空間画像にスーパーインポーズする画像合成部（１０９）と、仮想空間画像の遮蔽を考慮せずに表示される画像をさらにインポーズする注釈生成部（１０８）とを含む。このようにして、自然な表示と便利な表示を両方とも達成できる混合現実空間画像を生成することができる。」
【0380】
このシステムの目的は、モックアップ（代理の小道具）上にスーパーインポーズされるべき完全にレンダーされた工業製品（カメラなど）の組み合わせを可能にするように意図されたものであり、光学ビュースルーＨＭＤメガネ一式とモックアップの両方ともに、位置センサが備え付けられる。ＣＧ生成された仮想モデルを複合ビデオフィードにスーパー
インポーズできるように（わずかなラグでのレイヤリングを可能にするためにバッファ遅延される）、モックアップからピクセルをマッティングするために、リアルタイムのピクセル単位検索比較プロセスが用いられる。注釈グラフィックもシステムによって追加される。コンピュータグラフィック。マッティングを決定し、よって合成物の中に正確でかつ間違っていない遮蔽を確保するためのデータの最も重要なソースは、モックアップ上のモーションセンサと、ハンドマットとモックアップマットを引くためのピクセルを比較する事前決定された参照テーブルである。
インポーズできるように（わずかなラグでのレイヤリングを可能にするためにバッファ遅延される）、モックアップからピクセルをマッティングするために、リアルタイムのピクセル単位検索比較プロセスが用いられる。注釈グラフィックもシステムによって追加される。コンピュータグラフィック。マッティングを決定し、よって合成物の中に正確でかつ間違っていない遮蔽を確保するためのデータの最も重要なソースは、モックアップ上のモーションセンサと、ハンドマットとモックアップマットを引くためのピクセルを比較する事前決定された参照テーブルである。
【0381】
このシステムは、モバイルＡＲ、ＶＲ、又はいずれのハイブリッドについてもその一般化には役立っていないが、実際の３Ｄ空間を分析し、かつ透視ビューで適切に仮想オブジェクトの位置決めをするための、単純な（完全自動ではないが）システムを提供する試みの一例である。
【0382】
ビデオ又は光学シースルーＨＭＤの領域では、ＨＭＤに届けられた理想的に計算された混合現実透視ビューを前提としてさえ、満足できるリアルかつ正確な融合透視ビュー（パースペクティブの適正な順番の取り扱い、現実空間内の所定ビューアーの位置からの融合要素の適正な遮蔽を含む）を実施できるディスプレイ又は光学体及び表示システムの設計には進歩がほとんどない。
【0383】
この問題に対する最も効果的な（たとえ部分的であっても）解決策であると主張されている一つのシステムであり、おそらくは唯一の一体化ＨＭＤシステム（ＨＭＤから独立して、何らかの包括的な態様でこれらの課題を解決するように設計された、ソフトウェア／写真測量／データ処理及び配送システムとは対照的に）が、既述の米国特許出願第２０１４０１７７０２３号「ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＯＰＴＩＣＡＬ ＳＥＥ－ＴＨＲＯＵＧＨ ＨＥＡＤ ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ ＷＩＴＨ ＭＵＴＵＡＬ ＯＣＣＬＵＳＩＯＮ ＡＮＤ ＯＰＡＱＵＥＮＥＳＳ ＣＯＮＴＲＯＬ ＣＡＰＡＢＩＬＩＴＹ（相互遮蔽及び不透明性制御能力を有する光学シースルーヘッドマウントディスプレイ用装置）」におけるＣｈｕｎｙｕ Ｇａｏ の提案で言及されている。
【0384】
Ｇａｏは、ＡＲ用のビュースルーＨＭＤの分野についての自身の概説を、以下の見解から始めている。
【0385】
光学とビデオという２つのタイプのＳＴ－ＨＭＤがある（Ｊ． Ｒｏｌｌａｎｄ及びＨ． Ｆｕｃｈｓ、「Ｏｐｔｉｃａｌ ｖｅｒｓｕｓ ｖｉｄｅｏ ｓｅｅ－ｔｈｒｏｕｇｈ ｈｅａｄ ｍｏｕｎｔｅｄ， ｄｉｓｐｌａｙｓ（光学対ビデオ・シースルーヘッドマウントディスプレイ）」、Ｉｎ Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｗｅａｒａｂｌｅ
Ｃｏｍｐｕｔｅｒｓ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ウェアラブルコンピュータと拡張現実の基本において）、１１３～１５７頁、２００１年）。ビデオシースルーアプローチの主要な欠点は、シースルービューの画像品質の劣化、入って来るビデオストリームの処理による画像ラグ、ハードウェア／ソフトウェア誤動作によるシースルービューの損失の可能性を含む。また対照的に、光学シースルーＨＭＤ（ＯＳＴ－ＨＭＤ）は、ビームスプリッタを通して現実世界の直視を提供し、よって、現実世界のビューへの影響は最小である。ライブ環境に対するユーザの意識が最優先であるアプリケーションを要求する際に、非常に好適である。
Ｃｏｍｐｕｔｅｒｓ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ウェアラブルコンピュータと拡張現実の基本において）、１１３～１５７頁、２００１年）。ビデオシースルーアプローチの主要な欠点は、シースルービューの画像品質の劣化、入って来るビデオストリームの処理による画像ラグ、ハードウェア／ソフトウェア誤動作によるシースルービューの損失の可能性を含む。また対照的に、光学シースルーＨＭＤ（ＯＳＴ－ＨＭＤ）は、ビームスプリッタを通して現実世界の直視を提供し、よって、現実世界のビューへの影響は最小である。ライブ環境に対するユーザの意識が最優先であるアプリケーションを要求する際に、非常に好適である。
【0386】
しかしながら、ビデオシースルーの問題についてのＧａｏの見解は、第１の事例において、従来技術のビデオシースルーを排他的にＬＣＤと特定することによっては適格とはされず、また、彼はＬＣＤが（比較的、そしてどの基準でということも省略されている）シースルー画像を劣化させるに違いないという主張を立証してはない。当業者は、この質の悪い画像のビューが、当該分野での昨今の加速的進歩を迎える前の、初期のビュースルー
ＬＣＤシステムで達成された結果から派生したものであることを、認識し得る。比較として多くの光学素子と、「現実」の「シースルー画像」の再処理又は媒介に対するその他の表示テクノロジーの影響とを用いて、最先端ＬＣＤ又はその他のビデオビュースルー表示テクノロジーに比較すると、光学シースルーシステムが、最終結果を相対的に悪化させ、又はＧａｏなどの提案に劣るということは、事実上真実ではなく、明白でもない。
ＬＣＤシステムで達成された結果から派生したものであることを、認識し得る。比較として多くの光学素子と、「現実」の「シースルー画像」の再処理又は媒介に対するその他の表示テクノロジーの影響とを用いて、最先端ＬＣＤ又はその他のビデオビュースルー表示テクノロジーに比較すると、光学シースルーシステムが、最終結果を相対的に悪化させ、又はＧａｏなどの提案に劣るということは、事実上真実ではなく、明白でもない。
【0387】
この根拠のない一般化についての別の問題は、入力ライブ画像の処理もしなければならないその他のシステムに比べて、シースルーのカテゴリーにおけるラグの推定である。この場合、速度の比較は、競合するシステムの全体としての構成要素及びその性能の詳細な分析の結果である。そして最後に、「ハードウェア／ソフトウェアに対するシースルービューの損失の可能性」の憶測は、ビデオと光学シースルースキーム全般の間の、又はどちらかの及びその構成要素テクノロジー及びシステム設計の特定のバージョンの間のいずれかでの、比較システムのロバスト性又は安定性の厳密な分析により、基本的に根拠がなく、任意であり、かつ有効でもない。
【0388】
該当分野における比較の欠陥のある及び偏った表明の最初の問題を上回って、彼ら自身が提案した解決策には、既に言及しかつ取り組まれてきたデータ取得、分析及び配信の課題と共に、質的問題（完全なＨＭＤシステムとして（より広いＡＲシステムにおける構成要素としても含む）の提案されたＨＭＤシステムを考慮することを省略しかつかかる考慮が欠けていることを含む）がある。ＨＭＤは、「既知の事実」として、改変画像又は混合画像の生成のために特定のレベル及び品質のデータ又は処理能力を扱うことは許可されておらず、この場合そのこと自体だけでも、ＨＭＤ自体及びそのデザインが補助し又は妨げとなり得る、かつ既知の事実として単純に提示することはできない、重要な疑問及び問題である。
【0389】
さらに、課題と解決策の詳述で省略されているのは、モバイルプラットフォームでの現実と仮想の視覚一体化の問題の全範囲である。
【0390】
開示と、開示が教示するシステムとは、特に以下の通りである。
【0391】
この背景で前述しているが、Ｇａｏの提案は、２つの表示タイプの装置を利用することであり、なぜならば、ライブ画像を選択的に反映し又は送信する空間光変調器の仕様は、基本的に、これらがいずれの表示アプリケーションでも動作可能であるのと同じ目的のＳＬＭの仕様であるからである。
【0392】
そして、２つの装置からの出力画像は、ピクセル単位でラインアップされる間に、これらの装置の精度についての記述以外の具体的説明はなしに、ビームスプリッタ・コンバイナ（想定されている）内で組み合わせられる。
【0393】
しかしながら、２つのピクセル化されたアレイのこの融合を達成するために、Ｇａｏは彼が「折り畳み光学体」と呼ぶものの重複を特定しているが、基本的に、合計で２つの「折り畳み光学」素子（例えば、格子面／ＨＯＥ又はその他のコンパクトプリズムもしくは「フラット」光学体）を、各ソースにつき１つずつと、２つの対物レンズ（１つは実景からの波面用で、１つは結合画像そしてビームスプリッタ・コンバイナ）の焦点の他方端に、を必要とする、Ｍａｎｎ Ｅｙｅｔａｐスキームの二重バージョン以外の何物でもない。
【0394】
よって、多数の光学素子（これらのために彼は多様な従来の光学バリエーションを提示している）は、１）第１の反射／折り畳み光学体（平面型格子／ミラー、ＨＯＥ、ＴＩＲプリズム、又はその他の「フラット」光学体）を介して及びそこから対物レンズまで、実
際の場面の光を集め、その光を次の格子／ミラー、ＨＯＥ、ＴＩＲプリズム、又はその他の「フラット」光学体に通過させ、光路を再度「折り畳む」ことが必要とされ、これらのすべては、光学システム全体が比較的コンパクトであり、かつ２つの矩形の光学中継域の概略セットに含まれることを確実にするためのものである。折り畳み光学体から、このビームはビームスプリッタ／コンバイナを通してＳＬＭまで通過させられる。そしてＳＬＭは、ピクセル化（サンプリング）に基づいて反射又は送信し、よって可変的に（グレースケール等を修正するための実像コントラスト及び強度からの変化） 変調され、今はピクセル化された実像を通過させて、ビームスプリッタ／コンバイナに戻す。ディスプレイが仮想又は合成／ＣＧ画像を同期して生成する間、かかる画像は、修正されピクセル化／サンプリングされた実波面との一体化を確実に容易にするためにおそらく較正もされ、マルチステップで修正されかつピクセル化された実際の場面のサンプルとピクセルごとに一体化するためにビームスプリッタを通過させられ、そこから接眼対物レンズを通り、そして別の「折り畳み光学体」素子に戻って、ビューアーの眼へと光学システムの外へ反射される。
際の場面の光を集め、その光を次の格子／ミラー、ＨＯＥ、ＴＩＲプリズム、又はその他の「フラット」光学体に通過させ、光路を再度「折り畳む」ことが必要とされ、これらのすべては、光学システム全体が比較的コンパクトであり、かつ２つの矩形の光学中継域の概略セットに含まれることを確実にするためのものである。折り畳み光学体から、このビームはビームスプリッタ／コンバイナを通してＳＬＭまで通過させられる。そしてＳＬＭは、ピクセル化（サンプリング）に基づいて反射又は送信し、よって可変的に（グレースケール等を修正するための実像コントラスト及び強度からの変化） 変調され、今はピクセル化された実像を通過させて、ビームスプリッタ／コンバイナに戻す。ディスプレイが仮想又は合成／ＣＧ画像を同期して生成する間、かかる画像は、修正されピクセル化／サンプリングされた実波面との一体化を確実に容易にするためにおそらく較正もされ、マルチステップで修正されかつピクセル化された実際の場面のサンプルとピクセルごとに一体化するためにビームスプリッタを通過させられ、そこから接眼対物レンズを通り、そして別の「折り畳み光学体」素子に戻って、ビューアーの眼へと光学システムの外へ反射される。
【0395】
全体として、修正、ピクセル化かつサンプリングされた部分の実像波面については、ビューアーの眼に届くまでに７個の光学素子（ＳＬＭを含まない）を通過する。ディスプレイで生成された合成画像は、単に２個の光学素子を通過する。
【0396】
光学像コンバイナの正確な位置合わせの問題、つまりピクセルレベルでは、レーザーによって問い合わせされた画像サンプルから集められた反射光なのか否か、又は画像の結合が、小さくフィーチャーされたＳＬＭ／表示装置を生じさせたのか否かという問題は、特に機械的振動及び熱応力という条件下で位置合わせを維持することは、当該技術において些細な事ではないと見なされている。
【0397】
高解像度（２ｋ又は４ｋ）の赤、緑及び青の画像エンジン（典型的にはＤＭＤ又はＬＣｏＳ ＳＬＭによって生成された画像）の出力を組み合わせる、デジタル投影自由空間光ビーム混合システムは高価であり、これらの位置合わせを達成しかつ維持することは容易ではない。また、Ｇａｏスキームの７個の素子の障害物の場合よりも単純なデザインのものもある。
【0398】
さらに、これらの複合マルチエンジン・マルチ素子の光学コンバイナシステムは、ＨＭＤにとって必要なくらいにはほぼコンパクトにはなっていない。
【0399】
生命科学市場のためにＡｇｉｌｅｎｔ によって開発されかつマーケティングされたＴ－Ｒｈｏｍｂｏｉｄコンバイナなどのモノリシックプリズムは、既存のアプリケーションにおいて自由空間コンバイナが示してきた問題に特に取り組むために開発されてきた。
【0400】
そして、Ｍｉｃｒｏｖｉｓｉｏｎやその他の企業が、ＳＬＭに基づいてオリジナルにマイクロ投影テクノロジーのために開発されたＨＭＤプラットフォームの配備に成功してきたが、これらの光学セットアップは典型的に、Ｇａｏの提案よりも実質的により複雑ではない。
【0401】
さらに、２つのプラットフォーム上での、２つの画像処理ステップ及び計算繰返しについて基本の論理的根拠は何であるか、そして実際のかつ仮想の波面入力の平滑化及び一体化を達成して、組み合わせられた場面要素の適切な遮蔽／不透明化を実施するために、なぜそれが必要とされるのかを判断するのは難しい。Ｇａｏの最大の懸念と解決すべき問題とは、実像との明るさに対して困難さをもって競う合成画像の問題であり、よって、ＳＬＭの主なタスクは、実際の場面の部分又は実際の場面全体の明るさを選択的に落とすことであるように思われる。概して、例えば、時間分割多重化システム内の反射位置にあるＤ
ＭＤミラーの持続時間を最短化することによって、遮蔽された実際の場面の要素の強度を落としつつ、遮蔽されたピクセルは単純に「オフ」のままとされるだろうことも推測されるが、このことはＧａｏによって特定されてはおらず、ＳＬＭがいかにしてその関連する画像改変機能を達成するかの詳細についても特定してはいない。
ＭＤミラーの持続時間を最短化することによって、遮蔽された実際の場面の要素の強度を落としつつ、遮蔽されたピクセルは単純に「オフ」のままとされるだろうことも推測されるが、このことはＧａｏによって特定されてはおらず、ＳＬＭがいかにしてその関連する画像改変機能を達成するかの詳細についても特定してはいない。
【0402】
両方とも計算され、較正され、かつ位置合わせされるべき多くのパラメータの中で、現実のフィールドからのまさにどのピクセルが、合成ピクセルに対して較正されたピクセルなのかを判断することが含まれる。完全な一致はなしで、ゴーストのオーバーラップ及び非整列及び遮蔽は、特に動く場面では倍加する。実際の場面の波面部分を対物レンズに通過させる反射光学素子の位置は、その場面でのビューアーの透視位置とは最初は同一ではない、場面に関する実際の透視位置を有しており、なぜならばそれは平面ではなく、ど真ん中に位置している訳ではないからであり、かつそれは単に波面サンプルであり、位置が何かではないからである。さらに、モバイルであり、動いてもいて、かつ前もって合成画像処理装置には知らされていない場合。このシステムの変数の数は、上記の事実の理由だけでも非常に多い。
【0403】
もしそうであったとして、かつこの解決策の目的がより具体的にされた場合、これを達成するために第２のディスプレイ（双眼鏡システムにおいて、合計２個のディスプレイ、つまり特定されたＳＬＭを追加）を使用することよりももっと単純な方法があるかもしれないことが明確になるかもしれない。
【0404】
第二に、いずれかのアプローチが、多数の累積したアラインメント耐性を有するこのような複合システムの耐久性、マルチ素子経路のオリジナルパーツ及び経年摩損からの欠陥の累積、融合されたビームの非整列を理由として、累積した熱的及び機械的振動効果や、７個の素子とこれに加えて光学システムの複雑性から生じるその他の困った問題をもたらす場合、本質的に外部のライブ画像波面のおそらくは劣化（特に経年の）をもたらすのは、このシステムである。
【0405】
加えて、かなり詳しく前述したが、実要素と仮想要素との間の空間関係を計算するという問題は、些細な問題ではない。この計算に基づいて２つの（かつ双眼鏡システム内の）おそらくは異なるタイプ（よって異なる色域、フレーム率など）であろうディスプレイ４個タイプの装置を駆動しなければならないシステムの設計は、既に要求が厳しいシステム設計パラメータに複雑さを追加することになる。
【0406】
さらに、ゴースト発生又はラグなしで、かつ眼精疲労や視覚系の疲労を誘発せずに、高性能画像を配送するためには、高フレーム率が必須である。しかしながら、Ｇａｏシステムでは、システム設計は、反射ＳＬＭではなく、ビュースルーの使用のみで、若干より単純化されるが、より速いＦｅＬＣｏＳマイクロディスプレイ付きですら、フレーム率及び画像速度はなお、ＴＴのＤＬＰ（ＤＭＤ）などのＭＥＭＳ装置のフレーム率及び画像速度よりも実質的に低い。
【0407】
しかしながら、ＨＭＤ用により高い解像度が望まれるので（最低でもより広いＦＯＶを達成するために）、ＴＴの２ｋ又は４ｋ装置などの高解像度ＤＭＤへのリソースは、非常に高価なソリューションのリソースを意味する。なぜならば、その特徴サイズ及び数のＤＭＤは、低収率で、大衆消費者又はビジネス生産及びコストのために典型的に許容され得るより高い欠陥率、現在それらが利用されているシステム（ＴＩ ＯＥＭのＢａｒｃｏ、Ｃｈｒｉｓｔｉｅ、及びＮＥＣによって商的にマーケティングされたデジタルシネマプロジェクタなど）のための非常に高いプライス・ポイントを有していると知られている。
【0408】
Ｌｕｍｕｓ、ＢＡＥ及びその他のように光学シースルーＨＭＤのためにフラット光学投
影テクノロジー（ここで遮蔽は、設計の目的ではなく、これらのアプローチの範囲及び能力の範囲内で可能でもない）から、基本的にこのアプローチを複製するところまで進め、かつ実像を調節して、その後でＧａｏが提案するような従来の光学セットアップを用いて２つの画像を組み合わせるというのは本能的に容易なステップだが、一方、この組み合わせをもたらし、かつ比較的コンパクトな空間でそのように行うために、多数のフラット光学素子に頼る。
影テクノロジー（ここで遮蔽は、設計の目的ではなく、これらのアプローチの範囲及び能力の範囲内で可能でもない）から、基本的にこのアプローチを複製するところまで進め、かつ実像を調節して、その後でＧａｏが提案するような従来の光学セットアップを用いて２つの画像を組み合わせるというのは本能的に容易なステップだが、一方、この組み合わせをもたらし、かつ比較的コンパクトな空間でそのように行うために、多数のフラット光学素子に頼る。
【0409】
背景の概説を締め括るため、ＨＭＤの２つの一般的カテゴリーである光学シースルーＨＭＤと古典的ＶＲ ＨＭＤにおける現在のリーダーに戻ると、現在の最先端技術の概略は以下の通りであるが、留意すべき点は、その他の変異形である光学シースルーＨＭＤ及びＶＲ ＨＭＤは両方とも市販されており、かつ集中的研究開発の対象となっており、実質的にＧｏｏｇｌｅ、Ｇｌａｓｓ、及びＯｃｕｌｕｓ ＶＲ ＨＭＤ、ｔｈｅ Ｒｉｆｔから飛躍的進歩がもたらされて以降増大している製品発表、出版及び特許出願を含む多大な量の商業的かつ学究的の両方の研究が行われている。
【0410】
・Ｇｏｏｇｌｅは、商的に主要なモバイルＡＲ光学ＨＭＤであるＧｌａｓｓで、この文書を著している時点では、光学シースルーＨＭＤカテゴリーにおいて躍進的な一般認知度と主要なマーケティングの地位を確立した。
【0411】
しかし彼らは、主に防衛／工業セクターでの製品を既に開発して送り出してきた市場（Ｌｕｍｕｓ及びＢＡＥ（Ｑ－Ｓｉｇｈｔホログラフィック導波管テクノロジー）を含む）については、他者に追従した。その他の最近の市場及び研究ステージに参入してきた企業としては、ｔｈｅ ＵＫ Ｎａｔｉｏｎａｌ Ｐｈｙｓｉｃａｌ Ｒｅａｌｉｔｙからの研究で、かつホログラフィック導波管の分野での研究を商業化したＴｒｕＬｉｆｅ Ｏｐｔｉｃｓがあり、彼らは比較的優位を主張している。
【0412】
多くの軍事用ヘルメットマウントディスプレイアプリケーションについて、そしてＧｏｏｇｌｅのＧｌａｓｓについての公式の主たる用途の場合について（繰り返すが、上記で分析している通り）、大まかな位置相関のみ必要であるビュー空間へのテキスト及び象徴的グラフィック要素のスーパーインポーズが、多くの初期の単純なモバイルＡＲアプリケーション用には十分であり得る。
【0413】
しかし、情報表示アプリケーションの場合でさえ、ビューアーに対面している（かつ最終的にはビューアーを取り囲む）ビュー空間におけるアイテム及び地形にタグ付けされた情報の密度が高いほど、タグの空間的順番／レイヤリングがタグ付けされた要素の透視／相対位置に一致する必要性が大きくなることが明白である。
【0414】
従って、オーバーラップ、すなわち、視野内の実要素によるタグの部分的遮蔽は（単にタグ自体のオーバーラップだけではなく）必然的に、ビジュアルクラッタを管理するために、「基本的」な情報表示を目的とする光学ビュースルーシステムでさえその要件となる。
【0415】
タグはさらに、現実空間の透視ビューにおけるタグ付けされた要素の相対位置だけではなく、自動化された優先度（事前に決められた又はソフトウェアで計算された優先度に基づく）と、リアルタイムのユーザが割り当てた優先度の、両方の度合いを反映しなければならないので、タグのサイズ及び透明度（情報階層を反映するためにグラフィックシステムによって用いられているただ２つの主要な視覚的キューを指定すること）が管理され、かつ実施されなければならない。
【0416】
そこで直ちに生じる疑問は、タグ及びスーパーインポーズされたグラフィック要素の半
透明度及びオーバーラップ／遮蔽の問題を詳細に検討した上で、これらの基本的光学シースルーＨＭＤ（単眼レチクルタイプか又は双眼鏡全ガラスタイプかのいずれかを問わない）の光学素子を通過させられたライブ要素及びスーパーインポーズされた生成されたビデオ表示要素の相対的の明るさ（特に明るく照らされた屋外照明状態と、非常に薄暗く照らされた屋外状態での）の問題をいかに対処するかということである。これらのディスプレイタイプの有用性を十分に拡張するために、夜間の使用が、明らかに低照度の問題の極端なケースである。
透明度及びオーバーラップ／遮蔽の問題を詳細に検討した上で、これらの基本的光学シースルーＨＭＤ（単眼レチクルタイプか又は双眼鏡全ガラスタイプかのいずれかを問わない）の光学素子を通過させられたライブ要素及びスーパーインポーズされた生成されたビデオ表示要素の相対的の明るさ（特に明るく照らされた屋外照明状態と、非常に薄暗く照らされた屋外状態での）の問題をいかに対処するかということである。これらのディスプレイタイプの有用性を十分に拡張するために、夜間の使用が、明らかに低照度の問題の極端なケースである。
【0417】
よって、受動的光学シースルーＨＭＤタイプの最も制限された使用事例の条件を超えて動くと、情報密度が増すにつれて（このようなシステムが商業的に成功し、かつ通常は高密度の都会又は郊外地域が営利事業からタグ付け情報を取得した場合に、このようになることが期待される）、かつ明るいかつ薄暗い状態での使用パラメータが制約に追加するにつれ、「受動的」光学シースルーＨＭＤは、モバイルＡＲ ＨＭＤの現実的で実用的な実施態様の問題及びニーズから逃れることも、これらに対処することもできないことが明らかである。
【0418】
そこで、モバイルＡＲ ＨＭＤを実現するための不完全なモデルとして受動的光学パススルーＨＭＤを検討しなければならず、そして後に振り返ってみた時に、能動的システムへの暫定的な足掛かりとしてのみ見られるようになるであろう。
【0419】
・Ｏｃｕｌｕｓ Ｒｉｆｔ ＶＲ （Ｆａｃｅｂｏｏｋ） ＨＭＤ： Ｇｏｏｇｌｅ Ｇｌａｓｓ製品マーケティングキャンペーンのインパクトと若干並行して、但し、Ｏｃｕｌｕｓが実用的ＶＲ ＨＭＤの重大な出発点でのバリアのいくつかを解決し、かつ／又は実質的に解決し始めていたという点で（Ｇｏｏｇｌｅの場合には、Ｌｕｍｕｓ及びＢＡＥに続くよりも）、実際には当該分野において先を進んでいたという差があるが、Ｏｃｕｌｕｓ Ｒｉｆｔ ＶＲ ＨＭＤは、本文書を記載している時点では、広く認められる消費者及びビジネス／産業用ＶＲの市場に参入しかつ当該市場を作り上げる主要な大量発売前のＶＲ ＨＭＤ製品である。
【0420】
Ｏｃｕｌｕｓ Ｒｉｆｔ ＶＲ ＨＭＤの基本的出発点での進歩の概要は、以下の製品特長のリストにまとめられ得る。
【0421】
ｏユーザの眼から数インチの位置に置かれ、かつ単一ディスプレイ上の双眼鏡透視領域に分割された、１０８０ｐ解像度の１個の現時点で対角７インチのディスプレイを用いて達成された、大幅に広げられた視野。以前存在していたＨＭＤの一般的仕様である全４５度と比べて、現在のＦＯＶは本文書上１００度である（その元々の９０度を改良）。別個の双眼鏡光学体は、ステレオビジョン効果を実現する。
【0422】
ｏ 大幅に改良されたヘッドトラッキングと、結果としてもたらされる低いラグ。これは、改良されたモーションセンサ／ソフトウェアの進歩であり、３Ｄ位置追跡用の内蔵モーションセンサ（加速度計、ＭＥＭＳジャイロスコープなど）付きのその他のハンドヘルド及びハンドヘルド装置製品の中で、任天堂Ｗｉｉ、Ａｐｐｌｅ及びその他の携帯電話センサ技術における素早い追従者たち、プレイステーションＰＳＰ（現Ｖｉｔａ）、任天堂ＤＳ（現３ＤＳ）、そしてＸｂｏｘ Ｋｉｎｅｃｔシステムから移行してきたミニチュアモーションセンサテクノロジーを活用している。現在のヘッドトラッキングは、協調して作動する外部センサを用いて、マルチポイント赤外線光学システムを実現している。
【0423】
ｏ少ない待ち時間。これは、改良されたヘッドトラッキングと、対話型ゲームソフトウェアシステムの更新を行う速いソフトウェアプロセッサとの組み合わせの成果であるが、用いられるディスプレイテクノロジー（元々はＬＣＤであって、若干より速いＯＬＥＤが
これに取って代わった）の固有の応答時間によって制限される。
これに取って代わった）の固有の応答時間によって制限される。
【0424】
ｏ 低い持続性。これは、より速いスイッチング速度のＯＬＥＤディスプレイとの組み合わせで作動して、ビデオストリームをスムーズに維持するのを助けるために、バッファリングの形態である。
【0425】
ｏ スキーゴーグル形態のファクター／材料及び機械プラットフォームを用いることによる、より軽い重量、低減された嵩、より良好なバランス、そして全体的に改良された人間工学。
【0426】
これらの改良点を組み合わせる正味のメリットの概要をまとめると、このようなシステムは構造上又は作動上、パターンとしては新しいものではないかもしれないが、改良された構成要素と、特に効果的な米国意匠特許第Ｄ７０１，２０６号、並びにあらゆる専有ソフトウェアの正味の効果は、結果として画期的レベルの大量市場ＶＲ ＨＭＤの性能と検証をもたらした。
【0427】
多くの場合にはこれらの先例に倣いかつそのアプローチを採用し、またＯｃｕｌｕｓ ＶＲ Ｒｉｆｔ構成の成功に基づいて自分たちのデザインを改変したその他の者達の場合には、同時期に発生した数個の製品プログラムがあり、多くのＶＲ ＨＭＤ製品開発者（ブランド名を冠した企業と新興企業の両方）が存在していて、彼らはオリジナルの２０１２年Ｅｌｅｃｔｒｏｎｉｃ Ｅｘｐｏ デモンストレーション及びＯｃｕｌｕｓ ＶＲ によるキックスターター融資キャンペーンの後、製品計画発表を行った。
【0428】
迅速に後に続いた者たちそしてＯｃｕｌｕｓ ＶＲテンプレートに従って自身の戦略を明らかに改変した者たちの中に、サムスンがいた。サムスンは、本文書記載の時点でＯｃｕｌｕｓ ＶＲ ＲｉｆｔのデザインとＳｏｎｙのＭｏｒｐｈｅｕｓによく似た開発モデルのデモンストレーションを行った。この分野で頭角を現してきた新興企業には、Ｖｒｖａｎａ（前Ｔｒｕｅ Ｇｅａｒ Ｐｌａｙｅｒ）、ＧａｍｅＦａｃｅ、ＩｎｆｉｎｉｔｅＥｙｅ、そしてＡｖｅｇａｎｔが含まれる。
【0429】
これらのシステム構成のいずれも、Ｏｃｕｌｕｓ ＶＲと全く同一と思われるものはないが、２パネルを使用するものもいれば、その他は４パネルを使用し、ＩｎｆｉｎｉｔｅＥｙｅは、その主張によると２００＋度までＦＯＶを拡げるために、４パネルシステムを利用した。ＬＣＤを使用するものもいれば、その他はＯＬＥＤを使用している。ヘッドトラッキングシステムの精度と更新速度を改良するために、光学センサが用いられている。
【0430】
これらのシステムのすべては、基本的に決まった場所での又は高度に制約付きの可動性のために実現される。これらは、居間や外科教室又はシミュレータステージなどの密閉空間で使用されるように設計された、搭載型及び能動的光学マーカに基づくモーション追跡システムを利用する。
【0431】
Ｏｃｕｌｕｓ ＶＲスキームと最も大きく異なるシステムは、ＡｖｅｇａｎｔのＧｌｙｐｈとＶｒｖａｎａ Ｔｏｔｅｍである。
【0432】
Ｔｈｅ Ｇｌｙｐｈは、反射平面光学素子上に投影されたマイクロ画像を生成するためにＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ＤＬＰ ＤＭＤを用いて、以前確立された光学ビュースルーＨＭＤソリューション及び構造に従ったディスプレイソリューションを実際に実現しており、既存の光学ビュースルーＨＭＤの平面光学素子と同じ構成及び操作であり、異なる点としては、反射／間接マイクロプロジェクタ・ディスプレイ・タイプを実現するために、高コントラストの光吸収バックプレーン構造が用いられており、ビデオ画像
は、不透明、非透明表示画像の一般カテゴリーに属する。
は、不透明、非透明表示画像の一般カテゴリーに属する。
【0433】
しかし、ここでＧａｏ開示の考察で前述した際に立証されたが、ＤＬＰ ＤＭＤ又はその他のＭＥＭＳ構成要素を使用する場合に、ディスプレイ解像度及びその他のシステム性能を１０８０ｐ／２ｋを超えて高める際の制限は、そのシステムのコスト、製造収率及び欠陥率、耐久性及び信頼性である。
【0434】
さらに、平面光学素子（格子構造、ＨＯＥ又はその他）の制限付き拡張／拡大率からの画像サイズ／ＦＯＶへの制限（これはＳＬＭ画像サイズを拡張するが、人間視覚システム（ＨＶＳ）（特に焦点システム）へのインタラクション／負担がある）は、ビューアーの安全と快適さへの制限を提示する。Ｇｏｏｇｌｅ Ｇｌａｓｓの試験での、同様のサイズだが解像度が低い画像の使用に対するユーザの反応では、より高い解像度でより明るいが、等しく小さい画像面積でのＨＶＳへのさらなる負担が、ＨＶＳに難題をもたらすことが示唆されている。Ｇｏｏｇｌｅの公式コンサルタントである眼科医のＥｌｉ Ｐｅｌｉ医師は、オンラインサイトＢｅｔａＢｅａｔとのインタビューでのＧｏｏｇｌｅ Ｇｌａｓｓユーザたちに対する、何らかの眼精疲労と不快感を予測した以前の警告（２０１４年５月１９日）を追跡調査し、改訂版の警告（２０１４年５月２９日）にて潜在的利用の事例と範囲を制限することを求めた。その境界決定は、意図されていない態様で使用された又は長時間使用された眼筋についてであり、改定された声明でのこの近因は、ユーザを強制的に見上げさせてしまうことになった小さい表示画像の位置であった。その他の専門家たち
【0435】
しかしながら、実際のＦＯＶの小さな部分への焦点使用のために必要な眼筋の使用の特定の組み合わせは、実際のＦＯＶ全体に亘っての眼の動きに必要なものと同一であると想定することはできない。事実上、焦点筋肉の小さい微調整は、自然のＦＯＶのスキャンに伴うモーション範囲よりも限定／制約される。よって、収縮性ＲＯＭの繰り返しの動きは、当該分野で知られている通り、焦点方向のみに制限されているのではないが、ＨＶＳの特質により、通常使用を超えた過度の緊張を追加し、またさらに、モーション範囲の制約と、非常に小さい制御された微調整を行う必要性を追加することが予想される。
【0436】
追加される複雑さとは、制約される眼の動きの領域における詳細のレベルが、複雑で詳細な動きが伴う場面で解像度が高まるにつれ、眼精疲労が精密工具作業を急速に上回ってしまうということである。この問題についての厳密な処置は、光学ビュースルーシステムのいずれの開発者によっても何ら報告されておらず、そしてこれらの問題点と、Ｓｔｅｖｅ Ｍａｎｎが自身のＥｙｅＴａｐシステムの使用について何年にも亘って報告してきた眼精疲労、頭痛及びめまいの問題（この問題については、最新のＤｉｇｉｔａｌ ＥｙｅＴａｐ アップデートにおいて、視野の中心に画像を移動することによって、一部分は改良されたと報告されているが、系統的な研究はなされていない）については、精密作業から生じ得る眼精疲労及び「コンピュータ視覚病」の課題及び問題のごく一部のみに着目している限定されたコメントしかなされていない。
【0437】
しかしながら、ＧｏｏｇｌｅがＰｅｌｉ医師から入手可能とした限定された公的コメントでは、概して、光学ビュースルーシステムとしてのＧｌａｓｓは、長期の又は高周波数での視聴よりもむしろ、時折使用することが意図されていると、繰り返し主張している。
【0438】
Ｇｌｙｐｈスキームを理解するためのもう一つの方法としては、最高レベルにおいて、Ｍａｎｎ Ｄｉｇｉｔａｌ ＥｙｅＴａｐシステム及び構造配置に従い、光分離させたＶＲ操作のための実施態様のバリエーションを用い、かつ最新の光学ビュースルーシステムの側面投影偏向光学セットアップを利用することである。
【0439】
Ｖｒｖａｎａ Ｔｏｔｅｍでは、Ｏｃｕｌｕｓ ＶＲ Ｒｉｆｔからの出発とは、同一の光学的に覆われたＯＬＥＤディスプレイパネル上でビデオキャプチャーされた前方画像キャプチャーと、生成されたシミュレーションとを切り替えることを可能にするため、双眼鏡、従来のビデオカメラを追加することによって、Ｊｏｎ Ｂａｒｒｉｌｌｅａｕｘの「間接視ディスプレイ」のスキームを採用することにある。Ｖｒｖａｎａは、まさにＢａｒｒｉｌｌｅａｕｘの特定したスキーム及びパターンに従って、ＡＲ用のこの非常に基本的な「間接視ディスプレイ」を実現する材料をマーケティングすることを示してきた。最低でもＨＭＤの重量及びバランスへの影響はあるが、事実上現在のＯｃｕｌｕｓ ＶＲ世代のその他のＶＲ ＨＭＤのいずれも、このような従来のカメラに取り付けることができることが明らかである。
【0440】
上記より、「ビデオシースルーＨＭＤ」のカテゴリーにおいて又は一般的に「間接視ディスプレイ」の分野においては暗視ゴーグルのカテゴリーを超えるような進歩はほとんどあるいは全くないということが、上記の内容から明白であろう。暗視ゴーグルは、サブタイプとしてはよく開発されてきているが、当該技術分野で知られているビデオプロセッサ方法の範囲内で、ライブ画像にテキスト又はその他のシンプルなグラフィックを追加する提供以外のあらゆるＡＲ特長を欠いている。
【0441】
さらに、ＶＲ ＨＭＤに対する既存の制限に関して、ＯＬＥＤ及びＬＣＤパネルを用いるすべてのこのようなシステムは比較的低いフレーム率となってしまい、これはモーションラグや待ち時間、そしてこれは広いカテゴリーでの「シミュレータ病」に属する一部のユーザへのネガティブな生理的影響の一因となる。また、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ＤＬＰ ＤＭＤに基づくプロジェクタ又はＳｏｎｙ ＬＣｏＳに基づくプロジェクタ用に実現されたＲｅａｌＤ システムなどのこのような市販のステレオシステムを用いる、映画のデジタルステレオ投影システムでは、不十分に高いフレーム率もまた、観客のほんの一部（ある研究では１０％ほど）が頭痛や関連症状を体験する一因となるとも報告されていることも注記しておく。これらのうちの一部は該当する個人に特有のものであるが、これについてかなりの割合がフレーム率の制限に原因を帰することができる。
【0442】
そしてさらに、注記した通り、Ｏｃｕｌｕｓ ＶＲは、本書記載の時点で用いられているＯＬＥＤのなおも不十分に高いピクセルスイッチング／フレーム率を補うために、パット内のシステムをバッファリングする「低い持続性」を実現している。
【0443】
既存のＶＲ ＨＭＤの性能へのさらなる影響は、既存のＯＬＥＤ及びＬＣＤパネルディスプレイの解像度制限によるもので、この解像度制限は、十分に効果的な解像度を達成するために、対角５～７インチディスプレイを使用して、かつ視聴光学体（そしてビューアーの眼）から少し離してこれらを取り付ける要件の一部要因となり、大半のその他の光学ヘッドウェア製品よりもかなり大きく、より嵩があって、より重い、既存のそして計画された提供物の嵩、サイズ及びバランスの一因となる。
【0444】
嵩を追加することなくＦＯＶをさらに改良することが期待され得る曲面ＯＬＥＤディスプレイを採用することから、潜在的な部分的改良が期待される。しかしながら、受容可能な収率の製造工場の能力に対して大幅な追加規模の投資を必要とする、十分な量を市場に出すための経費は、この見通しを短期的に実践的ではないものにする。そのため、嵩やサイズの問題に単に部分的に対処するのみとなってしまう。
【0445】
完全性のために、インタラクティブではなく又はいかなるモーション感知能力なしで、よって仮想又はハイブリッド（混合の現実／ＡＲ）世界をナビゲートする能力なしにビデオコンテンツを視聴するために採用されるビデオＨＭＤを指摘する必要もある。このようなビデオＨＭＤは、過去１５年間に亘って基本的に改良されてきて、効果的なＦＯＶ及び
解像度及び視聴の快適さ／人間工学を高め、かつ最新のＶＲ ＨＭＤが活用しかつそのために構築することが可能となった開発経路及び進歩を提供してきた。しかし、これらもまた、ＯＬＥＤ、ＬＣＤ及びＤＭＤに基づく反射／偏向光学システムについて観察された制限に従うパターンで、採用されたディスプレイ技術のコア性能によって制限されてきた。
解像度及び視聴の快適さ／人間工学を高め、かつ最新のＶＲ ＨＭＤが活用しかつそのために構築することが可能となった開発経路及び進歩を提供してきた。しかし、これらもまた、ＯＬＥＤ、ＬＣＤ及びＤＭＤに基づく反射／偏向光学システムについて観察された制限に従うパターンで、採用されたディスプレイ技術のコア性能によって制限されてきた。
【0446】
透明なアイウェアの光学パラダイムにおける投影画像についてのその他の重要なバリエーションは、Ｏｓｔｅｒｈｏｕｄｔ Ｄｅｓｉｇｎ Ｇｒｏｕｐ、Ｍａｇｉｃ Ｌｅａｐ、及びＭｉｃｒｏｓｏｆｔ（Ｈｏｌｏｌｅｎｓ）によるものを含む。
【0447】
これらのバリエーションは、互いに対して、そして前述で詳細に考察したその他の従来技術に対していくつかの相関的な利点又は欠点をもたらし、これらはすべて基本アプローチの制限を保持している。
【0448】
共通してより根本的かつ普遍的でさえあって、既存のコアディスプレイ技術のフレーム率／リフレッシュとして、高速ＬＣ、ＯＬＥＤ又はＭＥＭＳのいずれかを問わず、また表示画像をビューイング光学体に伝達するために開示された機械的スキャニングファイバー入力又はその他の光学システムを採用しているか否かを問わず、これらは採用されたディスプレイ／ピクセル技術の基本タイプによっても制限され、すべては、大量市場の高品質で楽しめるＡＲ及びＶＲの実現に別々にかつ共に寄与する、高品質で、目に優しい（ＨＶＳ）、低電力、高解像度、高ダイナミックレンジ及びその他のディスプレイ性能パラメータの要件を満たすにはまだ不十分である。
【0449】
上に記載された詳細について従来技術の状態の概要をまとめると、以下の通りである。
【0450】
・「高視力」ＶＲは、ＦＯＶ、待ち時間、頭部／モーション追跡、軽量、サイズ及び嵩という実質的に多くの点において改良した。
【0451】
・しかし、フレーム率／待ち時間及び解像度、そして当然の重要な結果として生じる範囲において、重量、サイズ及び嵩は、コアディスプレイ技術の制約によって制限される。
【0452】
・そして現代のＶＲは、小さい制御された空間での静止型又は非常に制約かつ制限されたモバイル用途に制約される。
【0453】
・光学ビュースルーシステムの密閉バージョンに基づくが、ＳＬＭが一連の３つの光学素子を介して画像を眼に投影する側面投影偏向システムとして構成されたＶＲは、反射画像のサイズの性能において制限され、この反射画像は拡大されるが、標準のメガネレンズの合計面積に比べて、ＳＬＭ（ＤＬＰ ＤＭＤ、その他のＭＥＭＳ、又はＦｅＬＣｏＳ／ＬＣｏＳ）の出力よりもかなり大きくはない。「クローズアップ作業」の非常に激しいバージョンの拡張ビューイングと、これによって眼筋に要求されることからの眼精疲労のリスクは、実用的受け入れにおける追加の制限となる。そして、ＳＬＭタイプ及びサイズのディスプレイはまた、言及されたテクノロジーのより高い解像度のＳＬＭのスケーリングコストにより、改良された解像度及び性能全般への実用的進路も制限する。
【0454】
・光学ビュースルーシステムは概して、眼筋の比較的小さい領域への使用の限定により眼精疲労の可能性は同じであり、これらの制約内でのかつ短い使用期間を超える場合について、比較的細かくかつ頻繁に眼を追跡する調整を要する。Ｇｏｏｇｌｅ Ｇｌａｓｓは、真直ぐ前を見る眼の直接レスト位置よりも上にかつ外に光学素子を位置づけることによって、制限された継続期間の使用の予想を反映するように設計されていた。しかし、ユーザは、Ｇｏｏｇｌｅ Ｇｌａｓｓ Ｅｘｐｌｏｒｅｒｓからの文章やインタビューによって出版物で幅広く文書化されてきたように、それにもかかわらず眼精疲労を報告していた
。
。
【0455】
・光学ビュースルーシステムは、透視ビューにおける現実世界のオブジェクトへのタグを整理する必要性があるため、重ねられた半透明情報の密度において制限される。可動性及び情報密度の必要性により、グラフィック情報表示アプリケーション用でさえ受動的光学ビュースルーを制限付きとする。
【0456】
・「間接視ディスプレイ」の諸態様は暗視ゴーグルの形態で実現されてきており、Ｏｃｕｌｕｓ ＶＲの競合相手であるＶｒｖａｎａは、ＡＲ用の双眼鏡ビデオカメラが搭載されたＴｏｔｅｍの適応を示唆したのみである。
【0457】
・Ｇａｏの提案。これは光学ビュースルーディスプレイであると主張されているが、実際には、ＳＬＭ装置の使用により擬似ビュースルーの態様を有し、どちらかというと「間接視ディスプレイ」であり、実波面の一部をサンプリングしかつ当該波面の複数部分をデジタル処理で改変するために、投影ディスプレイ用に修正されて、そのように機能する。
【0458】
最初の波面部分の光ルーティングに介在する光学素子の数（また、ここに追加すべき点は、従来のメガネの従来のレンズの光学領域よりもかなり小さい）（７個又はこれに近い数である）は、画面収差、画像の乱れ、及び損失の両方の機会をもたらすが、多くのそのような素子の複雑自由空間アラインメントが一般的でなく、かつそれらが必要とされ、高価であって、維持が困難であり、かつ堅牢ではない場合に、光学アラインメントの複雑なシステムが必要となる。ＳＬＭが現実の場面の改変を管理することを期待されている際に用いられる方法も、その特定の要件について特定も検証もされていない。ディスプレイ２個～４個タイプの装置（双眼鏡システムの単眼に応じて）間の信号処理の調整を行う問題についても特定も検証もされておらず、この問題は、透視ビューにおける実要素と合成要素との間の適正な関係を作り出すために計算を行うことが既に非常に厳しい要求である状況において、特に、個人が、情報が密集していて地形的に複雑な環境の中で動いている場合に、現実のフィールドからの具体的にどのピクセルが、適正な合成のもののための較正されたピクセルなのかを判断することを含む。車両への搭載は、単にこの問題をさらに悪化させるのみである。
【0459】
Ｇａｏが提案する光学セットを構築するというタスクに比べて、又はこれを比較的コンパクトな形状因子に縮小するタスクでさえあっても、完全なシステムを開発するには無数の追加の問題がある。サイズ、バランス、及び重量は、様々な処理及び光学体アレイユニットの数及び（暗示的に）必要な場所にもたらされる多くの結果のうちのほんの一つであるが、言及したその他の問題や制限に比べて、比較的マイナーなものである。但し、このようなシステムを現場使用（軍事用又は高耐久化された工業利用又は消費者利用のいずれか）するために実際に配備するには深刻なものではある。
【0460】
・１００％「間接視ディスプレイ」は、Ｇａｏの提案に関する重要な点で同様の需要があるだろうし（ディスプレイタイプユニットの数や、アラインメント、光学システム、ピクセルとシステムのマッチング、及びパースペクティブの問題の詳細を除く）、よって、このようなシステムのすべての重要なパラメータが、リアルタイムの個々の透視リアルタイムビュースルー画像と協調して保存された合成ＣＧ３Ｄマッピングされた空間の「総当たりの」計算を必要とする度合いについての問題を投げかける。この問題は、前方ビデオカメラによって撮像されたビデオ画像について、基本的なＢａｒｒｉｌｌｅａｕｘで、そして今は可能なＶｒｖａｎａデザインで、計算がすべて行われ、合成要素と合成するための非ローカルな（ＨＭＤ及び／又は装着者自身へ）プロセッサへと中継されなければならない程度まで、より大きくなる。
【0461】
現実の環境に没入感及び較正の両方を実現する真にモバイルなシステムにとって（ＶＲ又はＡＲのいずれでも）何が必要なのかは、以下の通りである。
【0462】
・人間視覚システムへの非正規な要求を最小限に抑える人間工学光学体及び視聴システム。これは、より拡張された使用を可能にするためであり、その拡張使用はモバイル使用によって暗示される。
【0463】
・１２０～１５０度の広いＦＯＶ（理想的には周辺の視界を含む）。
【0464】
・典型的にディスプレイが原因である待ち時間及びその他の画像の乱れを最小限に抑えるための高いフレーム率（理想的に６０ｆｐｓ／眼）。
【0465】
・顔からユニットまでの快適な距離での高い実効解像度。最大値を測定するために使用され得る実効解像度基準は、有効８ｋ又は「網膜ディスプレイ」である。この距離は、一般的にバランス点として鼻梁を用いる従来のメガネの距離と同様となるはずである。視準及び光路光学体が、この有効表示解像度及び眼までの光学素子の実際の距離も実現する適正な仮想焦点面を確立するために必要である。
【0466】
・ライブ実景のダイナミックレンジに可能な限り近く一致する高ダイナミックレンジ。
【0467】
・既知の地形（事前に知っているか、又は装着者の視界範囲内でジャスト・イン・タイムで知ったかを問わず）での頭部と体の両方の向きを決定するための搭載モーション追跡。これは、ハイブリッドスキームでは、外部システムによって補足されるかもしれない。
【0468】
・現実の場面の波面といずれかの合成要素との間で、人間視覚システムの枠の中で、速い合成プロセスを可能にするディスプレイ光学体システム。搭載型（ＨＭＤ及び装着者への）及び／又は外部の処理システムのいずれかへの負担を可能な限り最小限に抑えるために、多くの受動的手段が用いられるべきである。
【0469】
・光学素子が少しだけ、能動的装置要素が少しだけ、かつ最低重量及び厚さの両方であり、機械的かつ熱的応力下で堅牢な単純で能動的装置デザインを有する、比較的シンプルで粗野なディスプレイ光学体システム。
【0470】
・軽量、嵩が低く、重心のバランスが取れ、かつ軍のかつ耐久性のある環境産業ユーザなどの両専門ユーザにとって受け入れられると知られている設計構成に適し、かつスポーツアプリケーション、並びに一般消費及びビジネス用途を高耐久化する形状因子。Ｏａｋｌｅｙ、Ｗｉｌｅｙ、Ｎｉｋｅ、及びＡｄｉｄａｓなどのメガネ製造業者から、Ｏａｋｌｅｙ、Ａｄｉｄａｓ、Ｓｍｉｔｈ、Ｚｅａｌ及びその他の若干より専門的なスポーツゴーグル製造業者までのファクター範囲により、このように認められている。
【0471】
・可変的に、完全可動性を保持しつつのＶＲ体験と、可変遮蔽、透視一体型ハイブリッドビューイングＡＲシステムとの間で切り替え可能なシステム。
【0472】
・ＨＶＳ用に受信する波長を管理するとともに、対象波長（センサを介して）とこれらのハイブリッドから有効な情報を取得することができるシステム。赤外線、可視及びＵＶが、典型的な対象波長である。
【0473】
本開示によって提案されるシステムは、拡張現実と仮想現実の両方における機能性、従来技術が根本的に制限されかつ不適切であったタスク及び基準の問題を解決し、かつこれらについての最終的目標を達成する。
【0474】
本開示は、テレコム構造化された及びピクセル信号処理システム及びハイブリッド磁性フォトニック（同じ発明者による係属中の米国特許出願［２００８］ 及びフォトニックエンコーダ ）の特長を、同じ発明者による係属中の米国特許出願 「Ｈｙｂｒｉｄ ＭＰＣ Ｐｉｘｅｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， Ｄｉｓｐｌａｙ ａｎｄ Ｎｅｔｗｏｒｋ（ハイブリッドＭＰＣピクセル信号処理、表示及びネットワーク）」の好適なピクセル信号処理サブタイプと共に、組み込みかつ実施する）。装置の（特にアレイの）アドレス指定及び電力供給は、係属中の米国特許出願 「Ｗｉｒｅｌｅｓｓ Ａｄｄｒｅｓｓｉｎｇ ａｎｄ Ｐｏｗｅｒｉｎｇ ｏｆ Ａｒｒａｙｓ（アレイの無線アドレス指定及び電力供給）」のアドレス指定及び電力供給であり、ハイブリッドＭＰＣタイプシステムの好適実施形態は、係属中の米国特許出願 「３Ｄ ｆａｂ ａｎｄ ｓｙｓｔｅｍｓ ｔｈｅｒｅｆｒｏｍ（３Ｄファブ及びそのシステム）」にも見られる。
【0475】
本出願は、これらの継続出願全体を参照することにより組み込む。
【0476】
しかし、システムタイプの部類と及び重要なサブシステムの部類、並びにサブシステムの好適なバージョン及び実施形態を確立しつつ、それは本提案の詳細がすべて言及された出願に含まれており、かつ本出願が単純にこれらのシステム、構造及び方法の組み合わせであると述べているではない。
【0477】
むしろ、本提案は、大部分の又は多くの場合にこれらの言及された（かつ概して新しい）カテゴリー及びクラス内に該当する新規かつ改良されたシステム及びサブシステムを、その構成要素、システム、サブシステム、構造、プロセス、及び方法の詳細な開示と共に説明するものであり、その一方で、これらの及びその他の構成要素のクラスのユニークな組み合わせとにより、モバイルＡＲ及びＶＲシステムのユニークな新タイプも実現し、ヘッドマウントのウェアラブルシステムとしての、かつウェアラブルシステムの好適実施形態が、最も好ましいものである。
【0478】
提案されたシステムの詳述は、主要なサブシステムを取り出して（列記して）全体構造及びマニピュレーション構造を整理することから始め、その後で、これらのサブシステムの詳細を階層的概要形態で提供するのが最良である。
【0479】
主要なサブシステムは以下の通りである。
【0480】
Ｉ．ピクセル信号処理プラットフォーム、及び好適なハイブリッドＭＰＣピクセル信号処理（フォトニック符号化システム及び装置を含む）を備えたディスプレイ用のテレコムシステムタイプのアーキテクチャ。
【0481】
ＩＩ．モバイルＡＲ及びＶＲ用のセンサシステム
【0482】
ＩＩＩ．構造的及び基板システム
【0483】
これらの主要なサブシステムによって実現されるのは、新規の一体化された二重「生成的」かつ可変的に直接伝達可能な直視ハイブリッド表示システムである。
【0484】
Ｉ．ピクセル信号処理プラットフォーム、及び好適なハイブリッドＭＰＣピクセル信号処理（フォトニック符号化システム及び装置を含む）を備えたディスプレイ用のテレコムシステムタイプのアーキテクチャ
【0485】
本開示の目的は、センサデータの処理（特にリアルタイムでの処理）のための、そしてコンピュータ生成されたイメージの計算、及び現実と合成／デジタル又は保存されたデジタル画像情報の３Ｄ透視ビュー一体化の計算のため、能動的装置システムへの要求を最小限に抑えることを助けるために、最大限可能な程度に受動的光学システム及び構成要素を用いることである。
【0486】
画像処理及びピクセル画像表示生成システムの構造的／マニピュレーション構造的ステージ、サブシステム、構成要素、及び要素の以下の分析には、いかにこの目的が実現されるかの小銃つが含まれる。システムの構造、構成要素及び動作ステージは、外部画像波面の傍受から、ＨＶＳへの最終的仲介画像の伝達へと、順番に示される（簡略化するために、順番は左から右へと任意に設定されている（図１を参照）。
【0487】
Ａ．一般的場合 ― システムの主要要素
【0488】
１．赤外線／近赤外線及びＵＶフィルタリングステージ及び構造（赤外線及び近赤外線フィルタリングは、暗視システム用に実現されたシステムのバージョンでは省かれる）。
【0489】
２．入射するパススルー照明強度を低減させるための偏光フィルタリング（このオプションには、いくつかのメリットと利点がある）、又は最大入力もしくはパススルー照明ステージを保持するための、チャネルへの偏光フィルタリング／ソーティング、偏光回転、及びチャネルの再組み合わせ（このオプションにはその他のメリットと利点がある）。
【0490】
３．現実世界のパススルー照明のピクセル化又はサブピクセル化及びこれを実施するためのチャネル。
【0491】
４．最適な増強された／ハイブリッド／混合の現実又は仮想現実画像表示提示を実現するための、パススルー信号チャネルと、内部生成されたサブピクセルとの一体化（統合アレイでの組み合わせ）。
【0492】
ｉ．パススルー（現実世界）照明を扱って処理するための２つの好適な全体的スキーム及び構造的／アーキテクチャ： その他の順列及びバージョンは、本開示の一般的特長によって可能とされるが、２つの好適実施形態の主な差異は基本的に、入射する自然光の処理と、後続の処理ステージを介して、内向き／ビューアーに対面する複合光学体の表面へと光を伝達する、構築された光学体におけるチャネルとが異なっているという点である。一つのケースでは、すべての現実世界のパススルー照明が、効率的処理のために赤外線及び／又は近赤外線「偽カラー」にダウンコンバートされ、別のケースでは、現実世界のパススルー可視周波数照明は、周波数／波長シフティングなしに直接に処理／制御される。
【0493】
ｉｉ．統合アレイにおける生成された／「人工的」サブピクセル： これは好ましくはハイブリッド磁性フォトニック、ピクセル信号処理及びフォトニック符号化システム。同じ全体的方法、シーケンス及びプロセスが、すべてのパススルー光が赤外線及び／又は近赤外線にダウンコンバートされるバージョン及び場合のパススルー光信号チャネルに適用される。
【0494】
Ｂ．詳細な開示
【0495】
１．赤外線／近赤外線及びＵＶフィルタリングステージ及び構造：ウェアラブルＨＭＤ「メガネ」又は「バイザー」は第１の光学素子を有し、この第１の光学素子とは、好適な形態では、左右別個の要素か又は１つのバイザー状の接続された要素のいずれかであり、ビューアー／装着者の比較的前方にある外の世界から発する光線のビュースルー現実世界
の波面を傍受する、双眼鏡要素である。
の波面を傍受する、双眼鏡要素である。
【0496】
この第１の要素は複合体又は構造体（例えば、その上に材料／フィルムの堆積層があり、又はそれ自体が周期的又は非周期的だが複合な２Ｄ又は３Ｄ構造の材料であるか、又は複合体及び直接構造体のハイブリッドである、基板／構造的光学体）であり、これは赤外線及び／又は近赤外線フィルタリングを実施する。そして
【0497】
ＵＶフィルタリング。繰り返しより具体的に言うと、これらは、望ましくない周波数の反射及び／又は吸収を実施する化学組成の格子／構造（フォトニック結晶構造）及び又はバルクフィルムがあり得る。これらの材料構造のオプションは、関連技術分野において周知であり、多くのオプションが市販されている。
【0498】
いくつかの実施形態では（特に、暗視アプリケーションでは）、本開示のパターン及び構造に従って、赤外線フィルタリングが排除され、かつ機能的ステージのシーケンスのいくつかの要素は、順番が改変され、排除又は修正される。実施形態のこのカテゴリー及びバージョンの詳細は、最近では以下の通り扱われている。
【0499】
２．偏光フィルタリング（入射するパススルー照明の強度を下げるための）、又は最大入力もしくはパススルー照明ステージを保持するための、チャネルへの偏光フィルタリング／ソーティング、偏光回転、及びチャネルの再組み合わせ：光学ラインアップシーケンスにおける第１のフィルターの光学的に後に続く、同様のフィルター（図 の相対的右側の次の要素）は、偏光フィルター又は偏光ソーティングステージのいずれかである。これは繰り返すが、これはバルク「ポラロイド（登録商標）」もしくは偏光子フィルムもしくは堆積材料、及び／又は偏光格子構造又はその他あらゆる偏光フィルタリング構造及び／もしくはいずれかの所定の実施形態について実用的な特長及びメリットの最良の組み合わせ（すなわち、効率、製造費用、重量、耐久性及びその他の最適化トレードオフが要され得るパラメータに関して）を提供する材料であり得る。
【0500】
３．偏光フィルタリングオプションの結果：光学素子／光学構造的素子の範囲全体に亘って配された光学素子のこのシーケンスの後、入射波面は周波数をまとめられ、そして偏光モードでまとめられ、モードによってソート／分離されている。可視光周波数については、モードチャネルごとの正味の明るさは、偏光フィルタリング手段の等級によって削減され、これは便宜上、周期的格子構造材料の最新の効率を反映して、実際に１００％フィルタリング効率に近くなっており、つまり、チャネルごとに光の凡そ５０％が排除されているという意味である。
【0501】
４．偏光フィルタリング、ソーティング、１チャネル回転、及び再組み合わせの結果：例えば、２つの分離された／ソートされたチャネルを一緒にすると、組み合わせた強度は、フィルタリング／分離／ソーティングの前のオリジナルの入射光の強度のまさにそのままではないが、これに近い強度となる。
【0502】
５．メリット及び重要性：これらのフィルタリング（同じ層／材料構造で、又は後から別個の層／材料構造で実施されてもよい）の結果、ＨＶＳは、１）悪いＵＶから保護され、２）明るさが低減され、３）赤外線及び近赤外線が取り除かれる（可視スペクトルが最低となり、かつ可視のフィルタリングが必要ではない暗視アプリケーションを除く）。メリット／特長２＆３は、システムの次のステージ及びシステム全体にとって非常に重要であり、以下でさらに詳細を検討する。
【0503】
６．現実世界パススルー照明のピクセル化又はサブピクセル化 、及びこれを実施するチャネル：入射波面のサブピクセル細分化、前述に沿って実施される光学受動的又は能動
的構造又は動作ステージ、及び好ましくは以下の内容（なぜならば、これは製作費用を削減する傾向があるため）。この再分割は、当該技術分野で知られている幅広く多様な方法で（またその他のまだ考案されていない方法でも）実施し得るものであり、差異インデックスバルク材料の堆積、静電気／ファン・デル・ワース力に基づく方法及びその他の自己組織化方法による、光化学レジストマスク・エッチングプロセス又はコロイド溶液中のナノ粒子の材料製作の使用、集束イオンビームエッチング、又はエンボス加工、並びにエッチング、切削及びエンボス加工方法による、特に、修正済みの総屈折率により導波を実施する細管微小孔アレイの製作、又はフォトニック結晶ブラッググレーティング型構造、又はその他の周期的格子又はバルク材料に製作されたその他の構造を実施するその他の周期的構造の製作を含む。あるいは、又は言及した又はその他の公知のもしくは将来的に考案され得る方法との組み合わせで、マクロ光学／構造素子の領域に亘ってアレイを形成するためのサブピクセル細分化／誘導材料構造が、組成パーツ（光ファイバーやその他の光学素子プリカーサなど）のアセンブリによって製作され得るものであり、当該製作は、ファイバー装置構造のプリフォームアセンブリ、又は融着グラス又は複合物アセンブリ方法のために、本開示の著者によってあらゆる場所で開示された方法による、並びにＦｉｎｋ及びＢａｙｉｎｄｉｒによって提案された方法によるものを含む。
的構造又は動作ステージ、及び好ましくは以下の内容（なぜならば、これは製作費用を削減する傾向があるため）。この再分割は、当該技術分野で知られている幅広く多様な方法で（またその他のまだ考案されていない方法でも）実施し得るものであり、差異インデックスバルク材料の堆積、静電気／ファン・デル・ワース力に基づく方法及びその他の自己組織化方法による、光化学レジストマスク・エッチングプロセス又はコロイド溶液中のナノ粒子の材料製作の使用、集束イオンビームエッチング、又はエンボス加工、並びにエッチング、切削及びエンボス加工方法による、特に、修正済みの総屈折率により導波を実施する細管微小孔アレイの製作、又はフォトニック結晶ブラッググレーティング型構造、又はその他の周期的格子又はバルク材料に製作されたその他の構造を実施するその他の周期的構造の製作を含む。あるいは、又は言及した又はその他の公知のもしくは将来的に考案され得る方法との組み合わせで、マクロ光学／構造素子の領域に亘ってアレイを形成するためのサブピクセル細分化／誘導材料構造が、組成パーツ（光ファイバーやその他の光学素子プリカーサなど）のアセンブリによって製作され得るものであり、当該製作は、ファイバー装置構造のプリフォームアセンブリ、又は融着グラス又は複合物アセンブリ方法のために、本開示の著者によってあらゆる場所で開示された方法による、並びにＦｉｎｋ及びＢａｙｉｎｄｉｒによって提案された方法によるものを含む。
【0504】
本システムの異なる実施形態及びバージョンの特定の詳細及び要件は、当該システムの本構造的／動作ステージに適用される際に、システムの以下の構造的／動作的明細の後の適切なステージでカバーされる。
【0505】
７．統合アレイでの内部生成されたサブピクセルとのパススルーチャネルの一体化：但し、前方の視野からの入射波面を、制御された光路制御に適した部分に細分化するための手段を提供するのに加えて、かつその後にさらに受動的及び／又は能動的フィルタリング及び／又は修正を行うために、ビューアーへの最終的ピクセル提示に至る途中に、本提案のシステムを用いてビューアーに提供される総視界アレイの２つのタイプのピクセル／サブピクセル構成要素と、２つの異なる「分岐した」処理シーケンス及びマニピュレーション構造があるということを現時点で特定することが非常に重要である。そしてこれは、ピクセル単位でかつサブピクセル単位で、その適切なステージで光路制御が実施される作動プロセスの本複合構造及びシーケンスのための第１のステージ及び要件のうちの一つである。
【0506】
８．２つのピクセル信号構成要素タイプ ― パススルーと、生成された又は人工的：言及した開示に続くピクセル論理状態符号化ステージであるピクセル信号処理では、今度は２つのピクセルタイプ、又はより正確には、２つのピクセル信号構成要素タイプを別々に受ける。
【0507】
９．パススルー（現実世界）照明を扱いかつ処理するための２つの好適な全体的スキーム及び構造的／アーキテクチャ：その他の順列及びバージョンは、本開示の一般的特長によって可能とされるが、２つの好適実施形態の主な差異は基本的に、入射する自然光の処理と、後続の処理ステージを介して、内向き／ビューアーに対面する複合光学体の出力表面へと光を伝達する、構築された光学体におけるチャネルとが異なっているという点である。一つのケースでは、すべての現実世界のパススルー照明が、効率的処理のために赤外線及び／又は近赤外線「偽カラー」にダウンコンバートされ、別のケースでは、現実世界のパススルー可視周波数照明は、周波数／波長シフティングなしに直接に処理／制御される。
【0508】
ａ．好適な一つのバージョンでは、ＵＶ及び赤外線フィルタリングされ及び偏光モードにソートされた（かつオプションで、パススルー照明の全体的強度を下げるためにフィルタリングされた）可視光チャネルは、赤外線又は近赤外線に周波数シフトされるが、いず
れの場合も、不可視周波数となり、同じ比例帯に位置する幅及び強度の「偽カラー」範囲を実現する。ＨＶＳは、周波数／波長変調及びダウンシフティングのフォトニックピクセル信号処理方法の後は何も検出せず何も見えないだろう。そして、これらのチャネルの後続のフォトニックピクセル信号処理は基本的に、以下のセクションで開示される通り、生成されたピクセル信号チャネルについて提案されているのと同じである。
れの場合も、不可視周波数となり、同じ比例帯に位置する幅及び強度の「偽カラー」範囲を実現する。ＨＶＳは、周波数／波長変調及びダウンシフティングのフォトニックピクセル信号処理方法の後は何も検出せず何も見えないだろう。そして、これらのチャネルの後続のフォトニックピクセル信号処理は基本的に、以下のセクションで開示される通り、生成されたピクセル信号チャネルについて提案されているのと同じである。
【0509】
ｂ．別の好適実施形態では、パススルーチャネルは、不可視赤外線及び／又は近赤外線に周波数／波長変調されたりダウンコンバートされたりしていない。この構成では、パススルーチャネルの好適なデフォルト構成及びピクセル論理状態は「オン」であり、例えば、いずれかの所定の偏光モデルにソートされたサブチャネルについて、ピクセル状態符号化／変調のための従来の直線ファラデー回転切替えスキームが用いられる場合（入力及び出力偏光フィルタリング手段を含む）、アナライザ（又は出力偏光手段）は基本的に入力偏光手段と同一であるので、作動直線ファラデー効果ピクセル論理状態エンコーダがアドレス指定されて稼働された場合、強度パススルーチャネルを減らすための操作となる。本実施例の特長及び要件のいくつかの詳細が、生成された信号チャネルの作動機能及び構造について記載された詳細の後の、後続のセクションで開示される）。
【0510】
偏光フィルタリングが好適実施形態及びバリエーションと組み合わされた場合（オリジナルのピクセル化されたパススルー照明を可能な限り多く保存するために、後で偏光回転手段によって統合チャネルに組み合わされる別個のモードチャネルのモードソーティング及び実現を行うのではなくて）（受動的構成要素（例えば、半波長板）及び／又は能動的磁気光学体又はその他のモード／偏光角度変調手段によってなど）、パススルー照明の全体的明るさは、典型的には約５０％まで低減され、これはいくつかの事例では、磁気光学材料の本書記載時点での相対的可視範囲性能を考えると、好適なクラス及び方法としてより好ましいものとなる。
【0511】
従って、背景パススルー照明の明るさの最大値は比例的に減少されて、これに応じて、「生成された」（人工的な非パススルー）サブピクセルチャネル並びに関連方法及び装置を提供するサブシステムが、「拡張現実」イメージ及びビューのために概して快適で現実的な全体的照明範囲内に、生成された画像要素を一致させ、一体化させ、かつ調和させることがより容易になるかもしれない。
【0512】
あるいは、パススルーチャネルは、デフォルトの「オフ」構成で構成することができるので、典型的な直線ファラデー回転子スキームを用いた場合、入力偏光手段（偏光子）と出力手段（アナライザ）は対向するか又は「交差する」。周波数依存性のＭＯ材料（又は周波数依存性の／性能が決定された材料を用いている範囲で、その他のフォトニック変調手段）が改良し続けるにつれて、後続のフォトニックピクセル信号処理ステップ及び方法によって、デフォルト「オフ」又はゼロに近いもしくは効果的なゼロ強度から、パススルー照明強度基準状態が高められかつ管理されるこのデフォルト構成を採用することは有利になり得る。
【0513】
ｃ．フォトニック変調手段及び方法の赤外線及び近赤外線での性能最適化の共通材料・システムの依存性を考慮すると、赤外線へのダウンコンバートが好適であるとして提案される一方で、ＵＶもまた含まれるオプションであり、かつ将来において、最終出力の前の中間処理のために入力可視照明を便利な不可視スペクトル領域にシフトするために用いられる場合もあるかもしれない。
【0514】
１０．統合アレイにおける生成された／「人工的」サブピクセル： 最初に、画像生成ピクセル信号構成要素を、又は言い換えると、好ましくはハイブリッド磁性フォトニックピクセル信号処理及びフォトニック符号化システムである、ピクセル信号処理構造、作動
シーケンスを検討する。
シーケンスを検討する。
【0515】
ａ．昼光状態での完全モバイルＡＲ用の全体的システムの提案される画像収集／処理／表示サブシステムの最も一般的な構成において、シーケンスにおける次の構造、プロセス及び要素は、光学赤外線及び／又は近赤外線平面照明分散構造及びピクセル信号処理ステージである。
【0516】
ｂ．この構造及び作動プロセスについて、光学面及び構造（構造的／基板に堆積され又は機械的に積層されたフィルム、又は当該基板に直接、材料のパターニングもしくは堆積又は当該技術分野で公知の方法の組み合わせ）は、１００＋ＦＯＶ双眼鏡レンズ又は連続バイザータイプの形状因子の全光学領域に亘って均一に、赤外線及び／又は近赤外線照明を均一に配光する。赤外線及び／又は近赤外線照明は、例えば以下の手段によって均一に配光される。１）構造のＸＹ面に、すべてのＸ又はＹ方向で又はグリッドで配されたリーキーファイバの組み合わせ。Ｐｈｙｓｉｃａｌ Ｏｐｔｉｃｓなどの企業によって開発されかつ市販されてきたリーキーファイバは、特定された設計距離に亘って実質的に均一な態様で横方向にファイバコアを実質的に通して透過された照明を漏らし、Ｌｕｍｉｎｉｔ， Ｉｎｃ．から市販されている非周期的３Ｄバンプ構造フィルム（エンボス加工された非周期的微細表面）などの拡散層、及び／又は当該技術分野で公知のその他の拡散材料及び構造と組み合わせられる。２）赤外線及び／又は近赤外線ＬＥＤエッジアレイ又は赤外線及び／又は近赤外線エッジレーザーアレイ（ＶＣＳＥＬアレイなど）からの側方照明であり、バルク照明（平面周期的格子構造などの平面順次ビームエクスパンダ／スプレッダ光学体）として傍受するために投影するもので、Ｌｕｍｕｓ、ＢＡＥ、及び本明細書においてかつ前述の継続出願において言及されるその他の商用部品製造業者から商的に入手可能なホログラフィック素子（ＨＯＥ）構造、並びにその他のバックプレーン拡散構造、材料及び手段、そして概して、当該技術分野で公知でありかつ将来開発され得るその他のディスプレイバックプレーン照明方法、手段及び構造を含む。
【0517】
ｃ．操作シーケンス及びピクセル信号処理におけるこのステージ／構造の目的は、これまで提案してきた複合光学／材料構造の相対的内部に限定される赤外線及び／又は近赤外線バックプレーン照明を放ち、赤外線及び／又は近赤外線フィルターで、投入された赤外線及び／又は近赤外線照明を照明層／構造に反射させることである。
【0518】
ｄ．赤外線及び／又は近赤外線はＨＶＳにとって不可視であるという事実に注目することが、その事実がたとえ明白であったとしても、重要である。
【0519】
ｅ．赤外線及び／又は近赤外線の照明源は、ＬＥＤ、レーザー（ＶＣＳＥＬアレイなど）、もしくはこれら両方のハイブリッド、又は当該技術分野で公知である又は将来開発され得るその他の手段であり得る。
【0520】
ｆ．投入される赤外線及び／又は近赤外線照明は、単一の偏光モード、好ましくは平面偏光の照明でもある。
【0521】
ｇ．これは、赤外線及び／又は近赤外線ＬＥＤ及び／又はレーザー及び／又はその他の照明源を、偏光スプリッタ又はフィルター／リフレクタシーケンス（光ファイバースプリッタなど）で分岐させ、そして受動的及び／又は能動的偏光回転手段（バルク磁気光学又は磁性フォトニック回転子など）、又は受動的手段のシーケンス（半波長板の組み合わせなど）のいずれか、又はこれらのハイブリッドを通して、平面偏光された構成要素の一つを通過させることによって、偏光調和化手段によって達成され得る。入射光に対してある角度で設定された効率的格子又は２Ｄもしくは３Ｄ周期的フォトニック結晶タイプ構造などの偏光フィルターは、拒絶された光を、偏光回転光学シーケンス及びチャネルに跳ね返
してよく、その後、オリジナルの照明の改変されていない部分と再結合する。偏光モード（平面偏光された）が分離されている（平面又は光ファイバーの）導波管では、１つの枝路が偏光調和化手段を通過してからその後でその他の枝路と再結合する。
してよく、その後、オリジナルの照明の改変されていない部分と再結合する。偏光モード（平面偏光された）が分離されている（平面又は光ファイバーの）導波管では、１つの枝路が偏光調和化手段を通過してからその後でその他の枝路と再結合する。
【0522】
ｈ．ソース照明も、それ自体の構造の中で、所定の角度又は範囲で平面偏光された光のみを作成するように制約されてもよい。
【0523】
ｉ．その光は、ローカルでＨＭＤ内にて又はＨＭＤからリモートで（電力貯蔵手段付きのウェアラブルベストなど）生成かつ／又は調和化され、そしてＨＭＤに光ファイバーを介して伝搬される。ＨＭＤにおいて、照明及び／又は調和化ステージ及び構造／手段は、記載された複合光学構造に直接隣接し又はＨＭＤ内のどこか別の場所にあり、よりリモートであれば光ファイバーによって、かつ／又はより近ければ平面導波管によって光学的に伝搬され得る。
【0524】
ｊ．前述の構造及びこれまでの操作構造及びプロセス、そして以下に記載のものは、ピクセル信号特徴生成及び移送プロセスを、最高品質の方法を用い、かつ典型的に当該タイプのプロセスのために最適化された波長で作動する（特にピクセル状態論理符号化ステージ及びプロセスに関連して）最適化されたステージへと分解した特長の中で、言及された出願で開示されている通りのピクセル信号処理の一例である。多くのＭＯ及びＥＯ及びその他の光学インタラクション現象は、赤外線又は近赤外線周波数帯域レジームで大半の材料システムについて最適に動作する。全体的システム、方法、構造、操作構造及びプロセス、並びにこれらそれぞれの詳細（必須かつオプションの要素を含む）は、言及された出願に開示されている。
【0525】
ｋ．ピクセル信号処理、ピクセル論理ステージ符号化ステージ ― 変調器アレイ：
【0526】
１．照明及び調和化ステージの後、赤外線及び／又は近赤外線／赤外線照明は、ピクセル信号ステージ論理符号化プロセス、操作、構造及び手段を通過し、好ましくは本開示については、磁気光学変調方法のカテゴリーに入る変調手段を通過する。これらのうち、好適な一 方法は、ファラデー効果に基づいている。この手段及び方法の詳細は、言及した米国特許出願「ハイブリッドＭＰＣピクセル信号処理」に開示されている。
【0527】
ｍ．バイナリーピクセル信号論理状態システムでは、「オン」状態は、入射する平面偏光された光の角度を回転することによって符号化されて、光がピクセル信号処理システムの後のステージ、つまり後続のかつ対向する偏光フィルタリング手段（「アナライザ」として知られている）を通過する際に、光はアナライザを通過することになる。
【0528】
ｎ．このタイプのＭＯ（又はサブタイプであるＭＰＣ）ピクセル信号論理ステージ符号化システムでは、光は、磁場に晒されている媒体又は構造及び材料、つまりは均一で／バルク又は構造化されたフォトニック結晶又はメタマテリアル（典型的に固体である）を通過し（但し、光は気体又は希薄蒸気、又は液体を含むカプセル化された空洞も通過し得る）、これは偏光角度の回転を可能にするために、当該媒体又は材料／構造の効率を測定する効果的な性能指数を有する。
【0529】
ｏ．この好適なタイプのピクセル信号処理論理ステージ符号化ステージ及び手段のための好適なタイプ及びオプションの詳細は、言及した係属出願に記載されており、さらなるバリエーションは従来技術に見つけることができ又は将来開発され得る。
【0530】
ｐ．強調した詳述を必要とする、好適でかつ言及されたクラスのハイブリッドＭＰＣピクセル信号処理システムのその他の態様は、以下を含む。
【0531】
ｑ．ハイブリッドＭＰＣピクセル信号処理システムは、メモリ又は「ラッチング」を実施し、ピクセル論理状態がシステム変更を必要とするまでは、無電力である。これは、当該技術分野で公知である「残留」磁気方法の以下の調整及び実施により達成され、この残留磁気方法では、磁性材料は、バルク処理（例えば、Ｉｎｔｅｇｒａｔｅｄ Ｐｈｏｔｏｎｉｃｓ の市販のラッチングＬＰＥ厚ＭＯＢｉ－ＹＩＧフィルム［我々のその他の開示をご参照下さい］）製作され、 及び／又はＬｅｖｙ 等の永久ドメイン領域ラッチング周期的１Ｄ格子の手段［我々のその他の開示をご参照下さい］、又は最適化されたＭＯ材料と並置／混合された比較的「より硬い」磁性材料を結合させた、合成磁性材料（適用された場が、中間物としてＭＯ／ＭＰＣ材料の磁気化（ラッチング）を維持する低保磁力で直線ヒステリシス曲線材料にラッチングする）のいずれかで製作される。この中間材料は、ＭＯ／ＭＰＣ材料を取り囲んでよく、又は送信周波数［ここでは赤外線又は近／赤外線］に透過的である周期的構造内で混合され又は構造化されてもよい。この第３の合成方法は、本開示の著者によって２００４年米国仮出願 において最初に提案され、後に米国特許 ／米国特許出願 に含まれた。後に、Ｂｅｌｏｔｅｌｏｖ等（２００４年開示に基づいて設立された会社から資金提供された）が、この複合方法を「交換結合」構造と言及するようになり、そして特定の１Ｄ多層磁性フォトニック結晶についてこの会社の設計で実現されることとなり、当該１Ｄ多層磁性フォトニック結晶では、相対的硬さの異なるＭＯ材料が、２００４年複合アプローチのより効率の低い異形で用いられた。
【0532】
ｒ．これらの方法の組み合わせも、可能な設計オプションである。
【0533】
ｓ．ハイブリッドＭＰＣレジームにおけるこの「メモリピクセル」のメリットは、電気泳動的又は「Ｅ－Ｉｎｋ」モノクロディスプレイなどの双安定ピクセルスイッチと同じである。不揮発（相対的に、少なくともヒステリシスプロファイルのデザイン及び材料の選択に応じて） メモリとして、赤外線又は近赤外線照明源が、ピクセル信号処理チャネル及びシステムにおいて「移送され」かつ「処理される」限り、画像は形成されたまま残る。
【0534】
ｔ．好適なピクセル信号処理、ピクセル論理符号化ステージ及び方法の第２の必須の態様及び要素は、サブピクセルの磁性状態を切り替える磁場の効率的生成である（ＲＧＢなどの色システムの基本的プリミティブであり、よって便宜上、最終的色ピクセルの従来の構成要素について検討する際には、命名規則はより一般的に保持され、必要な場合には区別がなされる）。磁気クロストークが一切無いことを確実にするために、場発生構造（例えば、「コイル」）が、側面ではなくピクセル送信軸の経路に配されるのが好ましい。これは、縁部に場発生手段を一切置かないことによって、必要とされる場の強度を低減させ、周囲の材料／マトリックスにおける（磁気的に）不透過性の材料か、又はＬｅｖｙ等のドメイン継続方法の場合のように、素地面を変調域に限定する周期的構造の実施のいずれかによって、磁力線の管理を行う。透明材料は、該当周波数に対して透過的である、ＩＴＯ及びその他のより新しくかつ今後現れる導電性材料などの入手可能な材料を含み得る。そして／又は、必ずしも大量に透明である必要はないが、適切な周期的要素サイズ、形状配置、及び周期性の周期的構造であるその他の材料（例えば金属）も、変調域／サブピクセル送信経路に堆積又は形成されてもよい。
【0535】
ｕ．この方法は、最初に本開示の著者によって、２００４年米国仮出願 が譲渡され、かつ後に米国特許出願 に開示された、同社のための２００４年国際設計文書において提案された。後に、２０１＋ に、ＮＨＫの研究者らが、ピクセルの経路にＩＴＯを使用して、Ｋｅｒｒ回転子のために彼の方法（この方法がＭＯ及びＭＰＣ装置について全般的に提案されていた） ［参照ＳＥが調べるべき］を用いた。
【0536】
ｖ．ピクセル信号処理サブシステムのための好適なハイブリッドＭＰＣピクセル信号処理ソリューションの第３の重要な要素は、サブピクセルのアレイのアドレス指定方法である。好適な方法は、前述で言及したように、係属中の米国特許出願 である、Ｗｉｒｅｌｅｓｓ Ａｄｄｒｅｓｓｉｎｇ ａｎｄ Ｐｏｗｅｒ ｏｆ Ｄｅｖｉｃｅ Ａｒｒａｙｓ（素子アレイの無線アドレス指定及び電力）に記載されている。本出願については、無線アドレス指定は、低周波数の磁気共鳴による無線電力方法を省いて、低電力要件を考えると、無線アレイ（サブピクセル）要素の電力供給を統合するのに十分であり得るが、微小アンテナを介した電力供給よりも、材料の選択及び設計の詳細次第では、マイクロリング共振器の方がより効率的かもしれない。しかしながら、ＨＭＤ又はウェアラブル装置全体としての無線電力供給は、ローカル高出力密度メタキャパシタシステムと又は無線低周波数パックによってパワーアップすることができるその他の電気容量テクノロジーと組み合わせられた場合、頭部に装着した際の重量及び嵩を減らしつつ、ユニット全体に電力供給する好適な方法である。基本的低周波数磁気共鳴ソリューションは、Ｗｉｔｒｉｃｉｔｙ， Ｉｎｃから入手できる。より複雑なシステムについては、米国特許出願 「Ｗｉｒｅｌｅｓｓ Ｐｏｗｅｒ Ｒｅｌａｙ（無線電力継電器）」を参照する。
【0537】
ｗ．アレイ／マトリックスのアドレス指定及び電力供給のその他の好適な方法は、電圧に基づくスピン波アドレス指定を含み、これは言及した出願では特定されておらず、よって本提案では新規な変異形であるが、当初言及した「ハイブリッドＭＰＣピクセル信号処理 」出願 及びこれのその他の形状因子及び使用事例に適用可能である。その他のディスプレイテクノロジーのために開発された高速電流に基づくバックプレーン／能動的マトリックスソリューション（ＯＬＥＤなど）も、利用可能なオプションである。
【0538】
ｘ．好適さは劣るその他のピクセル信号処理ピクセル論理符号化テクノロジー及び方法も、その他の具体的な設計の選択に応じて、無線アドレス指定及び電力供給方法、並びに電圧に基づくスピン波方法からメリットを得ることとなる。
【0539】
ｙ．このようなその他のピクセル信号処理、ピクセル論理符号化手段（マッハ・ツェンダー干渉計に基づく変調器を含む）（その効率性は典型的に、周波数材料システムに基づき、かつ赤外線及び／又は近赤外線で最も効率的となる）も用いてよいが、これらは好適さは劣るものであり、また同様に、言及された出願の教示に従い、当該クラスの手段について最も効率的な周波数のために最適化された構造及び／又は材料システムにおいて、あらゆる数のその他のピクセル信号論理符号化手段も用いてよい。
【0540】
ｚ．提案されたシステムの好適実施形態にとって、言及された［２００８］米国特許出願「Ｔｅｌｅｃｏｍ－ｓｔｒｕｃｔｕｒｅｄ Ｐｉｘｅｌ ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｈｏｄｓ（テレコム構造化されたピクセル信号処理方法）に続く、二重サブピクセルアレイシステムを、本出願のために本明細書に開示されるこの特定のバリエーションと最適化されたバージョン、並びに同様の動作要件又は望ましいメリットを有するその他の非ＨＭＤ及び非ウェアラブル表示システムのアプリケーションと共に、特定することも必須である。
【0541】
ａａ．ピクセル信号処理に続いて、マニピュレーション構造及びプロセスのピクセル論理状態符号化ステージは、オプションの信号利得ステージである。このオプションが該当する場合、以下の説明においてそれが明白な時点で取り上げることとなる。
【0542】
ｂｂ．波長／周波数シフトステージ：好適なハイブリッドＭＰＣピクセル信号処理システムの特定の本バージョンについて、好適なナノ蛍光体及び／又は量子ドット（例えば、ＱＤ Ｖｉｓｉｏｎ）が増強された蛍光体色システムを用いる周波数アップコンバートステージが続く（但し、周期的に分極された装置／材料システムも、言及された開示におけ
るオプションとして特定される）。商的に利用可能な基本テクノロジーは、ＧＥ、Ｃｒｅｅ、及び商慣行で知られている広範囲のその他のベンダーなどの供給業者からのテクノロジーを含む。
るオプションとして特定される）。商的に利用可能な基本テクノロジーは、ＧＥ、Ｃｒｅｅ、及び商慣行で知られている広範囲のその他のベンダーなどの供給業者からのテクノロジーを含む。
【0543】
ｃｃ．何が行われているかというと、照明ステージで典型的に発生するアップコンバートプロセスの分割又は分離であり、また赤外線及び／又は近赤外線周波数での操作のために及びその他の理由で最適化されたその他のいくつかのステージが完了する後まで、この分割又は分離を遅延させることが、この時点で当業者にとって明らかになるであろう。
【0544】
ｄｄ．よって、ＲＧＢサブピクセル色システムなどの色システムに合わせて調整されたナノ蛍光体／量子ドットが増強された蛍光物質／構造的形成の最適化によって、色システムは完全に実施される。繰り返すが、このようなディスプレイシステムの概念及び操作の再考が、言及された出願においてより詳細に記載されている。
【0545】
ｅｅ．ハイブリッドＭＰＣピクセル信号処理方法を使用することの利点は、本来のＭＰＣ変調速度の高速度であり、これはかなりの長期間に亘って１０ナノ秒未満と実証されてきており、現在はｓｕｂ－ｎｓが関連基準である。蛍光体励起発光反応の速度は比較的速い（さほど速くはないとしても）が、全体としてかつ正味、全色変調合計速度は１５ナノ秒未満であり、理論的にさらに低い正味持続時間の測定値にさえ最適化されるであろう。
【0546】
ｆｆ．提案された構造における変異形は、赤外線及び／又は近赤外線サブピクセルチャネルのそれぞれに帯域フィルターを追加し、これは処理シーケンスの終わりに、Ｒ、Ｇ、又はＢへのアップスケーリングについて「オン」又は「オフ」のいずれかなる。この変異形は、フィルター要素の複雑さを追加する一方で、以下の場合に好適となり得る。１）材料の複合において、ハイブリッドＭＰＣステージ自体が、赤外線及び／又は近赤外線ドメインの異なるサブバンドにより効率的に反応する、適合された材料のアレイである場合（但し、これはこの場合には当てはまらないと思われるが、その波長ドメイン内で市販されているバルクＬＰＥ ＭＯＬフィルムでさえ、そのほぼ１００％の伝送効率と非常に低電力の偏光回転に起因する）。２）異なるナノ蛍光体及び／又は量子ドットで増強されたナノ蛍光体／蛍光物質の形成の効率が、十分に非常に高いため、それぞれの最終的Ｒ、Ｇ及びＢサブピクセル構成要素についてより精密にまとめられた赤外線及び／又は近赤外線周波数帯域に値する場合。この設計トレードオフは、帯域をまとめるための追加層／構造／堆積の通過という複雑さの追加と、これに対して、不可視入力照明スペクトルの異なる部分に合わせてより「調整された」周波数／波長シフトする材料を使用する可能性から得られる効率性利得とについての、コスト／メリットの分析に行きつくであろう。
【0547】
ｇｇ．この色処理ステージに続いて、最初の赤外線及び／又は近赤外線照明源から実現されたサブピクセルグループは、統合された光学ピクセルチャネルを通して継続する。その他の最終的ピクセル構成要素が追加されることがない場合、出力ピクセルは、必要に応じて、変調及び色ステージ構成要素の寸法についての設計の選択次第となり、好ましくは拡散手段によるオプションのピクセル拡張（言及されたものを含み、かつ言及された出願で開示されている通り）が必要となり得る（ピクセルスポットサイズ縮小化は、ここでは必要となる可能性は非常に低く、このピクセルスポットサイズ縮小化は関連技術分野では公知であり、かつ言及された出願のうちの特定の出願、特に［２００８］で開示されている通り、光学フォーカス又はその他の方法を必要とする）。
【0548】
ｈｈ．ビューアーの眼から適切な距離に仮想焦平面を実現する目的で、コリメート光学素子（小型レンズアレイを含む）、ファイバーが光伝送軸に並行に配されているテキスタイル複合物に埋め込まれた光ファイバーアレイ、「フラット」又は平面逆インデックスメタマテリアル構造、及び当該技術分野で公知のその他の光学的方法が用いられる。好まし
くは、すべての要素は、追加のバルク光学アイピース要素／構造を必要とするのではなく、マクロ光学素子／構造上の合成層内に製作され又は実現される。ファイバータイプ方法と、これに対して、積層複合物もしくは堆積製作された多層構造、又は２つ以上の組み合わせ／ハイブリッドという、さらなる疑問については、以降の構造的／機械的システムというセクションで扱う。
くは、すべての要素は、追加のバルク光学アイピース要素／構造を必要とするのではなく、マクロ光学素子／構造上の合成層内に製作され又は実現される。ファイバータイプ方法と、これに対して、積層複合物もしくは堆積製作された多層構造、又は２つ以上の組み合わせ／ハイブリッドという、さらなる疑問については、以降の構造的／機械的システムというセクションで扱う。
【0549】
ｉｉ．前述の通り、開示されたピクセル信号処理ピクセル論理構造及び動作ステージ（好適なハイブリッドＭＯ／ＭＰＣ方法及びマニピュレーション構造を含む）を実施するピクセル信号処理ピクセル論理アレイ機能的／光学／構造的素子は、事前にフィルタリングされているが、（当業者に期待される通り）ピクセル化されたアレイである入射波面の場全体に亘って作動するバルク装置ではない。
【0550】
ｊｊ．それぞれの最終ピクセルは、少なくとも２つのピクセル構成要素（前述の色システムＲＧＢサブピクセルを超えて）を含み得るものである。一つは、最初からのビデオ画像を生成する、アレイに配された構成要素であり、これは単純なテキストとデジタルグラフィックを含み得るが、本システムのすべての目的上、ＣＧＩ又は相対的にリモートなライブもしくはアーカイブのデジタルイメージのいずれかから、又はこれらの複合物及びハイブリッドから高解像度画像を生成することができる。
【0551】
１１．パススルー現実世界照明及びピクセル化されたアレイ ― 可視周波数パススルーで動作する場合についての詳細条件（すなわち、赤外線／近赤外線にダウンコンバートされていない）： 構造化された及び作動光学体及びフォトニック構造及びステージを通した視野からの現実世界の生成されていない光線の伝送及び処理に戻る。
【0552】
ａ．これらの赤外線及び／又は近赤外線駆動されたサブピクセルクラスタと共にアドレス指定アレイ上の同一場所に配置されるのは、別のセットのピクセル又はその他のサブピクセル構成要素のいずれかであり、これは事実上、ＨＭＤのビューアー及び装着者の前方のライブ視野から生じる最終的ピクセルチャネル構成要素である。これらは、最終ピクセルの「パススルー」で完全にアドレス可能な構成要素である。
【0553】
ｂ．これらのチャネルは、特定された通りピクセルに細分化された前方複合光学素子／構造から生じる。
【0554】
ｃ．これらの光チャネルは、利用可能な効率的分割方法を用いることによって、波面の損失を低くして波面部分を伝搬する。表面小型レンズアレイ又はミラー漏斗アレイを提案される再分割方法と組み合わせて用いてよく、これは縁から縁までに非常に近い光線キャプチャー効率を可能にするため、その後、キャプチャーされた波面部分は効率的に結合されて、細分化された／ピクセル化された誘導光学体／アレイ構造の相対的「コア」となる。よって、従来のステップインデックス結合方法が使用されているか否か、又はＭＴＩＲ微細孔アレイ、又は真のフォトニック結晶構造、又は２つ以上の方法のハイブリッドの如何を問わず、結合手段に寄与するピクセル化アレイ形成の領域は、損失を最小限に抑えて、最小限のパーセンテージの波面を受け取ることになる。
【0555】
ｄ．効率的な波面取り込み、ルート決定、及び誘導された／ピクセル化されたセグメント化には、本システムの特定のバージョン及び動作モードのために、可視及び赤外線及び／又は近赤外線周波数の焦点を合わせかつ／又は反射する広帯域光学素子が必要であり、そしてこれは、後述の通り、光学ラインナップ及びシーケンスにおける最初で第１の光学フィルタリング構造及び手段として赤外線及び／又は近赤外線フィルターを実施するという提案にもかかわらず必要とされる。
【0556】
ａ．大半の構成において、その赤外線及び近赤外線照明ステージは、当該ステージを通して散在して、赤外線及び／又は近赤外線に透過的であるが、可視周波数光誘導／経路閉じ込めを提供する、「パススルー」のキャプチャーされた照明のための誘導構造が存在するため、赤外線及び／又は近赤外線は、チャネル化された「パススルー」ピクセル構成要素と干渉せずに、均一に配信されることが可能である。
【0557】
ｂ．誘導された入射波面部分信号チャネルがピクセル信号処理、つまりピクセル状態符号化ステージに達すると、そうでなければ「バルク」であるフィルムのバルクＭＯ又は多層ＭＰＣフィルム又は周期的に構造化された格子（又は２Ｄもしくはは３Ｄの周期的構造）の単一の形成が存在する場合、その材料又は構造化された材料の効率が、赤外線及び／又は近赤外線用に最適化されている場合、並行ピクセル信号処理、つまりピクセル論理状態構造が、まったく同じ方法で、但しかなり低い効率で実施されることになる。
【0558】
ｃ．しかし、バルク形成でかつ構造化されたフォトニック結晶材料としての両方で、多様な手段で製作された広帯域ＭＯ材料として、その効率は、赤外線及び近赤外線用に最適化されたＭＯ／ＭＰＣ材料／構造化された材料の効率とは現時点では等しくはないが、改良し続けている。２００５年に本開示の著者によって統率された初期の研究では、新しいＭＯ及びＭＰＣ材料がモデル化かつ製作され、これは初めて、緑色帯域レジーム用の大幅に改良された伝送／ファラデー回転ペアリングを実証しただけでなく、最初の無視できないほどの、実際のところディスプレイアプリケーションにとって重要かつ容認可能で競争的な、青色帯域における性能を実証した。
【0559】
しかしながらこのような材料の製作は、より費用がかかる傾向にあり、もしも「生成的」ピクセル構成要素のために及びパススルーピクセル構成要素のために、異なる材料が「小型フィルム」として堆積される場合、これは製作プロセスの複雑さと費用を増大させる。しかし、このような構成は、すべての条件が同じだとすると、最終的な統合されたピクセルの「パススルー」構成要素のピクセル論理状態符号化の効率を改良することになるであろう。
【0560】
ｄ．「適合された」ＭＯカテゴリーの材料の堆積又は形成が無い場合（この論理は、好適さは劣るが、その最大効率がＭＯ／ＭＰＣのように周波数に依存し、その代わりに単一の形成を使用する、変調システムにも適用される）、すべての条件が同じだとすると、変調手段がより低効率となる程度に、パススルーの最終ピクセル構成要素の強度はより低くなる。
【0561】
ｅ．典型的に、パススルーシステムについては、蛍光物質タイプ又はその他の波長／周波数シフト手段は一切使用されないだろうと、想定されるであろう。しかし、本来のＭＯ／ＭＰＣ材料の効率がより低いかもしれない範囲において、この場合には、ピクセル論理ステージ符号化ステージでの材料性能の不足にある程度対処するために、帯域最適化材料の異なる形成を用いてよい。
【0562】
ｆ．さらに、低照度又は暗視操作のために提案される通り、言及した出願のうちのいくつかの出願（米国特許出願 「ピクセル信号処理」 及び米国特許出願ハイブリッドＭＰＣピクセル信号処理 ）のオプションとして提案される通りの、オプションの「利得」ステージであって、このステージで、励起された利得材料が大量投入されて、光学的、電気的、音質的、機械的、又は磁気的のいずれかで利得媒体においてエネルギー利得を実施し（この詳細については言及された出願に記載されている通り、かつ当該分野において公知であるか又は将来考案され得るその他の方法によって）、最終ピクセルの伝送された「パススルー」構成要素が利得媒体を通過する際に、この構成要素の強度を増強する。これが可変でアドレス可能なステージであるが、この設計オプションが選択された
場合には、むしろブランケット利得を高める設定であるということは、好ましくない。
場合には、むしろブランケット利得を高める設定であるということは、好ましくない。
【0563】
ｇ．さらに、誘導された入射波面部分チャネルがピクセル信号処理、すなわちピクセル状態符号化ステージ（前述の通り）に達すると、低照度及び暗視アプリケーションについてのオプションだが、ピクセル信号処理及び光学チャネル管理システム全体の有価なオプション構成がある。
【0564】
ｈ．この変異形では、赤外線フィルターを取り除くことが可能だが、入射した現実世界波面からの赤外線及び／又は近赤外線光を能動的変調アレイシーケンスまで通過させることが目標であるため、入射する「実際の」赤外線は、センサアレイの仲介を必要とせずに、赤外線出力が視野で可視である範囲で、ビューアーにとっては生成された類似色（モノクロ又は偽カラーの赤外線諧調度）画像で、ピクセル信号処理変調器を通してかつ直接通過される。
【0565】
ｉ．そして前述の通り、パススルー赤外線（もし有益な場合には、＋近赤外線）の強度を波長／周波数シフトステージまで増加させるために、利得ステージを実施し得る。
【0566】
ｊ．さらに、基本赤外線及び／又は近赤外線背景照明（適切な基本レベルを設定するために変調された強度）は、通常フルカラー動作モードを通して、波長／周波数シフトステージ及び媒体を起動する閾値に達しない範囲で調整され得る。
【0567】
ｋ．赤外線フィルタリング手段の除去／不活性化は機械的に行われ得るが、それは受動的光学素子が、「跳ね上げる」ことができるヒンジ付き又は片持ちヒンジ付き装置内に配備されたか、又は能動的構成要素として、電気泳動的タイプの活性化されたバルクのカプセル化された層（この中では複数の相対的にフラットなフィルタリングミクロ要素を静電的に（機械的）回転させる）においてのように不活性化される場合であり、よって、最低入射角度が通過され、複数の回転した要素は、もはや赤外線をフィルタリングしない）。その他の受動的又は能動的活性化／除去方法を用いてもよい。
【0568】
ｌ．低照度又は暗視操作用の赤外線フィルター及び偏光フィルターは、生成システムが「能動的」に使用されているか否かに応じて、閾値を生成するためのみならず、ピクセル化されたアレイに入射した実際の赤外線波面部分の一部に対してデータをスーパーインポーズするために、両方とも取り除いてよい。能動的に使用されている場合、生成源の効率を最大化するために、好適なデジタルピクセル信号処理システムは、最初の偏光フィルターが、信号内のピクセル論理状態を符号化する光学スイッチ／変調器を実施することを必要とする。
【0569】
ｍ．パススルーシステムのデメリットは、入射する赤外線及び／又は近赤外線の強度を低減することである。
【0570】
ｎ．この問題に対処するために設計された本システムの別の実施形態では、入って来る信号を増やすために、ピクセル信号処理、つまりピクセル論理状態符号化ステージの前に利得ステージを置く。
【0571】
ｏ．「自然」入射光の入力で励起された利得媒体を用いる本システム及びあらゆるシステムの設計パラメータにおいて、非コヒーレント、非コリメートの「自然」光での利得媒体の効率を考慮すべきである。
【0572】
ｐ．第２の別の構成要素３個のシステムが実施され、これは生成手段用の構成要素サブチャネルと、入射可視光構成要素と、偏光フィルタリングされていない入射赤外線構成要
素とを含む。この変異形を実現するために、偏光フィルター要素が無いこの第３のサブチャネル／構成要素から出るピクセル化された偏光フィルター要素が実施されなければならない。
素とを含む。この変異形を実現するために、偏光フィルター要素が無いこの第３のサブチャネル／構成要素から出るピクセル化された偏光フィルター要素が実施されなければならない。
【0573】
ｑ．このタイプの低照度暗視動作モード要件を有する、より基本的な一体化された構成要素２個のオプション・システムタイプについては、最初の入射波面入力及びチャネル化／ピクシレーションステージに追加の光学素子が必要とされる。
【0574】
ｒ．入射する赤外線（及び必要な場合は近赤外線）は、最終的な可視ピクセルの通常の「生成的」ソース構成要素と、入って来る入射波面の可視光部分全体を最終的な可視ピクセルの当該ソース構成要素へと誘導するパススルーチャネルとに向かうサブチャネルとの間で分割され得るが、赤外線及び／又は近赤外線を最終的ピクセル用の可視光サブチャネル及びソースに送信する特定の効率利得は一切ない。
【0575】
ｓ．むしろ、入射実波面の取り込みを最大化するための小型レンズ又は別の光学キャプチャー手段の後に続いて、又はこの小型レンズと一体化されているのは、周波数スプリッタである。一つの方法は、赤外線及び／又は近赤外線光のみ許可する、可視光用の帯域フィルター１個と、赤外線及び／又は近赤外線光用のもう１個の隣接フィルターとの、対向するフィルターを実施することである。このような対向するフィルターの多様な幾何学的配置（両方平面で、又は入射波面光学キャプチャー構造の中心焦点から両フィルターが対向して４５度オフセットされて設定されて）は、異なる利点を提供するものであり、その利点とは、（小型レンズ、又は逆インデックスメタマテリアル「フラット」レンズを含むその他の光学素子又は手段により）焦点を合わされた合成可視／赤外線近赤外線ビームが第１の別個の一つの帯域範囲となるようにし、その他のビームが対向するフィルター表面に反射することを可能にし、また、中心焦点からさらに離れたフィルター構造に最初に衝突する焦点ビームの部分については、上記と逆に同様に可能とすることである。格子構造は、二重フィルタースプリッタ配置を実施するための好適な方法であるが、２つのフィルタリング面を実施するための後続のステージにおいて（当該技術分野で公知でありかつ今後開発される多様な方法で）堆積され得るバルク材料形成に基づく、その他の方法も当該技術分野で公知である。（ＵＶはこのステージの前にフィルタリングされるが、赤外線の後とすることが好ましい赤外線ということをご注意下さい。いくつかの罪状認否では、赤外線及び偏光子フェーズが最初と２番目であり、ＵＶフィルターは３番目となる。その他の場合、赤外線の後にＵＶ、そして偏光子となる。異なる配置は、異なる使用事例について異なる価値があり、製作費用及び特定のプロセスシーケンスへの異なる影響がある）。
【0576】
１２．パススルーと、生成された／人工的ピクセル／サブピクセルアレイとの組み合わせ
【0577】
この２つの構成要素光チャネルは、前述の通り同一場所に置かれ、かつ一緒に好ましくはピクセル調和化手段に出力され（拡散及び／又はその他の混合方法及び当該技術分野において公知であるか又は将来考案されるその他の方法によって利用可能であるように）、この生成ソースはパススルーソースと組み合わされて、従来の色覚人工的加色表示システムのＲＧＢサブピクセルと同様に、最終的合成ピクセルを形成する。そしてこれは、前述の通り及び言及した出願に詳細が記載されている通り、本開示の目的の一部でもある顔面に近いという人間工学上の設計目標を前提として、ＨＶＳで最も効果的かつ最も容易である仮想焦平面での画像を形成するために、さらにピクセルビーム形成され、そして特にコリメートされかつその他の方法で光学的に向けられる。
【0578】
ａ．「生成的」構成要素（これ自体はＲＧＢサブピクセルから成る）と、可変「パススルー」構成要素とを有する基本的な一体化された２つの構成要素のシステムの動作 ―
第１は主要な動作モードで、そして第２はオプションの低照度暗視モード用に構成されている
第１は主要な動作モードで、そして第２はオプションの低照度暗視モード用に構成されている
【0579】
明るく日が照る日中の屋外で、提案される形態のＨＭＤの装着者は、一体化双眼鏡（２つの別個のレンズの形状因子装置構造）又は接続されたバイザーで見るが、これは装着者に対して、ピクセルアレイ（これ自体が、生成的高性能ピクセルと、ビューアーが対面している「世界への窓」のパススルーで可変的強度波面部分という、２つの入力構成要素の一体化によって形成されている）の一体化によって形成された画像を提示する。
【0580】
ｂ．最終的一体化ピクセル用の合成色構成要素は、「生成的」ピクセル構成要素によって形成され、これは不可視赤外線及び／又は近赤外線「内部」「注入された」後部照明として始まり、これは各サブピクセルについて１０ナノ秒未満で（そして最近では１ナノ秒未満で）オン又はオフにされる。そしてその赤外線及び／又は近赤外線サブピクセルは、最も広い可能な全色範囲を生成するために利用可能な最良で最新の材料及びシステムを用いて、合成蛍光物質／構造を活性化させる。
【0581】
ｃ．サブピクセルの状態が非常に短い波動で設定されると、一定の電力をスイッチに適用することなしに、「メモリ」スイッチはその状態が変わるまで、オン状態を維持する。
【0582】
ｄ．よって、生成的構成要素は、高フレーム率、高ダイナミックレンジ、低電力、広色域ピクセル切替えテクノロジーである。
【0583】
ｅ．合成ピクセルの第２の構成要素は、パススルー構成要素であり、これは装着者に面した方向から入射する、本ＨＭＤの前方光学面に衝突する波面全体のうちの効率的に高パーセンテージの細分化された部分として始まる。これらの波面部分は、通常モードでＵＶ及び赤外線についてフィルタリングされ、また同様に偏光ソート又はフィルタリングされる（これは現実世界照明を低減させたベースか又は最大化したベースのいずれか、選択された設計戦略に応じて選ばれる）。低減させたベース、すなわち偏光フィルタリングでは、結果として、偏光モード事象の組成と偏光子の効率に応じて、可視視野の全体的明るさが実質的に（約１／３～１／２に）低減される。
【0584】
ｆ．特に明るい昼の光では（但し、非常に低照度から全く光が無い状態以外の概してすべての照明条件では）、パススルー強度の低減により、入射波面部分の照明レベルと「競い合い」かつ一致させ又はこれを上回ることが容易になる。よって、二つの役目を果たすか又は二つのメリットを生み出すシステムの構成要素によって達成される受動的光学手段によって、これはピクセル論理状態符号化を実施する好適な変調システム（偏光変調に基づく）の必要とされる構成要素であり、またこれは電力要件も低減させ、かつ生成システムとパススルーシステムの値の較正、調整及び合成を簡略化する。
【0585】
ｇ．このシステムの設計特長は、ほとんどの人々にとって、屋外での明るい照明条件は偏光サングラスを使用することによって管理されているという事実を活用している。屋内では、過度に明るい放射性又は透過性ディスプレイは眼精疲労をもたらすと知られており、従って、屋内であっても照明レベルを全体的に下げることは、結果として、視野における「競合する光環境」を再度創り出すことなしに、生成システムにて、相対的にわずかに照明レベルを上げるというより単純な問題をもたらす。低減された自然パススルー照明（オプションであるが、ＬＥＤ又は確かにレーザー光よりも効率性が劣る利得ステージによって、オプションで高めることができる）と、場面の部分にグラフィック又は合成要素を追加する生成システムとの組み合わせが、結果としてそうでない場合よりも調和化されかつ強度がより低いベースラインをもたらす。（生成システム、つまり一体化アレイの該当部分は、必ずしもＦＯＶ全体をＡＲモード生成しないが、完全ＶＲモードでは生成するこ
とができる）。
とができる）。
【0586】
ｈ．ユーザの透視ビューでの合成要素と実要素との計算された調整及び合成（感知及び計算システムにおいて次に取り扱う局面である）を前提とすると、生成ソースとパススルーソースのハイブリッドは、ディスプレイレベルでの目に見えるラグや感知できるほどの待ち時間は一切無しに、ハイブリッドのモバイルＡＲ／混合現実ビューを容易にかつ迅速に生成できる。
【0587】
ｉ．デフォルト「オフ」スキーム（すなわち、好適な偏光変調形態での偏光子及びアナライザが、同一よりもむしろ「交差している」）で設計された、パススルー波面部分は一切伝搬されない、パススルーピクセル構成要素サブチャネルでは、現実の風景とモーション追跡との較正を前提とするモバイルＨＭＤは、モバイルＶＲモードで機能できる。後述するが、提案されるセンサ及び関連処理システムとの組み合わせで、ＨＭＤは、パススルーはオフされたＢａｒｒｉｌｌｅａｕｘの「間接視ディスプレイ」として機能できる。
【0588】
ｊ．生成システムがオフされて、そして特に、最適化された可視周波数ＭＯ／ＭＰＣ材料構造の追加費用及び複雑さがある場合、可変的パススルーシステム（生成的／増強されたチャネルを追加するピクセル照明／画像プリミティブ情報の無い）も実施可能である。
【0589】
「間接視ディスプレイ」の逆構成では、提案されるセンサ及び関連処理システムについて本明細書中で後述する通り、本システムのさらなる変異形が採用されて、かつ「パススルー」チャネルフィルターが、それぞれそれ自身のピクセル信号論理状態符号化変調器を有するＲＧＢサブピクセルチャネルに細分化された（赤外線／近赤外線及び可視スペクトルフィルタースプリッタのパターンに従って）場合、パススルーシステムの可変伝送手段を、直視システムになるように増強することができる。そのデメリットはダイナミックレンジとなり、比較すると相対的に低照度照明となる、補足するための生成的手段が無いということである。さらに、このような変異形（生成的構造を単純に排除するモード又はシステム）は、場面一体化合成及びパースペクティブ計算を行う上でのボトルネックを単純化する、並行処理システムによって対処可能な二重アレイのメリットは有さないことになる。さらに、異なる調整が行われた可視スペクトルの最適ＭＯ／ＭＰＣ材料／構造に基づくこのようなシステムは、赤外線／近赤外線に基づく生成システムよりも高価となり、かつ効率がより低くなるであろう。
【0590】
ｋ．最適化されたシステムとは、効率的な生成的構成要素と、可変的強度だが全体的により低照度レベルのパススルー構成要素とを組み合わせたシステムである。
【0591】
ｌ．好適な無線アドレス指定及び電力供給は、知的構造システムの機能素子部分から電力、熱、重量及び嵩をさらに低減させる。
【0592】
ｍ．赤外線フィルターを取り除く又はオフすることができるシステムについて、非常に低い照度又は暗視モードでは、赤外線（及び望ましい場合は近赤外線）がピクセル状態システムを損失なしに通過し、オプションの利得ステージは赤外線信号強度を引き上げ、かつ／又は赤外線／近赤外線内部注入照明構成要素は閾値／基礎強度を高め、これらに加えて、入射するピクセル化された赤外線の強度が追加／重畳されて、赤外線／近赤外線は波長／周波数シフト手段（好適な蛍光物質タイプシステム）を通過し、システムはモノクロ又は偽カラーに設定されて、直視低照度又は暗視システムが実現される。偏光フィルターが適所に置かれて、生成システムは作動しかつグラフィック及び完全なイメージを追加することができ、補助センサシステム（以下参照）からの信号か、又は他の構成で提案されている通り、波長／周波数シフトにエネルギー入力することが、十分な出力を生み出すために十分であるということを確実にするために、単純に基礎レベルを追加するかのいずれ
かで、入射赤外線の低減された強度を補う。
かで、入射赤外線の低減された強度を補う。
【0593】
ＩＩ．モバイルＡＲ及びＶＲ用センサシステム
【0594】
言及された開示の様々な事例に従い、合成の生成イメージを内部全体（そしていくつかの事例では、望ましい場合には又は効率を考慮して必要とされる場合には、通過し得る外部照明条件）と最適化及び調和化するセンサシステムなしに画像を表示する画像表示構造が無く、また、ユーザの位置、視野角や、総じてモーション追跡を考慮していない、本提案の一般事例に続く。
【0595】
１．本システムの好適なバージョンでは、少なくともいくつかの装置構成要素が、構造的要素として２つの役目を果たすが、これらの場合では、感知できるほどの範囲において、その他の機能的目的と感知を一体化するその他の要素が、当該装置を一体化された総体的システムとして特に区別する組み合わせとなることは、まったく不可能である。（
【0596】
２．最適な総体的形態では、大型の個々のマクロカメラシステムではない形態だが、むしろ多数の分散されたセンサのアレイである、加速度計、デジタルジャイロセンサ、光学追跡及びその他のシステムを含む、当該技術分野において公知であるものなどのモーション追跡センサを実施する際に、本開示のシステムは好適な実施態様であり、これは、分散された本来のかつローカルの処理のメリットを、そしてリアルタイムで「包括的な」照明条件を取り込むとともに、保存された位置／測地／地形データへのローカルアップデートを可能にするためにリアルタイムで幾何学的形状データを抽出するための、画像に基づく／写真測量方法の追加的特定のメリットを実現し、合成画像要素の較正とその効果的透視ビューレンダリングと、ハイブリッド／混合ビュー場面への一体化及び組成を加速するためのものである。
【0597】
３．言及された出願で開示されている通り、かつ簡略に拡大すると、特に使用されるかつ証明済みのリアルタイム情報を集める価値のある「画像に基づく」かつ写真測量の方法の中で、市販のＬｙｔｒｏシステムによって実例を示される明視野方法があり、これはマルチサンプリングされた（そして最適には分散されたセンサアレイ）空間から、リアルタイムで空間を画像サンプル化することができ、その後、十分な初期データを入力し／取り込んだ後に、ビューモーフィング（ｖｉｅｗ－ｍｏｒｐｈｅｄ）された３Ｄ空間を生成できる。そして仮想カメラが、リアルタイムで所定の解像度で、写真測量データから抽出された通り、３Ｄ空間内の様々な位置に位置付けられる。
【0598】
４．遮蔽及び不透明度（好適な提案される表示サブシステムの一体化された二重生成的及びパススルー構成要素を用いて）を含む、較正された透視画像合成を可能にするために、余分のローカルの幾何学的／地形データについて、Ｌｙｔｒｏ 明視野方法と協調してかつ組み合わせて、その他の画像に基づく方法を使用することができる。このような方法は、ＣＧＩのシェーディング／ライティング又は単純なグラフィック／テキスト要素とさえ、そしてナビゲートされた現実世界の３Ｄ地形空間のライブアップデートと一致させるように、照明パラメータを得るためにリアルタイムでＦＯＶ全体のサンプリングを提供するものであり、ファイル、ＧＰＳ及び従来のモーションセンサのみからの切断された無関係のピクセルポイントでの別個の計算を単純に行うのとは対照的である。計算上の負担を大幅に減らすパラメトリックサンプリングによって、ライティング及び相対的位置／幾何学的形状に一般的補正を適用することができる。
【0599】
５．信号方法からのＧＰＳ及びその他のモバイルネットワーク三角測量によるユーザの「絶対的」位置決めとの組み合わせで、ＨＭＤの及びあらゆるハプティックインターフェースのモーションセンサ追跡との組み合わせで、また同様に、ライブアップデートされた
画像に基づく写真測量システムからのユーザの身体の画像に基づくマッピングを含み、そして、多数の小型センサ及びカメラを用いる、高速リアルタイムの画像に基づく方法から得られた相対位置及び地形パラメータに依存する。
画像に基づく写真測量システムからのユーザの身体の画像に基づくマッピングを含み、そして、多数の小型センサ及びカメラを用いる、高速リアルタイムの画像に基づく方法から得られた相対位置及び地形パラメータに依存する。
【0600】
６．これに関連して、ＭＩＴで開発されたＢａｙｉｎｄｉｒ／Ｆｉｎｋ「光ファブリック」カメラが、分散されたアレイを実施する特定の物理的方法の検証の一例である。本開示の発明者が提案する通り、ファイバー装置及び知的テキスタイル複合物方法、又はより単純なＭＩＴファイバー装置ファブ方法及び光ファブリック実施態様、又はその他のファイバー装置知的／能動的／フォトニックテキスタイル方法に従うかの如何を問わず、ＨＭＤ機械フレームの構造内に配され、かつシステムに寄与しない負荷として機能するよりもむしろ、構造的システムソリューションに追加も行うことによって２つの役目を果たす、分散されたテキスタイル合成カメラアレイは、並行で分散されたデータの取り込みのために提供する有利な多装置アレイシステムを実施する好適なバージョンである。
【0601】
７．多数のミニチュアカメラ光学センサアレイ装置を含み得るマルチポイントミニチュアセンサアレイは、もう一つのマルチパースペクティブシステムの好適な実施態様である。
【0602】
８．小型アレイの多数のその他のカメラ／センサのいくつかと組み合わせられた、より基本的な一体化商用Ｌｙｔｒｏシステムは、好適さは劣るものの、それでもなお優れた組み合わせであり、多数の画像に基づく方法を可能にする。
【0603】
９．繰り返すが、多数のより低い解像度の素子アレイに配置されるのが好ましい補助赤外線センサは、前述の通り、表示システムにオーバーライド低照度／暗視フィードを提供するか、又は実際の赤外線パススルーと調和してかつ協調して機能するように、補正及び補足データを生成システムに提供することができる。
【0604】
１０．一般レベルでのパターンにおいて可視スペクトル用の、同一の配置に基づくＬｙｔｒｏタイプの明視野システムは、その他の周波数帯域でのセンサのために用いてもよく、これはアプリケーションに応じて、低照度／暗視のみならず、ＵＶ又はマイクロウェーブなどのその他のアプリケーション及び使用事例のためのフィールド解析を含むことができる。より長い波長での解像度の制限を前提として、それにも拘らず、不可視の、又は不可視でＧＰＳ／ＬＩＤＡＲによって補足された参照データから空間再構築が生成されてよく、また複雑な環境のセンサスキャンを行う際に、その他の寸法データ収集相関性が得られる。小型化が進むにつれ、現在さらに益々小さい形状因子及び小型化で実現されつつあるコンパクト質量分析も、ＨＭＤへの一体化のために企図することができる。
【0605】
１１．最後に、照明パラメータの高速データサンプリングと、ローカル環境の材料、幾何学的形状及び大気条件について当該照明パラメータからわかることについて有利である画像に基づく方法の中で、コンパクトグローバル反射率分布図を抽出するためにその表面が撮像される反射面であり、ＨＭＤの重要な頂点（左右の角、又は中心のみであり、反射された表面全体を取り込むために多数の撮像素子と対になる頂点であり、あるいは、コンパクトで圧縮された反射面を抽出するために、凹形反射部分半球「穴」も、それのみで又は好ましくは球面と組み合わせて、いずれの場合も磁場を介して同じ速度で維持されるか、又は強力なスピンドル上又はほとんど隠して搭載するかのいずれかで、利用することもできる）に位置付けられる１つ以上のミクロ「光プローブ」は、ライブイメージと、生成されたＣＧＩ／デジタルイメージの高速グラフィック一体化（遮蔽を含むシェーディング、ライティング、パースペクティブレンダリングなど）を加速するためのみならず、複雑で素早く変化する環境における敏感な操作のためのリスクと思われる要因の高速解析を実施するために、空間のライティング、材料及び幾何学的形状を写真測量するために、写真
測量からのその他の関連方法と併用して、高度に加速された方法を提供できる。
測量からのその他の関連方法と併用して、高度に加速された方法を提供できる。
【0606】
ＩＩＩ．機械及び基板システム
【0607】
前述の内容から明白になる通り、好適実施形態に重点を置いて既に提案されてきた画像表示サブシステム及び分散されかつ画像に基づく感知及び補助撮像システムは、本開示の構造的で機械的かつ人間工学上の目標について実質的メリットと価値を既に提供している。
【0608】
１．重量、嵩、サイズ、バランス、人間工学、及びコストにおいてメリットのある構造的機能的一体化の一つの好適実施形態は、可撓性光学構造的基板と組み合わせられた張力がかけられた薄フィルムのテキスタイル合成構造の実施態様であり、特に好ましいのはＣｏｒｎｉｎｇ Ｗｉｌｌｏｗ Ｇｌａｓｓ（コーニングウィローガラス）で形成されたＨＭＤフレームであり、これはＨＭＤ内に一体化されなければならないすべての処理及び機能電子装置で折り畳まれ（かつ好ましくは密封され）、これら電子装置は、折り畳まれたガラスフレーム上に組み立てるために、無線電力供給を使わない、好適さは劣るバージョンでの電力供給を含むことができる。ガラスと装着者を保護するために、かつ快適さと人間工学のために、保護コーティングが機能光学構造部材に適用され／ラップされ又はその他の態様で追加され（衝撃波システムに基づくＤ３０などのように）、これは衝撃が無い場合には柔らかくかつ弾力性があるが、衝撃を受けると、衝撃波がこの材料を固化させ、耐久性が低い（但し認め得るほどの耐久性はある）ウィローガラス構造的／機能的システムに保護バリアを提供する）。折り畳まれたウィローガラスは（その内面はガラス上のシステムの電子機器の場所となっている）、強度を追加するため、かつ電子機器を衝撃からより良く保護するため、そしてまたこれによってより薄い基板を可能にするために、円筒形の形態又は半円筒に形作られる。
【0609】
光ファイバーデータ及び照明は、可撓性のテキスタイルで（好ましくは、外側合成層としてはＤ３０で、又はその他の衝撃耐性のある合成構成要素で）包まれかつ保護されたケーブルを介して、ポケットの中の又はユーザの身体上の知的テキスタイル合成ウェアラブル物に一体化されて、従って平らにされて、重量が分散されかつバランスが保たれた、照明、電力供給（好ましくは無線）、及びデータ処理ユニットから配送される。
【0610】
２．光ファイバー（データ、光及びオプションで電力）ケーブルが合成ウィローガラスフレームと一体化されると、この光ファイバーは複合物として、Ｅ－Ｏデータ転送用のデータ入力点に、そしてディスプレイ面上の照明挿入点に（好ましくはより高価で不要な熱融着で）結合される。
【0611】
３．このバージョンでのディスプレイフレーム構造的要素はまた、ウィローガラス又はウィローガラスタイプの材料システムと、オプションの追加構成要素となるが、代わりに、光学形状因子要素（双眼鏡ペア又は連続バイザー）を形成する固体ガラス又はポリマーレンズでもよく、これらは、望ましい表面幾何学形状の形成に役立つレンズタイプのプレフォームに続く薄フィルム合成層であり、また適切な曲がりを実現するために、圧縮リブも用いてよい。
【0612】
４．機能的光学素子のシーケンスは、最初のフィルターの後かつその最も複雑なステージにおいて、提案される構造的及び基板システムの両方で見られる通り好適なオプションである導光／閉じ込めチャネルが、エアロゲル張力付与膜マトリックスの一部として、光ファイバーなどの光チャネル要素を実現することとなる。又は、赤外線パススルー用の固定（又は半可撓性）光チャネルから赤外線生成的チャネルまで、そして可視パススルーチャネルを有し、空洞とその間の空間にエアロゲルを浸透させ、かつ正圧下のエアロゲルを
含む、空洞赤外線／近赤外線剛性シェルを用いてもよく、これは非常に強力で低密度軽量強化された構造的システムを実現することになる。エアロゲルフィラメント複合物が商用に開発され、かつ合成エアロゲルシステムのこのカテゴリーが進歩し続けており、シリカ及びその他のエアロゲルについての広範囲の材料オプションが提供され、今や低コストの製造方法（Ｃａｂｏｔ、Ａｓｐｅｎ Ａｅｒｏｇｅｌなど）で製作されている。
含む、空洞赤外線／近赤外線剛性シェルを用いてもよく、これは非常に強力で低密度軽量強化された構造的システムを実現することになる。エアロゲルフィラメント複合物が商用に開発され、かつ合成エアロゲルシステムのこのカテゴリーが進歩し続けており、シリカ及びその他のエアロゲルについての広範囲の材料オプションが提供され、今や低コストの製造方法（Ｃａｂｏｔ、Ａｓｐｅｎ Ａｅｒｏｇｅｌなど）で製作されている。
【0613】
５．追加のオプション及び／又はウィローガラスでハイブリッド形態に用いることができるものは、グラフェン・ＣＮＴ（カーボンナノチューブ）機能的構造的システム（単独で又は繰り返すが好ましくはエアロゲルとの合成で）である。
【0614】
６．グラフェンがさらに開発され又は機能的エレクトロニクス及びフォトニクスがフィーチャーする際、グラフェン層又は多層で、薄膜化ウィローガラス基板上に又はエアロゲルとのサンドイッチシステム内のいずれかに形成され、電子的相互接続のためにグラフェンとＣＮＴが混合され、光学的相互接続のためにガラス上に光ファイバーと平面導波管が、そしてその他の方法でＳＯＧシステム要素と組み合わせられ、ＳＯＧの上にはさらに異種の材料システム（異種ＣＭＯＳ＋システムの場合には、ポスト「純」ＣＭＯＳ）が用いられているものが、好適な構造的実施態様となるだろう。
【0615】
７．より短期的な近い将来には、グラフェン、ＣＮＴ、及び好ましくは圧縮要素としてのグラフェンとＣＮＴの組み合わせ（単独で又は巻かれたウィローガラス及びオプションのエアロゲル・セル・サンドイッチとの組み合わせで）が、優れた基板品質を有する好適な軽量一体化構造的システムを提供する。よって、搭載プロセッサ、センサ配備と、濃密ピクセル信号処理アレイ層の両方について、半可撓性のウィローガラス、又は今後Ａｓａｈｉ、Ｓｃｈｏｔｔ 及びその他によって開発される可能性のある同様のガラス製品、並びに好適さは劣るが、短期的将来にポリマー又はポリマーガラスのハイブリッドも、堆積基板として機能し得る。
【0616】
ＩＶ．その他のモバイル又は半装着可能な形状因子（タブレットなど）も、好ましいＨＭＤ形状因子での完全適用を前提として、モバイルＡＲ及びＶＲソリューションの多くを実施し得る。
【0617】
本明細書において特定の実施形態を開示してきたが、ピクセル変調に必要な操作及びステージの分解及び別個での最適化に基づき、提案される新規の画像表示及び投影の適用及び範囲を制限するものとは解釈されるべきではない。
【0618】
上記システム及び方法は、本発明の好適実施形態の詳細を理解するための助けとして、一般的用語で説明してきた。本明細書の説明では、本発明の実施形態の徹底した理解を提供するために、構成要素及び／又は方法の実施例などの数多くの具体的な詳細が提供されている。本発明のいくつかの特長及びメリットはこのようなモードで実現され、かついずれの場合でも必要とされはしない。しかしながら、関連分野の当業者は、本発明のある実施形態が、具体的な詳細のうちの１つ以上無しに、又はその他の装置、システム、アセンブリ、方法、構成要素、材料、パーツ及び／又は等と共に、実施可能であることを認識するであろう。その他の事例では、本発明の実施形態の曖昧な局面を避けるために、周知の構造、材料、又は操作は具体的に示されたり説明されたりはしていない。
【0619】
本明細書に亘って「一実施形態」、「ある実施形態」、又は「特定の実施形態」への言及は、当該実施形態に関連して説明される特定の特長、構造又は特徴が、本発明の少なくとも一実施形態に含まれ、かつ必ずしもすべての実施形態に含まれるわけではないことを意味する。よって、本明細書全体に亘って様々な場所にて「一実施形態において」、「ある実施形態において」、又は「特定の実施形態において」というフレーズがそれぞれ現れ
ているが、必ずしも同一の実施形態を言及している訳ではない。さらに、本発明の特定の実施形態の特定の特長、構造、又は特徴は、その他の１つ以上の実施形態と、適切な態様で組み合わせられ得る。本明細書において説明されかつ示される本発明の実施形態のその他のバリエーション及び修正が、本明細書における教示に鑑み可能であり、かつ本発明の精神及び範囲の一部と見なされるべきであることが理解されるべきである。
ているが、必ずしも同一の実施形態を言及している訳ではない。さらに、本発明の特定の実施形態の特定の特長、構造、又は特徴は、その他の１つ以上の実施形態と、適切な態様で組み合わせられ得る。本明細書において説明されかつ示される本発明の実施形態のその他のバリエーション及び修正が、本明細書における教示に鑑み可能であり、かつ本発明の精神及び範囲の一部と見なされるべきであることが理解されるべきである。
【0620】
また、図面／図に示された要素の１つ以上が、特定の適用に従って有用であるように、より分離されたもしくは一体化された態様で、又は特定の場合には取り除かれもしくは操作不可能な状態とされさえして、実施可能でもあることも認められるであろう。
【0621】
加えて、図面／図中のいずれの信号矢印も、別段の注記が特にない限り、制限するものではなく、例示的なものとしてのみ見なされるべきである。さらに、本明細書上「又は」という語は、別段の指示がない限り、「及び／又は」を意味することが概して意図されている。構成要素又はステップの組み合わせもまた、注記されるように見なされるものであり、ここで用語は、分離するか又は組み合わせる能力は不明確であるとして予測される。
【0622】
本明細書の説明で使用されている通り、かつこの後に続く請求項全体に亘って、「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈上別段の指示がなされていない限り、複数の言及を含む。また、本明細書の説明で使用されている通り、かつこの後に続く請求項全体に亘って、文脈上別段の指示がなされていない限り、「ｉｎ（～における）」の意味は「ｉｎ（～の中）」及び「ｏｎ（～の上）」を含む。
【0623】
本発明の示された実施形態の前述の説明（要約で説明されているものを含む）は、徹底的であること又は本明細書に開示されているまさにその形態を制限することを意図されてはいない。本発明の特定の実施形態及び本発明についての実施例は、例示目的のみのために本明細書において説明されており、関連分野の当業者が認識しかつ理解するように、本発明の精神及び範囲内で多様な同等の修正が可能である。前述のように、これらの修正は、本発明の示された実施形態の前述の説明に鑑みて本発明になされる得るものであり、かつ本発明の精神及び範囲内に含まれるべきである。
【0624】
よって、本発明は、その特定の実施形態に言及して本明細書において説明されてきたが、前述の開示において修正の自由度、多様な変更及び置換が意図されており、かついくつかの事例では、明記されている通りの本発明の範囲及び精神から逸脱することなく、他の特長の対応する使用無しに、本発明の実施形態のいくつかの特長が利用されることが理解されるであろう。従って、本発明の本質的な範囲及び精神に特定の状況又は素材を適応するために、多くの修正がなされ得る。本発明が、以下の請求項で使用されている特定の用語及び／又は本発明を実施するために企図された最良のモードとして開示された特定の実施形態に制限されないことが意図されるが、本発明は、添付の請求の範囲内に該当するあらゆる実施形態及び相当物を含むであろう。よって、本発明の範囲は、添付の請求項によってのみ判定されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【外国語明細書】