知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-24
(45)【発行日】2024-02-01
(54)【発明の名称】デジタル収差補正を有する複合現実光学システム
(51)【国際特許分類】
G06T 5/80 20240101AFI20240125BHJP
【ＦＩ】
G06T5/00 725
【請求項の数】
17
(21)【出願番号】P 2021502427
(86)(22)【出願日】2018-12-27
(65)【公表番号】
(43)【公表日】2021-10-07
(86)【国際出願番号】 IB2018060631
(87)【国際公開番号】W WO2019207350
(87)【国際公開日】2019-10-31
【審査請求日】2021-10-08
(31)【優先権主張番号】2018116223
(32)【優先日】2018-04-28
(33)【優先権主張国・地域又は機関】RU
(73)【特許権者】
【識別番号】515320950
【氏名又は名称】アルマレンス，インコーポレイティド
(74)【代理人】
【識別番号】110001302
【氏名又は名称】弁理士法人北青山インターナショナル
(72)【発明者】
【氏名】シムニコ，ドミトリー ヴァレリーヴィチ
【審査官】粕谷 満成
(56)【参考文献】
【文献】特表２０１８－５０１４９８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１３／０２９３７６１（ＵＳ，Ａ１）
【文献】特開２００４－２３３８６７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０２９３１４６（ＵＳ，Ａ１）
【文献】ITOH, Yuta et al.，Gaussian Light Field: Estimation of Viewpoint-Dependent Blur for Optical See-Through Head-Mounted Displays，IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS，IEEE，2016年11月，VOL. 22, NO. 11，pp. 2368-2376，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7523375
【文献】DO, Yongtae，Optical Aberration Correction by Divide-and-Learn for Accurate Camera Calibration，2014 International Conference on Computational Science and Computational Inteligence，IEEE，2014年05月29日，pp. 178-182，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6822104
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ５／００
(57)【特許請求の範囲】
【請求項1】
ヘッドマウントディスプレイ（ＨＭＤ）であって、光学システムと、
コンピュータで生成された画像、実世界の画像、またはそれらの任意の組合せである複合データと、
前記光学システムによって取得され、前記複合データによって形成される入力画像と、
前記光学システムによって前記入力画像に導入される光学収差と、
アイトラッキングシステムと、
前記光学収差を補正するための非ブラインド・デコンボリューションを有するデジタルレンズとを備え、
前記デジタルレンズが、前記光学システムの光学収差を最適に補正するための第１の手順および第２の手順をさらに含み、前記第１の手順が、前記第２の手順に先立って実行され、
前記第１の手順が、
アイボックスデータを収集するステップと、
光学システムプロファイルを作成するステップであって、前記光学システムプロファイルが前記アイボックスデータを含む、ステップとを含み、
前記第２の手順が、
前記アイトラッキングシステムによって取得されるアイトラッキングデータを形成するステップと、
前記光学システムプロファイルおよび前記アイトラッキングデータを適用することにより補正画像を形成するステップであって、前記補正画像は、前記光学収差が補正された入力画像であるステップと、
前記補正画像をユーザに表示することにより、表示画像を形成するステップとを含み、
前記第２の手順が、
ＮＮを開始するステップと、
ＮＮ出力値を計算するステップと、
ＮＮ出力値から再調整されたＮＮ出力を計算するステップと、
再調整されたＮＮ出力値と元の低周波（ＬＦ）部分とを合算するステップとをさらに含むことを特徴とするヘッドマウントディスプレイ。
【請求項2】
請求項１に記載のシステムにおいて、前記第１の手順が、
点像分布関数（ＰＳＦ）を抽出するステップと、
ニューラルネットワーク（ＮＮ）トレーニングを開始するステップと、
ＮＮの全てのＮＮ重み係数を抽出するステップとをさらに含むことを特徴とするシステム。
【請求項3】
請求項１に記載のシステムにおいて、前記光学システムプロファイルが、ＮＮ重み係数を含むデータであることを特徴とするシステム。
【請求項4】
請求項１に記載のシステムにおいて、前記光学システムが、ハーフミラーベースのシステムであることを特徴とするシステム。
【請求項5】
請求項１に記載のシステムにおいて、前記光学システムが、プリズムベースのシステムであることを特徴とするシステム。
【請求項6】
請求項１に記載のシステムにおいて、前記光学システムが、導波路ベースのシステムであることを特徴とするシステム。
【請求項7】
請求項１に記載のシステムにおいて、前記光学システムが、網膜スキャンベースのシステムであることを特徴とするシステム。
【請求項8】
請求項１に記載のシステムにおいて、前記表示画像が、ユーザの左眼および右眼のために別々に形成されることを特徴とするシステム。
【請求項9】
請求項１に記載のシステムにおいて、前記アイトラッキングデータが、ユーザの眼の瞳孔の３次元座標であることを特徴とするシステム。
【請求項10】
請求項１に記載のシステムにおいて、前記アイトラッキングデータが、中心窩イメージングを含むことを特徴とするシステム。
【請求項11】
請求項１に記載のシステムにおいて、前記アイトラッキングデータが、ユーザの視線方向であることを特徴とするシステム。
【請求項12】
請求項１に記載のシステムにおいて、前記アイトラッキングデータが、ユーザの眼球の３次元座標であることを特徴とするシステム。
【請求項13】
ヘッドマウントディスプレイ（ＨＭＤ）であって、
光学システムと、
コンピュータで生成された画像、実世界の画像、またはそれらの任意の組合せである複合データと、
前記光学システムによって取得され、前記複合データによって形成される入力画像と、
前記光学システムによって前記入力画像に導入される光学収差と、
アイトラッキングシステムと、
前記光学収差を補正するための非ブラインド・デコンボリューションを有するデジタルレンズとを備え、
前記デジタルレンズが、前記光学システムの光学収差を最適に補正するための第１の手順および第２の手順をさらに含み、前記第１の手順が、前記第２の手順に先立って実行され、
前記第１の手順が、
アイボックスデータを収集するステップと、
光学システムプロファイルを作成するステップであって、前記光学システムプロファイルが前記アイボックスデータを含む、ステップとを含み、
前記第２の手順が、
前記アイトラッキングシステムによって取得されるアイトラッキングデータを形成するステップと、
前記光学システムプロファイルおよび前記アイトラッキングデータを適用することにより補正画像を形成するステップであって、前記補正画像は、前記光学収差が補正された入力画像である、ステップと、
前記補正画像をユーザに表示することにより、表示画像を形成するステップとを含み、
前記第１の手順が、
ＰＳＦを２つの部分に分割するステップであって、前記２つの部分が近視野部分と遠視野部分である、ステップと、
前記遠視野部分から遠視野カーネルを計算するステップと、
遠視野補正画像を生成するステップとをさらに含むことを特徴とするヘッドマウントディスプレイ。
【請求項14】
ヘッドマウントディスプレイ（ＨＭＤ）から光学収差を除去するための光学イメージング方法であって、ＨＭＤが、
光学システムと、
コンピュータで生成された画像、実世界の画像、またはそれらの任意の組合せである複合データと、
前記光学システムによって取得され、前記複合データによって形成される入力画像と、
前記光学システムによって前記入力画像に導入される光学収差と、
アイトラッキングシステムと、
前記光学収差を補正するための非ブラインド・デコンボリューションを有するデジタルレンズとを備え、
前記デジタルレンズが、前記光学システムの光学収差を最適に補正するための第１の手順および第２の手順をさらに含み、前記第１の手順が、前記第２の手順に先立って実行され、
前記第１の手順が、
アイボックスデータを収集するステップと、
光学システムプロファイルを作成するステップであって、前記光学システムプロファイルが前記アイボックスデータを含む、ステップとを含み、
前記第２の手順が、
前記アイトラッキングシステムによって取得されたアイトラッキングデータを形成するステップと、
前記光学システムプロファイルおよび前記アイトラッキングデータを適用することにより補正画像を形成するステップであって、前記補正画像は、前記光学収差が補正された入力画像である、ステップと、
前記補正画像をユーザに表示することにより、表示画像を形成するステップとを含み、
前記第２の手順が、
ＮＮを開始するステップと、
ＮＮ出力値を計算するステップと、
ＮＮ出力値から再調整されたＮＮ出力を計算するステップと、
再調整されたＮＮ出力値と元のＬＦ部分とを合計するステップとをさらに含むことを特徴とする方法。
【請求項15】
請求項１４に記載の方法において、前記第１の手順が、
ＰＳＦを抽出するステップと、
ＮＮトレーニングを開始するステップと、
ＮＮの全てのＮＮ重み係数を抽出するステップとをさらに含むことを特徴とする方法。
【請求項16】
請求項１４に記載の方法において、前記光学システムプロファイルが、ＮＮ重み係数を含むデータであることを特徴とする方法。
【請求項17】
請求項１４に記載の方法において、前記表示画像が、ユーザの左眼および右眼のために別々に形成されることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、広義には、光学システムの分野に関し、具体的には、仮想現実（ＶＲ）システムおよび／または拡張現実（ＡＲ）システムに使用される光学イメージングデバイスに関するものである。
【0002】
より詳細には、本発明は、デジタルコンポーネント（すなわち、計算ソフトウェア）によってＶＲ／ＡＲ光学システムの収差を補正することを可能にする。本発明は、追加の光学素子または設計変更を導入することなく、品質を改善することにより、ＶＲ／ＡＲ光学システムの光学設計の限界および／または適用範囲を拡張する。
【背景技術】
【0003】
仮想現実（ＶＲ）とは、人工的にシミュレートされた３次元（３Ｄ）環境として定義され、ユーザはその中に没入することができる。ＶＲの２つの重要な価値は「没入性」と「インタラクティブ性」である。没入性は、五感すべてがＶＲに関与しているときに発生し、インタラクティブ性は、ユーザが体の動きを通じて自分の環境と対話できるときに達成される。
【0004】
このため、感覚フィードバックと仮想世界は、仮想環境を構築するために必要な二つの要素である。仮想世界とは、結果として得られる仮想環境を意味のあるものにする、環境内の仮想オブジェクトとそれらの関係を含むものである。感覚フィードバックは、ユーザの感覚状態を一定の時間間隔で反映している。
【0005】
ＶＲは実世界の環境をシミュレートされたものに置き換えるのに対し、拡張現実（ＡＲ）は、実世界の現在の（リアルタイム）知覚を変更し、その要素が、理想的には現実世界と空間的に位置合わせされた複数の感覚モダリティ（例えば、視覚、聴覚、触覚、体性感覚および嗅覚）にわたって、コンピュータの生成した知覚情報によって「拡張」された（または差し引かれた）実世界環境のライブビューを提供し、没入性を可能にする。「複合現実」は、本明細書では、ＶＲおよび／またはＡＲイメージング技術を含む用語として定義される。
【0006】
ヘッドマウント（またはヘルメットマウント）ディスプレイ（ＨＭＤ）は、ＶＲ／ＡＲに関連する最も認識し易いデバイスである（「ＶＲメガネ」と呼ばれることもある）。リハビリテーションからデータの視覚化まで、ＨＭＤベースの複合現実技術は、ゲーム、軍事、航空、医療、エンジニアリングなど、数多くの用途があることが分かっている。
【0007】
通常、ＨＭＤは、片眼または両眼の前に小さなディスプレイを有する、頭部に（またはヘルメットの一部として）装着されるディスプレイデバイスに基づくものである。広義には、ＨＭＤは、ユーザの頭部に装着されて、ユーザの周辺視野を含む視覚情報を直接眼に提示するデバイスとして定義することができる。
【0008】
ＨＭＤは、その動作技術および視覚情報により異なり、具体的には、コンピュータ生成画像（ＣＧＩ）のみ、現実世界からのライブ画像、またはその両方の組合せを表示する点において異なる。
【0009】
ＨＭＤは、その眼タイプによって、単眼（片眼視）と両眼（両眼視）とにも分類され、任意選択的には、立体視覚のために各眼に僅かに異なる画像の視点を提供する。
【0010】
ＨＭＤはさらに、ビデオ透過、光学透過および投影型に分類することができる。透過アプローチでは、仮想環境が（現実の）ビデオフィードに置き換えられ、ＡＲがデジタル化された画像に統合される。光学透過アプローチでは、透過光学コンバイナ（例えば、半透明ミラー、プリズムまたはホログラフィック光学素子）を使用して、ＡＲ情報が現実世界に直接加えられる（重ね合わせられる）。投影ＨＭＤでは、ＡＲ画像が実際のオブジェクトに投影され、ユーザの眼に後方反射される。
【0011】
また、網膜投影（網膜スキャンディスプレイ［ＲＳＤ］または網膜プロジェクタ［ＲＰ］としても知られている）技術もＨＭＤに適用可能である。それは、ユーザの眼の網膜に直接画像を投影（ラスタリング）する。ユーザは、眼の前の空間に、従来のディスプレイが浮かんでいるように見える。網膜投影技術により、外部スクリーンや複雑な光学素子が不要になる。現世代の網膜投影型ＶＲヘッドセットは、眼の近くに配置された小さなスクリーンの視覚距離を調整するために特別なレンズを利用している。
【0012】
ＨＭＤを設計する際の課題は、高い画像品質とコンパクトさの両方を実現することである。そのような仕様は、（ユーザの頭にフィットするという）幾何学的な制約によって大きな幾何学的収差が引き起こされるため、困難である。
【0013】
殆どのＶＲ／ＡＲシステムは、何らかの形の（位置）トラッキングを利用しており、それは、ＨＭＤの外部にあるセンサやカメラを使って実行されることが多い。それらの周辺機器は、デバイスの範囲内のどこであっても、ユーザの頭、体および手の位置を追跡することができる。
【0014】
特定のＨＭＤ構成には、ユーザの注視点を測定し、コンピュータがユーザの視線（ユーザがどこを見ているか）を検知することを可能にするアイトラッキング手段が含まれる。この情報は、ユーザインターフェースナビゲーションが使用される様々なＶＲ／ＡＲアプリケーションにとって重要である。ユーザの注視（線）を検知することにより、システムは、特定の（例えば、追加された）詳細にユーザの注意を引くことで、（ＨＭＤによって表示される）情報を変更することができる。
【0015】
アイトラッキングリアルタイム測定（およびその外挿）は、ＨＭＤの視覚データを変更するために使用される。例えば、ＨＭＤは、潜在的に、自然な視覚をより良くシミュレートするために（すなわち、より優れた没入性のために）、表示される視野の深さを変更することができる。また、ＶＲオブジェクトは、ユーザの視線に反応したり、ユーザが仮想世界でＶＲ／ＡＲアイテムを選択できるようにしたりすることもできる。ＨＭＤにアイトラッキング技術を使用することは、真にリアルなＶＲ／ＡＲ体験のために不可欠であることが証明されており、遥かに自然に簡単な方法でユーザインターフェース対話を可能にする。
【0016】
過去数十年の間に、高品質の光学部品やシステム（例えば、一眼レフ［ＳＬＲ］カメラ）をサポートするために、イメージング光学系はますます複雑になってきている。高度に複雑な光学素子は、通常、利用可能な開口率を効果的に使用するために、そして重要なことに、単純なレンズ素子に内在する望ましくないアーチファクトを補償するために必要とされる。
【0017】
一般に、どの光学システムも、幾何学的歪み、色収差（波長依存焦点面）、球面収差（光軸距離依存焦点距離）、コマ（焦点に対する角度依存性）などの光学アーチファクトの影響を受ける可能性がある。このようなアーチファクト（すなわち、理想的な「薄レンズ」モデルからの非線形偏差）を最小化することは、イメージングシステム全体の効率を最適化する上で重要な部分である。
【0018】
単一の光学素子の各々は、そのようなアーチファクトに悩まされているため、特に高品質のイメージングが（例えば、写真撮影において）必要とされる場合には、通常、様々なレンズ素子の組合せが使用されることが多かった。しかしながら、複雑な収差補償光学システムは、遥かに優れた幾何学的イメージング特性を有するが、製造コストの高さ、重量、レンズフレア、信頼性の低下などに悩まされている。
【0019】
具体的には、一般的なＨＭＤ－ＶＲシステムは、そのウェアラブルな性質のために、システムを可能な限りユーザの邪魔にならないようにするために、比較的薄くて軽量なＶＲ／ＡＲレンズを採用している。当然のことながら、小型軽量の（大量生産のため比較的安価な）光学素子を使用すると、例えば、多くの場合数十個の光学素子で構成される高品質のレンズと比較して、光学システムの品質が低下する。そのような画質の低下は、ＨＭＤディスプレイに使用されるより薄い／より小さい（多くの場合、プラスチックおよび／またはフレネルレンズコンポーネントで作られている）レンズが収差を生じて、最終的にユーザのＶＲ体験を損ない易い、という事実に起因している。
【0020】
現代のＶＲ ＨＭＤ製造業者は、より高い解像度のディスプレイに移行しているが、画質は既に、光学システムの能力の限界に近付いている。代替的なアプローチには、例えばＭａｓｓｏｆによる米国特許第６，５２９，３３１号に記載されているように、画像解像度を向上させることを意図した煩雑な複数のコンポーネント構成が含まれており、この構成では、高解像度ＨＭＤ－ＶＲ体験のためにディスプレイのアレイ（例えば、各眼毎に１３個のディスプレイおよび対応する光学素子）が提案されている。
【0021】
Ａｎｔｏｎによる国際公開第２０１７／１０８２１１号は、接眼部および像面がある角度（好ましくは１°～５°）だけ相対的に傾斜して、視野を通して軸上および軸外の光学収差（非点収差など）を平均化するＨＭＤの実施形態を記載している。さらに、この発明では、光学部品の非フレネル光学面が、色収差を低減するための特定の回折面を構成することができる。
【0022】
明らかに、従来の光学設計は、低重量／小さいフットプリント／低コストと、高解像度および低光学収差光学系との組合せなど、最新のＶＲ／ＡＲシステムのための相互に矛盾する要件に対処することができない。
【0023】
（ＨＭＤのウェアラブル性によって制限される）物理的なＨＭＤの変更とは別に、（入力画像を生成するために使用される）ＨＭＤ光学システムの詳細な知識も、望ましくないアーチファクトの補正において重要な役割を果たす可能性がある。この（レンズプロファイルに基づく）知識は、計算上の（すなわち、デジタルの）収差補正に使用することができる。
【0024】
レンズプロファイルベースの画像補正方法は、典型的には、様々なタイプのレンズ歪み（例えば、高コントラストエッジでのカラーフリンジ、口径食など）の（自動）補正のために、光学レンズ／システムの既知の特性を利用する。例えば、Ｅｎｏｍｏｔｏによる米国特許第６，８６２，３７３号に記載の方法は、光学素子（レンズ）によって撮影された画像からの入力データと、この画像を記録するために使用されたレンズに関する情報の両方を取得することを説明している。この方法は、記録時の焦点距離および絞り（すなわち、レンズ開口絞り）に関する情報と、画像中の収差およびケラレを補正するためのレンズ特性に関する情報を使用する画像処理をさらに説明している。
【0025】
例えば、Ｂｅｕｒｅｔ等は、ＨＭＤの収差を動的に補正するために空間光変調器（ＳＬＭ）回折素子を使用して透過ＨＭＤに適用される実験的な収差補正について述べている。しかしながら、そのようなシステムは、ＳＬＭ、ホログラフィックコンバイナ、集中的なリアルタイム画像処理など、必要なコンポーネントの性質上、実用的ではないことが分かる。
【0026】
我々の知る限りでは、デジタル収差補正は、（標準的な歪み補正と横方向の色収差の放射状称部分を除いて）ＨＭＤベースの複合現実システムに未だ効果的に適用されていない。
【0027】
本開示は、このＨＭＤ光学システムについての予め計算されたプロファイルやユーザの眼の位置などの事前情報を含むデジタルアルゴリズムを適用して、複合データ（すなわち、エミュレートおよび／またはキャプチャされたＶＲ／ＡＲシーン）から得られた入力画像のリアルタイム画像処理を提案する。
【0028】
また、開示の技術は、アイトラッキングシステムを利用して、ユーザの瞳孔位置を測定する（例えば、ユーザの視線を計算する）。一般的なアイトラッキングの原理はよく知られ、他にも記載されており（例えば、Ｂｏｕｖｉｎによる米国特許第８，１２０，５７７号を参照）、この文献では、眼球の動きに合わせたカメラが、ユーザによって着用される眼鏡フレーム内に配置されている。
【0029】
本発明の好ましい実施形態では、「デジタルレンズ」が、電子光学収差補正のための非ブラインド・デコンボリューションアプローチに基づいており、これは特に（軽量の）ＨＭＤ ＶＲシステムのために最適化されている。同様の方法は、Ｓｈｍｕｎｋによる国際公開第２０１２／０１８２８２号に最初に開示されており、同文献には、既存の光学イメージングシステムの知識（すなわち、プロファイリング）に基づく同様の非ブラインド・デコンボリューション手法が記載されている。この国際公開第２０１２／０１８２８２号では、人工ニューラルネットワーク（ＮＮ）が同様の方法で適用されているが、（本開示の単一の入力画像における収差の低減とは対照的に）複数の入力画像を使用して光学解像度を向上させることに重点が置かれている。
【0030】
一般に、点像分布関数（ＰＳＦ）は、光伝播およびイメージングシステムの性能を予測する上で重要な特性である。このため、本発明の好ましい実施形態では、「デジタルレンズ」が、画像の様々なスケール（すなわち、エミュレートおよび／またはキャプチャされた画像の詳細）に対するＰＳＦ抽出と、その後のＮＮトレーニングとに基づいている。
【0031】
本開示は、（例えば従来の）低コストの光学部品を使用しながらも、品質が改善された（ＨＭＤベースの）ＶＲ／ＡＲシステムを説明する。提案する設計は、複雑な（大きく、重く、高価な）光学システムの必要性を排除すると同時に、より優れた画質を提供し、最終的には、より優れたユーザのＶＲ／ＡＲ体験を提供する。
【0032】
具体的には、複雑な光学系を使用する代わりに、ＨＭＤ光学システムの収差を補正するための前処理または後処理の演算コンポーネントを追加することにより、ＶＲ性能の向上が達成される。このようなコンポーネント（すなわち、開示のアルゴリズムに基づく演算処理）を、以下、光学システムの「デジタルレンズ」と称する。通常、そのようなデジタルレンズ（ＤＬ）は、以下に詳細に述べるように、予め規定された光学システムの光学プロファイリングと、ユーザの瞳孔位置の知識とを含む。
【0033】
開示の方法は、ＶＲ／ＡＲ ＨＭＤベースのシステムの適用可能性を拡大する。これは、既存のレンズ／ディスプレイ設計に適用することも、典型的なハードウェアの制約から解放された新しいＨＭＤ設計で使用することもできる。さらに、開示の本発明は、任意のＨＭＤ構成および技術（プリズム、半透明ミラー、プロジェクタ、フレネルレンズなど）に適用可能である。
【0034】
本発明の更なる特徴および態様は、添付図面に関する好ましい実施形態および任意選択的な実施形態の以下の説明から明らかになるであろう。
【発明の概要】
【0035】
本発明は、コンピュータ生成画像、実世界の画像（またはその可能な組合せ）などの複合現実データを入力画像の形式で受信するように設計された光学システムに基づくヘッドマウントディスプレイ（ＨＭＤ）について述べる。光学システムは、そのような入力画像を処理するように設計されており、また、偶然に光学収差をその中に導入するように設計されている。さらに、本発明は、光学収差を補正するために適用されるデジタルレンズ（すなわち、デジタルアルゴリズム）を含む。
【0036】
また、本発明は、ユーザの眼の位置またはユーザの視線方向を追跡するためのアイトラッキング手段も述べている。
【0037】
デジタルレンズ自体は、結果とし生じる２つの手順に基づいている。第１の手順は、アイボックスデータおよび光学システムプロファイル（例えば、ニューラルネットワーク［ＮＮ］重み係数）を生成することを含む一方で、結果的として生じる第２の手順は、アイトラッキングデータを生成し、光学システムプロファイルを適用して、前記光学収差のない補正画像を形成する。その後、補正画像は、ＨＭＤのユーザに表示される。
【0038】
さらに、第１の手順は、点像分布関数（ＰＳＦ）抽出、ＮＮトレーニング／重み係数抽出、近視野部分および遠視野部分へのＰＳＦの分離、遠視野カーネルの計算、遠視野補正画像の生成を含むことができる。一方、第２の手順は、ＮＮの開始、（再調整された）出力計算、再調整されたＮＮの出力値と低周波（ＬＦ）部分との合算を含むことができる。
【0039】
本開示は、ハーフミラーベース、プリズムベース、導波管ベース、または網膜スキャンベースのシステムなどの様々なＨＭＤ構成に適用することができ、任意選択的には、ユーザの左眼および右眼のために設計されている。
【0040】
アイトラッキングデータは、瞳孔／眼球の３次元座標、または視線方向を含む。さらに、アイトラッキングデータに関連して、中心窩イメージングを実行することができる。
【0041】
さらに、本開示は、説明するＨＭＤシステムに基づいて、光学収差を除去するための光学イメージング方法を述べている。そのような方法は、ＮＮトレーニングのためのＬｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔアルゴリズムを含むことができる。
【図面の簡単な説明】
【0042】
【発明を実施するための形態】
【0043】
本開示において、「ＨＭＤ」という用語は、ユーザの頭部に装着されるように適合されたハウジングとして定義され、ハウジングは、ＨＭＤ光学システムを保持して、複合データを処理し、その処理されたコンテンツを表示画像の形式でユーザの視覚野に提示するように適合されている。
【0044】
本開示では、「表示画像」という用語は、視聴者によって観察される画像を指している。
【0045】
本開示において、「複合データ」という用語は、コンピュータ生成画像（ＣＧＩ）によって生成された（すなわち、エミュレートされた）画像情報として定義され、この画像情報は、任意選択的には、実世界の情報によって拡張され（すなわち、ＡＲアプリケーション）、実世界の情報は、カメラによってキャプチャされるか、またはＨＭＤ光学システムによってユーザの眼に直接伝えられる。
【0046】
入力画像は、前述した複合データ（すなわち、ＣＧＩのみ、または現実世界の画像を含むＣＧＩ）によって形成される視覚情報である。具体的には、本開示では、「入力画像」という用語は、ＣＧＩ、現実世界からの画像、またはそれらの任意の組合せを含む画像として定義される。
【0047】
（ＨＭＤ）光学システムは、入力画像を受信し、そのコンテンツを表示画像に変換するように適合されている。「光学システム」という用語は、ＤＬ（すなわち、デジタルレンズにデータを提供するアイトラッキングシステムを有するデジタルレンズ）を除く、表示画像を作成するために使用されるＨＭＤ光学システムのすべてのコンポーネントとして定義される。
【0048】
「キャプチャ画像」という用語は、本明細書では、デジタルカメラによってキャプチャされた画像を指している。キャプチャ画像は、入力画像の一部であってもよいし（例えば、ＨＭＤのＡＲ実装の場合）、入力画像から完全に除外されるものであってもよい（例えば、ＶＲ ＨＭＤアプリケーションの場合）。
【0049】
ＣＧＩデジタルコンテンツは、コンピュータ処理手段（例えば、ＧＰＵ－グラフィックス処理ユニット）によって作成されて、ＨＭＤハウジング内に統合されるか、または別個に配置される、すなわち、光学システムと（ケーブルまたは無線によって）接続される。
【0050】
（ＨＭＤ）光学システムは、ユーザが光学システムを介して周囲の環境（実世界）を見ることができるように、透過性（シースルー）になるように適合させることができる。代替的な光学システムの実施形態は、投影ベースのＨＭＤおよび網膜投影ベースのＨＭＤを含むことができる。
【0051】
本発明の好ましい実施形態では、アイトラッキング測定が、ＨＭＤに統合された又は別個に使用されるアイトラッキングシステムによって実行される。「アイトラッキングシステム」とは、ユーザの瞳孔の位置と、場合によってはユーザの視線方向とを測定する（すなわち、リアルタイムで追跡する）ために使用されるシステムとして定義される。このようなアイトラッキング測定値を、以下「アイトラッキングデータ」と称する。
【0052】
アイトラッキングデータは、表示される視覚情報を事前に補正するために使用される。本発明の好ましい実施形態では、シースルー（ビデオまたは光学の何れか）、ニアアイ、複合現実ディスプレイデバイスの共有光学系を使用して、アイトラッキング（カメラベースまたはカメラレスの何れか）と表示機能を統合するための技術が提供される。
【0053】
ユーザのアイトラッキングデータ（例えば、瞳孔の位置）の知識は、「中心窩イメージング」技術を実装することを可能にする。一般に知られているように、「中心窩イメージング」は、単一または複数の「固定点」に従って、画像解像度（または詳細量）が画像全体にわたって変化するデジタル画像処理技術である。本発明に関連して、固定点は、入力画像の最も高い解像度領域を示し、眼の網膜の中心、すなわち中心窩に対応する。
【0054】
本発明の好ましい実施形態では、アイトラッキング可能な中心窩イメージングにより、デジタルレンズアルゴリズムを入力画像に選択的に適用することが可能になる。具体的には、最も強い収差補正（入力画像の最も高い解像度領域）が、ユーザの視線、すなわちユーザの中心窩に対応する（入力画像内の）固定点の周りに適用される。このような最も強い収差補正は、非点収差および／または球面収差によるスミアの補正を含む。入力画像の残りの部分は、例えば横方向の色収差のみを補正することによって、より単純な手法で処理することができる。
【0055】
ＨＭＤシステムの先行技術例として、Ｈｅｉｎｒｉｃｈによる米国特許第９，４２９，７７２号およびＫｒｅｓｓによる米国特許第９，６５８，４５３号によるものが図１（ａ）および図１（ｂ）にそれぞれ示されている。後者の技術（Ｋｒｅｓｓ）には、ディスプレイユニットまたは（ＨＭＤでよく使用される）回折コンバイナの何れかに起因する種々の光学的欠陥を補正する光学素子が記載されている。Ｋｒｅｓｓは、回折光学コンバイナ（フラット、平面設計）による表示光の反射が理想的ではなく、その結果、（反射された表示光の）歪み、色滲み、球面収差、コマ収差、非点収差などの光学的収差が生じることを認めている。
【0056】
回折光学コンバイナは、一部の設計では湾曲させることができるが、その場合、複雑さが増し、追加の製造ステップも必要となる。さらに、色滲みは、単一色または単色の表示源を使用することによって対処することができるが、残りの光学収差のうち、非点収差は、依然として、画質を最も低下させる主要な収差である。Ｋｒｅｓｓはさらに、（眼への反射時に回折光学コンバイナによって導入される光学収差を補正するために）取り得るステップを述べており、このステップは、上述した他の光学収差に加えて、回折光学コンバイナによって誘発される非点収差の少なくとも一部を事前に補償するように設計された追加の光学素子を含む。そのような光学素子は、クリップ、ヒンジングクラスプまたはクランプ、透明接着剤、摩擦係合または別の方法で、挿入し、スライドさせ、取り付けることができる。
【0057】
光学シースルーヘッドマウントディスプレイ（ＯＳＴ－ＨＭＤ）の様々な設計が図２に示されている。具体的には、図２は、ＯＳＴ－ＨＭＤの（ａ）ハーフミラータイプ（すなわち、半透明平面ミラーまたは立方体プリズム）、（ｂ）プリズムベースタイプ、（ｃ）導波管ベースタイプ、（ｄ）網膜スキャンタイプをそれぞれ概略的に示している。
【0058】
図３を参照してさらに説明するように、ＨＭＤ動作中に補正画像を得るために、画像（３１）は、最初にデジタルレンズ補正要素（３２）を通過し、その後、従来の１または複数の光学素子（３４）（例えば、薄いプラスチックレンズ）を有するＨＭＤデバイス（３３）に出力される。その後、補正された画像（３６）は、ユーザの眼（３７）によって観察される。この補正画像（３６）は、図３に概略的に示すように、収差がなく、デジタルレンズ（３２）が適用されていない従来の処理画像（３５）と比較して、より高い解像度を有する。本開示の目的は、従来の画像（３５）と比較して、より良好でより現実的なＶＲ／ＡＲ体験のために補正画像（３６）を使用することである。
【0059】
本開示は、表示イメージングパイプラインにおける事前補正ステップとしてデジタルレンズ（以下、ＤＬ）を使用することを提案する。そのようなＤＬは、仮想的な「補正レンズ要素」として機能し、収差補正に必要な追加の（例えば、重くて複雑な）光学素子の必要性を排除する。そのようなＤＬ要素を形成するために、本発明の好ましい実施形態では、高品質／高解像度カメラが、ＨＭＤの通常の動作中に観察者の眼の位置に対して正確に配置され、プロファイリング画像がこのカメラでキャプチャされる。その後、後述するように、光学システムプロファイルが作成される。
【0060】
さらに、前述したように、ＨＭＤは、（アイトラッキングシステムによる）瞳孔位置トラッキングを含む。光学システムの残りの部分に対する眼の位置を知ることによって、そのようなシステムで発生する収差の正確なＤＬ補正が可能になる。
【0061】
ＤＬを使用することにより、色縁が除去され、収差のある原画像のコントラストと細部が見えるようになる。ＤＬは、縦方向の色収差やＨＭＤ光学素子のＭＴＦ（変調伝達関数）劣化を引き起こす収差を含む、前述したすべてのタイプの収差を潜在的に補正することができる。
【0062】
（上記で定義されるような）入力画像の一般的な場合の（光学システムの仮想要素としての）ＤＬのＨＭＤベースのＶＲシステムへの適用は、図４に関連して概略的に示されており、ここでは、ＨＭＤ（４１０）がＨＭＤ光学システムのコンポーネント（４０）～（４７）を備えている。
【0063】
ここで、複合データ（４０）（すなわち、ＶＲ／ＡＲシーン）は、ＣＧＩ（４１）のみによって（例えば、ＶＲアプリケーションのために）提供されるか、またはＣＧＩ（４１）とカメラ（４２）によって観察されたキャプチャ画像（４３）（すなわち、実世界の画像）との組合せとして提供される。
【0064】
結果として得られる生成物（４４）は、（上記で定義されるような）入力画像であり、本質的には、ＨＭＤ（４１０）に提供される入力情報である。
【0065】
その後、デジタル収差補正は、入力画像（４４）に含まれる収差を補正するために適用される演算コンポーネント（４５）（すなわち、ＤＬ）によって、ＨＭＤの従来のレンズ（４９）の適用に先立って実行される。
【0066】
得られる表示画像（４７）は、従来の対物／光学レンズ（４６）を適用した後に得られる。得られる表示画像（４７）は、入力画像（４４）に本質的に含まれる前述した収差のない、大幅に改善された入力画像（４４）を表しているという意味で、補正された画像である。
【0067】
重要なことに、ＤＬ（４５）のデジタルアルゴリズムには、特定の「外部」データ、具体的には「光学プロファイル」情報（４８）およびアイトラッキングデータ（４９）（例えば、瞳孔の位置）が提供される。
【0068】
アイトラッキングデータ（４７）がアイトラッキングシステムによって提供されるのに対し、光学プロファイル情報（４６）は、ＨＭＤ（４１０）のプロファイリングによって得られる。
【0069】
具体的には、ＤＬ（４５）が適用されていない状態で（すなわち、ＨＭＤの実際の動作に先立って）、ＨＭＤ（４１０）の光学システムをプロファイリングすることにより、光学プロファイルデータ（４６）が作成される。このＨＭＤの光学的プロファイリングについては、（手順Ｉとして）さらに詳細に述べる。
【0070】
開示の本発明は、好ましくはＨＭＤ適応光学システムにおいて、好ましくはさらに詳細に述べる非ブラインド・デコンボリューション技術を使用して、光学収差を補正するタスクに役立つ。本明細書では、「非ブラインド」という用語は、本発明が、対象となる光学システムを「プロファイリング」することによって既知の（例えば、事前に評価された）点像分布関数（ＰＳＦ）を利用するという意味で使用される。一般に、ＰＳＦは、点状のオブジェクトまたは点光源に対するイメージングシステムの（３次元的な）応答を説明する。機能的には、ＰＳＦは、空間領域におけるイメージングシステムの伝達関数である。
【0071】
具体的には、本開示の方法は、光学システムの計算上の収差補正を、以下のように２つの別々の手順に分離することに基づいている。
【0072】
手順Ｉ：光学システムのプロファイリング。具体的には、（例えば、ＨＭＤベースの）光学システムに関する情報を含む「光学プロファイル」を取得する。この手順では、この光学システムによって誘発される収差を最適に補正する方法の情報が得られる。その後、この情報は、この特定の光学システムのための「光学プロファイル」の形式で保存される。通常、このような光学システムのプロファイリングは、時間のかかる反復的なプロセスである。幸いなことに、選択した光学システムに対してそれを実行するのは一度（例えば、設計／製造されたとき）だけである。
【0073】
手順ＩＩ：光学システムの収差の補正。ここでは、光学システムで得られたデータ（画像）に直接ＤＬを適用する。ＤＬは、（手順Ｉからの）光学プロファイルの情報と、（アイトラッキングシステムによって得られた）アイトラッキングデータとを含む。結果として得られる、すなわち「補正」された画像は、さらに、画像信号処理手段および表示手段を介して（ＤＬ補正なしの場合と同様の方法で）処理および表示することができる。このステップは、非反復的で比較的高速であり、画像の光学収差補正を、例えばビデオ信号のフレームレートで、既存の画像プロセッサおよび／または電力に制約のあるモバイルデバイスの何れかで実行することを可能にする。
【0074】
これらの２つの別々の手順ＩおよびＩＩは、本開示の上述したＶＲ／ＡＲ ＨＭＤシステムを含む様々なイメージングアプリケーションのために最適化することができる。本発明の好ましい実施形態では、手順Ｉは、選択された光学システムを効果的にプロファイリングするために、人間の眼の位置を高品質の画像捕捉デバイスに置き換えることによって、選択されたＨＭＤ光学システムで実行される。その結果、この光学システムによって後で生成される任意の画像は、手順ＩＩにおいて日常的に補正することができ、本質的に、そのような（例えば、不完全なＨＭＤ）光学システムに内在する収差を打ち消すことができる。
【0075】
本発明の好ましい実施形態の手順Ｉは、２つの主要なステップを含み、具体的には、プロファイリング画像キャプチャおよび幾何学的／ラジオメトリックアライメントを行うステップ１と、光学システムの光学プロファイルを作成するステップ２とを有する。これらの２つのステップは、以下に詳細に記載されている通りである。
【0076】
ステップ１（手順Ｉ）：プロファイリング画像キャプチャおよび幾何学的／ラジオメトリックアライメント。図５を参照して以下に詳細に説明するように、このステップでは、コンピュータ生成チャートのセットが作成される。これらのチャートは、ＨＭＤ上に表示される。その後、これらのコンピュータ生成チャートは、プロファイリングされる光学システムによって記録され（図４の（４４）としても示されている）、通常はＮ個の、画像（５１）のシーケンスを生成する。
【0077】
画像のシーケンス（５１）は、焦点距離、絞りサイズ（レンズの絞り値）、焦点距離などの光学システムのパラメータ（すなわち、キャプチャ時に使用されたカメラのメタデータ）の知識を含む。
【0078】
このようなコンピュータ生成チャートの複数のシーケンス（すなわち、セット）は、通常のＨＭＤ操作中に観察者の眼を見付けることができる様々な異なる位置に正確に配置された別個の外部光学システム／カメラを用いて記録する必要がある。そのような位置（すなわち、ＨＭＤに対して瞳孔を配置することができる空間内のボリューム）は、アイボックスと呼ばれる。それらのコンピュータ生成チャートは、光学システムのプロファイリングに使用されるアイボックスデータを表している。
【0079】
そのようなアイボックスデータは、観察者の眼の位置に関する収差特性に関する情報を提供し、本質的には、観察者の存在なしにアイトラッキングデータをエミュレートする。これは、眼球位置、瞳孔位置または視線方向（何れも、ＨＭＤの光学システム、すなわちアイボックスに対して合わされる）のうちの少なくとも１つのアイボックス測定に依存することができる。
【0080】
図５にさらに示すように、キャプチャ画像のシーケンスからのチャート（５１）の幾何学的およびラジオメトリックアライメント（５３）が実行される。この目的のために、シーケンス（５１）およびそれらのキャプチャされたバージョンからのプロファイリング画像のサブセット（（５２）の出力）は、幾何学的アライメント（すなわち、シーン／特徴のアライメント）およびラジオメトリックアライメントを容易にする（すなわち、各画像内の色値の非線形関数を推定し、それを適用して画像をラジオメトリックに整列させ、それにより、色値がシーケンスのすべての画像について一貫するようにする）ために使用される。
【0081】
このようなアラインメント手順の間、コンピュータ生成チャート（５１）は、記録された画像、すなわち、プロファイリングされるシステムによって生成されたチャート画像のバージョンと整列されることに留意されたい。そのような画像はすべて、同じカメラ設定で、同じ照明条件でキャプチャされるため、相互に位置合わせする必要はない。
【0082】
幾何学的およびラジオメトリックアライメントのための様々な既知の画像処理技術が先行技術において報告されており、チャートの一致した色および幾何学的特徴に関して（可能な限り）正確な画像アライメントを提供することを目的として、本開示の方法で利用することができる。
【0083】
このアライメント処理（５３）の出力は、整列された画像（５４）のペアである。本発明の好ましい実施形態では、コンピュータ生成バージョンに幾何学的およびラジオメトリックに整列された画像チャートのサブセットが、アライメントプロセスの出力（５４）の一部として提供される。図５に示すように、そのようなペアは、いわゆる「チャート」と、対応する「整列」画像とを含む。
【0084】
これらの画像（５４）（すなわち、チャートおよびそれらの互いに整列されたバージョン）は、光学システムのプロファイルの作成において使用され、具体的には、特定の光学システムの収差を補正する方法についての知識を抽出するために、さらに使用される。
【0085】
ステップ２（手順Ｉ）：光学システムの光学プロファイルの作成。図６を参照して、光学システムのプロファイル作成の全体プロセス（手順Ｉ）を詳細に説明する。このプロセスは、入力画像のペア－チャートおよび整列画像（６１）（図５の（５４）も参照）から開始され、それらは（任意選択的に）タイルに分割される（６２）。このデータは、遠視野画像補正および点像分布関数（ＰＳＦ）抽出を含む遠視野補正（６４）に渡される。遠視野補正（６４）は、２つの出力、すなわち、光学システムプロファイル（６３）に格納された遠視野カーネル係数と、近視野収差のみが残っているピクセルデータとを提供する。
【0086】
それらのピクセルデータは、低周波（ＬＦ）／高周波（ＨＦ）分離（６６）に従う。（６６）の出力は、以下のようにＮＮ（６９）の入力として提供される。ＬＦ空間周波数を含むピクセルデータ（ＬＦ部分）は直接渡され、ＨＦ空間周波数を含むピクセルデータ（ＨＦ部分）はデータ調整（６８）を受けてＮＮ（６９）に渡される。（６２）（またはタイリングステップが使用されない場合は（６１））から直接提供されるピクセルデータの（画像平面内またはタイル内の）座標は、ＮＮ（６９）への別の入力を形成する。
【0087】
ＮＮ（６９）はさらに、ターゲットピクセルデータをトレーニングする必要がある。そのようなピクセルデータは、ＨＦフィルタ（６５）およびデータ調整（６７）を介して、整列画像から提供される。また、トレーニング後に得られるＮＮの重みおよびバイアス（６９１）も、光学システムプロファイル（６３）に格納される。
【0088】
図６に示すように、チャートおよび整列画像（６１）（またはそれらの整列タイル（６２））のデータは、以下のように、データ空間周波数に応じて２つの部分に分離される。
【0089】
一方の部分（６５）には空間周波数の高いコンテンツ（以下、データから抽出されたＨＦ部分と称する）のみが含まれ、他方の部分（６６）にはＨＦ部分とＬＦ部分（以下、データから抽出された空間周波数の低いコンテンツと称する）の両方が含まれる。この分離は、ローパスカーネルとハイパスカーネルに基づく任意の周知の線形フィルタをそれぞれ適用することで実現できる。重要なことに、ＬＦ部分（６６）は、一般に収差の影響を受けず、よって、処理せずにそのまま渡すことができる。しかしながら、ＨＦ部分（６５）は、望ましい改善された画像を得るために適切に補正する必要がある。ＬＦ部分（６６）およびＨＦ部分（６５）の両方は、上述したように、チャートおよび整列画像について、またはそれぞれのタイルについて（画像をタイルに分割する前述したオプションが使用される場合）、別々に抽出される。
【0090】
図６に示すように、このステップでは、ＨＦ部分から以前に得られたピクセルデータが、調整手順（３７）によって準備され（すなわち、「調整」され）、ＮＮトレーニング（６９）用の入力データ（参照）の役割を果たす。通常、ＮＮ（６９）は、ほぼ未知の多数の入力に依存する関数係数（６９１）を推定（または近似）するために、機械学習において使用される。画像処理において、ＮＮは、自己事前トレーニング手順のために参照（入力）画像を使用することができ、このことは、文献の他の場所に詳しく記載されている。
【0091】
ＮＮトレーニングの開始前に、様々な既知のデータ前処理手法を日常的に使用することができる。再調整（６７）（ＮＮトレーニング後のデータ操作）は、ＮＮトレーニング効率を向上させるために、例えば、ＮＮトレーニングエラーを低減するために使用することができる。再調整（６７）は、前処理ステップ（６８）の逆処理と（必ずしも同等ではないが）似ている。例えば、ＮＮデータのダイナミックレンジが何らかの方法で縮小された場合、ＮＮの出力は、対応するダイナミックレンジの拡大により再調整する必要がある。
【0092】
本発明の好ましい実施形態では、（６８）による前処理および（６７）による後処理が、以下の任意の組合せを含む。
【0093】
データのダイナミックレンジの縮小。一般に、ＮＮは、限られたダイナミックレンジを有するデータが提供されるときに最適に動作する。データのダイナミックレンジを縮小するための周知の方法は数多く存在する。考えられる一つの方法は、入力ピクセルの値の合計または最大入力ピクセル値の何れかによって入力データを正規化することである。
【0094】
ピクセルの値への非線形性の適用。このような非線形性は、小さな値を持つピクセルの寄与を強調するのに役立ち、よって、小さい振幅の入力に対してより正確な結果を生成するようにＮＮに指示する。これにより、出力画像の信号対雑音比（ＳＮＲ）が向上する。例えば、導入された非線形性は、Ａ∧（１－アルファ）の形式をとることができ、ここで、Ａはピクセル値であり、アルファは小さな定数（通常は０．０２～０．２の範囲内）である。
【0095】
トレーニングが完了すると、（データの前処理および後処理を含む）ＮＮアルゴリズムは、収差のある（例えば、ぼやけた）画像を、入力画像に限りなく近い（収差のない）画像に変換する方法についての情報（６３）（すなわち、システムプロファイル）を得る。
【0096】
ＮＮ（６９）は、ピクセル単位で動作する。したがって、特定のピクセルの収差を補正するために、そのピクセルの（（６２）内の）特定の近傍が処理される。本発明の好ましい実施形態では、図６を参照して詳述するように、データが、ＮＮ入出力のために準備される。
【0097】
ＮＮ（６９）には、処理されたピクセルの位置の知識が提供され、これにより、ＮＮ（６９）が所与のタイルにおけるＰＳＦの変動に効果的に適応できるようになる。この目的のために、入力画像のピクセル座標は、画像（６１）から取り出されるタイリングステップ（６２）からＮＮ（６３）の入力に渡される。
【0098】
画像タイル（６２）からのＨＦ部分（６６）は、前述したデータ調整（６８）を受けた後、ＮＮ（６９）の入力に渡される。このＨＦ部分（６６）は、入力画像の特定の近傍内（例えば、処理されるピクセルからの距離が９ピクセル未満）のピクセルを用いて、抽出される。
【0099】
また、タイル（６２）から処理されたピクセルのＨＦ部分（６５）は、前述した「データ調整」（６７）を受けた後に、ＮＮの出力（６９）に渡され、ＮＮの出力データとして機能する。
【0100】
さらに、入力画像タイル（６２）からのＬＦ部分（６６）は、ＮＮ（６９）の入力に渡される。前述したように、このＬＦ部分（６６）は、入力画像のより大きな近傍内の（例えば、処理されるピクセルからの距離が８ピクセルよりも大きい）ピクセルを用いて、抽出される。
【0101】
すべての入力データおよび出力データが準備されると、ＮＮトレーニングが開始される。
【0102】
本発明の好ましい実施形態では、例えば、Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔなどの周知のトレーニングアルゴリズムを用いてトレーニングが実行される。トレーニングされたＮＮ（図６のマーク（６９１））の重みが抽出され、遠視野補正ステップ（６４）から得られたカーネルとともに「光学システムプロファイル」の形式で格納される。重みおよびカーネルは、各タイルごとに一意であるため、各タイルは、そのようなパラメータの独自のセットを有する。
【0103】
以下、図７を参照して、遠視野画像補正（６４）および点像分布関数（ＰＳＦ）抽出のプロセスについて詳細に説明する。（カメラの視野によって提供される）画像（当初は図５の（５４）として示されている）は、タイル分割手順（７０）を使用して、チャート（７２）および整列画像（７１）のより小さい部分、以下「タイル」と称する部分に分割することができる。
【0104】
ＰＳＦは、何よりもユーザの眼の位置を含む、光学システムの視野内の様々な特徴のサイズ、濃度および分布に依存するため、その性質上、非常に変動し易い。このため、図７に示すように、任意選択的なステップ（７１）および（７２）が、所与の光学システムの視野内におけるＰＳＦ形状の変動性を低減するために通常は実行される。単一の各タイル内では、ＰＳＦの変動性（すなわち、収差）は、（依然存在するが）低くなり、よって、元の（チャートおよび／または整列された）画像と比較して、より効果的に補正することができる。
【0105】
その後、図７に関連して後述する、いわゆるリモート補正が実行される。ＰＳＦ近似は、抽出された後（７３）、２つの部分に分離され、その一つが、処理されるピクセルの特定の近傍内で計算される（例えば、６ピクセル未満の半径を有する）近視野部分（７４）であり、もう一つが、近視野部分の半径の外側でＰＳＦ（および収差）が抽出される遠視野部分（７６）である。
【0106】
前述した入力データからのＰＳＦ近似（７３）の抽出は、従来より知られている数多くの方法のうちの１つに基づくことができる（例えば、Ｆｅｌｉｘ等を参照されたい）。この報告された方法は、非常に良好なＰＳＦ推定を提供するが、非常に時間がかかる。計算負荷を軽減するためには、より単純な方法が遥かに好ましいであろう。
【0107】
図７に示すように、開示の本発明の好ましい実施形態では、以下のアプローチを（７３）に対して実行する。ｉ）入力画像のタイルの２次元（２Ｄ）フーリエ変換を、整列画像の対応するタイルの２Ｄフーリエ変換で分割する。ｉｉ）その結果を２Ｄ逆フーリエ変換で逆変換する。
【0108】
そのようなアプローチは、当業者にはよく知られている。なお、整列画像の周波数成分が低振幅となるノイズ成分の過剰増幅を回避するために、整列画像の周波数成分の値に保護バイアス値を追加する必要があることに留意されたい。
【0109】
任意選択的には、遠視野カーネルを用いた遠視野画像補正をＤＬ適用中に使用することができる。遠視野カーネル計算（７５）およびコンボリューション（７７）は、遠視野部分によって引き起こされる収差およびぼやけがすべて補正された画像をもたらす。選択された遠視野補正のパラメータ、すなわち遠視野補正（７６）から得られたカーネル係数（７５）は、後述するように、光学システムプロファイルとともに、後で使用するために記録される。
【0110】
画像処理において、カーネルは、画像の修正（例えば、シャープ化、ぼかし、エッジ検出など）に使用される（画像自体よりも遥かに小さい）コンボリューション行列である。これは、特定のカーネルと選択された画像との間に行列コンボリューション操作を適用することによって達成される。
【0111】
近視野ＰＳＦでは、出力画像における大きなノイズ増幅を伴わない単純な復元が不可能であるため、ＰＳＦの近視野部分（７４）は破棄される。
【0112】
前述した処理の（７４）および（７６）を近視野と遠視野とに分離する理由は２つある。第一に、遠視野補正は、ノイズを増幅せず、望ましくないアーチファクトを排除し、よって、より少ない計算リソースを必要とする比較的単純な方法によって実行することができる。第二に、そのような近視野補正は、処理される入力データの量が限られているため、処理要件がさらに軽減される。このような分離は、算術的に実行される。最も単純な方法では、ある半径内のすべてのＰＳＦ値が近距離部分を形成し、この半径外のすべてのＰＳＦ値が遠距離部分を形成する。しかしながら、実際には、それらの２つの部分の間には、滑らかな遷移領域が存在する。
【0113】
遠視野部分（７６）は、高周波数で振幅がゼロであるが低周波数で単位値に近づくウィンドウによって、周波数成分を乗算することによって得られる。ガウスの２Ｄ分布は、そのようなウィンドウの都合の良い例であろう。２Ｄ逆変換は、空間領域の遠視野部分（７６）を得るために採用される。遠視野補正は高周波数の空間成分を持たないため、その適用では高周波数ノイズ成分の増幅は生じない。したがって、遠視野カーネル構築手順（７５）は単純であり、周知の方法で実現することができる。
【0114】
好ましい実施形態で使用される方法は、入力画像からの結果の減算に続いて、得られた遠視野ＰＳＦでの入力画像のコンボリューションを利用する。このような（比較的単純な）アプローチは、光学システムによって引き起こされる一次ぼやけおよび収差を効果的に補正するであろう。
【0115】
なお、（処理に使用される）入力画像が既に収差を有しているという事実のために、いわゆる二次収差が依然として誘発される可能性があることに留意されたい。しかしながら、典型的な光学システムでは、遠視野効果は振幅が小さいため、そのような前述の補正の二次効果は無視できる程度である。
【0116】
遠視野カーネル（７５）が構築されると、その係数が光学システムプロファイルに渡される。その後、カーネルは入力画像タイルピクセルデータとコンボリューションされ（７７）、その結果、（図６の（６４）～（６６）として示されている）遠視野補正の別の出力が得られる。この出力は、近視野収差のみを含むタイルである（７８）。
【0117】
図８は、ＨＭＤで使用される単一の従来の（プラスチック）要素（８２）（通常のレンズまたはフレネル）が、光学システムの高い分散をもたらし、その結果、高いレベルの色収差を引き起こすという事実を例示している。横方向の色収差は、様々な場所で網膜に当たる様々なカラーチャネルとして現れる。図８は、このような横方向の色収差のユーザの眼の位置に対する依存性、具体的には、ユーザの眼（８１）が光軸上に配置された場合（図８ａ）と、アイボックス内の軸外に眼の位置がある場合（図８ｂ）における依存性を示している。拡大されたインレイ（８３）に示されるように、（網膜に当たる光線の広がりとして示される）光学収差の量は、これらの２つの場合で異なる。
【0118】
眼の位置に依存する収差に対処するために、アイトラッキングデータが、表示される視覚情報を事前に補正するために使用される。本発明の好ましい実施形態の手順ＩＩは、図９を参照して詳述するように、リアルタイムのアイトラッキングデータを取得して、入力画像に先に説明したＤＬを適用することに基づいている。
【0119】
アイトラッキングデータは、アイトラッキングシステムによるユーザの瞳孔位置の測定値である。本発明の好ましい実施形態では、例えばＢｏｈｎによる米国特許第８，９９８，４１４号に記載されている、透過（ビデオまたは光学の何れか）、ニアアイ、複合現実ディスプレイデバイスの共有光学系を使用して、アイトラッキング（カメラベースまたはカメラレスの何れか）とディスプレイ機能を統合するための技術が提供される。図９に示すように、瞳孔位置／視線データ（９９３）は、ＮＮ（９９０）に提供され（図４の（４７）も参照）、任意選択的には、遠視野補正（９５）に提供される。
【0120】
以下、ＤＬアプリケーションについて詳細に説明する。図９に示すように、画像処理への入力は、入力画像（９２）と光学システムプロファイル（９６）である。元の画像ピクセルデータは、（任意選択的には）タイルに分割される（９４）。それは、任意選択的には、光学システムプロファイル（９６）からのカーネル係数を用いた遠視野補正（９５）を受ける。
【0121】
その後、ピクセルデータは、ＬＦ／ＨＦ分離（９７）を通過し、この（９７）の出力は、ニューラルネットワーク（９９０）への入力として提供され、ＬＦ空間周波数を含むピクセルデータは直接、ＨＦ空間周波数を含むピクセルデータは、データ調整（９９１）を経て、ＮＮ（９９０）に渡される。ＮＮ（９９０）へのさらに別の入力は、ピクセルデータの（画像平面内またはタイル内の）座標であり、これは（９４）から直接与えられるか、タイリングステップが使用されない場合には（９２）から与えられる。ＮＮ（９９０）の重みおよびバイアスは、光学システムプロファイル（９６）から所与のタイルについて得られる。
【0122】
前述したように、瞳孔位置／視線データ（９９３）は、リアルタイムでＮＮ（９９０）に提供され、任意選択的には、遠視野補正（９５）に提供される。
【0123】
ＮＮ（９９０）の出力は、データ再調整（９９３）を受け、ＬＦ／ＨＦ分離フィルタ（９７）からのＬＦ出力と合計される（８８）。合計された結果は、（タイルリングステップが使用された場合）個々のタイルから単一の画像に再結合され（９３）、そのような再結合が、補正された出力画像（９１）を形成する。
【0124】
任意の入力シーンの処理（手順Ｉでプロファイル（９６）がこのシステムのために既に準備されている）は、手順Ｉ（光学システムプロファイリング）と同様の処理を使用して実行され、データフローに僅かな変更があるだけである。
【0125】
【0126】
その後、遠視野補正（９５）は、任意選択的には、手順Ｉで説明したものと同様の方法で（図７の（７６）も参照されたい）実行される。手順Ｉで説明したものとの違いは、遠視野補正カーネルが光学システムプロファイル（手順Ｉ）から取得されていることにより既に知られているという点である。
【0127】
その後、画像データは、手順Ｉで説明したＬＦ／ＨＦ分離手順（図６の（６６）を参照）と同様に、ＬＦ部分とＨＦ部分に分離される（９７）。ＨＦ部分はさらに、手順Ｉで説明した調整と同様に、ピクセルデータ調整手順（９９１）に渡される。
【0128】
説明した手順（９２）、（９４）および（９５）は、（手順Ｉで得られた）光学システムプロファイル（９６）とともに、ＮＮ（９９０）のための入力データを形成する。それは、処理されるピクセルのＬＦ部分と、特定の近傍のピクセル内のＨＦ部分とを有するピクセル座標に関して、システムプロファイリングステップで手順Ｉの間に形成されたものと類似したデータである。
【0129】
ＮＮ（９９０）の出力に続く処理は、最終的に、ＨＭＤ光学システムを介して表示されたときに、収差が予め補償され、観察者によって見られる表示画像に現れないような「完全」な画像（９１）を（タイル結合（９３）を介して）形成する。具体的には、ＮＮ（９９０）の出力値は、本発明の好ましい実施形態ではデータ調整手順（９９０）の算術的逆数である「データ再調整」手順（９９２）に渡される。この結果は、処理されるピクセルのＬＦ部分（９７）と、手順（９８）によって合計される。
【0130】
最後に、入力画像のすべての処理済みタイル（９３）は、単一の出力画像（９１）を形成するために再結合される。本発明の好ましい実施形態では、（９３）で結合されたタイルは、重複領域を有することが好ましい。これらの領域では、処理（９３）の結果が、最終画像（９１）への結合中に目に見える継ぎ目を排除するために、タイルからタイルへと滑らかに減衰される。そのような目に見える継ぎ目は、補正された出力からのタイル間の見かけ上の差異によって引き起こされる。
【0131】
いくつかの例示的な実施形態を本明細書に開示および記載したが、当業者であれば、本発明の趣旨および範囲から逸脱することなく、数多くの修正および変更が可能であることを認識するであろう。また、本発明は、添付の特許請求の範囲のみによって規定されることが意図されている。
【図1a】
【図1b】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8a】
【図8b】
【図9】