知財求人 - 知財ポータルサイト「IP Force」
特許7683065仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-16
(45)【発行日】2025-05-26
(54)【発明の名称】仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20250519BHJP
【ＦＩ】
G06T19/00 A
【請求項の数】
22
(21)【出願番号】P 2024023581
(22)【出願日】2024-02-20
(62)【分割の表示】P 2022196975の分割
【原出願日】2017-08-25
(65)【公開番号】P2024059761
(43)【公開日】2024-05-01
【審査請求日】2024-02-20
(31)【優先権主張番号】62/380,302
(32)【優先日】2016-08-26
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100104824
【弁理士】
【氏名又は名称】穐場 仁
(74)【代理人】
【識別番号】100121463
【弁理士】
【氏名又は名称】矢口 哲也
(74)【代理人】
【識別番号】100137969
【弁理士】
【氏名又は名称】岡部 憲昭
(72)【発明者】
【氏名】イヴァン ヨー
(72)【発明者】
【氏名】ライオネル エドウィン
(72)【発明者】
【氏名】サミュエル エー． ミラー
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２０１５－０９５０４５（ＪＰ，Ａ）
【文献】特開２０１３－０６２７３１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／００３５１４０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｈ０４Ｎ １３／００
Ｈ０４Ｎ ５／６６
Ｇ０９Ｇ ５／００
(57)【特許請求の範囲】
【請求項1】
視認者の更新された位置に基づいて、レンダリングされた画像データを時間ワーピングさせるための方法であって、前記方法は、コンピューティングデバイスが、グラフィック処理ユニットから、前記視認者の第１の位置に基づいて推定された第１の姿勢と関連付けられた第１の視点に対応するレンダリングされた画像データを取得することと、
前記コンピューティングデバイスが、前記視認者の第２の位置と関連付けられたデータを受信することと、
前記コンピューティングデバイスが、前記視認者の前記第２の位置に基づいて、第２の姿勢を推定することと、
前記コンピューティングデバイスが、第１の漸進において、前記レンダリングされた画像データの第１のセットを時間ワーピングされたレンダリングされた画像データの第１のセットへ時間ワーピングさせることであって、前記時間ワーピングされたレンダリングされた画像データは、前記視認者の前記第２の位置に基づいて推定された前記第２の姿勢と関連付けられた第２の視点に対応する、ことと、
前記コンピューティングデバイスが、第２の漸進において、前記レンダリングされた画像データの第２のセットを前記時間ワーピングされたレンダリングされた画像データの第２のセットへ時間ワーピングさせることであって、前記時間ワーピングされたレンダリングされた画像データの前記第１のセットは、前記時間ワーピングされたレンダリングされた画像データの前記第２のセットと異なる、ことと、
前記コンピューティングデバイスが、第１の時間に、前記時間ワーピングされたレンダリングされた画像データの前記第１のセットを接眼ディスプレイデバイスのディスプレイモジュールに伝送することと、
前記コンピューティングデバイスが、第２の時間に、前記時間ワーピングされたレンダリングされた画像データの前記第２のセットを前記接眼ディスプレイデバイスの前記ディスプレイモジュールに伝送することと
を含み、
前記レンダリングされた画像データの前記第２のセットを前記時間ワーピングされたレンダリングされた画像データの前記第２のセットへ時間ワーピングさせることは、前記第１の時間に漸進中であり、前記第２の時間までに完了する、方法。
【請求項2】
前記第２の位置は、前記第１の位置からの前記接眼ディスプレイデバイスの光学中心のまわりの回転に対応する、請求項１に記載の方法。
【請求項3】
前記第２の位置は、前記第１の位置からの水平平行移動に対応する、請求項１に記載の方法。
【請求項4】
前記レンダリングされた画像データは、前記時間ワーピングされたレンダリングされた画像データが光子に変換されるまで、前記時間ワーピングされたレンダリングされた画像データへ漸進的に時間ワーピングされる、請求項１に記載の方法。
【請求項5】
前記レンダリングされた画像データは、前記グラフィック処理ユニットからストリーミングされる画像のサブセクションである、請求項１に記載の方法。
【請求項6】
前記コンピューティングデバイスは、前記レンダリングされた画像データを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、前記方法は、前記コンピューティングデバイスが、前記接眼ディスプレイデバイスのディスプレイデバイスピクセルを前記フレームバッファ内のデフォルト画像ピクセルから前記フレームバッファ内の異なる画像ピクセルにリダイレクトすること
をさらに含む、請求項１に記載の方法。
【請求項7】
前記コンピューティングデバイスは、前記レンダリングされた画像データを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、前記方法は、前記コンピューティングデバイスが、前記フレームバッファ内の画像ピクセルを、前記画像ピクセルに割り当てられるデフォルトディスプレイデバイスピクセルと異なる前記接眼ディスプレイデバイスのディスプレイデバイスピクセルに送信すること
をさらに含む、請求項１に記載の方法。
【請求項8】
前記コンピューティングデバイスは、前記レンダリングされた画像データを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、前記方法は、前記レンダリングされた画像データの第１のセットを前記時間ワーピングされたレンダリングされた画像データの前記第１のセットへ時間ワーピングさせながら、前記レンダリングされた画像データを前記グラフィック処理ユニットのフレームバッファから受信すること
をさらに含み、
前記時間ワーピングさせることは、
前記コンピューティングデバイスが、前記グラフィック処理ユニットから、前記グラフィック処理ユニットのフレームバッファ内の第１の画像ピクセルを前記コンピューティングデバイスのフレームバッファ内の第１の画像ピクセルにおいて受信することであって、前記グラフィック処理ユニットのフレームバッファ内の第１の画像ピクセルは、最初に、前記コンピューティングデバイスのフレームバッファ内の第２の画像ピクセルに割り当てられる、こと
を含む、請求項１に記載の方法。
【請求項9】
前記視認者の前記第２の位置と関連付けられたデータは、光学データと、慣性測定ユニットからのデータとを含み、前記コンピューティングデバイスは、前記光学データと、前記慣性測定ユニットからのデータとを受信し、前記視認者の前記第２の位置に基づいて前記第２の姿勢を推定するための姿勢推定器モジュールと、前記レンダリングされた画像データを前記グラフィック処理ユニットから受信するためのフレームバッファとを含む、請求項１に記載の方法。
【請求項10】
前記コンピューティングデバイスは、前記レンダリングされた画像データを前記グラフィック処理ユニットから受信するためのフレームバッファと、前記時間ワーピングされたレンダリングされた画像データを前記接眼ディスプレイデバイスに伝送することに先立って、前記フレームバッファに記憶されるバッファされた画像ピクセルを偏移させることによって、前記レンダリングされた画像データの少なくとも前記第１のセットを前記時間ワーピングされたレンダリングされた画像データの前記第１のセットへ時間ワーピングさせるための外部バッファプロセッサとを含む、請求項１に記載の方法。
【請求項11】
前記フレームバッファ内の第１の画像ピクセルは、第１の量だけ偏移され、前記フレームバッファ内の第２の画像ピクセルは、前記第１の量と異なる第２の量だけ偏移される、請求項１０に記載の方法。
【請求項12】
システムであって、グラフィック処理ユニットであって、前記グラフィック処理ユニットは、視認者の第１の位置に基づいて推定された第１の姿勢と関連付けられた第１の視点に対応するレンダリングされた画像データを生成するように構成される、グラフィック処理ユニットと、
コントローラであって、前記コントローラは、
前記視認者の第２の位置と関連付けられたデータを受信することと、
前記視認者の前記第２の位置に基づいて、第２の姿勢を推定することと、
第１の漸進において、前記レンダリングされた画像データの第１のセットを時間ワーピングされたレンダリングされた画像データの第１のセットへ時間ワーピングさせることであって、前記時間ワーピングされたレンダリングされた画像データは、前記視認者の前記第２の位置に基づいて推定された前記第２の姿勢と関連付けられた第２の視点に対応する、ことと、
第２の漸進において、前記レンダリングされた画像データの第２のセットを前記時間ワーピングされたレンダリングされた画像データの第２のセットへ時間ワーピングさせることであって、前記時間ワーピングされたレンダリングされた画像データの前記第１のセットは、前記時間ワーピングされたレンダリングされた画像データの前記第２のセットと異なる、ことと、
第１の時間に、前記時間ワーピングされたレンダリングされた画像データの前記第１のセットを接眼ディスプレイデバイスのディスプレイモジュールに伝送することと、
第２の時間に、前記時間ワーピングされたレンダリングされた画像データの前記第２のセットを前記接眼ディスプレイデバイスの前記ディスプレイモジュールに伝送することと
を行うように構成され、前記レンダリングされた画像データの前記第２のセットを前記時間ワーピングされたレンダリングされた画像データの前記第２のセットへ時間ワーピングさせることは、前記第１の時間に漸進中であり、前記第２の時間までに完了する、コントローラと、
接眼ディスプレイデバイスであって、前記接眼ディスプレイデバイスは、
前記コントローラによって伝送された前記時間ワーピングされたレンダリングされた画像データの前記第１のセットおよび前記時間ワーピングされたレンダリングされた画像データの前記第２のセットを受信することと、
前記時間ワーピングされたレンダリングされた画像データを光子に変換することと、
前記光子を前記視認者に向かって放出し、前記時間ワーピングされたレンダリングされた画像データを前記接眼ディスプレイデバイス上に表示することと
を行うように構成される、接眼ディスプレイデバイスと
を備える、システム。
【請求項13】
前記接眼ディスプレイデバイスは、シーケンシャル走査ディスプレイデバイスである、請求項１２に記載のシステム。
【請求項14】
前記コントローラは、前記接眼ディスプレイデバイス内に組み込まれる、請求項１２に記載のシステム。
【請求項15】
前記コントローラは、前記グラフィック処理ユニットおよび前記接眼ディスプレイデバイスに結合され、前記グラフィック処理ユニットと前記接眼ディスプレイデバイスとの間に提供される、請求項１２に記載のシステム。
【請求項16】
前記コントローラは、前記レンダリングされた画像データを前記グラフィック処理ユニットから受信するためのフレームバッファと、
前記時間ワーピングされたレンダリングされた画像データを前記接眼ディスプレイデバイスに伝送することに先立って、前記フレームバッファに記憶されるバッファされた画像ピクセルを偏移させることによって、前記レンダリングされた画像データの少なくとも前記第１のセットを前記時間ワーピングされたレンダリングされた画像データの前記第１のセットへ時間ワーピングさせるための外部バッファプロセッサと
をさらに備える、請求項１２に記載のシステム。
【請求項17】
前記コントローラは、前記接眼ディスプレイデバイスのディスプレイデバイスピクセルを前記フレームバッファ内のデフォルト画像ピクセルから前記フレームバッファ内の異なる画像ピクセルにリダイレクトするようにさらに構成される、請求項１６に記載のシステム。
【請求項18】
前記コントローラは、前記フレームバッファ内の画像ピクセルを前記画像ピクセルに割り当てられるデフォルトディスプレイデバイスピクセルと異なる前記接眼ディスプレイデバイスのディスプレイデバイスピクセルに送信するようにさらに構成される、請求項１６に記載のシステム。
【請求項19】
前記第２の位置は、前記第１の位置からの前記接眼ディスプレイデバイスの光学中心のまわりの回転、または前記第１の位置からの水平平行移動に対応する、請求項１２に記載のシステム。
【請求項20】
前記システムは、光学ユニットと、
慣性測定ユニットと
をさらに備え、
前記コントローラは、
姿勢推定器モジュールをさらに備え、
前記姿勢推定器モジュールは、
前記光学ユニットからの光学データと前記慣性測定ユニットからのデータとを受信することと、
前記視認者の前記第２の位置に基づいて前記第２の姿勢を推定することと
を行うように構成される、請求項１２に記載のシステム。
【請求項21】
前記コンピューティングデバイスが、第１の時間ワーピングフレームモジュールと第２の時間ワーピングフレームモジュールと、を有し、
前記方法は、
前記第１の時間ワーピングフレームモジュールが、前記第１の時間に、前記時間ワーピングされたレンダリングされた画像データの前記第１のセットを前記接眼ディスプレイデバイスの前記ディスプレイモジュールに伝送することと、
前記第２の時間ワーピングフレームモジュールが、前記第２の時間に、前記時間ワーピングされたレンダリングされた画像データの前記第２のセットを前記接眼ディスプレイデバイスの前記ディスプレイモジュールに伝送すること
を含む、請求項１に記載の方法。
【請求項22】
前記コントローラが、第１の時間ワーピングフレームモジュールと第２の時間ワーピングフレームモジュールと、を有し、
前記第１の時間ワーピングフレームモジュールが、前記第１の時間に、前記時間ワーピングされたレンダリングされた画像データの前記第１のセットを前記接眼ディスプレイデバイスの前記ディスプレイモジュールに伝送することと、
前記第２の時間ワーピングフレームモジュールが、前記第２の時間に、前記時間ワーピングされたレンダリングされた画像データの前記第２のセットを前記接眼ディスプレイデバイスの前記ディスプレイモジュールに伝送すること
を行うように構成される、請求項１２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、米国特許出願第６２／３８０，３０２号、発明の名称“Ｔｉｍｅ Ｗａｒｐ ｆｏｒ Ｖｉｒｔｕａｌ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ”，出願日２０１６年８月２６日の通常出願であり、その利益を主張するものであり、該出願は、あらゆる目的のためにその全体が参照により本明細書中に援用される。本願は、以下の米国特許出願の各々の全体を参照により本明細書中に援用するものである：米国仮出願第６２／３１３６９８号、出願日２０１６年３月２５日（代理人管理番号ＭＬＥＡＰ．０５８ＰＲ１），米国特許出願第１４／３３１２１８号、出願日２０１４年７月１４日；米国特許出願第１４／５５５５８５号、出願日２０１４年１１月２７日；米国特許出願第１４／６９０４０１号、出願日２０１５年４月１８日；米国特許出願第１４／７２６４２４号、出願日２０１５年５月２９日；米国特許出願第１４／７２６４２９号、出願日２０１５年５月２９日；米国特許出願第１５／１４６２９６号、出願日２０１６年５月４日；米国特許出願第１５／１８２５１１号、出願日２０１６年６月１４日；米国特許出願第１５／１８２５２８号、出願日２０１６年６月１４日；米国特許出願第６２／２０６７６５号、出願日２０１５年８月１８日（代理人管理番号ＭＬＥＡＰ．００２ＰＲ）；米国特許出願第１５／２３９７１０号、出願日２０１６年８月１８日（代理人管理番号ＭＬＥＡＰ．００２Ａ）；米国仮出願第６２／３７７８３１号、出願日２０１６年８月２２日（代理人管理番号１０１７８２－１０２１２０７（０００１００ＵＳ））、および米国仮出願第６２／３８０３０２号、出願日２０１６年８月２６日（代理人管理番号１０１７８２－１０２２０８４（０００２００ＵＳ））。
本願は、米国特許出願第６２／３８０，３０２号、発明の名称“Ｔｉｍｅ Ｗａｒｐ ｆｏｒ Ｖｉｒｔｕａｌ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ”，出願日２０１６年８月２６日の通常出願であり、その利益を主張するものであり、該出願は、あらゆる目的のためにその全体が参照により本明細書中に援用される。本願は、以下の米国特許出願の各々の全体を参照により本明細書中に援用するものである：米国仮出願第６２／３１３６９８号、出願日２０１６年３月２５日（代理人管理番号ＭＬＥＡＰ．０５８ＰＲ１），米国特許出願第１４／３３１２１８号、出願日２０１４年７月１４日；米国特許出願第１４／５５５５８５号、出願日２０１４年１１月２７日；米国特許出願第１４／６９０４０１号、出願日２０１５年４月１８日；米国特許出願第１４／７２６４２４号、出願日２０１５年５月２９日；米国特許出願第１４／７２６４２９号、出願日２０１５年５月２９日；米国特許出願第１５／１４６２９６号、出願日２０１６年５月４日；米国特許出願第１５／１８２５１１号、出願日２０１６年６月１４日；米国特許出願第１５／１８２５２８号、出願日２０１６年６月１４日；米国特許出願第６２／２０６７６５号、出願日２０１５年８月１８日（代理人管理番号ＭＬＥＡＰ．００２ＰＲ）；米国特許出願第１５／２３９７１０号、出願日２０１６年８月１８日（代理人管理番号ＭＬＥＡＰ．００２Ａ）；米国仮出願第６２／３７７８３１号、出願日２０１６年８月２２日（代理人管理番号１０１７８２－１０２１２０７（０００１００ＵＳ））、および米国仮出願第６２／３８０３０２号、出願日２０１６年８月２６日（代理人管理番号１０１７８２－１０２２０８４（０００２００ＵＳ））。
【0002】
本開示は、仮想現実および拡張現実可視化システムに関する。より具体的には、本開示は、仮想現実および拡張現実可視化システムのための連続時間ワーピングおよび両眼時間ワーピングの方法に関する。
【背景技術】
【0003】
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」（ＶＲ）または「拡張現実」（ＡＲ）体験のためのシステムの開発を促進している。ＶＲシナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。ＡＲシナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。
【0004】
例えば、図（ＦＩＧ）１を参照すると、ＡＲ場面４が、描写され、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム８を特徴とする、実世界公園設定６が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界コンクリートプラットフォーム８上に立っているロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ２とが「見える」と知覚するが、これらの要素（例えば、アバタキャラクタ２、およびロボット像１０）は、実世界には存在しない。ヒト視知覚および神経系の極端な複雑性に起因して、他の仮想または実世界画像要素の中での仮想画像要素の快適かつ自然のような感覚で豊かな提示を促進する、ＶＲまたはＡＲ技術の生産は、困難である。
【0005】
１つの主要な問題は、ユーザ移動に基づいて、ユーザに表示される仮想画像を修正することを対象とする。例えば、ユーザが、その頭部を移動させると、視覚のそのエリア（例えば、視野）および視覚のエリア内のオブジェクトの視点は、変化し得る。ユーザに表示されるであろうコンテンツのオーバーレイは、リアルタイムまたは近リアルタイムで修正され、ユーザ移動を考慮し、より現実的なＶＲ体験またはＡＲ体験を提供する必要がある。
【0006】
システムのリフレッシュレートは、システムがコンテンツを生成し、生成されたコンテンツをユーザに表示する（または表示のために送信する）、レートを左右する。例えば、システムのリフレッシュレートが、６０ヘルツである場合、システムは、１６ミリ秒毎にコンテンツを生成（例えば、レンダリング、修正、および同等物）し、生成されたコンテンツをユーザに表示する。ＶＲおよびＡＲシステムは、ユーザの姿勢に基づいて、コンテンツを生成してもよい。例えば、システムは、全て１６ミリ秒の時間ウィンドウ以内に、ユーザの姿勢を決定し、決定された姿勢に基づいて、コンテンツを生成し、生成されたコンテンツをユーザに表示してもよい。システムが、ユーザの姿勢を決定するときと、システムが生成されたコンテンツをユーザに表示するときとの間の時間は、「運動から光子までの待ち時間（ｍｏｔｉｏｎ－ｔｏ－ｐｈｏｔｏｎ ｌａｔｅｎｃｙ）」として知られる。ユーザは、システムがユーザの姿勢を決定するときと、システムが生成されたコンテンツを表示するときとの間の時間に、その姿勢を変化させ得る。本変化が、考慮されない場合、望ましくないユーザ体験をもたらし得る。例えば、システムは、ユーザの第１の姿勢を決定し、第１の姿勢に基づいて、コンテンツの生成を開始してもよい。ユーザは、次いで、システムが、第１の姿勢を決定し、続いて、第１の姿勢に基づいてコンテンツを生成するときと、システムが生成されたコンテンツをユーザに表示するときとの間の時間に、その姿勢を第２の姿勢に変化させ得る。コンテンツが、第１の姿勢に基づいて生成され、ユーザが、現時点では、第２の姿勢を有するため、ユーザに表示される生成されたコンテンツは、姿勢不整合のため、ユーザに対して誤設置されて現れるであろう。姿勢不整合は、望ましくないユーザ体験につながり得る。
【0007】
システムは、バッファされた画像に作用する後処理ステップとして、例えば、レンダリングされた画像フレーム全体にわたって、補正を適用し、ユーザがユーザ姿勢を変化させたことを考慮してもよい。本技法は、全てのピクセルがレンダリングされるとき、全てのピクセルをフラッシング／照明する（例えば、２ｍｓ以内に）ことによって画像フレームを表示する、パネルディスプレイのためには機能し得るが、本技法は、シーケンシャル様式において画像フレームをピクセル毎に表示する（例えば、１６ｍｓ以内に）、走査ディスプレイでは良好に機能し得ない。シーケンシャル様式において画像フレームをピクセル毎に表示する、走査ディスプレイでは、最初のピクセルと最後のピクセルとの間の時間は、完全フレーム持続時間（例えば、６０Ｈｚディスプレイに関して１６ｍｓ）まで及び得、その間、ユーザ姿勢は、有意に変化され得る。
【0008】
実施形態は、従来の時間ワーピングを実装するＶＲまたはＡＲシステムと関連付けられたこれらおよび他の問題に対処する。
【発明の概要】
【課題を解決するための手段】
【0009】
本開示は、３次元（３Ｄ）可視化システムを可能にする技術に関する。より具体的には、本開示は、観察される実世界内で生じているかのように、仮想現実（「ＶＲ」）またはＡＲコンテンツの知覚を可能にする、ディスプレイシステムを通して、拡張現実（「ＡＲ」）コンテンツをユーザに生産するためのコンポーネント、サブコンポーネント、アーキテクチャ、およびシステムに対処する。そのような没入型の感覚入力はまた、複合現実（「ＭＲ」）と称され得る。
【0010】
いくつかの実施形態では、光パターンが、コンテンツをディスプレイシステムを装着しているユーザに提示するように構成される、ディスプレイシステムの導波管の中に投入される。光パターンは、光プロジェクタによって投入されてもよく、導波管は、導波管内の全内部反射を通して、特定の波長の光を伝搬するように構成されてもよい。光プロジェクタは、発光ダイオード（ＬＥＤ）およびシリコン上液晶（ＬＣＯＳ）システムを含んでもよい。いくつかの実施形態では、光プロジェクタは、走査ファイバを含んでもよい。光パターンは、時間シーケンス様式において、画像データを含んでもよい。
【0011】
種々の実施形態は、連続および／または両眼時間ワーピング方法を提供し、ユーザの頭部移動を考慮し、ユーザの頭部移動から生じる運動から光子までの待ち時間を最小限にする。連続時間ワーピングは、第２の視点から画像を再レンダリングする必要なく、第１の視点（例えば、ユーザの頭部の第１の位置に基づく）から第２の視点（例えば、ユーザの頭部の第２の位置に基づく）への画像の変換を可能にする。いくつかの実施形態では、連続時間ワーピングは、外部ハードウェア（例えば、ディスプレイの外部のコントローラ）上で実施され、他の実施形態では、連続時間ワーピングは、内部ハードウェア（例えば、ディスプレイの内部のコントローラ）上で実施される。連続時間ワーピングは、最終画像がディスプレイデバイス（例えば、シーケンシャルディスプレイデバイス）に表示される前に実施される。
【0012】
いくつかの実施形態は、視認者の更新された位置に基づいて、画像フレームを変換するための方法を提供する。本方法は、コンピューティングデバイスによって、グラフィック処理ユニットから、第１の画像フレームを取得するステップを含んでもよい。第１の画像フレームは、視認者の第１の位置と関連付けられた第１の視点に対応する。本方法はまた、視認者の第２の位置と関連付けられたデータを受信するステップを含んでもよい。コンピューティングデバイスは、第１の画像フレームの少なくとも一部をピクセル毎に継続的に変換し、第２の画像フレームを生成してもよい。第２の画像フレームは、視認者の第２の位置と関連付けられた第２の視点に対応する。コンピューティングデバイスは、接眼ディスプレイデバイス上に表示されるように、第２の画像フレームを接眼ディスプレイデバイスのディスプレイモジュールに伝送してもよい。
【0013】
種々の実施形態は、視認者の更新された位置に基づいて、画像フレームを変換するための方法を提供する。本方法は、グラフィック処理ユニットによって、第１の時間に、両眼接眼ディスプレイデバイスの左ディスプレイのための左画像フレームをレンダリングするステップを含んでもよい。左画像フレームは、視認者の第１の位置と関連付けられた第１の視点に対応する。本方法はまた、コンピューティングデバイスによって、グラフィック処理ユニットから、両眼接眼ディスプレイデバイスの右ディスプレイのための右画像フレームをレンダリングするステップを含んでもよい。右画像フレームは、視認者の第１の位置と関連付けられた第１の視点に対応する。グラフィック処理ユニットは、第１の時間より後の第２の時間に、視認者の第２の位置と関連付けられたデータを受信してもよい。データは、視認者の第２の位置に基づく第１の姿勢推定を含む。グラフィック処理ユニットは、視認者の第２の位置に基づく第１の姿勢推定を使用して、左画像フレームの少なくとも一部を変換し、両眼接眼ディスプレイデバイスの左ディスプレイのための更新された左画像フレームを生成してもよい。更新された左画像フレームは、視認者の第２の位置と関連付けられた第２の視点に対応する。グラフィック処理ユニットは、第２の時間より後の第３の時間に、左ディスプレイ上に表示されるように、更新された左画像フレームを両眼接眼ディスプレイデバイスの左ディスプレイに伝送してもよい。グラフィック処理ユニットは、第２の時間より後の第４の時間に、視認者の第３の位置と関連付けられたデータを受信してもよい。データは、視認者の第３の位置に基づく第２の姿勢推定を含む。グラフィック処理ユニットは、視認者の第３の位置に基づく第２の姿勢推定を使用して、右画像フレームの少なくとも一部を変換し、両眼接眼ディスプレイデバイスの右ディスプレイのための更新された右画像フレームを生成してもよい。更新された右画像フレームは、視認者の第３の位置と関連付けられた第３の視点に対応する。グラフィック処理ユニットは、第４の時間より後の第５の時間に、右ディスプレイ上に表示されるように、更新された右画像フレームを両眼接眼ディスプレイデバイスの右ディスプレイに伝送してもよい。
【0014】
実施形態は、上記に説明される方法ステップを実施するために、少なくともグラフィック処理ユニットと、コントローラと、接眼ディスプレイデバイスとを含む、コンピューティングシステムを含んでもよい。
【0015】
付加的特徴、利点、および実施形態が、以下の発明を実施するための形態、図、および請求項に説明される。
本発明は、例えば、以下を提供する。
（項目１）
視認者の更新された位置に基づいて、画像フレームを変換するための方法であって、前記方法は、
コンピューティングデバイスによって、グラフィック処理ユニットから、前記視認者の第１の位置と関連付けられた第１の視点に対応する第１の画像フレームを取得するステップと、
前記視認者の第２の位置と関連付けられたデータを受信するステップと、
前記コンピューティングデバイスによって、前記第１の画像フレームの少なくとも一部をピクセル毎に継続的に変換し、前記視認者の第２の位置と関連付けられた第２の視点に対応する第２の画像フレームを生成するステップと、
前記コンピューティングデバイスによって、接眼ディスプレイデバイス上に表示されるように、前記第２の画像フレームを前記接眼ディスプレイデバイスのディスプレイモジュールに伝送するステップと
を含む、方法。
（項目２）
前記第２の位置は、前記第１の位置からの前記接眼ディスプレイデバイスの光学中心のまわりの回転に対応する、項目１に記載の方法。
（項目３）
前記第２の位置は、前記第１の位置からの水平平行移動に対応する、項目１に記載の方法。
（項目４）
前記第１の画像フレームは、前記変換された第１の画像フレームが光子に変換されるまで、継続的に変換される、項目１に記載の方法。
（項目５）
前記第１の画像フレームは、前記グラフィック処理ユニットからストリーミングされる画像のサブセクションである、項目１に記載の方法。
（項目６）
前記コンピューティングデバイスは、前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、前記第１の画像フレームの少なくとも一部をピクセル毎に継続的に変換するステップはさらに、
前記コンピューティングデバイスによって、前記接眼ディスプレイデバイスのディスプレイデバイスピクセルを前記フレームバッファ内のデフォルト画像ピクセルから前記フレームバッファ内の異なる画像ピクセルにリダイレクトするステップ
を含む、項目１に記載の方法。
（項目７）
前記コンピューティングデバイスは、前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、前記第１の画像フレームの少なくとも一部をピクセル毎に継続的に変換するステップはさらに、
前記コンピューティングデバイスによって、前記フレームバッファ内の画像ピクセルを前記画像ピクセルに割り当てられるデフォルトディスプレイデバイスピクセルと異なる前記接眼ディスプレイデバイスのディスプレイデバイスピクセルに送信するステップ
を含む、項目１に記載の方法。
（項目８）
前記コンピューティングデバイスは、前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、継続的に変換するステップはさらに、
前記第１の画像フレームの少なくとも一部を変換しながら、前記第１の画像フレームを前記グラフィック処理ユニットのフレームバッファから受信するステップ
を含み、前記変換するステップは、
前記コンピューティングデバイスによって、前記グラフィック処理ユニットから、前記グラフィック処理ユニットのフレームバッファ内の第１の画像ピクセルを前記コンピューティングデバイスのフレームバッファ内の第１の画像ピクセルにおいて受信するステップであって、前記グラフィック処理ユニットのフレームバッファ内の第１の画像ピクセルは、最初に、前記コンピューティングデバイスのフレームバッファ内の第２の画像ピクセルに割り当てられる、ステップ
を含む、項目１に記載の方法。
（項目９）
前記視認者の第２の位置と関連付けられたデータは、光学データと、慣性測定ユニットからのデータとを含み、前記コンピューティングデバイスは、前記光学データと、前記慣性測定ユニットからのデータとを受信するための姿勢推定器モジュールと、前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファとを含む、項目１に記載の方法。
（項目１０）
前記コンピューティングデバイスは、前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファと、前記第２の画像フレームを前記接眼ディスプレイデバイスに伝送することに先立って、前記フレームバッファに記憶されるバッファされた画像ピクセルを偏移させることによって、前記第１の画像フレームの少なくとも一部を前記第２の画像フレームに変換するための外部バッファプロセッサとを含む、項目１に記載の方法。
（項目１１）
前記フレームバッファ内の第１の画像ピクセルは、第１の量だけ偏移され、前記フレームバッファ内の第２の画像ピクセルは、前記第１の量と異なる第２の量だけ偏移される、項目１０に記載の方法。
（項目１２）
視認者の更新された位置に基づいて、画像フレームを変換するための方法であって、前記方法は、
グラフィック処理ユニットによって、第１の時間に、両眼接眼ディスプレイデバイスの左ディスプレイのための左画像フレームをレンダリングするステップであって、前記左画像フレームは、前記視認者の第１の位置と関連付けられた第１の視点に対応する、ステップと、
コンピューティングデバイスによって、前記グラフィック処理ユニットから、前記両眼接眼ディスプレイデバイスの右ディスプレイのための右画像フレームをレンダリングするステップであって、前記右画像フレームは、前記視認者の第１の位置と関連付けられた第１の視点に対応する、ステップと、
前記グラフィック処理ユニットによって、前記第１の時間より後の第２の時間に、前記視認者の第２の位置と関連付けられたデータを受信するステップであって、前記データは、前記視認者の第２の位置に基づく第１の姿勢推定を含む、ステップと、
前記グラフィック処理ユニットによって、前記視認者の第２の位置に基づく第１の姿勢推定を使用して、前記左画像フレームの少なくとも一部を変換し、前記両眼接眼ディスプレイデバイスの左ディスプレイのための更新された左画像フレームを生成するステップであって、前記更新された左画像フレームは、前記視認者の第２の位置と関連付けられた第２の視点に対応する、ステップと、
前記グラフィック処理ユニットによって、前記第２の時間より後の第３の時間に、前記左ディスプレイ上に表示されるように、前記更新された左画像フレームを前記両眼接眼ディスプレイデバイスの左ディスプレイに伝送するステップと、
前記グラフィック処理ユニットによって、前記第２の時間より後の第４の時間に、前記視認者の第３の位置と関連付けられたデータを受信するステップであって、前記データは、前記視認者の第３の位置に基づく第２の姿勢推定を含む、ステップと、
前記グラフィック処理ユニットによって、前記視認者の第３の位置に基づく第２の姿勢推定を使用して、前記右画像フレームの少なくとも一部を変換し、前記両眼接眼ディスプレイデバイスの右ディスプレイのための更新された右画像フレームを生成するステップであって、前記更新された右画像フレームは、前記視認者の第３の位置と関連付けられた第３の視点に対応する、ステップと、
前記グラフィック処理ユニットによって、前記第４の時間より後の第５の時間に、前記右ディスプレイ上に表示されるように、前記更新された右画像フレームを前記両眼接眼ディスプレイデバイスの右ディスプレイに伝送するステップと
を含む、方法。
（項目１３）
前記右画像フレームは、前記グラフィック処理ユニットによって、前記第１の時間にレンダリングされる、項目１２に記載の方法。
（項目１４）
前記右画像フレームは、前記グラフィック処理ユニットによって、前記第１の時間より後であって、かつ前記第４の時間より早い第６の時間にレンダリングされる、項目１２に記載の方法。
（項目１５）
前記レンダリングされた右画像フレームは、前記第１の時間にレンダリングされた左画像フレームと同一である、項目１２に記載の方法。
（項目１６）
システムであって、
グラフィック処理ユニットであって、前記グラフィック処理ユニットは、視認者の第１の位置と関連付けられた第１の視点に対応する第１の画像フレームを生成するように構成される、グラフィック処理ユニットと、
コントローラであって、前記コントローラは、
前記視認者の第２の位置と関連付けられたデータを受信することと、
前記第１の画像フレームの少なくとも一部をピクセル毎に継続的に変換し、前記視認者の第２の位置と関連付けられた第２の視点に対応する第２の画像フレームを生成することと、
前記第２の画像フレームをストリーミングすることと
を行うように構成される、コントローラと、
接眼ディスプレイデバイスであって、前記接眼ディスプレイデバイスは、
ストリーミングされるにつれて、前記コントローラによって、前記第２の画像フレームを受信することと、
前記第２の画像フレームを光子に変換することと、
前記光子を前記視認者に向かって放出することと
を行うように構成される、接眼ディスプレイデバイスと
を備える、システム。
（項目１７）
前記接眼ディスプレイデバイスは、シーケンシャル走査ディスプレイデバイスである、項目１６に記載のシステム。
（項目１８）
前記コントローラは、前記接眼ディスプレイデバイス内に組み込まれる、項目１６に記載のシステム。
（項目１９）
前記コントローラは、前記グラフィック処理ユニットおよび前記接眼ディスプレイデバイスに結合され、それらの間に提供される、項目１６に記載のシステム。
（項目２０）
前記コントローラはさらに、
前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファと、
前記第２の画像フレームを前記接眼ディスプレイデバイスにストリーミングすることに先立って、前記フレームバッファに記憶されるバッファされた画像ピクセルを偏移させることによって、前記第１の画像フレームの少なくとも一部を前記第２の画像フレームに変換するための外部バッファプロセッサと
を備える、項目１６に記載のシステム。
本発明は、例えば、以下を提供する。
（項目１）
視認者の更新された位置に基づいて、画像フレームを変換するための方法であって、前記方法は、
コンピューティングデバイスによって、グラフィック処理ユニットから、前記視認者の第１の位置と関連付けられた第１の視点に対応する第１の画像フレームを取得するステップと、
前記視認者の第２の位置と関連付けられたデータを受信するステップと、
前記コンピューティングデバイスによって、前記第１の画像フレームの少なくとも一部をピクセル毎に継続的に変換し、前記視認者の第２の位置と関連付けられた第２の視点に対応する第２の画像フレームを生成するステップと、
前記コンピューティングデバイスによって、接眼ディスプレイデバイス上に表示されるように、前記第２の画像フレームを前記接眼ディスプレイデバイスのディスプレイモジュールに伝送するステップと
を含む、方法。
（項目２）
前記第２の位置は、前記第１の位置からの前記接眼ディスプレイデバイスの光学中心のまわりの回転に対応する、項目１に記載の方法。
（項目３）
前記第２の位置は、前記第１の位置からの水平平行移動に対応する、項目１に記載の方法。
（項目４）
前記第１の画像フレームは、前記変換された第１の画像フレームが光子に変換されるまで、継続的に変換される、項目１に記載の方法。
（項目５）
前記第１の画像フレームは、前記グラフィック処理ユニットからストリーミングされる画像のサブセクションである、項目１に記載の方法。
（項目６）
前記コンピューティングデバイスは、前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、前記第１の画像フレームの少なくとも一部をピクセル毎に継続的に変換するステップはさらに、
前記コンピューティングデバイスによって、前記接眼ディスプレイデバイスのディスプレイデバイスピクセルを前記フレームバッファ内のデフォルト画像ピクセルから前記フレームバッファ内の異なる画像ピクセルにリダイレクトするステップ
を含む、項目１に記載の方法。
（項目７）
前記コンピューティングデバイスは、前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、前記第１の画像フレームの少なくとも一部をピクセル毎に継続的に変換するステップはさらに、
前記コンピューティングデバイスによって、前記フレームバッファ内の画像ピクセルを前記画像ピクセルに割り当てられるデフォルトディスプレイデバイスピクセルと異なる前記接眼ディスプレイデバイスのディスプレイデバイスピクセルに送信するステップ
を含む、項目１に記載の方法。
（項目８）
前記コンピューティングデバイスは、前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、継続的に変換するステップはさらに、
前記第１の画像フレームの少なくとも一部を変換しながら、前記第１の画像フレームを前記グラフィック処理ユニットのフレームバッファから受信するステップ
を含み、前記変換するステップは、
前記コンピューティングデバイスによって、前記グラフィック処理ユニットから、前記グラフィック処理ユニットのフレームバッファ内の第１の画像ピクセルを前記コンピューティングデバイスのフレームバッファ内の第１の画像ピクセルにおいて受信するステップであって、前記グラフィック処理ユニットのフレームバッファ内の第１の画像ピクセルは、最初に、前記コンピューティングデバイスのフレームバッファ内の第２の画像ピクセルに割り当てられる、ステップ
を含む、項目１に記載の方法。
（項目９）
前記視認者の第２の位置と関連付けられたデータは、光学データと、慣性測定ユニットからのデータとを含み、前記コンピューティングデバイスは、前記光学データと、前記慣性測定ユニットからのデータとを受信するための姿勢推定器モジュールと、前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファとを含む、項目１に記載の方法。
（項目１０）
前記コンピューティングデバイスは、前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファと、前記第２の画像フレームを前記接眼ディスプレイデバイスに伝送することに先立って、前記フレームバッファに記憶されるバッファされた画像ピクセルを偏移させることによって、前記第１の画像フレームの少なくとも一部を前記第２の画像フレームに変換するための外部バッファプロセッサとを含む、項目１に記載の方法。
（項目１１）
前記フレームバッファ内の第１の画像ピクセルは、第１の量だけ偏移され、前記フレームバッファ内の第２の画像ピクセルは、前記第１の量と異なる第２の量だけ偏移される、項目１０に記載の方法。
（項目１２）
視認者の更新された位置に基づいて、画像フレームを変換するための方法であって、前記方法は、
グラフィック処理ユニットによって、第１の時間に、両眼接眼ディスプレイデバイスの左ディスプレイのための左画像フレームをレンダリングするステップであって、前記左画像フレームは、前記視認者の第１の位置と関連付けられた第１の視点に対応する、ステップと、
コンピューティングデバイスによって、前記グラフィック処理ユニットから、前記両眼接眼ディスプレイデバイスの右ディスプレイのための右画像フレームをレンダリングするステップであって、前記右画像フレームは、前記視認者の第１の位置と関連付けられた第１の視点に対応する、ステップと、
前記グラフィック処理ユニットによって、前記第１の時間より後の第２の時間に、前記視認者の第２の位置と関連付けられたデータを受信するステップであって、前記データは、前記視認者の第２の位置に基づく第１の姿勢推定を含む、ステップと、
前記グラフィック処理ユニットによって、前記視認者の第２の位置に基づく第１の姿勢推定を使用して、前記左画像フレームの少なくとも一部を変換し、前記両眼接眼ディスプレイデバイスの左ディスプレイのための更新された左画像フレームを生成するステップであって、前記更新された左画像フレームは、前記視認者の第２の位置と関連付けられた第２の視点に対応する、ステップと、
前記グラフィック処理ユニットによって、前記第２の時間より後の第３の時間に、前記左ディスプレイ上に表示されるように、前記更新された左画像フレームを前記両眼接眼ディスプレイデバイスの左ディスプレイに伝送するステップと、
前記グラフィック処理ユニットによって、前記第２の時間より後の第４の時間に、前記視認者の第３の位置と関連付けられたデータを受信するステップであって、前記データは、前記視認者の第３の位置に基づく第２の姿勢推定を含む、ステップと、
前記グラフィック処理ユニットによって、前記視認者の第３の位置に基づく第２の姿勢推定を使用して、前記右画像フレームの少なくとも一部を変換し、前記両眼接眼ディスプレイデバイスの右ディスプレイのための更新された右画像フレームを生成するステップであって、前記更新された右画像フレームは、前記視認者の第３の位置と関連付けられた第３の視点に対応する、ステップと、
前記グラフィック処理ユニットによって、前記第４の時間より後の第５の時間に、前記右ディスプレイ上に表示されるように、前記更新された右画像フレームを前記両眼接眼ディスプレイデバイスの右ディスプレイに伝送するステップと
を含む、方法。
（項目１３）
前記右画像フレームは、前記グラフィック処理ユニットによって、前記第１の時間にレンダリングされる、項目１２に記載の方法。
（項目１４）
前記右画像フレームは、前記グラフィック処理ユニットによって、前記第１の時間より後であって、かつ前記第４の時間より早い第６の時間にレンダリングされる、項目１２に記載の方法。
（項目１５）
前記レンダリングされた右画像フレームは、前記第１の時間にレンダリングされた左画像フレームと同一である、項目１２に記載の方法。
（項目１６）
システムであって、
グラフィック処理ユニットであって、前記グラフィック処理ユニットは、視認者の第１の位置と関連付けられた第１の視点に対応する第１の画像フレームを生成するように構成される、グラフィック処理ユニットと、
コントローラであって、前記コントローラは、
前記視認者の第２の位置と関連付けられたデータを受信することと、
前記第１の画像フレームの少なくとも一部をピクセル毎に継続的に変換し、前記視認者の第２の位置と関連付けられた第２の視点に対応する第２の画像フレームを生成することと、
前記第２の画像フレームをストリーミングすることと
を行うように構成される、コントローラと、
接眼ディスプレイデバイスであって、前記接眼ディスプレイデバイスは、
ストリーミングされるにつれて、前記コントローラによって、前記第２の画像フレームを受信することと、
前記第２の画像フレームを光子に変換することと、
前記光子を前記視認者に向かって放出することと
を行うように構成される、接眼ディスプレイデバイスと
を備える、システム。
（項目１７）
前記接眼ディスプレイデバイスは、シーケンシャル走査ディスプレイデバイスである、項目１６に記載のシステム。
（項目１８）
前記コントローラは、前記接眼ディスプレイデバイス内に組み込まれる、項目１６に記載のシステム。
（項目１９）
前記コントローラは、前記グラフィック処理ユニットおよび前記接眼ディスプレイデバイスに結合され、それらの間に提供される、項目１６に記載のシステム。
（項目２０）
前記コントローラはさらに、
前記第１の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファと、
前記第２の画像フレームを前記接眼ディスプレイデバイスにストリーミングすることに先立って、前記フレームバッファに記憶されるバッファされた画像ピクセルを偏移させることによって、前記第１の画像フレームの少なくとも一部を前記第２の画像フレームに変換するための外部バッファプロセッサと
を備える、項目１６に記載のシステム。
【図面の簡単な説明】
【0016】
【図1】図（ＦＩＧ）１は、いくつかの実施形態による、ウェアラブルＡＲデバイスを通して視認されるような拡張現実（「ＡＲ」）場面を図示する。
【発明を実施するための形態】
【0017】
仮想現実（「ＶＲ」）体験は、ウェアラブルディスプレイシステムを通して、ユーザに提供されてもよい。図２は、ウェアラブルディスプレイシステム８０（以降、「システム８０」と称される）の実施例を図示する。システム８０は、頭部搭載型ディスプレイデバイス６２（以降、「ディスプレイデバイス６２」と称される）と、ディスプレイデバイス６２の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイデバイス６２は、フレーム６４に結合されてもよく、これは、ディスプレイシステムのユーザまたは視認者６０（以降、「ユーザ６０」と称される）によって装着可能であって、ディスプレイデバイス６２をユーザ６０の眼の正面に位置付けるように構成される。種々の実施形態によると、ディスプレイデバイス６２は、シーケンシャルディスプレイであってもよい。ディスプレイデバイス６２は、片眼または両眼用であってもよい。いくつかの実施形態では、スピーカ６６が、フレーム６４に結合され、ユーザ６０の外耳道に近接して位置付けられる。いくつかの実施形態では、示されない別のスピーカが、ユーザ６０の別の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する。ディスプレイデバイス６２は、有線導線または無線コネクティビティ等によって、ローカルデータ処理モジュール７０に動作可能に結合６８され、これは、フレーム６４に固定して取り付けられる、ユーザ６０によって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様に、ユーザ６０に除去可能に取り付けられる（例えば、リュック式構成、ベルト結合式構成において）等、種々の構成において搭載されてもよい。
【0018】
ローカルデータ処理モジュール７０は、プロセッサと、不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリとを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等のセンサ（例えば、フレーム６４に動作可能に結合または別様にユーザ６０に取り付けられてもよい）から捕捉されたデータ、および／または、ｂ）可能性として、処理または読出後、ディスプレイデバイス６２への通過のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して入手および／または処理されるデータを含む。ローカルデータ処理モジュール７０は、これらの遠隔モジュール７２、７４が、相互に動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能であるように、通信リンク７６、７８によって、有線または無線通信リンク等を介して、それぞれ、遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合されてもよい。
【0019】
いくつかの実施形態では、ローカルデータ処理モジュール７０は、データおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサ（例えば、グラフィック処理ユニット（ＧＰＵ））を含んでもよい。いくつかの実施形態では、遠隔データリポジトリ７４は、デジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカルデータ処理モジュール７０において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
【0020】
いくつかの実施形態では、ローカルデータ処理モジュール７０は、バッテリ８２に動作可能に結合される。いくつかの実施形態では、バッテリ８２は、市販のバッテリ等にわたる可撤性電源である。他の実施形態では、バッテリ８２は、リチウムイオンバッテリである。いくつかの実施形態では、バッテリ８２は、ユーザ６０が、電源に繋がれ、リチウムイオンバッテリを充電する必要なく、またはシステム８０を遮断し、バッテリを交換する必要なく、システム８０をより長い時間周期にわたって動作させ得るように、システム８０の非動作時間の間にユーザ６０によって充電可能な内部リチウムイオンバッテリと、可撤性バッテリの両方を含む。
【0021】
図３Ａは、ユーザ３０が実世界環境３２（以降、「環境３２」と称される）を通して移動するにつれてＡＲコンテンツをレンダリングする、拡張現実（「ＡＲ」）ディスプレイシステムを装着しているユーザ３０を図示する。ユーザ３０は、ＡＲディスプレイシステムを位置３４に位置付け、ＡＲディスプレイシステムは、マッピングされた特徴または指向性オーディオ入力と関連する姿勢等、位置３４に対するパス可能世界の周囲情報（例えば実世界内のオブジェクトに対する変化に伴って記憶および更新され得る、実世界内のオブジェクトのデジタル表現）を記録する。位置３４は、少なくとも図２の遠隔処理モジュール７２等のパス可能世界モジュール３８によって、データ入力３６に集約され、処理される。パス可能世界モジュール３８は、固定要素４２（例えば、テーブル）上、または視野４４内にまだない構造内、または実世界のマッピングされたメッシュモデル４６に対して等、データ入力３６から決定されるように、ＡＲコンテンツ４０が実世界内に設置され得る場所および方法を決定する。描写されるように、固定要素４２は、実世界内の任意の固定要素のための代用品としての役割を果たし、これは、ユーザ３０が、ユーザ３０にそれが見える度に、固定要素４２をマッピングする必要なく、固定要素４２上のコンテンツを知覚し得るように、パス可能世界モジュール３８内に記憶されてもよい。固定要素４２は、したがって、以前のモデル化セッションからのマッピングされたメッシュモデルである、または別個のユーザから決定されるが、それにもかかわらず、複数のユーザによる将来的参照のために、パス可能世界モジュール３８上に記憶されてもよい。したがって、パス可能世界モジュール３８は、ユーザ３０のデバイスが環境３２を最初にマッピングすることなく、以前にマッピングされた環境からの環境３２を認識し、ＡＲコンテンツを表示し、算出プロセスおよびサイクルを節約し、任意のレンダリングされるＡＲコンテンツの待ち時間を回避し得る。
【0022】
同様に、実世界のマッピングされたメッシュモデル４６が、ＡＲディスプレイシステムによって作成されることができ、ＡＲコンテンツ４０と相互作用し、それを表示するための適切な表面およびメトリックが、再マッピングまたはモデル化する必要なく、ユーザ３０または他のユーザによる将来的読出のために、マッピングされ、パス可能世界モジュール３８内に記憶されることができる。いくつかの実施形態では、地理的場所、ユーザ識別、および現在のアクティビティ等のデータ入力３６が、パス可能世界モジュール３８に、利用可能な１つ以上の固定要素のうちの固定要素４２、固定要素４２上に最後に設置されたＡＲコンテンツ４０、およびその同一コンテンツを表示すべきかどうか（そのようなＡＲコンテンツは、ユーザが特定のパス可能世界モデルを視認するかどうかにかかわらず、「持続的」コンテンツである）示すために入力される。
【0023】
図３Ｂは、視認光学アセンブリ４８および付帯コンポーネントの概略を図示する。いくつかの実施形態では、ユーザの眼４９に配向される、２つの眼追跡カメラ５０が、眼形状、眼瞼閉塞、瞳孔方向、およびユーザの眼４９上の閃光等のユーザの眼４９のメトリックを検出する。いくつかの実施形態では、飛行時間センサ等の深度センサ５１が、中継信号を世界に放出し、所与のオブジェクトまでの距離を決定する。いくつかの実施形態では、世界カメラ５２が、広域周辺視野を記録し、環境３２をマッピングし、ＡＲコンテンツに影響を及ぼし得る入力を検出する。カメラ５３がさらに、ユーザの視野内の実世界画像の具体的タイムスタンプを捕捉し得る。世界カメラ５２、カメラ５３、および深度センサ５１はそれぞれ、５４、５５、および５６の個別の視野を有し、図３Ａに描写される実世界環境３２等の実世界場面からデータを収集および記録する。
【0024】
慣性測定ユニット５７が、視認光学アセンブリ４８の移動および配向を決定してもよい。いくつかの実施形態では、各コンポーネントは、少なくとも１つの他のコンポーネントに動作可能に結合される。例えば、深度センサ５１が、ユーザの眼４９が見ている実際の距離に対して測定された遠近調節の確認として、眼追跡カメラ５０に動作可能に結合される。
【0025】
ＡＲシステムでは、ユーザ３０の位置が変化すると、レンダリングされた画像は、調節され、ユーザ３０のビューの新しいエリアを考慮する必要がある。例えば、図２を参照すると、ユーザ６０が、その頭部を移動させると、ディスプレイデバイス６２上に表示される画像は、更新される必要がある。しかしながら、ユーザ６０の頭部が運動中であって、システム８０が、新しい頭部姿勢に基づいて、レンダリングされた画像に対する新しい視点のビューを決定する必要がある場合、画像をディスプレイデバイス６２上にレンダリングする際、遅延が存在し得る。
【0026】
種々の実施形態によると、表示されるための画像は、時間を節約するために、再レンダリングされる必要がない場合がある。むしろ、画像は、ユーザ６０の新しい視点（例えば、ビューの新しいエリア）と一致するように変換されてもよい。本高速画像再調節／ビュー補正は、時間ワーピングと称され得る。時間ワーピングは、システム８０が、頭部位置、故に、ユーザ６０の視点が変化するにつれてさえ、より応答性かつ没入性に現れることを可能にし得る。
【0027】
時間ワーピングは、表示される画像上の割れ等の望ましくない影響を防止するために使用されてもよい。画像割れは、ディスプレイデバイス６２内の視覚的アーチファクトであって、ディスプレイデバイス６２は、単一画面描写において、複数のフレームからの情報を示す。割れは、ディスプレイデバイス６２へのフレーム伝送レートがディスプレイデバイス６２のリフレッシュレートと同期されないときに生じ得る。
【0028】
図４は、いったん３Ｄコンテンツがレンダリングされると、時間ワーピングが実施され得る方法を図示する。図４に図示されるシステム１００は、画像データ１１２と、１つ以上のＩＭＵからの慣性測定ユニット（ＩＭＵ）データ１１４とを受信する、姿勢推定器１０１を含む。姿勢推定器１０１は、次いで、受信された画像データ１１２およびＩＭＵデータ１１４に基づいて、姿勢１２２を生成し、姿勢１２２を３Ｄコンテンツ生成器１０２に提供してもよい。３Ｄコンテンツ生成器１０２は、３Ｄコンテンツ（例えば、３Ｄ画像データ）を生成し、レンダリングのために、３Ｄコンテンツをグラフィック処理ユニット（ＧＰＵ）１０４に提供してもよい。ＧＰＵ１０４は、時間ｔ１ １１６に、受信された３Ｄコンテンツをレンダリングし、レンダリングされた画像１２５を時間ワーピングモジュール１０６に提供してもよい。時間ワーピングモジュール１０６は、時間ｔ２ １１７に、ＧＰＵ１０４からのレンダリングされた画像１２５と、姿勢推定器１０１からの最新姿勢１２４を受信してもよい。時間ワーピングモジュール１０６は、次いで、ｔ３ １１８時間に、最新姿勢１２４を使用して、時間ワーピングをレンダリングされた画像１２５に実施してもよい。変換された画像１２６（すなわち、時間ワーピングが実施される画像）は、ディスプレイデバイス１０８（例えば、図１のディスプレイデバイス６２）に送信される。光子が、時間ｔ４ １２０に、ディスプレイデバイス１０８において生成され、ユーザの眼１１０に向かって放出され、それによって、画像をディスプレイデバイス１０８上に表示する。図４に図示される時間ワーピングは、最新姿勢更新情報（例えば、最新姿勢１２４）をディスプレイデバイス１０８上に表示される画像上に提示することを可能にする。古いフレーム（すなわち、以前に表示されたフレームまたはＧＰＵから受信されたフレーム）は、時間ワーピングを補間するために使用されてもよい。時間ワーピングを用いることで、最新姿勢１２４は、表示される画像データ内に組み込まれることができる。
【0029】
いくつかの実施形態では、時間ワーピングは、パラメータワーピング、非パラメータワーピング、または非同期ワーピングであってもよい。パラメータワーピングは、画像の平行移動、回転、およびスケーリングのようなアフィン操作を伴う。パラメータワーピングでは、画像のピクセルは、均一様式において再位置付けされる。故に、パラメータワーピングが、ユーザの頭部の回転のために場面を正しく更新するために使用されてもよいが、パラメータワーピングは、ユーザの頭部の平行移動を考慮しなくてもよく、画像のいくつかの領域は、その他と異なるように影響されてもよい。
【0030】
非パラメータワーピングは、画像のセクションの非パラメータ歪曲（例えば、画像の一部の伸展）を伴う。非パラメータワーピングは、画像の異なる領域において異なるように画像のピクセルを更新し得る場合でも、非パラメータワーピングは、「ディスオクルージョン」と称される概念に起因して、ユーザの頭部の平行移動を部分的にのみ考慮し得る。ディスオクルージョンは、例えば、ユーザの姿勢の変化、視線内の障害物の除去、および同等物の結果としてのビューへのオブジェクトの暴露またはビューからの以前に隠蔽されたオブジェクトの再出現を指し得る。
【0031】
同期時間ワーピングは、場面レンダリングおよび時間ワーピングを２つの別個の非同期動作に分離する、ワーピングを指し得る。非同期時間ワーピングは、ＧＰＵまたは外部ハードウェア上で実行されてもよい。非同期時間ワーピングは、表示される画像のフレームレートをレンダリングレートを上回って増加させ得る。
【0032】
種々の実施形態による、時間ワーピングは、ユーザの新しい頭部位置（すなわち、帰属される頭部姿勢）に応答して実施されてもよい。例えば、図４に図示されるように、ユーザは、時間ｔ０ １１５に、その頭部を移動させ得る（例えば、ユーザが、回転する、平行移動する、または両方）。その結果、ユーザの視点は、変化し得る。これは、ユーザに見えるものの変化をもたらすであろう。故に、レンダリングされた画像は、現実的ＶＲまたはＡＲ体験のために、更新され、ユーザの頭部移動を考慮する必要がある。すなわち、レンダリングされた画像１２５は、ユーザが、ディスプレイデバイス１０８に表示される画像内のユーザの視点に対して正しい空間位置付けおよび配向を伴って、仮想コンテンツを知覚するように、ワーピングされ、新しい頭部位置に整合する（例えば、対応する）。本目的のために、実施形態は、ユーザがその頭部を移動する時間と、本運動を組み込む画像（光子）がユーザの網膜上に着信する時間との間の時間である、運動から光子までの待ち時間を低減させることを目指す。時間ワーピングを伴わない場合、運動から光子までの待ち時間は、ユーザが姿勢１２２において捕捉された運動を生じさせる時間と、光子が眼１１０に向かって放出される時間との間の時間となる。時間ワーピングを伴う場合、運動から光子までの待ち時間は、ユーザが最新姿勢１２４において捕捉された運動を生じさせる時間と、光子が眼１１０に向かって放出される時間との間の時間となる。運動から光子までの待ち時間に起因する誤差を低減させる試みでは、姿勢推定器が、ユーザの姿勢を予測してもよい。姿勢推定器が、予測範囲としても知られる、ユーザの姿勢を時間的にさらに予測するにつれて、予測は、より不確かとなる。時間ワーピングを本明細書に開示される様式で実装しない、従来のシステムは、従来、少なくとも１つのフレーム持続時間以上の（例えば、６０Ｈｚに関して少なくとも１６ミリ秒以上の）運動から光子までの待ち時間を有する。実施形態は、約１～２ミリ秒の運動から光子までの待ち時間を達成する。
【0033】
本明細書に開示される実施形態は、２つの非相互排他的タイプの時間ワーピング、すなわち、連続時間ワーピング（ＣＴＷ）および交互両眼時間ワーピング（ＳＢＴＷ）を対象とする。実施形態は、走査ファイバまたは任意の他の走査画像ソース（例えば、微小電気機械システム（ＭＥＭＳ）ミラー）を画像ソースとして使用して、ディスプレイデバイス（例えば、図１のディスプレイデバイス６２）と併用されてもよい。走査ファイバは、遠隔ソースからの光を走査ファイバに単一モード光ファイバを介して中継する。ディスプレイデバイスは、作動式光ファイバケーブルを使用して、ファイバ自体の開口よりはるかに大きい画像を走査出力する。走査ファイバアプローチは、走査入力開始時間および走査出力開始時間によって境界されず、走査入力開始時間と走査出力開始時間との間に変換が存在することができる（例えば、画像がディスプレイデバイスにアップロードされ得る前に）。代わりに、連続時間ワーピングが、実施されることができ、変換は、ピクセル毎に行われ、ピクセルのｘ－ｙ場所またはさらにｘ－ｙ－ｚ場所は、画像が眼によってスライドされるにつれて調節される。
【0034】
本明細書で議論される種々の実施形態は、図２に図示されるシステム８０を使用して実施されてもよい。しかしながら、実施形態は、システム８０に限定されず、本明細書で議論される時間ワーピング方法を実施することが可能な任意のシステムと併用されてもよい。
（視点調節およびワーピング）
（視点調節およびワーピング）
【0035】
種々の実施形態によると、ＡＲシステム（例えば、システム８０）は、２次元（２Ｄ）シースルーディスプレイ（例えば、ディスプレイデバイス６２）を使用してもよい。３次元（３Ｄ）オブジェクトをディスプレイ上に表すために、３Ｄオブジェクトは、１つ以上の平面上に投影される必要があり得る。ディスプレイに結果として生じる画像は、ディスプレイデバイス６２を介して３Ｄオブジェクトを見ているシステム８０のユーザ（例えば、ユーザ６０）の視点に依存し得る。図（ＦＩＧ）５－７は、３Ｄオブジェクトに対するユーザ６０の移動と、ユーザ６０に各位置において見える内容とを示すことによって、ビュー投影を図示する。
【0036】
図５は、第１の位置からのユーザの視認エリアを図示する。ユーザが第１の位置３１４に位置付けられるとき、ユーザには、「ユーザに見える内容３１６」に図示されるように、第１の３Ｄオブジェクト３０４と、第２の３Ｄオブジェクト３０６とが見える。第１の位置３１４から、ユーザには、第１の３Ｄオブジェクト３０４が全体として見え、第２の３Ｄオブジェクト３０６の一部は、第２の３Ｄオブジェクト３０６の正面に設置された第１の３Ｄオブジェクト３０４によって隠される。
【0037】
図６は、第２の位置からのユーザの視認エリアを図示する。ユーザが、図５の第１の位置３１４に対して平行移動する（例えば、側方に移動する）と、ユーザの視点は、変化する。故に、第２の位置３２０から可視の第１の３Ｄオブジェクト３０４および第２の３Ｄオブジェクト３０６の特徴は、第１の位置３１４から可視の第１の３Ｄオブジェクト３０４および第２の３Ｄオブジェクト３０６の特徴と異なり得る。図６に図示される実施例では、ユーザが、第２の３Ｄオブジェクト３０６から第１の３Ｄオブジェクト３０４に向かって側方に平行移動すると、ユーザには、第１の３Ｄオブジェクト３０４が第１の位置３１４からのビューと比較して第２の３Ｄオブジェクト３０４のより大きい部分を隠すように見える。ユーザが第２の位置３２０に位置付けられると、ユーザには、「ユーザに見える内容３１８」に図示されるように、第１の３Ｄオブジェクト３０４と、第２の３Ｄオブジェクト３０６とが見える。種々の実施形態によると、ユーザが、図６に図示される様式において側方に平行移動すると、「ユーザに見える内容３１８」は、非均一に更新される（すなわち、ユーザにより近いオブジェクト（例えば、第１の３Ｄオブジェクト３０４）は、離れたオブジェクト（例えば、第２の３Ｄオブジェクト３０６）より多く移動するように現れる）。
【0038】
図７は、第３の位置からのユーザの視認エリアを図示する。ユーザが、図５の第１の位置３１４に対して回転すると、ユーザの視点は、変化する。故に、第３の位置３２４から可視の第１の３Ｄオブジェクト３０４および第２の３Ｄオブジェクト３０６の特徴は、第１の位置３１４から可視の第１の３Ｄオブジェクト３０４および第２の３Ｄオブジェクト３０６の特徴と異なり得る。図７に図示される実施例では、ユーザが、時計回りに回転すると、第１の３Ｄオブジェクト３０４および第２の３Ｄオブジェクト３０６は、第１の位置３１４からの「ユーザに見える内容３１６」と比較して、左に偏移する。ユーザが第３の位置３２４に位置付けられると、ユーザには、「ユーザに見える内容３２２」に図示されるように、第１の３Ｄオブジェクト３０４と、第２の３Ｄオブジェクト３０６とが見える。種々の実施形態によると、ユーザが、光学中心のまわりで（例えば、視点の中心のまわりで）回転すると、投影された画像「ユーザに見える内容３２２」は、単に、平行移動する。ピクセルの相対的配列は、変化しない。例えば、図５における「ユーザに見える内容３１６」のピクセルの相対的配列は、図７の「ユーザに見える内容３２２」と同一である。
【0039】
図５－７は、視認されるオブジェクトのレンダリングがユーザの位置に依存する様子を図示する。ユーザの移動に基づいてユーザに見える内容（すなわち、レンダリングされたビュー）を修正することは、ＡＲ体験の品質に影響を及ぼす。シームレスなＡＲ体験では、仮想オブジェクトを表すピクセルは、常時、物理的世界に空間的に位置合わせされて現れるべきである（「世界忠実ピクセル」（ＰＳｔＷ）と称される）。例えば、仮想コーヒーマグカップが、ＡＲ体験において、実テーブル上に設置され得る場合、仮想マグカップは、ユーザが周囲を見渡す（すなわち、視点を変化させる）と、テーブル上に固定されて現れるべきである。ＰＳｔＷが、達成されない場合、仮想マグカップは、ユーザが周囲を見渡すとき、空間内でドリフトし、それによって、テーブル上にある仮想マグカップの知覚を破壊するであろう。本実施例では、実テーブルは、実世界配向に対して静的である一方、ユーザの視点は、ユーザの頭部姿勢の変化を通して変化する。したがって、システム８０は、頭部姿勢（世界座標に対して）を推定し、仮想オブジェクトを実世界に位置合わせし、次いで、仮想オブジェクトの光子を正しい視点から引き出す／提示する必要があり得る。
【0040】
提示される画像内への正しい視認姿勢の組み込みは、ＰＳｔＷ概念に重要である。本組み込みは、レンダリングパイプラインに沿った異なる点において生じてもよい。典型的には、ＰＳｔＷ概念は、提示される画像が可能な限り最新である結果をもたらすであろうため、姿勢推定と提示される画像との間の時間が短いとき、または所与の予測範囲にわたる姿勢予測がより正確であるとき、より良好に達成され得る。すなわち、姿勢推定が、姿勢推定に基づいて生成された画像が表示されるまでに古くなってしまう場合、ピクセルは、世界に忠実ではなくなり、ＰＳｔＷは、達成され得ない。
【0041】
図５の第１の位置３１４に対応する「ユーザに見える内容３１６」のピクセル位置と、図６の第２の位置３２０（すなわち、平行移動された位置）に対応する「ユーザに見える内容３１８」または図７の第３の位置（すなわち、回転された位置）に対応する「ユーザに見える内容３２４」のピクセル位置との間の関係は、画像変換またはワーピングと称され得る。
（時間ワーピング）
（時間ワーピング）
【0042】
時間ワーピングは、異なる視点（例えば、ユーザの頭部の位置）に対応する２Ｄ画像間の数学的変換を指し得る。ユーザの頭部の位置が変化すると、時間ワーピングが、新しい画像を再レンダリングする必要なく、新しい視点に一致するように表示される画像を変換するために適用されてもよい。故に、ユーザの頭部の位置の変化は、迅速に考慮され得る。時間ワーピングは、ＡＲシステムが、ユーザがその頭部を移動させ、それによって、その視点を修正するにつれて、より応答性かつ没入性に現れることを可能にし得る。
【0043】
ＡＲシステムでは、姿勢（例えば、第１の姿勢）が、ユーザの初期位置に基づいて推定された後、ユーザは、位置を移動および／または変化させ、それによって、ユーザに見える内容を変化させ得、新しい姿勢（例えば、第２の姿勢）が、ユーザの変化された位置に基づいて推定されてもよい。第１の姿勢に基づいてレンダリングされた画像は、現実的ＶＲまたはＡＲ体験のために、第２の姿勢に基づいて更新され、ユーザの移動および／または位置の変化を考慮する必要がある。本変化を迅速に考慮するために、ＡＲシステムは、新しい姿勢を生成してもよい。時間ワーピングが、第２の姿勢を使用して実施され、ユーザの移動および／または位置の変化を考慮する、変換された画像を生成してもよい。変換された画像は、ディスプレイデバイスに送信され、ユーザに表示される。前述のように、時間ワーピングは、レンダリングされた画像を変換し、したがって、時間ワーピングは、既存の画像データと協働する。故に、時間ワーピングは、完全に新しいオブジェクトをレンダリングするために使用され得ない。例えば、レンダリングされた画像が、缶を示し、ユーザが、ユーザに缶の背後に隠蔽されたペニー貨が見え得るようにその頭部を十分に遠くに移動させる場合、ペニー貨がレンダリングされた画像内のビュー内になかったため、ペニー貨は、時間ワーピングを使用してレンダリングされ得ない。しかしながら、時間ワーピングは、新しい姿勢に基づいて（例えば、新しいユーザの視点に従って）、缶の位置を適切にレンダリングするために使用されてもよい。
【0044】
時間ワーピングの有効性は、（１）ワーピングが画像が表示される直前に生じる場合、新しい頭部姿勢（そこから時間ワーピングが計算される）の正確度、すなわち、姿勢推定器／センサ融合の品質に依存し得、（２）画像が表示される少し前（予測範囲）にワーピングが生じる場合、予測範囲時間にわたる姿勢予測の正確度、すなわち、姿勢予測器の品質に依存し得、（３）予測範囲時間の長さ（例えば、より短いほど、より良好である）に依存し得る。
（Ｉ．時間ワーピング操作）
（Ｉ．時間ワーピング操作）
【0045】
時間ワーピング操作は、遅れフレーム時間ワーピングおよび／または非同期時間ワーピングを含んでもよい。遅れフレーム時間ワーピングは、レンダリングされた画像（またはその時間ワーピングされたバージョン）を含むフレームが、ディスプレイ（例えば、ディスプレイデバイス６２）に提示される前に、フレーム生成周期内で可能な限り遅れてレンダリングされた画像のワーピングを指し得る。本目的は、ユーザの姿勢が推定されるときと、ユーザの姿勢に対応するレンダリングされた画像がユーザによって視認されるときとの間の時間（例えば、運動／光子／姿勢推定から光子までの待ち時間（ｍｏｔｉｏｎ／ｐｈｏｔｏｎ／ｐｏｓｅ ｅｓｔｉｍａｔｅ－ｔｏ－ｐｈｏｔｏｎ ｌａｔｅｎｃｙ））を最小限にすることによって、投影誤差（例えば、ユーザの視点に基づいて仮想世界と実世界を整合させる際の誤差）を最小限にすることである。遅れフレーム時間ワーピングを用いることで、運動から光子までの待ち時間（すなわち、ユーザの姿勢が推定されるときと、ユーザの姿勢に対応するレンダリングされた画像がユーザによって視認されるときとの間の時間）は、フレーム持続時間未満となり得る。すなわち、遅れフレーム時間ワーピングは、迅速に実施され、それによって、シームレスなＡＲ体験を提供し得る。遅れフレーム時間ワーピングは、グラフィック処理ユニット（ＧＰＵ）上で実行されてもよい。遅れフレーム時間ワーピングは、フレームのピクセル全体を同時に表示する、同時／フラッシュパネルディスプレイと良好に協働し得る。しかしながら、遅れフレーム時間ワーピングは、ピクセルがレンダリングされるにつれて、ピクセル毎にフレームを表示する、シーケンシャル／走査ディスプレイとは、同様に協働し得ない。遅れフレーム時間ワーピングは、パラメータワーピング、非パラメータワーピング、または非同期ワーピングであってもよい。
【0046】
図８は、一実施形態による、遅れフレーム時間ワーピングを実施するためのシステムを図示する。図８に図示されるように、アプリケーションプロセッサ／ＧＰＵ３３４（以降、ＧＰＵ３３４と称される）は、ワーピングされた画像データ（例えば、赤色－緑色－青色（ＲＧＢ）データ）３３６をディスプレイデバイス３５０に送信する前に、時間ワーピングを画像データに実施してもよい。いくつかの実施形態では、画像データ３３６は、圧縮された画像データであってもよい。ディスプレイデバイスは、両眼ディスプレイデバイスを含んでもよい。本実施形態では、ディスプレイデバイス３５０は、左ディスプレイ３３８と、右ディスプレイ３４０とを含んでもよい。ＧＰＵ３３４は、画像データ３３６をディスプレイデバイス３５０の左ディスプレイ３３８および右ディスプレイ３４０に伝送してもよい。ＧＰＵ３３４は、深度あたりシーケンシャルデータを送信する能力を有し得、データを２Ｄ画像に縮小させなくてもよい。ＧＰＵ３３４は、ディスプレイデバイス３５０（例えば、ＬＣＯＳ等の接眼ディスプレイ）への伝送の前に画像データ３３６をワーピングするために、時間ワーピングモジュール３３５を含む。
【0047】
遅れフレーム時間ワーピングおよび非同期時間ワーピングは両方とも、ＧＰＵ３３４上で実行されてもよく、変換ドメイン（例えば、変換されるであろう画像の部分）は、画像全体を含んでもよい（例えば、画像全体が同時にワーピングされる）。ＧＰＵ３３４が、画像をワーピング後、ＧＰＵ３３４は、さらなる修正を伴わずに、画像をディスプレイデバイス３５０に送信する。故に、遅れフレームまたは非同期時間ワーピングは、同時／フラッシュディスプレイ（すなわち、全てのピクセルを一度に照明するディスプレイ）を含む、ディスプレイデバイス上の用途に好適であり得る。そのようなディスプレイデバイスに関して、フレーム全体が、ディスプレイデバイス３５０の左ディスプレイ３３８および右ディスプレイ３４０がオンにされる前に、ＧＰＵ３３４によってワーピングされなければならない（すなわち、ワーピングは、完了されなければならない）。
（ＩＩ．連続時間ワーピング）
（ＩＩ．連続時間ワーピング）
【0048】
いくつかの実施形態によると、ＧＰＵが、画像データをレンダリングし、レンダリングされた画像データを外部コンポーネント（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の集積回路）に出力してもよい。外部コンポーネントが、時間ワーピングをレンダリングされた画像に実施し、ワーピングされた画像をディスプレイデバイスに出力してもよい。いくつかの実施形態では、時間ワーピングは、連続時間ワーピング（「ＣＴＷ」）であってもよい。ＣＴＷは、ワーピングされた画像データが外部ハードウェアからディスプレイデバイスに伝送され、そこでワーピングされた画像が光子に変換される直前まで、画像データを外部ハードウェアにおいて徐々にワーピングすることを含んでもよい。ＣＴＷの重要な特徴は、連続ワーピングが、画像データが外部ハードウェアからディスプレイデバイスにストリーミングされるにつれて、画像データのサブセクションに実施されてもよいことである。
【0049】
ＣＴＷの連続／ストリーミング動作は、シーケンシャル／走査ディスプレイ（すなわち、ラインまたはピクセルを経時的に出力する、ディスプレイ）を含む、ディスプレイデバイス上の用途に好適であり得る。そのようなディスプレイデバイスに関して、ディスプレイデバイスのストリーミング性質は、ＣＴＷのストリーミング性質と連動し、時間効率をもたらす。
【0050】
実施形態は、４つの例示的連続時間ワーピング方法、すなわち、読取カーソルリダイレクト、ピクセルリダイレクト、バッファ再スミア、および書込カーソルリダイレクトを提供する。
（１．読取カーソルリダイレクト（ＲＣＲＤ）方法）
（１．読取カーソルリダイレクト（ＲＣＲＤ）方法）
【0051】
本明細書で使用されるように、ディスプレイデバイスピクセルは、物理的ディスプレイデバイスのディスプレイ要素／単位（例えば、ＣＲＴ画面上の蛍光体の桝目）を指し得る。本明細書で使用されるように、画像ピクセルは、コンピュータ生成された画像のデジタル表現の単位（例えば、４バイト整数）を指し得る。本明細書で使用されるように、画像バッファは、画像データが１つの場所（例えば、ＧＰＵの外部のメモリまたはハードウェアモジュール）から別の場所（例えば、ディスプレイデバイス）に移動される間、画像データを一時的に記憶するために使用される物理的メモリ記憶装置の領域を指す。
【0052】
種々の実施形態によると、ＧＰＵは、画像バッファ内で経時的に前進することによって画像バッファを走査する、書込カーソルを使用して、レンダリングされた画像データ（例えば、画像ピクセル）を画像バッファの中に入力してもよい。画像バッファは、画像バッファ内で経時的に前進することによって画像バッファを走査し得る、読取カーソルを使用して、画像ピクセルをディスプレイデバイスに出力してもよい。
【0053】
シーケンシャル／走査ディスプレイを含む、ディスプレイデバイスに関して、ディスプレイデバイスピクセルは、事前に規定された順序（例えば、左から右、上から下）でオンにされ得る。しかしながら、ディスプレイデバイスピクセル上に表示される画像ピクセルは、変動してもよい。各ディスプレイデバイスピクセルが、連続して、オンにされる準備ができるにつれて、読取カーソルは、画像バッファを通して前進し、次に投影されるであろう画像ピクセルを選別してもよい。ＣＴＷを伴わない場合、各ディスプレイデバイスピクセルは、常時、同一画像ピクセルに対応するであろう（例えば、画像は、修正を伴わずに視認される）。
【0054】
読取カーソルリダイレクト（「ＲＣＲＤ」）を実装する実施形態では、読取カーソルは、継続的にリダイレクトされ、デフォルト画像ピクセルと異なる画像ピクセルを選択し得る。これは、出力画像のワーピングをもたらす。シーケンシャル／走査ディスプレイを使用するとき、出力画像は、ライン毎に出力されてもよく、各ラインは、ユーザが知覚する最終出力画像が所望の様式でワーピングされるように、個々にワーピングされてもよい。読取カーソルおよび画像バッファの変位は、相互に相対的であってもよい。すなわち、ＲＣＲＤを用いることで、読取カーソルがリダイレクトされると、画像バッファ内の画像データは、偏移し得る。読取カーソルのリダイレクトは、出力画像の平行移動の均等物であり得る。
【0055】
図９は、一実施形態による、ＲＣＲＤ ＣＴＷ方法を図示する。同一リダイレクトベクトルが、全てのディスプレイデバイスピクセルに関して使用されてもよい。読取カーソルは、画像バッファ３３２から選択画像ピクセル８００にダイレクトされ、ディスプレイデバイス３５０の対応するディスプレイデバイスピクセル８０４に表示し得る。これは、読取カーソルのデフォルト位置または単にデフォルトカーソルと称され得る。ＲＣＲＤを用いることで、読取カーソルは、画像バッファ３３２の選択画像ピクセル８０２にリダイレクトされ、ディスプレイデバイス３５０の対応するディスプレイデバイスピクセル８０４に表示し得る。これは、読取カーソルのリダイレクト位置または単にリダイレクトカーソルと称され得る。ＲＣＲＤの結果、読取カーソルは、画像バッファ３３２の画像ピクセル８０２を選択し（図１１に関連してさらに以下に説明されるように）、表示のために、選択された画像ピクセル８０２をディスプレイデバイス３５０のディスプレイデバイスピクセル８０４に送信する。同一リダイレクトベクトルが、ディスプレイデバイス３５０の全てのディスプレイデバイスピクセルに適用されるとき、画像バッファ３３２内の画像データは、２列だけ左に平行移動される。画像バッファ３３２の画像ピクセルは、ワーピングされ、結果として生じる表示される画像３３０は、画像バッファ３３２内の画像データの平行移動されたバージョンである。
【0056】
図１０は、一実施形態による、ＲＣＲＤを実施するためのシステムを図示する。外部（すなわち、ＧＰＵおよびディスプレイデバイスの外部の）コントローラ３４２が、ＧＰＵ３３４とディスプレイデバイス３５０との間に提供される。ＧＰＵ３３４は、画像データ３３６を生成し、さらなる処理のために、外部コントローラ３４２に送信してもよい。外部コントローラ３４２はまた、慣性測定ユニット（ＩＭＵ）データ３４４を１つ以上のＩＭＵから受信してもよい。いくつかの実施形態では、ＩＭＵデータ３４４は、視認者位置データを含んでもよい。外部コントローラ３４２は、ＧＰＵ３３４から受信された画像データ３３６を解凍し、ＩＭＵデータ３４４に基づいて、連続時間ワーピングを解凍された画像データに適用し、ピクセル変換およびデータ分割を実施し、ディスプレイデバイス３５０に送信するために、結果として生じるデータを再圧縮してもよい。外部コントローラ３４２は、画像データ３４６を左ディスプレイ３３８に送信し、画像データ３４８を右ディスプレイ３４０に送信してもよい。いくつかの実施形態では、画像データ３４６および画像データ３４８は、圧縮され、ワーピングされた画像データであってもよい。
【0057】
いくつかの実施形態では、左レンダリングされた画像データおよび右レンダリングされた画像データは両方とも、左ディスプレイ３３８および右ディスプレイ３４０のそれぞれに送信されてもよい。故に、左ディスプレイ３３８および右ディスプレイ３４０は、付加的画像データを使用して、ディスオクルージョン等の付加的な正確な画像レンダリング操作を実施してもよい。例えば、右ディスプレイ３４０は、画像を右ディスプレイ３４０上にレンダリングすることに先立って、右にレンダリングされる画像データに加え、左にレンダリングされる画像データを使用して、ディスオクルージョンを実施してもよい。同様に、左ディスプレイ３３８は、画像を左ディスプレイ３４０上にレンダリングすることに先立って、左のレンダリングされる画像データに加え、右のレンダリングされる画像データを使用して、ディスオクルージョンを実施してもよい。
【0058】
図１１は、ＲＣＲＤ ＣＴＷを実施するシステムアーキテクチャ内のＧＰＵ３３４とディスプレイデバイス３５０との間の外部ハードウェアユニット（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）等）としての外部コントローラ３４２を図示する。外部コントローラ３４２の姿勢推定器／予測器モジュール３５４は、光学データ３５２と、１つ以上のＩＭＵ３４５からのＩＭＵデータ３４４とを受信する。外部コントローラ３４２は、画像データ３３６をＧＰＵ３３４から受信し、画像データ３３６を解凍してもよい。解凍された画像データは、外部コントローラ３４２の（サブ）フレームバッファ３５６に提供されてもよい。読取カーソルリダイレクトモジュール３９６は、ＲＣＲＤ連続時間ワーピングを実施し、姿勢推定器／予測器３５４の出力３８７に基づいて、ＧＰＵ３３４の圧縮された画像データ３３６を変換する。生成されたデータ３４６、３４８は、時間ワーピングされた画像データであって、これは、次いで、ディスプレイデバイス３５０に送信され、視認者の眼に向かって放出される光子３５８に変換される。
（ｉ．（サブ）フレームバッファサイズ）
（ｉ．（サブ）フレームバッファサイズ）
【0059】
ここで図１２および１３を参照すると、ＲＣＲＤは、（サブ）フレームバッファ（例えば、（サブ）フレームバッファ３５６）のサイズに関して議論される。いくつかの実施形態によると、ＧＰＵ３３４は、ラスタ画像（例えば、ドット行列データ構造としての画像）を生産してもよく、ディスプレイデバイス３５０は、ラスタ画像を出力してもよい（例えば、ディスプレイデバイス３５０は、「ラスタ出力」してもよい）。図１２に図示されるように、読取カーソル３６０（画像バッファを通して前進し、次に投影されるであろう画像ピクセルを選別する、カーソル）は、ＲＣＲＤを伴わずに、（サブ）フレームバッファ３５６を通してラスタパターンで前進してもよい。
【0060】
図１３に図示されるようなＲＣＲＤを用いることで、画像ピクセルを表示する直前の視認者の姿勢の再推定は、デフォルト位置からの画像ピクセルを取る代わりに、バッファされた画像内の異なる位置からユーザに示されることになる画像ピクセルを取ることを組み込み得る。境界される頭部／眼移動を前提として、リダイレクトされた読取位置（すなわち、異なる位置）の軌跡は、読取カーソル３６０の周囲の境界されるエリア（例えば、円形Ｂ）３６２内の閉集合である。本軌跡は、ディスプレイデバイス３５０が、依然として、画像をラスタ出力しているため、ラスタ前進モーメンタムと重畳される。図１３は、連続ワーピング／姿勢再推定を用いることで、読取カーソル軌道が、軌跡とラスタ前進の重畳であることを示す。（サブ）フレームバッファ３５６のバッファ高さ３６４は、境界されるエリア３６２の直径に等しいまたはそれを上回り、読取カーソル３６０が（サブ）フレームバッファ３５６の境界を越えて延在することを防止する必要がある。より大きい（サブ）フレームバッファは、付加的処理時間および算出力を要求し得る。
【0061】
境界されるエリア３６２の直径は、ディスプレイデバイス３５０のレンダリングレート、レンダリング時間における姿勢予測正確度、およびユーザの頭部移動の最大速度の関数である。故に、より高速のレンダリングレートに関して、より高速のレンダリングレートが、頭部姿勢がレンダリング時間における姿勢仮定から逸脱するための経過時間がより短い結果をもたらすため、境界されるエリア３６２の直径は、減少する。したがって、読取カーソルのために要求され得る、リダイレクトは、わずかであり得る（例えば、リダイレクトされる読取位置は、オリジナル読取カーソル位置により近いであろう）。加えて、レンダリング時間における（例えば、画像がレンダリングされるとき）より正確な姿勢予測に関して、要求される時間ワーピング補正がより小さくなるであろうため、境界されるエリア３６２の直径は、減少する。したがって、読取カーソルのために要求され得る、リダイレクトは、わずかとなり得る（例えば、リダイレクトされる読取位置は、オリジナル読取カーソル位置により近いであろう）。さらに、より高い頭部移動速度に関して、頭部姿勢が、高速頭部移動を伴う所与の時間インターバルにわたってより多く逸脱し得るため、境界されるエリア３６２の直径は、増加する。したがって、読取カーソルのために要求され得る、リダイレクトは、実質的となり得る（例えば、リダイレクトされる読取位置は、オリジナル読取カーソル位置から離れるであろう）。
（ｉｉ．読取カーソル対書込カーソル位置）
（ｉｉ．読取カーソル対書込カーソル位置）
【0062】
いくつかの実施形態によると、（サブ）フレームバッファ３５６はまた、書込カーソルを含んでもよい。読取カーソルリダイレクトを伴わない場合、読取カーソル３６０は、書込カーソルの直後に追従し、例えば、両方とも、（サブ）フレームバッファ３５６を通してラスタ前進方向に移動し得る。（サブ）フレームバッファ３５６は、あるタイムスタンプにおいてレンダリングされたコンテンツのための第１の領域（例えば、新しいデータ領域）と、前のタイムスタンプにおいてレンダリングされたコンテンツのための第２の領域（例えば、古いデータ領域）とを含んでもよい。図１４は、新しいデータ領域３６８と、古いデータ領域３７０とを含む、（サブ）フレームバッファ３５６を図示する。ＲＣＲＤを用いることで、（サブ）フレームバッファ３５６から読み取る、読取カーソル３６０が、（サブ）フレームバッファ３５６に書き込む、書込カーソル３６６の直後に追従する場合、リダイレクトされる読取位置（例えば、図１３の境界されるエリア３６２によって描写されるように）の軌跡は、図１４に図示されるように、読取カーソル３６０が古いデータ領域３７０の中に交差する、「領域交差」をもたらし得る。すなわち、読取カーソル３６０は、古いデータ領域３７０内の古いデータを読み取り得、書込カーソル３６６によって（サブ）フレームバッファ３５６に書き込まれている新しいデータを読み出すことが不可能であり得る。
【0063】
領域交差は、画像割れをもたらし得る。例えば、（サブ）フレームバッファ３５６内の画像ピクセルが、右に移動する直線垂直ラインの描写を含み、読取カーソル３６０が、ＲＣＲＤに起因して、２つのコンテンツレンダリング（例えば、新しいデータ領域３６８内の第１のものと、古いデータ３７０内の第２のもの）間で行き来する場合、表示されるラインは、直線ではなく、領域交差が生じる場合、割れを有するであろう。画像割れは、読取カーソル３６０のリダイレクトされる位置の境界されるエリア３６２が、図１５に図示されるように、新しいデータ領域３６８内にあるように、読取カーソル３６０を書込カーソル３６６の背後にセンタリングすることによって防止され得る。これは、バッファリード距離３７２を境界されるエリア３６２の中心と新しいデータ領域３６８を古いデータ領域３７０から分離する境界６３９との間に設定することによって遂行され得る。バッファリード距離３７２は、境界されるエリア３６２を新しいデータ領域３６８内に完全に留まらせ得る。
【0064】
読取カーソル３６０の再位置付けは、所望の出力画像ピクセル配向を達成する（すなわち、コンテンツ定時性にかかわらず、画像ピクセルの配向が正確である）。故に、境界されるエリア３６２を書込カーソル３６６の背後に位置付けることは、ＰＳｔＷまたは姿勢推定／予測から光子までの待ち時間（ｐｏｓｅ ｅｓｔｉｍａｔｅ／ｐｒｅｄｉｃｔｉｏｎ－ｔｏ－ｐｈｏｔｏｎ ｌａｔｅｎｃｙ）に悪影響を及ぼさない。
【0065】
他方では、バッファリード距離３７２は、バッファリード距離３７２に比例して、レンダリング／光子待ち時間（ｒｅｎｄｅｒ－ｔｏ－ｐｈｏｔｏｎ ｌａｔｅｎｃｙ）を増加させ得る。レンダリング／光子待ち時間は、場面レンダリング時間と光子出力時間との間の時間である。光子は、完璧な時間ワーピングによって、ゼロ姿勢推定／予測から光子までの待ち時間を有し得るが、レンダリング／光子待ち時間は、場面レンダリングと光子出力時間との間の時間を減少させることによってのみ低減され得る。例えば、６０フレーム／秒（ｆｐｓ）レンダリングレートに関して、デフォルトレンダリング／光子待ち時間は、約１６ミリ秒（ｍｓ）であり得る。１，０００ライン画像内の１０ラインのバッファリード（例えば、バッファリード距離３７２）は、０．１６ｍｓのレンダリング／光子待ち時間のみ追加し得る。いくつかの実施形態によると、レンダリング／光子待ち時間増加は、バッファ伝送時間が要求されない場合（例えば、書込カーソルが存在しない場合）、例えば、外部制御３４２（例えば、ＦＰＧＡ）が、直接、ＧＰＵ３３４にアクセスするとき、除去され、それによって、ＧＰＵ３３４と外部制御３４２との間の伝送時間に起因するレンダリング／光子待ち時間増加を排除し得る。
（ｉｉｉ．外部アンチエイリアシング）
（ｉｉｉ．外部アンチエイリアシング）
【0066】
アンチエイリアシングは、時間ワーピング後に実施され、ぼけアーチファクトを回避する、ビュー依存操作である。ＣＴＷを用いることで、アンチエイリアシングは、光子生成直前に、外部ハードウェアによって実施され得る。ＧＰＵ３３４（または２つの協調するＧＰＵ）への直接アクセスを伴う、外部制御３４２（例えば、ＦＰＧＡ）が、連続時間ワーピング後および表示されるための光子生成前に、外部アンチエイリアシングを実施するために使用されてもよい。
（２．バッファ再スミア方法）
（２．バッファ再スミア方法）
【0067】
ＲＣＲＤ ＣＴＷは、ピクセル深度（または視認者までの距離）に応じて、画像ピクセルを非均一に偏移させることを要求する、ユーザの頭部の平行移動を考慮しなくてもよい。異なるＣＴＷ方法、すなわち、バッファ再スミア方法が、視認者が平行移動するときでも、画像をレンダリングするために使用されてもよい。バッファ再スミアは、読取カーソルが表示されるための画像ピクセルを抽出する前に、バッファされた画像ピクセルを更新することによって、最新姿勢推定／予測を組み込む概念である。異なる画像ピクセルは、異なる量だけ偏移され得るため、バッファ再スミアは、ユーザの頭部の平行移動を考慮することができる。図１６は、一実施形態による、バッファ再スミアＣＴＷ方法を図示する。画像バッファ３７４上で実施される最新姿勢を用いたバッファ再スミアは、修正された画像バッファ３７６をもたらす。修正された画像バッファ３７６からの画像ピクセルは、ディスプレイデバイス３５０の対応するディスプレイデバイスピクセルに表示される。
【0068】
図１７は、一実施形態による、バッファ再スミアＣＴＷのためのシステムアーキテクチャを図示する。外部コントローラ３４２が、ＧＰＵ３３４とディスプレイデバイス３５０との間に提供される。外部コントローラ３４２の姿勢推定器／予測器モジュール３５４は、光学データ３５２と、ＩＭＵデータ３４４（１つ以上のＩＭＵ３４５から）とを受信する。外部コントローラ３４２は、圧縮された画像データ３３６をＧＰＵ３３４から受信し、画像データ３３６を解凍する。解凍された画像データは、外部コントローラ３４２の（サブ）フレームバッファ３５６に提供されてもよい。外部バッファプロセッサ３７８は、ピクセルがディスプレイデバイス３５０に送信され、視認者の眼に向かって放出される光子３５８に変換される前に、姿勢推定器／予測器３５４の出力３８７に基づいて、バッファ再スミアをＧＰＵ３３４から受信された圧縮された画像データ３３６に遂行する。
【0069】
種々の実施形態によると、バッファ再スミアは、新しい姿勢が表示される画像内に組み込まれることになる度に生じ得、これは、シーケンシャルディスプレイに関しては、ピクセル毎であり得る。（サブ）フレームバッファ３５６の一部のみが、再スミアされる場合でも、これは、算出上コストがかかる操作である。
（３．ピクセルリダイレクト方法）
（３．ピクセルリダイレクト方法）
【0070】
別のＣＴＷ方法は、ピクセルリダイレクト方法であり得、これは、読取カーソルリダイレクト方法の逆の操作である。ピクセルリダイレクト方法に従って、ディスプレイデバイス３５０がフェッチするための適切な画像ピクセルを決定する代わりに、外部コントローラが、所与の画像ピクセルのためにアクティブ化される、ディスプレイデバイスピクセルを決定する。言い換えると、外部コントローラは、画像ピクセルが表示される必要があるディスプレイデバイスピクセルを決定する。故に、ピクセルリダイレクトでは、各画像ピクセルは、独立して、再位置特定されてもよい。図１８は、ピクセルリダイレクトが、ユーザの頭部の回転および／または（部分的に）平行移動も同様に考慮し得るワーピングをもたらすことを図示する。
【0071】
図１８に図示されるように、画像バッファ３８０内の第１の画像ピクセル３９１は、元々は、ディスプレイデバイス３５０の第１のディスプレイデバイスピクセル３９３に表示されるように定められ得る。すなわち、第１のディスプレイデバイスピクセル３９３は、第１の画像ピクセル３９１に割り当てられ得る。しかしながら、ピクセルリダイレクト方法は、第１の画像ピクセル３９１が第２のディスプレイデバイスピクセル３９５に表示されるべきであることを決定し得、外部コントローラは、第１の画像ピクセル３９１を第２のディスプレイデバイスピクセル３９５に送信し得る。同様に、画像バッファ３８０内の第２の画像ピクセル３９４は、元々は、ディスプレイデバイス３５０の第３のディスプレイデバイスピクセル３９７に表示されるように定められ得る。すなわち、第２の画像ピクセル３９４は、第３のディスプレイデバイスピクセル３９７に割り当てられ得る。しかしながら、ピクセルリダイレクト方法は、第２の画像ピクセル３９４が第４のディスプレイデバイスピクセル３９９に表示されるべきであることを決定し得、外部コントローラは、第２の画像ピクセル３９４を第４のディスプレイデバイスピクセル３９９に送信し得る。画像バッファ３８０上で実施されるピクセルリダイレクトは、結果として生じる表示される画像３８２がディスプレイデバイス３５０上に表示される結果をもたらす。ピクセルリダイレクトは、恣意的ピクセルを恣意的順序で選択的にオンにし得る、特殊種類のディスプレイデバイス３５０を要求し得る。特殊タイプのＯＬＥＤまたは類似ディスプレイデバイスが、ディスプレイデバイス３５０として使用されてもよい。ピクセルは、最初に、第２の画像バッファにリダイレクトされてもよく、次いで、第２のバッファは、ディスプレイデバイス３５０に送信されてもよい。
【0072】
図１９は、一実施形態による、外部ハードウェアピクセルリダイレクト方法のためのシステムアーキテクチャを図示する。外部コントローラ３４２が、ＧＰＵ３３４とディスプレイデバイス３５０との間に提供される。外部コントローラ３４２の姿勢推定器／予測器モジュール３５４が、光学データ３５２と、ＩＭＵデータ３４４（１つ以上のＩＭＵ３４５から）とを受信する。外部コントローラ３４２は、画像データ３３６をＧＰＵ３３４から受信し、画像データ３３６を解凍してもよい。解凍された画像データは、外部コントローラ３４２の（サブ）フレームバッファ３５６に提供されてもよい。姿勢推定器／予測器３５４の出力３８７および（サブ）フレームバッファ３５６の出力３８９は、ディスプレイデバイス３５０に提供され、視認者の眼に向かって放出される光子３５８に変換される。
（４．書込カーソルリダイレクト方法）
（４．書込カーソルリダイレクト方法）
【0073】
別のＣＴＷ方法、すなわち、書込カーソルリダイレクト（ＷＣＲＤ）方法は、画像データが（サブ）フレームバッファに書き込まれる方法を変化させる。図２０は、ユーザの頭部の回転および（部分的に）平行移動も同様に考慮し得る、ＷＣＲＤ方法を図示する。各ピクセルは、独立して、再位置特定されることができる（例えば、順方向マッピング／散乱操作を用いて）。例えば、ＧＰＵ３３４の画像バッファ３３３内の第１の画像ピクセル４０１は、元々は、外部コントローラ３４２（例えば、ＦＰＧＡ）の（サブ）フレームバッファ３５６内の第１の画像ピクセル４０３に定められ得る。しかしながら、順方向マッピングを用いることで、第１の画像ピクセル４０１は、（サブ）フレームバッファ３５６内の第２の画像ピクセル４０４にダイレクトされ得る。同様に、画像バッファ３３３内の第２の画像ピクセル４０２も、元々は、（サブ）フレームバッファ３５６内の第３の画像ピクセル４０５に定められ得る。しかしながら、順方向マッピングを用いることで、第２の画像ピクセル４０２は、（サブ）フレームバッファ３５６の第４の画像ピクセル４０６にダイレクトされ得る。故に、画像は、ＧＰＵ３３４のフレームバッファ３３３から外部コントローラ３４２（例えば、ＦＰＧＡ）の（サブ）フレームバッファ３５６へのデータ伝送の間、ワーピングされ得る。すなわち、ＣＴＷは、画像が（サブ）フレームバッファ３５６に到達する前に、画像に実施される。
【0074】
図２１は、一実施形態による、外部ハードウェアＷＣＲＤ ＣＴＷのためのシステムアーキテクチャを図示する。外部コントローラ３４２が、ＧＰＵ３３４とディスプレイデバイス３５０との間に提供される。外部コントローラ３４２の姿勢推定器／予測器モジュール３５４が、光学データ３５２と、ＩＭＵデータ３４４（１つ以上のＩＭＵ３４５から）とを受信する。画像データ３３６は、ＧＰＵ３３４（すなわち、ＧＰＵ３３４のフレームバッファ３３３）によって伝送され、姿勢推定器／予測器３５４の出力３８７は、外部コントローラ３４２の書込カーソルリダイレクトモジュール３８６において受信される。着信画像データピクセル毎に、画像ピクセルは、現在の姿勢推定／予測およびその画像ピクセルの深度に基づいて、（サブ）フレームバッファ３５６内の姿勢一致場所にリダイレクトされ、書き込まれる。（サブ）フレームバッファ３５６の出力３４６、３４８は、時間ワーピングされた画像データであって、これは、次いで、ディスプレイデバイス３５０に送信され、視認者の眼に向かって放出される光子３５８に変換される。
【0075】
種々の実施形態によると、書込カーソルリダイレクトモジュール３８６は、外部コントローラ３４２が画像ピクセルが書き込まれるべき場所を処理する必要があるため、１－ピクセルバッファであってもよい。
【0076】
図２２は、ＷＣＲＤ方法を図示し、書込カーソル３６６は、（サブ）フレームバッファ３５６を通して前進する境界されるエリア（例えば、円形Ｂ）３８８内の閉集合である、書込位置の軌跡を有する。（サブ）フレームバッファ３５６のバッファ高さ３９２は、境界されるエリア３８８の直径以上である必要がある。ＷＣＲＤ方法は、境界されるエリア３８８の中心と読取カーソル３６０との間のバッファリード距離３９０を要求し得る。種々の実施形態によると、バッファリード距離３９０は、ディスプレイデバイスのフレームレート、画像の分解能、および頭部運動の予期される速度のうちの少なくとも１つ以上のものの関数であり得る。
【0077】
いくつかの実施形態によると、ＷＣＲＤ方法は、姿勢推定／予測が、光子が生成される前に、ある時間量（バッファリード距離に比例する）が組み込まれ得るため、いくらかの姿勢推定／予測から光子までの待ち時間を導入し得る。例えば、６０ｆｐｓのディスプレイクロック出力レートに関して、１，０００ライン画像の１０ラインバッファは、０．１６ｍｓの姿勢推定／予測から光子までの待ち時間を導入し得る。
（５．書込／読取カーソルリダイレクト方法）
（５．書込／読取カーソルリダイレクト方法）
【0078】
本明細書で議論されるＣＴＷ方法は、相互に排他的ではなくてもよい。ＷＣＲＤ方法をＲＣＲＤ方法で補完することによって、視認者の回転および平行移動が、考慮され得る。図２３は、書込－読取カーソルリダイレクト（ＷＲＣＲＤ）方法を用いることで、書込および読取カーソル位置の両方が、それぞれ、境界されるエリア３８８および３６２内にあるが、読取カーソル３６０の境界されるエリア３６２は、書込カーソル３６６の境界されるエリア３８８と比較してはるかに小さいことを図示する。最小バッファ高さ３９２は、新しいデータ領域３６８から古いデータ領域３７０への交差を生じさせることなく、境界されるエリア３６２および境界されるエリア３８８の両方に適応するように決定され得る。いくつかの実施形態では、ＷＲＣＲＤ方法のための最小バッファ高さ３９２は、ＲＣＲＤ方法のためのバッファ高さ３６４の２倍であってもよい。加えて、バッファリード距離４１０も、新しいデータ領域３６８から古いデータ領域３７０への交差を生じさせずに、境界されるエリア３６２および境界されるエリア３８８の両方に適応するように決定され得る。いくつかの実施形態では、ＷＲＣＲＤ方法のためのバッファリード距離４１０は、ＷＣＲＤのためのバッファリード距離３９０（例えば、１０ライン）またはＲＣＲＤのためのバッファリード距離３７２（例えば、１０ライン）の２倍（例えば、２０ライン）であり得る。
【0079】
いくつかの実施形態によると、境界されるエリア３８８のサイズは、レンダリング時の最後の姿勢組み込み以降に要求される姿勢調節の量に比例する。境界されるエリア３６２のサイズもまた、（サブ）フレームバッファへのピクセルデータ書込時の最後の姿勢組み込み以降に要求される姿勢調節の量に比例する。書込カーソルまでの読取カーソルのバッファ距離が、１，０００ライン画像内の１０ラインである場合、画像データが書込カーソル３６６によってピクセル内に書き込まれる時間と、画像データが読取カーソル３６０によってピクセルから読み取られる時間との間の経過時間は、書込カーソル３６６の姿勢推定とレンダリング時間時の姿勢推定との間の経過時間の約１％である。言い換えると、読取カーソル３６０が、書込カーソル３６６により近いとき、読取カーソル３６０は、より直近のデータ（例えば、書込カーソル３６６によってより直近に書き込まれたデータ）を読み取り、それによって、画像データが書き込まれるときと、画像データが読み取られるときとの間の時間を短縮させるであろう。故に、バッファサイズおよびリード距離は、２倍にされる必要がなく、数パーセントのみ増加され得る。
【0080】
ＷＲＣＲＤ方法におけるＲＣＲＤは、ユーザの頭部の平行移動を考慮し得ない。しかしながら、若干早く生じるＷＲＣＲＤ方法におけるＷＣＲＤは、ユーザの頭部の平行移動を考慮する。故に、ＷＲＣＲＤは、非常に短い（例えば、事実上、ゼロ）待ち時間のパラメータワーピングおよび非常に短い待ち時間の非パラメータワーピング（例えば、６０ｆｐｓにおけるディスプレイクロック出力および１，０００ライン画像の１０ラインバッファに関して約０．１６ｍｓ）を達成し得る。
【0081】
一実施形態による、外部ハードウェアＷＲＣＲＤ ＣＴＷのためのシステムアーキテクチが、図２４に図示される。外部コントローラ３４２が、ＧＰＵ３３４とディスプレイデバイス３５０との間に提供される。外部コントローラ３４２の姿勢推定器／予測器モジュール３５４が、光学データ３５２と、ＩＭＵデータ３４４（１つ以上のＩＭＵ３４５から）とを受信する。ＧＰＵ３３４（すなわち、ＧＰＵ３３４のフレームバッファ３３３）によって伝送される画像データ３３６および姿勢推定器／予測器３５４の出力３８７は、書込カーソルリダイレクトモジュール３８６において受信される。着信画像データに関して、各画像ピクセルは、現在の姿勢推定／予測およびその画像ピクセルの深度に基づいて、（サブ）フレームバッファ３５６内の姿勢一致場所にリダイレクトされ、書き込まれる。加えて、読取カーソルリダイレクトモジュール３９６は、姿勢推定器／予測器３５４の出力３８７に基づいて、ＲＣＲＤ ＣＴＷを実施し、書込カーソルリダイレクトモジュール３８６から受信された画像データを変換する。生成されたデータ３４６、３４８は、時間ワーピングされた画像データであって、これは、次いで、ディスプレイデバイス３５０に送信され、視認者の眼に向かって放出される光子３５８に変換される。種々の実施形態によると、ＷＲＣＲＤ方法は、同一外部コントローラ３４２上に実装され、単一（サブ）フレームバッファ３５６に作用し、また、ストリーミングされるデータに作用することができる。書込カーソルリダイレクトモジュール３８６および／または読取カーソルリダイレクトモジュール３９６は、独立して、異なるディスプレイオプションのためにオフにされてもよい。故に、ＷＲＣＲＤアーキテクチャは、オンデマンドでＷＣＲＤまたはＲＣＲＤアーキテクチャとして機能し得る。
（ＩＩＩ．両眼時間ワーピング）
（ＩＩＩ．両眼時間ワーピング）
【0082】
本明細書で使用されるように、両眼時間ワーピングは、左眼のための左ディスプレイユニットと、右眼のための右ディスプレイユニットとを含む、ディスプレイデバイスと併用される、遅れフレーム時間ワーピングを指し、遅れフレーム時間ワーピングは、左ディスプレイユニットおよび右ディスプレイユニットのために別個に実施される。図２５は、両眼時間ワーピングを図示し、いったん３Ｄコンテンツが、時間ｔ１ ３００３に、ＧＰＵ３００２においてレンダリングされ、最新姿勢入力３００４が、時間ｔ２ ３００７前に、姿勢推定器３００６から受信されると、時間ワーピングが、時間ｔ２ ３００７に、同時またはほぼ同時に、左フレーム３００８および右フレーム３０１０の両方のために実施される。例えば、両時間ワーピングが同一外部コントローラによって実施される、実施形態では、左フレームのための時間ワーピングおよび右フレームのための時間ワーピングが、連続して（例えば、ほぼ同時に）実施されてもよい。
【0083】
変換された画像３０１４および３０１６（すなわち、時間ワーピングが実施される画像）は、それぞれ、ディスプレイデバイス３５０の左ディスプレイユニット３０１８および右ディスプレイユニット３０２０に送信される。光子が、左ディスプレイユニット３０１８および右ディスプレイユニット３０２０において生成され、視認者の個別の眼に向かって放出され、それによって、画像を左ディスプレイユニット３０１８および右ディスプレイユニット３０２０上に同時（例えば、時間ｔ３ ３０１５）に表示する。すなわち、両眼時間ワーピングの一実施形態では、同一最新姿勢３００４が、左ディスプレイユニット３０１８および右ディスプレイユニット３０２０の両方のために、時間ワーピングを同一のレンダリングされたフレームに実施するために使用される。
【0084】
別の実施形態では、交互両眼時間ワーピングが、異なる最新姿勢が左ディスプレイユニット３０１８および右ディスプレイユニット３０２０のための時間ワーピングを実施するために使用されてもよい。交互時間ワーピングは、図２６から図２９に図示されるように、種々の様式で実施されてもよい。図２６から図２９に図示される交互両眼時間ワーピングは、ディスプレイデバイス３５０上に表示される画像に関する最新姿勢更新情報を提示することを可能にする。古いフレーム（すなわち、以前に表示されたフレームまたはＧＰＵから受信されたフレーム）が、時間ワーピングを補間するために使用されてもよい。交互両眼時間ワーピングを用いることで、最新姿勢が、表示される画像内に組み込まれ、運動から光子までの待ち時間を短縮させることができる。すなわち、両方が「より古い」最新姿勢を使用して同時に更新されるのではなく、眼の一方は、他方より後にワーピングの中に組み込まれる姿勢を用いて画像を視認し得る。
【0085】
図２６は、一実施形態による、別の交互両眼時間ワーピングを図示する。同一ＧＰＵ３０７０が、時間ｔ１ ３０７１に、それぞれ、左ディスプレイユニット３０１８および右ディスプレイユニット３０２０によって使用される、左および右レンダリングされた視点の両方を生成するために使用される。第１の時間ワーピングは、時間ワーピング左フレームモジュール３０７２によって、時間ｔ２ ３０７３に、姿勢推定器３００６から受信された第１の最新姿勢３０７４を使用して、レンダリングされた左フレームに実施される。時間ワーピング左フレームモジュール３０７２の出力は、左ディスプレイユニット３０１８に伝送される。左ディスプレイユニット３０１８は、時間ｔ４ ３０７７に、受信されたデータを光子に変換し、光子を視認者の左眼に向かって放出し、それによって、画像を左ディスプレイユニット３０１８上に表示する。
【0086】
第２の時間ワーピングは、時間ワーピング右フレームモジュール３０７８によって、時間ｔ３ ３０７９（例えば、第１の時間ワーピングが実施されるｔ２ ３０７３より後の時間）に、姿勢推定器３００６から受信された第２の最新姿勢３０８０を使用して、レンダリングされた右フレームに実施される。時間ワーピング右フレームモジュール３０７８の出力は、右ディスプレイユニット３０２０に伝送される。右ディスプレイユニット３０２０は、時間ｔ５ ３０８１に、受信されたデータを光子に変換し、光子を視認者の右眼に向かって放出し、それによって、画像を右ディスプレイユニット３０２０上に表示する。右ディスプレイユニット３０２０は、左ディスプレイユニット３０１８が画像を表示する時間より後に画像を表示する。
【0087】
図２７は、一実施形態による、別のタイプの交互両眼時間ワーピングを図示する。同一ＧＰＵ３０５０が、左ディスプレイユニット３０１８および右ディスプレイユニット３０２０の両方のために、レンダリングされたフレームを生成するために使用される。左フレームおよび右フレームは、異なる時間にレンダリングされる（すなわち、左フレームおよび右フレームは、時間的に交互にレンダリングされる）。図示されるように、左フレームは、時間ｔ１ ３０５１にレンダリングされてもよく、右フレームは、時間ｔ１ ３０５１より後の時間ｔ２ ３０５２にレンダリングされてもよい。第１の時間ワーピングは、時間ワーピング左フレームモジュール３０５８によって、時間ｔ３ ３０５３に、時間ｔ３ ３０５３前に姿勢推定器３００６から受信された第１の最新姿勢３０５４を使用して、レンダリングされた左フレームに実施される。時間ワーピング左フレームモジュール３０５８の出力は、左ディスプレイユニット３０１８に伝送される。左ディスプレイユニット３０１８は、時間ｔ５ ３０６１に、受信されたデータを光子に変換し、光子を視認者の左眼に向かって放出し、それによって、画像を左ディスプレイユニット３０１８上に表示する。
【0088】
第２の時間ワーピングは、時間ワーピング右フレームモジュール３０６０によって、時間ｔ４ ３０５９（例えば、第１の時間ワーピングが実施される時間ｔ３ ３０５３より後）に、時間ｔ４ ３０５９前に姿勢推定器３００６から受信された第２の最新姿勢３０６２を使用して、レンダリングされた右フレームに実施される。時間ワーピング右フレームモジュール３０６０の出力は、右ディスプレイユニット３０２０に伝送される。右ディスプレイユニット３０２０は、時間ｔ６ ３０６３に、受信されたデータを光子に変換し、光子を視認者の右眼に向かって放出し、それによって、画像を右ディスプレイユニット３０２０上に表示する。右ディスプレイユニット３０２０は、左ディスプレイユニット３０１８が画像を表示するより後の時間に画像を表示する。
【0089】
図２８は、一実施形態による、交互両眼時間ワーピングを図示する。図２８に図示される実施形態によると、２つの別個のＧＰＵ３０２２および３０２４が、左ディスプレイユニット３０１８および右ディスプレイユニット３０２０のためのレンダリングされたビューを生成するために使用されてもよい。第１のＧＰＵ３０２２は、時間ｔ１ ３０２５に、左ビューをレンダリングしてもよい。第２のＧＰＵ３０２４は、時間ｔ１ ３０２５より後の時間ｔ２ ３０２６に、右ビューをレンダリングしてもよい。第１の時間ワーピングは、時間ワーピング左フレームモジュール３０３０によって、時間ｔ３ ３０２７に、時間ｔ３ ３０２７前に姿勢推定器３００６から受信された第１の最新姿勢３００４を使用して、レンダリングされた左ビューに実施される。時間ワーピング左フレームモジュール３０３０の出力は、左ディスプレイユニット３０１８に伝送される。左ディスプレイユニット３０１８は、受信されたデータを光子に変換し、光子を視認者の左眼に向かって放出する。左ディスプレイユニット３０１８は、時間ｔ５ ３０３３に、画像を表示する。
【0090】
第２の時間ワーピングは、時間ワーピング右フレームモジュール３０３２によって、時間ｔ４ ３０３１（例えば、第１の時間ワーピングが実施されるときより後の時間）に、時間ｔ４ ３０３１（例えば、第１の最新姿勢３００４が時間ワーピング左フレームモジュール３０３０によって取得されるときより後の時間）前に姿勢推定器３００６から受信された第２の最新姿勢３０３４を使用して、レンダリングされた右ビューに実施される。時間ワーピング右フレームモジュール３０３２の出力は、右ディスプレイユニット３０２０に伝送される。右ディスプレイユニット３０２０は、受信されたデータを光子に変換し、光子を視認者の右眼に向かって放出する。右ディスプレイユニット３０２０は、時間ｔ６ ３０３５（すなわち、左ディスプレイユニット３０１８が時間ｔ５ ３０３３に画像を表示するときより後の時間）に、画像を表示する。右ディスプレイユニット３０２０上に表示される画像は、より直近の姿勢（すなわち、第２の最新姿勢３０３４）を考慮して生成されたため、より最新であり得る。
【0091】
図２９は、一実施形態による、別のタイプの両眼時間ワーピングを図示する。同一ＧＰＵ３０３６が、左ディスプレイユニット３０１８および右ディスプレイユニット３０２０の両方のために、レンダリングされたビューを生成するために使用されてもよい。図２９に図示されるように、ＧＰＵ３０３６は、時間ｔ１ ３０３７に、左フレームのレンダリングされたビューを生成してもよい。左フレームの時間ワーピングされた画像は、時間ｔ３ ３０４１に、生成されてもよい。左ディスプレイユニット３０１８のディスプレイ更新レートは、第２のレンダリング（すなわち、右ディスプレイユニット３０２０のためのレンダリング）は、左フレームの時間ワーピングされた画像が生成された（例えば、左フレームの時間ワーピングされた画像が左ディスプレイユニット３０１８上に表示された）後に、ＧＰＵ３０３６によって実施され得るように十分に低速であってもよい。
【0092】
第１の時間ワーピングは、時間ワーピング左フレームモジュール３０４０によって、時間ｔ２ ３０３８に、ＩＭＵから受信された第１の最新姿勢３０３９を使用して、レンダリングされた左フレームに実施される。時間ワーピング左フレームモジュール３０４０の出力は、左ディスプレイユニット３０１８に伝送される。左ディスプレイユニット３０１８は、時間ｔ３ ３０４１に、受信されたデータを光子に変換し、光子を視認者の左眼に向かって放出し、それによって、画像を左ディスプレイユニット３０１８上に表示する。画像が、左ディスプレイユニット３０１８上に表示された後、ＧＰＵ３０３６は、時間ｔ４ ３０４２に、入手されたデータ（例えば、右眼に関する姿勢推定を生成するために画像およびＩＭＵから受信されたデータならびに姿勢推定から生成された３Ｄコンテン）を用いて、右フレームをレンダリングしてもよい。第２の時間ワーピングは、時間ワーピング右モジュール３０５５によって、時間ｔ５ ３０４３（例えば、時間ｔ３ ３０４１に、時間ワーピングされた画像が左ディスプレイユニット３０１８上に表示された後）に、ＩＭＵから受信された第２の最新姿勢３０４４を使用して、レンダリングされた右フレームに実施される。時間ワーピング右フレームモジュール３０４６の出力は、右ディスプレイユニット３０２０に伝送される。右ディスプレイユニット３０２０は、時間ｔ６ ３０４７に、受信されたデータを光子に変換し、光子を視認者の右眼に向かって放出し、それによって、画像を右ディスプレイユニット３０２０上に表示する。右ディスプレイユニット３０２０は、データが画像およびＩＭＵから受信された「ｘ」秒後に、画像を表示し、ｘは、平滑視認のために要求されるリフレッシュレート未満の数学的関係である。故に、２つのディスプレイユニット（すなわち、左ディスプレイユニット３０１８および右ディスプレイユニット３０２０）は、相互から完全にオフセットされて更新し、各更新は、他方に対してシーケンシャルである（例えば、２ｘ＜平滑視認のために要求されるリフレッシュレート）。
【0093】
当業者は、左ディスプレイユニットおよび右ディスプレイユニットが画像を表示する順序が、図２６から図２９に関して前述のものと異なってもよいことを理解されるであろう。本システムは、左ディスプレイユニット３０１８が右ディスプレイユニット３０２０が画像を表示する時間より後に画像を表示するように修正されてもよい。
【0094】
また、本明細書に説明される実施例および実施形態は、例証的目的のためだけのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限ならびに添付の請求項の範囲内に含まれるべきであることを理解されたい。
【0095】
また、本明細書に説明される実施例および実施形態は、例証的目的のためだけのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限ならびに添付の請求項の範囲内に含まれるべきであることを理解されたい。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
