特表 2024-531196 中心窩レンダリング画像の知覚的品質を改善する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-29

(54)【発明の名称】中心窩レンダリング画像の知覚的品質を改善する方法

(51)【国際特許分類】

   H04N 13/122 20180101AFI20240822BHJP

   H04N 13/344 20180101ALI20240822BHJP

   H04N 13/383 20180101ALI20240822BHJP

   G06T 19/00 20110101ALI20240822BHJP

   G09G 5/37 20060101ALI20240822BHJP

   G09G 5/391 20060101ALI20240822BHJP

   G09G 5/00 20060101ALI20240822BHJP

【ＦＩ】

H04N13/122

H04N13/344

H04N13/383

G06T19/00 A

G09G5/37 320

G09G5/391

G09G5/00 530T

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024508432

(86)(22)【出願日】2022-08-12

(85)【翻訳文提出日】2024-03-07

(86)【国際出願番号】 US2022040267

(87)【国際公開番号】W WO2023018997

(87)【国際公開日】2023-02-16

(31)【優先権主張番号】63/232,787

(32)【優先日】2021-08-13

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100104824

【弁理士】

【氏名又は名称】穐場 仁

(74)【代理人】

【識別番号】100121463

【弁理士】

【氏名又は名称】矢口 哲也

(74)【代理人】

【識別番号】100137969

【弁理士】

【氏名又は名称】岡部 憲昭

(72)【発明者】

【氏名】ウー， ビン

(72)【発明者】

【氏名】ブラスカンプ， ビョルン ニコラース セルヴァティウス

(72)【発明者】

【氏名】コーエン， ハワード ラッセル

(72)【発明者】

【氏名】ロドリゲス， ホセ フェリックス

【テーマコード（参考）】

5B050

5C182

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050EA09

5B050EA27

5C182AA03

5C182AA04

5C182AC02

5C182AC03

5C182BA55

5C182BA56

5C182BC29

5C182BC41

5C182CA01

5C182CA02

5C182CA15

5C182CB42

5C182CB45

5C182CC21

5C182CC24

5C182DA04

5C182DA14

5C182DA44

(57)【要約】

時間多重化を使用して中心窩レンダリングを生成する方法は、ＦＯＶを第１の中心窩ゾーンと第１の周辺ゾーンとに分割することによってＦＯＶの第１の空間プロファイルを生成することを含む。第１の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第１の周辺ゾーンは、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる。本方法は、第２の中心窩ゾーンと第２の周辺ゾーンとにＦＯＶを分割することによってＦＯＶの第２の空間プロファイルを生成することをさらに含み、第２の中心窩ゾーンは、第１の中心窩ゾーンから空間的にオフセットされている。第２の中心窩ゾーンおよび第２の周辺ゾーンは、それぞれ、第１の画素解像度および第２の画素解像度でレンダリングされる。本方法は、一連のフレームにおいて時間的に第１の空間プロファイルおよび第２の空間プロファイルを多重化することをさらに含む。

【特許請求の範囲】

【請求項1】

中心窩レンダリングを生成する方法であって、前記方法は、
視野（ＦＯＶ）を第１の中心窩ゾーンと第１の周辺ゾーンとに分割することによって前記ＦＯＶの第１の空間プロファイルを生成することであって、前記第１の中心窩ゾーンは、第１の画素解像度でレンダリングされ、前記第１の周辺ゾーンは、前記第１の画素解像度よりも低い第２の画素解像度でレンダリングされる、ことと、
前記ＦＯＶを第２の中心窩ゾーンと第２の周辺ゾーンとに分割することによって前記ＦＯＶの第２の空間プロファイルを生成することであって、前記第２の中心窩ゾーンは、前記第１の中心窩ゾーンから空間的にオフセットされており、前記第２の中心窩ゾーンは、前記第１の画素解像度でレンダリングされ、前記第２の周辺ゾーンは、前記第２の画素解像度でレンダリングされる、ことと、
視聴者が、前記第１の画素解像度でレンダリングされたときに、前記第２の中心窩ゾーンと重ならない前記第１の中心窩ゾーンの領域および／または前記第１の中心窩ゾーンと重ならない前記第２の中心窩ゾーンの領域にレンダリングされた画像を知覚するように、前記第１の空間プロファイルおよび前記第２の空間プロファイルを一連のフレームで時間的に多重化することと
を含む、方法。

【請求項2】

前記第１の中心窩ゾーンおよび前記第２の中心窩ゾーンは、互いに部分的に重なり合う、請求項１に記載の方法。

【請求項3】

前記一連のフレームは、約１２０Ｈｚのフレーム周波数を有する、請求項１に記載の方法。

【請求項4】

前記第１の画素解像度と前記第２の画素解像度との間の比は、２つの直交方向の各々において２：１である、請求項１に記載の方法。

【請求項5】

前記第２の中心窩ゾーンは、第１の方向、前記第１の方向に直交する第２の方向、または前記第１の方向および前記第２の方向の両方において前記第１の中心窩ゾーンから空間的にオフセットされている、請求項１に記載の方法。

【請求項6】

前記第２の中心窩ゾーンと前記第１の中心窩ゾーンとの間の空間オフセットは、一連のフレームにおいて動的に変更される、請求項５に記載の方法。

【請求項7】

前記第２の中心窩ゾーンと前記第１の中心窩ゾーンとの間の前記空間オフセットの前記動的変更は、パターンにしたがう、請求項６に記載の方法。

【請求項8】

前記第１の空間プロファイルおよび前記第２の空間プロファイルの各々は、３原色の各々について３つのサブ空間プロファイルを含み、前記３つのサブ空間プロファイルのうちの少なくとも１つは、前記ＦＯＶの全体について前記第２の画素解像度でレンダリングされる、請求項１に記載の方法。

【請求項9】

前記第１の中心窩ゾーンまたは前記第２の中心窩ゾーンは、前記ＦＯＶ内の所定の位置に設定される、請求項１に記載の方法。

【請求項10】

前記第１の中心窩ゾーンまたは前記第２の中心窩ゾーンの前記所定の位置は、視聴者の眼の位置および眼球運動の測定値に基づいて決定される、請求項９に記載の方法。

【請求項11】

中心窩レンダリングを生成する方法であって、
視野（ＦＯＶ）を第１の中心窩ゾーンと第１の周辺ゾーンとに分割することによって前記ＦＯＶの第１の空間プロファイルを生成することであって、前記第１の中心窩ゾーンは、第１の画素解像度でレンダリングされ、前記第１の周辺ゾーンは、前記第１の画素解像度よりも低い第２の画素解像度でレンダリングされる、ことと、
前記ＦＯＶを第２の中心窩ゾーンと第２の周辺ゾーンとに分割することによって前記ＦＯＶの第２の空間プロファイルを生成することであって、前記第２の中心窩ゾーンは、前記第１の中心窩ゾーンから空間的にオフセットされており、前記第２の中心窩ゾーンは、前記第１の画素解像度でレンダリングされ、前記第２の周辺ゾーンは、前記第２の画素解像度でレンダリングされる、ことと、
前記第１の画素解像度でレンダリングされたときに、視聴者が、前記第２の中心窩ゾーンと重ならない前記第１の中心窩ゾーンの領域および／または前記第１の中心窩ゾーンと重ならない前記第２の中心窩ゾーンの領域にレンダリングされた画像を知覚するように、前記視聴者の左眼および右眼それぞれについての前記第１の空間プロファイルおよび前記第２の空間プロファイルを多重化することと
を含む、方法。

【請求項12】

前記第１の中心窩ゾーンおよび前記第２の中心窩ゾーンは、互いに部分的に重なり合う、請求項１１に記載の方法。

【請求項13】

一連のフレームは、約１２０Ｈｚのフレーム周波数を有する、請求項１１に記載の方法。

【請求項14】

前記第１の画素解像度と前記第２の画素解像度との間の比は、２つの直交方向の各々において２：１である、請求項１１に記載の方法。

【請求項15】

前記第２の中心窩ゾーンは、第１の方向、前記第１の方向に直交する第２の方向、または前記第１の方向および前記第２の方向の両方において前記第１の中心窩ゾーンから空間的にオフセットされている、請求項１１に記載の方法。

【請求項16】

前記第１の空間プロファイルおよび前記第２の空間プロファイルの各々は、３原色の各々について３つのサブ空間プロファイルを含み、前記３つのサブ空間プロファイルのうちの少なくとも１つは、前記ＦＯＶの全体について前記第２の画素解像度でレンダリングされる、請求項１１に記載の方法。

【請求項17】

前記第１の中心窩ゾーンまたは前記第２の中心窩ゾーンは、前記ＦＯＶ内の所定の位置に設定される、請求項１１に記載の方法。

【請求項18】

前記第２の中心窩ゾーンは、第１の方向、前記第１の方向に直交する第２の方向、または前記第１の方向および前記第２の方向の両方において前記第１の中心窩ゾーンから空間的にオフセットされている、請求項１１に記載の方法。

【請求項19】

前記第２の中心窩ゾーンと前記第１の中心窩ゾーンとの間の前記空間オフセットは、一連のフレームにおいて動的に変更される、請求項１８に記載の方法。

【請求項20】

前記第２の中心窩ゾーンと前記第１の中心窩ゾーンとの間の前記空間オフセットの前記動的変更は、パターンにしたがう、請求項１９に記載の方法。

【請求項21】

中心窩レンダリングを生成する方法であって、前記方法は、
視野（ＦＯＶ）を第１の中心窩ゾーンと第１の周辺ゾーンとに分割することによって前記ＦＯＶの第１の空間プロファイルを生成することであって、前記第１の中心窩ゾーンは、第１の画素解像度でレンダリングされ、前記第１の周辺ゾーンは、前記第１の画素解像度よりも低い第２の画素解像度でレンダリングされる、ことと、
前記ＦＯＶを第２の中心窩ゾーンと第２の周辺ゾーンとに分割することによって前記ＦＯＶの第２の空間プロファイルを生成することであって、前記第２の中心窩ゾーンは、前記第１の中心窩ゾーンから空間的にオフセットされており、前記第２の中心窩ゾーンは、前記第１の画素解像度でレンダリングされ、前記第２の周辺ゾーンは、前記第２の画素解像度でレンダリングされる、ことと、
前記ＦＯＶを第３の中心窩ゾーンおよび第３の周辺ゾーンに分割することによって前記ＦＯＶの第３の空間プロファイルを生成することであって、前記第３の中心窩ゾーンは、前記第１の中心窩ゾーンから空間的にオフセットされており、前記第３の中心窩ゾーンは、前記第１の画素解像度でレンダリングされ、前記第３の周辺ゾーンは、前記第２の画素解像度でレンダリングされる、ことと、
前記ＦＯＶを第４の中心窩ゾーンおよび第４の周辺ゾーンに分割することによって前記ＦＯＶの第４の空間プロファイルを生成することであって、前記第４の中心窩ゾーンは、前記第３の中心窩ゾーンから空間的にオフセットされており、前記第４の中心窩ゾーンは、前記第１の画素解像度でレンダリングされ、前記第４の周辺ゾーンは、前記第２の画素解像度でレンダリングされる、ことと、
奇数フレームにおいて、視聴者の左眼および右眼用の前記第１の空間プロファイルおよび前記第２の空間プロファイルをそれぞれ多重化することと、
偶数フレームにおいて、視聴者の左眼および右眼用の前記第３の空間プロファイルおよび前記第４の空間プロファイルをそれぞれ多重化することと
を含む、方法。

【請求項22】

前記第３の中心窩ゾーンは、前記第１の中心窩ゾーンから第１の方向に空間的にオフセットされ、前記第４の中心窩ゾーンは、前記第２の中心窩ゾーンから前記第１の方向に対向する第２の方向に空間的にオフセットされている、請求項２１に記載の方法。

【請求項23】

前記第１の中心窩ゾーンと前記第３の中心窩ゾーンとの間の前記空間オフセットは、一連のフレームにおいて動的に変更される、請求項２２に記載の方法。

【請求項24】

前記第２の中心窩ゾーンと前記第４の中心窩ゾーンとの間の前記空間オフセットは、一連のフレームにおいて動的に変更される、請求項２２に記載の方法。

【請求項25】

前記第１の空間プロファイル、前記第２の空間プロファイル、前記第３の空間プロファイル、および前記第４の空間プロファイルの各々は、３原色の各々について３つのサブ空間プロファイルを含み、前記３つのサブ空間プロファイルのうちの少なくとも１つは、前記ＦＯＶの全体について前記第２の画素解像度でレンダリングされる、請求項２１に記載の方法。

【請求項26】

前記第１の中心窩ゾーンと前記第３の中心窩ゾーンとの間の前記空間オフセットの前記動的変更は、パターンにしたがう、請求項２３に記載の方法。

【請求項27】

前記第２の中心窩ゾーンと前記第４の中心窩ゾーンとの間の前記空間オフセットの前記動的変更は、パターンにしたがう、請求項２４に記載の方法。

【請求項28】

方法であって、
中心窩ゾーンおよび周辺ゾーンを含む中心窩画像をレンダリングすることであって、前記中心窩ゾーンは、画像データの第１のセットを有し、第１の画素解像度でレンダリングされ、前記周辺ゾーンは、画像データの第２のセットを有し、前記第１の画素解像度よりも低い第２の画素解像度でレンダリングされる、ことと、
前記画像データの第１のセットを第１の画像ブロックにパッキングすることと、
前記画像データの第２のセットを第２の画像ブロックにパッキングすることと、
前記中心窩画像に関連付けられたレンダリング情報を含む制御パケットを生成することと、
前記制御パケットを前記第１の画像ブロックおよび前記第２の画像ブロックと連結してフレームを形成することと、
前記フレームを表示ユニットに送信することと、
前記フレームから前記制御パケットを解析することと、
前記レンダリング情報を取得するために前記制御パケットを復号することと、
前記復号されたレンダリング情報にしたがってレンダリングされた表示画像を投影することと
を含む、方法。

【請求項29】

前記フレームを前記表示ユニットに送信する前に、前記フレームを時間歪曲させることをさらに含む、請求項２８に記載の方法。

【請求項30】

前記画像に関連付けられた前記レンダリング情報は、ＦＲモードが有効であるかどうか、ダウンサンプリングの前記比、前記中心窩ゾーンの前記開始行または、前記開始列の前記インデックスを含む、請求項２８に記載の方法。

【請求項31】

前記フレームは、チャネルリンクを介して前記表示ユニットに送信される、請求項２８に記載の方法。

【請求項32】

前記中心窩画像は、グラフィックス処理ユニット（ＧＰＵ）においてレンダリングされる、請求項２８に記載の方法。

【請求項33】

前記制御パケットは、グラフィックス処理ユニット（ＧＰＵ）において生成される、請求項２８に記載の方法。

【請求項34】

前記画像データの第１のセットおよび前記画像データの第２のセットの各々は、フレーム同期を改善するタイムスタンプを含む、請求項２８に記載の方法。

【請求項35】

前記画像データの第１のセットの各々および前記画像データの第２のセットの各々は、３原色の各々についてデータの３つのサブセットを含み、前記データの３つのサブセットのうちの少なくとも１つは、前記ＦＯＶの全体について前記第２の画素解像度でレンダリングされることになる、請求項２８に記載の方法。

【請求項36】

方法であって、前記方法は、
中心窩ゾーンおよび周辺ゾーンを含む中心窩画像をレンダリングすることであって、前記中心窩ゾーンは、画像データの第１のセットを有し、第１の画素解像度でレンダリングされ、前記周辺ゾーンは、画像データの第２のセットを有し、前記第１の画素解像度よりも低い第２の画素解像度でレンダリングされる、ことと、
前記中心窩画像に関連付けられたレンダリング情報を含む制御パケットを生成することと、
時間歪曲画像を形成するために、視聴者の位置において移動するために中心窩画像を時間歪曲させることと、
前記時間歪曲画像および前記制御パケットをビデオプロセッサに送信することと、
前記時間歪曲画像を中心窩領域パックドデータブロックおよび低解像度領域パックドデータブロックに再マッピングすることと、
前記制御パケットを前記中心窩領域パックドデータブロックおよび前記低解像度領域パックドデータブロックと連結してフレームを形成することと、
前記フレームを表示ユニットに送信することと、
前記フレームから前記制御パケットを解析することと、
前記レンダリング情報を取得するために前記制御パケットを復号することと、
前記復号されたレンダリング情報にしたがってレンダリングされた表示画像を投影することと
を含む、方法。

【請求項37】

前記時間歪曲画像内のコンテンツ境界を更新するために前記時間歪曲画像に遅延時間歪曲を実行することをさらに含み、前記遅延時間歪曲は、視聴者の最新の視聴者の姿勢データに基づく、請求項３６に記載の方法。

【請求項38】

前記視聴者の前記最新の視聴者の姿勢データは、少なくとも１つのモーションセンサを含むウェアラブルデバイスによって収集される、請求項３７に記載の方法。

【請求項39】

前記時間歪曲画像および前記制御パケットは、ヘッドセットリンクを介して前記ビデオプロセッサに送信される、請求項３６に記載の方法。

【請求項40】

前記表示ユニットは、空間光変調器（ＳＬＭ）である、請求項３６に記載の方法。

【請求項41】

前記制御パケットは、グラフィックス処理ユニット（ＧＰＵ）において生成される、請求項３６に記載の方法。

【請求項42】

前記フレームから前記制御パケットを解析し、前記制御パケットを復号することは、前記表示ユニットによって実行される、請求項３６に記載の方法。

【請求項43】

方法であって、前記方法は、
第１の中心窩ゾーンおよび第１の周辺ゾーンを含む左眼用の第１の中心窩画像をレンダリングすることであって、前記第１の中心窩ゾーンは、画像データの第１のセットを有し、第１の画素解像度でレンダリングされ、前記第１の周辺ゾーンは、画像データの第２のセットを有し、前記第１の画素解像度よりも低い第２の画素解像度でレンダリングされる、ことと、
第２の中心窩ゾーンおよび第２の周辺ゾーンを含む右眼用の第２の中心窩画像をレンダリングすることであって、前記第２の中心窩ゾーンは、画像データの第３のセットを有し、第３の画素解像度でレンダリングされ、前記第２の周辺ゾーンは、画像データの第４のセットを有し、前記第３の画素解像度よりも低い第４の画素解像度でレンダリングされる、ことと、
前記第１の中心窩画像および前記第２の中心窩画像に関連付けられたレンダリング情報を含む制御パケットを生成することと、
第１の時間歪曲画像および第２の時間歪曲画像を形成するために、前記第１の中心窩画像および前記第２の中心窩画像を視聴者の位置において移動させるために時間歪曲させることと、
前記第１の時間歪曲画像および前記第２の時間歪曲画像を圧縮して第１の圧縮画像および第２の圧縮画像を形成することと、
前記第１の圧縮画像、前記第２の圧縮画像、および前記制御パケットをビデオプロセッサに送信することと、
前記第１の圧縮画像を第１の復元された中心窩画像に解凍することと、
前記第２の圧縮画像を第２の復元された中心窩画像に解凍することと、
第２の最新の視聴者の姿勢データに基づいて、前記第１の復元された中心窩画像および前記第２の復元された中心窩画像に対して第２の時間歪曲を実行することと、
前記第１の復元された中心窩画像を３つの別個の色チャネルの第１のセットに再マッピングして、第１のチャネル画像を形成することと、
第１のフレームを形成するために前記第１のチャネル画像を前記制御パケットによってパッキングすることと、
前記第１のフレームを前記左眼用の第１のディスプレイに送信することであって、前記左眼用の前記第１のディスプレイは、前記第１のフレームから前記制御パケットを解析し、前記制御パケットを復号して、前記第１のフレームの前記３つの別個の色チャネルの各々の前記レンダリング情報を取得し、前記第１のフレームの前記レンダリング情報を前記第１のディスプレイのメモリに保存する、ことと、
前記第２の復元された中心窩画像を３つの別個の色チャネルの第２のセットに再マッピングして、第２のチャネル画像を形成することと、
第２のフレームを形成するために前記第２のチャネル画像を前記制御パケットによってパッキングすることと、
前記第２のフレームを前記右眼用の第２のディスプレイに送信することであって、前記右眼用の第２のディスプレイは、前記第１のフレームから前記制御パケットを解析し、前記制御パケットを復号して、前記第２のフレームについての前記３つの別個の色チャネルの各々の前記レンダリング情報を取得し、前記第２のフレームの前記レンダリング情報を前記第２のディスプレイのメモリに保存する、ことと
を含む、方法。

【請求項44】

前記ビデオプロセッサは、ウェアラブルデバイスのコンポーネントである、請求項４３に記載の方法。

【請求項45】

前記第１の圧縮画像および前記第２の圧縮画像は、ヘッドセットリンクを介して前記ビデオプロセッサに送信される、請求項４３に記載の方法。

【請求項46】

前記第１のディスプレイおよび前記第２のディスプレイは、液晶オンシリコン（ＬＣＯＳ）ディスプレイである、請求項４３に記載の方法。

【請求項47】

前記３つの別個の色チャネルの各々は、独立した中心窩ゾーンまたはダウンサンプリング比を有する、請求項４３に記載の方法。

【請求項48】

前記３つの別個の色チャネルの各々は、前記視聴者に順次表示される、請求項４３に記載の方法。

【請求項49】

前記３つの別個の色チャネルの各々における前記第１の中心窩ゾーンおよび前記第２の中心窩ゾーンの位置は、一連のフレームにおいて互いに位置合わせされない、請求項４３に記載の方法。

【請求項50】

方法であって、前記方法は、
中心窩ゾーンおよび周辺ゾーンを含む中心窩画像をレンダリングすることであって、前記中心窩ゾーンは、画像データの第１のセットを有し、第１の画素解像度でレンダリングされ、前記周辺ゾーンは、画像データの第２のセットを有し、前記第１の画素解像度よりも低い第２の画素解像度でレンダリングされる、ことと、
前記中心窩画像に関連付けられたレンダリング情報を含む制御パケットを生成することと、
時間歪曲画像を形成するために、視聴者の位置において移動するために前記中心窩画像を時間歪曲させることと、
前記時間歪曲画像および前記制御パケットをビデオプロセッサに送信することと、
最新の視聴者の姿勢データに基づいて更新画像を形成するために、前記時間歪曲画像の遅延時間歪曲を実行することと、
フレームを形成するために前記更新画像および前記制御パケットをパッキングすることと、
前記フレームを表示ユニットに送信することであって、前記表示ユニットは、前記フレームから前記制御パケットを解析し、前記制御パケットを復号して前記レンダリング情報を取得し、前記フレームの前記レンダリング情報を前記表示ユニットのメモリに保存する、ことと、
前記レンダリング情報にしたがってレンダリングされた表示画像を投影することと
を含む、方法。

【請求項51】

前記制御パケットは、制御パケットデコーダによって復号される、請求項５０に記載の方法。

【請求項52】

前記時間歪曲画像は、ヘッドセットリンクを介して前記ビデオプロセッサに送信される、請求項５０に記載の方法。

【請求項53】

同じ制御パケットは、一連のフレームに使用される、請求項５０に記載の方法。

【請求項54】

前記中心窩ゾーンの位置は、一連のフレームにおいて動的に変更される、請求項５０に記載の方法。

【請求項55】

前記画像データの第１のセットおよび前記画像データの第２のセットは、ラスタライズ形式である、請求項５０に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

関連出願の相互参照
本出願は、２０２１年８月１３日に出願された「ＭＥＴＨＯＤＳ ＴＯ ＩＭＰＲＯＶＥ ＴＨＥ ＰＥＲＣＥＰＴＵＡＬ ＱＵＡＬＩＴＹ ＯＦ ＦＯＶＥＡＴＥＤ ＲＥＮＤＥＲＥＤ ＩＭＡＧＥＳ」という名称の米国仮特許出願第６３／２３２，７８７号の優先権の利益を主張し、その全内容は、あらゆる目的のために参照により本明細書に組み込まれる。

【0002】

発明の背景
人間の眼では、中心窩は、視線の中心における鋭い中心視を担う。周辺視野は、視線の中心から離れて生じる視覚である。視力は、中心窩視野と比較して周辺視野では低い。中心窩レンダリング（ＦＲ）は、画像解像度、または詳細量が、固定点に対応する画像の領域においてより高く、固定点から離れてより低くなるレンダリング技術である。ＦＲは、レンダリング能力および帯域幅の大幅な低減を達成することができ、これは、仮想現実（ＶＲ）および拡張現実（ＡＲ）などの限られたリソースを有する用途において有利とすることができる。

【0003】

いくつかのＦＲ技術は、ＶＲ／ＡＲヘッドセットと統合された視線追跡装置を使用してリアルタイムで視聴者の視線を追跡することを含む。ＦＲによる満足のいく視聴者体験のために、視線追跡は、達成が困難な可能性がある十分に高い精度、高速、および低レイテンシを有する必要がある。いくつかのＦＲ技術は、視線追跡を使用せず、代わりに固定焦点を使用する。そのようなＦＲ技術は、固定ＦＲと呼ばれる。例えば、視聴者がディスプレイの中心を見ると仮定すると、ディスプレイの視野（ＦＯＶ）は、最大解像度を有する中央ゾーンと、解像度が低減されたいくつかの周辺ゾーンとに分割されることができる。視聴者はディスプレイの中心を常に見ているとは限らないため、視聴者体験が損なわれることがある。コンテンツベースのＦＲなどの他の技術も視線追跡を必要としないが、重い計算リソースを必要とすることがある。

【0004】

したがって、当該技術分野では、改良されたＦＲ技術が必要とされている。

【発明の概要】

【課題を解決するための手段】

【0005】

発明の概要
いくつかの実施形態によれば、時間多重化を使用して中心窩レンダリングを生成する方法は、ＦＯＶを第１の中心窩ゾーンと第１の周辺ゾーンとに分割することによってＦＯＶの第１の空間プロファイルを生成することを含む。第１の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第１の周辺ゾーンは、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる。本方法は、ＦＯＶを第２の中心窩ゾーンおよび第２の周辺ゾーンに分割することによってＦＯＶの第２の空間プロファイルを生成することをさらに含む。第２の中心窩ゾーンは、第１の中心窩ゾーンから空間的にオフセットされている。第２の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第２の周辺ゾーンは、第２の画素解像度でレンダリングされる。本方法は、視聴者が、第１の画素解像度でレンダリングされたときに、第２の中心窩ゾーンと重ならない第１の中心窩ゾーンの領域および／または第１の中心窩ゾーンと重ならない第２の中心窩ゾーンの領域にレンダリングされた画像を知覚するように、第１の空間プロファイルおよび第２の空間プロファイルを一連のフレームで時間的に多重化することをさらに含む。

【0006】

いくつかの実施形態によれば、両眼多重化を使用して中心窩レンダリングを生成する方法は、ＦＯＶを第１の中心窩ゾーンと第１の周辺ゾーンとに分割することによってＦＯＶの第１の空間プロファイルを生成することを含む。第１の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第１の周辺ゾーンは、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる。本方法は、ＦＯＶを第２の中心窩ゾーンおよび第２の周辺ゾーンに分割することによってＦＯＶの第２の空間プロファイルを生成することをさらに含む。第２の中心窩ゾーンは、第１の中心窩ゾーンから空間的にオフセットされている。第２の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第２の周辺ゾーンは、第２の画素解像度でレンダリングされる。本方法は、第１の画素解像度でレンダリングされたときに、視聴者が、第２の中心窩ゾーンと重ならない第１の中心窩ゾーンの領域および／または第１の中心窩ゾーンと重ならない第２の中心窩ゾーンの領域にレンダリングされた画像を知覚するように、視聴者の左眼および右眼それぞれについての第１の空間プロファイルおよび第２の空間プロファイルを多重化することをさらに含む。

【0007】

いくつかの実施形態によれば、時間多重化および両眼多重化の組み合わせを使用して中心窩レンダリングを生成する方法は、ＦＯＶを第１の中心窩ゾーンおよび第１の周辺ゾーンに分割することによってＦＯＶの第１の空間プロファイルを生成することを含む。第１の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第１の周辺ゾーンは、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる。本方法は、ＦＯＶを第２の中心窩ゾーンおよび第２の周辺ゾーンに分割することによってＦＯＶの第２の空間プロファイルを生成することをさらに含む。第２の中心窩ゾーンは、第１の中心窩ゾーンから空間的にオフセットされている。第２の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第２の周辺ゾーンは、第２の画素解像度でレンダリングされる。本方法は、ＦＯＶを第３の中心窩ゾーンおよび第３の周辺ゾーンに分割することによってＦＯＶの第３の空間プロファイルを生成することをさらに含む。第３の中心窩ゾーンは、第１の中心窩ゾーンから空間的にオフセットされている。第３の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第３の周辺ゾーンは、第２の画素解像度でレンダリングされる。本方法は、ＦＯＶを第４の中心窩ゾーンおよび第４の周辺ゾーンに分割することによってＦＯＶの第４の空間プロファイルを生成することをさらに含む。第４の中心窩ゾーンは、第３の中心窩ゾーンから空間的にオフセットされている。第４の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第４の周辺ゾーンは、第２の画素解像度でレンダリングされる。本方法は、奇数フレームにおいて、視聴者の左眼用の第１の空間プロファイルおよび右眼用の第２の空間プロファイルをそれぞれ多重化することと、偶数フレームにおいて、視聴者の左眼用の第３の空間プロファイルおよび右眼用の第４の空間プロファイルをそれぞれ多重化することと、をさらに含む。

【0008】

いくつかの実施形態によれば、動的に多重化された中心窩レンダリングのビデオパイプライン実装を実現する方法は、中心窩ゾーンおよび周辺ゾーンを含む中心窩画像をレンダリングすることを含み、中心窩ゾーンが、画像データの第１のセットを有し、第１の画素解像度でレンダリングされ、周辺ゾーンが、画像データの第２のセットを有し、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる。本方法は、画像データの第１のセットを第１の画像ブロックにパッキングすることと、画像データの第２のセットを第２の画像ブロックにパッキングすることと、をさらに含む。本方法はまた、中心窩画像に関連付けられたレンダリング情報を含む制御パケットを生成することと、制御パケットを第１の画像ブロックおよび第２の画像ブロックと連結してフレームを形成することと、フレームを表示ユニットに送信することと、を含む。制御パケットは、送信されたフレームから解析され、レンダリング情報を取得するために復号される。最後に、復号されたレンダリング情報にしたがって表示画像がレンダリングされる。

【0009】

いくつかの実施形態によれば、時間歪曲を含む動的多重化中心窩レンダリングのビデオパイプライン実装を実現する方法は、中心窩ゾーンおよび周辺ゾーンを含む中心窩画像をレンダリングすることであって、中心窩ゾーンが、画像データの第１のセットを有し、第１の画素解像度でレンダリングされ、周辺ゾーンが、画像データの第２のセットを有し、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる、ことと、中心窩画像に関連付けられたレンダリング情報を含む制御パケットを生成することとを含む。本方法は、時間歪曲画像を形成するために視聴者の位置において移動するために中心窩画像を時間歪曲させることと、時間歪曲画像および制御パケットをビデオプロセッサに送信することと、をさらに含む。本方法は、時間歪曲画像を中心窩領域パックドデータブロックおよび低解像度領域パックドデータブロックに再マッピングすることと、制御パケットを中心窩領域パックドデータブロックおよび低解像度領域パックドデータブロックと連結してフレームを形成することと、フレームを表示ユニットに送信することと、をさらに含む。次に、フレームから制御パケットが解析され、復号されてレンダリング情報が取得される。本方法はまた、復号されたレンダリング情報にしたがってレンダリングされた表示画像を投影することを含む。

【0010】

いくつかの実施形態によれば、時間歪曲を含む両眼多重化中心窩レンダリングのビデオパイプライン実装を実現する方法は、第１の中心窩ゾーンおよび第１の周辺ゾーンを含む左眼用の第１の中心窩画像をレンダリングすることであって、第１の中心窩ゾーンが、画像データの第１のセットを有し、第１の画素解像度でレンダリングされ、周辺ゾーンが、画像データの第２のセットを有し、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる、ことと、第２の中心窩ゾーンおよび第２の周辺ゾーンを含む右眼用の第２の中心窩画像をレンダリングすることであって、第２の中心窩ゾーンが、画像データの第３のセットを有し、第３の画素解像度でレンダリングされ、周辺ゾーンが、画像データの第４のセットを有し、第３の画素解像度よりも低い第４の画素解像度でレンダリングされる、こととを含む。本方法は、第１の中心窩画像および第２の中心窩画像に関連付けられたレンダリング情報を含む制御パケットを生成することと、第１の時間歪曲画像および第２の時間歪曲画像を形成するために、第１の中心窩画像および第２の中心窩画像を視聴者の位置に移動するように時間歪曲させることと、第１の時間歪曲画像および第２の時間歪曲画像を圧縮して第１の圧縮画像および第２の圧縮画像を形成することと、第１の圧縮画像、第２の圧縮画像、および制御パケットをビデオプロセッサに送信することと、をさらに含む。次に、本方法は、第１の圧縮画像を第１の復元された中心窩画像に解凍することと、第２の圧縮画像を第２の復元された中心窩画像に解凍することと、最新の視聴者の姿勢データに基づいて第１の復元された中心窩画像および第２の復元された中心窩画像に対して第２の時間歪曲を実行することと、第１の復元された中心窩画像を３つの別個の色チャネルの第１のセットに再マッピングして、第１のチャネル画像を形成することと、第１のフレームを形成するために第１のチャネル画像を制御パケットでパッキングすることと、第１のフレームを左眼用の第１のディスプレイに送信することであって、左眼用の第１のディスプレイが、第１のフレームから制御パケットを解析し、第１のフレームについての３つの別個の色チャネルの各々のレンダリング情報を取得するために制御パケットを復号し、第１のディスプレイのメモリに第１のフレームのレンダリング情報を保存する、こととをさらに含む。右眼用ディスプレイの場合、本方法は、第２の復元された中心窩画像を３つの別個の色チャネルの第２のセットに再マッピングして第２のチャネル画像を形成することと、第２のチャネル画像を制御パケットにパッキングして第２のフレームを形成することと、第２のフレームを右眼用の第２のディスプレイに送信することであって、右眼用の第２のディスプレイが、第１のフレームから制御パケットを解析し、制御パケットを復号して第２のフレームについての３つの別個の色チャネルの各々のレンダリング情報を取得し、第２のフレームのレンダリング情報を第２のディスプレイのメモリに保存する、こととを含む。

【0011】

いくつかの実施形態によれば、遅延時間歪曲およびラスタスキャン出力を用いて動的に多重化された中心窩レンダリングのビデオパイプライン実装を実現する方法は、中心窩ゾーンおよび周辺ゾーンを含む中心窩画像をレンダリングすることであって、中心窩ゾーンが、画像データの第１のセットを有し、第１の画素解像度でレンダリングされ、周辺ゾーンが、画像データの第２のセットを有し、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる、ことと、中心窩画像に関連付けられたレンダリング情報を含む制御パケットを生成することとを含む。本方法は、時間歪曲画像を形成するために視聴者の位置において移動するために中心窩画像を時間歪曲させることと、時間歪曲画像および制御パケットをビデオプロセッサに送信することと、最新の視聴者の姿勢データに基づいて更新画像を形成するために時間歪曲画像の遅延時間歪曲を実行することと、をさらに含む。本方法はまた、更新画像および制御パケットをパッキングしてフレームを形成することと、フレームを表示ユニットに送信することであって、表示ユニットが、フレームから制御パケットを解析し、制御パケットを復号してレンダリング情報を取得し、フレームのレンダリング情報を表示ユニットのメモリに保存する、ことと、レンダリング情報にしたがってレンダリングされた表示画像を投影することとを含む。

【図面の簡単な説明】

【0012】

【図1】図１は、中心窩レンダリング（ＦＲ）の実装形態を示す例示的な画像である。

【0013】

【図2】図２Ａ～図２Ｅは、ＦＲにおけるサブサンプリングによって引き起こされる可能性があるいくつかの例示的なアーチファクトを示している。

【0014】

【図3-1】図３Ａ～図３Ｃは、いくつかの実施形態にかかる、時間多重化を使用した視野および中心窩レンダリングを示す空間プロファイルである。

【0015】

【図3-2】図３Ｄ～図３Ｆは、本発明の実施形態にかかるネイティブ解像度、サブサンプリング、および画像ブレンドを示す画像である。

【0016】

【図3-3】図３Ｇ～図３Ｈは、本発明の実施形態にかかるサブサンプリングおよび時間多重化を示すテキストボックスである。

【0017】

【図4】図４は、いくつかの実施形態にかかる、時間多重化を使用して中心窩レンダリングを生成する方法を示す簡略化されたフローチャートを示している。

【0018】

【図5】図５Ａ～図５Ｄは、いくつかの実施形態にかかる、両眼多重化を使用する中心窩レンダリングのための左視野および右視野を示す空間プロファイルである。

【0019】

【図6】図６Ａ～図６Ｃは、いくつかの実施形態にかかる、時間多重化と組み合わせて両眼多重化を使用する中心窩レンダリングのための左視野および右視野を示す空間プロファイルである。

【0020】

【図7】図７は、いくつかの実施形態にかかる、両眼多重化を使用して中心窩レンダリングを生成する方法を示す簡略化されたフローチャートを示している。

【0021】

【図8】図８は、いくつかの実施形態にかかる、時間多重化と両眼多重化との組み合わせを使用して中心窩レンダリングを生成する方法を示す簡略化されたフローチャートを示している。

【0022】

【図9】図９は、いくつかの実施形態にかかる、ビデオパイプラインにおいて使用するためのＦＲ情報を提供するビデオフレームに埋め込まれる例示的な制御パケットを示している。

【0023】

【図10】図１０は、いくつかの実施形態にかかる、動的多重化ＦＲのための例示的なビデオパイプラインのブロック図を示している。

【0024】

【図11】図１１は、いくつかの実施形態にかかる、時間歪曲を含む動的多重化ＦＲのための例示的なビデオパイプラインのブロック図を示している。

【0025】

【図12】図１２は、いくつかの実施形態にかかる、シーケンシャルカラー表示のために構成された時間歪曲を含む、動的多重化中心窩レンダリングのための例示的なビデオパイプラインのブロック図を示している。

【0026】

【図13】図１３は、いくつかの実施形態にかかる、遅延時間歪曲およびラスタスキャン出力を有する動的多重化中心窩レンダリングのための例示的なビデオパイプラインのブロック図を示している。

【発明を実施するための形態】

【0027】

特定の実施形態の詳細な説明
中心窩レンダリング（ＦＲ）では、視野（ＦＯＶ）の空間プロファイルが使用されて、レンダリング品質を人間の眼の視力に一致させることができる。空間プロファイルは、中心窩ゾーンおよび１つ以上の周辺領域を含む。中心窩ゾーンは、（例えば、ネイティブ画素解像度における）最大忠実度でレンダリングされ、周辺領域は、より低い解像度でレンダリングされる。空間プロファイルは、ＦＯＶ内で固定されることができ、または視線追跡データまたはコンテンツ推定に基づいてシフトされることができる。視線追跡またはコンテンツ推定における不正確さおよび待ち時間のために、知覚的アーチファクトがＦＲにおいてしばしば見られる。

【0028】

いくつかの実施形態によれば、空間プロファイルの時間多重化および／または両眼多重化を使用するＦＲの方法が提供される。そのような方法は、ＦＲの知覚される視覚的品質を改善し、ＦＲの視覚的アーチファクトを低減することができる。本方法は、視線追跡なしで使用されることができ、または視線追跡と組み合わせて使用されることができる。そのような方法は、各フレームのＦＲの情報を提供するフレーム固有の制御パケットを使用して、グラフィックスプロセッサから表示ユニットまでのビデオパイプラインにおいて実装されることができる。したがって、計算電力および伝送帯域幅を節約しながら、ＦＲの良好な視覚的品質が達成されることができる。これらの方法については、以下により詳細に説明する。

【0029】

図１は、ＦＲの実装形態を示す例示的な画像である。視野（ＦＯＶ）１１０は、中心領域の中心窩ゾーン１２０と、中心窩ゾーン１２０の周りの周辺ゾーン１３０との２つのゾーンに分割される。中心窩ゾーン１２０は、ネイティブ解像度（より細かい画素グリッドで示されている）でレンダリングされるのに対して、周辺ゾーン１３０は、低減された解像度（より粗い画素グリッドで示されている）でレンダリングされる。ＦＯＶ１１０内の中心窩ゾーン１２０の位置は、視線追跡装置を使用して固視を測定することによって、またはコンテンツに基づいて視聴者がどこを見ているかを推測することによって決定されることができる。あるいは、中心窩ゾーン１２０の位置は、視聴者がＦＯＶ１１０の中心を見ていると仮定して、例えばＦＯＶ１１０の中心に固定されることができる。

【0030】

周辺ゾーン１３０のレンダリング画素サイズは、例えば画素ビニングまたはサブサンプリングを介して、中心窩ゾーン１２０の画素サイズの整数倍に等しいことが多い。例えば、ｍ×ｎ個のネイティブ画素群は、１つのスーパー画素に置き換えられることができる。図１に示す例では、周辺ゾーン１３０において、２×２のネイティブ画素群が１つの大きな画素にマージされている。したがって、周辺ゾーン１３０では、中心窩ゾーン１２０の解像度と比較して、水平次元および垂直次元の両方において解像度が半分になる。この例は、以下の説明において使用される。

【0031】

ＦＲの根底にある仮定は、視聴者が自身の周辺視野で低解像度領域を見ることであり、この場合、視力は十分に低く、解像度低下の影響は知覚できない。実際には、この仮定は、視線追跡エラーのために、または固定ＦＲ内の眼球運動のために無効になることができる。したがって、視聴者は、ＦＲにおけるサブサンプリングに起因するいくつかのアーチファクトを確認し得る。

【0032】

図２Ａ～図２Ｅは、サブサンプリングによって引き起こされる可能性があるいくつかの例示的なアーチファクトを示している。２×２のサブサンプリングを想定すると、図２Ａに示す１画素幅のライン２１０は、図２Ｂに示す２画素幅のライン２２０となる。すなわち、最大空間周波数が半分になる。隣接する画素が合成されるため、それらの輝度が平均化される。したがって、図２Ａおよび図２Ｂに示すように、コントラストが低下する。サブサンプリングによっても色が変化する場合がある。例えば、図２Ｃおよび図２Ｄに示すように、赤色エリアと緑色エリアとの境界の赤色ライン２３０および緑色ライン２４０が広い黄色ライン２５０に結合されてもよい。サブサンプリングはまた、左側はネイティブ画素内のテキストを示し、右側はサブサンプリングされた画素内のテキストを示す図２Ｅに示すように、細かいテキストの読みやすさを低減することがある。

【0033】

上記のアーチファクトは、視聴者の頭の動きまたはコンテンツ自体の動きの結果としてコンテンツが移動するときにより顕著になることができる。例えば、輝度および／またはコントラストの差によって示されるように、中心窩ゾーンと周辺ゾーンとの間に境界が確認され得る。コンテンツが高いコントラスト、例えば、ＶＲヘッドセットによって見られる黒背景上の白いテキスト、またはＡＲヘッドセットによって暗い背景に対して見られる白いテキストを有する場合、上記のアーチファクトはより顕著になり得る。

【0034】

いくつかの実施形態によれば、上述したアーチファクトの顕著性を低減することによって、ＦＲによってレンダリングされた画像の知覚的品質を改善する方法が提供される。レンダリングに固定された空間プロファイル（すなわち、中心窩ネイティブ解像度対周辺部低解像度）を使用する代わりに、様々な空間プロファイルの時間的多重化および／または両眼多重化がレンダリングに使用される。これらの方法は、本明細書では時間的「ディザリング」とも呼ばれる。これらの解決策は、計算上軽量でありながら、正確且つ高速な視線追跡を必要としないという利点を有することができる。

【0035】

図３Ａ～図３Ｃは、いくつかの実施形態にかかる、時間多重化を使用した視野および中心窩レンダリングを示す空間プロファイルである。図３Ａは、ＦＯＶ３１０が第１の中心窩ゾーン３２０（暗画素によって表される）および第１の周辺ゾーン３３０（白画素によって表される）に分割されている第１の空間プロファイルを示している。図３Ｂは、ＦＯＶ３１０が第２の中心窩ゾーン３４０および第２の周辺ゾーン３５０に分割されている第２の空間プロファイルを示している。図示のように、第２の中心窩ゾーン３４０は、第１の中心窩ゾーン３２０に対して水平方向に（例えば、Ｘ方向に４ネイティブ画素分）シフトされている。

【0036】

いくつかの実施形態によれば、第１の空間プロファイルおよび第２の空間プロファイルは、一連のフレームにおいて時間的に多重化される。例えば、第１の空間プロファイルは奇数フレームをレンダリングするために使用されることができ、第２の空間プロファイルは偶数フレームをレンダリングするために使用されることができる。このようにして、中心窩ゾーンは、一連のフレームにおいてフレームごとに動的に移動される。したがって、第１の中心窩ゾーン３２０および第２の中心窩ゾーン３４０が重複するＦＯＶ３１０の領域（例えば、図３Ｃに示す暗い中央の列）について、ネイティブ解像度でレンダリングされた画像が常に提示される。第２の中心窩ゾーン３４０と重ならない第１の中心窩ゾーン３２０の領域、または第１の中心窩ゾーン３２０と重ならない第２の中心窩ゾーン３４０の領域（例えば、図３Ｃに示す灰色の列）について、ネイティブ解像度画像およびサブサンプル画像がフレームごとに交互に提示される。

【0037】

ディスプレイが十分に高いリフレッシュレート（例えば、１２０Ｈｚ）を有すると仮定すると、ネイティブ解像度画像およびサブサンプル画像は、視聴者によって知覚されるように１つにブレンドされ得る。ネイティブ解像度画像とサブサンプル画像とのブレンドは、視聴者の視覚的知覚における高い空間周波数および輝度コントラストを復元するのに役立つことができる。図３Ｄ～図３Ｆは例を示している。

【0038】

図３Ｄ～図３Ｆは、本発明の実施形態にかかるネイティブ解像度、サブサンプリング、および画像ブレンドを示す画像である。図３Ｄは、一画素幅のライン３６０を含むネイティブ解像度画像を示している。図３Ｅは、一画素幅のライン３６０が２画素幅のライン３７０となるサブサンプル画像を示している。図３Ｆは、視聴者によって知覚され得るように、図３Ｄおよび図３Ｅに示される２つの画像をブレンドした結果を示している。図３Ｆに示すように、ネイティブ解像度画像の高い空間解像度およびコントラストは幾分復元される。

【0039】

図３Ｇ～図３Ｈは、本発明の実施形態にかかるサブサンプリングおよび時間多重化を示すテキストボックスである。図３Ｇは、サブサンプル画像内のいくつかのテキストを示している。図３Ｈは、ネイティブ解像度画像とサブサンプル画像とを多重化したテキストを示している。図示のように、図３Ｈのテキストの読みやすさは、図３Ｇと比較して改善されている。したがって、図３Ａ～図３Ｃに示す例では、図３Ａに示す第１の空間プロファイルと図３Ｂに示す第２の空間プロファイルとを時間的に多重化することによって、有効な中心窩ゾーン（例えば、図３Ｃの暗領域と灰色領域との組み合わせ）は、各個々の空間プロファイルの中心窩ゾーン３２０または３４０と比較して拡大されることができる。

【0040】

様々な実施形態によれば、中心窩ゾーンの位置は、水平方向（例えば、Ｘ方向）、または垂直方向（例えば、Ｙ方向）、または両方向（例えば、ＸおよびＹ方向の組み合わせ）に連続するフレーム間で空間的にシフトされることができる。さらに、空間シフトの方向および量は、動的に変化されることができる。フレームレートは、ディスプレイの能力（例えば、空間光変調器またはＳＬＭ）によって制限され得る。例えば、フレームレートは、１２０Ｈｚ以上とすることができる。いくつかの実施形態では、中心窩ゾーンは、ＦＯＶ３１０の可能な限り多くをカバーするために、固定された順序またはランダムな順序で所定の位置のセットに空間的にシフトされることができる。したがって、視聴者の視線が変化しても、視聴者は、ＦＯＶ全体で高品質の画像を知覚し得る。

【0041】

図４は、いくつかの実施形態にかかる、時間多重化を使用して中心窩レンダリングを生成する方法４００を示す簡略化されたフローチャートを示している。

【0042】

方法４００は、４０２において、ＦＯＶを第１の中心窩ゾーンと第１の周辺ゾーンとに分割することによってＦＯＶの第１の空間プロファイルを生成することを含む。第１の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第１の周辺ゾーンは、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる。

【0043】

方法４００は、４０４において、ＦＯＶを第２の中心窩ゾーンおよび第２の周辺ゾーンに分割することによってＦＯＶの第２の空間プロファイルを生成することをさらに含む。第２の中心窩ゾーンは、第１の中心窩ゾーンから空間的にオフセットされている。第２の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第２の周辺ゾーンは、第２の画素解像度でレンダリングされる。

【0044】

方法４００は、４０６において、視聴者が、第１の画素解像度でレンダリングされたときに、第２の中心窩ゾーンと重ならない第１の中心窩ゾーンの領域および／または第１の中心窩ゾーンと重ならない第２の中心窩ゾーンの領域でレンダリングされた画像を知覚するように、第１の空間プロファイルと第２の空間プロファイルとを一連のフレームにおいて時間的に多重化することをさらに含む。

【0045】

図４に示す特定のステップは、いくつかの実施形態にかかる中心窩レンダリングを生成する特定の方法を提供することを理解されたい。代替の実施形態によれば、他の一連のステップが実行されてもよい。例えば、本発明の代替の実施形態は、上記で概説したステップを異なる順序で実行してもよい。さらに、図４に示す個々のステップは、個々のステップにとって適切であるように様々な順序で実行され得る複数のサブステップを含み得る。さらに、特定の用途に応じて、追加のステップが追加されてもよく、いくつかのステップが削除されてもよい。当業者は、多くの変形、変更、および代替を認識するであろう。

【0046】

いくつかの実施形態によれば、追加的または代替的に、知覚アーチファクトを低減するために両眼多重化が適用されることができる。図５Ａ～図５Ｄは、いくつかの実施形態にかかる、両眼多重化を使用する中心窩レンダリングのための左視野および右視野を示す空間プロファイルを示している。図５Ａを参照すると、第１の空間プロファイルにおいて、左眼５１０の視野（ＦＯＶ）は、第１の中心窩ゾーン５２０（灰色画素によって表される）と第１の周辺ゾーン５３０（白色画素によって表される）とに分割される。第２の空間プロファイルでは、右眼５４０のＦＯＶは、第２の中心窩ゾーン５５０と第２の周辺ゾーン５６０とに分割される。左眼５１０用のＦＯＶと右眼５４０用のＦＯＶとは同一であるとする。図示のように、第１の中心窩ゾーン５２０は、ＦＯＶの中心に固定される代わりに、右にシフトされ、第２の中心窩ゾーン５５０は左にシフトされる。

【0047】

図５Ｂを参照すると、視聴者の固視が、第１の中心窩ゾーン５２０と第２の中心窩ゾーン５５０とが重なり合うＦＯＶの中心に到達した場合、視聴者は、自身の中心視野内の両眼に自然解像度画像を確認し得る。図５Ａを参照すると、視聴者の固視がＦＯＶの右側に到達した場合、視聴者は、自分の中心視において左眼にネイティブ解像度画像を、右眼にサブサンプル画像を確認し得る。図５Ｃを参照すると、視聴者の固視がＦＯＶの左側に位置する場合、視聴者は、自身の中心視において、右眼にネイティブ解像度画像を、左眼にサブサンプル画像を確認し得る。

【0048】

図５Ｄは、有効空間プロファイルを示している。暗画素で表された領域を見ると、視聴者は、両眼においてネイティブ解像度画像を確認し得る。灰色の画素で表された領域を見ると、視聴者は、片方の眼のみにおいてネイティブ解像度の画像を確認し得る。図５Ｄに示されるように、ネイティブ解像度画像が少なくとも一方の眼によって見られる組み合わされた領域（灰色および暗画素によって表される）は、各個々の空間プロファイルにおいて中心窩ゾーン５２０または５５０よりも大きい。したがって、サブサンプリングによるアーチファクトが抑制されることができる。様々な実施形態によれば、中心窩ゾーン５２０および５５０の位置は、水平方向（例えば、Ｘ方向）、または垂直方向（例えば、Ｙ方向）、または両方向（例えば、ＸおよびＹ方向の組み合わせ）にシフトされることができる。

【0049】

いくつかの実施形態によれば、両眼多重化は、時間多重化と組み合わせられることができる。図６Ａ～図６Ｃは、いくつかの実施形態にかかる、時間多重化と組み合わせて両眼多重化を使用する中心窩レンダリングのための左視野および右視野を示す空間プロファイルである。図６Ａを参照すると、第１のフレームでは、左ＦＯＶの第１の空間プロファイルは、右にシフトされた中心窩ゾーン６１０を有することができ、右ＦＯＶの第２の空間プロファイルは、左にシフトされた中心窩ゾーン６２０を有することができる。図６Ｂを参照すると、第２のフレームでは、左ＦＯＶの第３の空間プロファイルは、左にシフトされた中心窩ゾーン６３０を有することができ、右ＦＯＶの第４の空間プロファイルは、右にシフトされた中心窩ゾーン６４０を有することができる。いくつかの実施形態では、一連のフレームにおいて、図６Ａに示すような第１のフレームは、奇数フレームごととすることができ、図６Ｂに示すような第２のフレームは、偶数フレームごととすることができる。

【0050】

図６Ｃを参照すると、第３のフレームでは、左ＦＯＶの第５の空間プロファイルは、上方にシフトした中心窩ゾーン６５０を有することができ、右ＦＯＶの第６の空間プロファイルは、下方にシフトされた中心窩ゾーン６６０を有することができる。いくつかの実施形態では、空間シフトの方向および量は、動的に変化されることができる。例えば、左ＦＯＶおよび右ＦＯＶの両方の中心窩ゾーンは、できるだけ多くのＦＯＶをカバーするために、固定された順序またはランダムな順序で所定の位置のセットに空間的にシフトされることができる。したがって、視聴者は、帯域幅を大幅に節約しながら、ＦＯＶ全体で高品質の画像を知覚し得る。中心窩ゾーンの動きは、最小および最大の可能な瞳孔間距離（ＩＰＤ）を使用して計算されることができ、標的視聴者にとって良好な視覚結果が達成されることができることを確実にする。

【0051】

いくつかの実施形態によれば、空間プロファイルの時間多重化および両眼多重化の方法は、例えば、固定ＦＲ、視線追跡を伴うＦＲ、またはコンテンツベースのＦＲを含む様々なタイプのＦＲ実装に適用されることができる。視線追跡を用いてＦＲに適用されると、本明細書に記載の方法は、中心窩領域を効果的に拡張し、したがって不正確な視線追跡によって生成されるアーチファクトを低減することができる。コンテンツベースのＦＲに適用される場合、本明細書に記載の方法は、予測誤差に起因するアーチファクトを低減することができる。固定ＦＲに適用される場合、本明細書に記載の方法は、中心窩領域の最高解像度から、周辺部付近の多重解像度、および周辺部のサブサンプル解像度への視覚的品質の滑らかな移行を助けることができる。

【0052】

図７は、いくつかの実施形態にかかる、両眼多重化を使用して中心窩レンダリングを生成する方法７００を示す簡略化されたフローチャートを示している。

【0053】

方法７００は、７０２において、ＦＯＶを第１の中心窩ゾーンと第１の周辺ゾーンとに分割することによってＦＯＶの第１の空間プロファイルを生成することを含む。第１の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第１の周辺ゾーンは、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる。

【0054】

方法７００は、７０４において、ＦＯＶを第２の中心窩ゾーンおよび第２の周辺ゾーンに分割することによってＦＯＶの第２の空間プロファイルを生成することをさらに含む。第２の中心窩ゾーンは、第１の中心窩ゾーンから空間的にオフセットされている。第２の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第２の周辺ゾーンは、第２の画素解像度でレンダリングされる。

【0055】

方法７００は、７０６において、第１の画素解像度でレンダリングされたときに、第２の中心窩ゾーンと重ならない第１の中心窩ゾーンの領域および／または第１の中心窩ゾーンと重ならない第２の中心窩ゾーンの領域にレンダリングされた画像を視聴者が知覚するように、視聴者の左眼および右眼のそれぞれについて第１の空間プロファイルおよび第２の空間プロファイルを多重化することをさらに含む。

【0056】

図７に示す特定のステップは、いくつかの実施形態にかかる中心窩レンダリングを生成する特定の方法を提供することを理解されたい。代替の実施形態によれば、他の一連のステップが実行されてもよい。例えば、本発明の代替の実施形態は、上記で概説したステップを異なる順序で実行してもよい。さらに、図７に示す個々のステップは、個々のステップに適切であるように様々な順序で実行され得る複数のサブステップを含み得る。さらに、特定の用途に応じて、追加のステップが追加されてもよく、いくつかのステップが削除されてもよい。当業者は、多くの変形、変更、および代替を認識するであろう。

【0057】

図８は、いくつかの実施形態にかかる、時間多重化と両眼多重化との組み合わせを使用して中心窩レンダリングを生成する方法８００を示す簡略化されたフローチャートを示している。

【0058】

方法８００は、８０２において、ＦＯＶを第１の中心窩ゾーンと第１の周辺ゾーンとに分割することによってＦＯＶの第１の空間プロファイルを生成することを含む。第１の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第１の周辺ゾーンは、第１の画素解像度よりも低い第２の画素解像度でレンダリングされる。

【0059】

方法８００は、８０４において、ＦＯＶを第２の中心窩ゾーンおよび第２の周辺ゾーンに分割することによってＦＯＶの第２の空間プロファイルを生成することをさらに含む。第２の中心窩ゾーンは、第１の中心窩ゾーンから空間的にオフセットされている。第２の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第２の周辺ゾーンは、第２の画素解像度でレンダリングされる。

【0060】

方法８００は、８０６において、ＦＯＶを第３の中心窩ゾーンおよび第３の周辺ゾーンに分割することによってＦＯＶの第３の空間プロファイルを生成することをさらに含む。第３の中心窩ゾーンは、第１の中心窩ゾーンから空間的にオフセットされている。第３の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第３の周辺ゾーンは、第２の画素解像度でレンダリングされる。

【0061】

方法８００は、８０８において、ＦＯＶを第４の中心窩ゾーンおよび第４の周辺ゾーンに分割することによってＦＯＶの第４の空間プロファイルを生成することをさらに含む。第４の中心窩ゾーンは、第３の中心窩ゾーンから空間的にオフセットされている。第４の中心窩ゾーンは、第１の画素解像度でレンダリングされ、第４の周辺ゾーンは、第２の画素解像度でレンダリングされる。

【0062】

方法８００は、８１０において、奇数フレームにおいて、視聴者の左眼および右眼用の第１の空間プロファイルおよび第２の空間プロファイルをそれぞれ多重化することをさらに含む。

【0063】

方法８００は、８１２において、偶数フレームにおいて、視聴者の左眼および右眼用の第３の空間プロファイルおよび第４の空間プロファイルをそれぞれ多重化することをさらに含む。

【0064】

図８に示す特定のステップは、いくつかの実施形態にかかる中心窩レンダリングを生成する特定の方法を提供することを理解されたい。代替の実施形態によれば、他の一連のステップが実行されてもよい。例えば、本発明の代替の実施形態は、上記で概説したステップを異なる順序で実行してもよい。さらに、図８に示す個々のステップは、個々のステップに適切であるように様々な順序で実行され得る複数のサブステップを含み得る。さらに、特定の用途に応じて、追加のステップが追加されてもよく、いくつかのステップが削除されてもよい。当業者は、多くの変形、変更、および代替を認識するであろう。

【0065】

本明細書に記載のＦＲレンダリングの方法は、様々な方法でハードウェアおよび／またはソフトウェアパイプラインに実装されることができる。例えば、それらは、ファームウェアまたはミドルウェアを介してＡＲ／ＶＲシステムの設計に実装されることができる。そのような実装は、用途に対して透過的とすることができる。あるいは、それらは、オペレーティングシステム（ＯＳ）のソフトウェアまたは個々のアプリケーションを介して既存のＡＲ／ＶＲシステムに実装されることができる。

【0066】

いくつかの実施形態によれば、レンダリングから表示までのパイプライン全体を通してリソース節約が実現されることができる。グラフィックスドライバ（例えば、グラフィックス処理ユニットまたはＧＰＵ）は、フレームごとに低解像度画像と高解像度画像の両方を最初に生成し、それらをパッキングしてビデオペイロードを最小化することができる。低解像度画像および高解像度画像の位置は、フレームごとに変化すると仮定されることができる。中心窩ゾーンの画素インデックス化を含むＦＲのフレーム固有の情報を提供する制御パケットがビデオフレーム内に埋め込まれることができる。制御パケットによって提供される情報は、表示ユニット（例えば、ＳＬＭ ＡＳＩＣ）が各フレームの画像データをアンパッキングするのを支援することができる。

【0067】

図９は、いくつかの実施形態にかかる例示的な制御パケットを示している。制御パケットは、ＧＰＵによって生成されたビデオフレームに埋め込まれることができる。制御パケットは、ＦＲモードが有効であるかどうか、ダウンサンプリングの比（例えば、４：１、９：１、１６：１など）、中心窩領域の開始行および開始列のインデックスなどの情報を含むことができる。制御パケットは、（例えば、ＳＬＭ ＡＳＩＣによる）表示ユニットがビデオフレーム内の画像データをアンパッキングするためのマップとして機能することができる。ダウンサンプリングの比は、フレームごとに動的に変更されることができる。例えば、比は、ほとんどのフレームについて１６：１とすることができ、テキストコンテンツを有するそれらのフレームについて４：１に変更されることができる。

【0068】

いくつかの実施形態では、各ビデオフレームは、３原色（例えば、赤色、緑色、および青色）の色チャネルを含むことができる。各色チャネルは、独立してＦＲモードを有効または無効にされることができる。例えば、人間の眼は緑色の最も強い知覚を有するため、フレーム全体にフル解像度の緑色コンテンツを有し、赤色コンテンツおよび青色コンテンツにのみＦＲを適用することが有利であり得る。各色チャネルの中心窩ゾーンは、ダウンサンプリング、サイズ、および開始行および開始列のインデックスを有する位置のそれ自体の比を有することができる。例えば、緑色含有量は、赤色および青色よりも低いダウンサンプリングの比を有することができる。また、３つの色チャネルの中心窩ゾーンは、互いに位置合わせされる必要はない。

【0069】

制御パケットに含まれ得る情報は、上述した特定の情報に限定されないことを理解されたい。画像のレンダリング、処理、表示などに影響を及ぼし得る任意の情報または要因が、制御パケットに含まれ得る。

【0070】

図１０は、いくつかの実施形態にかかる、動的多重化中心窩レンダリングの例示的なビデオパイプライン実装形態のブロック図を示している。画像１０２０（例えば、ビデオフレーム）は、ＧＰＵ１０１０においてレンダリングされることができる。画像１０２０は、高解像度でレンダリングされた中心窩ゾーン１０２２と、低解像度でレンダリングされた周辺ゾーン１０２４とを含む。画像データ（中心窩ゾーン１０２２の高解像度画像データおよび周辺ゾーン１０２４の低解像度画像データを含む）は、ビデオフレーム１０３０にパックされる。例えば、高解像度画像データが第１の画像ブロック１０３４にパックされることができ、低解像度画像データが第２の画像ブロック１０３６にパックされることができる。

【0071】

次いで、制御パケット１０３２は、第１の画像ブロック１０３４および第２の画像ブロック１０３６と連結される。制御パケット１０３２は、（例えば、図９に示すように）ＦＲレンダリングに関する情報を含むことができる。ビデオフレーム１０３０は、チャネルリンク１０４０を介して表示ユニット１０５０（例えば、ＳＬＭ ＡＳＩＣ）に送信されることができる。制御パケット１０３２によるビデオフレームのパッキングは、必要とされるペイロードおよびデータレートを大幅に低減することができ、それによってチャネルリンク１０４０上の帯域幅および電力を最小化する。

【0072】

表示ユニット１０５０は、フレーム解析器１０６０（例えば、デコーダ）を使用して、第１の画像ブロック１０３４および第２の画像ブロック１０３６からの制御パケット１０３２を解析することができる。例えば、制御パケット１０３２は、ビデオフレーム１０３０の最初の行（例えば、行０）にあることができる。制御パケットデコーダ１０７０は、制御パケット１０３２を復号することができる。次いで、制御パケット１０３２によって提供される情報が使用されて、第１の画像ブロック１０３４および第２の画像ブロック１０３６内の画像データをビデオメモリ１０８０内の中心窩ゾーンおよび周辺ゾーンにそれぞれマッピングすることができる。低解像度領域の場合、大きな画素がディスプレイのいくつかのネイティブ画素（例えば、サブサンプリング比が４：１である場合、４つのネイティブ画素に）にマッピングされることができる。表示ユニット１０５０は、この復号処理をフレームごとに行う。そして、表示ユニット１０５０は、ビデオメモリ１０８０に保存された画像を（例えば、ＳＬＭを介して光子を出力する）視聴者に投影する。いくつかの実施形態では、同期およびレイテンシの管理、ならびに部分画面リフレッシュタスク、ブランクモードなどを助けるために、タイムスタンプがビデオフレーム１０３０に含められることもできる。

【0073】

いくつかの実施形態によれば、ＧＰＵは、中心窩画像をレンダリングし、関連する制御パケットを生成する。コンピュータビジョンプロセッサからの最新の姿勢予測に基づいて画像データに対して時間歪曲機能が実行されて、最新の姿勢予測に基づいて視聴者の視点を反映するために表示ユニットに画像を提供することができる。いくつかの実施形態によれば、時間歪曲は、画像データおよび制御パケットを表示ユニットに送信する前に実行されてもよい。図１１に示すように、時間歪曲は、画像データおよび制御パケットがビデオプロセッサ１１５０に送信される前の時間歪曲ブロック１１４０において、ならびにビデオプロセッサ１１５０の時間歪曲再マッピングブロック１１５２において実行され得る。したがって、いくつかの実施形態では、時間歪曲は、表示ユニットに結合されたコンピュータビジョンプロセッサによって実行され得る。次いで、中心窩画像は、ウェアラブルビデオプロセッサに送信され、制御パケットは、二次データチャネルを介して送信される。次いで、ビデオプロセッサは、（例えば、ウェアラブルデバイスのセンサスイートからの最新の姿勢データを使用して）遅延時間歪曲を実行し、中心窩領域および低解像度領域を用いて中心窩画像を再フォーマットする。この方法は、表示前に画像をアンパッキングすることができるグローバルリフレッシュＳＬＭにうまく機能することができる。カラーシーケンシャルディスプレイの場合、赤色、緑色、および青色のパック画像が生成され、別個に送信されることができる。

【0074】

図１１は、いくつかの実施形態にかかる、時間歪曲を含む動的多重化中心窩レンダリングのための例示的なビデオパイプラインのブロック図を示している。ＧＰＵ１１１０は、（例えば、図９に示すように）中心窩画像１１２０および関連する制御パケット１１３０を生成する。時間歪曲ブロック１１４０は、中心窩画像１１２０に対して時間歪曲機能を実行して、視聴者の位置における動きを考慮する。次いで、画像データおよび制御パケット１１３０は、ヘッドセットリンクを介してウェアラブルデバイスのビデオプロセッサ１１５０に送信される。

【0075】

ビデオプロセッサ１１５０では、時間歪曲および再マッピングブロック１１５２は、（例えば、ウェアラブルデバイスのセンサスイートからの）最新の姿勢データを使用して遅延時間歪曲を実行することができる。例えば、大きな頭の動きがある場合、最新の姿勢データが使用されて境界を更新することができる。時間歪曲および再マッピングブロック１１５２はまた、中心窩画像１１２０を中心窩領域データブロック１１５４および低解像度領域データブロック１１５６に再マッピングすることもできる。制御パケット１１３０は、中心窩領域データブロック１１５４および低解像度領域データブロック１１５６と連結されてビデオフレームを形成し、表示ユニット１１６０（例えば、ＳＬＭ ＡＳＩＣ）に送信されることができる。表示ユニット１１６０は、上述した図１０に示した表示ユニット１０５０と同様に、制御パケットを使用して、ビデオフレームをアンパッキングすることができる。

【0076】

図１２は、いくつかの実施形態にかかる、シーケンシャルカラー表示のために構成された時間歪曲を含む、動的多重化中心窩レンダリングのための例示的なビデオパイプラインのブロック図を示している。ＧＰＵ１２１０は、左眼用の第１の中心窩画像１２１２および右眼用の第２の中心窩画像１２１４をレンダリングする。第１の中心窩画像１２１２および第２の中心窩画像１２１４の両方に対する（例えば、図９に示すような）ＦＲの情報を提供する関連する制御パケット１２１６が生成される。時間歪曲ブロック１２１８は、第１の中心窩画像１２１２および第２の中心窩画像１２１４に対して時間歪曲機能を実行する。圧縮ブロック１２１９は、画像データの圧縮を行う。そして、圧縮された画像データおよび制御パケット１２１６は、ヘッドセットリンクを介してウェアラブルデバイスのビデオプロセッサ１２２０に送信される。

【0077】

ビデオプロセッサ１２２０では、解凍ブロック１２２２が画像データを解凍し、第１の中心窩画像１２１２および第２の中心窩画像１２１４を復元する。第１の時間歪曲および再マッピングブロック１２２４は、最新の姿勢データに基づいて第１の中心窩画像１２１２に対して時間歪曲を実行する。第１の時間歪曲および再マッピングブロック１２２４はまた、第１の中心窩画像１２１２を３つの別個の色チャネル（例えば、赤色１２３２ａ／１２３２ｂ、緑色１２３４ａ／１２３４ｂ、および青色１２３６ａ／１２３６ｂ）にマッピングする。３つの色チャネル（すなわち、１２３２ａ、１２３４ａ、および１２３６ａ）は、制御パケットとともに、左眼用の第１のディスプレイ１２３０（例えば、ＬＣＯＳディスプレイ）に送信される第１のビデオフレーム１２２８としてパックされる。第２の時間歪曲および再マッピングブロック１２２６は、最新の姿勢データに基づいて第２の中心窩画像１２１４に対して時間歪曲を実行する。第２の時間歪曲および再マッピングブロック１２２６はまた、第２の中心窩画像１２１４を３つの別個の色チャネル（すなわち、１２３２ｂ、１２３４ｂ、および１２３６ｂ）にマッピングする。３つの色チャネルは、制御パケットとともに、右眼用の第２のディスプレイ１２４０（例えば、ＬＣＯＳディスプレイ）に送信される第２のビデオフレーム１２２９としてパックされる。

【0078】

第１のディスプレイ１２３０は、上述した図１０に示す表示ユニット１０５０と同様の方法で、制御パケットを使用して第１のビデオフレーム１２２８をアンパッキングすることができる。この場合、３つの色チャネル１２３２ａ、１２３４ａ、および１２３６ａの各々の画像データは、ビデオメモリに保存され、視聴者の左眼に投影される。上述したように、３つの色チャネル１２３２ａ、１２３４ａ、および１２３６ａの各々は、その独立した中心窩ゾーン、ダウンサンプリング比どを有することができる。３つの色チャネル１２３２ａ、１２３４ａ、および１２３６ａの中心窩ゾーンは、互いに位置合わせされる必要はない。いくつかの実施形態では、３つの色チャネル１２３２ａ、１２３４ａ、および１２３６ａは、視聴者に順次表示されることができる。第２のディスプレイ１２４０は、同様にして第２のビデオフレーム１２２９をアンパッキングすることができる。

【0079】

ローリングシャッタタイプのディスプレイの場合、画像データは、それをラスタライズ形式に保つように異なってパックされてもよい。図１３は、いくつかの実施形態にかかる、遅延時間歪曲およびラスタスキャン出力を有する動的多重化中心窩レンダリングのための例示的なビデオパイプラインのブロック図を示している。中心窩画像１３１２がＧＰＵ１３１０においてレンダリングされる。時間歪曲ブロック１３１４は、中心窩画像１３１２に対して時間歪曲機能を実行する。中心窩画像１３１２について、（例えば、図９に示すように）ＦＲレンダリングに関する情報を含む制御パケット１３１６が作成されることができる。画像データおよび制御パケット１３１６は、ヘッドセットリンクを介してウェアラブルデバイスのビデオプロセッサ１３２０に送信される。

【0080】

ビデオプロセッサ１３２０において、時間歪曲および再マッピングブロック１３２４は、（例えば、ウェアラブルデバイスのセンサスイートからの）最新の姿勢データを使用して中心窩画像に対して遅延時間歪曲を実行することができる。時間歪曲画像および制御パケット１３１６は、ビデオフレーム１３２２としてまとめられ、次いで表示ユニット１３３０に送られる。

【0081】

表示ユニット１３３０において、フレーム解析器１３３４は、画像データ１３１２から制御パケット１３１６を解析することができる。制御パケットデコーダ１３３６は、画像データ１３１２に付随する制御パケット１３１６を復号することができる。次いで、制御パケット１３１６によって提供された情報が使用されて、画像データ１３１２をビデオメモリ１３３２にマッピングすることができる。例えば、低解像度領域内の大きな画素は、ディスプレイのいくつかのネイティブ画素（例えば、サブサンプリング比が４：１である場合、４つのネイティブ画素に）にマッピングされることができる。そして、表示ユニット１０５０は、ビデオメモリ１３３２に保存された画像を（例えば、ＳＬＭを介して光子を出力する）視聴者に投影することができる。中心窩レンダリングは、フレームごとに動的に変更されることができるため、表示ユニット１３３０は、正しいマッピングを保証するために、フレームごとに制御パケット１３１６に提供されるＦＲ情報を使用する。

【0082】

ローリングシャッタタイプのディスプレイの場合、画像データ１３１２は、パイプライン全体にわたってラスタライズ形式で維持され、その結果、画像データは、スキャンされるときにスキャンされて出力されることができる。フレーム全体が受信されるのを待つ必要はない。したがって、ビデオメモリ１３３２は、新しく到着した画像データを送り出すための比較的小さなラインバッファとすることができる。フレーム全体を保持するための大きなバッファは必要ない。また、レイテンシは、比較的低く保たれることができる。

【0083】

また、本明細書に記載の実施例および実施形態は例示のみを目的としており、それに照らして様々な変更または変形が当業者に示唆され、本出願の精神および範囲ならびに添付の特許請求の範囲内に含まれるべきであることも理解される。

【図1】

【図2A-2B】

【図2C-2D】

【図2E】

【図3A】

【図3B】

【図3C】

【図3D-3F】

【図3G】

【図3H】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】