特許 6959366 フォービエイテッド（中心窩）レンダリングシステムのための時間的スーパーサンプリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6959366

(24)【登録日】2021年10月11日

(45)【発行日】2021年11月2日

(54)【発明の名称】フォービエイテッド（中心窩）レンダリングシステムのための時間的スーパーサンプリング

(51)【国際特許分類】

   G06T 15/00 20110101AFI20211021BHJP

   G06T 3/40 20060101ALI20211021BHJP

   G09G 5/00 20060101ALI20211021BHJP

   G09G 5/393 20060101ALI20211021BHJP

   G09G 5/10 20060101ALI20211021BHJP

   G09G 5/36 20060101ALI20211021BHJP

   G09G 5/395 20060101ALI20211021BHJP

【ＦＩ】

   G06T15/00 501

   G06T3/40 730

   G09G5/00 510A

   G09G5/36 530E

   G09G5/10 Z

   G09G5/36 520P

   G09G5/36 520C

   G09G5/36 530F

【請求項の数】18

【全頁数】30

(21)【出願番号】特願2019-568069(P2019-568069)

(86)(22)【出願日】2018年6月7日

(65)【公表番号】特表2020-523688(P2020-523688A)

(43)【公表日】2020年8月6日

(86)【国際出願番号】US2018036569

(87)【国際公開番号】WO2018227029

(87)【国際公開日】20181213

【審査請求日】2020年2月6日

(31)【優先権主張番号】62/517,835

(32)【優先日】2017年6月9日

(33)【優先権主張国】US

(31)【優先権主張番号】15/905,801

(32)【優先日】2018年2月26日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ヤング、アンドリュー

(72)【発明者】

【氏名】ホー、クリス

(72)【発明者】

【氏名】スタフォード、ジェフリー、ロジャー

【審査官】 片岡 利延

(56)【参考文献】

【文献】 米国特許出願公開第２０１５／０３７９６７４（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１４／０２４７２７７（ＵＳ，Ａ１）

【文献】 Brian Guenter et al.，Foveated 3D Graphics，[online]，2012年11月，https://dl.acm.org/doi/10.1145/2366145.2366183，https://dl.acm.org/doi/10.1145/2366145.2366183

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００

Ｇ０６Ｔ ３／４０

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３９３

Ｇ０９Ｇ ５／１０

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３９５

(57)【特許請求の範囲】

【請求項1】

低解像度のサンプリング領域から高解像度ピクセルを描画する方法であって、
ラスタライザからフラグメントを受信することと、
複数の明度を取得するために、複数の前のフレームにわたって前記低解像度のサンプリング領域を有する前記フラグメントに時間的スーパーサンプリングを適用することと、
前記時間的スーパーサンプリングによって取得された前記複数の明度に基づいて、複数の高解像度ピクセルをバッファで再構成することと、
ディスプレイに提示するために、前記複数の高解像度ピクセルを前記バッファから送信することと、
を含み、
前記低解像度のサンプリング領域は、複数のサブピクセル領域を含み、
前記時間的スーパーサンプリングは、前記複数の前のフレームのそれぞれについて、前記複数のサブピクセル領域のうちの異なるサブピクセル領域における明度及び位置データのサンプリングを含み、
前記再構成は、前記複数の前のフレームから取得された複数のサブピクセル領域の明度及び位置データに基づいて、前記複数の高解像度ピクセルを再構成することを含む、
方法。

【請求項2】

前記時間的スーパーサンプリングは、ピクセル再投影によって決定される前記低解像度のサンプリング領域のサンプリング位置を含む、請求項１に記載の方法。

【請求項3】

前記時間的スーパーサンプリングは、ジッタによって決定される前記低解像度のサンプリング領域のサンプリング位置を含む、請求項１に記載の方法。

【請求項4】

前記複数の高解像度ピクセルのピクセル数は、前記複数の前のフレームのフレーム数より大きい数である、請求項１に記載の方法。

【請求項5】

前記複数の高解像度ピクセルの前記再構成は、前記複数の明度のブレンディングをさらに含む、請求項１に記載の方法。

【請求項6】

前記複数の高解像度ピクセルは、前記ディスプレイのネイティブ解像度、または、前記ディスプレイの前記ネイティブ解像度より高い解像度と関連付けられる、請求項１に記載の方法。

【請求項7】

前記ディスプレイは、ヘッドマウントディスプレイ（ＨＭＤ）と関連付けられる、請求項１に記載の方法。

【請求項8】

前記低解像度のサンプリング領域は、フォービエイテッドレンダリングビューの周辺領域と関連付けられる、請求項１に記載の方法。

【請求項9】

低解像度のサンプリング領域を含む複数の前のフレームに対して、時間的スーパーサンプリングであって、複数の明度を含む前記時間的スーパーサンプリングを適用するためのグラフィックス処理ユニット（ＧＰＵ）と、
前記ＧＰＵによってレンダリングされる前記複数の前のフレームを記憶するためのフレームバッファと、
表示バッファであって、その中で、前のフレームの前記時間的スーパーサンプリングによって取得された前記複数の明度に基づいて、複数の高解像度ピクセルが再構成される前記表示バッファと、
を含む、グラフィックスシステムであって、
前記複数の高解像度ピクセルは、ディスプレイに提示するために構成され、
前記低解像度のサンプリング領域は、複数のサブピクセル領域を含み、
前記時間的スーパーサンプリングは、前記複数の前のフレームのそれぞれについて、前記複数のサブピクセル領域のうちの異なるサブピクセル領域における明度及び位置データのサンプリングを含み、
前記再構成は、前記複数の前のフレームから取得された複数のサブピクセル領域の明度及び位置データに基づいて、前記複数の高解像度ピクセルを再構成することを含む、
グラフィックスシステム。

【請求項10】

前記時間的スーパーサンプリングは、ピクセル再投影によって決定されるように、前記低解像度のサンプリング領域のサンプリング位置を規定する、請求項９に記載のグラフィックスシステム。

【請求項11】

前記時間的スーパーサンプリングは、ジッタによって決定されるように、前記低解像度のサンプリング領域のサンプリング位置を規定する、請求項９に記載のグラフィックスシステム。

【請求項12】

前記複数の高解像度ピクセルのピクセル数は、前記複数の前のフレームのフレーム数より多い数である、請求項９に記載のグラフィックスシステム。

【請求項13】

前記複数の高解像度ピクセルの前記再構成は、前記複数の明度のブレンディングをさらに含む、請求項９に記載のグラフィックスシステム。

【請求項14】

前記複数の高解像度ピクセルは、前記ディスプレイのネイティブ解像度、または、前記ディスプレイの前記ネイティブ解像度より高い解像度と関連付けられる、請求項９に記載のグラフィックスシステム。

【請求項15】

前記ディスプレイは、ヘッドマウントディスプレイ（ＨＭＤ）に関連付けられる、請求項９に記載のグラフィックスシステム。

【請求項16】

前記低解像度のサンプリング領域は、フォービエイテッドレンダリングビューの周辺領域に関連付けられる、請求項９に記載のグラフィックスシステム。

【請求項17】

プロセッサベースのシステムによって実行可能なコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、
フラグメントであって、低解像度のサンプリング領域に関連付けられた前記フラグメントをラスタライザから受信するプログラム命令と、
複数の明度を取得するために、複数の前のフレームにわたって時間的スーパーサンプリングを前記フラグメントに適用するプログラム命令と、
前記低解像度のサンプリング領域に関連付けられた複数の高解像度ピクセルであって、前記時間的スーパーサンプリングによって取得された前記複数の明度に基づいた前記複数の高解像度ピクセルを、バッファで再構成するプログラム命令と、
ディスプレイに提示するために、前記複数の高解像度ピクセルを前記バッファから送信するプログラム命令と、
を含み、
前記低解像度のサンプリング領域は、複数のサブピクセル領域を含み、
前記時間的スーパーサンプリングは、前記複数の前のフレームのそれぞれについて、前記複数のサブピクセル領域のうちの異なるサブピクセル領域における明度及び位置データのサンプリングを含み、
前記再構成は、前記複数の前のフレームから取得された複数のサブピクセル領域の明度及び位置データに基づいて、前記複数の高解像度ピクセルを再構成することを含む、
非一時的コンピュータ可読記憶媒体。

【請求項18】

前記時間的スーパーサンプリングは、ピクセル再投影によって決定されるように、または、ジッタによって決定されるように、前記複数の前のフレームにわたって前記低解像度のサンプリング領域のサンプリング位置を規定し、前記複数の高解像度ピクセルは、前記ディスプレイのネイティブ解像度、または、前記ディスプレイの前記ネイティブ解像度より高い解像度に関連付けられる、請求項１７に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般的に、ヘッドマウントディスプレイ（ＨＭＤ）を通して提供される仮想現実（ＶＲ）コンテンツのフォービエイテッドレンダリングビューに関し、より詳細には、時間的スーパーサンプリングを利用して、フォービエイテッドレンダリングビュー内の一定の領域で高解像度のピクセルを生成する方法及びシステムに関する。

【背景技術】

【0002】

ヘッドマウントディスプレイ（ＨＭＤ）を通して提示される仮想現実（ＶＲ）は、消費者が様々な種類のコンテンツとインタラクトする方法としてますます人気が高くなっている。ＶＲコンテンツを生成するＶＲアプリケーションが、より高い解像度の画像でより複雑にレンダリングされるようになっているので、これらのＶＲシーンをサポートするのに必要な計算、ネットワーク、及び、メモリのコストが、それに関連して高くなっている。例えば、画像解像度が向上すると、関連するグラフィックスパイプラインは、ＶＲアプリケーションによって生成された幾何学的データからピクセルデータを生産することに関連してより多数の動作を行う必要がある。同様に、ＶＲアプリケーションを実行するのに必要な幾何学的データ及びピクセルデータの記憶に必要なメモリ量も比例的に増加し得る。さらに、ＶＲアプリケーションが、ネットワーク接続（例えば、有線または無線）を介してＨＭＤと通信するコンピューティングシステム上で実行される場合、ネットワーク接続を介して送信する必要のあるデータ量も増加する。

【0003】

結果として、計算的及びグラフィック的に要求の厳しいＶＲアプリケーションを実行する時、ボトルネックが生じる場合が多い。ボトルネックの結果、フレームレート（フレーム毎秒）の低下、待ち時間またはラグの増加、解像度の低下、及び、エイリアシングの増加が生じ得る。これらは全て、全体としてのユーザ体験を損なう。ＶＲアプリケーション実行に関連する計算、メモリ、及び、ネットワークのコストを低減する一定の試みは、低い解像度、ピクセル化、視覚的アーチファクト等を有するＶＲシーンを生じ、これは、ＶＲ体験に悪影響を及ぼす。

【0004】

実施形態は、この文脈で生じる。

【発明の概要】

【0005】

本開示の実施形態は、ＶＲシーンのアンダーサンプリングされた領域に表示するために、時間的スーパーサンプリングを使用して、高解像度ピクセルの再構成を可能にする方法及びシステムを提供する。一実施形態においては、低解像度のサンプリング領域から高解像度ピクセルを再構成する方法を提供する。方法は、ラスタライザからフラグメントを受信する動作を提供する。方法は、複数の明度を取得するために、複数の前のフレームにわたって低解像度のサンプリング領域を有するフラグメントに時間的スーパーサンプリングを適用する動作も含む。ある実施形態によると、方法は、時間的スーパーサンプリングを用いて取得された複数の明度に基づいて、バッファで複数の高解像度ピクセルを再構成する動作も含んでよい。さらに、方法は、ディスプレイに表示するために、複数の高解像度ピクセルをバッファから送信する動作も含む。従って、提供された方法は、通常、高解像度の画像のレンダリングに伴う大量の、時には、法外な量のメモリ使用を必要とすることなく、表示のために送信された高解像度の画像をレンダリングできる。結果として、方法は、より低いメモリ使用を維持しながら、ＶＲシーンに関連する画像解像度を向上させることができる技術的課題への１つの解決法を提供する。

【0006】

別の実施形態においては、グラフィックスシステムは、低解像度のサンプリング領域を含む複数の前のフレームに時間的スーパーサンプリングを適用するためのグラフィックス処理ユニット（ＧＰＵ）を含み、ここで、時間的スーパーサンプリングは、複数の明度を取得する。グラフィックスシステムは、ＧＰＵによってレンダリングされた複数の前のフレームを記憶するためのフレームバッファと、表示バッファとを含み、表示バッファにおいて、複数の高解像度ピクセルが、前のフレームの時間的スーパーサンプリングによって取得された複数の明度に基づいて、再構成される。複数の高解像度ピクセルは、ディスプレイに提示するために構成される。

【0007】

別の実施形態においては、プロセッサベースのシステムによって実行可能なコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体は、ラスタライザからフラグメントを受信するプログラム命令を含み、フラグメントは、低解像度のサンプリング領域と関連付けられている。実施形態は、複数の明度を取得するために複数の前のフレームにわたってフラグメントに時間的スーパーサンプリングを適用するプログラム命令をさらに含む。低解像度のサンプリング領域に関連付けられた複数の高解像度ピクセルをバッファで再構成するためのプログラム命令も実施形態において提供され、複数の高解像度ピクセルは、時間的スーパーサンプリングによって取得された複数の明度に基づく。さらに、実施形態は、ディスプレイに提示するために、複数の高解像度ピクセルをバッファから送信するプログラム命令を提供する。

【0008】

開示の他の態様は、例を挙げて本開示の原理を説明する以下の詳細な記載を、図面と併せて読むことでより明らかになろう。

【図面の簡単な説明】

【0009】

本開示は、添付図面と併せて以下の記載を参照することにより最もよく理解されよう。

【0010】

【図1A】様々な実施形態による、２つの解像度を有する仮想現実（ＶＲ）コンテンツをヘッドマウントディスプレイ（ＨＭＤ）のユーザに提示する図を示す。

【図1B】同上

【0011】

【図2A】ある実施形態による、中心窩領域、中間中心窩領域、及び、周辺領域を有するＶＲコンテンツをＨＭＤユーザに提示する図を示す。

【図2B】同上

【0012】

【図3A】フォービエイテッドレンダリングビューの様々な実施形態を示す。

【図3B】同上

【図3C】同上

【図3D】同上

【図3E】同上

【図3F】同上

【図3G】同上

【図3H】同上

【0013】

【図4】ある実施形態による、フォービエイテッドレンダリングビューによって規定される多重解像度ディスプレイまたは画面と、関連する相対的ピクセルサイズの拡大図とを示す。

【0014】

【図5】幾つかの実施形態による、中心窩領域、中間中心窩領域、及び、周辺領域を有するフォービエイテッドレンダリングビューによって規定される画面と、低解像度の周辺領域に高解像度ピクセルを再構成する概念図とを示す。

【0015】

【図6】様々な実施形態による、バッファに記憶された幾つかのフレームにわたってピクセル再投影を伴う時間的スーパーサンプリングを用いて、低解像度のサンプリングエリアから高解像度ピクセルセットを再構成する概念図を示す。

【0016】

【図7】一実施形態による、高解像度のサンプリング領域を用いて、高解像度ピクセルを出力する概念図を示す。

【0017】

【図8】一実施形態による、低解像度のサンプリング領域を用いて、低解像度ピクセルを出力する概念図を示す。

【0018】

【図9】一実施形態による、時間的スーパーサンプリングを通して低解像度のサンプリング領域を用いて静止した物体に関して高解像度ピクセルを出力する概念図を示す。

【0019】

【図10】一実施形態による、時間的スーパーサンプリングを通して低解像度のサンプリング領域を用いて動的物体に関する高解像度ピクセルを出力する概念図を示す。

【0020】

【図11】規則的なサンプリングパターンを有する時間的スーパーサンプリングを利用することによって、サンプリングに使用された低解像度ピクセルから高解像度ピクセルを生成する概念モデルを示す。

【0021】

【図12】疑似ランダムサンプリングパターンを有する時間的スーパーサンプリングを利用することによって、サンプリングに使用された低解像度ピクセルから高解像度ピクセルを生成する概念モデルを示す。

【0022】

【図13A】１６フレームにわたる時間的スーパーサンプリング中に使用された低解像度のサンプリングエリアから１６個の高解像度ピクセルのセットを再構成する実施形態を示す。

【0023】

【図13B】高解像度ピクセルの数より少ない数のフレームにわたる時間的スーパーサンプリング中に使用された低解像度のサンプリング領域から１６個の高解像度ピクセルのセットを再構成する実施形態を示す。

【0024】

【図14】複数の前のフレームにわたる時間的スーパーサンプリングを通して取得された明度を用いて、低解像度のサンプリング領域から高解像度ピクセルの再構成を可能にする方法の全体のフローを示す。

【0025】

【図15】提示の方法及び／またはシステムと共に使用されてよいヘッドマウントディスプレイ（ＨＭＤ）の追加の実施形態を示す。

【0026】

【図16】本明細書に記載の様々な実施形態を実施するのに使用されてよいコンピューティングシステム１６００の図である。

【発明を実施するための形態】

【0027】

以下の実施形態は、低解像度のサンプリングエリアを時間的スーパーサンプリングすることによって、低解像度のサンプリングエリアに関連付けられたＶＲシーン内の領域の最終的に表示される解像度を高くする方法、コンピュータプログラム、及び、装置を記載する。しかしながら、これらの特定の詳細の一部または全てが無くても、本開示を実践し得ることは当業者には明らかである。他の例においては、周知のプロセスの動作は、本開示を不必要にあいまいにしないために、詳細には記載しなかった。

【0028】

ＨＭＤによって提供される仮想現実（ＶＲ）環境は、消費者がコンテンツとインタラクトするために、また、コンテンツクリエイタがコンテンツを消費者に届けるために、ますます人気のある媒体となっている。さらに、ＶＲシーンは、より複雑になり、より高い解像度で表示されるようになっているので、それに関連して、計算、メモリ、及び、ネットワークのコストも高くなっている。結果として、ＨＭＤを介して表示されるＶＲシーンのコンピュータグラフィックスレンダリング及びアンチエイリアシングの現在の方法を改良することは、計算、メモリ、及び、ネットワークのリソースと、エンドユーザのＶＲ体験との両方に関して利益がある。

【0029】

本明細書に記載の特定のＶＲシーンをレンダリングする計算、メモリ、及び、ネットワークのコスト（及び、関連する待ち時間）を低減する一つの方法は、フォービエイテッドレンダリングビューを用いてＶＲシーンを表示することである。一実施形態によると、フォービエイテッドレンダリングは、他のエリアより高い解像度、品質、詳細度、鮮明さ、フレームレート等で表示されるディスプレイ内のエリアを規定してよい。これらの実施形態及び他の実施形態によると、高い解像度（または、高い品質、詳細度、鮮明さ、フレームレート）を有するエリアは、中心窩領域または中心窩エリアと呼ばれてよく、一般に、ユーザが見ている、または、視線を向けている所と相関する。さらに、高いレベルの解像度を有さないエリアは、周辺領域または周辺エリアと呼ばれてよく、一般に、ユーザが視線を向けていない所と相関してよい。従って、フォービエイテッドレンダリングビュー及び／またはシステムは、ユーザ体験に悪影響を及ぼさずに、ＶＲシーンのレンダリングに関連する計算、メモリ、及び、ネットワークのコストを低減できる技術的課題に対する１つの解決法を表す。

【0030】

低解像度でレンダリングされた領域（例えば、周辺領域）に関しては、この低解像度エリアをレンダリングするためにメモリに記憶する必要のあるピクセル量及び／またはフラグメントデータは、それに対応して低減される。例えば、シーン内の所与のエリアの解像度が、４分の１に低減される場合、シーン内のそのエリアの各ビデオフレームのピクセルデータの記憶に必要なメモリ量は、それに比例して、約４分の１に低減される。ある実施形態によると、低解像度でレンダリングされる領域（例えば、周辺領域）は、これらの領域が少ない頻度でサンプリングされるので、アンダーサンプリング領域としても知られてよい。

【0031】

上記のように、所与のシーンに関して各ビデオフレームのレンダリングに使用されるメモリ量を低減することは、メモリ速度が一般的に中央処理ユニット（ＣＰＵ）またはグラフィックス処理ユニット（ＧＰＵ）等のプロセッサの速度に追いつかないので、ＶＲシステムにとって有益である。従って、メモリ使用を低く抑えることによって、また、コヒーレントメモリアクセスを維持することによって、フォービエイテッドレンダリングビュー内の周辺領域（複数可）の解像度を低減することは、既存のＶＲシステムにとっての１つの改良である。例えば、本明細書に記載のフォービエイテッドレンダリングシステムから生じる改良点の１つは、インタラクティブなＶＲシーンのレンダリングに関する待ち時間またはラグの改善を含んでよく、これは、現在、平均的なＨＭＤユーザが気付き得る。

【0032】

しかしながら、所与のコンピュータ生成シーンに関して解像度が低下すると、低解像度によるアーチファクトの頻度及び程度が、ギザギザの縁または線（「ジャギー」）、ピクセル化、及び、他の視覚的アーチファクトの形で増加し得る。これらの低解像度領域がフォービエイテッドレンダリングビュー内の周辺領域（例えば、ユーザの周辺視野）に限られる場合でさえ、ＨＭＤユーザは、これらの領域の解像度の低下によるある種のエイリアシングを依然として識別できる。人間の周辺視野は、一般的に中心視覚よりも解像度が低いが、それにもかかわらず、ある種の視覚的な不一致またはパターンの検出に敏感であることは、関連分野で既知である。例えば、解像度を十分に低下させる場合、ユーザの周辺視野は、ピクセル化された領域、ギザギザの縁、ちらつき、及び、他の形態のエイリアシングもしくはアーチファクトの存在または出現を検出できる。従って、ディスプレイの周辺領域において比較的低解像度のレンダリングを行うことによって達成されるようにメモリ使用を低く抑えながら、フォービエイテッドレンダリングシステム及び／またはビュー内の低解像度領域に関連するエイリアシングも低減するという両方のニーズがある。

【0033】

本明細書に記載のシステム、方法、及び、装置は、低解像度領域に関連するメモリ使用量の低減を維持しながら、これらの低解像度領域のピクセル化及びエイリアシングの程度を低減するフォービエイテッドレンダリングシステム及び／またはビューを可能にする。一実施形態においては、システムまたは方法は、低解像度のサンプリング領域に対して時間的スーパーサンプリングを使用して、特定の数の過去のフレームにわたって低解像度ピクセル内の異なる位置でサンプリングを行って、表示のために高解像度ピクセルを作成する。時間的スーパーサンプリングは、時間によって分割された幾つかのフレームからサンプリングされる幾つかのピクセル値を記録する。幾つかの実施形態によると、（例えば、ビデオＲＡＭ内）の１つのバッファを使用して、これらのピクセル値を経時的に蓄積してよいことに注意されたい。これらの実施形態は、データの複数のバッファ（フレーム）を維持する必要が無いという長所を有する。従って、低解像度のサンプリングエリア（例えば、アンダーサンプリング領域、または、周辺領域）に時間的スーパーサンプリングを使用することは、例えば、メモリ使用の大幅な増加を必要とせずに、低解像度エリアのピクセル化及びエイリアシングの問題を解決するのに実施し得る１つの技術的解決法を提供する。

【0034】

幾つかの実施形態に関して、中心窩領域は、ディスプレイに対して固定または静止していてよい。このような実施形態においては、中心窩領域は、画面またはディスプレイの中心に向かって位置してよい。他の実施形態においては、中心窩領域は、画面またはディスプレイに対して動的に配置されてよい。例えば、幾つかの実施形態においては、中心窩領域は、所定の方法で、または、ソフトウェアによってプログラムされるように、ディスプレイまたは画面内で移動するように規定されてよい。他の実施形態においては、動的な中心窩領域は、ユーザの注視点（ＰＯＧ）または視線の方向を追跡またはそれに従ってよい。結果として、ユーザのＰＯＧに対応するディスプレイ内のエリアは、ユーザの視覚体験を必ずしも損なうことなく、ユーザのＰＯＧから離れたエリアよりも高い品質、詳細度、及び／または、鮮明さで、レンダリングされてよい。

【0035】

幾つかの実施形態においては、周辺領域は、中心窩領域が位置しない所という観点から、画面またはディスプレイ内に、フォービエイテッドレンダリングによって規定される。例えば、中心窩領域が、ディスプレイの中心に向かって位置する場合、周辺領域（複数可）は、ディスプレイの周辺（または、少なくともその一部）に向かうディスプレイの残りの部分を占めることになる。中心窩領域がディスプレイの異なる領域の方に移動する場合、周辺領域（複数可）は、中心窩領域が現在占めているディスプレイの残りを埋めることになる。

【0036】

図１Ａ及び図１Ｂは、ＨＭＤユーザ１０１が２つの解像度Ｒ_１及びＲ_２を有するＶＲ環境１０４内の仮想現実（ＶＲ）コンテンツを提示されていることを示す。図１Ａに示す実施形態によると、ＨＭＤユーザ１０１は、ほぼまっすぐ前に向いた視線１０２を有することが示されている。すなわち、ＨＭＤユーザ１０１は、水平方向に３６０度を含み得るＶＲ環境１０４内をまっすぐ見ていることが示されている。

【0037】

図１Ａ及び図１Ｂに示す実施形態によると、ＨＭＤユーザ１０１の視線は、ＨＭＤユーザ１０１が着用しているＨＭＤ／コンピューティングシステム１０３内にある視線方向検出構成要素（図示せず）によって追跡されている。幾つかの実施形態においては、視線情報は、ユーザの眼の画像を撮影するＨＭＤ内にあるカメラを用いて取得されてよい。次に、画像を分析して、ユーザの注視点または視線の方向（例えば、ユーザが現在、見ている所）を決定してよい。結果として、ＨＭＤユーザ１０１の視線１０２に関するリアルタイムの情報を有するＨＭＤ／コンピューティングシステム１０３は、ＨＭＤユーザ１０１の視線１０２と整列した中心窩領域１０６を提供できる。例えば、中心窩領域１０６は、ＨＭＤユーザ１０１に対してＨＭＤユーザ１０１の視線１０２と類似した方向にあるＶＲ環境１０４内に配置されることが示されている。さらに、中心窩領域１０６は、Ｒ_１の解像度を有することが示されている。

【0038】

図１Ａには、周辺領域１０８も示されている。上記のように、周辺領域１０８は、幾つかの実施形態によると、中心窩領域と一致しないディスプレイまたは視野内の領域としてフォービエイテッドレンダリング方法またはシステムによって規定されてよい。例えば、周辺領域（複数可）は、中心窩領域の外側にあってよい。または、中心窩領域を取り囲んでよい。または、中心窩領域と関連付けられていないディスプレイの残りの空間／ピクセルを埋めてよい。さらに、中心窩でない領域は、中心窩より低い解像度、品質、詳細度、鮮明さ、フレームレート等によって規定されてよい。

【0039】

従って、ある実施形態によると、周辺領域１０８は、ＨＭＤユーザ１０１に表示されるが、ＨＭＤ／コンピューティングデバイス１０３が検出するＨＭＤユーザ１０１の視線１０２に対応していないＶＲ環境１０４の領域を含んでよい。結果として、周辺領域１０８は、解像度Ｒ_１とは異なる解像度Ｒ_２でＨＭＤユーザ１０１に表示されてよい。

【0040】

幾つかの実施形態によると、所与のＶＲシーンに関して、解像度Ｒ_１は、Ｒ_２より高くてよい。これらの実施形態においては、中心窩領域１０６は、ＨＭＤユーザ１０１の視覚的体験を必ずしも損なうことなく、周辺領域１０８より高い解像度のレンダリングを提供されてよい。一般的には、人間の視覚系は、人間の注視点に対して水平方向に約５度、垂直方向に約５度に関連付けられた領域内でのみ、より細部まで認識できる。視野のこの領域は、網膜内の中心窩と呼ばれる領域に投影される。ユーザの中心方向または注視点からの角距離が増加すると、視力（例えば、細部を認識する能力）は急激に低下する。この生理現象を本明細書では中心窩固視（ｆｏｖｅａｔｉｏｎ）と呼ぶ。

【0041】

フォービエイテッドレンダリングは、１つまたは複数の領域（例えば、中心窩領域）を他の領域より高い解像度レベル、詳細度、テクスチャレベル、及び／または、鮮明さレベルによって規定する表示のためのグラフィックスのレンダリング、ポストレンダリング、及び／または、処理の構成、フォーマット、及び、パラダイムを提供することによって、中心窩固視の現象を活用する。幾つかの実施形態によると、中心窩領域は、ユーザが現在見ている、または、見ると予測されるディスプレイの領域に対応するように構成される。他の実施形態においては、中心窩領域は、静止した状態で、ユーザがかなり長い時間、見ているディスプレイの中心領域に配置されてよい。また、上記のように、フォービエイテッドレンダリングは、ユーザが注視していないまたは注視すると予測されないディスプレイの領域に対応する周辺領域（複数可）を規定してよい。

【0042】

本明細書で企図された実施形態は、フォービエイテッドレンダリング表示設定を使用して、ユーザの中心窩固視（例えば、ユーザの中心窩上に投影する視線の中心及びそれを囲む域）下の視野に関連付けられたディスプレイの領域内に、より高い品質（例えば、解像度、詳細度（ＬＯＤ）、鮮明さ、フレームレート）のコンテンツをレンダリング及び／または表示することによって、中心窩固視の生理現象を利用することができる。さらに、本明細書で企図された実施形態はユーザの視線の中心に関連付けられていないディスプレイの領域（例えば、ユーザの周辺視野域）に低い品質を有するコンテンツを表示することができる。結果として、全ディスプレイまたは画面に最大品質またはフル解像度でレンダリングすることに比較して、フォービエイテッドレンダリング下では、所与のシーンの一部のみが、高品質または高解像度で表示されるようにレンダリング及び／または処理されてよい。

【0043】

フォービエイテッドレンダリングの技術的利点の１つは、ディスプレイ全体（例えば、ディスプレイ上の全てのピクセル）に最大品質（例えば、高い解像度、鮮明さ、詳細度、フレームレート等）で所与のシーンをレンダリング及び届けることに関連する計算及びビデオ送信のコストを低減する能力である。ビデオ送信コストは、有線システム（例えば、高精細マルチメディアインタフェース（ＨＭＤ）及び／またはディスプレイポートの実施形態）と無線システムの両方の場合に存在する。高い解像度及び／または品質で、全ディスプレイの一部（例えば、２０〜５０％、５〜７５％、２５〜４０％）をレンダリングすることによって、計算リソース（例えば、ＧＰＵ、ＣＰＵ、クラウドコンピューティングのリソース）及び（例えば、コンピューティングデバイスからＨＭＤ、または、ＨＭＤからコンピューティングデバイスへデータを送信する、及び／または、一体化したＨＭＤ／コンピューティングデバイスからリモートサーバにデータを送信する）ビデオ送信リソースを低減してよく、そのリソースを他の用途に割り当ててよい。

【0044】

他の実施形態によると、ＨＭＤ／コンピューティングデバイスに関連付けられたＧＰＵが、所与のシーンに関してフル解像度のビデオフレームを計算する場合でさえ、フォービエイテッドレンダリング方法及び／またはシステムは、ＨＭＤにシーンを表示するために必要なデータ量の低減を可能にし得る。例えば、ＧＰＵが、ＨＭＤに無線で接続されたコンピューティングデバイスに関連付けられている場合、本明細書に記載のフォービエイテッドレンダリング方法及び／またはシステムは、シーンのある領域を提示するためにコンピューティングデバイスからＨＭＤに送信される無線データの量の低減を可能にしてよい。

【0045】

図１Ａに示す実施形態によると、中心窩領域１０６は、表示された、または、視聴可能な全エリアの約３０％を表す。中心窩領域１０６は、明瞭にするために長方形で示しているが、中心窩領域１０６は、実施形態の趣旨及び範囲を逸脱せずに、任意の数の形をとってよいことに注意されたい。図３Ａ〜３Ｆを参照して企図した実施形態の一部を以下に記載する。ここでも、中心窩領域１０６は、表示可能または視聴可能な全エリアの３０％を表すとして示されているが、中心窩領域１０６は、他の実施形態においては、表示可能または視聴可能な全エリアの５％から７５％の間のどこであってもよい。

【0046】

一実施形態においては、ＶＲシーンの少なくともある期間、周辺領域１０８は、中心窩領域１０６の解像度Ｒ_１より低い解像度Ｒ_２を有してよいと企図されている。例えば、Ｒ_１が１９２０ｘ１０８０ピクセル（例えば、１０８０ｐ）に相当する場合、Ｒ_２は、９６０ｘ５４０ピクセル（例えば、５４０ｐ）、または、縦のピクセル数の約半分と横のピクセル数の約半分に相当してよい。結果として、１０８０（ｐ）の解像度Ｒ_１を有する中心窩領域１０６は、約２．０７４メガピクセルに相当する画像解像度に関連付けられてよい。対照的に、５４０（ｐ）の解像度Ｒ_２を有する周辺領域１０８は、約０．５１８メガピクセルに相当する画像解像度に関連付けられてよく、解像度Ｒ_１に対して約０．２５倍の画像解像度の違いを示す。

【0047】

他の実施形態によると、中心窩領域１０６は、３８４０ｘ２１６０ｐ（４Ｋ ＵＨＤ）の解像度Ｒ_１に関連付けられてよく、周辺領域１０８は、４Ｋ ＵＨＤより低い解像度Ｒ_２、例えば、１０８０（ｐ）、５４０（ｐ）、３６０（ｐ）、２４０（ｐ）等に関連付けられてよいと企図される。本明細書に提示された方法及びシステムによる他の実施形態で使用されてよい任意の数の他の解像度がある。制限ではない例として、中心窩領域１０６は、２１６０ｘ１２００（または、片方の眼毎に１０８０ｘ１２００）、１２８０ｘ７２０（ＨＤ）、１６００ｘ９００（ＨＤ＋）、１９２０ｘ１０８０（ＦＨＤ）、２５６０ｘ１４４０（（Ｗ）ＱＨＤ）、３２００ｘ１８００（ＱＨＤ＋）、３８４０ｘ２１６０（４Ｋ ＵＨＤ）、５１２０ｘ２８８０（５Ｋ ＵＨＤ＋）、７６８０ｘ４３２０（８Ｋ ＵＨＤ）、１６Ｋ等の解像度を特徴とする解像度Ｒ_１を有してよいと企図される。本明細書に記載する解像度の例は、範囲を定めるものでも網羅的なものでもなく、単に、ある実施形態で使用されてよいある標準を説明するために提供されている。

【0048】

ある実施形態によると、解像度Ｒ_２は、Ｒ_１より低い任意の解像度であることを特徴としてよい。制限ではない例として、Ｒ_２は、３２０ｘ２４０（２４０ｐ）、６４０ｘ３６０（ｎＨＤ、３６０ｐ）、９６０ｘ５４０（ｑＨＤ、５４０ｐ）、１２８０ｘ７２０（ＨＤ、７２０ｐ）、１６００ｘ９００（ＨＤ＋）等の解像度であることを特徴としてよい。Ｒ_１及びＲ_２は、様々な実施形態に応じて、ＶＲシーンの途中で、及び／または、異なるＶＲシーン間で変化してよいことが企図されている。ここでも、記載されている解像度は、単に例のためであって、様々な実施形態で実施されてよい様々な他の解像度を、標準的なものもそうでないものも、制限はしない。

【0049】

図１Ｂは、ＨＭＤユーザ１０１が、ＶＲ環境１０４内の周辺領域１１４の左手上部の隅に向かって視線１１０を向けているのを示している。幾つかの実施形態によると、視線１１０は、ＨＭＤ／コンピューティングデバイス１０３によって検出され、ＨＭＤ／コンピューティングデバイス１０３は、次に、視線１１０に対応する位置にＶＲ環境内の中心窩領域１１２を提供できる。すなわち、視線１１０が、ＨＭＤ／コンピューティングデバイス１０３によってリアルタイムで追跡され、結果として、ＨＭＤ／コンピューティングデバイス１０３は、中心窩領域１１２が視線１１０に関連付けられた視線の中心と同じ方向にあるように、ＶＲ環境をフォービエイトする場所を決定できる。従って、図１Ａの視線１０２と図１Ｂの視線１１０との間の変化を自然に追跡またはたどる図１Ａの中心窩領域１０６の位置から図１Ｂの中心窩領域１１２に関連付けられた新しい位置への遷移がある。

【0050】

ユーザの視線の方向を追跡する動的中心窩領域を有するある実施形態を示したが、他の実施形態は、ユーザの視線の方向を追跡しない固定した中心窩領域を含んでよい。

【0051】

図２Ａは、ＨＭＤユーザ１０１が、中心窩領域２０４、中間中心窩領域２０６、及び、周辺領域２０８を有するＶＲ環境２１０内にＶＲコンテンツを提示されていることを示す。幾つかの実施形態は、中間中心窩領域２０６の解像度Ｒ_２より大きい解像度Ｒ_１を有する中心窩領域２０４を有してよいと企図されている。さらに、幾つかの実施形態によると、解像度Ｒ_２は周辺領域２０８の解像度Ｒ_３より高いと企図されている。また、図１Ａ及び１Ｂに示す実施形態と同様、中心窩領域２０４は、ＨＭＤユーザ１０１の瞬間的な視線２０２に一致するＶＲ環境２１０内の領域を示すとして図２Ａに示されている。しかしながら、上記のように、他の実施形態は、中心窩領域２０４及び中間中心窩領域２０６がディスプレイエリアに対して固定されており、ユーザの視線の方向を追跡する必要が無いフォービエイテッドレンダリングを実施してよい。

【0052】

図２Ａに示す実施形態によると、中間中心窩領域２０６は、一般に、ＶＲ環境２１０内で中心窩領域２０４が占める領域を囲む。結果として、中間中心窩領域２０６は、中心視線から約５度から約６０度離れた角距離（偏心度）に関連付けられたＶＲ環境２１０内の領域に一致し得る。視野のこの空間（例えば、中間中心窩領域）と関連付けられた視力は、周辺領域（中心窩領域の視力より低いが、視線方向の中心に対して約６０度より大きい偏心度を有する）の視力よりは高くてよい。結果として、本明細書に記載の方法及びシステムは、中心窩領域２０４の解像度と周辺領域２０８の解像度の間の解像度を有する中間中心窩領域２０６を提供できる。

【0053】

一実施形態によると、中心窩領域２０４は、１０８０ｐを特徴とする解像度Ｒ_１を有してよく、中間中心窩領域２０６は、７２０ｐを特徴とする解像度Ｒ_２を有してよく、周辺領域２０８は、５４０ｐを特徴とする。これらの解像度は、例に過ぎず、中心窩領域２０４が、例えば、４Ｋ、８Ｋ、１６Ｋ等のより高い解像度であってよいことが想定される。これらの他の実施形態において、中間中心窩領域２０６は、中心窩領域２０４の解像度より低い解像度を有してよく、周辺領域２０８は、中間中心窩領域２０６の解像度より低い解像度を有する。

【0054】

中間中心窩領域２０６は、中心窩領域２０４と周辺領域２０８との間のＶＲ環境２１０内の空間を占めることも企図されている。中間中心窩領域２０６と周辺領域２０８とは、ＨＭＤユーザ１０１の視線２０２を追跡もしくは視線２０２に従う、または、ＶＲ環境２１０内の中心窩領域２０４を追跡するもしくは中心窩領域２０４に従うことも企図されている。すなわち、中間中心窩領域２０４及び周辺領域２０８は、リアルタイムで中心窩領域２０４と共に移動するように、または、中心窩領域２０４と共に移動して見えるように、ＶＲ環境２１０内で位置を変えることもできる。

【0055】

図２Ｂは、ＨＭＤユーザ１０１が、図２Ａのほぼまっすぐ前を向いた視線２０２から、ＶＲ環境２１０の左手上部の隅に向けられた視線２０３に変わったことを示す。幾つかの実施形態によると、視線２０３は、視線検出を用いてＨＭＤ／コンピューティングシステム１０３によって追跡され、結果として、ＨＭＤ／コンピューティングシステム１０３は、視線２０３が向けられているのと類似した方向に中心窩領域２１２を配置できる。ＨＭＤ／コンピューティングシステム１０３は、中心窩領域２１２が占める領域を取り囲むＶＲ環境２１０内の位置に、中間中心窩領域２１４を提供することもできる。

【0056】

上記のように、中心窩領域２１２は、ＨＭＤユーザ１０１の視野の約５〜７５％、または、ＶＲ環境２１０内の表示可能な全空間の５〜７５％に対応するように構成されてよい。さらに、中間中心窩領域２１４は、様々な実施形態に応じて、例えば、ＨＭＤユーザ１０１の視野の他の約５〜５０％、または、ＶＲ環境２１０の視聴可能な全エリアの約５〜５０％に対応してよい。周辺領域２１６は、結果として、全視野、及び／または、視聴可能なエリアの全エリアの４０〜９０％の間のどこにでも対応してよい。しかしながら、中心窩領域２１２、中間中心窩領域２１４、及び、周辺領域２１６のそれぞれに割り当てられた視野、及び／または、ＶＲ環境２１０の視聴可能なエリアの割合は、様々な実施形態に応じて、ＶＲシーン内で、または、異なるＶＲシーン間で変わってよいと企図されている。

【0057】

図３Ａ〜３Ｈは、フォービエイテッドレンダリングビューの様々な実施形態を示す。例えば、図３Ａは、円形の境界線を特徴とする中心窩領域を有するフォービエイテッドレンダリング表示を示す。図３Ｂは、本明細書に記載の方法及びシステムと共に使用されてよい、楕円形または長楕円形または卵形を特徴とする中心窩領域を有するフォービエイテッドレンダリングビューを示す。さらに、図３Ｃは、中心窩領域が丸い角部を有する長方形であるフォービエイテッドレンダリング構成の実施形態を示す。

【0058】

図３Ｄ及び３Ｅは、円形の中心窩領域を有するフォービエイテッドレンダリングビューの実施形態を示す。図３Ｄは、さらに、中心窩領域の外側で、中心窩領域と周辺領域（複数可）との間にある、同じく円形の中間中心窩領域を示す、さらに、図３Ｅは、入れ子状態に配置された２つの中間中心窩領域を示す。一般的に、様々な実施形態と共に任意の数の中間中心窩領域を利用してよく、各連続した中間中心窩領域は、中心窩領域から離れるほど、その領域に関連付けられた品質（例えば、解像度、鮮明さ、詳細度、フレームレート、リフレッシュ速度）が漸進的に低下すると企図されている。中間中心窩領域は、フォービエイテッドレンダリング表示内で所与の中心窩領域と類似の形に示されているが、この類似性は、他の実施形態においては、そうである必要はないと企図されている。例えば、図３Ｄ及び３Ｅの中間中心窩領域は、円形以外の形を特徴としてよい。

【0059】

図３Ｆは、ボックスで区切られた動的中心窩領域を有するフォービエイテッドレンダリングビュー及び／または表示の実施形態を示す。これらの実施形態及び他の実施形態においては、ユーザの視線が、境界ボックスを特徴とする一定のエリア内にある限り、中心窩領域が、ＨＭＤユーザの視線方向と一致する表示及び／またはビューのエリア内に示されるように、中心窩領域はユーザの視線を追跡してよい。結果として、中心窩領域は、境界ボックスの外にユーザの視線が移動するまで、視線を追跡してよい。幾つかの実施形態によると、中心窩領域は、境界ボックスの外側にある視線を、他の位置より視線に近いと判断される境界ボックス内の位置に変えることによって、依然として追跡するように試みてよい。当然、図３Ａ〜３Ｆに示す幾何学的形状及び形状は、例示を目的としており、制限のためではない。例えば、本明細書に記載の方法及びシステムによると、正方形、台形、菱形、及び、他の多角形を含む、任意の数の他の形状または境界を使用して、中心窩領域及び／または中間中心窩領域を規定してよい。

【0060】

一般的には、図３Ａ〜３Ｅに示す各実施形態は、表示及び／またはビューに対して「固定」された中心窩領域、または、各フォービエイテッドレンダリングビュー及び／または表示を見ている時、ユーザの視線を動的に追跡する中心窩領域を有してよい。例えば、ある種のＶＲコンテンツに関しては、ＨＭＤユーザは、ＶＲセッションの大半の間、まっすぐ前を向いていると予測される場合があり得る。結果として、ある実施形態は、ＶＲ環境の表示及び／またはビューに対して固定のフォービエイテッドレンダリングビュー及び／または表示を使用してよい。

【0061】

図３Ｇは、本明細書に記載の方法及びシステムによる、フォービエイテッドレンダリングを用いて生成されたＶＲシーン３００を示す。フォービエイテッドレンダリングは、中心窩領域３０２と、幾つかの中間中心窩領域３０４〜３１０を生成する。中間中心窩領域３０４〜３１０の数は、図３Ｇにおいては、任意であり、各中間中心窩領域は、中間中心窩領域が中心窩領域から離れて表示されるほど連続的に解像度が低下する。例えば、中間中心窩領域３０６は、１から１００の間の数の追加の中間中心窩領域を含んでよい。

【0062】

図３Ｈは、表示領域の解像度と、表示領域の中心窩領域または注視点からの距離との様々な例示的な関係を記載する。例えば、曲線３１２は、中心窩領域と周辺領域とのみを有するフォービエイテッドレンダリング表示を表してよい。曲線３１４は、解像度と中心窩領域からの距離との間に放物線状の関係を有するフォービエイテッドレンダリング表示を表す。曲線３１６は、中心窩領域からの距離が増加するほど解像度が低下するステップ関数を表す。さらに、曲線３１８は、解像度と中心窩領域からの距離との間に、線形の関係、曲線３２０は、Ｓ字形の関係を表す。結果として、本明細書で企図されるフォービエイテッドレンダリングシステムは、各中間中心窩領域が、さらに、中心窩領域から除かれるので、様々な解像度を有する任意の数の中間中心窩領域をレンダリングすることができる。

【0063】

図４は、ある実施形態による、フォービエイテッドレンダリングビュー４００によって規定されるディスプレイまたは画面と、関連する相対的ピクセルサイズの拡大図４０８とを示す。例えば、フォービエイテッドレンダリングビュー４００は、解像度Ｒ_１を有する中心窩領域４０２と、解像度Ｒ_２を有する中間中心窩領域４０４と、解像度Ｒ_３を有する周辺領域４０６とを含むとして示されている。各領域４０２、４０４、及び、４０６の解像度は、一般的に、解像度Ｒ_１＞Ｒ_２＞Ｒ_３の関係を有するが、他の関係も可能であると企図されている。

【0064】

３つの領域４０２〜４０６の拡大図４０８は、中心窩領域のピクセル４１０、中間中心窩領域のピクセル４１２、及び、周辺領域のピクセル４１０の相対的なピクセルサイズを含むことを示している。上記のように、中心窩領域４０２の解像度Ｒ_１は、中間領域４０４の解像度Ｒ_２より高くてよく、結果として、中心窩領域のピクセル４１０は、中間中心窩領域のピクセル４１２よりサイズが小さくなる。図４の実施形態においては、ほんの一例として、中間領域のピクセル４１２は、領域のピクセル４１０の約４倍のサイズであると示されている。すなわち、中間中心窩領域のピクセル４１２は、中心窩領域のピクセル４１０の４個と同じ量の画面／ディスプレイエリアを占めてよい、または、埋めてよい。従って、例えば、中心窩領域のピクセル４１０が、ネイティブ解像度のピクセルに対応する場合、中間領域の各ピクセル４１２は、ネイティブピクセルの４個に関連付けられてよい。

【0065】

幾つかの実施形態によると、中間領域のピクセル４１２が、２つ以上（例えば、４、９、１６、または、任意の他の数）のネイティブ／物理的ピクセルを含み得る、または、関連付けられ得る場合でさえ、中間領域のピクセル４１２は、依然として、レンダリングプロセスの少なくとも一部に関して、グラフィックスパイプラインによって１つのピクセルとして扱われるので、１つの（より解像度の低い）ピクセルと呼ばれてよい。例えば、ＶＲシステムのグラフィックスパイプラインは、レンダリングするフレーム毎のピクセル４１２に関して１つの明度のみを記憶してよい。ＶＲシステムが、その後、ピクセル４１２の表示に進むと、ピクセル４１２の記憶された明度を、４つのネイティブピクセルのそれぞれに、マッピングまたは投影してよい。結果として、「低解像度ピクセル」または「大きいピクセル」は、レンダリングされたフレーム毎に１つの明度のみと関連付けられることによって（例えば、グラフィックスパイプラインによって）１つのピクセルとして扱われるが、最終的には、（ＨＭＤに関連付けられた）ディスプレイ上で２つ以上のネイティブまたは物理的ピクセルにマッピングまたは投影する最終的なビューの要素を指して本明細書では使用されてよい。

【0066】

図４には周辺ピクセル４１４がさらに描画されており、周辺ピクセル４１４は、中間ピクセル４１２よりさらに低い解像度であることが示されている。例えば、周辺ピクセル４１４は、中間ピクセル４１２のサイズの４倍、中心窩ピクセル４１０のサイズの１６倍で示されている。結果として、周辺ピクセル４１４は、１６個のネイティブピクセルを含んでよく、中心窩ピクセル４１４は、２つ以上のピクセルに投影しながら、フレーム毎に記憶された１つの明度のみを有する１つのピクセルとして扱われるので、低解像度ピクセルまたは大きいピクセルと考えられてもよい。

【0067】

図５は、中心窩領域と周辺領域とを有するフォービエイテッドレンダリングビューによって規定される代表的なディスプレイ５００を示す。中心窩領域は、ディスプレイ５００のネイティブピクセルに対応し得る代表的なピクセル配列５０２を含むことが示されている。周辺領域（複数可）は、例えば、それぞれ、４つのネイティブピクセルに関連付けられてよい低解像度ピクセル５０４の配列を含むことが示されている。図示の実施形態によると、フレームＮの高解像度の各ピクセル５０６ａ、５０６ｂ、５０６ｃ、及び、５０６ｄは、時間バッファ５１０に記憶されたフレームＮの対応するピクセルデータ５０８ａ、５０８ｂ、５０８ｃ、及び、５０８ｄから描画される。

【0068】

本明細書に記載の実施形態のある態様は、時間バッファに記憶された低解像度ピクセルデータからの低解像度ピクセルに関連付けられたピクセルを描画することによって、「低解像度の」ピクセルを高解像度でレンダリングすることを可能にする。例えば、低解像度ピクセル５１２は、ネイティブピクセル５１４ａ、５１４ｂ、５１４ｃ、及び、５１４ｄを含むとして示されており、各ネイティブピクセルは、異なるフレームに対して記憶された低解像度ピクセル値から描画される。詳細には、ネイティブピクセル５１４ａは、ピクセルデータ５１６ａから描画され、ピクセルデータ５１６ａは、低解像度ピクセルの上部左隅におけるジッタリング及びサンプリングによって取得されたフレームＮの低解像度ピクセル５１２のピクセル値である。

【0069】

ネイティブピクセル５１４ｂは、ピクセルデータ５１６ｂから描画されることが示されており、ピクセルデータ５１６ｂは、同じ低解像度ピクセル５１２であるが、前のフレーム（Ｎ−１）の異なるジッタリングされた位置（例えば、右上隅）からのピクセル値を含む。さらに、ネイティブピクセル５１４ｃは、ピクセルデータ５１６ｃから描画され、ピクセルデータ５１６ｃは、フレームＮ−２の異なるジッタ位置（例えば、左下隅）から取得されたピクセル値を含む。さらに、ネイティブピクセル５１４ｂは、フレームＮ−３の右下のジッタリングされた位置でサンプリングされたピクセル値を含むピクセルデータ５１６ｄから描画されることが示されている。

【0070】

結果として、各フレームに対して記憶することが必要なピクセル値の数を必ずしも増やすこと無く、ジッタリングされた前のフレームの時間バッファに記憶されたピクセルデータ５１６ａ〜５１６ｄに従ってネイティブピクセル５１４ａ〜５１４ｄを描画することによって、高解像度の表示出力が、低解像度ピクセル５１２に関して達成されてよい。例えば、低解像度ピクセル５１２のフレームＮ、Ｎ−１、Ｎ−２、及び、Ｎ−３のそれぞれに対して記憶された明度が１つだけある。対照的に、フレームＮの高解像度ピクセル５０６ａ〜５０６ｄのグループ１つに対して記憶された４つのピクセル値（そして、おそらく、フレームＮ−１、Ｎ−２、及び、Ｎ−３のそれぞれに対して４つ以上のピクセル値等）がある。

【0071】

すなわち、４つの高解像度ピクセル５０６ａ〜５０６ｄのグループに対して、フレーム毎に必要なピクセル値の数は、４つのピクセル値である。対照的に、低解像度ピクセル５１２に関連付けられた４つのピクセル５１４ａ〜５１４ｄのグループは、高解像度ピクセル５０６ａ〜５０６ｄのグループと「同じ解像度」であるが、１つのピクセル値または色が時間バッファにフレーム毎に記憶されることだけを必要とする。従って、本明細書に記載の実施形態は、フレーム毎に時間バッファ５１０に記憶されたピクセル値の数を増やす必要無く（例えば、メモリ使用量を増やすこと無く）低解像度ピクセル領域に高解像度ピクセルを表示及び／または構築することを可能にする。ある実施形態によると、時間バッファに記憶された時間で規定された低解像度ピクセルデータからネイティブピクセル５１４ａ〜５１４ｄを描画するプロセスは、時間的スーパーサンプリングを利用して、低解像度ピクセルの異なる位置をサンプリングしてよい。

【0072】

図６は、様々な実施形態による、低解像度ピクセル６００の時間的スーパーサンプリング６０１と、低解像度ピクセル６００の時間的スーパーサンプリング履歴からのピクセル再投影とを用いて、低解像度ピクセル６００から高解像度ピクセルセットを作成する概念図を示す。例えば、低解像度ピクセル６００は、４つの高解像度ピクセルに対応する４つの領域に格子状に区切られるとして示されている。物体６０２の時間的スーパーサンプリング６０１中、低解像度ピクセル６００は、４つのフレームＮ、Ｎ−１、Ｎ−２、及び、Ｎ−３のそれぞれに関して異なる位置でサンプリングされるのが示されている。明瞭にするために、図示の実施形態において、サンプリング位置は、低解像度ピクセル６００の各格子領域の中心となっている。

【0073】

様々な実施形態によると、物体６０２のサンプリングされたピクセル６０４は、フレームＮの低解像度ピクセル６００の左上領域内にサンプル位置を有し、フレームＮは、メモリに記憶され、後に対応する高解像度ピクセル６１２に投影されるピクセル値を戻す。従って、図示の実施形態によると、物体６０２のサンプリングされたピクセル６０４は、背景色（例えば、白）に対応するピクセル値を戻してよい。同様に、フレームＮ−１のサンプリングされたピクセル６０６は、物体６０２の色に対応する明度を戻してよい。結果として、関連付けられたグラフィックスパイプラインは、サンプリングされた明度（例えば、図に示す灰色）を右上の高解像度ピクセル６１４に投影してよい。同じプロセスが、フレームＮ−２及びＮ−３に対して繰り返されてよく、ここで、サンプリングされたピクセル６０８は、サンプリングされた各明度を左下の高解像度ピクセル６１６に投影するようになされ、サンプリングされたピクセル６１０は、サンプリングされた各明度を右下の高解像度ピクセル６１８に投影するように構成される。

【0074】

ある実施形態によると、サンプリングされたピクセル６０４〜６１０からサンプリングされたピクセル値の投影は、ジッタサンプリング位置と、サンプリングされた位置に対応する画面座標またはピクセル座標とに関する情報を有することによって可能になる。例えば、本明細書に記載の実施形態に対応したＶＲシステムのグラフィックスパイプラインは、所与のサンプル位置のジッタに関する情報と、対応する画面座標またはピクセル座標に関する情報とに基づいて、サンプリングされた各明度をどこに投影するかを決定してよい。

【0075】

一実施形態においては、時間的アンチエイリアシング再投影を使用して、図６に示す再投影を行ってよい。例えば、ある実施形態においては、以下の例示の方程式を使用してよい。

【0076】

世界空間位置＝現在のビュー投影の逆数＊画面位置 （１）

【0077】

前の画面位置＝現在のビュー投影＊世界空間位置 （２）

【0078】

ｕｖ＝１／２＊（前の画面位置．ｘｙ／現在の画面位置．ｗ）＋１／２ （３）

【0079】

ある実施形態によると、上記方程式（１）〜（３）を使用して、時間バッファに記憶された前のフレームをサンプリングしてよい。例えば、方程式（１）は、現在のピクセルを世界空間に戻すマッピングを可能にする。方程式（２）は、前のフレームのカメラ（ビュー投影行列）を使用して、その位置を前のフレームに投影し、方程式（３）は、前の画面位置を時間バッファの前のフレームのサンプリングに使用し得るｕｖ座標に変換する。結果として、関連するグラフィックスパイプラインは、前のフレーム（例えば、フレームＮ−１、Ｎ−２、Ｎ−３等）のサンプルすべき箇所を知る。例えば、図６の破線は、前の各フレームに関してサンプリングすべき位置を決定するために導出したｕｖ座標を用いた再投影を表してよい。詳細には、再投影６２０は、フレームＮのサンプリングされたピクセル６０４とフレームＮ−１のサンプリングされたピクセル６０６との間でサンプリング位置に変化（例えば、ｘ方向に０．５ピクセル）を生じ得る。同様に、再投影６２２及び６２４は、サンプリングされたピクセル６０６と６０８との間のサンプリング位置の変化（例えば、ｘ方向に−０．５ピクセル、ｙ方向に−０．５ピクセル）、サンプリングされたピクセル６０８と６１０との間サンプリング位置の変化（例えば、ｘ方向に＋０．５ピクセル）を生じさせるｕｖ座標のジッタを引き起こす。ある実施形態によると、サンプリング位置は、ジッタによって規定されてよい。

【0080】

図７は、一実施形態による、複数のフレーム７００にわたる物体７０２のサンプリング７０６のために高解像度ピクセル７０４のグループを用いた４つの高解像度ピクセル７１２のセットを出力する概念図を示す。図示の実施形態においては、複数のフレーム７００（例えば、Ｎ、Ｎ−１、・・・、Ｎ−７）にわたって静止したままの物体７０２がある。高解像度ピクセル７０４のセットは、物体７０２のサンプリング７０６のために各高解像度ピクセル７０４の中心に対応する位置でサンプリングされることが示される。サンプリング７０６中にサンプリングされた位置は、それぞれ、メモリに記憶される明度を生じる。例えば、サンプリング７０６中、各高解像度ピクセル７０４にサンプリング位置が存在するので、フレーム毎に高解像度ピクセル７０４のグループに関して４つの明度７０８が記憶される。

【0081】

図７には、複数のフレーム７００のそれぞれに関して４つの高解像度ピクセル７０４のそれぞれのサンプリングされた明度７１０も示されている。明瞭にするために、物体７０２は、黒色に対応してよく、結果として、４つの高解像度ピクセル７０４のうちの２つのサンプリングされた明度７１０は、黒に対応する明度を戻してよい。残りの２つの高解像度ピクセルは、白に対応する明度を戻してよい。結果として生じる色出力／レンダリングされた画像７１２は、高解像度ピクセル７０４のセットのサンプリングされた明度７１０を反映し、それに応じて、ヘッドマウントディスプレイ（ＨＭＤ）内の関連付けられた画面に表示されてよい。幾つかの実施形態によると、高解像度ピクセル７０４のセットの色出力７１２は、ネイティブピクセルに対応してよく、ディスプレイの中心窩領域にマッピングされてよい。

【0082】

図８は、複数のフレーム８００にわたって低解像度ピクセル８０４を用いて物体８０２をレンダリングする概念図を示す。物体８０２は、複数のフレーム８００にわたって静止して示されている。低解像度ピクセル８０４は、図８の高解像度ピクセルのサイズの約４倍で示されている。例えば、各高解像度ピクセル７０４が、ＨＭＤのディスプレイのネイティブピクセルに対応する場合、低解像度ピクセル８０４は、ネイティブピクセルの４つを含んでよい。

【0083】

サンプリング８０６中、低解像度ピクセル８０４が、各フレームで低解像度ピクセル８０４の中心でサンプリングされ、フレーム毎に１つの記憶される明度８０８を生じることが示されている。低解像度ピクセル８０４全体のサンプリングされた明度８１０（例えば、黒）が、低解像度ピクセル８０４を用いた物体８０２のサンプリング８０６から生じることが示されている。複数のフレーム８００の出力色／レンダリングされた画像８１２は、サンプリングされた明度８１０を反映するとして示されている。例えば、出力色／レンダリングされた画像８１２は、黒一色を含む「大きいピクセル」であることが示されている。幾つかの実施形態によると、出力色／レンダリングされた画像８１２は、低解像度に関連付けられたＨＭＤディスプレイの周辺領域（複数可）にマッピングされてよい。

【0084】

図９は、低解像度ピクセル９０４と比較して高い解像度を有する色出力／レンダリングされた画像９１４を可能にするために、低解像度ピクセル９０４の時間的スーパーサンプリング９０６と再投影９１２とを用いる概念図を示す。図７及び８と同様、物体９０２は、複数のフレーム９００（フレームＮ、Ｎ−１、・・・、Ｎ−７）にわたって静止しているのが示されている。また、図８の低解像度ピクセル８０４と同様に、低解像度ピクセル９０４が、物体９０２のレンダリングに使用されるのが示されている。しかしながら、各フレームに関して低解像度ピクセル８０４の中心でサンプリングされた図８で使用したサンプリング８０６とは違って、図９に示す時間的スーパーサンプリング９０６は、複数のフレーム９００の４つのフレームの期間、各フレームの異なる位置でサンプリングすることが示されている。

【0085】

例えば、時間的スーパーサンプリング９０６は、サンプリングされた低解像度ピクセル９１６ａが、フレームＮ−７の低解像度ピクセル９０４の左上隅のサンプリング位置を有するように指示してよい。次のフレームＮ−６に関して、時間的スーパーサンプリング９０６は、サンプリングされる低解像度ピクセル９１８ａの右上象限にあるサンプル位置を規定してよい。次のフレームＮ−５及びＮ−４に関して、サンプリング位置は、それぞれ、サンプリングされる低解像度ピクセル９２０ａの左下象限と、サンプリングされる低解像度ピクセル９２２ａの右下象限にあることが示される。図に示したサンプリング位置のパターンは、次の４つのフレームＮ−３〜Ｎにわたってサンプリングされる低解像度ピクセル９２４ａ〜９３０ａに対して繰り返されることが示されている。

【0086】

図示の実施形態によると、サンプリングされる低解像度ピクセル９１６ａ〜９３０ａのそれぞれに対する時間的スーパーサンプリング９０６は、複数のフレーム９００の各フレームに対して１つの明度９０８だけを記憶することに注意されたい。これは、サンプリングに高解像度ピクセル７０４を使用する図７に示す記憶された明度７０８の数（例えば、４）とは対照的である。

【0087】

時間的スーパーサンプリング９０６から生じるフレームＮ−７〜Ｎに関してサンプリングされた色及び位置９１０も図９に示されている。サンプリングされた色及び位置のデータ９１６ｂ〜９３０ｂのそれぞれは、明度（例えば、黒または白）と対応する位置（例えば、画面座標）とを含む、関連するグラフィックスパイプラインによってメモリ内に記憶されたものを概念的に表す。従って、例えば、サンプリングされた色及び位置のデータ９３０ｂは、白に対応する明度と、低解像度ピクセル９０４がマッピングする４つの高解像度ピクセル（例えば、ネイティブピクセル）のグループの右下のピクセルに対応する画面座標データとを含んでよい。さらに、サンプリングされた色及び位置のデータ９２８ｂは、黒に対応する明度と、低解像度ピクセル９０４がマッピングする高解像度ピクセルのグループの左下のピクセルに対応する画面座標データとを含む。同様に、サンプリングされた色及び位置のデータ９２６ｂ及び９２４ｂは、それぞれ、黒に対応する明度及び白に対応する明度と、低解像度ピクセル９０４が画面またはディスプレイ上にマッピングする高解像度ピクセルのグループの右上のピクセル及び左上のピクセルに対応する画面座標データとを含んでよい。

【0088】

図示の実施形態によると、色出力／レンダリングされた画像９１４は、４つのフレームのウィンドウにわたってサンプリングされた色及び位置９１０を再投影９１２することによって生じる。例えば、フレームＮ、Ｎ−１、Ｎ−２、及び、Ｎ−３から、それぞれ、サンプリングされた色と位置のデータ９３０ｂ、９２８ｂ、９２６ｂ及び９２４ｂから「構築」された４つの高解像度ピクセルのセットを含むフレームＮのレンダリングされた画像９３２がある。詳細には、関連するグラフィックスパイプラインが、サンプリングされた色及び位置のデータ９３０ｂに記憶された明度をレンダリングされた画像９３２の右下のピクセルにマッピングすることによって、高解像度のレンダリングされた画像９３２を構築できる。同様に、サンプリングされた色及び位置のデータ９２８ｂ、９２６ｂ及び９２４ｂに記憶された明度が、それぞれ、左下のピクセル、右上のピクセル、及び、左上のピクセルにマッピングされる。結果として、（サンプリングに高解像度ピクセルを用いた）図７の色出力／レンダリングされた画像７１２に似た高解像度のレンダリングされた画像９３２が、図７に示すレンダリングプロセスの場合のように各フレームに対して４つの明度を記憶する必要無く、達成される。

【0089】

類似の再投影９１２がレンダリングされた画像９３４〜９４０のそれぞれを生じることが示されている。例えば、フレームＮ−４のレンダリングされた画像９４０は、サンプリングされた色及び位置のデータ９１６ｂ〜９２２ｂから構築または再投影されることが示されている。図９のレンダリングされた画像９３２〜９４０は、それぞれ、４つのフレームに基づくことが説明目的で示されているが、所与の物体をレンダリングするための時間的スーパーサンプリングの使用は、任意の数の前のフレームに及んでよいことに注意されたい。さらに、図９のレンダリングされた画像９３２〜９４０は、それぞれ、現在のフレームと前の３つのフレームとに基づいているが、そうである必要はない。例えば、ある他の実施形態においては、レンダリングされた画像９３２は、それぞれ、フレームＮ−１、Ｎ−２、Ｎ−３、及び、Ｎ−４のサンプリングされた色及び位置のデータ９２８ｂ、９２６ｂ、９２４ｂ、及び、９２２ｂに基づいて構築または再投影されてよい。結果として、レンダリングされた画像９３２〜９４０の図に示した依存関係は、例示的なもので制限ではない。

【0090】

ある実施形態によると、時間的スーパーサンプリング９０６に示すサンプリング位置は、再投影９１２によって決定されてよい。すなわち、前のフレーム（例えば、フレームＮ−１）のサンプリング位置は、現在のフレームの画面座標（例えば、フレームＮの右下のピクセル）から決定されてよい。図９に示すように、現在のフレームの画面座標からの再投影は、低解像度ピクセル９０４の左下象限にあるサンプリングされた低解像度ピクセル９２８ａに示すサンプリング位置を決定してよく、色出力／レンダリングされた画像９１４の左下の高解像度ピクセルにマッピングしてよい。明瞭にするために、規則的なサンプリング格子パターンを図９に示すが、フレームの期間毎の位置及び固有の位置等のサンプリングパターンの詳細は、異なる実施形態に関して異なってよいことに注意されたい。

【0091】

類似のメモリ使用量（例えば、各低解像度ピクセルのフレーム毎に１つの明度を記憶）を必要とする図８に示すレンダリングに比べて、時間的スーパーサンプリング９０６とピクセル再投影９１２とを用いた図９に示すレンダリングは、より解像度の高い色出力／レンダリングされた画像９１４を可能にすることに注意されたい。これは、時間的スーパーサンプリング９０６を用いたレンダリングプロセスから生じる色出力／レンダリングされた画像９１４と、時間的スーパーサンプリングを用いないレンダリングプロセスから生じる色出力／レンダリングされた画像９４４とを比較すると明らかである。

【0092】

結果として、本明細書に記載の実施形態は、メモリ使用量（例えば、各フレームのピクセル毎に記憶される明度の数）を増やすことなく、解像度を高くすることによって、ＶＲシステムの機能を向上させる技術的利点を達成する。解像度の向上は、フォービエイテッドレンダリングシステムの低解像度領域に関連付けられたエイリアシングを低減し、これは、視聴者の全体としての体験の質を向上させ得る。例えば、図９に示すレンダリングプロセスが、複数の低解像度ピクセル９０４からなる全領域に対して行われる場合、解像度、画像品質、詳細度、鮮明さ、及び、アンチエイリアシング全体に関する改良は、図９に示すものよりも顕著になり得る。

【0093】

図１０は、一実施形態による、時間的スーパーサンプリング１００６を使用するレンダリングプロセスの概念図を示す。時間的スーパーサンプリング１００６は、複数のフレーム１０００にわたる動的物体１００２のサンプリングに使用される低解像度ピクセル１００４からレンダリングされた画像１０１４の高解像度ピクセルの出力を可能にする。図９のレンダリングプロセスと同様に、低解像度ピクセル１００４は、４つのフレームのあらゆるウィンドウに関して異なる位置でサンプリングされる。幾つかの実施形態によると、時間的スーパーサンプリング１００６で示されるサンプリング位置は、再投影１０１２によって決定されてよく、再投影１０１２は、前のフレームのサンプリングに使用されるジッタを計算してよい。さらに、図９のレンダリングプロセスと同様に、図１０に示すレンダリングプロセスは、フレーム毎に記憶された色と位置１０１０の低解像度ピクセル１００６の明度を１つだけ記憶する。

【0094】

結果として生じるレンダリングされた画像１０１４は、時間的スーパーサンプリング無しに行われたレンダリングされた画像１０１６より、解像度、詳細度、及び、エイリアシングに関して、改良されているのが示されている。

【0095】

図１１は、一実施形態による、再投影１１１０とブレンディング１１１１と共に時間的スーパーサンプリング１１０６を利用することによって、サンプリングに使用された低解像度ピクセル１１０４からレンダリングされた画像１１１２に関連付けられた高解像度ピクセルを生成する概念モデルを示す。物体１１０２は、１２フレーム（例えば、フレームＮ−１１、Ｎ−１０、・・・、Ｎ）の期間にわたってｙ方向に動くのが示されている。物体１１０２は、サンプリングパターン１１１４に対応するフレーム毎に低解像度ピクセル１１０４内の１つの位置で時間的スーパーサンプリング１１０６が行われる。上記のように、時間的スーパーサンプリング１１０６で示されるサンプリング位置は、再投影１１１０によって決定または規定されてよいと企図されている。

【0096】

図示の実施形態によると、時間的スーパーサンプリング１１０６は、記憶された色及び位置１１０８によって概念的及び視覚的に表されるフレーム毎に１つの明度を生じる。幾つかの実施形態によると、時間的スーパーサンプリング１１０６によって、記憶される明度を生じてよいが、記憶された各色位置１１０８に示される位置成分は、再投影１１１０によって提供されてよい。例えば、再投影１１１０は、前のフレームに次のサンプリング位置を提供し得るので、再投影１１１０は、次のサンプリング位置に対応する画面座標に関する情報も有する。例えば、再投影１１１０は、フレームＮに記憶された色及び位置データ１１２６から、次のサンプリング位置は、前のフレームＮ−１の左下象限をサンプリングするために、ｘ方向に−０．５ピクセル移動することを判断し得る。結果として、再投影１１１０は、フレームＮ−１の次のサンプリング位置の画面座標に関する情報を有することになる。

【0097】

図示の実施形態によると、レンダリングされた画像１１１６〜１１２４のそれぞれは、現在の各フレームと前の７つのフレームとに基づいた再投影１１１０とブレンディング１１１１の結果であることを示している。ある実施形態に関しては、ブレンディング１１１１は、関連するグラフィックスパイプラインのピクセルシェーダによって行われる。例えば、レンダリングされた画像１１１６は、フレームＮ〜Ｎ−７の明度１１２６〜１１４０に基づくことが示されている。しかしながら、レンダリングされた画像１１１６の４つの高解像度ピクセル１１１６ａ〜１１１６ｄにマッピングする８つの明度１１２６〜１１４０があるので、それらの明度がマッピングする高解像度ピクセルに対して、記憶された明度が余剰である。例えば、明度１１３０（白）及び明度１１３８（黒）の両方が、高解像度ピクセル１１１６ｃにマッピングする。ある実施形態によると、ブレンディング１１１１は、２つの明度１１３０及び１１３８に基づいた高解像度ピクセル１１１６ｃの最終的な色を計算してよい。図示の実施形態によると、高解像度ピクセル１１１６ｃの最終的な色は、明度１１３０と１１３８の中間の色またはブレンドを表す灰色の陰影である。

【0098】

ある実施形態においては、明度１１３０と１１３８の平均は、ブレンディング１１１１中にピクセルシェーダによって計算されてよく、高解像度ピクセル１１１６ｃの最終的な明度として使用されてよい。他の実施形態においては、異なる明度は、ｃａである最終的な明度に対して異なるように寄与し得る。例えば、ある実施形態によると、指数関数を用いて、所与のピクセル値の最終的な明度への寄与を、時間またはフレーム番号に関して記載してよい。例えば、より最近のフレームに関連付けられた明度は、あまり最近ではないフレームに関連付けられた明度より（指数関数的に）より大きい重みを与えられる。従って、図１１に示す実施形態によると、高解像度ピクセル１１１６ｃは、明度１１３０がより最近のフレーム（例えば、フレームＮ−２）に関連付けられ、明度が、４フレーム前のフレーム（例えば、フレームＮ−６）に関連付けられるので、明度１１３８よりも明度１１３０に近い最終的な明度を有してよい。

【0099】

図示の実施形態によると、高解像度ピクセル１１１６ａは、明度１１２６及び１１３４からマッピングされた最終的な明度を有する。しかしながら、明度１１２６は、最新のフレーム（例えば、フレームＮ）と関連付けられるので、明度１１２６は、明度１１３４より大きい重みを付けて関連付けられる。結果として、高解像度ピクセル１１１６ａの最終的な色は、明度１１３４より明度１１２６の色に近い。図１１には、明度１１２８及び１１３６と、明度１１３２及び１１４０から、それぞれマッピングされる、高解像度ピクセル１１１６ｂと１１１６ｄも示される。図示の実施形態によると、明度１１２８と１１３６の間にも、明度１１３２と１１４０の間にも変化はないので、高解像度ピクセル１１１６ｂ及び１１１６ｄのいずれに関しても最終的な明度の計算にブレンディングは必要ない。

【0100】

図１１には、レンダリングされた画像１１１８、１１２０、１１２２、及び、１１２４も示されており、各画像は、８つのフレームからの明度から構築される。フレームＮ−１でレンダリングされた画像１１１６の高解像度ピクセル１１１６ｃと同じ画面座標を有するフレームＮ−１にレンダリングされた画像１１１８の高解像度ピクセル１１１８ａがあることに注意されたい。高解像度ピクセル１１１８ａ及び１１１６ｃは両方とも、明度１１３０及び１１３８から構築されることが示されているが、異なるシェーディングである。例えば、高解像度ピクセル１１１８ａは薄い灰色の陰影でシェーディングされていることが示されており、高解像度ピクセル１１１６ｃは、濃い灰色の陰影でシェーディングされていることが示されている。ある実施形態によると、高解像度ピクセル１１１８ａは、明度１１３０（例えば、白）が、レンダリングされた画像１１１６（現在のフレームの２フレーム前）に対してよりもレンダリングされた画像１１１８（現在のフレームの１フレーム前）に対してより最近のフレームに関連付けられるので、薄い灰色の陰影の最終的な明度に関連付けられてよい。結果として、明度１１３０は、高解像度ピクセル１１１８ａの最終的な色に対して、その相対的な近さにより、高解像度ピクセル１１１６ｃの最終的な色に対してよりも寄与し得る。

【0101】

図示の実施形態によると、レンダリングされた画像１１２０は、高解像度ピクセル１１１８ａ及び１１１６ｃと画面座標を共有する高解像度ピクセル１１２０ａも有する。さらに、高解像度ピクセル１１２０ａは、高解像度ピクセル１１１８ａ及び１１１６ｃの両方と同じ明度１１３０及び１１３８から構築されることが示されている。しかしながら、幾つかの実施形態によると、明度１１３０は、レンダリングされた画像１１２０に対して最新のフレームに関連付けられていることが示されているので、明度１１３０は、高解像度ピクセル１１１８または１１１６のいずれに対してもシェーディングに関して、高解像度ピクセル１１２０ａにより大きい重みを付けて関連付けられてよい。

【0102】

図１２は、疑似ランダムジッタサンプリングパターン１２１４を有する時間的スーパーサンプリング１２０６中に使用された低解像度ピクセル１２０４からレンダリングされた画像１２１２に関連付けられた高解像度ピクセルを生成する概念モデルを示す。図示の実施形態においては、動的物体１２０２は、サンプリングパターン１２１４に従って、フレーム毎に異なる位置で、低解像度ピクセル１２０４内でサンプリングされる。サンプリングパターン１２１４は、８フレーム毎に繰り返す８つのサンプリング位置を含むことが示されているが、他の実施形態に関しては、こうである必要はない。例えば、他の実施形態においては、サンプリング位置は、繰り返すまたは循環する必要はない。

【0103】

さらに、サンプリング位置は、低解像度ピクセル１２０４の４つの象限に均一に分散されていないとして示されている。例えば、右上のサブピクセルは、８つのフレームのウィンドウに関して３つの位置でサンプリングされるのが示されており、左下のサブピクセルは、１つの位置でのみサンプリングされるのが示されている。低解像度ピクセル１２０４内でのサンプリングに関して幾つかのアルゴリズムがあり、その一部は、サンプリング位置の集中または不均一な分散を最小にできる。結果として、本明細書に示すサンプリングパターン及び／またはアルゴリズムは、実施形態の趣旨または範囲を逸脱せずに、本明細書に記載の実施形態と共に使用し得る任意の数のスーパーサンプリングパターンがあるので、説明目的であり、制限的ではない。さらに、高解像度のレンダリングされた画像を構築するための時間的スーパーサンプリングの実施形態を、現在のフレームと前の７つのフレームに基づいて示すが、様々な実施形態に応じて、時間的スーパーサンプリング及び再投影を用いて、高解像度のレンダリングされた画像を構築できる任意の数のフレームがある。さらに、レンダリングされた画像は、現在のフレームに関連付けられたピクセル値から構築されることが示されているが、他の実施形態においては、最新のレンダリングされた画像が最新のフレームに関連付けられたピクセル値から必ずしもマッピングされる必要がない場合もある。

【0104】

図１３Ａは、１６個のフレームにわたる時間的スーパーサンプリング１３００中に使用された低解像度のサンプリングエリア１３０１から１６個の高解像度ピクセル１３０４のセットを再構成する実施形態を示す。図示の実施形態によると、低解像度のサンプリングエリア１３０１は、１６個の高解像度ピクセル１３０４のセットにマッピングする。実施形態は、１６個の高解像度ピクセル１３０４のそれぞれに対応する１６個のサブピクセル領域の時間的スーパーサンプリング１３００を介して高解像度ピクセル１３０４のそれぞれに対して明度を取得することができる。例えば、異なるサブピクセル領域が、図示の１６個のフレームのそれぞれに関してサンプリングされ、結果として、記憶された色及び位置１３０２に示すようにフレーム毎に１つの明度のみが記憶されてよい。上記のように、時間的スーパーサンプリング１３００に使用されるサンプリングパターンは、ジッタを伴う場合があり、（より詳細に前述した）再投影によって決定されてよい。結果として、本明細書に記載した長所及び実施態様は、４つのピクセルを再構成することに限定されず、低解像度サンプリング領域から任意の数の高解像度ピクセルを再構成することに拡張されてよい。

【0105】

図１３Ｂは、高解像度ピクセル１３１６の数より少ない数のフレームにわたって時間的スーパーサンプリング１３０６中に使用された低解像度のサンプリング領域１３０８から１６個の高解像度ピクセル１３１６のセットを再構成する実施形態を示す。例えば、時間的スーパーサンプリング１３０６は、８つのフレームにわたってのみ行われて、同じ数の明度１３１０を生じることが示されている。再構成中、関連するピクセルシェーダまたはコンピュータシェーダは、明度１３１０と、それに関連付けられた位置とで高解像度ピクセル格子１３１２に「埋める」（例えば、描画、シェーディング、色付けする）ように試みる。例えば、高解像度ピクセル格子１３１２の１６個のピクセルのうち８個は、記憶されたピクセル値に関連付けられる。残りのシェーディングされていないピクセルは、次に、最近傍法、履歴色データ、もしくは、両方の組み合わせ、または、他の方法を用いて、ブレンディング１３１４を行って、１６個の高解像度ピクセル１３１６からなるレンダリングされた画像を提供してよい。結果として、本明細書に記載の実施形態の趣旨及び長所は、時間的スーパーサンプリングのプロセスが高解像度ピクセルの数よりも少ない数のフレームをサンプリングすることを伴う場合でさえ、特定の数の高解像度ピクセルに対して実施できる。例えば、本明細書で企図された実施形態は、時間的スーパーサンプリングに適用されてよい。

【0106】

幾つかの実施形態に関して、ピクセルシェーダに言及する場合、コンピュータシェーダも指すと意図していることに注意されたい。さらに、例示的なサンプリングパターンを、例えば、図１３Ａ及び１３Ｂに示すが、任意の数のサンプリングパターンが本明細書に記載の実施形態と共に実施されてよいことに注意されたい。

【0107】

図１４は、複数の前のフレームにわたる時間的スーパーサンプリングを通して取得された明度を用いて、低解像度のサンプリング領域から高解像度ピクセルの再構成を可能にする方法の全体のフローを示す。実現された方法は、関連するグラフィックスパイプラインのラスタライザからフラグメントを受信する動作１４１０と、フレームバッファ等のバッファに記憶された複数の前のフレームにわたる低解像度サンプリング領域を用いて、時間的スーパーサンプリングをフラグメントに適用する動作１４２０とを含む。上記のように、時間的スーパーサンプリングは、ピクセル再投影及び／またはジッタに基づいて、低解像度サンプリング領域内の異なる位置をサンプリングしてよい。さらに、上記のように、サンプリングされる前のフレームの数は、様々な実施形態に応じて数が変化してよい。

【0108】

図１４に示す方法は、次に、動作１４３０に進み、動作１４３０は、低解像度サンプリング領域に関連付けられた高解像度ピクセルを、時間的スーパーサンプリングを介して取得した明度を用いて再構成するように働く。ある実施形態によると、再構成は、表示バッファ等の最終的なバッファで行われてよく、表示バッファは、実際のピクセル位置（例えば、物理的ピクセル）がアドレス可能な方法で、時間的スーパーサンプリングによって取得された明度を記憶してよい。図１４の方法は、次に、動作１４４０に進み、動作１４４０は、再構成された高解像度ピクセルを（例えば、ヘッドマウントディスプレイ）に表示するために送信するように働く。

【0109】

図１５は、提示された方法及び／またはシステムと共に使用されてよいＨＭＤ１５００の追加の実施形態を示す。ＨＭＤ１５００は、視線検出器１５０２、プロセッサ１５０４、バッテリ１５０６、仮想現実生成装置１５０８、ボタン、センサ、スイッチ１５１０、音源定位装置１５１２、ディスプレイ１５１４、及び、メモリ１５１６等のハードウェアを含む。ＨＭＤ１５００は、位置モジュール１５２８も含み、位置モジュール１５２８は、磁力計１５１８、加速度計１５２０、ジャイロスコープ１５２２、ＧＰＳ１５２４、及び、コンパス１５２６を含むことが示されている。さらに、ＨＭＤ１５００には、スピーカ１５３０、マイクロフォン１５３２、ＬＥＤ１５３４、視覚認識のための物体（複数可）１５３６、ＩＲライト１５３８、前方カメラ１５４０、後方カメラ１５４２、視線追跡カメラ（複数可）１５４４、ＵＳＢ１５４６、永続ストレージ１５４８、振動触覚フィードバック１５５０、通信リンク１５５２、Ｗｉ−Ｆｉ１５５４、超音波通信１５５６、ブルートゥース（登録商標）１５５８、及び、感光性ダイオード（ＰＳＤ）アレイ１５６０が含まれる。幾つかの実施形態においては、ＨＭＤ１５００は、１つまたは複数のＣＰＵ１５６２、１つまたは複数のＧＰＵ１５６４、及び、ビデオメモリ１５６６も含んでよい。

【0110】

図１６は、本明細書に記載の様々な実施形態を実施するように使用されてよいコンピューティングシステム１６００の図である。コンピューティングシステム１６００は、ユーザ入力を受信するための入力装置１６０２を含む。入力装置１６０２は、マウス、タッチスクリーン、ジョイスティック、リモートコントロール、ポインティングデバイス、ウェアラブルオブジェクト、または、ヘッドマウントディスプレイ等の任意のユーザ制御装置またユーザ応答デバイスであってよい。コンピューティングシステム１６００は、グラフィックスシステム１６１０が処理及びレンダリングするための頂点データ及び幾何学的データを生成するアプリケーションプログラムの実行を担うＣＰＵ１６０４を含むことも示されている。ＣＰＵ１６０４は、アプリケーションプログラムに関して、入力装置１６０２を介して受信した入力も処理する。さらに、コンピューティングシステムは、メモリ１６０６及び永続的ストレージ１６０８を含むとして示されている。

【0111】

例示的なコンピューティングシステム１６００のグラフィックスシステム１６１０は、メモリ／ＶＲＡＭ１６２０と通信するＧＰＵ１６１２を含むとして示されており、メモリ／ＶＲＡＭ１６２０は、スキャナ１６２８と通信する。ＧＰＵ１６１２は、頂点シェーダ１６１４を含むことが示されており、頂点シェーダ１６１４は、実行されたアプリケーションに関連付けられた頂点データ及び幾何学的データを受信し、受信した頂点データ及び幾何学的データに対する幾何学的変換及び操作に関する動作を行う。幾つかの実施形態においては、頂点シェーダ１６１４の出力は、送信され、フレームバッファ／時間バッファ１６２２に記憶される。

【0112】

幾つかの実施形態によると、ＧＰＵ１６１２は、ラスタライザ１６１６も実施するとして示されている、ラスタライザ１６１６は、頂点シェーダ１６１４から出力された頂点データ及び幾何学的データをピクセルデータ（例えば、フラグメントデータ）に変換する。幾つかの実施形態によると、ラスタライザ１６１６は、本明細書に記載の一定のサンプリング機能を行うことができる。

【0113】

ＧＰＵ１６１２は、表示されるピクセルの明度を取得するように働くピクセルシェーダ１６１８（フラグメントシェーダとしても知られる）も実行するとして示されている。幾つかの実施形態によると、本明細書に記載の時間的スーパーサンプリングは、例えば、フレームバッファ／時間バッファ１６２２にアクセスすることによって、ピクセルシェーダの助けを借りて行われてよい。さらに、ある実施形態によると、ピクセルシェーダ１６１８は、ピクセルデータを出力してよく、そのピクセルデータは、表示バッファ１６２４に記憶される。一実施形態においては、スキャナ１６２８は、表示バッファに記憶されたピクセルデータを読み取り、ディスプレイ１６３０に表示するために、そのピクセルデータを送信することができる。ここでも、ピクセルシェーダは、ピクセルシェーダまたはコンピュータシェーダを指す。

【0114】

方法の動作を特定の順で記載したが、他のハウスキーピング動作が動作と動作の間に行われてよく、動作は、少し異なる時間に行われるように調整されてよく、または、システムに分散されて、処理に関連付けられた様々な間隔で処理動作が起こるのを可能にしてよいことは理解されたい。

【0115】

１つまたは複数の実施形態は、コンピュータ可読媒体上のコンピュータ可読コードとして製造することもできる。コンピュータ可読媒体は、データを記憶できる任意のデータ記憶装置であり、従って、データは、コンピュータシステムによって読み出すことができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、並びに、他の光学的及び非光学的データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが分散されて記憶、実行されるように、ネットワークで接続されたコンピュータシステムに分散されたコンピュータ可読有形媒体を含んでよい。

【0116】

理解を明瞭にするために上記実施形態を記載したが、一定の変化及び修正は、添付請求項の範囲内で実践されてよいことは明らかである。従って、本実施形態は、説明的なもので限定的ではなく、実施形態は、本明細書に記載の詳細に限定されず、添付の請求項の範囲及び同等物内で修正されてよい。

【図1A】

【図1B】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図3G】

【図3H】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14】

【図15】

【図16】