特表 2022-530805 一定の明るさを維持するための動的なライト出力調節を備えたディスプレイシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-01

(54)【発明の名称】一定の明るさを維持するための動的なライト出力調節を備えたディスプレイシステム

(51)【国際特許分類】

   G09G 3/20 20060101AFI20220624BHJP

   H04N 5/64 20060101ALI20220624BHJP

   G09G 3/34 20060101ALI20220624BHJP

   G09G 3/36 20060101ALI20220624BHJP

   G09G 3/3233 20160101ALI20220624BHJP

【ＦＩ】

G09G3/20 611E

G09G3/20 631A

G09G3/20 680A

G09G3/20 641A

G09G3/20 641C

H04N5/64 511A

G09G3/34 J

G09G3/36

G09G3/3233

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021564418

(86)(22)【出願日】2020-04-28

(85)【翻訳文提出日】2021-11-05

(86)【国際出願番号】 US2020030300

(87)【国際公開番号】W WO2020223251

(87)【国際公開日】2020-11-05

(31)【優先権主張番号】16/399,804

(32)【優先日】2019-04-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】517160525

【氏名又は名称】バルブ コーポレーション

(74)【代理人】

【識別番号】110001737

【氏名又は名称】特許業務法人スズエ国際特許事務所

(72)【発明者】

【氏名】セラン、ジェレミー・アダム

【テーマコード（参考）】

5C006

5C080

5C380

【Ｆターム（参考）】

5C006AA14

5C006AA15

5C006AA16

5C006AA17

5C006AC24

5C006AF44

5C006AF69

5C006BF38

5C006EA01

5C006EC12

5C006EC13

5C006FA11

5C006FA23

5C006FA47

5C080AA06

5C080AA10

5C080BB05

5C080CC04

5C080DD06

5C080EE28

5C080GG05

5C080HH09

5C080JJ02

5C080JJ04

5C080JJ07

5C080KK50

5C380AA01

5C380AA02

5C380AB04

5C380AB27

5C380AB34

5C380BA01

5C380BA22

5C380BA24

5C380BA31

5C380BA45

5C380BB09

5C380CA08

5C380CA12

5C380CA39

5C380CA53

5C380CB01

5C380CB31

5C380CE11

5C380CE19

5C380CF66

5C380DA01

5C380DA06

5C380DA07

5C380DA16

5C380DA35

5C380DA42

5C380EA01

5C380FA10

5C380FA24

5C380HA03

5C380HA05

5C380HA11

(57)【要約】

ディスプレイのライト出力を、オンザフライで動的に調節することができる。可変リフレッシュレートをサポートする低持続性ディスプレイに実装された場合、この調節は、ディスプレイのちらつきを排除するように、一連のフレームにわたって一定の明るさを維持する。所与のフレームのピクセルデータが、ディスプレイ上に画像を提示するためのフレームバッファに出力されると、先行フレームに対するディスプレイの発光要素の照明と、所与のフレームに対する発光要素の次回の照明との時間の差異を決定することができ、この時間の差異を使用して、ライト出力パラメータの値を決定する。画像の提示中に、発光要素は、ライト出力パラメータの値に従って照明され得る。この決定は、ディスプレイのライト出力を動的に調節するように一連のフレームにわたって繰り返される。
【選択図】図１

【特許請求の範囲】

【請求項1】

ディスプレイシステムであって、
発光要素のアレイを有するディスプレイであって、前記ディスプレイが、可変リフレッシュレートをサポートするように構成されている、ディスプレイと、
１つ以上のプロセッサと、
コンピュータ実行可能命令を記憶するメモリと、を備え、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたとき、前記ディスプレイシステムに、
一連のフレームのうちの第１のフレームに関連付けられた第１のピクセルデータをフレームバッファに出力することと、
前記一連のフレームのうちの先行フレームに対する前記発光要素の照明と、前記第１のフレームに対する前記発光要素の次回の照明との間の第１の時間の差異を決定することと、
前記第１の時間の差異に少なくとも部分的に基づいて、ライト出力パラメータの第１の値を決定することと、
前記第１のピクセルデータに少なくとも部分的に基づいて、第１の画像を前記ディスプレイ上に提示することと、
前記ディスプレイ上の前記第１の画像の提示中に、前記ライト出力パラメータの前記第１の値に従って前記発光要素を照明することと、を行わせる、ディスプレイシステム。

【請求項2】

前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたとき、前記ディスプレイシステムに、
前記一連のフレームのうちの第２のフレームに関連付けられた第２のピクセルデータを前記フレームバッファに出力することと、
前記第１のフレームに対する前記発光要素の照明と、前記第２のフレームに対する前記発光要素の次回の照明との間の第２の時間の差異を決定することと、
前記第２の時間の差異に少なくとも部分的に基づいて、前記ライト出力パラメータの第２の値を決定することと、
前記第２のピクセルデータに少なくとも部分的に基づいて、第２の画像を前記ディスプレイ上に提示することと、
前記ディスプレイ上の前記第２の画像の提示中に、前記ライト出力パラメータの前記第２の値に従って前記発光要素を照明することと、をさらに行わせ、
前記第２の時間の差異が、前記第１の時間の差異よりも大きく、
前記ライト出力パラメータの前記第２の値により、前記発光要素が、前記ライト出力パラメータの前記第１の値よりも大きい輝度で、または前記第１の値よりも長い持続時間にわたって、ライトを発することを引き起こし、
前記第２の時間の差異が、前記第１の時間の差異よりも小さく、
前記ライト出力パラメータの前記第２の値により、前記発光要素が、前記ライト出力パラメータの前記第１の値よりも小さい輝度で、または前記第１の値よりも短い持続時間にわたって、ライトを発することを引き起こす、請求項１に記載のディスプレイシステム。

【請求項3】

前記ライト出力パラメータの前記第１の値が、
前記発光要素を照明するためのライトのパルスの大きさ、
前記発光要素を照明するための前記ライトのパルスの持続時間、または
前記ディスプレイ上の前記第１の画像の前記提示中に、前記発光要素の個々のサブセットを順次照明する間に同時に照明される前記発光要素の数のうちの少なくとも１つに対応する、請求項１に記載のディスプレイシステム。

【請求項4】

前記第１の時間の差異に少なくとも部分的に基づいて、前記ライト出力パラメータの前記第１の値を決定することが、
前記第１の時間の差異と基準フレーム時間との比率を決定することと、
前記比率に少なくとも部分的に基づいて、前記ライト出力パラメータの前記第１の値を決定することと、を含む、請求項１に記載のディスプレイシステム。

【請求項5】

前記第１のフレームをレンダリングしたアプリケーションが、最小フレームレートから最大フレームレートまでのフレームレートの範囲内のフレームレートを目標とするように構成され、前記基準フレーム時間が、前記最小フレームレートと前記最大フレームレートとの間の中間フレームレートに対応するフレーム時間に対応する、請求項４に記載のディスプレイシステム。

【請求項6】

前記ディスプレイが、ヘッドマウントディスプレイ（ＨＭＤ）であり、前記ディスプレイシステムが、ヘッド追跡システムをさらに備え、前記コンピュータ実行可能命令が、前記第１のピクセルデータを前記フレームバッファに出力する前に、前記１つ以上のプロセッサによって実行されたとき、前記ディスプレイシステムに、
前記発光要素が前記第１のフレームに対して照明する時間を表す予測照明時間を決定することと、
前記ヘッド追跡システムによって生成されたヘッド追跡データに少なくとも部分的に基づいて、前記ＨＭＤが前記予測照明時間においてとるであろう予測姿勢を決定することと、
前記予測姿勢を示す姿勢データを、前記第１のフレームをレンダリングするためのアプリケーションに送信することと、
前記アプリケーションから、前記第１のフレームのピクセルデータを受信することと、
前記アプリケーションが前記第１のフレームをレンダリングするのに費やした時間量に少なくとも部分的に基づいて、前記発光要素が前記第１のフレームに対して照明する前記時間を表す新しい予測照明時間を決定することと、
前記ヘッド追跡システムによって生成された前記ヘッド追跡データに少なくとも部分的に基づいて、前記ＨＭＤが前記新しい予測照明時間においてとるであろう新しい予測姿勢を決定することと、
前記予測姿勢および前記新しい予測姿勢に少なくとも部分的に基づいて、前記ピクセルデータに再投影調節を適用して、前記第１のフレームに関連付けられた前記第１のピクセルデータを取得することと、をさらに行わせる、請求項１に記載のディスプレイシステム。

【請求項7】

前記予測照明時間を決定することが、
前記アプリケーションが前記先行フレームをレンダリングするのに費やした第１の時間量を決定することと、
前記第１の時間量に少なくとも部分的に基づいて、前記アプリケーションが前記第１のフレームをレンダリングするのに費やすであろう時間量を表す予測レンダリング時間を決定することと、を含み、
前記予測照明時間が、前記予測レンダリング時間に少なくとも部分的に基づいて決定される、請求項６に記載のディスプレイシステム。

【請求項8】

前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたとき、前記ディスプレイシステムに、
前記アプリケーションが前記先行フレームに先行する前のフレームをレンダリングするのに費やした第２の時間量を決定することと、
前記第１の時間量および前記第２の時間量に少なくとも部分的に基づいて、平均レンダリング時間を決定することと、をさらに行わせ、
前記予測レンダリング時間を前記決定することが、前記平均レンダリング時間に少なくとも部分的に基づく、請求項７に記載のディスプレイシステム。

【請求項9】

前記ディスプレイシステムが、仮想現実（ＶＲ）ディスプレイシステムまたは拡張現実（ＡＲ）ディスプレイシステムのうちの少なくとも１つである、請求項１に記載のディスプレイシステム。

【請求項10】

発光要素のアレイを有するディスプレイを含むディスプレイシステムによって実装される方法であって、前記方法が、
第１のピクセルデータをフレームバッファに出力することであって、前記第１のピクセルデータが、一連のフレームのうちの第１のフレームに関連付けられる、出力することと、
前記一連のフレームのうちの先行フレームに対する前記発光要素のライトパルスと、前記第１のフレームに対する前記発光要素の次回のライトパルスとの間の第１の時間の差異を決定することと、
前記第１の時間の差異に少なくとも部分的に基づいて、ライト出力パラメータの第１の値を決定することと、
前記第１のピクセルデータに少なくとも部分的に基づいて、第１の画像を前記ディスプレイ上に提示することと、
前記ディスプレイ上の前記第１の画像の提示中に、前記ライト出力パラメータの前記第１の値に従って、ライトパルスを発するように前記発光要素を制御することと、を含む、方法。

【請求項11】

前記ライト出力パラメータの前記第１の値が、
前記第１のフレームに対する前記ライトパルスの大きさ、
前記第１のフレームに対する前記ライトパルスの持続時間、または
前記ライトパルス中に同時に照明される前記発光要素の数のうちの少なくとも１つに対応する、請求項１０に記載の方法。

【請求項12】

前記第１の時間の差異に少なくとも部分的に基づいて、前記ライト出力パラメータの前記第１の値を前記決定することが、
前記第１の時間の差異と基準フレーム時間との比率を決定することと、
前記比率に少なくとも部分的に基づいて、前記ライト出力パラメータの前記第１の値を決定することと、を含む、請求項１０に記載の方法。

【請求項13】

前記ディスプレイが、ヘッドマウントディスプレイ（ＨＭＤ）であり、前記方法が、前記第１のピクセルデータを前記フレームバッファに前記出力する前に、
前記第１のフレームに対する前記ライトパルスが発生する時間を表す予測照明時間を決定することと、
前記ディスプレイシステムのヘッド追跡システムによって生成されたヘッド追跡データに少なくとも部分的に基づいて、前記ＨＭＤが前記予測照明時間においてとるであろう予測姿勢を決定することと、
前記予測姿勢を示す姿勢データを、前記第１のフレームをレンダリングするためのアプリケーションに送信することと、
前記アプリケーションから、前記第１のフレームのピクセルデータを受信することと、
前記アプリケーションが前記第１のフレームをレンダリングするのに費やした時間量に少なくとも部分的に基づいて、前記第１のフレームに対する前記ライトパルスが発生する前記時間を表す新しい予測照明時間を決定することと、
前記ヘッド追跡システムによって生成された前記ヘッド追跡データに少なくとも部分的に基づいて、前記ＨＭＤが前記新しい予測照明時間においてとるであろう新しい予測姿勢を決定することと、
前記予測姿勢および前記新しい予測姿勢に少なくとも部分的に基づいて、前記ピクセルデータに再投影調節を適用して、前記第１のフレームに関連付けられた前記第１のピクセルデータを取得することと、をさらに含む、請求項１０に記載の方法。

【請求項14】

前記アプリケーションが前記先行フレームをレンダリングするのに費やした第１の時間量を決定することと、
前記第１の時間量に少なくとも部分的に基づいて、前記アプリケーションが前記第１のフレームをレンダリングするのに費やすであろう時間量を表す予測レンダリング時間を決定することと、をさらに含み、
前記予測照明時間が、前記予測レンダリング時間に少なくとも部分的に基づいて決定される、請求項１３に記載の方法。

【請求項15】

前記ライトパルスを発するように前記発光要素を前記制御することが、
前記発光要素が同時にライトを発することを引き起こすこと、または
前記発光要素の個々のサブセットが前記ライトを順次発することを引き起こすことのうちの少なくとも１つを含む、請求項１０に記載の方法。

【請求項16】

システムであって、
ライト源のアレイを有するディスプレイと、
前記ライト源のアレイに連結されたディスプレイドライバ回路と、
１つ以上のプロセッサと、を備え、前記１つ以上のプロセッサが、
第１のピクセルデータをフレームバッファに出力することであって、前記第１のピクセルデータが、一連のフレームのうちの第１のフレームに関連付けられる、出力することと、
前記一連のフレームのうちの先行フレームに対する前記ライト源の照明と、前記第１のフレームに対する前記ライト源の次回の照明との間の第１の時間の差異を決定することと、
前記第１の時間の差異に少なくとも部分的に基づいて、ライト出力パラメータの第１の値を決定することと、
前記第１のピクセルデータに少なくとも部分的に基づいて、第１の画像を前記ディスプレイ上に提示することと、
前記ディスプレイ上の前記第１の画像の提示中に、前記ディスプレイドライバ回路に、前記ライト出力パラメータの前記第１の値に従って、前記ライト源を照明させることと、を行う、システム。

【請求項17】

前記ライト出力パラメータの前記第１の値が、
前記ライト源を照明するためのライトのパルスの大きさ、
前記ライト源を照明するための前記ライトのパルスの持続時間、または
前記ディスプレイ上の前記第１の画像の前記提示中に、前記ライト源の個々のサブセットを順次照明する間に同時に照明される前記ライト源の数のうちの少なくとも１つに対応する、請求項１６に記載のシステム。

【請求項18】

前記第１の時間の差異に少なくとも部分的に基づいて、前記ライト出力パラメータの前記第１の値を決定することが、
前記第１の時間の差異と基準フレーム時間との比率を決定することと、
前記比率に少なくとも部分的に基づいて、前記ライト出力パラメータの前記第１の値を決定することと、を含む、請求項１６に記載のシステム。

【請求項19】

ヘッド追跡システムをさらに備え、前記ディスプレイが、ヘッドマウントディスプレイ（ＨＭＤ）であり、前記１つ以上のプロセッサが、前記第１のピクセルデータを前記フレームバッファに出力する前に、
前記ライト源が前記第１のフレームに対して照明する時間を表す予測照明時間を決定することと、
前記ヘッド追跡システムによって生成されたヘッド追跡データに少なくとも部分的に基づいて、前記ＨＭＤが前記予測照明時間においてとるであろう予測姿勢を決定することと、
前記予測姿勢を示す姿勢データを、前記第１のフレームをレンダリングするためのアプリケーションに送信することと、
前記アプリケーションから、前記第１のフレームのピクセルデータを受信することと、
前記アプリケーションが前記第１のフレームをレンダリングするのに費やした時間量に少なくとも部分的に基づいて、前記ライト源が前記第１のフレームに対して照明する前記時間を表す新しい予測照明時間を決定することと、
前記ヘッド追跡システムによって生成された前記ヘッド追跡データに少なくとも部分的に基づいて、前記ＨＭＤが前記新しい予測照明時間においてとるであろう新しい予測姿勢を決定することと、
前記予測姿勢および前記新しい予測姿勢に少なくとも部分的に基づいて、前記ピクセルデータに再投影調節を適用して、前記第１のフレームに関連付けられた前記第１のピクセルデータを取得することと、を行うようにさらに構成されている、請求項１６に記載のシステム。

【請求項20】

前記１つ以上のプロセッサが、
前記アプリケーションが前記先行フレームをレンダリングするのに費やした第１の時間量を決定することと、
前記第１の時間量に少なくとも部分的に基づいて、前記アプリケーションが前記第１のフレームをレンダリングするのに費やすであろう時間量を表す予測レンダリング時間を決定することと、を行うようにさらに構成されており、
前記予測照明時間が、前記予測レンダリング時間に少なくとも部分的に基づいて決定される、請求項１９に記載のシステム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

これは、全体が参照により本明細書に組み込まれる、２０１９年４月３０日に出願された「ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＷＩＴＨ ＤＹＮＡＭＩＣ ＬＩＧＨＴ ＯＵＴＰＵＴ ＡＤＪＵＳＴＭＥＮＴ ＦＯＲ ＭＡＩＮＴＡＩＮＩＮＧ ＣＯＮＳＴＡＮＴ ＢＲＩＧＨＴＮＥＳＳ」と題した米国特許出願第１６／３９９，８０４号の優先権を主張するＰＣＴ出願である。

【背景技術】

【0002】

仮想現実（ＶＲ）システム（ＶＲヘッドセットに埋め込まれているようなものなど）のための従来のディスプレイは、固定リフレッシュレートで動作する。ディスプレイの「リフレッシュレート」とは、ディスプレイが画像をリフレッシュし得るか、またはスクリーンを再描画し得る、毎秒の回数である（例えば、９０ヘルツ（Ｈｚ）のディスプレイは、９０回／秒、画像をリフレッシュする）。グラフィックスの進歩は、フレームがレンダリングされるにつれてディスプレイのリフレッシュレートが動的に変化することを意味する可変リフレッシュレートをサポートするディスプレイの開発につながっている。これにより、ビデオゲームなどのグラフィックスレンダリングアプリケーションからの様々なフレームレートと同期してリフレッシュレートを保つことができる。例えば、ＮＶＩＤＩＡ（登録商標）Ｃｏｒｐｏｒａｔｉｏｎから入手可能な技術であるＧ－ＳＹＮＣ（商標）、およびＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ（登録商標），Ｉｎｃ．から入手可能な技術であるＦｒｅｅＳｙｎｃ（商標）の両方は、ディスプレイのリフレッシュレートをビデオゲームのフレームレートに一致させる論理を提供する。これらの技術は、スクリーンティアリングを排除し（例えば、画像が先行フレームからのいくつかのピクセルと、現在のフレームからのいくつかのピクセルと、を含む場合）、かつこれらの技術により、実行中のビデオゲームが、単一のフレームレートを目標とする代わりに、フレームレートの範囲を目標とすることができ、これにより、グラフィックス処理ユニット（ＧＰＵ）の速度を考慮して、可能な限り最速のフレームレートから恩恵を受けることができる場合がある。

【0003】

可変リフレッシュレート技術は、バックライトが一連のフレームにわたってほとんどの時間オンになっている高持続性ディスプレイでの使用に適しているが、これらの技術は、ほとんどのＶＲシステムがディスプレイのリフレッシュレートでバックライトのオンとオフをパルスする低持続性ディスプレイを使用するため、ＶＲシステムでの使用には適していない。可変リフレッシュレートが低持続性ディスプレイで使用されている場合、視認中のユーザは、リフレッシュレートの変化に伴って明るさが変化するときに、ディスプレイのちらつきに気付くであろう。これは、より高いリフレッシュレートでは、ライトパルスが時間的に互いにより近くで発生し、増光効果を生み出すが、より低いリフレッシュレートでは、ライトパルスが時間的により遠く離れて発生し、減光効果を生み出すためである。これは、ヘッドマウントディスプレイ（ＨＭＤ）を着用しているユーザにとって、ディスプレイの継続的な増光および減光（すなわち、ちらつき）として現れる。実際には、複雑性の低いシーン（例えば、移動する物体が多くなく、テクスチャが単純なシーン）は、リフレッシュレートが複雑性の低いシーンについてはより高くなる可能性が高いため、ユーザにとって非常に明るく見えることになるが、複雑性の高いシーン（例えば、移動する物体が多く、テクスチャが複雑なシーン）は、リフレッシュレートが複雑性の高いシーンについてはより低くなる可能性が高いため、ユーザにとって非常に薄暗く見えることになる。したがって、可変リフレッシュレートディスプレイ技術は、低持続性ディスプレイを使用するＶＲシステムでの使用には適していなかった。

【0004】

本明細書では、これらのシステムおよび他のシステムを改善および増強するための技術的解決法を提供する。

【図面の簡単な説明】

【0005】

詳細な説明を、添付の図面を参照して説明する。図において、参照番号の左端の数字は、参照番号が最初に現れる図を識別する。異なる図における同じ参照番号の使用は、類似または同一の構成要素または特徴を示す。

【0006】

【図1】本明細書に開示される実施形態による、一連のフレームにわたって一定の明るさを維持するために、低持続性の可変リフレッシュレートディスプレイのライト出力を動的に調節するための例示的な技法を説明する図である。

【0007】

【図2】本明細書に開示される実施形態による、一連のフレームにわたって一定の明るさを維持するために、低持続性の可変リフレッシュレートディスプレイのライト出力を動的に調節するための別の例示的な技法を説明する図である。

【0008】

【図3】本明細書に開示される実施形態による、可変フレームレートでの再投影により一連のフレームをレンダリングし、対応する画像を可変リフレッシュレートで提示するための例示的なタイムラインを説明する図である。

【0009】

【図4】本明細書に開示される実施形態による、低持続性の可変リフレッシュレートディスプレイシステムでの再投影によりフレームをレンダリングするための例示的なプロセスのフロー図を説明する。

【0010】

【図5】本明細書に開示される実施形態による、画像の提示中に低持続性の可変リフレッシュレートディスプレイを照明するためのライト出力パラメータの値を動的に決定するための例示的なプロセスのフロー図を説明する。

【0011】

【図6】本明細書に開示される技法を実装することができる、ＶＲヘッドセットなどのウェアラブルデバイスを含むシステムの例示的な構成要素を説明する。

【発明を実施するための形態】

【0012】

本明細書では、とりわけ、一連のフレームにわたって一定の明るさを維持するための、低持続性の可変リフレッシュレートディスプレイのライト出力を動的に調節するための、技法およびシステムについて説明する。ディスプレイシステムは、発光要素（またはライト源）のアレイを有するディスプレイを含み得る。上述のように、ディスプレイシステムは、発光要素がフレーム時間のごく一部にわたってライトを発することを意味する、低持続性ディスプレイシステムであってもよい。例えば、９０Ｈｚのリフレッシュレートでの所与のフレームの場合、発光要素は、合計フレーム時間のうちのおよそ１ミリ秒（ｍｓ）の持続時間にわたって照明する（またはライトパルスを発する）ことができ、合計フレーム時間は、およそ１１．１１ｍｓである。説明的な実施例では、本明細書に開示されるディスプレイシステムのディスプレイは、ユーザによって着用され得るヘッドマウントディスプレイ（ＨＭＤ）であってもよい。この実施例では、ディスプレイシステムは、仮想現実（ＶＲ）システムであっても、拡張現実（ＡＲ）システムであってもよい。ＨＭＤなどのディスプレイ自体は、ビデオゲームなどのグラフィックスレンダリングアプリケーションによって出力されるフレームに基づいて画像を提示する、１つまたは複数のディスプレイパネルを含み得る。これらの画像は、ＨＭＤに含まれる光学系を通してユーザによって視認され、ユーザに、ユーザがＶＲまたはＡＲ環境に没入しているかのように画像を知覚させる。

【0013】

本明細書に記載のディスプレイは、可変リフレッシュレートをサポートし得る。したがって、ビデオゲームなどのグラフィックスレンダリングアプリケーションは、可変フレームレートでフレームをレンダリングし得、ディスプレイのリフレッシュレートは、アプリケーションのフレームレートと一致する（または同期したままである）ように動的に調節され得る。このようにして、アプリケーションは、フレームレートの範囲を目標とすることができ、ディスプレイのリフレッシュレートは、単一のフレームがレンダリングされ、対応する画像が、スクリーンリフレッシュのたびに提示されるように、アプリケーションのフレームレートに結び付けられ得る。リフレッシュレートは動的に変化し得るため、発光要素のライト出力が各ライトパルスにわたって一定のままである場合、ディスプレイの明るさは、一連のフレームにわたって変動し得、これは、ディスプレイのちらつきとしてユーザによって知覚され得る。

【0014】

したがって、本明細書では、可変リフレッシュレートをサポートする低持続性ディスプレイの一定の明るさを維持するための、技法およびシステムについて説明する。開示されるディスプレイシステムの論理は、ディスプレイ上に対応する第１の画像を提示する目的で、第１のピクセルデータをフレームバッファに出力するように構成され得、第１のピクセルデータは、一連のフレームのうちの第１のフレームに関連付けられる。論理は、一連のフレームのうちの先行フレームに対するディスプレイの発光要素の照明（またはライトパルス）と、提示される第１の画像に対応する第１のフレームに対する発光要素の次回の照明（またはライトパルス）との間の第１の時間の差異を決定し得る。（ディスプレイの瞬時リフレッシュレートを示す）この第１の時間の差異に基づいて、ディスプレイシステムの論理は、ライト出力パラメータの第１の値を決定し得る。ディスプレイ上の第１の画像の提示中に、発光要素は、ライト出力パラメータの第１の値に従って照明するように制御され得る。このプロセスは、各フレームに対するライト出力パラメータの値を動的に決定することによって、一連のフレームにわたって繰り返すことができ、この方法で一連のフレームにわたってライト出力パラメータを変化させる結果として、ディスプレイの明るさは、一連のフレームにわたって実質的に一定のままであり、それによって、ちらつきを排除するか、または少なくとも軽減する。

【0015】

概して、一対の連続したフレームに対応する一対の連続したライトパルス間の時間の差異が比較的短い（比較的高いリフレッシュレートを意味する）場合、ディスプレイシステムの論理は、発光要素から出力されるライトの大きさまたは持続時間の減少を引き起こすライト出力パラメータの値を決定する。一方、一対の連続したライトパルス間の時間の差異が比較的長い（比較的低いリフレッシュレートを意味する）場合、ディスプレイシステムの論理は、発光要素から出力されるライトの大きさまたは持続時間の増加を引き起こすライト出力パラメータの値を決定する。このようにして、比較的低いリフレッシュレートで出力されるライトの大きさおよび／または持続時間を増加させ、比較的高いリフレッシュレートで出力されるライトの大きさおよび／または持続時間を減少させることによって、一定の明るさが達成される。

【0016】

上述のように、ディスプレイの発光要素のライト出力を調節することは、複数の方法で達成することができる。例えば、所与のフレームに対するライトのパルスを、（例えば、より高い光度でライトを発するように発光要素を制御することによって）先行フレームまたは基準パルスの高さよりも高くすることができる。逆の方向では、所与のフレームに対するライトのパルスを、（例えば、より低い光度で発光要素を照明することによって）先行フレームまたは基準パルスの高さよりも短くすることができる。さらに、または代替的に、ライトのパルスをより高くまたはより短くするために、所与のフレームに対するライトのパルスを、（例えば、より長い持続時間にわたって発光要素を照明することによって）先行フレームまたは基準パルスの幅よりも広くすることができる。逆の方向では、所与のフレームに対するライトのパルスを、（例えば、より短い持続時間にわたって発光要素を照明することによって）先行フレームまたは基準パルスの幅よりも薄くすることができる。一定の明るさを維持するために、パルスの下の区域（例えば、パルスを表す正方形の波形の下の区域）は、パルスの高さおよび／もしくは幅（またはパルスの代表的な波形）に対する動的調節にかかわらず、一定のままであってもよい。

【0017】

いくつかの実施形態では、基準フレーム時間は、ディスプレイが一定のままである明るさの目標レベルに関連付けられる。この基準フレーム時間を使用して、ライト出力パラメータの値を決定することができる。例えば、一対の連続したフレームに対応する連続したライトパルス間の時間の差異を決定すると、論理は、時間の差異と基準フレーム時間との比率を決定することができ、この比率を使用して、現在のフレームに対する発光要素のライト出力を調節するためのライト出力パラメータの値を決定することができる。基準フレーム時間は、アプリケーションが目標とするフレームレートの範囲の、最小フレームレートと最大フレームレートとの間の中間フレームレートに対応する時間であってもよい。例えば、アプリケーションが４５フレーム／秒（ＦＰＳ）～１４４ＦＰＳのフレームレートの範囲を目標とする場合、前述の比率を決定するために使用される基準フレーム時間は、およそ１１．１１ｍｓのフレーム時間である９０ＦＰＳのフレームレートでのフレーム時間に対応し得る。これは単に一実施例であり、基準フレーム時間は、本明細書に記載の技法が実装されるディスプレイシステムの仕様に部分的に基づいて構成可能である。

【0018】

本明細書では、ＨＭＤを含むディスプレイシステムなどの低持続性の可変リフレッシュレートディスプレイシステムに「再投影」調節を適用するための、技法およびシステムについても記載する。記載の再投影技法を使用して、所与のフレームがレンダリングされる前に予測される所与のフレームに対する予測照明時間に基づく、ＨＭＤの元の姿勢の予測におけるわずかな不正確さを補償することができる。再投影を使用して、所与のフレームに対してアプリケーションから受信されるピクセルデータを、フレームの実際のレンダリング時間がディスプレイシステムに対して認められた後にＨＭＤの姿勢の更新された予測を考慮に入れる方法でピクセルデータを（例えば、回転および再投影の計算を通じて）変換することなどによって、修正することができる。再投影を使用して、ディスプレイからのライトがユーザの目に到達した時点で正しいピクセルを提示することによって、望ましくない視覚的アーチファクトを軽減することができる。

【0019】

一対の連続したフレームに対するライトの連続したパルス間の時間の差異（瞬時フレームレートを示す時間の差異）に基づいてライト出力を動的に調節することにより、一連のフレームにわたるディスプレイのちらつき（すなわち、明るさの変動）を、除去されない場合に、軽減することができる。これは、再投影とは無関係に、または再投影と組み合わせて行うことができる。動的なライト出力調節を本明細書に記載の再投影技法と組み合わせると、視覚的アーチファクトを軽減しながら、ディスプレイの一定の明るさも維持する、より堅牢なディスプレイシステムが提供される。言い換えれば、本明細書に記載の技法およびシステムにより、ディスプレイシステムは、ユーザが現在見ている場所の正しいシーンを提示し、かつそうしながら、ディスプレイの一定の明るさを維持することができる。

【0020】

本明細書に開示される技法およびプロセスは、ＨＭＤシステムなどのシステムによって実装され得る。本明細書には、本明細書に開示される技法およびプロセスを実装するためのコンピュータ実行可能命令を記憶する非一時的なコンピュータ可読媒体もまた、開示される。本明細書に開示される技法およびシステムを、例として、ビデオゲームアプリケーション、具体的にはＶＲゲームアプリケーションの文脈において考察するが、本明細書に記載の技法およびシステムは、非ＶＲアプリケーション（例えば、ＡＲアプリケーション）、および／または産業機械アプリケーション、防衛アプリケーション、ロボットアプリケーションなどの非ゲームアプリケーションを含むが、これらに限定されない、他のアプリケーションに利益を提供し得ることを理解されたい。さらに、本明細書に記載の技法およびプロセスは、「ニアツーアイ」ディスプレイシステムとみなされない、またはウェアラブルデバイスを伴わない、他のディスプレイシステムなどの非ＨＭＤシステムに実装され得る。さらに、特定の利点を、可変リフレッシュレートをサポートする低持続性ディスプレイシステムについて記載するが、本明細書に記載の技法およびプロセスを他のタイプのディスプレイシステムで実装することができ、本明細書に記載の技法およびプロセスは、必ずしも低持続性ディスプレイシステムまたは可変リフレッシュレートディスプレイシステムに限定されるものではないことを理解されたい。

【0021】

図１は、本明細書に開示される実施形態による、一連のフレームにわたって一定の明るさを維持するために、低持続性の可変リフレッシュレートディスプレイのライト出力を動的に調節するための例示的な技法を説明する図である。図１は、ユーザ１０２によって着用されたヘッドマウントディスプレイ（ＨＭＤ）１００を描写する。ＨＭＤ１００は、本明細書に記載の技法およびプロセスを実装し得る、ディスプレイシステムの実施例である。したがって、ＨＭＤ１００は、本明細書では単に「ディスプレイ」または「ディスプレイシステム」と称されることがある場合がある。図１の実施例のＨＭＤ１００は、ステレオ対のディスプレイパネルの左ディスプレイパネルおよび右ディスプレイパネルなどの、単一のディスプレイパネル１０４または複数のディスプレイパネル１０４を含み得る。ＨＭＤ１００の１つ以上のディスプレイパネル１０４は、ＨＭＤ１００を着用しているユーザ１０２によって視認可能である一連の画像フレーム（以下、「フレーム」と呼ぶ）を提示するために使用され得る。ＨＭＤ１００は、任意の数のディスプレイパネル１０４（例えば、３つ以上のディスプレイパネル、一対のディスプレイパネル、または単一のディスプレイパネル）を含み得ることを理解されたい。したがって、「ディスプレイパネル」という用語は、本明細書において単数として使用される場合、任意の数のディスプレイパネルを有するディスプレイシステムの単一のディスプレイパネル１０４を指し得る（例えば、「ディスプレイパネル」とは、一対のディスプレイパネルのいずれかのディスプレイパネル１０４を指し得る）。例えば、２パネルＨＭＤ１００では、ステレオフレームバッファは、例えば、ＨＭＤ１００の両方のディスプレイパネル上で２１６０×１２００ピクセル（例えば、ディスプレイパネルあたり１０８０×１２００ピクセル）をレンダリングし得る。

【0022】

ＨＭＤ１００は、ディスプレイパネル１０４上でのフレームの提示中に発光要素（例えば、発光ダイオード（ＬＥＤ））を利用してライトを発する、発光ディスプレイなどの任意の好適なタイプのディスプレイ技術を利用し得る。一実施例として、ＨＭＤ１００のディスプレイパネル１０４は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、無機発光ダイオード（ＩＬＥＤ）ディスプレイ、またはＨＭＤアプリケーションのための任意の他の好適なタイプのディスプレイ技術を含み得る。

【0023】

ＨＭＤ１００のディスプレイパネル１０４は、可変リフレッシュレートをサポートし得る。したがって、ＨＭＤ１００は、４５ヘルツ（Ｈｚ）～１４４Ｈｚの範囲、４５Ｈｚ～１２０Ｈｚの範囲、９０Ｈｚ～１４４Ｈｚの範囲、または任意の好適な範囲のリフレッシュレートなどの、任意の好適な範囲のリフレッシュレートにわたって動作可能であってもよい。ディスプレイの「リフレッシュレート」とは、ディスプレイが画像をリフレッシュし得るか、またはスクリーンを再描画し得る、毎秒の回数である。毎秒表示されるフレーム数は、ディスプレイの瞬時リフレッシュレートと同等であり得る。言い換えれば、一連のフレームが処理される（例えば、レンダリングされる）とき、および画像がディスプレイ上に提示されるときの、ＨＭＤ１００の論理は、スクリーンリフレッシュごとに一連のフレームのうちの単一のフレームについて画像を提示するという目的を目標とし得る。

【0024】

ＨＭＤ１００は、「グローバルフラッシング」タイプのディスプレイ駆動方式、または「ローリングバンド」タイプのディスプレイ駆動方式を含むが、これらに限定されない、任意の好適な低持続性駆動方式を実装し得る。グローバルフラッシング技術を使用して、すべての発光要素１０６（例えば、本明細書において「ライト源」１０６と称されることがある発光要素１０６のＭ×Ｎ個のアレイ）が、ディスプレイのすべてのピクセルを照明することによって、所与のフレームに対してディスプレイ上に単一の画像を提示するように、同期して照明し得る。ローリングバンド技法を使用して、発光要素１０６の個々のサブセット、ひいては、ピクセルの個々のサブセットが、照明期間中に照明のローリングバンド内で独立して順次照明され得る。このローリングバンド技法は、発光要素１０６が個々にアドレス指定可能であることによって可能になる場合がある。いくつかの実施形態では、ピクセルのアレイおよびディスプレイパネル１０４上の発光要素１０６の両方は、行および列に配列されるが、必ずしも１つの発光要素１０６対応ごとに１ピクセルではない。この構成では、ローリングバンドタイプのディスプレイ駆動方式の場合、発光要素１０６の個々の行および／もしくは個々の列を順次アドレス指定することができ、かつ／または発光要素１０６の連続する行の個々のグループおよび／もしくは連続する列の個々のグループを順次アドレス指定することができる。この「ローリング」様式で発光要素１０６をアドレス指定する結果、これらの個々にアドレス指定可能な発光要素のサブセットに対応するピクセルのサブセットを独立して「照明」することができる。

【0025】

本明細書で使用される場合、「ピクセルを照明する」とは、そのピクセルに対応する発光要素１０６を照明することを意味する。例えば、ＬＣＤは、バックライトの発光要素１０６を照明して、ディスプレイの対応するピクセルを照明する。さらに、本明細書で使用される場合、「ピクセルのサブセット」は、個々のピクセルまたは複数のピクセル（例えば、ピクセルのグループ）を含み得る。同様に、「発光要素１０６のサブセット」は、個々の発光要素１０６または複数の発光要素１０６（例えば、発光要素１０６のグループ）を含み得る。いくつかの実施形態では、ピクセルのサブセットは、ピクセルの行、ピクセルの列、ピクセルの連続行のグループ、またはピクセルの連続列のグループを含む。同様に、発光要素１０６のサブセットは、発光要素１０６の行、発光要素１０６の列、発光要素１０６の連続行のグループ、または発光要素１０６の連続列のグループを含む。したがって、本明細書に記載の技法およびシステムの態様では、ピクセルのサブセットは、ピクセルの第１の行（例えば、ピクセルの上部行）から始まり、ピクセルの最後の行（例えば、ピクセルの下部行）で終わるピクセルの各行を、対応する発光要素のサブセットを順次照明することなどによって、順次スキャンおよび照明することなどによって、順次スキャンおよび照明することができる。しかしながら、本明細書に記載の技法およびシステムを使用して、任意の好適な照明のパターン（例えば、ヘビのような照明のパターン、列ごとの照明、複数の行／列のピクセルまたは発光要素１０６を一度に順次など）を用いることができる。

【0026】

ディスプレイパネル１０４を駆動するために、ＨＭＤ１００は、とりわけ、マイクロコントローラまたは類似のプロセッサなどのディスプレイコントローラ、ディスプレイドライバ回路、およびディスプレイパネル１０４を駆動するための類似の電子機器を含み得る。ディスプレイドライバ回路は、可撓性のプリント回路上の金属トレースなどの導電路を介して、ディスプレイパネル１０４の発光要素１０６のアレイに連結され得る。一実施例では、ディスプレイコントローラは、ディスプレイドライバ回路に通信可能に連結され、信号、情報、および／またはデータをディスプレイドライバ回路に提供するように構成され得る。ディスプレイドライバ回路によって受信される信号、情報、および／またはデータは、ディスプレイドライバ回路に特定の方法で発光要素１０６を照明させる１つ以上のライト出力パラメータを含み得る。つまり、ディスプレイコントローラは、どの発光要素１０６が照明されるか、いつ要素１０６が照明されるか、ライト出力の大きさ（例えば、パルスの高さ）、および／またはライト出力の持続時間（例えば、パルスの幅）などを決定し得、ディスプレイコントローラは、その目的を達成するために、適切な信号、情報、および／またはデータ（例えば、１つ以上のライト出力パラメータ）をディスプレイドライバ回路に通信し得る。

【0027】

所与のフレームのピクセルデータは、ＨＭＤ１００、またはＨＭＤ１００のディスプレイパネル１０４上の画像としてフレームを提示するためのフレームバッファに出力され得る。各フレームのピクセルデータは、いくつかの実施形態では、ピクセルごとの値（例えば、色値）の二次元アレイを含み得る。いくつかの実施形態では、ピクセルデータは、深度値などの追加のデータまたはメタデータをさらに含む。いくつかの実施形態では、ピクセルデータは、単一の色およびアルファ値のセットによって表される各ピクセルのデータを含み得る（例えば、赤チャネルの１つの色値、緑チャネルの１つの色値、青チャネルの１つの色値、および１つ以上のアルファチャネルの１つ以上の値）。このピクセルデータは、フレームバッファ（例えば、ステレオフレームバッファ）に出力されて、ＨＭＤ１００のディスプレイパネル１０４上の画像に所望の視覚効果を提示し得る。

【0028】

ＨＭＤ１００は、ＶＲゲームシステムで使用するためなど、ＶＲシステムで使用するためのＶＲヘッドセットを表し得る。しかしながら、ＨＭＤ１００は、追加的に、または代替的に、ＡＲアプリケーションで使用するためのＡＲヘッドセットとして実装され得る。ＡＲでは、ユーザ１０２は、現実世界の環境にオーバーレイされた仮想の物体を見るが、ＶＲでは、ユーザ１０２は、現実世界の環境を見ることはなく、ＨＭＤ１００のディスプレイパネル１０４および光学系（例えば、レンズ）を介して知覚されるような仮想環境に完全に没入する。本明細書に記載の実施例は、主にＶＲベースのＨＭＤ１００に関係するが、ＨＭＤ１００は、ＶＲアプリケーションでの実装に限定されず、ディスプレイシステムも、ＨＭＤ１００での実装に限定されないことを理解されたい。

【0029】

概して、ＨＭＤ１００自体、またはディスプレイ／ＨＭＤシステムの一部としてＨＭＤ１００に関連付けられ、かつＨＭＤ１００に連結されたコンピューティングデバイス（例えば、パーソナルコンピュータ（ＰＣ）、ゲームコンソールなど）のようなコンピューティングデバイス上で実行されるグラフィックスベースのアプリケーション（例えば、ビデオゲーム）は、一連のフレームを出力するように構成され得る。一連のフレームは、最終的に、ＨＭＤ１００のディスプレイパネル１０４上の画像として提示される。単一のフレームに対応する単一の画像の提示中に、低持続性ディスプレイシステムは、ディスプレイパネル１０４の発光要素１０６をパルス化するように構成されており、その結果、ライトをユーザ１０２の目に向かって発することにより、ユーザ１０２はライト１０８のパルス化中にディスプレイ上に提示される画像を見ることができる。図１に示されるタイムライン１１０は、ディスプレイシステムの可変リフレッシュレートで発生し得る一連のライトパルス１０８（１）、１０８（２）、…１０８（Ｎ）（集合的に１０８）を照明する。これらのライトパルス１０８の各々は、所与のフレームに対する発光要素１０６からのライトの個別の発出を表す。一連のライトパルス１０８は、ＨＭＤ１００のリフレッシュレートを、フレームをレンダリングしているアプリケーションのフレームレートに一致させる論理に起因するアプリケーションによる一連のフレームのレンダリングからオフセットされるが、それと同期される。

【0030】

図１のタイムライン１１０によって示されるように、ＨＭＤ１００は、経時的に、（タイムライン１１０の左側に向かって）比較的高いリフレッシュレートから、（タイムライン１１０の右側に向かって）比較的低いリフレッシュレートに移行する。説明の実施例では、タイムライン１１０の左側に向かうリフレッシュレートは、１４４Ｈｚほどであってもよく、タイムライン１１０の右側に向かうリフレッシュレートは、６０Ｈｚほどであってもよい。この点で、図１のタイムライン１１０は縮尺どおりではないが、単に可変リフレッシュレートを全般的に説明している。

【0031】

図１は、ディスプレイが一定のままである明るさの目標レベルに関連付けられ得る、基準フレーム時間１１２（「公称」フレーム時間と称されることもある）を示す。基準フレーム時間１１２がおよそ１１．１１ｍｓであり、９０Ｈｚのリフレッシュレートに対応する、実施例を考慮する。この実施例では、リフレッシュレートが９０Ｈｚで一定のままであった場合、発光要素１０６は、図１のタイムライン１１０の中央に示されるように、パルスの持続時間１１４およびパルスの大きさ１１６を有する、ライトパルス１０８に対応するライト出力パラメータの値に従って、一連のフレームにわたって一貫して照明される。基準フレーム時間１１２に対応するリフレッシュレートにおける、パルスの持続時間１１４およびパルスの大きさ１１６を有するライトパルス１０８は、ディスプレイが一定のままである明るさの目標レベルを達成する。したがって、リフレッシュレートが変化するにつれて、この目標レベルで明るさを一定に保つために、ライト出力調節が動的に行われる。

【0032】

タイムライン１１０の左側に向かう比較的高いリフレッシュレートの間、およびライトパルス１０８（１）とライトパルス１０８（２）との間の時間において、ディスプレイシステムの論理は、ライトパルス１０８（１）（つまり、一連のフレームのうちの先行フレームに対する発光要素１０６の照明）と、次回のライトパルス１０８（２）（つまり、現在のフレームに対する発光要素１０６の次回の照明）との間の第１の時間の差異１１８（１）を決定し得る。第１の時間の差異１１８（１）（瞬時リフレッシュレートを示す）に少なくとも部分的に基づいて、論理は、ライト出力パラメータの値を決定し得る。図１の実施例では、ライト出力パラメータは、現在のフレームに対するライトパルス１０８（２）の高さに対応するか、または当該高さを必要とする。したがって、時間の差異１１８（１）に基づいて決定されるライト出力パラメータのこの値を使用して、特定の大きさでライトパルス１０８（２）を発するように発光要素１０６を制御することができる。ライトパルス１０８（２）のこの特定の大きさは、基準フレーム時間１１２の明るさの目標レベルに関連付けられたパルスの大きさ１１６よりも小さいものとして図１に示される。言い換えれば、タイムライン１１０の左に向かうリフレッシュレートが、タイムライン１１０の中央の基準フレーム時間１１２に対応するリフレッシュレートよりも高いため、ライトパルス１０８（２）の高さまたは大きさを、ライト出力調節１２０（１）を介して、基準フレーム時間１１２に関連付けられたパルスの大きさ１１６よりも小さい大きさに調節することができる。つまり、破線の輪郭は、パルスの大きさ１１６およびパルスの持続時間１１４における、「基準パルス」を表し、しっかりした輪郭は、実際のライトパルス１０８（２）を表し、基準パルスは、基準パルスの大きさ１１６に対するライトパルス１０８（２）の大きさを説明するために示される。ライトパルス１０８（２）に対するライト出力の光度を制御することは、基準フレーム時間１１２に対応するリフレッシュレートで発光要素１０６を駆動するために使用され得る、電流および／または電圧よりも低い電流および／または電圧で発光要素１０６を駆動することを含み得る。いくつかの実施形態では、ライト出力（またはライト出力調節１２０（１））の制御は、ライトパルス１０８（２）のライト出力を制御するためにデジタル化された値を設定することによってデジタル方式で実施される。

【0033】

タイムライン１１０の右側に向かう比較的低いリフレッシュレートの間、およびライトパルス１０８（Ｎ－１）とライトパルス１０８（Ｎ）との間の時間において、ディスプレイシステムの論理は、ライトパルス１０８（Ｎ－１）（または、一連のフレームのうちの先行フレームに対する発光要素１０６の照明）と、次回のライトパルス１０８（Ｎ）（または、現在のフレームに対する発光要素１０６の次回の照明）との間のＮ番目の時間の差異１１８（Ｎ）を決定し得る。Ｎ番目の時間の差異１１８（Ｎ）（瞬時リフレッシュレートを示す）に少なくとも部分的に基づいて、論理は、現在のフレームに対するライトパルス１０８（Ｎ）の高さに対応し得るか、または当該高さを必要とし得る、ライト出力パラメータの値を決定し得る。したがって、時間の差異１１８（Ｎ）に基づいて決定されるライト出力パラメータのこの値を使用して、特定の大きさでライトパルス１０８（Ｎ）を発するように発光要素１０６を制御することができる。ライトパルス１０８（Ｎ）のこの特定の大きさは、基準フレーム時間１１２の明るさの目標レベルに関連付けられたパルスの大きさ１１６よりも大きいものとして図１に示される。言い換えれば、タイムライン１１０の右に向かうリフレッシュレートが、タイムライン１１０の中央の基準フレーム時間１１２に対応するリフレッシュレートよりも低いため、ライトパルス１０８（Ｎ）の高さまたは大きさを、ライト出力調節１２０（Ｎ）を介して、基準フレーム時間１１２に関連付けられたパルスの大きさ１１６よりも大きい大きさに調節することができる。ライトパルス１０８（Ｎ）に対するライト出力の光度を制御することは、基準フレーム時間１１２に対応するリフレッシュレートで発光要素１０６を駆動するために使用され得る、電流および／または電圧よりも高い電流および／または電圧で発光要素１０６を駆動することを含み得る。いくつかの実施形態では、ライト出力（またはライト出力調節１２０（Ｎ））の制御は、ライトパルス１０８（Ｎ）のライト出力を制御するためにデジタル化された値を設定することによってデジタル方式で実施される。特に、ディスプレイ駆動回路は、パルスの高さを増加させる能力を提供するのに十分な（または余分な）バンド幅を有する。

【0034】

いくつかの実施形態では、基準フレーム時間１１２を使用して、図１に示されるライトパルス１０８の大きさに対応するライト出力パラメータの値を決定する。例えば、ディスプレイシステムの論理は、第１の時間の差異１１８（１）と基準フレーム時間１１２との比率を決定し得、この比率を使用して、ライトパルス１０８（２）に関連付けられたライト出力調節１２０（１）のためのライト出力パラメータの値を決定することができる。第１の時間の差異１１８（１）が、１２０Ｈｚのリフレッシュレートに対応する、およそ８．３ｍｓであり、基準フレーム時間１１２が、９０Ｈｚのリフレッシュレートに対応する、およそ１１．１１ｍｓである、実施例を考慮する。この実施例では、以下の比率を計算することができる。

【数1】

この実施例では、ライトパルス１０８（２）は、基準フレーム時間１１２に対する明るさの目標レベルに関連付けられたパルスの大きさ１１６のおよそ７５％の大きさに調節され得る。パルス１０８（１）および１０８（２）は時間的に比較的互いにより近いため、パルスの大きさの下方調節は、ＨＭＤ１００に対して一定の明るさを維持する比較的高いリフレッシュレートで、より密集して束ねられたライトパルス１０８によって引き起こされた明るさの増加を補償する。

【0035】

Ｎ番目の時間の差異１１８（Ｎ）が、６０Ｈｚのリフレッシュレートに対応する、およそ１６．６６ｍｓであり、基準フレーム時間１１２が依然として１１．１１ｍｓである、実施例を考慮する。この実施例では、以下の比率を計算することができる。

【数2】

この実施例では、ライトパルス１０８（Ｎ）は、基準フレーム時間１１２に対する明るさの目標レベルに関連付けられたパルスの大きさ１１６のおよそ１５０％の大きさに調節され得る。パルス１０８（Ｎ－１）および１０８（Ｎ）は時間的に比較的遠く離れているため、パルスの大きさの上方調節は、ＨＭＤ１００に対して一定の明るさを維持する比較的低いリフレッシュレートで、より分散したライトパルス１０８によって引き起こされた明るさの減少を補償する。

【0036】

図２は、本明細書に開示される実施形態による、一連のフレームにわたって一定の明るさを維持するために、低持続性の可変リフレッシュレートディスプレイのライト出力を動的に調節するための別の例示的な技法を説明する図である。図１の実施例と同様に、図２のタイムライン２１０によって示されるように、ＨＭＤ２００は、経時的に、（タイムライン２１０の左側に向かって）比較的高いリフレッシュレートから、（タイムライン２１０の右側に向かって）比較的低いリフレッシュレートに移行する。説明の実施例では、タイムライン２１０の左側に向かうリフレッシュレートは、１４４Ｈｚほどであってもよく、タイムライン２１０の右側に向かうリフレッシュレートは、６０Ｈｚほどであってもよい。この点で、図２のタイムライン２１０もまた縮尺どおりではないが、単に可変リフレッシュレートを全般的に説明している。

【0037】

図２は、ここでもまた、ディスプレイが一定のままである明るさの目標レベルに関連付けられ得る、基準フレーム時間２１２を示す。基準フレーム時間２１２に対応するリフレッシュレートにおける、パルスの持続時間２１４およびパルスの大きさ２１６を有するライトパルス２０８は、ディスプレイが一定のままである明るさの目標レベルを達成する。したがって、リフレッシュレートが変化するにつれて、この目標レベルで明るさを一定に保つために、ライト出力調節が動的に行われる。

【0038】

タイムライン２１０の左側に向かう比較的高いリフレッシュレートの間、およびライトパルス２０８（１）とライトパルス２０８（２）との間の時間において、ディスプレイシステムの論理は、ライトパルス２０８（１）（つまり、一連のフレームのうちの先行フレームに対する発光要素２０６の照明）と、次回のライトパルス２０８（２）（つまり、現在のフレームに対する発光要素２０６の次回の照明）との間の第１の時間の差異２１８（１）を決定し得る。第１の時間の差異２１８（１）（瞬時リフレッシュレートを示す）に少なくとも部分的に基づいて、論理は、ライト出力パラメータの値を決定し得る。図２の実施例では、ライト出力パラメータは、現在のフレームに対するライトパルス２０８（２）の幅に対応するか、または当該幅を必要とする。したがって、時間の差異２１８（１）に基づいて決定されるライト出力パラメータのこの値を使用して、特定の持続時間にわたってライトパルス２０８（２）を発するように発光要素２０６を制御することができる。ライトパルス２０８（２）のこの特定の持続時間は、基準フレーム時間２１２の明るさの目標レベルに関連付けられたパルスの大きさ２１４よりも短いものとして図２に示される。言い換えれば、タイムライン２１０の左に向かうリフレッシュレートが、タイムライン２１０の中央の基準フレーム時間２１２に対応するリフレッシュレートよりも高いため、ライトパルス２０８（２）の幅または持続時間を、ライト出力調節２２０（１）を介して、基準フレーム時間２１２に関連付けられたパルスの持続時間２１４よりも少ない持続時間に調節することができる。ライトパルス２０８（２）に対するライト出力の持続時間を制御することは、発光要素２０６が、基準フレーム時間２１２に対応するリフレッシュレートで駆動され得る時間量よりも短い時間量にわたって発光要素２０６を駆動することを含み得る。いくつかの実施形態では、ライト出力（またはライト出力調節２２０（１））の制御は、ライトパルス２０８（２）のライト出力を制御するためにデジタル化された値を設定することによってデジタル方式で実施される。

【0039】

タイムライン２１０の右側に向かう比較的低いリフレッシュレートの間、およびライトパルス２０８（Ｎ－１）とライトパルス２０８（Ｎ）との間の時間において、ディスプレイシステムの論理は、ライトパルス２０８（Ｎ－１）（または、一連のフレームのうちの先行フレームに対する発光要素２０６の照明）と、次回のライトパルス２０８（Ｎ）（または、現在のフレームに対する発光要素２０６の次回の照明）との間のＮ番目の時間の差異２１８（Ｎ）を決定し得る。Ｎ番目の時間の差異２１８（Ｎ）（瞬時リフレッシュレートを示す）に少なくとも部分的に基づいて、論理は、現在のフレームに対するライトパルス２０８（Ｎ）の幅に対応し得るか、または当該幅を必要とし得る、ライト出力パラメータの値を決定し得る。したがって、時間の差異２１８（Ｎ）に基づいて決定されるライト出力パラメータのこの値を使用して、特定の持続時間にわたってライトパルス２０８（Ｎ）を発するように発光要素２０６を制御することができる。ライトパルス２０８（Ｎ）のこの特定の持続時間は、基準フレーム時間２１２の明るさの目標レベルに関連付けられたパルスの持続時間２１４よりも長いものとして図２に示される。言い換えれば、タイムライン２１０の右に向かうリフレッシュレートが、タイムライン２１０の中央の基準フレーム時間２１２に対応するリフレッシュレートよりも低いため、ライトパルス２０８（Ｎ）の高さまたは大きさを、ライト出力調節２２０（Ｎ）を介して、基準フレーム時間２１２に関連付けられたパルスの持続時間２１４よりも大きい、幅または持続時間に調節することができる。ライトパルス２０８（Ｎ）に対するライト出力の持続時間を制御することは、発光要素２０６が、基準フレーム時間２１２に対応するリフレッシュレートで駆動され得る時間量よりも長い時間量にわたって発光要素１０６を駆動することを含み得る。いくつかの実施形態では、ライト出力（またはライト出力調節２２０（Ｎ））の制御は、ライトパルス２０８（Ｎ）のライト出力を制御するためにデジタル化された値を設定することによってデジタル方式で実施される。特に、ディスプレイ駆動回路は、パルスの幅を増加させる能力を提供するのに十分な（または余分な）バンド幅を有する。

【0040】

ここでもまた、基準フレーム時間２１２を使用して、図２に示されるライトパルス１０８の持続時間に対応するライト出力パラメータの値を決定することができる。例えば、ディスプレイシステムの論理は、第１の時間の差異２１８（１）と基準フレーム時間２１２との比率を決定し得、この比率を使用して、ライトパルス２０８（２）に関連付けられたライト出力調節２２０（１）のためのライト出力パラメータの値を決定することができる。第１の時間の差異２１８（１）が、１２０Ｈｚのリフレッシュレートに対応する、およそ８．３ｍｓであり、基準フレーム時間２１２が、９０Ｈｚのリフレッシュレートに対応する、およそ１１．１１ｍｓである、実施例を考慮する。この実施例では、以下の比率を計算することができる。

【数3】

この実施例では、ライトパルス２０８（２）は、基準フレーム時間２１２に対する明るさの目標レベルに関連付けられたパルスの持続時間２１４のおよそ７５％の持続時間に調節され得る。パルス２０８（１）および２０８（２）は時間的に比較的互いにより近いため、パルスの持続時間を短くすることは、ＨＭＤ２００に対して一定の明るさを維持する比較的高いリフレッシュレートで、より密集して束ねられたライトパルス２０８によって引き起こされた明るさの増加を補償する。

【0041】

Ｎ番目の時間の差異２１８（Ｎ）が、６０Ｈｚのリフレッシュレートに対応する、およそ１６．６６ｍｓであり、基準フレーム時間２１２が依然として１１．１１ｍｓである、実施例を考慮する。この実施例では、以下の比率を計算することができる。

【数4】

この実施例では、ライトパルス２０８（Ｎ）は、基準フレーム時間２１２に対する明るさの目標レベルに関連付けられたパルスの持続時間２１４のおよそ１５０％の持続時間に調節され得る。パルス２０８（Ｎ－１）および２０８（Ｎ）は時間的に比較的遠く離れているため、パルスの持続時間を長くすることは、ＨＭＤ２００に対して一定の明るさを維持する比較的低いリフレッシュレートで、より分散したライトパルス２０８によって引き起こされた明るさの減少を補償する。

【0042】

いくつかの実施形態では、図１および２に示されるそれぞれのアプローチを組み合わせることができる。例えば、ライトパルス１０８／２０８の大きさに対応する第１のライト出力パラメータの第１の値を決定し、ライトパルス１０８／２０８の持続時間に対応する第２のライト出力パラメータの第２の値を決定することによって、ライトパルス１０８の大きさおよび持続時間を動的に調節することができ、発光要素を、第１の値および第２の値の両方に従って照明して、ライト出力を調節する。

【0043】

ディスプレイシステムがローリングバンドタイプのディスプレイ駆動方式を使用する実施形態では、ライト出力は、所与のフレームの照明期間中にディスプレイパネル１０４／２０４を横断するローリングバンドの厚さを変更することによって少なくとも部分的に調節され得る。つまり、ライト出力パラメータの値は、同時に照明されるいくつかの発光要素（例えば、照明のローリングバンドを構成するいくつかの行）に対応し得る。グローバルフラッシングタイプのディスプレイ駆動方式を使用するディスプレイシステムは、ライトパルス１０８／２０８の持続時間を調節することができ、一方、ライトパルスの持続時間を調節することに等しいローリングバンドは、照明期間中に同時に照明される発光要素の数を調節する（例えば、増加または減少させる）ことができる。「より厚い」ローリングバンドは、ライトパルスの持続時間を効果的に短縮し得、一方、「より薄い」ローリングバンドは、ライトパルスの持続時間を効果的に長くし得る。

【0044】

連続した一対のフレームに対応する連続した一対のライトパルス１０８／２０８間の時間の差異１１８／２１８を決定することは、一対のライトパルス１０８／２０８または一対のフレーム間の任意の２つの対応する点の間の時間の差異を決定することを含み得ることを理解されたい。例えば、各ライトパルス１０８／２０８の開始点と、各ライトパルス１０８／２０８の中間点と、各ライトパルス１０８／２０８の終了点との間などの時間の差異１１８／２１８を決定することができる。ディスプレイシステムの論理は、いくつかの実施形態では、各アプリケーションによってレンダリングされたフレーム間のピクセルデータにフレーム開始マーカを含み得、これらのフレーム開始マーカを使用して、ライト出力パラメータの値を決定する目的で時間の差異を決定することができる。

【0045】

図３は、本明細書に開示される実施形態による、可変フレームレートでの再投影により一連のフレーム３０２をレンダリングし、対応する画像を可変リフレッシュレートで提示するための、例示的なタイムライン３１０（１）および３１０（２）を説明する図である。図３の実施例は、レンダリングタイムライン３１０（１）に関して３つの例示的なフレーム３０２（１）（またはフレーム「Ｆ」）、３０２（２）（またはフレーム「Ｆ＋１」）、および３０２（３）（またはフレーム「Ｆ＋２」）を図示して、フレーム３０２が直列にレンダリングされ得る方法を説明する。ここで、アプリケーション３０４は、レンダリングタイムライン３１０（１）上で左から右に、順次、最初にフレームＦ、次いで、フレームＦ＋１、さらに次いで、フレームＦ＋２をレンダリングする。レンダリングタイムライン３１０（１）はまた、各フレーム３０２の各レンダリング間隔の終端に向かって、ＨＭＤ１００／２００（またはディスプレイシステム）のコンポジタ３０８のレンダリング作業負荷３０６を示す。アプリケーション３０４は、各フレーム３０２をレンダリングするのにある量の時間を費やす。この時間量は、図３において、アプリケーションレンダリング時間３１２として示される。フレームレートは変化し得るため、フレーム３０２（１）（またはフレーム「Ｆ」）のアプリケーションレンダリング時間３１２（１）、フレーム３０２（２）（またはフレーム「Ｆ＋１」）のアプリケーションレンダリング時間３１２（２）、およびフレーム３０２（２）（またはフレーム「Ｆ＋２」）のアプリケーションレンダリング時間３１２（３）は、異なる時間量であってもよい。図３は、アプリケーションレンダリング時間３１２がフレームＦからフレームＦ＋２まで漸進的に長くなる実施例を示す。

【0046】

所与のフレーム３０２についてのコンポジタ３０８の個々のレンダリング作業負荷３０６は、ＨＭＤ１００／２００上に最終画像をレンダリングする前に、アプリケーション３０４によって出力されたピクセルデータに適用される調節を表し得る。レンダリング作業負荷３０６は、アプリケーション３０４のレンダリング作業負荷の約１％～５％であってもよく、これは、通常、アプリケーション３０４がフレーム３０２をレンダリングするには、コンポジタ３０８がコンポジタ３０８のレンダリング作業負荷３０６中にアプリケーション３０４によって出力されたピクセルデータに調節を適用するよりもはるかに長い時間がかかることを意味する。かかる調節には、ＨＭＤ１００／２００上に最終画像をレンダリングする前に、アプリケーション３０４によって出力されたフレーム３０２に適用される、色彩収差、パネルマスキング、再投影などのための調節が含まれ得るが、これらに限定されない。アプリケーション３０４は、ビデオゲームアプリケーション、または任意の他のタイプのグラフィックスベースのアプリケーションを表し得る。アプリケーション３０４は、ピクセルデータを出力するグラフィックスパイプラインで実行され得、コンポジタ３０８は、そのピクセルデータを修正し、修正されたピクセルデータをフレームバッファ（例えば、ステレオフレームバッファ）に出力するように構成される。

【0047】

アプリケーション３０４が所与のフレーム３０２のレンダリングを開始する前に、ディスプレイシステム（例えば、コンポジタ３０８）の論理は、所与のフレーム３０２についての予測照明時間３１４を決定し得、これは、発光要素１０６／２０６が所与のフレーム３０２に対して照明する時間を表す。フレーム３０２（１）、３０２（２）、および３０２（３）の実際の照明時間３１４（１）、３１４（２）、および３１４（３）はそれぞれ、「スキャンアウト＋照明」タイムライン３１０（２）上に示される。コンポジタ３０８（または他の論理）は、この照明時間３１４をフレームごとに予測することをタスクとし、これは、可変フレームレートおよび可変リフレッシュレートに起因して可変である。コンポジタ３０８による照明時間３１４の予測は、過去のアプリケーションレンダリング時間３１２に基づき得る。例えば、コンポジタ３０８は、先行フレーム（図３に示されていないフレームＦ－１）のアプリケーションレンダリング時間３１２を調べることができ、フレームＦのアプリケーションレンダリング時間３１２（１）が先行フレームと同じであると仮定することができる。コンポジタ３０８は、固定スキャンアウト時間３１６を予測アプリケーションレンダリング時間３１２に追加して、予測照明時間３１４を決定することができる。

【0048】

この予測照明時間３１４を、ＨＭＤ１００／２００のヘッド追跡システムによって生成されたヘッド追跡データとともに使用して、ＨＭＤ１００／２００が所与のフレーム３０２の予測照明時間３１４でとる予測姿勢を決定する。コンポジタ３０８は、フレーム３０２をレンダリングするために、この予測姿勢を示す姿勢データをアプリケーション３０４に送信し、フレーム３０２のレンダリングが終了したときに、アプリケーション３０４から、フレーム３０２のピクセルデータを受信する。姿勢データを事前にアプリケーション３０４に提供することにより、アプリケーション３０４は、将来の予測照明時間３１４におけるユーザの１０２／２０２の頭の予測姿勢に対して正しい方法で、ＨＭＤ１００／２００上で画像をレンダリングするためのピクセルデータを出力することができる。これは、アプリケーション３０４が、ディスプレイパネル１０４／２０４からのライトがユーザの１０２／２０２の目に到達するときの、照明時間３１４におけるユーザの頭の予測姿勢に適切なシーンをレンダリングすることを意味する。図３の実施例では、フレームＦがアプリケーション３０４によってレンダリングされた後に、コンポジット３０８は、フレームＦの実際のアプリケーションレンダリング時間３１２（１）を決定し得、照明時間３１４に対してのコンポジット３０８の予測を更新し得、照明時間３１４に対してのこの更新予測に基づいて、ＨＭＤ１００／２００の新しい予測姿勢を決定することができる。ＨＭＤ１００／２００の元の予測姿勢およびＨＭＤ１００／２００の新しい予測姿勢に基づいて（例えば、姿勢データの２つのセットを比較することによって）、コンポジタ３０８は、再投影調節を決定し、これらの再投影調節を、レンダリング作業負荷３０６（１）の間にピクセルデータに適用して、フレームＦのピクセルデータを修正することができる。フレームＦの修正されたピクセルデータは、フレームバッファに出力され、スキャンアウト時間３１６（１）の間にスキャンアウトされて、照明時間３１４（１）においてＨＭＤ１００／２００のディスプレイパネル１０４上に、（再投影調節で修正された）フレームＦに対応する画像を提示する。スキャンアウト時間３１６の間、フレームＦのピクセル値（ピクセルデータ）のサブセットは、ディスプレイポート（例えば、高精細マルチメディアインターフェイス（ＨＤＭＩ（登録商標）））を介してディスプレイパネル１０４に順次スキャンアウトされる。照明時間３１４の間、ディスプレイパネル１０４の発光要素１０６／２０６は、ピクセルを照明させるために照明される。照明は、すべての発光要素１０６／２０６が同時に行われるグローバルフラッシングであっても、発光要素１０６／２０６のサブセットが順次行われるローリング照明であってもよい。いずれの場合も、照明は、本明細書では、所与のフレームに対するライト１０８／２０８のパルスとして考慮される。

【0049】

ＨＭＤ１００／２００（またはディスプレイシステム）のグラフィックス論理は、非同期であっても、同期であってもよい。非同期システムでは、コンポジタ３０８は、ＨＭＤ１００／２００（ディスプレイシステムまたはＨＭＤシステム）のグラフィックス処理ユニット（ＧＰＵ）上のアプリケーション３０４とは別個に（別個の非同期スレッド上で）実行される。例えば、アプリケーション３０４は、コンポジタ３０８から姿勢データを受信するための関数を呼び出し得、コンポジタ３０８は、アプリケーション３０４に、シーンのレンダリングに使用される仮想カメラ姿勢に対応する姿勢データに従って、アプリケーション３０４がフレーム３０２（１）（例えば、フレームＦ）をレンダリングすることができるように、（フレームＦの予測照明時間３１４（１）に対して予測された）要求された姿勢データを提供し得る。可変リフレッシュレートがサポートされているため、コンポジタの作業負荷３０６は、アプリケーション３０４がフレーム３０２のレンダリングを終了した後に開始する（アプリケーションレンダリング時間３１２は可変である）。コンポジタ３０８は、アプリケーション３０４からフレーム３０２（例えば、左右の画像）を受け取り、ＨＭＤ１００／２００のディスプレイパネル１０４／２０４上のバックバッファ内にフレーム３０２を歪ませるように構成され得る。コンポジタ３０８のこの作業負荷３０６の間、再投影調節が適用され得る。

【0050】

リフレッシュレートをアプリケーション３０４のフレームレートに動的に一致させることによって、新たにレンダリングされたフレーム３０２が、スクリーンリフレッシュごとにアプリケーション３０４から受信され、所与のフレーム３０２に対応する画像が、存在する場合、小さな規模の再投影調節のみで提示され得る。予測アプリケーションレンダリング時間３１２が正確である場合、再投影調節の程度は最小限に抑えられる。アプリケーションレンダリング時間３１２の不正確な予測、ひいては、不正確な姿勢予測であっても、ディスプレイシステムの可変リフレッシュレート機能により、再投影の量は小さくなり、これは、移動する物体またはアニメーション化される物体に関して再投影によって引き起こされる望ましくない視覚的アーチファクトが軽減されることを意味する。

【0051】

本明細書に記載のプロセスは、論理フローグラフ内のブロックの集合として説明され、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせ（すなわち、論理）に実装することができる一連の動作を表す。ソフトウェアの文脈において、ブロックは、コンピュータ実行可能命令を表し、コンピュータ実行可能命令は、１つ以上のプロセッサによって実行されると、列挙された動作を実施する。概して、コンピュータ実行可能命令は、特定の機能を実施するか、または特定の抽象データタイプを実装する、ルーチン、プログラム、物体、構成要素、データ構造などを含む。動作が記載される順番は、限定として解釈されることを意図するものではなく、記載される任意の数のブロックは、プロセスを実装するために任意の順番で、および／または並列に組み合わせることができる。

【0052】

図４は、本明細書に開示される実施形態による、低持続性の可変リフレッシュレートディスプレイシステムでの再投影によりフレームをレンダリングするための例示的なプロセス４００のフロー図を説明する。考察目的で、前図を参照してプロセス４００を説明する。

【0053】

４０２において、一連のフレームのうちのあるフレーム３０２は、ＨＭＤ１００／２００のディスプレイパネル１０４／２０４上に対応する画像を提示するためにレンダリングされ得る。考察目的で、このフレーム３０２を第１のフレーム３０２（１）と称する。ＨＭＤ１００／２００が一対のディスプレイパネルを含む場合、第１のフレーム３０２（１）は、左ディスプレイパネル１０４／２０４上に第１の画像を提示し、右ディスプレイパネル１０４／２０４上に第２の画像を提示するために、またはその逆のためにレンダリングされ得る。４０２内の様々なサブブロックによって示されるように、ブロック４０２において第１のフレーム３０２（１）をレンダリングする目的で、ＨＭＤ１００／２００（またはＨＭＤシステム）の論理によって実施される様々なサブ動作が存在し得る。

【0054】

サブブロック４０４において、ＨＭＤ１００／２００（またはＨＭＤシステム）の論理（例えば、コンポジタ３０８を含む論理）は、第１のフレーム３０２（１）に対する予測照明時間３１４（１）を決定し得る。この照明時間の予測の前に、アプリケーション３０４は、ＨＭＤ１００／２００の姿勢を求めるコンポジタ３０８に対して呼び出しを行うことができ、これにより、アプリケーション３０４は、そのＨＭＤの姿勢に対して第１のフレーム３０２（１）を適切にレンダリングすることができる。サブブロック４０４で決定された予測照明時間３１４は、発光要素１０６／２０６が第１のフレーム３０２（１）に対して照明する時間を表し得る。言い換えると、サブブロック４０４における照明時間の予測は、第１のフレーム３０２（１）に対応する画像がＨＭＤ１００／２００のディスプレイパネル１０４／２０４上に提示されたときに、ライトがユーザ１０２／２０２の目に実際に到達するときの予測である。サブブロック４０４内のサブブロック４０６および４０８によって示されるように、サブブロック４０４において予測照明時間３１４（１）を決定する目的で、ＨＭＤ１００／２００（またはＨＭＤシステム）の論理によって実施される様々なサブ動作が存在し得る。

【0055】

サブブロック４０６において、ＨＭＤ１００／２００（またはＨＭＤシステム）の論理（例えば、コンポジタ３０８を含む論理）は、アプリケーション３０４が先行フレーム３０２をレンダリングするのに費やした第１の時間量を決定し得る。

【0056】

サブブロック４０８において、論理は、サブブロック４０６で決定された第１の時間量に少なくとも部分的に基づいて、アプリケーション３０４が第１のフレーム３０２（１）をレンダリングするのに費やす時間量を表す予測レンダリング時間３１２（１）を決定し得る（アプリケーションレンダリング時間３１２は、シーンの複雑さおよび／または処理リソースに対する現在の負荷などに応じて、一連のフレーム３０２にわたって可変であるため）。一実施例では、アプリケーション３０４が先行フレーム３０２をレンダリングするのに１１ｍｓを費やした場合、サブブロック４０８で決定された予測レンダリング時間３１２（１）は、同じ時間量１１ｍｓであってもよい。これは、次回のフレーム３０２が、先行フレーム３０２がレンダリングに要した時間と同じくらいレンダリングに要すると仮定することが適度に安全であるという考えに基づく。サブブロック４０８で決定された予測レンダリング時間３１２（１）は、アプリケーション３０４が第１のフレーム３０２（１）のレンダリングを終了する予測時間の形態であり得るか、またはアプリケーション３０４が第１のフレーム３０２（１）をレンダリングするために（例えば、開始から終了まで）かかる予測時間量の形態であり得る。したがって、サブブロック４０６および４０８は、第１のフレーム３０２（１）に対するアプリケーションレンダリング時間３１２（１）の予測が、前のフレーム３０２（すなわち、第１のフレーム３０２（１）の前に来たフレーム３０２）の１つ以上の過去のレンダリング時間３１２にどのように基づいているかを説明する。しかしながら、アプリケーションレンダリング時間３１２（１）の予測は、シーンの複雑さ、現在の処理負荷などといった、様々な他のファクタに基づき得ることを理解されたい。

【0057】

簡単に言えば、アプリケーションレンダリング時間３１２（１）（すなわち、アプリケーション３０４が第１のフレーム３０２（１）をレンダリングするための時間量）は可変であるが、第１のフレーム３０２（１）に対するスキャンアウト時間３１６（１）は固定され、スキャンアウト時間３１６（１）に照明時間３１４（１）を加えたものは、可能なフレームレートの範囲の中で最速のフレームレートに対応し得る。したがって、フレームレートが、ハイエンドで、例えば、可変リフレッシュレートディスプレイのために１４４Ｈｚにプッシュされる場合、ピクセルデータはスキャンアウトされ、画像が、およそ６．９ｍｓごとに、各フレーム３０２に対してディスプレイ上に提示される。言い換えれば、フレームバッファからピクセルデータをスキャンアウトし、所与のフレーム３０２に対してディスプレイ上でピクセルを照明するのに約６．９ｍｓかかるはずである（ハイエンドで１４４Ｈｚのリフレッシュレートを達成することができるディスプレイシステムの場合）。ピクセルデータがスキャンアウトされた後に発生する（技術的には期間である）照明時間３１４（１）は、アプリケーションレンダリング時間３１２（１）およびスキャンアウト時間３１６（１）の両方と比較して、非常に短い。照明時間３１４（１）は、沈降時間も含む。例えば、ＬＣＤの場合、結晶は、多くの場合、沈降するのに数ｍｓ余分に時間を要するので、発光要素１０６／２０６は、結晶が沈降した後に照明される。これらの期間の一部またはすべてが、サブブロック４０４において予測照明時間３１４（１）を決定するために考慮され得る。最低でも、フレームレートが可変であるため、予測照明時間３１４（１）は、第１のフレーム３０２（１）に対する予測アプリケーションレンダリング時間３１２（１）に少なくとも部分的に基づいて決定される。いくつかの実施形態では、ローリングバンドタイプのディスプレイ駆動方式などでは、サブブロック４０４における照明時間の予測は、ディスプレイパネル１０４／２０４上で、ユーザ１０２／２０２がどこを見るかの予測に基づき得、これは、ＨＭＤ１００／２００の目追跡システムによって生成された目追跡データから決定され得る。

【0058】

いくつかの実施形態では、サブブロック４０６において、論理は、複数の前のフレーム３０２に対するアプリケーションレンダリング時間３１２を決定し得、第１のフレーム３０２（１）に対するアプリケーションレンダリング時間３１２（１）を予測するために、これらの過去のレンダリング時間に基づいて平均アプリケーションレンダリング時間３１２を決定し得る。例えば、論理は、アプリケーション３０４が先行フレーム３０２をレンダリングするのに費やした第１の時間量と、アプリケーション３０４が先行フレーム３０２に先行する前のフレーム３０２をレンダリングするのに費やした第２の時間量と、を決定し得、次いで、第１の時間量および第２の時間量に基づいて、平均レンダリング時間３１２が決定され得る。この実行中の平均レンダリング時間の計算のために考慮すべき前のフレーム３０２の数が構成可能である（例えば、１０個の最近レンダリングされた（前の）フレーム３０２のレンダリング時間３１２に基づいて平均レンダリング時間３１２を計算する）。このような平均を取ることは、異常なレンダリング時間に反応せず、代わりに、照明時間の予測を調節する前に、レンダリング時間が少し沈降するのを待つという利点を提供し得る。

【0059】

サブブロック４１０では、論理（例えば、コンポジット３０８）は、ＨＭＤ１００／２００がサブブロック４０４で決定された予測照明時間３１４（１）においてとるであろう予測姿勢を決定し得る。これは、第１のフレーム３０２（１）に対するＨＭＤ１００／２００の姿勢の元の予測であり、ＨＭＤ１００／２００（またはＨＭＤシステム）のヘッド追跡システムによって生成されたヘッド追跡データに少なくとも部分的に基づき得る。

【0060】

サブブロック４１２では、論理（例えば、コンポジタ３０８）は、第１のフレーム３０２（１）をレンダリングする目的で、サブブロック４１０で予測される姿勢を示す姿勢データをアプリケーション３０４に送信し得る。

【0061】

サブブロック４１４において、論理（例えば、コンポジタ３０８）は、アプリケーション３０４から、第１のフレーム３０２（１）に関するピクセルデータを受信し得る。ピクセルデータは、本明細書で説明されるように、ディスプレイパネル１０４／２０４のピクセルのアレイ内の個々のピクセルに関するピクセル値を含み得る。

【0062】

サブブロック４１６では、論理（例えば、コンポジット３０８）は、アプリケーション３０４が第１のフレーム３０２（１）をレンダリングするのに費やした時間量に少なくとも部分的に基づいて、発光要素１０６／２０６が第１のフレーム３０２（１）に対して照明する時間を表す新しい予測照明時間３１４（１）を決定し得る。（サブブロック４１８で決定され得る）第１のフレーム３０２（１）の実際のレンダリング時間３１２は、元の予測レンダリング時間３１２よりも少ない場合があり、その場合、コンポジット３０８は、予測よりも速くアプリケーション３０４からピクセルデータを受信する。第１のフレーム３０２（１）の実際のレンダリング時間３１２は、元の予測レンダリング時間３１２よりも大きい場合があり、その場合、コンポジット３０８は、予測より遅れてアプリケーション３０４からピクセルデータを受信する。予測アプリケーションレンダリング時間３１２が正確であった可能性があり、これは、ピクセルデータが、受信されると予測されたときに正確に受信されたことを意味するが、多くの場合、予測レンダリング時間と、第１のフレーム３０２（１）に対する実際のレンダリング時間との間に、小さいものではあるものの、デルタが存在し得る。

【0063】

サブブロック４２０では、論理（例えば、コンポジット３０８）は、ＨＭＤ１００／２００のヘッド追跡システムによって生成されたヘッド追跡データに少なくとも部分的に基づいて、ＨＭＤ１００／２００が新しい予測照明時間３１４（１）においてとるであろう新しい予測姿勢を決定し得る。元の姿勢の予測と新しい姿勢の予測との間のデルタは、アプリケーションレンダリング時間３１２の予測の正確さに依存する。しかしながら、示されるように、このデルタは、プレー時の期間が比較的短いことを考えると、小さくなる可能性が高い。

【0064】

サブブロック４２２では、論理（例えば、コンポジタ３０８）は、第１のフレーム３０２（１）についてのピクセルデータに再投影調節を適用して、第１のフレーム３０２（１）に関連付けられた、修正された（第１の）ピクセルデータを取得することができる。図３の図では、これは、コンポジタ３０８のレンダリング作業負荷３０６（１）の間に、アプリケーション３０４から第１のフレーム３０２（１）のピクセルデータを受信した後に発生し得る。再投影調節は、姿勢データの２つのセットを比較してオフセットを決定することなどによって、元の予測姿勢（サブブロック４１０で決定）および新しい予測姿勢（サブブロック４２０で決定）に少なくとも部分的に基づいて決定され得る。説明の実施例では、コンポジタ３０８は、第１のフレーム３０２（１）についてのピクセルデータを、予測よりも１もしくは２ｍｓ速く、または予測よりも１もしくは２ｍｓ遅く受信し得る。ピクセルデータは、フレームバッファに出力され、できるだけ速くディスプレイにスキャンアウトされるため、照明時間３１４（１）の更新予測は、元の予測照明時間３１４（１）とはわずかに異なる（例えば、１または２ｍｓ程度異なる）ことがあり、ＨＭＤの姿勢予測を、このわずかなデルタに基づいて更新して、ピクセルデータに対して行われる再投影調節を決定することができる。

【0065】

サブブロック４２４において、論理（例えば、コンポジタ３０８）は、第１のフレーム３０２（１）に対する修正された（第１の）ピクセルデータをフレームバッファに出力し得る。ここでもまた、一対のディスプレイパネル１０４／２０４を有するＨＭＤ１００／２００の場合、このピクセルデータは、一対のディスプレイパネル１０４／２０４上に表示される一対の画像を表すフレームに対応し得る。ページ外参照「Ａ」によって示されるように、プロセス４００は、図５に示されるプロセス５００の第１のブロックに続く場合がある。

【0066】

図５は、本明細書に開示される実施形態による、画像の提示中に低持続性の可変リフレッシュレートディスプレイを照明するためのライト出力パラメータの値を動的に決定するための例示的なプロセス５００のフロー図を説明する。図４および５のページ外参照「Ａ」によって示されるように、プロセス５００は、プロセス４００から続く場合がある。プロセス５００はまた、フレームバッファに出力される任意のピクセルデータに基づいて独立して実施され得る。考察目的で、前図を参照してプロセス５００を説明する。

【0067】

５０２において、ＨＭＤ１００／２００（またはＨＭＤシステム）などのディスプレイシステムの論理（例えば、ディスプレイコントローラ、ディスプレイドライバ回路など）は、図４のプロセス４００で説明されるように、アプリケーション３０４によって、場合によっては、再投影により、レンダリングされたフレーム３０２についてのピクセルデータに少なくとも部分的に基づいて、ディスプレイ上に画像を提示させ得る。考察目的で、および図４で考察される実施例に続いて、画像を、第１のフレーム３０２（１）の第１のピクセルデータに対応する第１の画像と称する。サブブロック５０４および５０６によって示されるように、ブロック５０２における画像の提示は、１つ以上のサブ動作を含み得る。

【0068】

サブブロック５０４では、例えば、第１のフレーム３０２（１）についての修正された（第１の）ピクセルデータは、ディスプレイシステムのディスプレイパネル１０４／２０４上でスキャンアウトされ得る。例えば、ピクセルの個々の行についてのピクセル値は、ディスプレイポート（例えば、ＨＤＭＩ）を介してディスプレイパネル１０４／２０４に順次スキャンアウトされ得、ピクセルの第１のサブセット（例えば、行）から始まり、ピクセルの最後のサブセット（例えば、行）で終わる。

【0069】

サブブロック５０６において、ディスプレイの発光要素１０６／２０６は、ディスプレイ上の第１の画像の提示中に照明され得る。照明は、ライトパルス１０８／２０８を発することによって発生し得る。つまり、低持続性ディスプレイシステムは、本明細書で説明されるように可変であり得る、ディスプレイのリフレッシュレートで一連のフレームにわたって発光要素１０６／２０６のオンとオフをパルス化することができる。本明細書で説明されるように、サブブロック５０６での照明中のライトのパルスは、発光要素１０６／２０６が同時に照明する照明のグローバルフラッシングであっても、発光要素１０６／２０６の個々のサブセットがライトパルス１０８／２０８中に順次照明する照明のローリングバンドであってもよい。サブブロック５０８～５１４によって示されるように、第１の画像の提示中に発光要素１０６／２０６を照明するためのライト出力パラメータの値は、一連のフレームにわたって、ディスプレイの明るさが一定のままであるように、決定され得る。

【0070】

サブブロック５０８では、ディスプレイシステム（例えば、ＨＭＤ１００／２００）の論理は、一連のフレームのうちの先行フレーム３０２に対する発光要素１０６／２０６のライトパルス１０８（０）（または、照明）と、第１のフレーム３０２（１）に対する発光要素１０６／２０６の次回のライトパルス１０８（１）（または、照明）との間の第１の時間の差異１１８（１）／２１８（１）を決定し得る。第１の時間の差異１１８（１）／２１８（１）は、本明細書では現在のフレーム時間と称され得、ディスプレイの現在のリフレッシュレートから導出され得る。説明の実施例では、１２０Ｈｚの瞬時リフレッシュレートを示す８．３ｍｓの第１の時間の差異１１８（１）／２１８（１）（または現在のフレーム時間）を考慮する。連続した一対のフレーム３０２に対応する連続した一対のライトパルス１０８／２０８間の第１の時間の差異１１８（１）／２１８（１）を決定することは、一対のライトパルス１０８／２０８または一対のフレーム間の任意の２つの対応する点の間の時間の差異を決定することを含み得ることを理解されたい。例えば、各ライトパルス１０８／２０８の開始点と、各ライトパルス１０８／２０８の中間点と、各ライトパルス１０８／２０８の終了点との間などの時間の差異１１８／２１８を決定することができる。ディスプレイシステムの論理は、いくつかの実施形態では、各アプリケーションによってレンダリングされたフレーム間のピクセルデータにフレーム開始マーカを含み得、これらのフレーム開始マーカを使用して、サブブロック５０８における第１の時間の差異１１８（１）／２１８（１）を決定することができる。

【0071】

サブブロック５１０において、ディスプレイシステム（例えば、ＨＭＤ１００／２００）の論理は、第１の時間の差異１１８（１）／２１８（１）に少なくとも部分的に基づいて、ライト出力パラメータの第１の値を決定し得る。本明細書に記載されるように、ライト出力パラメータの値は、第１のフレーム３０２（１）に対するライトパルス１０８（１）の大きさに対応し得る。別のライト出力パラメータの値は、第１のフレーム３０２（１）に対するライトパルス１０８（１）の持続時間に対応し得る。ローリングバンドタイプのディスプレイ駆動方式では、ライト出力パラメータの値は、ライトパルス１０８（１）中に同時に照明されるいくつかの発光要素１０６／２０６（例えば、照明のローリングバンドの厚さ）に対応し得る。いくつかの実施形態では、これらのライト出力パラメータのうちの複数を決定し、組み合わせ適用して、ライト出力を制御することができる。

【0072】

サブブロック５１２において、ライト出力パラメータの第１の値を決定することの一部として、論理は、第１の時間の差異１１８（１）／２１８（１）と基準フレーム時間１１２／２１２との比率を決定し得る。本明細書に記載されるように、基準フレーム時間１１２／２１２は、アプリケーション３０４が目標とするフレームレートの範囲の、最小フレームレートと最大フレームレートとの間の中間フレームレートに対応する時間であってもよい。例えば、アプリケーション３０４が４５ＦＰＳ～１４４ＦＰＳのフレームレートの範囲を目標とする場合、前述の比率を決定するために使用される基準フレーム時間は、およそ１１．１１ｍｓのフレーム時間である９０ＦＰＳのフレームレートでのフレーム時間に対応し得る。この実施例では、基準フレーム時間１１２／２１２は、１１．１１ｍｓであることになる。しかしながら、これは単に一実施例であり、基準フレーム時間１１２／２１２は、本明細書に記載の技法が実装されるディスプレイシステムの仕様に部分的に基づいて構成可能である。説明の実施例では、第１の時間の差異１１８（１）／２１８（１）（または、現在のフレーム時間）が８．３ｍｓであり、基準フレーム時間１１２／２１２が１１．１１ｍｓである場合、サブブロック５１２において決定される比率は、約０．７５であることになる。これは、基準フレームレート１１２／２１２における公称ライト出力の７５％であるライト出力ファクタであると考えることができ、ライト出力ファクタは、ライト出力を（それが、ライトパルス１０８（１）の大きさまたは持続時間などの減少であろうと）何らかの方法で減少させることを意味する。いずれの場合も、ライト出力パラメータの第１の値は、この比率に少なくとも部分的に基づいて決定され得る。

【0073】

サブブロック５１４において、発光要素１０６／２０６は、ディスプレイ上の第１の画像の提示中に、ライト出力パラメータの第１の値に従って、ライトパルス１０８（１）（または、照明）を発するように制御され得る。このプロセス５００は、一連のフレームの各フレーム３０２に対するライト出力パラメータの値を動的に決定することによって、一連のフレームにわたって繰り返すことができる。このように一連のフレーム３０２にわたってライト出力パラメータを変化させる結果として、ディスプレイの明るさは一連のフレームにわたって実質的に一定のままであり、それによって、ディスプレイのちらつきを排除するか、または少なくとも軽減する。

【0074】

図６は、具現化され得る本明細書に開示される実施形態による、ＶＲヘッドセットなどのＨＭＤ６００（またはＨＭＤ６００を含むＨＭＤシステム）の例示的な構成要素を示す。ＨＭＤ６００は、前の図で参照したＨＭＤ１００／２００と同一または同様であり得、したがって、図６に示されるＨＭＤ６００の構成要素は、ＨＭＤ１００／２００に実装され得る。ＨＭＤ６００は、ユーザ１０２によって（例えば、ユーザ１０２の頭の上に）着用されることになるスタンドアロンデバイスとして実装され得る。いくつかの実施形態では、ＨＭＤ６００は、ユーザ１０２が、ユーザ１０２の頭の周囲に収まるようにサイズ決めされる固設機構（例えば、調節可能バンド）を使用して、ＨＭＤ６００をユーザの頭の上に固設することを可能にすることなどによって、頭に装着可能であってもよい。いくつかの実施形態において、ＨＭＤ６００は、ニアアイまたはニアツーアイディスプレイを含む、仮想現実（ＶＲ）または拡張現実（ＡＲ）ヘッドセットを含む。したがって、「ウェアラブルデバイス」、「ウェアラブル電子デバイス」、「ＶＲヘッドセット」、「ＡＲヘッドセット」、および「ヘッドマウントディスプレイ（ＨＭＤ）」という用語は、本明細書では互換的に使用されて、図６のデバイス６００を指し得る。しかしながら、これらのタイプのデバイスは、ＨＭＤ６００の単なる実施例であることを理解されたい、ＨＭＤ６００は、様々な他のフォームファクタで実装され得ることを理解されたい。図６に示される構成要素の一部または全部が、ＨＭＤ６００上に実装され得ることも理解されたい。したがって、いくつかの実施形態では、図６に示される構成要素のサブセットは、ＨＭＤシステムの一部であるが、ＰＣ、ゲームコンソール、または任意の他の好適なコンピューティングデバイスなどのＨＭＤ６００自体とは別個のコンピューティングデバイス上に実装され得る。非ＨＭＤシステムが、本明細書に記載の動的ライト出力調節の技法およびプロセスを少なくとも実装するために、いくつかの類似の構成要素を含み得ることも理解されたい。

【0075】

説明される実装例では、ＨＭＤ６００は、１つ以上のプロセッサ６０２およびメモリ６０４（例えば、コンピュータ可読媒体６０４）を含む。いくつかの実装例では、プロセッサ６０２は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）６０３、ＣＰＵおよびＧＰＵ６０３の両方、マイクロプロセッサ、デジタル信号プロセッサ、または当該技術分野で既知の他の処理ユニットもしくは構成要素を含み得る。代替的に、またはさらに、本明細書で機能的に説明されるのは、１つ以上のハードウェア論理構成要素によって少なくとも部分的に実施され得る。例えば、非限定的に、使用され得るハードウェア論理構成要素の例示的なタイプとしては、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、複合プログラマブル論理デバイス（ＣＰＬＤ）などが挙げられる。加えて、プロセッサ６０２の各々は、プログラムモジュール、プログラムデータ、および／または１つ以上のオペレーティングシステムを記憶することもできる、プロセッサ独自のローカルメモリを保有し得る。

【0076】

メモリ６０４は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法または技術で実装される、揮発性および不揮発性メモリ、取り外し可能媒体および取り外し不可能媒体を含み得る。かかるメモリとしては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、ＲＡＩＤストレージシステム、または所望の情報を記憶するために使用することができ、かつコンピューティングデバイスからアクセスすることができる任意の他の媒体が挙げられるが、これらに限定されない。メモリ６０４は、コンピュータ可読記憶媒体（「ＣＲＳＭ」）として実装され得、これは、メモリ６０２に記憶された命令を実行するためにプロセッサ６０２によってアクセス可能な任意の利用可能な物理媒体であり得る。１つの基本的な実装例では、ＣＲＳＭは、ランダムアクセスメモリ（「ＲＡＭ」）およびフラッシュメモリを含み得る。他の実装例では、ＣＲＳＭは、読み出し専用メモリ（「ＲＯＭ」）、電気的に消去可能なプログラマブル読み出し専用メモリ（「ＥＥＰＲＯＭ」）、または所望の情報を記憶するために使用され得、かつプロセッサ６０２によってアクセスされ得る、任意の他の有形媒体を含み得るが、これらに限定されない。

【0077】

概して、ＨＭＤ６００（またはＨＭＤシステム）は、本明細書に説明される技法、機能、および／または動作を実装するように構成される論理（例えば、ソフトウェア、ハードウェア、および／またはファームウェアなど）を含み得る。コンピュータ可読媒体６０４は、命令、データストアなどのような、様々なモジュールを含むものとして示され、これらのモジュールは、本明細書に説明される技法、機能、および／または動作を行うためにプロセッサ６０２上で実行するように構成され得る。コンピュータ可読媒体６０４に記憶され、かつプロセッサ６０２上で実行可能なものとして、数個の例示的な機能モジュールが示されているが、同じ機能が、代替的に、ハードウェア、ファームウェア内に、またはシステムオンチップ（ＳＯＣ）および／もしくは他の論理として実装されてもよい。

【0078】

オペレーティングシステムモジュール６０６は、他のモジュールの便宜のために、ＨＭＤ６００内でＨＭＤ６００に連結されたハードウェアを管理するように構成され得る。加えて、いくつかの事例では、ＨＭＤ６００は、メモリ６０４に記憶されているか、またはさもなければＨＭＤ６００にアクセス可能な１つ以上のアプリケーション３０４を含み得る。この実装例では、アプリケーション３０４は、ゲームアプリケーション６０８を含む。しかしながら、ＨＭＤ６００は、任意の数またはタイプのアプリケーションを含み得、ここに示される特定の実施例に限定されない。ゲームアプリケーション６０８は、ユーザ１０２によってプレー可能であるビデオベースのインタラクティブゲーム（例えば、ＶＲゲーム）のゲームプレーを開始し、ＨＭＤ６００のディスプレイパネル上にレンダリングされるべきフレーム３０２を出力するように構成され得る。コンポジタ３０８は、ＨＭＤ６００の他の論理と組み合わせて、本明細書に記載の技法を実施して、プロセス４００の実装によるなどの、再投影によりフレーム３０２をレンダリングするように構成され得る。ライト出力調節構成要素６１０は、ＨＭＤ６００の他の論理と組み合わせて、本明細書に記載の技法を実施して、連続したフレーム３０２に対応する連続したライトパルス１０８／２０８間の時間の差異に基づいて、発光要素１０６／２０６のライト出力を動的に調節するように構成され得る。

【0079】

概して、ＨＭＤ５００は、入力デバイス６１２および出力デバイス６１４を有する。入力デバイス６１２は、制御ボタンを含み得る。いくつかの実装例では、１つ以上のマイクロフォンが、ユーザ音声入力などのオーディオ入力を受信するための入力デバイス６１２として機能し得る。いくつかの実装例では、１つ以上のカメラまたは他のタイプのセンサ（例えば、慣性測定ユニット（ＩＭＵ））が、ユーザ１０２の手および／または頭の動きなどの、ジェスチャ入力を受信するための入力デバイス６１２として機能し得る。いくつかの実施形態において、追加の入力デバイス６１２が、キーボード、キーパッド、マウス、タッチスクリーン、ジョイスティック、ハンドヘルドコントローラなどの形態で提供され得る。他の実施形態において、ＨＭＤ６００は、キーボード、キーパッド、または他の同様の形態の機械的入力を省略してもよい。代わりに、ＨＭＤ６００は、入力デバイス６１２の比較的単純な形態、ネットワークインターフェイス（無線または有線ベース）、電源、および処理／メモリ機能で実装され得る。例えば、１つ以上の入力構成要素の限定されたセット（例えば、構成を開始する、電源をオン／オフするなどのための専用ボタン）が用いられ得、ＨＭＤ６００は、その後に使用され得る。１つの実装例において、入力デバイス６１２は、音量を増加／減少させるための基本的な音量制御ボタン、ならびに電源およびリセットボタンなどの制御機構を含み得る。

【0080】

出力デバイス６１４は、ディスプレイ６１６を含み得、ディスプレイ６１６は、本明細書に記載されるように、発光要素１０６／２０６を含む１つまたは複数のディスプレイパネル１０４／２０４（例えば、ディスプレイパネル１０４／２０４のステレオ対）を含み得る。出力デバイス６１４は、ライト要素（例えば、ＬＥＤ）、触覚感覚を作り出すためのバイブレータ、スピーカ（例えば、ヘッドフォン）などをさらに含み得るが、これらに限定されない。例えば、電源がオンであるときなどの状態を示すための単純なライト要素（例えば、ＬＥＤ）も存在し得る。

【0081】

ＨＭＤ６００は、ネットワークへの無線接続を容易にするために、アンテナ６２０に連結された無線ユニット６１８をさらに含み得る。無線ユニット６１８は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、無線周波数（ＲＦ）などといった、様々な無線技術のうちの１つ以上を実装し得る。ＨＭＤ６００は、ネットワーク、接続された周辺デバイス（ＰＣ、ゲームコンソールなどを含む）、または他の無線ネットワークと通信し、ＨＭＤシステムの一部であり得るプラグインネットワークデバイスへの有線接続を容易にするための物理ポートをさらに含み得ることを理解されたい。

【0082】

ＨＭＤ６００は、１つ以上の光学要素を使用して、電子ディスプレイ６１６からユーザの目にライトを向ける光学サブシステム６２２をさらに含み得る。光学サブシステム６２２は、非限定的に、アパーチャ、レンズ（例えば、フレネルレンズ、凸レンズ、凹レンズなど）、フィルタなどを含む、異なる光学要素の様々なタイプおよび組み合わせを含み得る。いくつかの実施形態では、光学サブシステム６２２内の１つ以上の光学要素は、反射防止コーティングなどの１つ以上のコーティングを有し得る。光学サブシステム６２２による画像ライトの拡大により、電子ディスプレイ６１６を、より大きなディスプレイよりも物理的により小さく、軽量で、より消費電力が少ないものにすることができる。加えて、画像ライトの拡大は、表示されたコンテンツ（例えば、画像）の視野（ＦＯＶ）を増加させ得る。例えば、表示されたコンテンツのＦＯＶは、表示されたコンテンツが、ユーザのＦＯＶのほぼすべて（例えば、対角１２０～１５０度）、場合によってはすべてを使用して提示されるようなものである。ＡＲアプリケーションは、より狭いＦＯＶ（例えば、約４０度のＦＯＶ）を有していてもよい。光学サブシステム６２２は、非限定的に、樽型歪み、ピンクッション歪み、長手方向色収差、横収差、球面収差、コマ収差、像面湾曲、非点収差などといった、１つ以上の光学誤差を補正するように設計され得る。いくつかの実施形態では、表示のために電子ディスプレイ６１６に提供されるコンテンツは、事前に歪められており、光学サブシステム６２２は、コンテンツに基づいて生成された、電子ディスプレイ６１６からの画像ライトを受けると、その歪みを補正する。

【0083】

ＨＭＤ６００は、動き、位置、および向きのデータを生成するために使用されるセンサなどの、１つ以上のセンサ６２４をさらに含み得る。これらのセンサ６２４は、ジャイロスコープ、加速度計、磁力計、ビデオカメラ、カラーセンサ、または他の動き、位置、および向きのセンサであり得るか、もしくはこれらを含み得る。センサ６２４はまた、動き、位置、および向きのデータを生成するために、カメラまたはカラーセンサによって外部から視認され得る一連の能動または受動マーカなどの、センサの二次的部分を含み得る。例えば、ＶＲヘッドセットは、その外部に、外部カメラによって視認した場合、またはライト（例えば、赤外線もしくは可視ライト）によって照明した場合に、動き、位置、および向きのデータを生成するために、ソフトウェアによる解釈のための１つ以上の基準点を提供し得る、反射器またはライト（例えば、赤外線もしくは可視ライト）などの複数のマーカを含み得る。ＨＭＤ６００は、ＨＭＤ６００の環境内の基地局によって投影または散布されるライト（例えば、赤外線または可視ライト）に対して感応性であるライトセンサを含み得る。

【0084】

一実施例では、センサ６２４は、慣性測定ユニット（ＩＭＵ）６２６を含み得る。ＩＭＵ６２６は、加速度計、ジャイロスコープ、磁力計、および／または動きの検出、ＩＭＵ６２６に関連付けられた誤差の補正、もしくはこれらのいくつかの組み合わせに好適な他のセンサから受信された測定信号に基づいて、較正データを生成する電子デバイスであり得る。測定信号に基づいて、ＩＭＵ６２６などの、かかる動きベースのセンサは、ＨＭＤ６００の初期位置に対するＨＭＤ６００の推定位置を示す較正データを生成し得る。例えば、複数の加速度計が並進方向の動き（前方／後方、上／下、左／右）を測定し、複数のジャイロスコープが回転方向の動き（例えば、ピッチ、ヨー、およびロール）を測定してもよい。ＩＭＵ６２６は、例えば、測定信号を迅速にサンプリングし、サンプリングされたデータからＨＭＤ６００の推定位置を計算し得る。例えば、ＩＭＵ６２６は、経時的に加速度計から受信された測定信号を統合して速度ベクトルを推定し得、経時的に速度ベクトルを統合して、ＨＭＤ６００上の基準点の推定位置を決定する。基準点は、ＨＭＤ６００の位置を説明するために使用され得る点である。基準点は、概して、空間内の点として定義され得るが、様々な実施形態では、基準点は、ＨＭＤ６００内の点（例えば、ＩＭＵ６２６の中心）として定義される。代替的に、ＩＭＵ６２６は、サンプリングされた測定信号を外部コンソール（または他のコンピューティングデバイス）に提供し、外部コンソールが較正データを決定する。

【0085】

センサ６２４は、センサデータを高レートで提供するために、比較的高い周波数で動作し得る。例えば、センサデータは、１０００Ｈｚのレート（または１ミリ秒ごとに１つのセンサ読み取り）で生成され得る。このようにして、１秒間に１０００回の読み取りが行われる。センサがこのレートで（またはそれ以上のレートで）これだけのデータを生成する場合、動きを予測するために使用されるデータセットは、数十ミリ秒ほどの比較的短い期間でも非常に大きくなる。

【0086】

言及されるように、いくつかの実施形態では、センサ６２４は、３Ｄ空間内のＨＭＤ６００の位置および／または向き、姿勢などを追跡する目的で、ＨＭＤ６００の環境内の基地局が発するライトに対して感応性であるライトセンサを含み得る。位置および／または向きの計算は、ライトパルスのタイミング特性、およびセンサ６２４によって検出されるライトの有無に基づき得る。

【0087】

ＨＭＤ６００は、目追跡データを生成する目追跡システム６２８をさらに含み得る。目追跡システム６２８は、限定されないが、ユーザの目の画像データ（または情報）をキャプチャするためにＨＭＤ６００の内部のカメラまたは他の光学センサを含み得、目追跡システム６２８は、キャプチャされたデータ／情報を使用して、ねじれおよび回転の大きさ（すなわち、ロール、ピッチ、およびヨー）ならびに各目の視線の方向を含む、動きベクトル、瞳孔間距離、眼間距離、ＨＭＤ６００に対する各目の三次元（３Ｄ）位置を決定することができる。１つの実施例では、赤外線ライトが、ＨＭＤ６００内で発され、各目から反射される。反射ライトは、目追跡システム６２８のカメラによって受けられるか、または検出され、各目によって反射された赤外線ライトの変化から目の回転を抽出するために分析される。ユーザ１０２の目を追跡するための多くの方法が、目追跡システム６２８によって使用され得る。したがって、目追跡システム６２８は、目ごとに最大６自由度（すなわち、３Ｄ位置、ロール、ピッチ、およびヨー）を追跡し得、少なくとも追跡された量のサブセットが、視線の点（すなわち、ユーザが見ている仮想シーン内の３Ｄの場所または位置）を推定するためにユーザ１０２の２つの目から組み合わせられ得、その視線の点は、ユーザ１０２が、ディスプレイパネル１０４／２０４のピクセルの個々のサブセット（例えば、行）または連続サブセットのグループ（例えば、連続行のグループ）に関してどこを見ているかを予測するためにディスプレイパネル１０４／２０４上の場所にマッピングされ得る。例えば、目追跡システム６２８は、過去の測定値からの情報、ユーザ１０２の頭の位置を識別する測定値、および電子ディスプレイ６１６によって提示されるシーンを説明する３Ｄ情報を統合し得る。したがって、ユーザ１０２の目の位置および向きの情報は、ユーザ１０２が見ている、ＨＭＤ６００によって提示された仮想シーン内の視線の点を決定し、その視線の点を、ＨＭＤ６００のディスプレイパネル１０４／２０４上の場所にマッピングするために使用される。動きベクトルは、目の運動の軌道などを予測するために利用され得る。

【0088】

ＨＭＤ６００は、ヘッド追跡システム６３０をさらに含み得る。ヘッド追跡システム６３０は、上記のように、センサ６２４のうちの１つ以上を利用して、ユーザ１０２の頭の回転を含む頭の動きを追跡し得る。例えば、ヘッド追跡システム６３０は、ＨＭＤ６００の最大６自由度（すなわち、３Ｄ位置、ロール、ピッチ、およびヨー）を追跡し得る。これらの計算を、一連のフレーム３０２のすべてのフレーム３０２で行うことができ、これにより、アプリケーション３０４は、頭の位置および向きに応じて、次のフレーム３０２内でシーンをどのようにレンダリングするかを決定することができ、かつこれにより、コンポジタ３０８は、再投影調節のコンピュータ処理を行うことができる。いくつかの実施形態では、ヘッド追跡システム６３０、および／またはヘッド追跡システム６３０を使用するコンポジタ３０８は、本明細書に記載されるように、現在および／もしくは過去のデータに基づいて、ならびに／またはローリングバンドディスプレイ駆動技法を実装するディスプレイシステム内のピクセルの個々のサブセットの既知／暗黙のスキャンアウト待ち時間に基づいて、ＨＭＤ６００の将来の姿勢（位置および／または向き）を予測するように構成される。これは、ユーザ１０２がディスプレイ６１６上でライト（および、ひいては、画像）を実際に見る前に、アプリケーション３０４がフレーム３０２をレンダリングするように求められるためである。したがって、次のフレーム３０２は、瞬時フレームレートおよび／またはリフレッシュレートに応じて、フレーム３０２をレンダリングする前のおよそ１２～３０ミリ秒（ｍｓ）の範囲内であり得るより早い時点で行われた、頭の位置および／または向きの将来の予測に基づいて、レンダリングすることができる。ヘッド追跡システム６３０によって提供される回転データは、任意の好適な測定単位で、ＨＭＤ６００の回転方向およびＨＭＤ６００の回転量の両方を決定するために使用され得る。例えば、回転方向は、左、右、上、および下に対応する、正または負の水平方向および正または負の垂直方向の観点で単純化されて出力され得る。回転量は、度、ラジアンなどで表すことがでる。角速度を計算して、ＨＭＤ６００の回転のレートを決定することができる。

【0089】

本主題は、構造的特徴に特有の言語で説明されているが、添付の特許請求の範囲に定義された主題は、必ずしも説明された特定の特徴に限定されるものではないことを理解されたい。むしろ、特定の特徴は、特許請求の範囲を実装する例示的な形態として開示される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】