特許 7537282 画素値対画素マッピングによる画像ディスプレイの制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】画素値対画素マッピングによる画像ディスプレイの制御

(51)【国際特許分類】

   H04N 19/85 20140101AFI20240814BHJP

   H04N 5/66 20060101ALI20240814BHJP

   H04N 21/431 20110101ALI20240814BHJP

【ＦＩ】

H04N19/85

H04N5/66 A

H04N21/431

【請求項の数】 29

(21)【出願番号】P 2020545776

(86)(22)【出願日】2019-03-14

(65)【公表番号】

(43)【公表日】2021-07-15

(86)【国際出願番号】 US2019022299

(87)【国際公開番号】W WO2019182869

(87)【国際公開日】2019-09-26

【審査請求日】2022-02-21

(31)【優先権主張番号】15/934,789

(32)【優先日】2018-03-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517160525

【氏名又は名称】バルブ コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】グッドソン、モンゴメリー ヴィンセント

(72)【発明者】

【氏名】マライカ、ヤシャー

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】特開２０１８－２６６７７（ＪＰ，Ａ）

【文献】特表２０１３－５３９９３４（ＪＰ，Ａ）

【文献】特開２０１５－１２２６３８（ＪＰ，Ａ）

【文献】特開２０１７－１９５４２９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２３６４６６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２３６２５２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２９５３７３（ＵＳ，Ａ１）

【文献】特表２０２１－５１５４４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ５／５０

Ｇ０６Ｔ １１／６０－１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００－１９／２０

Ｇ０９Ｇ ３／００－ ３／０８

Ｇ０９Ｇ ３／１２

Ｇ０９Ｇ ３／１６

Ｇ０９Ｇ ３／１９－ ３／２６

Ｇ０９Ｇ ３／３０

Ｇ０９Ｇ ３／３４

Ｇ０９Ｇ ３／３８

Ｈ０４Ｎ ５／６６－ ５／７４

Ｈ０４Ｎ ７／１０－ ７／１７３

Ｈ０４Ｎ ７／２０－ ７／５６

Ｈ０４Ｎ １９／００－２１／８５８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

１または複数の演算処理システムの１または複数のプロセッサによって、関連するビデオフレームに対する画素値情報を含むビデオフレームデータを取得する段階であって、前記画素値情報は前記関連するビデオフレームの複数の一次元画素配列に対する画素値を含み、各一次元画素配列はアドレス可能画素列またはアドレス可能画素行である、取得する段階と、
前記ビデオフレームデータを符号化する段階であって、
前記１または複数のプロセッサによって、前記関連するビデオフレームを表示するところのディスプレイパネルの一次的表示領域に対する第１の位置、および、前記ディスプレイパネルの複数の二次的表示領域に対する複数の第２の位置を決定し、前記複数の二次的表示領域の各々に対して使用する画素値対画素マッピングを識別する段階と、
前記１または複数のプロセッサによって、前記一次的表示領域の前記決定された第１の位置に対応する前記関連するビデオフレームの第１の部分、および、前記複数の二次的表示領域に対応する前記関連するビデオフレームの複数の第２の部分を識別する段階であって、前記複数の第２の部分の各々は前記複数の一次元画素配列のうちの２つまたはそれより多い一次元画素配列を含む、識別する段階と、
前記複数の第２の部分に含まれる前記２つまたはそれより多い一次元画素配列のうちの１または複数の第１の一次元画素配列の各々に対し、画素値を修正し、前記第１の一次元画素配列からの画素値を、前記第１の一次元画素配列に隣接する前記第２の部分に含まれる前記２つまたはそれより多い一次元画素配列のうちの１または複数の第２の一次元画素配列の画素へ割り当てることによって、前記符号化されたビデオフレームデータ内の前記第２の部分に対して使用し、その結果、前記第２の部分に対して使用する前記修正された画素値は、複数の画素クラスタを含み、前記複数の画素クラスタは、各々が前記画素クラスタ内の全画素に対して単一画素値を有する前記第２の部分に対する前記画素値対画素マッピングによる複数の画素クラスタを含む、修正する段階と
によって符号化する段階と、
前記符号化されたビデオフレームデータを前記ディスプレイパネルに対する少なくとも１つのコントローラへ伝送する段階と、
前記少なくとも１つのコントローラの制御下で、
前記ディスプレイパネルの前記第１の位置で前記一次的表示領域内の画素の表示を制御する前記関連するビデオフレームの前記第１の部分の画素値を使用し、前記ディスプレイパネルの前記複数の第２の位置で前記複数の二次的表示領域内の画素の表示を制御する前記複数の第２の部分の各々の前記修正された画素値を使用することを含む、前記符号化されたビデオフレームデータを前記ディスプレイパネル上に表示する段階と
を備え、
前記複数の二次的表示領域の各々に対して使用する前記画素値対画素マッピングを識別する前記段階は、前記符号化されたビデオフレームデータの伝送のために利用できる帯域幅伝送容量に少なくとも部分的に基づいており、
前記ディスプレイパネルの前記一次的表示領域と前記複数の二次的表示領域の各々との間の境界の少なくとも一部に対応する画素の少なくとも１つの部分に対し、境界ぼかし及び／又は補間を使用した画素値対画素の追加のマッピングをシミュレートすることにより、前記少なくとも１つの部分の画素値を調整する段階を更に備える、
方法。

【請求項2】

１または複数の演算処理システムの１または複数のプロセッサによって、関連するビデオフレームに対する画素値情報を含むビデオフレームデータを取得する段階であって、前記画素値情報は前記関連するビデオフレームの複数の一次元画素配列に対する画素値を含み、各一次元画素配列はアドレス可能画素列またはアドレス可能画素行である、取得する段階と、
前記ビデオフレームデータを符号化する段階であって、
前記１または複数のプロセッサによって、前記関連するビデオフレームを表示するところのディスプレイパネルの一次的表示領域に対する第１の位置、および、前記ディスプレイパネルの複数の二次的表示領域に対する複数の第２の位置を決定し、前記複数の二次的表示領域の各々に対して使用する画素値対画素マッピングを識別する段階と、
前記１または複数のプロセッサによって、前記一次的表示領域の前記決定された第１の位置に対応する前記関連するビデオフレームの第１の部分、および、前記複数の二次的表示領域に対応する前記関連するビデオフレームの複数の第２の部分を識別する段階であって、前記複数の第２の部分の各々は前記複数の一次元画素配列のうちの２つまたはそれより多い一次元画素配列を含む、識別する段階と、
前記複数の第２の部分に含まれる前記２つまたはそれより多い一次元画素配列のうちの１または複数の第１の一次元画素配列の各々に対し、画素値を修正し、前記第１の一次元画素配列からの画素値を、前記第１の一次元画素配列に隣接する前記第２の部分に含まれる前記２つまたはそれより多い一次元画素配列のうちの１または複数の第２の一次元画素配列の画素へ割り当てることによって、前記符号化されたビデオフレームデータ内の前記第２の部分に対して使用し、その結果、前記第２の部分に対して使用する前記修正された画素値は、複数の画素クラスタを含み、前記複数の画素クラスタは、各々が前記画素クラスタ内の全画素に対して単一画素値を有する前記第２の部分に対する前記画素値対画素マッピングによる複数の画素クラスタを含む、修正する段階と
によって符号化する段階と、
前記符号化されたビデオフレームデータを前記ディスプレイパネルに対する少なくとも１つのコントローラへ伝送する段階と、
前記少なくとも１つのコントローラの制御下で、
前記ディスプレイパネルの前記第１の位置で前記一次的表示領域内の画素の表示を制御する前記関連するビデオフレームの前記第１の部分の画素値を使用し、前記ディスプレイパネルの前記複数の第２の位置で前記複数の二次的表示領域内の画素の表示を制御する前記複数の第２の部分の各々の前記修正された画素値を使用することを含む、前記符号化されたビデオフレームデータを前記ディスプレイパネル上に表示する段階と
を備え、
前記ディスプレイパネルの前記一次的表示領域と前記複数の二次的表示領域の各々との間の境界の少なくとも一部に対応する画素の少なくとも１つの部分に対し、境界ぼかし及び／又は補間を使用した画素値対画素の追加のマッピングをシミュレートすることにより、前記少なくとも１つの部分の画素値を調整する段階を更に備える、
方法。

【請求項3】

取得する前記段階および符号化する前記段階および伝送する前記段階および表示する前記段階は、複数のビデオフレームの連続の各々に対して実行され、前記一次的表示領域に対する前記第１の位置を決定する前記段階は、前記ビデオフレームに対応する現在のデータに少なくとも部分的に基づいて各ビデオフレームに対して動的に実行される、請求項１または２に記載の方法。

【請求項4】

前記複数の二次的表示領域の各々に対して使用する前記画素値対画素マッピングを識別する前記段階は、前記符号化されたビデオフレームデータ内の目標有効解像度または目標データ量のうちの少なくとも１つに基づいている、請求項１から３のいずれか１項に記載の方法。

【請求項5】

１または複数の構成されたハードウェア回路によって、画像を表示するディスプレイパネル内の画素の表示を制御するのに用いられる複数の画素値を含むデータを受信する段階と、
前記画素の第１のサブセットを有し、画素値対画素の１対１マッピングに関連付けられている前記ディスプレイパネルの一次的表示領域に対し、前記第１のサブセットの前記画素の表示を制御するのに用いられ、前記第１のサブセットの前記画素と等しい量の前記複数の画素値のうちの第１の画素値を決定する段階と、
前記画素の少なくとも１つの第２のサブセットを有し、画素値対画素の少なくとも１つの１対多マッピングに関連付けられている前記ディスプレイパネルの少なくとも１つの二次的表示領域に対し、前記少なくとも１つの第２のサブセットの前記画素の表示を制御するのに用いられ、前記少なくとも１つの第２のサブセットの前記画素よりも量が小さい前記複数の画素値のうちの第２の画素値を決定する段階と、
前記１または複数の構成されたハードウェア回路によって、前記一次的表示領域に対して前記１対１マッピング、前記少なくとも１つの二次的表示領域に対して前記少なくとも１つの１対多マッピングを用いて、前記ディスプレイパネル上の前記画像の表示を開始する段階であって、前記一次的表示領域に対する前記第１のサブセットの前記画素のうちの１つの表示を制御する前記決定された第１の画素値の各々を使用すること、および、前記少なくとも１つの二次的表示領域に対する前記少なくとも１つの第２のサブセットの複数の前記画素の表示を制御する前記決定された第２の画素値の各々を使用することを有する開始する段階と、を備え、
前記受信されたデータは、前記画像のオリジナルの符号化されていないバージョンより小さいデータを有する前記画像の符号化されたバージョンであり、前記第１の画素値を決定する前記段階および前記第２の画素値を決定する前記段階は、前記画像の前記符号化されたバージョンから、前記第１の画素値および前記第１の画素値の前記一次的表示領域との第１の関連の指示、並びに、前記第２の画素値および前記第２の画素値の前記少なくとも１つの二次的表示領域との第２の関連の指示を読み出す段階を有し、
前記データを受信する前記段階の前に、１または複数のハードウェアプロセッサによって、前記ディスプレイパネルの二次的表示領域に対応する前記画像の各部分に対して、前記画像の前記部分に対する複数の画素値を前記画像の前記符号化されたバージョン内の複数の画素値を示す決定された第２の画素値に繰り返し置き換えるために前記画像の符号化されていないバージョンを修正することによって、前記画像の前記符号化されたバージョンを生成する段階と、
前記画像の前記符号化されたバージョンを１または複数のネットワーク接続を介して前記１または複数の構成されたハードウェア回路に伝送する段階と、を更に備え、
前記複数の画素値を前記ディスプレイパネルの二次的表示領域に対応する前記画像の各部分に対して決定された第２の画素値に繰り返し置き換える前記段階の前に、前記画像の前記符号化されたバージョンの伝送のために使用される帯域幅伝送容量を決定し、前記決定された帯域幅伝送容量に少なくとも部分的に基づき繰り返し置き換える前記段階に使用する１または複数の１対多マッピングを選択する段階を更に備え、
画素値対画素の２つの異なるマッピングでの２つの表示領域の間の境界の少なくとも一部に対応する前記画像の少なくとも１つの部分に対し、画素値対画素の前記２つの異なるマッピングの間の中間である画素値対画素の追加のマッピングをシミュレートする前記少なくとも１つの部分の画素値を調整する段階を更に備え、調整する前記段階は、前記画像の前記符号化されたバージョンを生成する前記段階または前記ディスプレイパネル上の前記画像の前記表示のうちの少なくとも１つの一部として実行される、
方法。

【請求項6】

１または複数の構成されたハードウェア回路によって、画像を表示するディスプレイパネル内の画素の表示を制御するのに用いられる複数の画素値を含むデータを受信する段階と、
前記画素の第１のサブセットを有し、画素値対画素の１対１マッピングに関連付けられている前記ディスプレイパネルの一次的表示領域に対し、前記第１のサブセットの前記画素の表示を制御するのに用いられ、前記第１のサブセットの前記画素と等しい量の前記複数の画素値のうちの第１の画素値を決定する段階と、
前記画素の少なくとも１つの第２のサブセットを有し、画素値対画素の少なくとも１つの１対多マッピングに関連付けられている前記ディスプレイパネルの少なくとも１つの二次的表示領域に対し、前記少なくとも１つの第２のサブセットの前記画素の表示を制御するのに用いられ、前記少なくとも１つの第２のサブセットの前記画素よりも量が小さい前記複数の画素値のうちの第２の画素値を決定する段階と、
前記１または複数の構成されたハードウェア回路によって、前記一次的表示領域に対して前記１対１マッピング、前記少なくとも１つの二次的表示領域に対して前記少なくとも１つの１対多マッピングを用いて、前記ディスプレイパネル上の前記画像の表示を開始する段階であって、前記一次的表示領域に対する前記第１のサブセットの前記画素のうちの１つの表示を制御する前記決定された第１の画素値の各々を使用すること、および、前記少なくとも１つの二次的表示領域に対する前記少なくとも１つの第２のサブセットの複数の前記画素の表示を制御する前記決定された第２の画素値の各々を使用することを有する開始する段階と、を備え、
前記受信されたデータは、前記画像のオリジナルの符号化されていないバージョンより小さいデータを有する前記画像の符号化されたバージョンであり、前記第１の画素値を決定する前記段階および前記第２の画素値を決定する前記段階は、前記画像の前記符号化されたバージョンから、前記第１の画素値および前記第１の画素値の前記一次的表示領域との第１の関連の指示、並びに、前記第２の画素値および前記第２の画素値の前記少なくとも１つの二次的表示領域との第２の関連の指示を読み出す段階を有し、
前記データを受信する前記段階の前に、１または複数のハードウェアプロセッサによって、前記ディスプレイパネルの二次的表示領域に対応する前記画像の各部分に対して、前記画像の前記部分に対する複数の画素値を前記画像の前記符号化されたバージョン内の複数の画素値を示す決定された第２の画素値に繰り返し置き換えるために前記画像の符号化されていないバージョンを修正することによって、前記画像の前記符号化されたバージョンを生成する段階と、
前記画像の前記符号化されたバージョンを１または複数のネットワーク接続を介して前記１または複数の構成されたハードウェア回路に伝送する段階と、を更に備え、
画素値対画素の２つの異なるマッピングでの２つの表示領域の間の境界の少なくとも一部に対応する前記画像の少なくとも１つの部分に対し、画素値対画素の前記２つの異なるマッピングの間の中間である画素値対画素の追加のマッピングをシミュレートする前記少なくとも１つの部分の画素値を調整する段階を更に備え、調整する前記段階は、前記画像の前記符号化されたバージョンを生成する前記段階または前記ディスプレイパネル上の前記画像の前記表示のうちの少なくとも１つの一部として実行される、
方法。

【請求項7】

前記ディスプレイパネル内の前記画素は複数の行および複数の列を有する配列に配置された複数の一次元画素配列であり、前記少なくとも１つの二次的表示領域に対する前記少なくとも１つの１対多マッピングを使用する前記ディスプレイパネル上の前記画像の前記表示を開始する前記段階は、前記複数の一次元画素配列のうちの１または複数の第１の一次元画素配列の各々に対し、前記第１の一次元画素配列に関連付けられた画素値を前記第１の一次元画素配列の画素に、および、１または複数の隣接する第２の一次元画素配列の画素に割り当てる段階を有する、請求項５又は６に記載の方法。

【請求項8】

前記少なくとも１つの二次的表示領域の第１の二次的表示領域に対する１対多マッピングは、１対Ｎマッピングを含み、Ｎは各画素値に対する複数の画素の特定の量であり、前記ディスプレイパネル上に前記画像の前記表示を開始する前記段階は、前記第１の二次的表示領域に対する決定された第２の画素値の各々に対し、前記第１の二次的表示領域内のＮ画素のクラスタを識別する段階と、前記決定された第２の画素値を前記識別されたクラスタの前記Ｎ画素の各々に割り当てる段階とを有する、請求項５から７のいずれか一項に記載の方法。

【請求項9】

前記受信されたデータは前記画像の各画素に対する画素値を含む前記画像の符号化されていないバージョンであり、前記少なくとも１つの第２のサブセットの前記画素の表示を制御するのに用いる前記第２の画素値を決定する前記段階は、前記ディスプレイパネルの二次的表示領域に対応する前記画像の各部分に対し、前記受信されたデータ内の複数の画素値を、前記画像の前記符号化されたバージョン内の複数の画素値を示す決定された第２の画素値で繰り返し置き換える段階を有する、請求項５から８のいずれか１項に記載の方法。

【請求項10】

前記第１の画素値を決定する前記段階および前記第２の画素値を決定する前記段階の前に、前記ディスプレイパネルに対する前記一次的表示領域および前記ディスプレイパネルの前記少なくとも１つの二次的表示領域の位置を決定する段階を更に備え、前記第１の画素値を決定する前記段階および前記第２の画素値を決定する前記段階は１または複数の構成されたハードウェア回路によって実行され、決定された第２の画素値で繰り返し置き換えるために前記複数の画素値を決定する前記決定された位置を使用する段階を更に有する、請求項９に記載の方法。

【請求項11】

前記画像の前記符号化されたバージョンを生成する前記段階は、
前記ディスプレイパネルの各二次的表示領域に対し、前記二次的表示領域のサイズを含む前記二次的表示領域の位置に関する情報を取得する段階と、
生成する前記段階中に前記取得された位置に関する情報を使用し、各決定された第２の画素値を前記少なくとも１つの二次的表示領域の１つに対応付ける前記画像の前記符号化されたバージョンに情報を含ませる段階と
を更に有する、請求項５から１０のいずれか一項に記載の方法。

【請求項12】

前記複数の画素値を前記ディスプレイパネルの二次的表示領域に対応する前記画像の各部分に対して決定された第２の画素値に繰り返し置き換える前記段階の前に、
前記一次的表示領域の及び前記少なくとも１つの二次的表示領域の位置を含む、前記ディスプレイパネルに対する前記一次的表示領域に対する、および、前記ディスプレイパネルの前記少なくとも１つの二次的表示領域に対する位置情報を決定する段階と、
生成する前記段階中に前記決定された位置情報を使用する段階と
を更に備える、請求項５から１１のいずれか一項に記載の方法。

【請求項13】

前記複数の画素値を前記ディスプレイパネルの二次的表示領域に対応する前記画像の各部分に対して決定された第２の画素値に繰り返し置き換える段階の前に、前記画像の前記符号化されていないバージョンと比較して前記画像の前記符号化されたバージョンのデータ減少の量を決定し、前記決定されたデータ減少の量に少なくとも部分的に基づいて繰り返し置き換える前記段階に使用する１または複数の１対多マッピングを選択する段階を更に備える、請求項５から１２のいずれか１項に記載の方法。

【請求項14】

前記複数の画素値を前記ディスプレイパネルの二次的表示領域に対応する前記画像の各部分に対して決定された第２の画素値に繰り返し置き換える前記段階の前に、前記画像の前記符号化されたバージョンのデータの量を決定し、前記決定されたデータの量に到達するよう繰り返し置き換える前記段階に使用する１または複数の１対多マッピングを選択する段階を更に備える、請求項５から１３のいずれか１項に記載の方法。

【請求項15】

複数の画素値を前記置き換えられた複数の画素値を示す決定された第２の画素値に置き換える前記段階は、前決定された第２の画素値を生成するため前記複数の画素値の少なくともいくつかを統合する段階を含む、請求項５から１４のいずれか１項に記載の方法。

【請求項16】

複数の画素値を前記置き換えられた複数の画素値を示す決定された第２の画素値に置き換える前記段階は、前決定された第２の画素値として使用するため前記複数の画素値のうちの一つを決定する段階を含む、請求項５から１５のいずれか１項に記載の方法。

【請求項17】

前記ディスプレイパネルの前記少なくとも１つの二次的表示領域は、第１の画素色に関連付けられた少なくとも１つの第１の二次的表示領域、および、第２の画素色に関連付けられた少なくとも１つの第２の二次的表示領域を含み、前記画像の前記符号化されたバージョンを生成する前記段階は、前記少なくとも１つの第１の二次的表示領域および前記少なくとも１つの第２の二次的表示領域に対して画素値対画素の異なる１対多マッピングを使用する段階を有する、請求項５から１６のいずれか１項に記載の方法。

【請求項18】

前記ディスプレイパネルの前記少なくとも１つの二次的表示領域は、高ダイナミックレンジ機能を提供する少なくとも１つの第１の二次的表示領域、および、高ダイナミックレンジ機能を提供しない少なくとも１つの第２の二次的表示領域を含み、前記画像の前記符号化されたバージョンを生成する前記段階は、前記少なくとも１つの第１の二次的表示領域および前記少なくとも１つの第２の二次的表示領域に対して画素値対画素の異なる１対多マッピングを使用する段階を有する、請求項５から１７のいずれか１項に記載の方法。

【請求項19】

前記画像の前記符号化されたバージョンを生成する前記段階は、少なくとも１つの二次的表示領域に対する前記画像の少なくとも１つの部分に、周波数変調応答を反映させる画像フィルタを適用する段階と、少なくとも他の１つの表示領域に対する前記画像の少なくとも他の１つの部分へ前記画像フィルタを適用しない段階とを更に有する、請求項５から１８のいずれか１項に記載の方法。

【請求項20】

前記画像の前の１または複数の以前の画像の表示中に前記ディスプレイパネルの視聴者の視線を追跡する段階と、前記追跡された視線が対応するところの前記ディスプレイパネルの位置を識別する段階と、前記画像に対し、前記識別された位置に基づいて前記ディスプレイパネルの前記一次的表示領域を動的に決定する段階とを更に備える、請求項５から１９のいずれか一項に記載の方法。

【請求項21】

前記画像の前の１または複数の以前の画像を表示する段階と、前記画像のコンテンツに基づいて前記画像の部分を識別する段階と、前記画像の前記識別された部分が対応するところの前記ディスプレイパネルの位置を識別する段階と、前記画像に対し、前記識別された位置に基づいて前記ディスプレイパネルの前記一次的表示領域を動的に決定する段階とを更に備える、請求項５から２０のいずれか一項に記載の方法。

【請求項22】

前記１または複数の構成されたハードウェア回路はゲームシステムを含み、前記画像は実行ゲームプログラムによって生成されたビデオのフレームであり、前記ディスプレイパネルは仮想現実ヘッドマウントディスプレイデバイスの一部である、請求項５から２１のいずれか一項に記載の方法。

【請求項23】

システムであって、
複数の画素を有するディスプレイパネルと、
少なくとも以下を有する自動化された動作を前記システムに実行させるよう構成された１または複数の構成されたハードウェア回路と
を備え、
前記動作は、
画像を表示する前記ディスプレイパネル内の前記複数の画素の表示を制御するのに用いられる複数の画素値を含むデータを受信する段階と、
前記複数の画素の第１のサブセットを有し、画素値対画素の第１のマッピングに関連付けられている前記ディスプレイパネルの一次的表示領域に対し、前記第１のサブセットの前記画素の表示を制御するのに用いられる、前記複数の画素値のうちの第１の画素値を決定する段階と、
前記複数の画素の少なくとも１つの第２のサブセットを有し、前記第１のマッピングとは異なる画素値対画素の少なくとも１つの第２のマッピングに関連付けられている前記ディスプレイパネルの少なくとも１つの二次的表示領域に対し、前記少なくとも１つの第２のサブセットの前記画素の表示を制御するのに用いられ、前記少なくとも１つの第２のサブセットの前記画素よりも量が小さい前記複数の画素値のうちの第２の画素値を決定する段階と、
前記一次的表示領域に対して前記第１のマッピングを用い、前記少なくとも１つの二次的表示領域に対して前記少なくとも１つの第２のマッピングを用いて、前記ディスプレイパネル上の前記画像の表示を開始する段階であって、前記一次的表示領域に対する前記第１のサブセットの前記画素のうちの少なくとも１つの表示を制御する前記決定された第１の画素値の各々を使用すること、および、前記少なくとも１つの二次的表示領域に対する前記少なくとも１つの第２のサブセットの前記画素の表示を制御する前記決定された第２の画素値の各々を使用することを含む開始する段階とを有し、
前記受信されたデータは、前記画像のオリジナルの符号化されていないバージョンより小さいデータを有する前記画像の符号化されたバージョンであり、前記第１の画素値を決定する前記段階および前記第２の画素値を決定する前記段階は、前記画像の前記符号化されたバージョンから、前記第１の画素値および前記第１の画素値の前記一次的表示領域との第１の関連の指示、並びに、前記第２の画素値および前記第２の画素値の前記少なくとも１つの二次的表示領域との第２の関連の指示を読み出す段階を有し、
前記動作は、前記データを受信する前記段階の前に、１または複数のハードウェアプロセッサによって、前記ディスプレイパネルの二次的表示領域に対応する前記画像の各部分に対して、前記画像の前記部分に対する複数の画素値を前記画像の前記符号化されたバージョン内の複数の画素値を示す決定された第２の画素値に繰り返し置き換えるために前記画像の符号化されていないバージョンを修正することによって、前記画像の前記符号化されたバージョンを生成する段階と、
前記画像の前記符号化されたバージョンを１または複数のネットワーク接続を介して前記１または複数の構成されたハードウェア回路に伝送する段階と、を更に有し、
前記動作は、前記複数の画素値を前記ディスプレイパネルの二次的表示領域に対応する前記画像の各部分に対して決定された第２の画素値に繰り返し置き換える前記段階の前に、前記画像の前記符号化されたバージョンの伝送のために使用される帯域幅伝送容量を決定し、前記決定された帯域幅伝送容量に少なくとも部分的に基づき繰り返し置き換える前記段階に使用する１または複数の第２のマッピングを選択する段階を更に有し、
前記動作は、画素値対画素の２つの異なるマッピングでの２つの表示領域の間の境界の少なくとも一部に対応する前記画像の少なくとも１つの部分に対し、画素値対画素の前記２つの異なるマッピングの間の中間である画素値対画素の追加のマッピングをシミュレートする前記少なくとも１つの部分の画素値を調整する段階を更に備え、調整する前記段階は、前記画像の前記符号化されたバージョンを生成する前記段階または前記ディスプレイパネル上の前記画像の前記表示のうちの少なくとも１つの一部として実行される、
システム。

【請求項24】

システムであって、
複数の画素を有するディスプレイパネルと、
少なくとも以下を有する自動化された動作を前記システムに実行させるよう構成された１または複数の構成されたハードウェア回路と
を備え、
前記動作は、
画像を表示する前記ディスプレイパネル内の前記複数の画素の表示を制御するのに用いられる複数の画素値を含むデータを受信する段階と、
前記複数の画素の第１のサブセットを有し、画素値対画素の第１のマッピングに関連付けられている前記ディスプレイパネルの一次的表示領域に対し、前記第１のサブセットの前記画素の表示を制御するのに用いられる、前記複数の画素値のうちの第１の画素値を決定する段階と、
前記複数の画素の少なくとも１つの第２のサブセットを有し、前記第１のマッピングとは異なる画素値対画素の少なくとも１つの第２のマッピングに関連付けられている前記ディスプレイパネルの少なくとも１つの二次的表示領域に対し、前記少なくとも１つの第２のサブセットの前記画素の表示を制御するのに用いられ、前記少なくとも１つの第２のサブセットの前記画素よりも量が小さい前記複数の画素値のうちの第２の画素値を決定する段階と、
前記一次的表示領域に対して前記第１のマッピングを用い、前記少なくとも１つの二次的表示領域に対して前記少なくとも１つの第２のマッピングを用いて、前記ディスプレイパネル上の前記画像の表示を開始する段階であって、前記一次的表示領域に対する前記第１のサブセットの前記画素のうちの少なくとも１つの表示を制御する前記決定された第１の画素値の各々を使用すること、および、前記少なくとも１つの二次的表示領域に対する前記少なくとも１つの第２のサブセットの前記画素の表示を制御する前記決定された第２の画素値の各々を使用することを含む開始する段階とを有し、
前記受信されたデータは、前記画像のオリジナルの符号化されていないバージョンより小さいデータを有する前記画像の符号化されたバージョンであり、前記第１の画素値を決定する前記段階および前記第２の画素値を決定する前記段階は、前記画像の前記符号化されたバージョンから、前記第１の画素値および前記第１の画素値の前記一次的表示領域との第１の関連の指示、並びに、前記第２の画素値および前記第２の画素値の前記少なくとも１つの二次的表示領域との第２の関連の指示を読み出す段階を有し、
前記動作は、前記データを受信する前記段階の前に、１または複数のハードウェアプロセッサによって、前記ディスプレイパネルの二次的表示領域に対応する前記画像の各部分に対して、前記画像の前記部分に対する複数の画素値を前記画像の前記符号化されたバージョン内の複数の画素値を示す決定された第２の画素値に繰り返し置き換えるために前記画像の符号化されていないバージョンを修正することによって、前記画像の前記符号化されたバージョンを生成する段階と、
前記画像の前記符号化されたバージョンを１または複数のネットワーク接続を介して前記１または複数の構成されたハードウェア回路に伝送する段階と、を更に有し、
前記動作は、画素値対画素の２つの異なるマッピングでの２つの表示領域の間の境界の少なくとも一部に対応する前記画像の少なくとも１つの部分に対し、画素値対画素の前記２つの異なるマッピングの間の中間である画素値対画素の追加のマッピングをシミュレートする前記少なくとも１つの部分の画素値を調整する段階を更に備え、調整する前記段階は、前記画像の前記符号化されたバージョンを生成する前記段階または前記ディスプレイパネル上の前記画像の前記表示のうちの少なくとも１つの一部として実行される、
システム。

【請求項25】

前記１または複数の構成されたハードウェア回路のうちの少なくとも１つによって実行されると前記システムに前記自動化された動作のうちの少なくともいくつかを実行させる格納された命令を有する１または複数のメモリを更に備える、請求項２３または２４に記載のシステム。

【請求項26】

第２のディスプレイパネルを更に備え、
前記システムはヘッドマウントディスプレイデバイスの着用者の１つの眼で見える位置の前記ディスプレイパネルを収容し、前記着用者の別の眼で見える位置で前記第２のディスプレイパネルを収容する前記ヘッドマウントディスプレイデバイスの一部であり、前記自動化された動作は、前記ディスプレイパネル上への前記画像の前記表示と同時に前記第２のディスプレイパネル上への第２の画像の表示を開始する段階を更に有し、前記第２の画像の前記表示を開始する前記段階は、前記第２のディスプレイパネルの複数の表示領域に対する、前記第２の画像の画素値の、前記第２のディスプレイパネルの画素への複数の別個のマッピングを使用する段階を含む、請求項２３から２５のいずれか一項に記載のシステム。

【請求項27】

少なくとも１つのネットワーク接続によって前記１または複数の構成されたハードウェア回路から分離し、前記ディスプレイパネル上の表示に対して複数のビデオフレームのシーケンスを生成するソフトウェアアプリケーションを実行し、前記少なくとも１つのネットワーク接続を介して前記１または複数の構成されたハードウェア回路へ伝送する前に前記複数のビデオフレームの各々を符号化するよう構成された演算デバイスを更に備え、前記画像は複数のビデオフレームのうちの１つであり、前記第１の画素値を受信する前記段階および決定する前記段階および前記第２の画素値を決定する前記段階および前記表示を開始する前記段階は前記複数のビデオフレームの各々に対して実行される、請求項２３から２６のいずれか１項に記載のシステム。

【請求項28】

前記自動化された動作は、前記画像から分離した前記ビデオフレームのうちの少なくとも１つに対し、前記第１のマッピングとも前記少なくとも１つの第２のマッピングとも異なる画素値対画素の少なくとも１つの第３のマッピングを使用する段階を更に有し、前記第１のマッピングは画素値対画素の１対Ｌマッピングを含み、Ｌは少なくとも１であり、前記少なくとも１つの第２のマッピングは画素値対画素の１対Ｍマッピングを含み、Ｍは１より大きく、前記少なくとも１つの第３のマッピングは画素値対画素の１対Ｎマッピングを含み、ＮはＬとは異なりＭとは異なる、請求項２７に記載のシステム。

【請求項29】

前記ディスプレイパネルの前記一次的表示領域に対する前記第１のサブセットの前記画素は、第１のサイズであり、前記ディスプレイパネルの前記少なくとも１つの二次的表示領域に対する前記少なくとも１つの第２のサブセットの前記画素は、前記第１のサイズとは異なる少なくとも一つの第２サイズである、請求項２３から２８のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

以下の開示は概してディスプレイパネル上の画像データの表示を制御するための技術に関連し、より明確には、ディスプレイパネルの画素値対画素のマッピングをするための技術に関連する。

【背景技術】

【0002】

視覚ディスプレイ解像度を増加させる必要性は、画像データサイズおよび関連する伝送帯域幅の使用を大幅に対応する増加させる結果をもたらしてきた。例えば、より高い伝送帯域幅は、ゲームデバイス、ビデオディスプレイデバイス、モバイル演算、汎用演算などの視覚的ディスプレイ解像度の増加からもたらされた。加えて、仮想現実（「ＶＲ」）および拡張現実（「ＡＲ」）システム、特にヘッドマウントディスプレイを使用するそれら人気の拡大は、そのような必要性を更に増加させた。仮想現実システムは、一般的に着用者の眼を完全に包み込み、着用者の前の実際の視野（または実際の現実）を「仮想」現実に置き換える一方、拡張現実システムは、一般的に着用者の眼の前の１または複数の画面の半透明または透明オーバーレイを提供し、そのため実際の視野は、追加の情報で拡張されるようになる。

【0003】

しかしながら、そのようなヘッドマウントディスプレイは、視聴者の眼とディスプレイの間の減少された距離で、しばしば視界を完全に覆い、従来のディスプレイおよび伝送機能では満たすことが不可能やり方でディスプレイの性能要求を増加させてきている一方、またしばしば着用者の視線及び関心の焦点はディスプレイの一部だけに当っている。

【図面の簡単な説明】

【0004】

【図1A】画像データマネージャＩＤＭシステムの実施形態を含む、本開示で説明される少なくともいくつかの技術を実行するのに適した１または複数のシステムを含むネットワーク環境の概略図である。

【0005】

【図1B】本開示に説明される少なくともいくつかの技術を実行するディスプレイデバイスの例示的な構成されたハードウェア回路を示す概略図である。

【0006】

【図2A】本明細書で説明される技術に従ってＩＤＭシステムの実施形態によって表示のための画像データを符号化および復号化する例を図示する。

【図2B】本明細書で説明される技術に従ってＩＤＭシステムの実施形態によって表示のための画像データを符号化および復号化する例を図示する。

【図2C】本明細書で説明される技術に従ってＩＤＭシステムの実施形態によって表示のための画像データを符号化および復号化する例を図示する。

【0007】

【図3】ＩＤＭシステムの画像データ画素値対画素マッピングルーチンの例示的な実施形態のフロー図である。

【0008】

【図4】ＩＤＭシステムの画像データディスプレイマネージャルーチンの例示的な実施形態のフロー図である。

【発明を実施するための形態】

【0009】

本開示は概して画素値対画素のマッピングに少なくとも部分的に基づくディスプレイパネル上の画像データの表示を制御するための技術に関連し、それは、例えばビデオデータのフレームおよび／または他の画像での使用のためであり、いくつかの実施形態において、ＶＲおよび／またはＡＲ表示技術に対して使用されるヘッドマウントディスプレイ（ＨＭＤ）デバイスの一部である１または複数のディスプレイパネルでの使用のためなどである。少なくともいくつかのそのような実施形態において、当該技術はディスプレイパネルの異なる範囲内の単一画像データ画素値にマッピングされるディスプレイパネルに画素値の異なる量を使用することを含む。例えば、少なくともいくつかのそのような実施形態において、そのような技術はディスプレイパネルを複数の領域に分離することを含み得、少なくとも１つの一次的領域は表示画像データの最も高い解像度を有し（例えば、ディスプレイパネル画素への画像画素値の１対１マッピングを使用することによって、そのためそのような画像画素値の各々がそのような画素の１つの表示を制御するなど）、１または複数の二次的領域は表示画像データの１または複数のより低い解像度を有する（例えば、そのような二次的領域の各々に対しディスプレイパネル画素への画像画素値の１対Ｍマッピングを使用することによって、ここでＭは１より大きく、そのためそのような画像画素値の各々がそのようなＭ画素の表示を制御し、任意で異なる二次的領域に対して異なるＭ値が使用される）。画像データは更に少なくともいくつかのそのような実施形態において、そのようなディスプレイパネル配置に従って符号化され、任意で復号化され得、それは、ディスプレイパネルへの伝送の前にそのサイズを低減するようディスプレイパネル配置ごとに画像データを符号化し、任意で、１対１画素値対画素の全体で画像データを再現するよう伝送の後に画像データを復号化し、または、代わりに、そのような復号化なしにディスプレイパネル上の画素の表示を直接制御するよう符号化された画像データを使用することなどである。当該技術は少なくともいくつかの実施形態において、ＶＲヘッドセットおよび／または他のＶＲまたはＡＲディスプレイの各ディスプレイパネルで更に使用され得、それは、ディスプレイパネル上に示される画像の中心（または他の選択された部分）内の表示画像データの最も高い解像度を提供することなどである（例えば、画像および／または視聴者焦点のディスプレイパネルの範囲を反映、特定の重要または関心の画像の範囲を反映、等）。本明細書で説明される技術のいくつかまたは全ては、以下により詳細に議論されているように画像データマネージャ（「ＩＤＭ」）システムの複数の実施形態の自動化された動作により実行され得る。

【0010】

例えば、関連するビデオフレームに対する画素値情報を含むビデオフレームデータはいくつかの実施形態において取得され、画素値情報は、関連するビデオフレームの複数の一次元画素配列行および一次元画素配列列内の各画素に対する画素値を含む。空間的区分構造は、複数の表示領域でディスプレイパネル配置として使用されるよう決定され、それはビデオフレームデータの符号化に対する様々な基準に基づくなどであり、関連するビデオフレームの一次的表示領域および関連するビデオフレームの複数の二次的表示領域に対するそれぞれの寸法および位置を決定することを含み、複数の二次的表示領域の各々に対する画素クラスタ寸法を選択することを更に含む。複数の二次的表示領域の各々に対し、二次的表示領域のコンテンツは、含まれる２つまたはそれより多い一次元画素配列の１または複数のソース一次元画素配列の各々からの画素値をソース一次元画素配列に隣接する二次的表示領域の１または複数の目的一次元画素配列の画素へ割り当てることによって、修正され、そのため二次的表示領域は、各々が選択された画素クラスタ寸法と単一画素値を有する複数の画素クラスタを含む。符号化が完了した後に、符号化されたビデオフレームデータは後の表示のために格納され、または、提示のために１または複数のディスプレイデバイスに転送され得る。

【0011】

上で留意されているように、記載される技術は少なくともいくつかの実施形態において画素値対画素のマッピングに少なくとも部分的に基づいてディスプレイパネル上の画像データの表示を制御するのに使用され得、それはディスプレイパネルの異なる範囲内の単一画像データ画素値へマッピングされるディスプレイパネル画素の異なる量を使用することを含む。表示を制御する１または複数のディスプレイパネル画素の量に単一画素値に関して、どのマッピングをしようすべきかを使用するかの決定は、様々な実施形態において様々な方式でなされ得る。例えば、いくつかの実施形態において、マッピングは静的であり得、そのため各画像は同じマッピングを使用して符号化されおよび／または表示され得る一方、他の実施形態において、使用されるマッピングは異なる画像に対して動的に変更され得る。一例として、いくつかのディスプレイパネルは、視聴者が現在焦点を当てているところのディスプレイパネルおよび／または表示画像の範囲を識別することができるアイトラッキングまたは他の視線追跡システム（例えば、ＶＲおよび／またはＡＲシステムの一部として）を伴い得、もしそうである場合、使用されるマッピングは、識別された範囲が最も高い画像解像度に対応するマッピングを使用した一次的表示領域となるよう決定される一方、ディスプレイパネルの１または複数の他の範囲がより低い画像解像度に対応する１または複数の他のマッピングを使用して二次的表示領域に決定され得る、ように動的に調整され得る。そのような実施形態において、マッピングは様々な時点で動的に修正され得る（例えば、表示された画像毎に対して、視聴者の焦点の範囲が少なくとも閾値量によって変化したとき、毎Ｘ画像後、ここでＸは１より大きい数であり得る、１または複数の他の基準が満たされたとき、など）。加えて、いくつかの実施形態において、表示のための画像を生成またはさもなければ提供しているソフトウェアプログラムまたは他のシステムは、最も高い画像解像度に対応するマッピング（例えば、画像を生成またはさもなければ提供しているソフトウェアプログラムまたは他のシステムによって指示されているマッピングまたは解像度、そのような一次的表示範囲に対応するＩＤＭシステムによって選択されたマッピングまたは解像度、視聴者の設定または他の動作または好みによって特定されまたは影響を受けたマッピングまたは解像度、等）を有するようＩＤＭシステムによって決定された一次的表示範囲となる画像の１または複数の領域を識別し得、任意で更に、より低い画像解像度に対応している１または複数の他のマッピングを有するようＩＤＭシステムによって決定された二次的表示範囲として画像の１または複数の他の領域を識別し得る。更に、いくつかの実施形態において、視聴者または他ユーザは、ＩＤＭシステムによって使用される様々な入力を提供し得、それは１または複数の以下のものなどである。ＩＤＭシステムが対応するマッピングまたは他の記載される技術を使用した最も高い解像度を提供するであろうところのディスプレイパネルの１または複数の一次的表示領域を識別すること。ＩＤＭシステムが対応するマッピングまたは他の記載される技術を使用した最も高い解像度を提供するであろうところの画像の１または複数の一次的表示範囲を識別すること。１または複数の一次的ディスプレイパネル領域／画像範囲に対しておよび／または１または複数の二次的ディスプレイパネル領域／画像範囲に対して使用するマッピングおよび／または解像度を識別すること、等である。他の実施形態において、ディスプレイパネルの異なる部分の表示画像の異なる解像度は、他の方式で実現され得、それは、ディスプレイパネルの異なる範囲に異なるサイズの画素を有するディスプレイパネルを構築することによるものを含む（例えば、中心の画素のサイズの四倍である角の画素を有するディスプレイパネルであって、そのため角の画素はその表示を制御するのに使用される単一の対応する画素値だけを有するが、単一画素値がディスプレイパネル全体で均一のサイズである角の４画素の表示を制御するのに使用されるところの１対４マッピングを使用するのと同様の視覚的効果を生成する）。さらなる詳細は、画素値対画素のマッピングに少なくとも部分的に基づいてディスプレイパネル上の画像データの表示を制御することに関連して、以下に含まれる。

【0012】

記載される技術の少なくともいくつかの実施形態における利点は、画像データサイズを縮小することによって符号化した画像用の増加された媒体伝送帯域幅に対処するおよびその伝送帯域幅を軽減すること、（例えば、対応する縮小された画像データサイズに少なくとも部分的に基づいて）ディスプレイパネル画素を制御する速度を改善すること、フォービエイテッド画像システムおよびディスプレイパネルのサブセットおよび／または特定の関心を引く画像を反映するその他の技術を改善することなどを含む。フォービエイテッド画像符号化システム（焦点および周辺だけ詳細な情報を提供し得る）は人間の視覚システムの特定の態様を利用するが、計算集約的であろう（例えば、そのビデオデータおよび画像データを伝送するための対応する帯域幅を低減させるべくより高い解像度のビデオデータおよび画像データを処理する遥かにより大きな計算能力を使用する）。特定のＶＲおよびＡＲ表示の場合、特定のディスプレイ装置が、別々にアドレス可能である２つの画素配列を備え、各画素配列が適切な解像度を含む２つの別々のディスプレイパネル（すなわち、各々の眼に１つのディスプレイパネル）を含むので、高解像度媒体を処理するための帯域幅使用および計算量は両方とも増幅する。従って、記載される技術は、例えば、ビデオフレームまたは他の画像のローカル表示および／またはリモート表示の伝送帯域幅を小さくすると同時に、画像内の解像度、および視聴者の「関心範囲」の詳細を保つ一方でその画像データを処理するための計算量を最小化するのに使用し得る。更に、ヘッドマウントディスプレイデバイスおよび他のディスプレイデバイスのレンズを使用することで、ディスプレイパネルのサブセットにより大きく焦点を合わせることまたはより高い解像度をディスプレイパネルのサブセットにもたらし得、結果こうした技術を使用してディスプレイパネルの他の部分内にある低い解像度の情報を表示することは、このような実施形態のその技術を使用する場合に更なる利点をもたらし得る。

【0013】

説明のために、特定の種類の情報が、特定の種類の装置を使用することで特定の種類の構造体用に特定の種類の方法で取得および使用されるいくつかの実施形態が以下に説明される。しかしながら、その記載される技術は他の実施形態において他の方式で使用され得、従って本発明は提供される例示的な詳細に限定されないことが理解されるであろう。一つの非排他的な例として、本明細書で議論される様々な実施形態は、ビデオフレームである画像の使用を含む。しかしながら、本明細書で説明される多くの例は利便のため「ビデオフレーム」と称するが、そのような例を参照して説明される技術は、連続した複数のビデオフレーム（例えば、３０または６０または９０またはいくつかの他の量のフレーム毎秒）、他のビデオコンテンツ、写真、コンピュータ生成グラフィックコンテンツ、他の視覚媒体の製品、または、それらのいくつかの組み合わせの非排他的な例を含む、様々な種類の１または複数の画像に関して用いられ得ることが理解されるであろう。別の非排他的な例として、いくつかの例示された実施形態は特定のディスプレイ行および／または列（例えば、１次元配列）を、特定の二次的表示領域内のそのような行および／または列内の画素値を１または複数の他の隣接またはさもなければ付近の行および／または列にコピーするなど、特定の方式で使用する記載される技術の実施形態の実装を議論している一方、他の実施形態は他の方式で１対Ｍマッピングでの画素値の使用を実装し得る。別の非排他的な例として、いくつかの例示された実施形態は一次的表示領域に対して１対１マッピングを、二次的表示領域に対して１対Ｍマッピングを使用すること議論している一方、複製された画素値に対して他のマッピングまたは技術が他の実施形態において使用され得る（例えば、一次的表示領域に対して１対Ｎマッピング、ここでＮは１またはそれより大きい。一次的または二次的表示領域に対してＪ対Ｋマッピング、ここでＪとＫは異なっており、ＫはＪより大きいまたは小さい、など）。加えて、様々な詳細が、例示的な目的のために図面およびテキストに提供されるが、本発明の範囲を限定することが意図されていない。

【0014】

一例として、特定の実施形態において、ビデオフレームが一次的表示領域（典型的にはビデオフレームの中心方向へに位置される）と複数の二次的表示領域（典型的にはビデオフレームの縁部方向へに配される）とに区分されるように、画素値の配列に亘って均一のディスプレイ解像度を有するビデオフレームが修正され得る。１または複数のディスプレイパネルによる表示に対するビデオフレームデータを処理する少なくとも一部として、各二次的表示領域内の一つの列または行（「一次元画素配列」）からの画素値を近接の列または行の隣接さもなければ付近の画素へ選択的に割り当てることによって、そのビデオフレームデータに関連するデータ密度が減少され、従って隣接またはさもなければ付近の画素に対する分離した画素値は符号化され減少されたデータに含まれない。効果的には、これら二次的表示領域の隣接する列および／または行は、そのビデオフレームに対応するデータの伝送の前にビデオフレームの総データ密度を低減すべく、複製される（例えば、インターネットビデオストリーミングに関するなどの１または複数のコンピュータネットワークを介して、ビデオ処理デバイスとディスプレイデバイスとの間を接続する有線または無線などのローカルバスまたはケーブルまたは他の伝送路を介して）。複数のオリジナル画素値から符号化および使用する単一の代表の画素値を選択することは、ダウンサンプリングまたは平均化、サブサンプリングまたは４値のうちの１つを抽出、による等を含む、様々な実施形態における様々な方式で実行され得ることが理解されるであろう。更に、少なくともいくつかの実施形態において、圧縮の程度（例えば、複数のオリジナル画素値および／または単一の符号化された代表の画素値を使用して表示されるべく復号化された画素値の量）は、ディスプレイパネルおよび画像の領域以外の方式で変更され得え、それは、圧縮の量を色特有に変更させることを実行すること（例えば、緑色チャネルに対して、赤または青色チャネルより低い圧縮を使用すること）、および／または、色特有の方式でダイナミックレンジ要素を変化させることなどである。このようにしてビデオフレーム内の独自の画素値の量を選択的に減らすことにより、実質的な帯域幅伝送抑制が提供され得る。例えば、ビデオ処理に対するこれらの技術を用いる例示的状況は、結果として伝送帯域幅を６７．１Ｇｂ／秒から２９．４Ｇｂ／秒へ減らし、約４４％の帯域幅減をもたらし得る。

【0015】

特定の実施形態において、ビデオフレームデータまたは表示のための他の画像データを符号化することを担うシステムまたはデバイスは、対応するビデオフレームを、ビデオフレームデータが表示されであろうところのディスプレイパネルの関連する一次的および二次的表示領域に対応する一次的および二次的表示範囲の様々な構造的配置に空間的に区分し得る。１つの非限定的な例として、一実施形態において、システムは、ビデオフレームの幾何学的中心またはその近くに一次的表示領域としてビデオフレーム自体と同様の比率であるがより小さい中央範囲を指定し得、一次的表示領域の各側に対するビデオフレームの部分は、各列に対する画素値が隣接する列に複製されるところの二次的表示領域として指定され、一次的表示領域の上および下のビデオフレームの部分は、各行に対する画素値が隣接する行に複製されるところの二次的表示領域として指定される。他の実施形態において、一次的表示領域はビデオフレームまたは他のデータを符号化する目的で、非対称的な方式でより大きい表示画素配列内に位置決めされ得、それは、もし対応するビデオフレームの視聴者のありそうな焦点が表示画素配列の幾何学的中心からいくらかの距離離れているであろうと決定されるようなときなどである。そのようなシステムまたはデバイスの１または複数のハードウェアプロセッサまたは他の構成されたハードウェア回路は、例えば、１または複数のＧＰＵ（「グラフィック処理ユニット」）および／またはＣＰＵ（「中央処理装置」）を含み得、以下に更に説明されるように、ハードウェアプロセッサは、ＨＭＤデバイスまたは画像データが表示されるであろうところの１または複数のディスプレイパネルと協働する他の装置の一部である、および／または、表示のためにディスプレイパネルに送られる画像データを生成またはさもなければ準備する演算処理システムの一部などである。より一般的には、そのハードウェアプロセッサまたはその他の構成ハードウェア回路は、１または複数の特定用途向け集積回路（ＡＳＩＣ）、標準集積回路、（例えば、適切な命令を実行することによる、およびマイクロコントローラおよび／または埋め込みコントローラを含むことによる）コントローラ、フィールドプログラマブルゲート配列（ＦＰＧＡ）、結合プログラマブルロジックデバイス（ＣＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルロジックコントローラ（ＰＬＣ）、などを含み得るが、これらに限定されない。一次的および二次的表示領域のさらなる詳細および例示的構成は、以下の図２Ａ－２Ｃに関連するところを含む、本明細書の他の箇所でもまた提供される。

【0016】

様々な実施形態において、説明された方式での画素ベースデータの符号化に対する特定のディスプレイの区分配置の決定は、１または複数の基準に従ってなされ得る。そのような基準の非限定的な例は、以下を含み得る。もし小さなデータ伝送帯域幅が利用できるなら一次的表示領域として対応するビデオフレームのより小さい部分を指定するなど、データ伝送帯域幅制限。もしそのようなビデオフレームデータを伝送するために小さなデータ伝送帯域幅の使用が好適で配列ばより大きな画素クラスタ寸法を利用するなど、データ伝送帯域幅方針。より高い認識されたコンテンツの質を実現すべくより小さい二次的表示領域のより大きい量を使用して符号化されるデータを区分するなど、グラフィック計算能力制限および方針。媒体のタイプ（例えば、ロスなしまたはロスあり圧縮などにより、符号化されるコンテンツが伝送帯域幅に影響し得る別の態様で既に符号化されていたか否か）。媒体コンテンツ（例えば、予測またはさもなければ予想された視聴者の焦点に基づいて、符号化されるコンテンツ内のビデオフレームデータのセットの分析に基づいて、符号化されるコンテンツに含まれる１または複数のタグまたはメタデータに基づいて、等）。指示された種類の目的ディスプレイデバイス。グラフィック制限および方針（例えば、目標のビデオフレーム解像度または目標のフレームレート）。視覚追跡情報（ユーザの眼または視線位置および焦点の１または複数の指示に基づくなど）。１または複数の予め定義されたユーザの好み。もし単一の標準化された区分構造またはそのような標準化された区分構造の有限なサブセットが説明された方式で符号化された全媒体コンテンツに対して使用されるなら、など、１または複数の予め定義された区分構造。構成情報。他の適切な基準。

【0017】

本明細書で使用されると、「画素」はその表示に対して全ての可能な色値を提供するよう活性化され得る表示の最も小さいアドレス可能な画像要素を指す。多くの場合に、画素は、視聴者によっての知覚のため赤、緑および青の光を別々に生じるためのそれぞれの個別要素（いくつか場合に分離した「サブ画素」）を含む。本明細書で使用される画素「値」は、単一画素のそれらそれぞれのＲＧＢ要素の１または複数のものに対する刺激のそれぞれのレベルに対応するデータ値を指す。本明細書で使用されると用語「隣接」は、主題画素と直接隣接しているか単に連続しているのいずれかである画素または画素の配列を指定し得ると理解されるであろう。例えば、３画素の第１のものから他の２画素へ値を割り当てることは、第２の画素が間にあることによって第３の画素が第１の画素から分離されているにもかかわらず、そのような値を第１の画素から２つの「隣接」する画素へ割り当てるように説明され得る。

【0018】

図１Ａは、ローカル媒体レンダリング（ＬＭＲ）システム１１０（例えばゲームシステム）を含むネットワーク環境１００ａの概略図であり、本明細書で説明される少なくともいくつかの技術を実行するのに適したローカル演算処理システム１２０およびディスプレイデバイス１８０ａおよび／または１８０ｂを含む。ＬＭＲシステム１１０は図示される実施形態において、１または複数のコンピュータネットワーク１０１、および、表示のためのコンテンツをＬＭＲシステム１１０に更に提供し得える例示的なネットワーク利用可能媒体コンテンツプロバイダ１９０へのネットワークリンク１０２により通信可能に接続され、いくつかの実施形態において１または複数のそのような技術を使用し得る。様々な実施形態において、ローカル演算処理システム１２０は、汎用演算処理システム、ゲームコンソール、ビデオストリーム処理デバイス、モバイル演算デバイス（例えば、セルラー電話、ＰＤＡまたは他の可動性デバイス）、ＶＲまたはＡＲ処理デバイス、または、他の演算処理システムを（非限定的な例として）含み得る。特定の実施形態において、ローカル演算処理システム１２０はこれらの一つ、複数または全てに関連付けられた機能を提供し得る。図１Ａに図示される実施形態において、ローカル媒体レンダリングシステム１１０は、伝送リンク１１５（１または複数のケーブルによるなどの有線または無線であり得る）によりローカル演算処理システム１２０に通信可能に接続された１または複数のディスプレイデバイス１８０を含む。ディスプレイデバイスはパネルディスプレイデバイス１８０ａおよび／またはヘッドマウントディスプレイ（ＨＭＤ）デバイス１８０ｂを含み、各々は、縮尺の精度よりむしろ明確さを意図した方式で図１Ａ内に図表を用いて示された１または複数のアドレス可能な画素配列を含む（典型的な画素ベースのディスプレイの各画素は、例えば、マイクロメートルで普通測定される）。

【0019】

例示された実施形態において、ローカル演算処理システム１２０は、１または複数の汎用のハードウェアプロセッサ（例えば、中央集中型処理ユニットまたは「ＣＰＵ」）１２５、メモリ１３０、様々なＩ／Ｏ（入力／出力）ハードウェア構成要素１２７（例えば、キーボード、マウス、１または複数のゲームコントローラ、スピーカー、マイク、赤外線トランスミッタおよび／またはレシーバー、など）、１または複数の専用のハードウェアプロセッサ（例えば、グラフィック処理ユニットまたは「ＧＰＵ」）１４４およびビデオメモリ（ＶＲＡＭ）１４８を含むビデオサブシステム１４０、コンピュータ可読ストレージ１５０、並びに、ネットワーク接続１６０を含む構成要素を有する。また例示された実施形態において、ＩＤＭ（画像データマネージャ）システム１３５の実施形態は、それらの記載される技術を実装した自動化された動作を実行するＣＰＵ１２５および／またはＧＰＵ１４４を使用することによってなど、記載される技術の少なくともいくつかを実行すべくメモリ１３０内を実行する。ＩＤＭシステム１３５の例示された実施形態は、画像データを符号化して伝送する自動化された動作を実行する画像データ画素値対画素マッピング要素１３９を含み、メモリ１３０は任意でＩＤＭシステム１３５の画像データ表示マネージャ要素１３７および／または１または複数の他のプログラム１３３を更に実行し得る（例えば、ディスプレイデバイス１８０に表示されるビデオまたは他の画像を生成する）。他の実施形態において、画像データ表示マネージャ要素１３７は表示が生じるであろう１または複数のディスプレイパネルを含むディスプレイデバイス上に全部または一部に代わりに実装され、それは、画像データを復号化して表示する自動化された動作を実行するＨＭＤデバイス１８０ｂまたは他のディスプレイデバイス１８０ａの構成されたハードウェア回路を使用するなどである。本明細書で説明される少なくともいくつかの技術を実装する自動化された動作の一部として、メモリ１３０内を実行するＩＤＭシステム１３５および／または他の画像生成プログラム１３３は、様々な種類のデータを、ストレージ１５０の例示的なデータベースデータ構造へを含む、格納および／または読み出し得る。本例において、使用されるデータはデータベース（「ＤＢ」）１５４内の様々な種類の画像データ情報、ＤＢ１５２内の様々な種類のアプリケーションデータ、ＤＢ１５７内の様々な種類の構成データを含み得、システムデータまたは他の情報などの追加の情報を含み得る。

【0020】

また、図１Ａに例示された実施形態において、ネットワーク利用可能媒体コンテンツプロバイダ１９０は、１または複数のサーバ演算処理システム１９２、コンテンツ記憶装置１９４、および、１または複数のネットワーク接続１９６を含む。示されサーバ演算処理システム１９２は、各々、ローカル演算処理システム１２０のそれらと同様な構成要素を有し得、１または複数のハードウェアプロセッサ、Ｉ／Ｏ構成要素、ローカルストレージデバイスおよびメモリを含むものの、分かりやすさのためサーバ演算処理システムに対していくつかの詳細は図示していない。

【0021】

ローカル媒体レンダリングシステムによってローカルに実行される動作を含む一例として、ローカル演算処理システム１２０がゲーム演算処理システムであると仮定すると、アプリケーションデータ１５２は、メモリ１３０を使用しているＣＰＵ１２５により実行される１または複数のゲームアプリケーションを含み、ビデオサブシステム１４０のＧＰＵ１４４と連携してなど、様々なビデオフレーム表示データがＩＤＭシステム１３５によって生成されおよび／または処理される。良質のゲーム体験を提供すべく、ビデオフレームデータ（約６０－１８０のそのようなビデオフレーム毎秒の高「フレームレート」とともに、各ビデオフレームに対して高い画像解像度に対応する）の高い量がローカル演算処理システムによって生成され、伝送リンク１１５により１または複数のディスプレイデバイス１８０へ提供される。

【0022】

ディスプレイデバイス１８０ａおよび／または１８０ｂは、図１Ａの例示された実施形態では、ローカル演算処理システム１２０とは別個で分離されているものとして示されているが、特定の実施形態では、ローカル演算処理システムのいくつかまたは全ての構成要素は、例えばモバイルゲームデバイス、ポータブルＶＲエンターテインメントシステム等、などの単一のデバイス内に統合および／または収容され得ることが理解されるであろう。そのような実施形態では、伝送リンク１１５は、例えば、１または複数のシステムバスおよび／またはビデオバスアーキテクチャを含み得る。加えて、記載される技術の少なくともいくつかは、符号化された形式でローカル演算処理システム１２０から接続１１５を介して受信された画像データをデコードするなど、いくつかの実施形態においてディスプレイデバイス１８０ａおよび／または１８０ｂ上で実行され得る。図１Ｂは、以下で更に説明されるＨＭＤデバイス１８０ｂに対してなど、そのような画像復号化技術を実行するハードウェア回路の一例を図示する。

【0023】

演算処理システム１２０および１９０は単に例示的なものであり、本発明の範囲を限定することが意図されていないこともまた理解されるであろう。演算処理システムは代りに、各々が、複数のインタラクト演算処理システムまたはデバイスを含み得、演算処理システムは図示していない他の装置に接続され得、インターネットなどの１または複数のネットワークを介し、ウェブにより、または、プライベートネットワーク（例えば、移動体通信ネットワークなど）によるものを含む。より一般的には、演算処理システムまたはその他の演算ノードは、説明される種類の機能と対話する、およびその機能を実行することができるハードウェアまたはソフトウェアのあらゆる組み合わせを含み得、その記載される種の機能は、デスクトップまたはその他のコンピュータ、ゲームシステム、データベースサーバ、ネットワークストレージデバイスおよびその他のネットワークデバイス、ＰＤＡ、携帯電話、無線電話、ページャ、電子手帳、インターネット家電、テレビを利用したシステム（例えば、セットトップボックスおよび／またはパーソナル／デジタルビデオレコーダを使用）、および適切な通信能力を備えるその他の様々な消費者製品を含み得るが、これらに限定されない。加えて、システム１３５によって提供される機能は、本明細書の他の箇所で説明されるように、いくつかの実施形態において１または複数の構成要素に分配され得、いくつかの実施形態においてシステム１３５の機能のいくつかは提供され得ず、および／または、他追加の機能が利用でき得る。様々なアイテムが、使用されながらメモリ内またはストレージに格納されるように図示されるが、これらのアイテムまたはそれらのアイテムの一部は、メモリ管理およびデータの完全性の目的でメモリとその他のストレージデバイスとの間で移動し得ることがさらに理解されるであろう。従って、いくつかの実施形態において、記載される技術のいくつかまたは全ては、１または複数のプロセッサ、または、他の構成されたハードウェア回路および／またはメモリおよび／またはストレージを含むハードウェア手段によって実行され得、それは１または複数のソフトウェアプログラム（例えば、システム１３５および／またはその構成要素）および／またはデータ構造によって構成される場合などであり、それは１または複数のソフトウェアプログラムのソフトウェア命令の実行によって、および／または、そのようなソフトウェア命令および／またはデータ構造の格納によってなど、である。構成要素、システム、およびデータ構造のいくつかまたは全てはまた、ハードディスクまたはフラッシュドライブまたはその他の不揮発性ストレージデバイス、揮発性または不揮発性メモリ（例えば、ＲＡＭ）、ネットワークストレージデバイス、または、適切なドライブ（例えば、ＤＶＤディスク、ＣＤディスク、光学ディスクなど）によって、または適切な接続により読み込まれる携帯用の媒体製品、などの非一時的コンピュータ可読記憶媒体に（例えば、ソフトウェア命令または構造化データとして）格納され得る。システム、構成要素、およびデータ構造はまた、いくつかの実施形態において、生成されるデータ信号として（例えば、搬送波、またはその他のアナログまたはデジタル伝搬信号の一部として）無線を利用した媒体および有線／ケーブルを利用した媒体を含む様々なコンピュータ可読送信媒体で送信され得、（例えば、単一または多重化アナログ信号の一部として、または、複数の個別のデジタルパケットまたはフレームとして）様々な形式を取り得る。そのようなコンピュータプログラム製品はまた、他の実施形態において他の形式を取ることもし得る。従って、本発明は、他のコンピュータシステム構成で実施し得る。

【0024】

図１Ｂは、符号化された形式で受信された画像データを復号化し、記載される技術に従って１または複数のディスプレイパネル上の画像データの表示を開始する、自動化された動作を実行するよう構成され得る、ＨＭＤデバイス１８０ｂなどのディスプレイデバイス上のハードウェア回路の一例を図示する。特に、図１Ｂは、複数の画素Ｐが行Ｒおよび列Ｃに配置される画素配列１０３を有する例示的なディスプレイシステム１００ｂを含む。行（標識Ｒ_ｘ）の一例と列（標識Ｃ_ｙ）の一例だけが示され、それらの交点にある画素（標識Ｐ_ｘｙ）の一例が表示されているものの、実際には、画素配列１０３は、任意のＭ×Ｎ配列であり得、ここで、Ｍは、画素配列における行の数であり、Ｎは、列の数である。ディスプレイシステム１００ｂは、例えば、ＬＣＤシステムまたはＯＬＥＤシステムであり得る。ディスプレイシステム１００ｂがカラーディスプレイである実装態様では、画素Ｐは、各々が異なる色（例えば、赤、緑、青）を発生させるサブ画素を含み得る。

【0025】

ディスプレイシステム１００ｂの画素配列１０３に隣接するのは、画素配列１０３の個別の画素を駆動するため、ならびに任意で他の機能を実行するためのハードウェア回路を含む周辺範囲である。特に、ハードウェア回路は、ゲートまたはスキャンドライバ回路とも呼ばれることがある行ドライバ回路（例えば、ＩＣまたは集積回路）１０６、およびデータドライバ回路とも呼ばれることがある列ドライバ回路（例えば、ＩＣ）１０８を含む。行ドライバ回路１０６および列ドライバ回路１０８は「画素ドライバサブシステム」として本明細書で総称され得る。ドライバ回路１０６および１０８の各々は、例えば、１または複数の集積回路から形成され得る。実際に、ディスプレイポート１１３は外部ビデオソースシステム１１６（例えば、図１Ａのローカル演算処理システム１２０）から入力された画像データを受信し、それは本明細書の他の箇所で説明されるように符号化された形式などであり、受信されたデータはブリッジＩＣ１１７に伝送される。ブリッジＩＣ１１７は、自動化された動作を実行して、本明細書で説明されたように符号化されている受信されたデータをデコードし、復号化された画素値を実装するためにそれぞれの情報を行および列ドライバ回路に転送するロジックを実装するように構成される。特に、行ドライバ回路１０６は、画素配列１０３内の画素（またはサブ画素）の行Ｒの各々に１つずつ、複数の行選択ライン１１２を含み、行選択ライン１１２の各々は、画素配列１０３の対応する行の画素のスキャン電極に電気的に結合されている。列ドライバ回路１０８は、同様に、画素配列１０３内の画素（またはサブ画素）の列Ｃの各々に１つずつ、複数のデータライン１１４を含み、データライン１１４の各々は、画素配列１０３の対応する列の画素のデータ電極に電気的に結合されている。行ドライバ回路１０６は、ブリッジＩＣ１１７の制御下で、行選択ライン１１２により一度に画素配列１０３の１または複数の行を選択的に有効にし、ブリッジＩＣ１１７の制御下で列ドライバ回路１０８は、画素配列１０３内の画素の列の各々について、データ（例えば、電圧レベル）をデータライン１１４に出力する。従って、画素のスキャン電極が、行選択ライン１１２を介して行ドライバ回路１０６によりハイにパルスされるとき、各画素によって透過される光の強度は、列ドライバ回路１０８によってデータライン１１４を介して画素のデータ電極に適用される駆動電圧によって決定される。少なくともいくつかの実装形態では、ドライバ回路１０６および１０８および／またはブリッジＩＣ１１７は、同じデータまたは同様のデータを含む複数の行を同時に読み込むするように構成され得る。

【0026】

前述のように、ブリッジＩＣ１１７は、ディスプレイポート入力１１３を介してビデオソースシステム１１６に動作可能に結合され、それは、画像ストリーム（例えば、処理されたビデオデータ）をディスプレイシステム１００ｂ上の表示用にブリッジＩＣ１１７に供給する。ビデオソースシステム１１６は、例えばフラットパネルテレビ、ラップトップ、タブレットコンピュータ、携帯電話、ヘッドマウントディスプレイ、ウェアラブルコンピュータ、等などのディスプレイシステムを利用する任意のビデオ出力ソースシステムであり得る。ビデオソースシステム１１６は、より大きなシステムの構成要素（例えば、グラフィックコントローラ）であり得る。ブリッジＩＣ１１７は、画像ストリームを受信し、それを適切な電圧プログラミング情報に変換して、画素配列１０３内の画素に提供され、画像ストリームに存在する画像を順次表示する。ブリッジＩＣ１１７は、例えば、レベルシフタ、タイミング、およびアナログ関数発生器を含み得る。一般に、ブリッジＩＣ１１７は、ビデオソースシステム１１６からの入力として、画像ストリーム信号（例えば、デジタル信号）、同期情報、タイミング情報などのうちの１または複数を取ることにより行および列ドライバ回路１０６および１０８をバイアスするためのタイミングおよびデータ信号を生成し得る。

【0027】

ディスプレイシステム１００ｂはまた、情報を生成してビデオソースシステム１１６に伝送し戻すなどのために、図示された例では別個のマイクロコントローラ１１１を含むものの、他の実施形態は、そのようなマイクロコントローラをディスプレイシステム１００ｂの一部として含み得ない（例えば、１または複数のそのようなマイクロコントローラが、ディスプレイデバイスの１または複数の他のシステムの一部であるか、または代わりに特定の実施形態では実装されない場合）。伝送される情報は、例えば、以下の１または複数のものを含み得る。ディスプレイシステムが実装されるころのディスプレイデバイス（例えば、ＨＭＤデバイス１８０ｂ）に対する位置および／または向きの情報、着用ユーザ瞳孔および／または視線方向情報、等。しかしながら、一実施形態において、１または複数のそのような種類の情報は、ディスプレイシステム１００ｂから分離したディスプレイデバイス上の他のハードウェア回路（不図示）からビデオソースシステムへ伝送され得る。ブリッジＩＣ１１７および／またはマイクロコントローラ１１１は、メモリ、Ｉ／Ｏインタフェース、通信システムなど、ならびに１または複数のプロセッサ（例えば、１または複数の中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート配列（ＦＰＧＡ）、グラフィックス処理ユニット（ＧＰＵ）、その他のプログラマブル回路、上記の組み合わせなど）を含み得る。

【0028】

特定の実施形態において、１または複数のビデオフレームに対するビデオフレームデータを生成することの一部としてまたはそのようなビデオフレームデータをその後処理することの一部としてのいずれかとして、ビデオフレームデータは一次的表示領域および１または複数の二次的表示領域を反映して符号化される。そのような符号化は、例えば、一次的表示領域に対して１対１マッピングを使用することを含み得、更に、二次的表示領域のいくつかの画素から画素値をその二次的表示領域の複数の他の画素に割り当てることになどによって、各二次的表示領域に対して１対多マッピングを反映させた各二次的表示領域のコンテンツを修正することを更に含む。例えば、特定の二次的表示領域に関して、１対多マッピングを実装することは、二次的表示領域内の第１の一次元画素配列（すなわち、列または行）から画素値を１または複数の近接した一次元画素配列（すなわち、隣接する列または隣接する行）の画素に割り当てることを含み得る。様々な実施形態において、各二次的表示領域内のオリジナル「源」画素に対するそのような複製されたまたは「ミラーされた」画素の比率は、ＩＤＭシステムによって単一画素値に割り当てられているそのような画素クラスタ内の全画素と共に、二次的表示領域内の連続した画素クラスタの結果として生じる寸法によって同定され得る。加えて、ＩＤＭシステムは、いくつかの実施形態において、異なるマッピングの領域の境界の、個別の境界のアーティファクトの傾向を低くし、従って視覚的な認識可能性を低くするべく、境界から離れた画素の距離に渡って、境界ぼかしおよび／または補間することを使用したシミュレーションされたマッピングで、一次的および二次的表示領域の間の境界に沿って（例えば、１対１一次的領域の内縁部に沿って）および／または２またはそれより多い二次的表示領域の間の境界に沿ってシミュレートされたマッピングを更に提供し得る。更に、ＩＤＭシステムはいくつかの実施形態において、異なる表示領域に対応するビデオフレームデータの異なる部分に対する予備処理もまたし得、それら異なる部分はマッピングの変更と共にそれらの後続の表示を別様に反映している。例えば、一実施形態において、異なる表示領域を意図している画像データは、それらの領域が異なる寸法を有し得る変化した周波数変調応答曲線を補償すべく、異なる画像フィルタリングが適用され得る。１または複数の二次的表示領域に対する画素クラスタ寸法（すなわち、１対Ｍマッピングに対するＭのサイズ）は、以下を含むそのような基準非限定的な例と共に、様々な基準に基づいてＩＤＭシステムによって選択され得る。もし狭いデータ伝送帯域幅がそのようなビデオフレームデータを伝送するのに利用できるならより大な画素クラスタ寸法を利用するなどの、データ伝送帯域幅制限。もしそのようなビデオフレームデータを伝送するのに狭いデータ伝送帯域幅の使用が好適であるならより大な画素クラスタ寸法を利用するなどの、データ伝送帯域幅の方針。グラフィック計算能力の制限または方針。媒体のタイプ（例えば、ロスなしまたはロスあり圧縮によるなど、符号化されるべきコンテンツが伝送帯域幅に影響し得る別の態様で既に符号化されているか否か）。媒体コンテンツ（例えば、視聴者の予測された焦点に基づく、または、符号化されるべきビデオフレームデータのセットの分析に基づく）。指示された種類の目的ディスプレイデバイス。グラフィックの制限または方針（例えば、目標のビデオフレーム解像度または目標のフレームレート）。視覚追跡情報（ユーザの眼の位置および焦点の１または複数の指示に基づくなど）。１または複数の予め定められたユーザの好み。構成情報。および、他の適切な基準。

【0029】

少なくともいくつかの実施形態において、ＩＤＭシステムは、各ビデオフレームまたは他の画像などに対して、ディスプレイを一次的および二次的表示領域に区分する方式および／または画素ベースデータを符号化するための画素クラスタ寸法を動的に決定し得る。例えば、そのようなディスプレイの区分は、現在の利用できる伝送帯域幅容量に従ってＩＤＭシステムによって実行され得、それは以前のまたは将来の利用できる伝送帯域幅容量より大きいまた小さくなり得る（例えば、「ピーク」ネットワーク利用時間の間の伝送に対するビデオストリームを符号化している演算処理システムは、低いネットワーク利用の時間の間の伝送に対する同じビデオストリームを符号化している同じ演算処理システムより小さい一次的表示領域を使用するビデオストリームに対するビデオフレームデータの区画を選択し得る）。代替的にまたはより小さい一次的表示領域と連携して、符号化演算処理システムは符号化処理の一部として１または複数の二次的表示領域に対してより大きな画素クラスタ寸法を利用するよう決定し得る。

【0030】

１または複数の実施形態において、ディスプレイデバイス（例えば、ディスプレイデバイス１８０ａおよび／または１８０ｂ）上のビデオフレームデータ（または他の画像）に表示を開始することの一部としてなど、ＩＤＭシステムは、上述の方式で既に符号化されているビデオフレームデータを復号化するよう決定し得る。例えば、ＩＤＭシステムは、ビデオフレームデータの一次的表示領域の表示を制御する１対１画素マッピングを使用することによって、および、二次的表示領域内の複数の画素の表示を制御する符号化された二次的表示領域の各々の各画素値を使用することによって（すなわち、ビデオフレームデータが既に符号化されていたところの選択された画素クラスタの寸法によって指示される１対多画素マッピングに従って）、ディスプレイデバイス上にそのような符号化されたビデオフレームデータの表示を開始し得る。

【0031】

ローカル媒体レンダリングシステム１１０と媒体コンテンツプロバイダ１９０との両方によって実行される動作を含む別の例として、ローカル演算処理システム１２０が、コンピュータネットワーク１０１およびネットワークリンク１０２により媒体コンテンツプロバイダからビデオフレームデータを受信し（例えば、ビデオフレームデータを含む特定の媒体コンテンツへの要求に応答して）、ディスプレイデバイス１８０上で媒体コンテンツを処理し、レンダリングするための、ビデオストリーム処理デバイスであると仮定する。この第２の例において、媒体コンテンツプロバイダ１９０は、ローカル演算処理システムからの要求に応答して要求された媒体コンテンツをコンテンツ記憶装置１９４から読み出し、媒体コンテンツは、（例えば、媒体コンテンツプロバイダ１９０の１または複数のサーバ演算処理システム１９２のローカルメモリ内で実行される、不図示の、ＩＤＭシステムによって）ローカル媒体レンダリングシステムへの伝送の前に、上述したのと同様の態様で媒体コンテンツプロバイダによって符号化されている（少なくとも１つの一次的表示領域および１または複数の二次的表示領域に関して）。特定の実施形態において、読み出された媒体コンテンツは既に符号化され得、または、それは代りに、読み出しおよび伝送の時点で動的に符号化され得る。既に符号化されたコンテンツのそのような実施形態の一例として、コンテンツ記憶装置１９４は、要求された媒体コンテンツの複数のバージョンを含み得（様々な符号化方式に従って符号化されている各バージョンで）、１または複数の様々な基準に基づいて特定の要求に応答してバージョンのうちの一つを選択して使用し得る。そのような基準の非限定的な例は、第１の例で二次的表示領域に対する特定の画素クラスタ寸法の選択に関して上述したそれらを含み得る。この例において、媒体コンテンツプロバイダ１９０は、要求された媒体コンテンツの選択され符号化されたバージョンをローカル媒体レンダリングシステム１１０へネットワーク１０１およびネットワークリンク１０２により伝送する。要求された媒体コンテンツの符号化されたバージョンが部分的にまたは完全にのいずれかでローカル媒体レンダリングシステムによって受信された時点で、ＩＤＭシステム１３５は受信された媒体コンテンツの復号化および上述した方式で１または複数のディスプレイデバイス１８０による復号化された媒体コンテンツの表示を開始し、ビデオフレームデータの一次的表示領域の表示を制御する１対１画素マッピングを使用し、二次的表示領域内の複数の画素の表示を制御する各符号化された二次的表示領域の各画素値を使用する（すなわち、ビデオフレームデータが媒体コンテンツプロバイダ１９０によって既に符号化されていたところの選択された画素クラスタ寸法によって指示された１対多画素マッピングに従って）。

【0032】

図２Ａは、本明細書で説明される一つの実施形態の技術に従って、表示のための符号化されたビデオフレームデータの結果を図示する。特に、図２Ａは、フラットパネルコンソールディスプレイデバイス２００での技術の使用を描いているが、同様の技術は代わりに図２Ｂおよび２Ｃに関連して更に示されるヘッドマウントディスプレイデバイス２９５の１または複数のディスプレイパネルで使用され得る。この例において、ディスプレイデバイス２００は、そのようなビデオフレームデータを符号化する目的で一次的表示領域２１０および二次的表示領域２１２（領域２１２ａおよび２１２ｂを含む）、２１４（領域２１４ａおよび２１４ｂを含む）および２１６（領域２１６ａ、２１６ｂ、２１６ｃおよび２１６ｄを含む）に区分されている画素配列を含む。二次的表示領域２１２ａおよび２１２ｂはそれぞれ、一次的表示領域と画素配列の上下縁部との間に位置している。二次的表示領域２１４ａおよび２１４ｂはそれぞれ、一次的表示領域と画素配列の左右縁部との間に位置している。二次的表示領域２１６ａ－ｄはそれぞれ、画素配列の角に位置し、二次的表示領域２１２および２１４の四つの接合部を表現している。

【0033】

図２Ａ－Ｃの例示された実施形態において、各区分された表示領域は、その表示領域内の一次元画素配列上で実行された符号化動作の結果として同じ画素値を共有している画素クラスタの指示された寸法で（画素内で、方向表示２０１によって示された水平ｘおよび垂直ｙの向きで）標識付けされている。例えば、「１×１」と指示された画素寸法を有する表示領域において、表示領域のオリジナルの解像度および画素値は１対１マッピングの符号化中に保持される。「２×２」と指示された画素寸法を有する表示領域において、符号化処理は、単一ソース画素値から同じ画素値が割り当てられた２画素（水平方向）掛ける２画素（垂直方向）の画素クラスタを結果としてもたらし、それは１対４マッピング（単一ソース画素値および３つの複製された画素値で）に対応し、４画素の画素クラスタサイズを与える。「２×３」（不図示）と指示された画素寸法を有する表示領域において、符号化処理は、同じ画素値が割り当てられた２画素（水平方向）掛ける３画素（垂直方向）の画素クラスタを結果としてもたらし、それは６画素の画素クラスタサイズを与える。

【0034】

改めて図２Ａの特定の実施形態を参照すると、一次的表示領域２１０は、画素が一次的表示領域内の近接画素から画素値を割り当てられないところの１対１画素マッピングを示す、完全「１×１」解像度に対応する画素値情報を含む。従って、一次的表示領域２１０のサイズが例えば１０００画素掛ける８００画素で配列ば、領域２１０に対する符号化されたデータは８００，０００画素値に対するデータを含むであろう。この図示される実施形態において、二次的表示領域２１２ａおよび２１２ｂは、１水平画素対２垂直画素の「１×２」方式で構造化された１対２マッピング（すなわち、２の画素クラスタ寸法）を示す画素クラスタを有するような例示された実施形態で識別される。例えば、拡張された視野２０５で指示されるように、２１２ｂの二次的表示領域は一次元画素配列（行）２３０ｃおよび２３０ｄを含む。ビデオフレームの符号化の前に、行２３０ｃおよび２３０ｄの各々は画素値の独自のセットを有すると仮定する。ビデオフレームの符号化の一部としてとして、領域２１２ｂの行２３０ｃ内の画素の画素値は、（本明細書の他の箇所でより詳細に説明される基準に基づくなど）隣接する行２３０ｄ内の対応する画素に割り当てられる。結果として、画素クラスタ２４１は１水平画素掛ける２垂直画素の寸法を有し、列２２０ａの行２３０ｃとの交点および列２２０ａの行２３０ｄとの交点にそれぞれ位置する以前の２つの別個の画素を包含し、同様に、列２２０ｂの行２３０ｃおよび２３０ｄは単一画素値（例えば、行２３０ｃおよび列２２０ｂに対するオリジナルの画素値）を使用する追加の画素クラスタを形成する。このようにして、符号化処理前の領域２１２ｂに対する行２３０ｃの独自画素値のセットは延長または「ミラーされ」、領域２１２ｂの拡張された新しい行２１２ｂ－１を形成する。符号化処理前の領域２１２ｂに対する行２３０ｅの独自画素値のセットは同様にミラーされ、領域２１２ｂの拡張された新しい行２１２ｂ－２を形成する。二次的表示領域２１２ｂの全体に対しても同様である。結果として、二次的表示領域２１２ｂに対応するフレームデータの部分の有効解像度（およびそのための伝送帯域幅）は半分に減少する。二次的表示領域２１２ａの画素に対応するフレームデータを符号化する動作は同様の方式で実行される。

【0035】

同様の方式で、２水平画素対１垂直画素で「２×１」方式で構造化された１対２マッピング（すなわち、２の画素クラスタ寸法）の画素クラスタを有するよう例示された実施形態で識別され、一次元画素配列（列）２２０ｃ、２２０ｄ、２２０ｅおよび２２０ｆを含む、二次的表示領域２１４ｂを考える。改めて、符号化の前にそのような列の各々は画素値の独自セットを有すると仮定する。ビデオフレームの符号化の一部として、列２２０ｃ内の画素の画素値は隣接する列２２０ｄの対応する画素に割り当てられる。結果として、画素クラスタ２４３は、２水平画素対１垂直画素の寸法を有し、行２３０ａの列２２０ｃとの交点および行２３０ａの列２２０ｄとの交点にそれぞれ位置された以前は２つの別個の画素を包含する。このようにして、符号化処理前の領域２１４ｂに対する列２２０ｃの独自画素値のセットは列２２０ｄへミラーされ、新しい列２１４ｂ－１を形成する。符号化処理前の領域２１４ｂに対する列２２０ｅの独自画素値のセットは同様に列２２０ｆにミラーされ、拡張された新しい列２１４ｂ－２を形成する。二次的表示領域２１４ｂの全体に対しても同様である。従って、二次的表示領域２１２ｂに関し、上述したのと同様の態様で、二次的表示領域２１４ｂに対応するフレームデータの部分の有効解像度（及び伝送帯域幅）は半分に減少する。フレームデータの符号化は二次的表示領域２１４ａに対して同様に実行される。

【0036】

図２Ａに図示される実施形態において、二次的表示領域２１６ａ－２１６ｄに対応するビデオフレームデータに対する符号化処理は、二次的表示領域２１２ａ－２１２ｂおよび２１４ａ－２１４ｂに対するそれと同様の態様で実行される。特に、延長された視野２０５に示されるような二次的表示領域２１６ｄに関して、二次的表示領域２１６ｄの各一次元画素配列は符号化の前に独自画素値のセットを含むことが仮定されている。ビデオフレームデータの符号化の一部として、二次的表示領域２１６ｄ内の行２３０ｃの部分のそれらなどの、第１の一次元画素配列に対する画素値は、その二次的表示領域内の隣接する行２３０ｄの一部対応する画素に割り当てられる。同様に、領域２１６ｄの列２２０ｅの部分の一次元画素配列に対する画素値は、隣接する列２２０ｆの部分の対応する画素に割り当てられる。結果として生じる画素クラスタ２４５は、二次的表示領域２１６ｄに対して「２×２」で指示される寸法サイズを有し、そのなかにおいて、全四画素は、行２３０ｃと列２２０ｅとの交点に位置する独自画素に対する符号化されていないフレームデータ内で既に指示された画素値を共有する。画素クラスタ内の四画素は、この例において、最初に行値を指示されるように二倍し、次に列値を指示されるように二倍することによってセットされる一方、四値は、他の実施形態において、他の方式（例えば単一動作）でセットされ得る。

【0037】

本例における二次的表示領域に対して使用される１対多画素マッピングは複製された行および／または複製された列の方法を反映しているが、画素クラスタ寸法および１対多画素マッピングの他の配置および構成が様々な状況および実施形態におけるＩＤＭシステムによって使用され得、特定の画素値割り当ておよび画素値マッピングに関して上述の符号化の方式の多くの変形形態が記載される技術の範囲から逸脱することなく利用され得ることが理解されるであろう。一例として、そこから１または複数の近接および／または隣接する一次元画素配列に画素値が割り当てられるところの第１の一次元画素配列の選択は、符号化処理に実質的に作用することなくＩＤＭシステムによって様々な方式で作成され得る。例えば、特定の実施形態において、一次的表示領域２１０の境界を形成する一次元画素配列は（図２Ａの行２３０ｂに対応するなど）、隣接する二次的表示領域２１２の縁部上の一次元画素配列（行２３０ｃに対応するなど）に対する画素値の「源」（ソース）として利用され得る。特定の実施形態において、一次元画素配列は、そのような一次元画素配列が位置するところの二次的表示領域の相対的な比率に直交する方式など、上述以外の方式でミラーされ得る。例えば、行よりむしろ二次的表示領域２１２ｂの列を効果的にミラーリングする方式で画素値を割り当て（列２２０ａの画素から列２２０ｂの画素へ値を割り当てるなど）、および／または、列よりむしろ二次的表示領域２１４ｂの行を効果的にミラーリングするよう画素値を割り当てる（行２３０ａの画素から行２３０ｂの画素へ値を割り当てるなど）。

【0038】

別の例として、図２Ｂおよび２Ｃに関連して以下に説明されるように、もし符号化されていない一次元画素配列２３０ｄから画素値が一次元画素配列２３０ｃ、２３０ｅおよび２３０ｆの対応する画素に割り当てられていたらなど、画素クラスタの複数の画素は、単一画素からの値を割り当てられ得る。そのような例において、二次的表示領域２１２ｂおよび２１６ｄは、それぞれ１×４および２×４の複製構造を有し得、結果として生じるそれら二次的表示領域に対応する符号化されたビデオフレームデータに対する必要な伝送帯域幅の減少は、従って増加する。

【0039】

図２Ｂおよび２Ｃは、一次的および二次的表示領域へ画素配列を分割するための代替的な実施形態および構成を描いており、そのような実施形態においてなど、符号化演算処理システムは異種の基準に従って、または、同一の基準であるが状況が変更されているもの（もし利用できる伝送帯域幅が変化していた、特定のユーザの好みが変更した、異なる種類の媒体が符号化され／復号化されるなど）に従って、ビデオフレームデータを区画するよう決定している。加えて、図２Ｂおよび２Ｂは、デバイス２９５の示された半分とともに、ヘッドマウントディスプレイデバイス２９５の２つのディスプレイパネルの一つでの技術の使用が描かれている。図示していないが、同様の技術がデバイス２９５の他の半分（不図示）の追加のディスプレイパネルで使用され得る。

【0040】

図２Ｂの例示的な実施形態において、図２Ａの一次的表示領域２１０に関して上述したのと同様の態様で、ＩＤＭシステムは、１対１の画素マッピングおよび１×１の対応するクラスタ構造で、ヘッドマウントディスプレイデバイス２９５のより大きな画素配列の近似的な地理的中心内の完全解像度一次的表示領域２５０を区画するよう決定する。図２Ａに示された区分構成との注目に値する対照として、図２Ｂの中央の一次的表示領域は、二次的表示領域の２つの別個の層で包囲され、二次的表示領域の最外層は、一次的表示領域２５０と直に隣接するそれら二次的表示領域に対するのよりも大きい画素マッピングおよびクラスタ寸法が、以下のように割り当てられる。二次的表示領域２５２ａおよび２５２ｂは２×１の画素クラスタ構造を割り当てられ、それぞれ一次的表示領域の左右境界に隣接して位置決めされる。二次的表示領域２５４ａおよび２５４ｂは３×１の画素クラスタ構造を割り当てられ、二次的表示領域２５４ａは二次的表示領域２５２ａとパネルディスプレイデバイスの最左辺との間に位置決めされ、二次的表示領域２５４ｂは二次的表示領域２５２ｂとパネルディスプレイデバイスの最右辺との間に位置決めされる。二次的表示領域２５６ａおよび２５６ｂは１×２の画素クラスタ構造を割り当てられ、それぞれ一次的表示領域の上下境界に隣接して位置決めされる。二次的表示領域２５８ａおよび２５８ｂは１×３の画素クラスタ構造を割り当てられ、二次的表示領域２５８ａは二次的表示領域２５６ａとパネルディスプレイデバイスの最上辺との間に位置決めされ、二次的表示領域２５８ｂは二次的表示領域２５６ｂとパネルディスプレイデバイスの底辺との間に位置決めされる。二次的表示領域２６０ａ－ｄは２×２の画素クラスタ構造を割り当てられ、それぞれ二次的表示領域２５６ａと２５２ａ、２５６ａと２５２ｂ、２５２ａと２５６ｂ、および、２５２ｂと２５６ｂの接合部に位置決めされる。二次的表示領域２６２ａ－ｄは３×２の画素クラスタ構造を割り当てられ、それぞれ二次的表示領域２５６ａと２５４ａ、２５６ａと２５４ｂ、２５６ｂと２５４ａ、および、２５６ｂと２５４ｂの接合部に位置決めされる。二次的表示領域２６４ａ－ｄは２×３の画素クラスタ構造を割り当てられ、それぞれ二次的表示領域２５８ａと２５２ａ、２５８ａと２５２ｂ、２５８ｂと２５２ａ、および、２５８ｂと２５２ｂの接合部に位置決めされる。二次的表示領域２６６ａ－ｄは３×３の画素クラスタ構造を割り当てられ、それぞれ二次的表示領域２５８ａと２５４ａ、２５８ａと２５４ｂ、２５８ｂと２５４ａ、および、２５８ｂと２５４ｂの接合部に位置決めされる。

【0041】

図２Ａの実施形態のフレームデータの符号化に関して説明されるのと同様の態様で、複数の二次的表示領域の各々に対応するビデオフレームデータは、二次的表示領域内の第１の画素（およびこの例では特に、１または複数の第１の一次元画素配列）から画素値を、二次的表示領域の１または複数の第２の画素（改めてこの例において、１または複数の第２の一次元画素配列へ）に割り当てることによって修正される。例えば、図示される実施形態において、その二次的表示領域２５６ｂ内のソース行からの画素値は、二次的表示領域内の隣接する行の対応する画素に割り当てられ（二次的表示領域２５６ｂに対して１×２の指示された画素クラスタ寸法が結果として生じる）、二次的表示領域２５８ｂ内のソース行からの画素値は、その二次的表示領域内の２つの隣接する行の対応する画素に割り当てられる（二次的表示領域２５８ｂに対して１×３の指示された画素クラスタ寸法が結果として生じる）。同様に、二次的表示領域２５２ｂ内のソース列からの画素値は、その二次的表示領域内のそのソース列に隣接する列の対応する画素に割り当てられ（二次的表示領域２５２ｂに対して２×１の指示された画素クラスタ寸法を結果として生じる）、二次的表示領域２５４ｂ内のソース列からの画素値は、その二次的表示領域内のそのソース列に隣接する２つの列の対応する画素に割り当てられる（二次的表示領域２５４ｂに対して３×１の指示された画素クラスタ寸法を結果として生じる）。二次的表示領域２６０ａ－ｄ、２６２ａ－ｄ、２６４ａ－ｄおよび２６６ａ－ｄは、図２Ａの二次的表示領域２１６ａ－ｄのそれから類推される方式で取り扱われる。

【0042】

図２Ｃの例示的な実施形態において、図２Ａおよび２Ｂに対して上述したことに関するのと対照的な方式で、符号化演算処理システムはビデオフレームデータを非対称的構成に区分するよう決定する。本明細書の他の箇所で説明されるように、そのような区分の決定は、様々な基準に基づいてなされ得、いくつか場合において、図２Ｂに示される方式でＨＭＤデバイス２９５のディスプレイパネルに対する第１のビデオフレームまたは他の画像を符号化するような動的な決定、および、図２Ｃに示される方式でＨＭＤデバイス２９５のディスプレイパネルに対する後のビデオフレームまたは他の画像（例えば、次のビデオフレームまたは他の画像）を符号化するような動的な決定を反映し得る。従って、そのような実施形態において、一次的表示領域および／または二次的表示領域の位置（例えば、位置および／またはサイズ）を異なる画像に対して変化し得る。しかしながら表示領域のサイズが維持される（位置は任意で変化する一方）実施形態において、符号化された画像のサイズ（例えば、符号化された画像のデータの量）および対応する伝送レートは、定量的に維持され得る。例えば、図２Ｃにおけるヘッドマウントディスプレイデバイス２９５のディスプレイパネルの地理的中心から離れた位置で最も高い解像度を有する一次的表示領域２７０を位置決めする決定は、もし視聴者の関心の焦点が符号化演算処理システムに通信可能に結合された１または複数のデバイスによって監視されているならなど、アイトラッキングまたは視線追跡データに基づき得る。代替的に、図２Ｃにおけるディスプレイパネルの地理的中心から離れた位置に最も高い解像度を有する一次的表示領域２７０を位置決めする決定は、符号化されている媒体のコンテンツ（もし符号化されるビデオフレームデータを含むビデオシーケンスによって示される動作が対応するビデオフレームの左上方向へ位置するなら、または、もし対応するビデオフレームの詳細なレベルが左上角の方向へ遥かにより高いなら、など）、または、代わりに他の基準に基づき得る。この非対称的配置に加えて、図２Ｃの一次的表示領域２７０は左上側で二次的表示領域の単一層に囲まれるが、右下側で二次的表示領域の２つの層に囲まれる。

【0043】

図２Ｃの例において、二次的表示領域２７２ａおよび２７２ｂは２×１の画素クラスタ構造を割り当てられ、それぞれ一次的表示領域２７０の左右側に隣接して位置決めされる。二次的表示領域２７４ａおよび２７４ｂは１×２の画素クラスタ構造を割り当てられ、それぞれ一次的表示領域の上下側に隣接して位置決めされる。二次的表示領域２７６は４×１の画素クラスタ構造を割り当てられ、二次的表示領域２７２ｂとパネルディスプレイデバイスの最右辺との間に位置決めされる。二次的表示領域２７８は１×４の画素クラスタ構造を割り当てられ、二次的表示領域２７４ｂとパネルディスプレイデバイスの底辺との間に位置決めされる。二次的表示領域２８０ａ－ｄは２×２の画素クラスタ構造を割り当てられ、それぞれ、二次的表示領域２７４ａと２７２ａ、２７４ａと２７２ｂ、２７４ｂと２７２ａ、および、２７４ｂと２７２ｂの接合部に位置決めされる。二次的表示領域２８２ａ－ｂは２×４の画素クラスタ構造が割り当てられ、それぞれ二次的表示領域２７８の二次的表示領域２７２ａと２７２ｂとの接合部に位置決めされる。二次的表示領域２８４ａ－ｂは４×２の画素クラスタ構造を割り当てられ、それぞれ二次的表示領域２７６の二次的表示領域２７４ａと２７４ｂとの接合部に位置決めされる。二次的表示領域２８６は４×４の画素クラスタ構造を割り当てられ、二次的表示領域２７６と２７８の接合部に位置決めされる。

【0044】

図２Ａおよび２Ｂの実施形態のフレームデータの符号化に関して説明されるのと同様の態様で、複数の二次的表示領域の各々に対応するビデオフレームデータは、二次的表示領域内の１または複数の第１の一次元画素配列の各々からの画素値を、二次的表示領域の１または複数の第２の一次元画素配列へに割り当てることによって修正される。例えば、二次的表示領域２７４ｂ内のソース行からの画素値は、その二次的表示領域２７４ｂ内のそのソース行に隣接する行の対応する画素に割り当てられ（１×２の指示された画素クラスタ寸法が結果として生じる）、二次的表示領域２７８内のソース行からの画素値は、二次的表示領域２５８ｂ内のそのようなソース行の各々に隣接する３つの行の対応する画素に割り当てられる（二次的表示領域に対して１×４の指示された画素クラスタ寸法が結果として生じる）。同様に、二次的表示領域２７２ｂ内のソース列からの画素値は、その二次的表示領域２７２ｂ内のそのようなソース列の各々に隣接する列の対応する画素に割り当てられ（２×１の指示された画素クラスタ寸法が結果として生じる）、二次的表示領域２７６内のソース列からの画素値は、二次的表示領域２７６内のそのようなソース列の各々に隣接する３つの列の対応する画素に割り当てられる（二次的表示領域に対して４×１の指示された画素クラスタ寸法が結果として生じる）。他の二次的表示領域は、指示されるようにおよび上述のそれから類推される方式で構造化、管理される。他の箇所で留意されるように、本例に対して説明される１対多画素マッピングは二次的表示領域の一次元画素配列に関するそのようなマッピングを利用する一方、様々な状況および実施形態において、そのようなマッピングは、単一画素値をあらゆる適切な画素クラスタ寸法を有する画素クラスタへマップするなど、他の構成で使用され得ることが理解されるであろう。

【0045】

本明細書での表示の明確さと容易さのため、図２Ａ－２Ｃの示された例は代表的なビデオフレームの唯一の長方形区分を有する表示区分配置を利用している。しかしながら、様々な代替的な区分形状が、提示された技術の意図された範囲から逸脱することなく利用され得、そのため目的画素配列は上述した方式で符号化されることが理解されるであろう。即ち、第１の解像度を有する１または複数の一次的表示領域が提供され、１または複数の二次的表示領域は画素値を１または複数のソース画素から各二次的表示領域内の１または複数のミラーされた画素へ割り当てることによって、それらのそれぞれの境界内のその第１の解像度を効果的に低減するよう符号化されている。例えば、特定の実施形態において、円状または楕円状の一次的表示領域が利用され得、表示画素配列の残りの部分は、一次的表示領域からの、表示された画素配列の１または複数の縁部からの、または他の方式の相対距離に従って１または複数の二次的表示領域に区分されている。

【0046】

図３は画素値対画素マッピングルーチン３００の例示的な実施形態のフロー図である。ルーチン３００は、例えば、図１Ａの画像データ画素値対画素マッピング要素１３９、および／または、図２Ａ－２Ｃに関しておよび本明細書の他の箇所で説明された画像データを符号化するための動作を実行するシステムによって、実行され得、それは、少なくとも１つの一次的表示領域および１または複数の二次的表示領域とともに決定された画素配置構造に従って画像データを符号化するためなどである。ルーチン３００の例示された実施形態は一度に単一画像に対する動作を実行することを議論している一方、ルーチン３００の動作は複数画像のシーケンス（例えば、複数の累積ビデオフレーム）に適用され得ることが理解されるであろう。ルーチンの例示された実施形態は適切なソフトウェアおよび／またはハードウェアに実装され得、例えば、ＨＭＤ上または別の分離した演算デバイス上で動作するシステムによって実行され得ることもまた理解されるであろう。

【0047】

ルーチン３００の例示された実施形態はブロック３０５で開始し、ここでルーチンは、画像データ、および画像データを表示するディスプレイパネルに関する情報を取得する。ブロック３１０および３１５において、ブロック３０５で用いる配置（例えば、全画像に対して使用する固定された構造）に関する情報を受信することによって、または、代わりに現在の文脈に基づいて使用構造を動的に決定することによって（例えば、視聴者の視線追跡からなど強調の画像の一部に関する受信された情報、画像を生成しさもなければ提供するプログラムからの情報、等）など、ルーチンは、データを符号化するのに使用する表示領域を識別する。特に、ブロック３１０のルーチンは、ディスプレイパネルの一次的表示領域および画素値対画素の対応する１対Ｎマッピング、Ｎは１と等しいかそれより大きい、を識別し、ブロック３１５でディスプレイパネルの１または複数の二次的表示領域とともに、各々に対する画素値対画素の対応する１対Ｍ画素マッピング、Ｍは１より大きい（１対多画素マッピングを反映して）を識別する。

【0048】

ルーチンは次にブロック３２０に進み、そこでは、取得された画像データから、識別された１対Ｎおよび１対Ｍ画素マッピングに従って各表示領域内の画素を光らせるのに使用する画素値を選択する。ブロック３２５において、ルーチンは次に、ディスプレイパネル上に引き続いて表示するのに用いるために、図４に関連して説明したのと同様の態様でなど、マッピングデータに関連付けられた選択された画素値に関する符号化された情報を格納および／または伝送する。ルーチンは次にブロック３６０に進み、そこでは、終了の明示的な指示が受信されるまで続けるなど、追加の画像データが取得され符号化されるべきか否かが決定される。そうである場合、ルーチンはブロック３０５に戻って追加の画像データを取得し、そうでない場合、ルーチンはブロック３９９に進んで終了する。

【0049】

図４は画像データ表示マネージャルーチン４００の例示的な実施形態のフロー図である。ルーチン４００は、例えば、図１Ａの画像データ表示マネージャ要素１３７（例えば、図１Ｂに関して説明された方式でなど、ＨＭＤデバイスの構成されたハードウェア回路上に実装されるような）、および／または、少なくとも１つの一次的表示領域と１または複数の二次的表示領域で決定された画素配置構造に従って符号化された画像データを受信し、１または複数のディスプレイパネル上で対応する表示動作を実行することなど、図２Ａ－２Ｃに関しておよび本明細書の他の箇所で議論されるように、符号化している画像データを受信し表示する動作を実行するシステムによって実行され得る。ルーチン４００の例示された実施形態は、単一画像の動作を一度に実行することを議論するが、ルーチン４００の動作は、複数の画像のシーケンス（例えば、複数の累積ビデオフレーム）に適用され得ることが理解されであろう。ルーチンの例示された実施形態は適切なソフトウェアおよび／またはハードウェアに実装され得、例えば、ＨＭＤ上または別の分離した演算デバイス上で動作するシステムによって実行され得ることもまた理解されるであろう。

【0050】

ルーチン４００の例示された実施形態はブロック４０５で開始し、そこでは符号化された画像データ情報は指示されたディスプレイパネル上の表示のために取得される。取得された画像データは、図３に関して説明された方式で符号化されたデータなど、指示されたディスプレイパネルの複数の表示領域に対するマッピングデータに関連して使用する選択された画素値を含む。いくつかの実施形態および状況において、ディスプレイパネルに対する表示領域の定義された構造はブロック４０５で知られるかまたは取得されるであろう（例えば、異なる画像に対して構造が動的に変化し得る状況に対してなど、符号化された画像データの一部であろう）。一旦、画像データおよび表示情報が取得されると、ルーチンはブロック４１０に進み、そこでは、ルーチンは取得された画像データ情報および表示領域の対応する構造に従って指示されたディスプレイパネル上の表示に対する選択された画素値を読み込む。ルーチンは次にブロック４２５に進み、指示されたディスプレイパネル上に読み込まれた画素値の表示を開始する。ルーチンは次にブロック４６０に進み、終了の明示的な指示が受信されるまで続けるなど、追加の画像データ情報が取得され表示されるべきか否かが決定される。そうである場合、ルーチンはブロック４０５に戻って追加の画像データを取得し、そうでない場合、ルーチンはブロック４９９に進んで終了する。

【0051】

いくつかの実施形態において、上述されたルーチンによって提供される機能は、より多くのルーチン間で分割される、またはより少ないルーチンに統合されるなどの代替的方法で提供され得ることが理解されるであろう。同様に、いくつかの実施形態において、図示されたルーチンは、他の図示されたルーチンが代わりにそれぞれそのような機能を欠くまたは含む場合、または提供される機能の量が変更される場合など、説明されているよりも多いまたは少ない機能を提供し得る。加えて、様々な動作が特定の方式で（例えば、逐次または並列に）および／または特定の順序で実行されるものとして示されている場合があるが、当業者は、他の実施形態において、動作が他の順序で、および他の方式で実行され得ることを理解するであろう。同様に、上述されたデータ構造は、異なる方式で構造化され得、単一のデータ構造を複数のデータ構造に分割することによって、または、複数のデータ構造を単一のデータ構造に統合したりすることによってなど、データベースまたはユーザインタフェースの画面／ページまたはその他の種類のデータ構造を含むことが理解されるであろう。同様に、いくつかの実施形態において、図示されたデータ構造は、他の図示されたデータ構造が代わりにそのような情報をそれぞれ欠くまたは含む場合、または格納される情報の量または種類が変更される場合など、説明されるよりも多いまたは少ない情報を格納し得る。

【0052】

加えて、図面内の要素のサイズと相対位置は、様々な要素の形状と角度を含め、必ずしも縮尺どおりに描かれておらず、いくつかの要素は図面の読みやすさを改善するために拡大および位置決めされており、少なくともいくつかの要素の特定の形状は、それらの要素の実際の形状または縮尺に関する情報を伝えることなく認識を容易にするために選択されている。加えて、いくつかの要素は、明確さと強調のために省略される場合がある。更に、異なる図面で繰り返される参照番号は、同じまたは同様の要素を意味する場合がある。

【0053】

上記から、特定の実施形態が例示の目的のために本明細書で説明されたものの、本発明の趣旨および範囲から逸脱することなく、様々な修正が行われ得ることが理解されるであろう。加えて、本発明の特定の態様は、特定の請求項形態で時々提示されるか、または任意の請求項で具現化されないことがあろうが、発明者は、利用できるあらゆる請求項形態で本発明の様々な態様を企図する。例えば、本発明のいくつかの態様だけがコンピュータ可読媒体で具現化されるものとして特定の時間に列挙され得るが、他の態様も同様にそのように具現化され得る。

【0054】

本出願が利益を主張する２０１８年３月２３日に出願された米国特許出願番号第１５／９３４，７８９号の内容は、全体を参照によって本明細書に引用するものとする。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図3】

【図4】