特許 7449941 異なる圧縮レベルでのビデオコーディングのためのサイド情報

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-06

(45)【発行日】2024-03-14

(54)【発明の名称】異なる圧縮レベルでのビデオコーディングのためのサイド情報

(51)【国際特許分類】

   H04N 19/126 20140101AFI20240307BHJP

   H04N 19/167 20140101ALI20240307BHJP

   H04N 19/17 20140101ALI20240307BHJP

【ＦＩ】

H04N19/126

H04N19/167

H04N19/17

【請求項の数】 20

(21)【出願番号】P 2021537923

(86)(22)【出願日】2020-04-01

(65)【公表番号】

(43)【公表日】2022-05-18

(86)【国際出願番号】 US2020026215

(87)【国際公開番号】W WO2020198756

(87)【国際公開日】2020-10-01

【審査請求日】2021-09-21

(73)【特許権者】

【識別番号】591016172

【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド

【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】アダム エイチ． リー

(72)【発明者】

【氏名】ナサニエル デイビッド ネーグル

【審査官】富樫 明

(56)【参考文献】

【文献】特開２００２－３００５８１（ＪＰ，Ａ）

【文献】特開２０１８－０８２４０７（ＪＰ，Ａ）

【文献】特開２００４－１３４９３９（ＪＰ，Ａ）

【文献】国際公開第００／０４８０９０（ＷＯ，Ａ１）

【文献】特開平１１－２１５４９８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２２０１３４（ＵＳ，Ａ１）

【文献】特開２０１１－１１４４９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

システムであって、
データを受信するように構成されたインタフェース回路と、
前記インタフェース回路に結合されたエンコーダと、を備え、
前記エンコーダは、
ビデオフレームの複数の画素のブロックと、前記ビデオフレームの前記複数の画素のブロックとは別のサイド情報と、を受信することと、
前記サイド情報に基づいて、所定の領域が、前記所定の領域の外側の直接隣接するブロックの第２の圧縮レベルとは異なる、絶対値又は相対値として特定される第１の圧縮レベルを用いて符号化されると予測される、前記ビデオフレームの前記複数のブロックのうち１つ以上のブロックを含むと判別したことに応じて、前記第２の圧縮レベルとは異なる圧縮レベルを用いて前記所定の領域の前記１つ以上のブロックを圧縮することと、
を行うように構成されている、
システム。

【請求項2】

前記サイド情報に基づいて、前記ビデオフレームの前記複数のブロックの各ブロックが、前記サイド情報によって示される、予測された第３の圧縮レベルを有すると判別したことに応じて、前記第３の圧縮レベルを用いて前記ビデオフレームを圧縮する、
請求項１のシステム。

【請求項3】

前記所定の領域の前記１つ以上のブロックを圧縮するために、前記エンコーダは、前記受信したサイド情報において特定された、予測された第１の圧縮レベルに基づいて１つ以上の符号化パラメータを更新するようにさらに構成されている、
請求項１のシステム。

【請求項4】

前記１つ以上の符号化パラメータを更新するために、前記エンコーダは、
前記エンコーダが前記サイド情報を受信しなかったかのように、所定の符号化パラメータを生成することと、
前記所定の符号化パラメータを、前記サイド情報に基づく前記所定の符号化パラメータの値に置き換えることと、
を行うようにさらに構成されている、
請求項３のシステム。

【請求項5】

プロセッサをさらに備え、前記プロセッサは、前記所定の領域が前記ビデオフレームに存在することを示すソフトウェアのヒントまたはハードウェアのヒントを受信したことに応じて、前記サイド情報を生成し、
前記サイド情報は、
前記ビデオフレームの前記所定の領域の位置と、
前記所定の領域と前記直接隣接するブロックとの間で異なる圧縮レベルを発生させる、前記所定の領域のコンテンツのタイプと、を含む、
請求項３のシステム。

【請求項6】

前記所定の領域が前記ビデオフレーム内の予測される焦点を含むと判別したことに応じて、前記プロセッサは、
前記所定の領域の前記圧縮レベルが、前記直接隣接するブロックの前記圧縮レベルよりも小さいと予測することと、
前記コンテンツのタイプが前記ビデオフレーム内の前記予測される焦点であることを示す指標を前記サイド情報に挿入することと、
を行うように構成されている、
請求項５のシステム。

【請求項7】

前記サイド情報から、前記所定の領域の前記複数のブロックが、前記直接隣接するブロックの前記圧縮レベルよりも小さい圧縮レベルを有すると判別したことに応じて、前記エンコーダは、量子化パラメータを減少させるようにさらに構成されている、
請求項３のシステム。

【請求項8】

前記サイド情報は、
前記ビデオフレームに先行するＮ（Ｎは、正の０以外の整数）個のビデオフレームにおける前記所定の領域の各々の位置と、
前記Ｎ個のビデオフレーム内の前記所定の領域に先行する第１のブロックの１つ以上の符号化パラメータと、を含む、
請求項１のシステム。

【請求項9】

前記エンコーダは、前記Ｎ個の先行ビデオフレームにおける前記第１のブロックの前記１つ以上の符号化パラメータの加重合計に基づいて、前記第１のブロックの１つ以上の符号化パラメータを更新することによって、前記第１のブロックを圧縮するようにさらに構成されている、
請求項８のシステム。

【請求項10】

ビデオフレームの複数の画素のブロックと、前記ビデオフレームの前記複数の画素のブロックとは別のサイド情報と、を受信することと、
前記サイド情報に基づいて、所定の領域が、前記所定の領域の外側の直接隣接するブロックの第２の圧縮レベルとは異なる、絶対値又は相対値として特定される第１の圧縮レベルを用いて符号化されると予測される、前記ビデオフレームの前記複数のブロックのうち１つ以上のブロックを含むと判別したことに応じて、前記第２の圧縮レベルとは異なる圧縮レベルを用いて前記所定の領域の前記１つ以上のブロックを圧縮することと、を含む、
方法。

【請求項11】

前記所定の領域の前記複数のブロックを圧縮するために、前記受信したサイド情報において特定された、予測された第１の圧縮レベルに基づいて１つ以上の符号化パラメータを更新することをさらに含む、
請求項１０の方法。

【請求項12】

前記所定の領域が前記ビデオフレームに存在することを示すソフトウェアのヒントまたはハードウェアのヒントを受信したことに応じて、前記方法は、プロセッサが前記サイド情報を生成することをさらに含み、
前記サイド情報は、
前記ビデオフレームの前記所定の領域の位置と、
前記所定の領域と前記直接隣接するブロックとの間で異なる圧縮レベルを発生させる、前記所定の領域のコンテンツのタイプと、を含む、
請求項１１の方法。

【請求項13】

前記所定の領域が前記ビデオフレーム内の予測される焦点を含むオブジェクトのタイプを含むと判別したことに応じて、前記方法は、
前記所定の領域の前記圧縮レベルが、前記直接隣接するブロックの前記圧縮レベルよりも小さいと予測することと、
前記コンテンツのタイプが前記ビデオフレーム内の前記予測される焦点であることを示す指標を前記サイド情報に挿入することと、を含む、
請求項１２の方法。

【請求項14】

前記サイド情報から、前記所定の領域の前記複数のブロックが、前記直接隣接するブロックの前記圧縮レベルよりも小さい圧縮レベルを有すると判別したことに応じて、動きの推定中に、検索領域の前記複数のブロックの高速探索ではなく完全検索を実行することをさらに含む、
請求項１０の方法。

【請求項15】

前記サイド情報から、前記所定の領域の前記複数のブロックが、前記直接隣接するブロックの圧縮レベルよりも小さい圧縮レベルを有すると判別したことに応じて、算術エントロピーコーディングアルゴリズムによって生成された端数の精度を高めることをさらに含む、
請求項１１の方法。

【請求項16】

プログラム命令を記憶するコンピュータ可読記憶媒体であって、
前記プログラム命令は、
ビデオフレームの複数の画素のブロックと、前記ビデオフレームの前記複数の画素のブロックとは別のサイド情報と、を受信することと、
前記サイド情報に基づいて、所定の領域が、前記所定の領域の外側の直接隣接するブロックの第２の圧縮レベルとは異なる、絶対値又は相対値として特定される第１の圧縮レベルを用いて符号化されると予測される、前記ビデオフレームの前記複数のブロックのうち１つ以上のブロックを含むと判別したことに応じて、前記第２の圧縮レベルとは異なる圧縮レベルを用いて前記所定の領域の前記１つ以上のブロックを圧縮することと、
をプロセッサに実行させる、
コンピュータ可読記憶媒体。

【請求項17】

前記所定の領域が前記ビデオフレームに存在することを示すソフトウェアのヒントまたはハードウェアのヒントを受信したことに応じて、前記プログラム命令は、前記受信したサイド情報において特定された、予測された第１の圧縮レベルに基づいて、１つ以上の符号化パラメータを更新することを前記プロセッサに実行させる、
請求項１６のコンピュータ可読記憶媒体。

【請求項18】

前記所定の領域が前記ビデオフレームに存在することを示すソフトウェアのヒントまたはハードウェアのヒントを受信したことに応じて、前記プログラム命令は、前記サイド情報を生成することを前記プロセッサに実行させ、
前記サイド情報は、
前記ビデオフレームの前記所定の領域の位置と、
前記所定の領域と前記直接隣接するブロックとの間で異なる圧縮レベルを発生させる、前記所定の領域のコンテンツのタイプと、を含む、
請求項１７のコンピュータ可読記憶媒体。

【請求項19】

前記所定の領域が前記ビデオフレーム内の予測される焦点を含むと判別したことに応じて、前記プログラム命令は、
前記所定の領域の前記圧縮レベルが、前記直接隣接するブロックの前記圧縮レベルよりも小さいと予測することと、
前記コンテンツのタイプが前記ビデオフレーム内の前記予測される焦点であることを示す指標を前記サイド情報に挿入することと、
を前記プロセッサに実行させる、
請求項１８のコンピュータ可読記憶媒体。

【請求項20】

前記サイド情報から、前記所定の領域の前記複数のブロックが、前記直接隣接するブロックの前記圧縮レベルよりも小さい圧縮レベルを有すると判別したことに応じて、前記プログラム命令は、量子化パラメータを減少させることを前記プロセッサに実行させる、
請求項１７のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【背景技術】

【0001】

（関連技術の説明）
ビデオ処理アルゴリズムは複雑であり、多くの異なる機能を含んでいる。高い計算要求を満たすために、高度なプロセッサが使用されている。ディスプレイの解像度が高くなると、ビデオ処理の複雑さが増す。さらに、高解像度ビデオ符号化アプリケーションが、消費者市場空間で急速に成長している。さらに、利用可能なデータ帯域幅が減少し、処理がリアルタイムで行われるため、ビデオ処理はより複雑になっている。例えば、仮想現実（ＶＲ）ゲームアプリケーション等のＶＲアプリケーションが、いっそう一般的になってきている。

【0002】

ＶＲアプリケーションの場合、無線通信リンクは、ビデオストリームをコンピュータ（または他のデバイス）からバーチャルリアリティ（ＶＲ）ヘッドセット（またはヘッドマウントディスプレイ（ＨＭＤ））に送信する。ＶＲビデオストリームを無線送信することは、コンピュータとＨＭＤを装着しているユーザとの間のケーブル接続を必要性とせず、よって、ユーザによる自由な移動を可能にする。ＶＲビデオコンテンツは、通常、高い視野を確保し、ユーザに対して没入型の環境を生成するために、レンズを通して表示される。ビデオ圧縮は既に複雑なプロセスであるが、低帯域幅の無線リンクを介したＶＲビデオ伝送では、エンドユーザが知覚するビデオの品質の低下を最小限に抑えるビデオ圧縮がより困難になる。

【0003】

上記を考慮して、効率的なビデオ圧縮を実行するための効率的な方法及びシステムが望まれている。

【0004】

添付の図面と併せて以下の説明を参照することによって、本明細書に記載される方法及びメカニズムの利点をより良く理解することができる。

【図面の簡単な説明】

【0005】

【図1】ビデオ処理システムの一実施形態のブロック図である。

【図2】ビデオ処理システムの別の実施形態のブロック図である。

【図3】ビデオフレームにおける同心領域（concentric regions）の一実施形態のブロック図である

【図4】ビデオエンコーダの一実施形態のブロック図である。

【図5】ビデオ符号化ロジックの一実施形態のブロック図である。

【図6】効率的なビデオレンダリングを実行する方法の一実施形態のフロー図である。

【図7】効率的なビデオ圧縮を実行する方法の一実施形態のフロー図である。

【図8】ビデオフレーム内のブロックのフレーム間依存性の一実施形態のブロック図である。

【図9】ビデオフレーム内のブロックのフレーム間依存性の一実施形態のブロック図である。

【図10】効率的なビデオ圧縮を実行する方法の一実施形態のフロー図である。

【図11】ビデオフレーム内のブロックのフレーム間依存性の一実施形態のブロック図である。

【図12】ビデオフレーム内のブロックのフレーム間依存性の一実施形態のブロック図である。

【図13】効率的なビデオ圧縮を実行する方法の一実施形態のフロー図である。

【発明を実施するための形態】

【0006】

本発明は、様々な修正及び代替形態を受け入れるが、特定の実施形態を図面の例として示し、本明細書で詳細に説明する。しかし、図面及びその詳細な説明は、本発明を、開示された特定の形態に限定することを意図しているのではなく、反対に、本発明は、添付の特許請求の範囲によって定義される本発明の範囲内に収まる全ての変形、均等物、及び、代替物を包含することを理解されたい。

【0007】

以下の説明では、本明細書で提示される方法及びメカニズムの十分な理解をもたらすために、多数の具体的な詳細が示される。しかし、当業者は、様々な実施形態がこれらの具体的な詳細なしに実施され得ることを認識するべきである。いくつかの例では、本明細書で説明するアプローチを不明瞭にすることを回避するために、周知の構造、コンポーネント、信号、コンピュータプログラム命令、及び、技術を詳細に示していない。説明を簡単且つ明確にするために、図面に示す要素は必ずしも縮尺通りに描かれていないことを理解されたい。例えば、いくつかの要素の寸法は、他の要素に対して誇張される場合がある。

【0008】

様々な実施形態において、ビデオ処理システムは、ビデオストリームを、ワイヤレスリンクを介して受信機に送信する送信機を含む。送信機には、プロセッサとビデオエンコーダ（またはエンコーダ）とが含まれている。いくつかの実装態様では、プロセッサはＧＰＵであり、プロセッサはビデオフレームの画素の複数のブロックを生成する。生成された画素のブロックは、ビデオフレームのレンダリングされた画素のブロックに対応する。様々な実施形態では、プロセッサは、ビデオフレームの１つ以上のブロックを含む所定の領域の圧縮レベルが、所定の領域の外側にあるビデオフレームの直接隣接するブロックの圧縮レベルと異なることを示すソフトウェアのヒント及びハードウェアのヒントの１つ以上を受信する。このようなヒントを受信したことに応じて、プロセッサは、所定の領域のサイド情報を生成する。いくつかの実施形態では、直接隣接するブロックは、別個の対応するサイド情報を有する別個の領域に含まれる。他の実施形態では、直接隣接するブロックは、別個の対応するサイド情報を有する別個の領域に含まれない。例えば、シーンの背景に、直接隣接するブロックが含まれる場合がある。

【0009】

サイド情報は、ビデオフレーム内の所定の領域の位置を識別し、所定の領域の幾何学的記述を含む。さらに、サイド情報は、所定の領域内のコンテンツのタイプを識別する。コンテンツのタイプの例としては、移動するオブジェクトを有する領域、中心窩領域（foveated region）、焦点、エッジのコントラストが高い領域等がある。いくつかの実施形態において、コンテンツのタイプは、所定の領域の圧縮レベルを示す。他の実施形態では、サイド情報は、所定の領域の圧縮レベルを指定する別個の指標を含む。さらに、他の実施形態では、サイド情報は、特定の符号化パラメータの絶対値を示す指標を含み、この指標は、後に、所定の領域内のブロックの符号化中に特定の符号化パラメータの値を設定またはオーバーライドするために使用される。ビデオエンコーダのロジックは、ビデオエンコーダの１つ以上のブロックによって生成された特定の符号化パラメータの値を、サイド情報で指定された絶対値に置き換える。特定の符号化パラメータの例は、ビデオエンコーダ内の量子化ブロックによって使用される量子化パラメータ（ＱＰ）と、ビデオエンコーダ内のエントロピー符号化ブロックによって符号化されるシンボルの長さである。

【0010】

さらに、他の実施形態では、サイド情報は、特定の符号化パラメータの相対値を示す指標を含み、この指標は、後に、所定の領域内のブロックの符号化中に特定の符号化パラメータの値を更新するために使用される。ビデオエンコーダのロジックは、ビデオエンコーダの１つ以上のブロックによって生成された特定の符号化パラメータの値を、サイド情報で指定された相対値によって更新する。様々な設計において、相対量は、パーセンテージ量または差分の量である。いくつかの例では、相対量は正の量（例えば、２５％の増加）であり、他の例では、相対量は負の量である（例えば、ＱＰが５減少するか、シンボルの長さが３ビット減少する）。

【0011】

実施形態では、サイド情報は、ビデオフレームのレンダリングされた画素のブロックと共にメタデータとして記憶される。一部の設計では、プロセッサは、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）仕様、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）（ＤＰ）仕様、またはその他の仕様に従って、ビデオフレームのサイド情報を送信する。他の実施形態では、プロセッサは、レンダリングされたビデオ情報とは別に、サイド情報をメタデータとしてエンコーダに送信する。一部の設計では、プロセッサはＵＳＢ（ユニバーサルシリアルバス）インタフェース、ＰＣＩｅ（Peripheral Component Interconnect Express）インタフェース、またはその他のインタフェースを使用してサイド情報を送信する。様々な実施形態において、エンコーダは、上述したように、受信したサイド情報に基づいて、１つ以上の符号化パラメータを置換または更新する。

【0012】

いくつかの実施形態では、エンコーダは、受信したサイド情報から、直接隣接するブロックの圧縮レベルよりも小さい圧縮レベルの領域があると判別した場合、直接隣接するブロックの量子化パラメータの値と、サイド情報を受信しなかった場合に生成される量子化パラメータの値との各々から、量子化パラメータを減少させる。上述したように、実施形態では、この減少は、受信したサイド情報の領域に対して指定された絶対値または相対値に基づく。エンコーダが、受信したサイド情報から、領域の圧縮レベルが、直接隣接するブロックの圧縮レベルよりも小さいと判別した場合、いくつかの実施形態では、エンコーダは、サイド情報を受信しなかった場合に使用される高速検索ではなく、動き推定中に検索エリア内の領域の完全な検索を実行する。さらに、いくつかの実施形態では、エンコーダは、サイド情報を受信することにより、算術エントロピー符号化アルゴリズムによって生成される端数（fractions）の精度を高める。受信したサイド情報に基づいて符号化パラメータを更新する他の例も可能であり、企図されている。

【0013】

様々な例において、ビデオエンコーダは、Ｎ個の先行フレームを考慮し、及び、Ｍ個の後続フレームを考慮することにより、フレームＸの１つ以上の符号化パラメータを置換または更新する。ここで、Ｎ及びＭの各々は、正の非ゼロ整数である。言い換えれば、いくつかの実施形態では、フレームＸ等の所定のフレームのサイド情報は、１つ以上の他のフレームのサイド情報からの情報を含み、ここで、Ｘは、正の非ゼロ整数である。例えば、フレームＸのサイド情報は、フレームＸ－ＮからフレームＸ＋Ｍまでのサイド情報の一部を含み、ここで、Ｎは、Ｘより小さい。一例では、シーンは、空を飛んでいる飛行機を含む。ソフトウェアのヒントまたはハードウェアのヒントは、飛行機をシーンの焦点、つまり領域として識別する。例えば、フレームＸ－１のブロック１４は青空であるが、フレームＸのブロック１４は飛行機の機首である。

【0014】

フレームＸ－１のサイド情報は、フレームＸ－１の領域（飛行機）の位置情報と幾何学的な寸法とを含む。実施形態では、フレームＸ－１のサイド情報は、フレームＸの領域（飛行機）の位置情報及び幾何学的な寸法も含む。したがって、ビデオエンコーダは、ブロック１４がフレームＸ－１の背景の青空からフレームＸの飛行機の機首（領域の左端）に移行することを認識する。ビデオエンコーダは、量子化パラメータ（ＱＰ）等の符号化パラメータを、不連続な突然の更新を除外するように更新する。例えば、単一フレームのサイド情報を使用する場合、青空の背景であるブロック１４、フレームＸ－１のＱＰは２０であり、飛行機の機首であるブロック１４、フレームＸのＱＰは８である。ＱＰが２０から８に急激に変化する。ＱＰの急激な変化により、見る者によっては画面のちらつきが見える可能性がある。

【0015】

２つの連続するフレーム間のＱＰの急激な変化を含むのではなく、一実施形態において、ビデオエンコーダは、複数のフレームにわたるブロック１４のＱＰを決定するために、平均化式として使用される加重合計（weighed sum）を生成する。一例では、ビデオエンコーダは、４つの先行するフレームにわたってブロック１４のＱＰを更新し、（２０－８）／４が３であるため、ＱＰを３のステップで２０から８に減らす。この場合、Ｘ－ＮからＸの各フレームの重みは、同じ１である。この例では、ビデオエンコーダは、フレームＸ－４からＸのＱＰを２０、１７、１４、１１、８になるように生成する。換言すると、ビデオエンコーダは、ブロック１４、フレームＸ－４のＱＰを２０、ブロック１４、フレームＸ－３のＱＰを１７、ブロック１４、フレームＸ－２のＱＰを１４、ブロック１４、フレームＸ－１のＱＰを１１、ブロック１４、フレームＸのＱＰを８と生成する。２つのフレーム間のブロックのＱＰに急激な変化はない。ブロック１４のフレームＸが飛行機の尾翼（領域の右端）であり、ブロック１４のフレームＸ＋１が青空の背景である場合の例について、同様のアプローチが後続のフレームに使用される。

【0016】

以下の説明において、図１～図２は、符号化パラメータが更新されたフレーム内の領域をその領域の識別に基づいて識別する、サイド情報を使用するビデオ処理システムについて説明する。図３は、フレーム内の同心領域等の領域の例を示している。図４～図５は、符号化パラメータを更新するためのサイド情報を使用するビデオエンコーダとビデオ符号化ロジックを説明している。図６～図７は、符号化パラメータを更新するためにサイド情報を使用する方法を説明している。図１～図７は、所定のフレームの符号化パラメータを更新するためのサイド情報を使用するビデオ符号化ロジックを説明しているが、説明する回路及びロジックは、他のフレームの情報に基づいて符号化パラメータを更新することもできる。図８～図９及び図１１～図１２は、所定のビデオフレーム内のブロックのフレーム間依存性を説明している。図１０及び図１３は、符号化パラメータを更新するために周囲のフレームのサイド情報を使用する方法を説明している。

【0017】

図１を参照すると、システム１００のビデオ処理システムの１つの実施形態のブロック図が示されている。ビデオ処理システム１００（または、システム１００）は、少なくとも第１の通信デバイス（例えば、送信機１１０）及び第２の通信デバイス（例えば、受信機１６０）を備え、これらのデバイスは、制限された帯域幅接続で互いに通信するように動作可能である。いくつかの実施形態では、制限された帯域幅接続は有線接続である。図示した実施形態等の他の実施形態では、制限された帯域幅接続はワイヤレス接続である。送信機１１０及び受信機１６０は、トランシーバと呼ばれる場合もあることに留意されたい。送信機１１０及び受信機１６０は、任意のタイプの通信デバイス及び／又はコンピューティングデバイスを表す。例えば、様々な実施形態では、送信機１１０及び／又は受信機１６０は、携帯電話、タブレット、デスクトップコンピュータ、ラップトップコンピュータ、サーバ、ヘッドマウントディスプレイ（ＨＭＤ）、テレビ、別のタイプのディスプレイ、ルータ、または、他のタイプのコンピューティングデバイスもしくは通信デバイスのうち何れかである。

【0018】

様々な設計において、送信機１１０は、フレーム１４０に対応するレンダリングされた情報等のビデオ情報を受信機１６０に送信する。フレーム１４０は、水上の帆船の画像を示しているが、他の例では、フレーム１４０は、スポーツイベントのシーンやビデオゲームのシーン等の様々な視覚情報に対する情報を含む。送信機１１０は、処理ユニット１２０及びメモリ１５０を実装するための任意の数及びタイプのプロセッサ及びメモリデバイスを含む。例えば、処理ユニット１２０は、様々なプロセッサを使用する。プロセッサの例は、汎用中央処理装置（ＣＰＵ）１２２、グラフィックス処理装置（ＧＰＵ）１２４、アクセラレーテッドプロセッシングユニット（ＡＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルアレイ（ＦＧＰＡ）、ビデオエンコーダ（１２６）等である。メモリ１５０は、様々なタイプの同期ランダムアクセスメモリ（ＳＲＡＭ）、様々なタイプのダイナミックランダムアクセスメモリ（ＤＲＡＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等のうち１つ以上を使用する。

【0019】

様々な実装態様において、送信機１１０は、高レベル相互接続及びチップの通信のために、通信ファブリック（またはファブリック）を使用する。説明を簡単にするために、ファブリックを示していない。様々な実施形態では、異なるタイプのトラフィックがファブリックを独立して流れる。ファブリックは、単一の物理的ファブリックバスに、それぞれ異なるタイプのトラフィックを伝送する複数のオーバーレイ仮想チャネル、または、専用のソース及び宛先バッファを含めることで、独立したフローをサポートする。各チャネルは独立にフロー制御され、異なるチャネルのトランザクション間に依存性はない。

【0020】

ＣＰＵ１２２は、事前定義された様々な汎用命令セットの１つに従って命令を実行するための回路を備えた１つ以上のプロセッサコアを使用する。一部の設計では、プロセッサコアは、アウトオブオーダ（out-of-order）スケジューリングと命令の実行を組み合わせた同時マルチスレッド技術を使用する。ＧＰＵ１２４は、単一命令複数データワード（ＳＩＭＤ）マイクロアーキテクチャにおいて複数の並列実行レーンを使用する。複数の並列実行レーンは、ＳＩＭＤユニットまたはＳＩＭＤレーンとも呼ばれる。ＳＩＭＤレーンはロックステップで動作する。各ＳＩＭＤレーンは、他のデータユニットから独立してデータユニットを独立して処理するが、他のＳＩＭＤレーンで使用されるのと同じオペレーションまたはコマンドのシーケンスを使用する。一例では、ＧＰＵのオペレーティングシステムスケジューラ及びコマンドプロセッサのうち１つ以上が、ＳＩＭＤレーン上でコマンドをスケジュールする。

【0021】

いくつかの実装態様では、ＧＰＵ１２４は、画素処理パイプラインを含む。他の実装態様では、画素処理パイプラインは、ＧＰＵ１２４の外部に配置される。ＳＩＭＤレーンと画素処理パイプラインの１つ以上は、画素の値の計算、頂点の変換、色の管理、環境適応画素（ＡＡＰ）変更、動的バックグラウンド制御（ＤＰＢ）、パネルガンマ補正、ディザー等の他のグラフィックス操作を実行する。様々な実装態様では、処理ユニット１２０は、ビデオストリームを受信機１６０に送信する前にビデオストリームを符号化（つまり、圧縮）するビデオエンコーダ１２６を含む。様々な実装態様では、ビデオエンコーダ１２６（またはエンコーダ１２６）は、ファームウェア等のハードウェア及び／又はソフトウェアの任意の適切な組み合わせを使用して実装される。エンコーダ１２６は、ビットストリームのビットを生成し、それらをバッファに記憶する。

【0022】

エンコーダ１２６は、非圧縮のレンダリングされたビデオ情報を受信し、標準のビデオ圧縮仕様に準拠する圧縮フォーマットのビットストリームの形式でビットを生成する。圧縮仕様または標準の例は、様々な独自のカスタム設計コーデック、ＭＰＥＧ－２Ｐａｒｔ２、ＭＰＥＧ－４ Ｐａｒｔ２、Ｈ．２６４（ＭＰＥＧ－４ Ｐａｒｔ１０）、Ｈ．２６５（４Ｋのビデオの圧縮をサポートするＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｔｈｅｏｒａ、ＲｅａｌＶｉｄｅｏ ＲＶ４０、ＶＰ９、ＡＶ１である。エンコーダ１２６によって提供される圧縮は、通常、非可逆的（lossy）であるため、出力される圧縮ビデオ情報は、元のレンダリングされた非圧縮ビデオ情報に存在する情報の一部を欠いている。ビデオ情報は、通常、フレームに分割され、フレームは、マクロブロックまたはブロックに分割される場合がある。圧縮の非可逆的な特性により、エンコーダ１２６は、ユーザが見るように表示装置に描かれたシーンの視覚的な質の劣化を最小限に抑えながら、元のレンダリングされた非圧縮ビデオ情報の何れの情報を削除するかを決定する。例えば、エンコーダ１２６は、ブロックまたはフレームビデオ情報の何れの領域をより高い圧縮率で圧縮し、何れの領域をより低い圧縮率で圧縮するかを決定する。さらに、圧縮アルゴリズムは、ビットレートによって決定される、ビデオを表現するために使用されるデータの量を追跡すると同時に、アンダーフロー及びオーバーフローの状態を回避するために、圧縮されたビデオ情報を記憶するバッファのストレージレベルも追跡する。したがって、エンコーダ１２６は、目標圧縮率を達成しながら、受信されレンダリングされたビデオ情報の圧縮をサポートし、ビデオ伝送のレイテンシを最小化し、出力データを記憶するバッファのオーバーフロー及びアンダーフローの状態を防止し、表示装置上のユーザの主観的な画質を最大化する多くの課題に直面する。

【0023】

様々な実施形態において、ＣＰＵ１２２及びＧＰＵ１２４のうち１つ以上は、エンコーダ１２６によって受信されたビデオ情報の圧縮をサポートするために、サイド情報１３０をエンコーダ１２６に送信する。いくつかの実施形態では、ＣＰＵ１２２及びＧＰＵ１２４のうち１つ以上は、サイド情報１３０の内容をエンコーダ１２６に直接送信する。他の実施形態では、ＣＰＵ１２２及びＧＰＵ１２４のうち１つ以上は、サイド情報１３０の内容を記憶するメモリの位置を指すアドレス情報を送信する。したがって、エンコーダ１２６は、レンダリングされた非圧縮ビデオ情報（またはビデオ情報を記憶するメモリの位置を指すアドレス）を受信する。さらに、エンコーダ１２６は、サイド情報１３０（またはサイド情報１３０を記憶するメモリの位置を指すアドレス）を受信する。いくつかの実施形態では、エンコーダ１２６は、特定のフレーム（またはフレームの複数のブロックのうち何れかのブロック）のレンダリングされた非圧縮ビデオ情報とサイド情報１３０を同時に受信する。例えば、エンコーダ１２６は、特定のフレームの非圧縮レンダリング画素情報を受信し、特定のフレームのサイド情報１３０は、フレームの画素情報のメタデータセクションに記憶される。したがって、特定のフレームに関連するサイド情報１３０は、特定のフレームの画素情報と共に送信される。

【0024】

サイド情報１３０は、エンコーダ１２６が、受信されレンダリングされた画素データから導出し、システム１００のタイミング要件を満たすことが困難な情報を含む。場合によっては、エンコーダ１２６は、サイド情報１３０のいくつかのコンポーネントを導出することが不可能である。したがって、エンコーダ１２６によって実行される圧縮は、エンコーダ１２６がサイド情報１３０を生成しようと試みなくとも、サイド情報１３０を用いてより効率的になる。エンコーダ１２６は、サイド情報１３０を使用して、圧縮する領域を決定し、圧縮率を適切に設定する。本明細書において使用する場合、「圧縮量」は、「圧縮レベル」または「圧縮率」とも呼ばれる。圧縮レベルまたは圧縮率が大きいほど、圧縮量が大きくなる。同様に、圧縮レベルまたは圧縮率が小さいほど、圧縮量は小さくなる。様々な実施形態において、フレーム１４０等の特定のフレームのサイド情報１３０は、中心窩領域（foveated region）、高いコントラストのエッジを含む領域、及び、焦点の指示（point of focus）を含む。

【0025】

本明細書で使用される場合、「焦点（point of focus）」という用語は、ユーザがフレームを見ているときに各々の目が焦点を合わせていると予想されるフレームの部分として定義される。場合によっては、「焦点」は、目が向いている位置を検出するアイトラッキングセンサに少なくとも部分的に基づいて決定される。それ以外の場合は、フレームデータの内容に基づいて「焦点」が決定される。例えば、ビデオゲームのシーンでは、画面上の焦点は、ユーザのゲーム制御下にあるユーザのオブジェクト（レースカー、兵士、サッカー選手等）である。一実装態様では、エンコーダ１２６は、サイド情報１３０を使用して、背景及び他のオブジェクト（同様に焦点ではない）に対してより高い圧縮率を使用することを決定する。さらに、エンコーダ１２６は、サイド情報１３０を使用して、フレーム１４０内の焦点１４２等の焦点である領域のオブジェクトに対してより低い圧縮率を使用することを決定する。

【0026】

いくつかの実施形態では、エンコーダ１２６は、焦点の範囲に対して圧縮率の範囲を選択する。実施形態では、サイド情報１３０は、一次焦点（primary point of focus）に関する情報だけでなく、二次焦点（secondary point of focus）、三次焦点（tertiary point of focus）等の非一次焦点に関する情報を含む。一例では、一次焦点は、ビデオゲームでのユーザのオブジェクト（例えば、レースカー、兵士、サッカー選手）である。二次焦点は、相手プレイヤーのオブジェクトの１つであり、画面の下部に統計データを表示するスクロールバー等である。一次焦点については、エンコーダ１２６は、最も低い圧縮率を選択する。二次焦点については、エンコーダ１２６は、中間の範囲の圧縮率を選択する。三次焦点がある場合には、エンコーダ１２６は、二次焦点の圧縮率と最高の圧縮率との間の圧縮率を選択する。背景等のように何れの焦点にも位置しないオブジェクトの場合には、エンコーダ１２６は、最高の圧縮率を選択する。

【0027】

いくつかの実装態様では、送信機１１０及び受信機１６０は、ライセンス不要の６０ギガヘルツ（ＧＨｚ）の周波数帯を介して無線通信する。６０ＧＨｚの周波数帯等のミリ波（ＥＨＦ）帯域内で動作する無線通信デバイスは、比較的小さなアンテナを用いて、信号を送受信することができる。例えば、一実施形態では、送信機１１０及び受信機１６０は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１ａｄ規格（すなわち、ＷｉＧｉｇ）に従って通信する。他の実施形態では、送信機１１０及び受信機１６０は、規格に準拠しているか否かにかかわらず他の周波数帯域を介して、及び／又は、他の無線通信プロトコルに準拠することによって、無線通信する。例えば、使用可能な他の無線通信プロトコルには、これらに限定されないが、Ｂｌｕｅｔｏｏｔｈ（登録商標）、様々な無線ローカルエリアネットワーク（ＷＬＡＮ）で利用されるプロトコル、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１規格に基づくＷＬＡＮ（すなわち、ＷｉＦｉ（登録商標））、モバイル通信規格（例えば、ＣＤＭＡ、ＬＴＥ、ＧＳＭ、ＷｉＭＡＸ）等が含まれる。

【0028】

一実装態様では、ビデオ処理システム１００は、レンダリングされた仮想環境のフレームを送信機１１０から受信機１６０に無線伝送するためのバーチャルリアリティ（ＶＲ）アプリケーションを実行する。他の実装態様では、ビデオ処理システム１００は、本明細書に記載の方法及びメカニズムを利用する他のタイプのアプリケーションを含む。一実装態様では、送信機１１０は、少なくとも無線周波数（ＲＦ）トランシーバモジュール１１４と、処理ユニット１２０と、メモリ１５０と、アンテナ１１２と、を含む。ＲＦトランシーバモジュール１１４は、ＲＦ信号を送受信する。一実装態様では、ＲＦトランシーバモジュール１１４は、６０ＧＨｚ帯域の１つ以上のチャネルを介して信号を無線で送受信するように動作可能なミリメータ波トランシーバモジュールである。ＲＦトランシーバモジュール１１４は、ベースバンド信号をワイヤレス送信用のＲＦ信号に変換し、ＲＦトランシーバモジュール１１４は、送信機１１０によるデータの抽出のために、ＲＦ信号をベースバンド信号に変換する。

【0029】

ＲＦトランシーバモジュール１１４は、説明する目的で単一のユニットとして示されていることに留意されたい。他の実装態様では、送信機１１０は、ＲＦトランシーバモジュール１１４の実装態様に応じて、任意の数の異なるユニット（例えば、チップ）を含むことを理解されたい。送信機１１０は、ＲＦ信号を送受信するためのアンテナ１１２も含む。アンテナ１１２は、無線信号の送受信の指向性を変更するように構成可能なフェーズドアレイ、単一素子アンテナ、スイッチビームアンテナのセット等のように、１つ以上のアンテナを表す。一例として、アンテナ１１２は、１つ以上のアンテナアレイを含み、アンテナアレイ内の各アンテナの振幅又は位相は、アレイ内の他のアンテナから独立して構成することができる。アンテナ１１２は、送信機１１０の外部にあるものとして示されているが、他の実装態様では、アンテナ１１２は、送信機１１０の内部に含まれている。さらに、他の実施形態では、送信機１１０は、図を不明瞭にするのを避けるために示されていない、任意の数の他のコンポーネントを含む。送信機１１０と同様に、受信機１６０内に実装されるコンポーネントは、少なくともＲＦトランシーバモジュール１６４と、プロセッサ１７０と、デコーダ１７２と、メモリ１８０と、アンテナ１６２と、を含み、これらは、送信機１１０について上述したコンポーネントと同様である。受信機１６０が他のコンポーネント（例えば、ディスプレイ）も含むか、これらの他のコンポーネントに結合され得ることを理解されたい。

【0030】

図２を参照すると、ビデオ処理システム２００の一実施形態のブロック図が示されている。上述した回路及びロジックには、同じ符号が付されている。図示した実施形態では、ビデオ処理システム２００は、無線仮想現実（ＶＲ）システム２００である。ビデオ処理システム２００（またはシステム２００）は、少なくともコンピュータ２１０及びヘッドマウントディスプレイ（ＨＭＤ）２２０を含む。コンピュータ２１０は、任意のタイプのコンピューティングデバイスを表している。コンピュータデバイスの例は、１つ以上のプロセッサ、メモリデバイス、入出力（Ｉ／Ｏ）デバイス、ＲＦコンポーネント、アンテナ、及び、パーソナルコンピュータ又は他のコンピューティングデバイスを示す他のコンポーネントである。他の実装態様では、パーソナルコンピュータ以外の他のコンピューティングデバイスを利用して、ビデオデータをヘッドマウントディスプレイ（ＨＭＤ）２２０に無線で送信する。例えば、コンピュータ２１０は、ゲーム機、スマートフォン、セットトップボックス、テレビ、ビデオストリーミングデバイス、ウェアラブルデバイス、テーマパークの娯楽用乗り物のコンポーネント、又は、他のものとすることができる。さらに、他の実装態様では、ＨＭＤ２２０は、ＨＭＤまたは他のタイプのディスプレイに接続された受信機として使用されるコンピュータ、デスクトップ、テレビまたは他のデバイスであってもよい。

【0031】

コンピュータ２１０及びＨＭＤ２２０の各々は、無線で通信する回路及び／又はコンポーネントを含む。コンピュータ２１０は、外部アンテナを有するものとして示されているが、これは単にビデオデータが無線で送信されていることを示すために示されていることに留意されたい。他の実施形態では、コンピュータ２１０は、コンピュータ２１０の外側のケースに内蔵されたアンテナを有することを理解されたい。さらに、コンピュータ２１０は、有線電源接続を使用して電力を供給することができるが、ＨＭＤ２２０は、典型的には、バッテリ駆動である。あるいは、コンピュータ２１０は、バッテリ駆動のラップトップコンピュータ（または別のタイプのデバイス）であってもよい。

【0032】

一実装態様では、コンピュータ２１０は、ＨＭＤ２２０を装着しているユーザに提示されるＶＲ環境の表現を動的にレンダリングするＣＰＵ１２２及びＧＰＵ１２４のうち１つ以上等の回路を含む。例えば、ＣＰＵ１２２は、ＶＲ環境をレンダリングするための命令を有するソフトウェアアプリケーションを実行し、ＣＰＵ１２２は、レンダリングのコマンドをＧＰＵ１２４に送信し、符号化（圧縮）コマンドをエンコーダ１２６に送信する。他の実装態様において、コンピュータ２１０は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）または他のプロセッサのタイプを含む、他のタイプのプロセッサを含む。

【0033】

様々な実施形態において、エンコーダ１２６は、１つ以上の様々なプロセッサのタイプからサイド情報１３０を受信する。エンコーダ１２６は、サイド情報１３０を使用して、レンダリングされたビデオ情報を効率的にフレームに圧縮する。例えば、エンコーダ１２６は、サイド情報１３０を使用して、フレームのビデオ情報の何れの領域をより高い圧縮率で圧縮し、何れの領域をより低い圧縮率で圧縮するかを決定する。いくつかの実施形態では、情報１３０は、フレームについての関連するレンダリングされた情報（レンダリングされた画素のブロック）と共に記憶され、フレームのレンダリングされた情報（レンダリングされた画素のブロック）と共にエンコーダ１２６に送信される、メタデータである。

【0034】

いくつかの実施形態では、サイド情報１３０は、特定の符号化を記憶するレンダリングされた画素のブロックのメタデータ内の１つ以上のフィールドを含み、エンコーダ１２６のロジックは、これらのフィールドを復号化する。ＣＰＵ１２２は、ＣＰＵ１２２上で実行されているソフトウェアアプリケーションまたはＨＭＤ２２０等の外部ハードウェアから、焦点を示す指標を受信する。いくつかの実施形態では、この指標は、焦点として指定された領域の幾何学的寸法も含む。他の実施形態では、ＧＰＵ１２４は、焦点として指定された領域の幾何学的寸法を決定する。一例では、ＣＰＵ１２２は、ＨＭＤ２２０から中心窩領域の指標を受信し、ＨＭＤ２２０は、中心窩領域が画面の左側から２２００画素、画面の下部から１３００画素上に位置する等の位置情報を送る。領域は、水平方向に測定された半径７００画素の円である。他の例では、距離は、画面の幅のパーセンテージまたは様々な他の単位として測定される。いくつかの実施形態では、特定の識別子を使用して、情報が中心窩領域に対応することを示す。識別子は、提供される次元（dimensions）のタイプも示す。他の実施形態では、値の配置または順序付けは、次のデータが中心窩領域に対応するかどうか、または領域の何れの次元が設定されているかを示す。

【0035】

別の例では、ＣＰＵ１２２は、ビデオゲーム等のソフトウェアアプリケーションを実行し、ソフトウェアアプリケーションは、焦点の指標をもたらす。この指標は、画面左端から８００画素、画面下端から上に９００画素を中心とした領域を指定している。この領域は、水平方向に計測された長軸が６００画素、垂直方向に計測された短軸が２００画素の楕円形である。エンコーダ１２６がこの領域に対応するサイド情報１３０を受信すると、エンコーダ１２６は、この領域のレンダリングされた画素の圧縮率を下げる。いくつかの実施形態では、サイド情報１３０は、高いコントラストの領域を特定する。高いコントラストの領域の一例は、特に領域間の境界が非水平方向に向けられている場合に、シーンの１つの領域からシーンの隣接領域への平均色の急激な変化である。実施形態では、ソフトウェアアプリケーションは、高いコントラストの領域の指標をＣＰＵ１２２に提供する。別の実施形態では、ＧＰＵ１２４は、高いコントラストの領域を決定する。一例として、高いコントラストの領域は、画面左端から２１００画素、画面下端から上に１５００画素の位置に存在する。この領域は、垂直方向に計測された長軸が３００画素、水平方向に計測された短軸が１００画素の楕円形である。この高いコントラストの領域の場合、エンコーダ１２６は、レンダリングされた画素データの圧縮率を下げる。

【0036】

円及び楕円の形状は、情報１３０の例として使用されているが、情報１３０は、様々な他の形状及び対応する寸法を使用することが可能であり、企図されている。例えば、いくつかの実施形態では、情報１３０は、中心窩領域を示す３次元（３Ｄ）方向ベクトルを含む。他の実施形態では、情報１３０は値のペアを含み、第１の値がサイド情報のタイプを示すタイプの値であり、第２の値が第１の値によって示されるサイド情報の所定の単位の値を示す。さらに他の実施形態では、値のリスト内の位置は、サイド情報のタイプを示す。

【0037】

実施形態では、エンコーダ１２６は、現在処理されている画素がサイド情報１３０によって識別される領域内に位置するかどうかに基づいて、符号化パラメータを動的に調整する。いくつかの実施形態では、エンコーダ１２６は、サイド情報１３０によって識別される領域の何れとも交差しない水平なビデオラインの部分の圧縮率を増加させる。対照的に、エンコーダ１２６は、サイド情報１３０によって識別される領域の何れかと交差する水平なビデオラインの部分の圧縮率を低減する。実施形態では、エンコーダ１２６は、特定された領域を使用して、圧縮率をどれだけ下げるかを決定する。上述したように、一実施形態では、エンコーダ１２６は、一次焦点の領域のレンダリングされた画素データをより多く受信機に送信するのを可能にするために、一次焦点の領域の圧縮率を二次焦点及び三次焦点の領域よりも低減する。

【0038】

いくつかの実施形態では、サイド情報１３０は、特定の符号化パラメータの絶対値を示す指標を含み、これは、後に、所定の領域内のブロックの符号化中に特定の符号化パラメータの値を設定またはオーバーライドするために使用される。ビデオエンコーダ１２６のロジックは、ビデオエンコーダ１２６の１つ以上のブロックによって生成された特定の符号化パラメータの値を、サイド情報で指定された絶対値に置き換える。特定の符号化パラメータの例は、ビデオエンコーダの量子化ブロックによって使用される量子化パラメータ（ＱＰ）と、ビデオエンコーダのエントロピー符号化ブロックによって符号化されるシンボルの長さである。

【0039】

他の実施形態では、サイド情報１３０は、特定の符号化パラメータの相対値を示す指標を含み、これは、後に、所定の領域内のブロックの符号化中に特定の符号化パラメータの値を設定またはオーバーライドするために使用される。ビデオエンコーダ１２６のロジックは、ビデオエンコーダ１２６の１つ以上のブロックによって生成された特定の符号化パラメータの値を、サイド情報で指定された相対値に更新する。様々な設計において、相対量は、パーセンテージ量または差分量である。いくつかの例では、相対量は正の量（例えば、２５％の増加）であり、他の例では、相対量は負の量である（例えば、ＱＰが５減少するか、シンボルの長さが３ビット減少する）。

【0040】

上述したように、いくつかの実施形態では、サイド情報は、ビデオフレームのレンダリングされた画素のブロックと共にメタデータとして記憶される。一部の設計では、プロセッサ１２２～１２４のうち１つ以上は、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）仕様、ＤｉｓｐｌａｙＰｏｒｔ（ＤＰ）仕様、または他の仕様に従って、ビデオフレームのサイド情報１３０をエンコーダ１２６に送信する。他の実施形態では、プロセッサ１２２～１２４のうち１つ以上は、レンダリングされたビデオ情報とは別に、メタデータとしてサイド情報１３０をエンコーダ１２６に送信する。一部の設計では、プロセッサ１２２～１２４のうち１つ以上は、ＵＳＢ（ユニバーサルシリアルバス）インタフェース、ＰＣＩｅ（Peripheral Component Interconnect Express）インタフェース、または他のインタフェースを使用して、サイド情報１３０を送信する。

【0041】

受信機デバイスに戻ると、ＨＭＤ２２０は、コンピュータ２１０によって送信される圧縮ビットストリームを受信して復号化し、レンダリングされたＶＲ環境のフレームを生成する回路を含む。次いで、ＨＭＤ２２０は、生成されたフレームを、ＨＭＤ２２０内に統合されるディスプレイに送る。ＨＭＤ２２０に表示される各画像において、ＨＭＤ２２０の右側２２５Ｒに表示されるシーン２２５Ｒは焦点領域２３０Ｒを含み、ＨＭＤ２２０の左側に表示されるシーン２２５Ｌは焦点領域２３０Ｌを含む。これらの焦点領域２３０Ｒ，２３０Ｌは、ＨＭＤ２２０の拡張された右側２２５Ｒ及び左側２２５Ｌの各々の内部の円によって示される。

【0042】

一実装態様では、左右半分のフレーム内の焦点領域２３０Ｒ，２３０Ｌの位置が、ＨＭＤ２２０内のアイトラッキングセンサに基づいてそれぞれ決定される。別の実装態様では、焦点領域２３０Ｒ，２３０Ｌの位置は、ユーザが見ていると予想される場所に基づいて、ＶＲアプリケーションによって決定される。焦点領域２３０Ｒ，２３０Ｌのサイズは、実装態様に従って変化し得ることに留意されたい。例えば、一実装態様では、ユーザの各々の目の視線が向く場所に基づいて焦点領域内を追跡するアイトラッキングセンサをＨＭＤ２２０が含む場合、焦点領域２３０Ｒ，２３０Ｌは、比較的小さくてもよい。そうでなければ、ＨＭＤ２２０がアイトラッキングセンサを含まず、ユーザが見ている可能性が最も高い場所に基づいて焦点領域２３０Ｒ，２３０Ｌが決定される場合、焦点領域２３０Ｒ，２３０Ｌは、比較的大きくてもよい。他の実装態様では、他の要因によって、焦点領域２３０Ｒ，２３０Ｌのサイズを調整することができる。

【0043】

一実装態様では、エンコーダ１２６は、最高の主観的な視覚の品質及び最高レベルの焦点領域２３０Ｒ，２３０Ｌ内の画素に対するディテールを維持するために、これらの領域内のブロックの最小量の圧縮を使用する。本明細書では、「ブロック」を「スライス」と呼ぶことに留意されたい。本明細書で使用される場合、「ブロック」は、連続する画素のグループとして定義される。例えば、一実装態様では、ブロックは、表示されている画像内で正方形を形成する８×８の連続する画素のグループである。他の実装態様では、他の形状及び／又は他のサイズのブロックが使用される。焦点領域２３０Ｒ，２３０Ｌの外側では、エンコーダ１２６は、より高い圧縮量を使用する。このアプローチでは、各々の目は広い視野を有するが、目は広い視野内の小さいエリアのみに焦点を合わせている、という人間の視覚システムを利用する。目及び脳が視覚データを認識する仕組みに基づいて、人間は通常、焦点領域の外側のエリアにおける質の低さに気付かない。

【0044】

一実装態様では、エンコーダ１２６は、ブロックが焦点領域から遠ざかるほど、画像内のブロックを符号化するのに使用される圧縮量を増加させる。例えば、第１のブロックが焦点領域からの第１の距離であり、第２のブロックが焦点領域からの第２の距離であり、第２の距離が第１の距離よりも長い場合、エンコーダは、第１のブロックよりも高い圧縮率を使用して第２のブロックを符号化する。これは、第２のブロックが復元されて、ユーザに表示される場合に、第１のブロックと比較してディテールの少ない第２のブロックを結果としてもたらす。一実装態様では、エンコーダ１２６は、所定のブロックを符号化するときに使用される量子化強度レベルを増加させることによって、使用される圧縮量を増加させる。例えば、一実装態様では、量子化強度レベルは、量子化パラメータ（ＱＰ）設定を使用して指定される。他の実装態様では、エンコーダ１２６は、他の符号化の設定値を変化させることによって、ブロックを符号化するのに使用される圧縮量を増加させる。例えば、エンコーダ１２６がサイド情報１３０から、特定の画素が一次焦点における草の葉または高いコントラストのエッジの他の例に対応していると判断した場合、エンコーダ１２６は、これらの特定の画素の圧縮量を減らす。

【0045】

図３を参照すると、ハーフフレームの焦点領域の外側にある、異なる圧縮レベルに対応する同心領域３００の図の一実施形態が示されている。いくつかの実施形態では、領域３０５は焦点領域である。例えば、実施形態では、領域３０５は、ヘッドマウントディスプレイ（ＨＭＤ）のアイトラッキングセンサによって決定される中心窩領域である。別の実施形態では、領域３０５は、ＧＰＵまたは他のタイプのプロセッサによって、高いコントラストのエッジを含むように決定された領域である。別の実施形態では、領域３０５は、ＧＰＵまたは他のタイプのプロセッサによって、焦点を含むように決定された領域である。何れの場合も、ＧＰＵまたは他のタイプのプロセッサは、領域３０５に使用する圧縮レベルが、直接隣接する領域３１０等の周辺領域に使用する圧縮レベルと異なると判断する。

【0046】

図の各ボックスは、ハーフフレームのスライスを表し、スライスは、実装態様に応じて変化する数の画素を含む。画面の各半分において、図３の下部にある式３３５を使用して、目の注視点からの各スライスの距離が決定される。式３３５において、ｓ_ｂは、スライスのサイズである。一実装態様では、ｓ_ｂは、８または１６の何れかである。他の実装態様では、ｓ_ｂは、他のサイズであってもよい。変数ｘ_{ｏｆｆｓｅｔ}及びｙ_{ｏｆｆｓｅｔ}は、スライス（ｘ，ｙ）が画像の左上を基準にしており、ｘ_ｅｙｅ及びｙ_ｅｙｅが画面の各半分の中心を基準にしているという事実に対して調整する。また、ｓｌｉｃｅ＿ｓｉｚｅを２で割った値は、（ｓ_ｂ＊ｘ_ｉ，ｓ_ｂ＊ｙ_ｉ）が各スライスの左上であるという事実を説明するためにｘ_{ｏｆｆｓｅｔ}及びｙ_{ｏｆｆｓｅｔ}の各々に加えられ、目的は、各スライスの中心が各半径の内側にあるか外側にあるかを判断することである。

【0047】

次いで、式３３５を使用してｄ_ｉ ^２を計算した後、ｄ_ｉ ^２は、スライスが何れの圧縮領域に属するかを決定するために、半径「Ｎ」の各々（ｒ_０、ｒ_１、ｒ_２、…ｒ_Ｎ）の２乗と比較され、ここで、Ｎは正の整数である。図３に示す実装態様では、Ｎは５に等しいが、これは単に説明目的で示されていることを理解されたい。例えば、この実装態様では、領域３０５は、矢印ｒ５によって示される半径を有する焦点領域である。領域３１０は、矢印ｒ４で示される半径を有する焦点領域に隣接する領域である。領域３１５は、矢印ｒ３で示される半径を有する次に大きい領域である。領域３２０は、矢印ｒ２で示される半径を有する次に大きい領域である。領域３２５は、矢印ｒ１で示される半径を有する次に大きい領域であり、領域３３０は、矢印ｒ０で示される半径を有する、図３００に示される最大の領域である。別の実装態様では、Ｎは６４に等しいが、他の実装態様では、Ｎは、様々な他の適切な整数値の何れかであってもよい。

【0048】

焦点領域３０５の中心から所定のスライスまでの距離に基づいて（または、所定のスライスまでの距離の２乗に基づいて）、エンコーダは、所定のスライスが何れの圧縮領域に属するかを決定する。一実装態様では、スライスが属する領域が識別されると、領域識別子（ＩＤ）を使用してルックアップテーブルにインデックスを付ける。Ｎ個の半径がルックアップテーブルに記憶される。一実装態様では、ハードウェアの乗算器の必要性を排除するために、半径の２乗の値がルックアップテーブルに記憶される。一実装態様では、半径の２乗の値は、エントリ０が最大の円を指定し、エントリ１が２番目に大きい円を指定する等のように、単調減少の順序（monotonically decreasing order）でプログラムされる。

【0049】

一実装態様では、ルックアップテーブルからの出力は、スライスの完全な目標圧縮サイズである。「領域ＩＤ」は、本明細書で「ゾーンＩＤ」とも呼ばれ得る。目標サイズは、ウェーブレットスライスが処理されるときに後で使用するためにＦＩＦＯに書き込まれる前に、圧縮率（または、ｃ＿ｒａｔｉｏ）の値によりスケーリングされる。ｃ＿ｒａｔｉｏのいくつかの関数によりスケーリングすることは、無線周波数（ＲＦ）リンク容量を小さくする場合に適切な、より小さい目標スライスサイズを生じさせる。様々な実施形態において、（図１及び図２の）サイド情報１３０等のサイド情報は、所定のスライスまでの距離を含む。

【0050】

図４を参照すると、インタフェース（複数可）４１２を介して受信したサイド情報４１０を使用して圧縮を動的に調整するビデオエンコーダ４００の一実施形態の一般化されたブロック図が示されている。様々な実施形態において、ビデオエンコーダ４００は、（図１及び図２の）エンコーダ１２６と同等である。ビデオエンコーダ４００（またはエンコーダ４００）は、インタフェース（複数可）４１２を介して入力ビデオデータ４０２を受信し、入力ビデオデータ４０２の圧縮バージョンである出力ビデオデータ４４０を生成する。様々な実施形態では、インタフェース（複数可）４１２は、１つ以上のバス等のように、サイド情報４１０及びビデオデータ４０２を受信するための任意の適切な回路等を含む。いくつかの実施形態では、サイド情報４１０及びビデオデータ４０２を受信するために別個のインタフェース回路４１２が使用される。いくつかの実施形態では、サイド情報４１０及びビデオデータ４０２の双方を受信するために、組み合わせたインタフェース回路が使用される。様々なこのような実施形態が可能であり、企図される。様々な実装態様では、エンコーダ４００は、様々なビデオ圧縮規格の１つ及び受信したサイド情報４１０に基づいて、入力ビデオデータ４０２を圧縮する。エンコーダ４００は、符号化ステージ４２０及びビットレートコントローラ４５０を含む。特定の論理ブロックが説明されているが、他の実施形態では、論理ブロック４２２～４５８の１つ以上が使用されず、１つ以上の追加の論理ブロックが追加される。

【0051】

様々な設計において、エンコーダ４００は、入力ビデオデータ４０２を、レンダリングされたデータとして受信する。例えば、外部ＧＰＵは、ＣＰＵから受信したレンダリングコマンドに基づいて、フレームの画素の複数のブロックを生成する。様々な設計において、エンコーダ４００は、出力ビデオデータ４４０をビットストリームとして生成する。本明細書で使用される場合、「ビットストリーム」は、ビットのシーケンスである。場合によっては、エンコーダの出力ビットストリームは、単位時間当たりに生成または処理されるビット数である「ビットレート」として測定される。例えば、一部の設計では、ビットレートは、キロビット／秒（ｋｂｐｓ）またはメガビット／秒（ｍｂｐｓ）の単位で表される。符号化ステージ４２０内、及び、ビットレートコントローラ４５０と符号化ステージ４２０の間の両方に位置するフィードバックループは、出力ビデオデータ４４０のビットレートを設定する。フィードバックループは、このビットレートが、ディスプレイのユーザにとって低い主観的な画質の画像を生成する下限を下回らないことを確実にする。また、フィードバックループは、出力ビットレートが外部要因によって設定された上限を超えないようにする。外部要因の一例は、利用可能なリンク帯域幅である。外部要因の別の例は、外部バッファ（図示省略）のストレージ使用量である。エンコーダ４００は、外部バッファにアンダーフローやオーバーフローが発生しないように出力ビデオデータ４４０を生成する。

【0052】

符号化ステージ４２０は、複数の論理ブロックを含む。ビデオ圧縮中に、エンコーダ４００は、フレーム内の空間的冗長性を決定し、フレーム間の時間的冗長性を決定する。論理ブロック４２２は、フレーム内で検出された動きを推定するためのロジックを含み、任意の推定された動きを補償する。一部の設計では、ユーザ定義のストレージ制限が設定されており、現在のフレームの処理のために記憶する、先行するフレームの数が決定される。論理ブロック４２２は、動き推定アルゴリズムに基づいて、入力ビデオデータ４０２内の現在のフレームのデータを、１つ以上の先行するフレームのデータと比較する。ユーザまたはソフトウェアアプリケーションのアルゴリズムは、１つ、２つまたは他の数の先行するフレームを記憶するために使用するフレームバッファのサイズを定義する。多くの設計では、このストレージパラメータは、ビデオコンテンツを符号化する前に設定されるパラメータである。このストレージパラメータの設定が大きいほど、フレームバッファに記憶される先行するフレームの数が多くなり、ビデオ圧縮中にフレームバッファで消費されるストレージのスペースの量が多くなる。

【0053】

論理ブロック４２２は、様々な動き推定アルゴリズムのうち１つを使用して、現在のフレームと１つ以上の先行するフレームとの間の時間的冗長性を決定する。モーション推定アルゴリズムは、フレームをブロックに分割し、場合によってはブロックをサブブロックに分割する。ブロックまたはサブブロックは、１６画素×１６画素、８画素×８画素、４画素×４画素等の様々なサイズのうち何れかを有する。サブブロックが小さく、動きの推定に使用されるサブブロックが多いほど、動き推定アルゴリズムは、複雑な動きをより良好に表現する。ただし、処理時間（レイテンシ）、データストレージのスペース、及び、アルゴリズムの複雑さの全ては、さらに増加する。

【0054】

入力ビデオデータ４０２に提供されるフレームの領域が共通の背景または他の滑らかなエリアとして識別される場合、動き推定アルゴリズムは１６画素×１６画素のブロックを使用することが多い。入力ビデオデータ４０２に提供されるフレームの領域が、ディスプレイの視聴者に高いディテールを提供するものとして識別される場合、動き推定アルゴリズムは、４画素×４画素のサブブロックを使用する。いくつかの実施形態では、論理ブロック４２２の動き推定アルゴリズムは、サイド情報４１０を使用して、ディスプレイの視聴者に対して高い視覚的ディテールを提供する領域を決定する。したがって、動き推定アルゴリズムは、受信したサイド情報４１０に基づいて、このような領域においてより小さく、より多くのサブブロックを使用することを選択する。いくつかの実施形態では、動きの推定のための複数の先行するフレームを使用することは、仮想現実（ＶＲ）アプリケーション等のような符号化プロセスにおいて、許容されないレイテンシを生じさせる。したがって、動きベクトルを使用した一時的なレイテンシの識別が除外される。

【0055】

動き推定アルゴリズムは、検索ウィンドウとも呼ばれる参照フレーム内の検索領域を決定する。一例では、参照フレームは、入力ビデオデータ４０２のデータを現在のフレームと比較した直前のフレームである。参照フレームの検索領域は、水平なビデオライン、及び、垂直な列に位置する複数のブロックまたはサブブロックを含む。動き推定アルゴリズムは、現在のフレームのブロックまたはサブブロックを選択し、参照フレームの検索領域で最も一致するブロックまたはサブブロックを検索する。最も一致するブロックまたはサブブロックを決定するために、動き推定アルゴリズムは、ブロックまたはサブブロック毎に動きベクトルを計算する。動き推定アルゴリズムは、４画素×４画素のサブブロックに対して１６個の動きベクトルを計算する。

【0056】

動き推定アルゴリズムが検索領域内の全てのブロックまたはサブブロックを検索する場合、完全または網羅的検索動き推定アルゴリズムと呼ばれる。動き推定アルゴリズムがブロックまたはサブブロックの一部をスキップする場合、高速検索動き推定アルゴリズムと呼ばれる。いくつかの実施形態では、論理ブロック４２２は、受信したサイド情報４１０を使用して、受信したサイド情報４１０に基づいて、動き推定アルゴリズムにおいて網羅的検索または高速検索を使用するかどうかを決定する。例えば、サイド情報４１０が、コントラストの高いエッジの領域、中心窩領域である領域を識別し、圧縮レベルがその領域に直接隣接するブロックの圧縮レベルよりも小さいと識別した場合、論理ブロック４２２は、検索領域の多数の小さなサブブロックについて網羅的な動き推定アルゴリズムを使用する。

【0057】

論理ブロック４２２に関する上記のステップは、参照フレーム内の何れのブロックまたはサブブロックが、現在のフレーム内の選択されたブロックまたはサブブロックに最も類似した外観（または動きベクトルに基づく最小の計算誤差）を有するかを予測する。現在のフレーム内の隣接ブロックまたはサブブロックについても同様の予測が行われる。いくつかの実施形態では、エンコーダ４００は、動きの推定の代わりに、または動きの推定に加えて、予測モードスキーム（図示省略）を使用する。予測スキームは、先行するフレームと現在のフレームのブロックまたはサブブロック間の空間的冗長性を減らすが、動き推定アルゴリズムは時間的冗長性を減らす。空間的冗長性を減らす予測スキームでは、各ブロックまたはサブブロックは、イントラモード予測方式またはインターモード予測方式で処理される。どちらの方式でも、再構成されたフレームに基づいて予測ブロックまたはサブブロックが生成される。符号化ステージ４２０は、論理ブロック４２２から論理ブロック４２４，４２６，４２８への順方向経路を含む。符号化ステージ４２０は、論理ブロック４２２から論理ブロック４２４，４２６，４３０へ、及び、論理ブロック４２２へ戻る再構成経路も含む。

【0058】

含まれる場合、エンコーダ４００の再構成経路は、論理ブロック４３０を含む。論理ブロック４３０は、受信側での動作を模倣するための逆変換、逆量子化、ループフィルタ、及び、動きの補償のための論理を含む。空間的及び時間的冗長性の１つ以上が削減された後、予測及び／又は動きの推定からの出力ブロックまたはサブブロックが、現在のフレームのブロックまたはサブブロックから減算される。さらに、現在のフレーム内の隣接するブロックまたはサブブロックと、現在のフレーム内のブロックまたはサブブロックとの間の差が決定される。これらの減算により差分ブロックまたはサブブロックが生成され、これは論理ブロック４２４によって変換され、論理ブロック４２６によって量子化されて、変換及び量子化された係数のセットが生成される。これらの係数は、論理ブロック４２８によって再配列され、エントロピー符号化される。いくつかの設計では、論理ブロック４２４は、動き補償予測差分ブロック及びサブブロックに対して離散コサイン変換（ＤＣＴ）を実行する。

【0059】

論理ブロック４２６は、ステップサイズとして使用される量子化パラメータ４６０に従って、ブロックごと（またはサブブロックごと）をベースにして、圧縮されたＤＣＴ係数を量子化する。一例では、特定のブロック（またはサブブロック）を表すＤＣＴ係数行列は、量子化スケールコードによって乗算され、量子化行列によって要素ごとに分割され、その後、最も近い整数に丸める等の丸めが行われる。いくつかの実施形態では、符号化ステージ４２０は、複数のタイプの利用可能な量子化ブロックを含む。利用可能な量子化器の例は、Ｈ．２６３量子化器及びＭＰＥＧ－４量子化器である。何れの量子化ブロック及び結果として得られる量子化スケールコードを使用するかの選択は、ソフトウェアアプリケーション及び／又はサイド情報４１０で行われたユーザ定義の選択に基づいている。いくつかの実施形態では、選択は、最初にソフトウェアアプリケーションで行われたユーザ定義の選択に基づいているが、選択は、サイド情報４１０に基づいて動的に更新される。

【0060】

ビットレートコントローラ４５０は、量子化パラメータ４６０を決定する。量子化パラメータ４６０は、スケーリングマトリクスを生成するために使用され、画素の所定のブロック（またはサブブロック）から除去する情報量を決定する。通常、量子化パラメータ４６０及びデフォルト値の値の範囲がある。量子化パラメータ４６０が一定値の場合、各フレームから同じ量の情報が除去される。一例では、量子化パラメータ４６０の範囲は０から５０であり、デフォルト値は２３である。量子化パラメータ４６０が２０に選択され、ビデオの複雑さの変化にもかかわらず、量子化パラメータ４６０が２０を維持する場合、ディスプレイ上でユーザに提供される主観的な視覚の質が低下する。サイド情報４１０内の情報は、フレーム内の動きの指標、高いコントラストのエッジの指標等を含む。また、出力ビデオデータ４４０のビットレートは大きく変動する。したがって、ビットレートコントローラ４５０は、フィードバック情報４６２、利用可能なビットレートコントローラ４５２～４５８のうち何れかを選択する動作モードを含むサイド情報４１０、目標ブロックのビットストリームの長さ等に基づいて、量子化パラメータ４６０を変えるロジックを含む。

【0061】

上記の例を続けると、いくつかの実施形態では、ビットレートコントローラ４５０は、動きが大きいと識別されたフレーム内の領域に対して、量子化パラメータ４６０を２０から２２に増加させる。量子化パラメータ４６０を増加すると、これらの領域に対してより多くの圧縮を引き起こす。同様に、符号化ステージ４２０は、高いコントラストのエッジ、中心窩領域等を備えていないものとして識別されたフレーム内の領域に対して、増加した量子化パラメータ４６０を使用する。この例では、ビットレートコントローラ４５０は、動きがない、高いコントラストのエッジ、中心窩領域等を備えていないものとして識別されたフレーム内の領域に対して、量子化パラメータ４６０を２０から１６に減少させる。量子化パラメータ４６０を小さくすると、これらの領域に対してより少ない圧縮をもたらす。

【0062】

いくつかの設計では、量子化ブロック４２６によって使用される等価量子化ステップサイズは、量子化パラメータ４６０と対数関係を有する。他の設計では、等価量子化ステップサイズは、線形関係であるか、量子化パラメータ４６０と別の関係を有する。量子化パラメータ４６０が増加すると、量子化器のステップサイズが増加する。量子化パラメータ４６０が増加するにつれて、ディスプレイで見られる出力ビデオデータ４４０の主観的な視覚の質は低下し、出力ビデオデータ４４０のサイズも低下する。量子化パラメータ４６０が減少すると、ディスプレイで見られる出力ビデオデータ４４０の主観的な視覚の質が改善され、出力ビデオデータ４４０のサイズが大きくなる。

【0063】

量子化パラメータ４６０を設定するために、ビットレートコントローラ４５０は、ビデオビットレートを推定する。出力ビデオデータ４４０のビデオビットレートは、単位時間当たりの達成されたブロックビットストリームの長さ４４２のビット数である。ビットレートコントローラ４５０は、出力ビデオデータ４４０の達成されたブロックビットストリームの長さ４４２におけるビット数（ビットストリームのサイズ）を調整するために、ネットワークで利用可能な帯域幅及び受信した入力ビデオデータ４０２のビデオの複雑さに基づいて、ビデオビットレートを推定する。フィードバック情報４６２は、符号化ステージ４２０からのビデオの複雑さを、ビットレートコントローラ４５０に関連付けるために使用される。ビットレートコントローラ４５０は、ユーザに対して外部ディスプレイに高い視覚的な画質を生成するために、量子化パラメータ４６０を調整することによって、出力ビデオデータ４４０の達成されたブロックビットストリームの長さ４４２を調整しようと試みる。いくつかの設計では、ビットレートコントローラ４５０は、出力ビデオデータ４４０を送信する外部ネットワーク帯域幅を維持し、出力ビデオデータ４４０を記憶する外部ビデオバッファのオーバーフローまたはアンダーフローの状態を防止しながら、この調整を行う。

【0064】

ビットレートコントローラ４５０は、量子化パラメータ４６０を選択する。これは、所定のビデオ画像の複雑さに対して、出力ビデオデータ４４０の達成されたブロックビットストリームの長さ４４２を決定する。ここでも、出力ビデオデータ４４０のビットレートは、単位時間当たりの達成されたブロックビットストリームの長さ４４２のビット数で決定される。ビットレートコントローラ４５０は、出力ビデオデータ４４０の出力ビットレートを調整するために、ビットレートコントローラ４５２～４５８に実装される様々なビットレート制御アルゴリズムの１つを使用する。ビットレート制御アルゴリズムの例は、一定ビットレート（ＣＢＲ）コントローラ４５６、可変ビットレート（ＶＢＲ）コントローラ４５４、インテリジェント質一定（ＩＣＱ）コントローラ４５８、及び、質定義（または質ベース）可変ビットレート（ＱＶＢＲ）コントローラ４５２である。

【0065】

ＣＢＲコントローラ４５６は、フレーム全体について、達成されたブロックビットストリームの長さ４４２におけるセット（または目標）数のビットを維持する。一部の設計では、ビット数のばらつきが２０％以下に制限されている。ＣＢＲコントローラ４５６は、閾値未満のビデオの複雑さを有するビデオ情報を使用すると推定されるシステムにビデオフレームデータを記憶するために、小さな外部ビデオバッファを有するシステムで使用されることがある。ＩＣＱコントローラ４５８は、主観的な視覚の質が高いままであるが、ファイルサイズが可能な限り小さくされるビデオ情報をアーカイブするシステムで使用される。ＩＣＱコントローラ４５８は、ＩＣＱ品質係数とも呼ばれる一定比率係数（ＣＲＦ）を受信する。この入力パラメータには値の範囲がある。例えば、一部の設計では、範囲は１から５１であり、値が低いほど量子化パラメータ４６０が低くなり、したがって、ビデオ情報から削除される情報が少なくなる。ビデオ情報は圧縮率が低くなる。対照的に、入力パラメータＣＲＦの値が大きいほど、ビデオ情報が圧縮される。達成されたブロックビットストリームの長さ４４２は、ＩＣＱコントローラ４５８の入力パラメータＣＲＦを調整することによって上下に調整される。

【0066】

ＣＢＲコントローラ４５６とは対照的に、ＶＢＲコントローラ４５４は、フレーム全体について、達成されたブロックビットストリームの長さ４４２内のビット数を変化させる。特定のブロックの場合、ビット数の分散は、ＣＢＲコントローラ４５６によって達成される分散を超える。いくつかの設計では、ＶＢＲコントローラ４５４は、ＣＲＢコントローラ４５６の２０パーセント以下と比較して、３００パーセントの分散を許容する。ＶＢＲコントローラ４５４は、達成されたブロックビットストリームの長さ４４２の大きな分散を許容し、時間の経過と共に、ＶＢＲコントローラ４５４は、ＣＢＲコントローラ４５６で達成されたものと同等の平均達成ブロックビットストリームの長さ４４２をもたらす。

【0067】

ＶＢＲコントローラ４５４は、ビデオの複雑さが高いフレームの領域、中心窩領域、コントラストの高いエッジ等に高いビットレートをもたらす一方で、これらの特性を持たないフレームの領域にはより低いビットレートをもたらす。達成されたブロックビットストリームの長さ４４２を経時的に合計し、時間で除算すると、通常、目標ビットレートに近い平均ビットレートがもたらされる。ＣＢＲコントローラ４５６とは異なり、ＶＢＲコントローラ４５４は、復号化される前にビデオコンテンツを記憶するための大きな外部ビデオバッファをサポートする。ＩＣＱコントローラ４５８とは異なり、ＶＢＲコントローラ４５４は、外部ビデオバッファの利用等のフィードバック情報４６２に基づいて、達成されたブロックビットストリームの長さ４４２の目標値の調整をサポートする。

【0068】

ＶＢＲコントローラ４５４と同様に、ＱＶＢＲコントローラ４５２は、高いコントラストのエッジを有する領域、中心窩領域等について、必要に応じて、達成されたブロックビットストリームの長さ４４２を変化させる。しかし、ＶＢＲコントローラ４５４とは異なり、ＱＶＢＲコントローラ４５２は、ＩＣＱコントローラ４５８と同様に特定の質係数を維持しようとする。ＩＣＱコントローラ４５８と同様に、ＱＶＢＲコントローラ４５２は質係数（ＱＦ）を受信する。この入力パラメータには値の範囲がある。例えば、ＱＦの値の範囲は、一部の設計では０～６３であり、他の設計では１～１００等である。ＱＦのより低い値は、より低い量子化パラメータ４６０に関連付けられ、したがって、より少ない情報がビデオ情報から除去される。ビデオ情報は、ＱＦが低いほど圧縮されない。通常、ＱＶＢＲコントローラ４５２は、ゲーム及びストリーミングシステムで使用される。

【0069】

符号化ステージ４２０の論理ブロック及びビットレートコントローラ４５０の他の論理と同様に、ビットレートコントローラ４５２～４５８は、回路等のハードウェア、ファームウェア等のソフトウェアまたはユーザ定義ソフトウェアアプリケーション、及び、ハードウェアとソフトウェアの組み合わせのうち１つ以上で実装される。ビットレートコントローラ４５０には、４つのタイプのビットレートコントローラ４５２～４５８が示されているが、他の実施形態では、ビットレートコントローラ４５０は、別の数のビットレート制御アルゴリズム及び他のタイプのビットレート制御アルゴリズムを使用する。ビットレートコントローラの数及び選択されたタイプに関係なく、ビデオ圧縮のために実際に選択されたビットレートコントローラのタイプ及び品質係数（ＱＦ）等の入力パラメータの設定は、サイド情報４１０に基づいて行われる。

【0070】

エントロピーコーディング４２８は、量子化ブロック４２６から受信した出力ビットストリームのエントロピー符号化を並べ替えて実行する。エントロピーコーディングブロック４２８は、受信ビットストリームの特定のビットシーケンスを識別する。これらの特定のビットシーケンスの各々は、シンボルと呼ばれる。エントロピーコーディングブロック４２８は、シンボルをコードワードまたは端数等の他の値に置き換える。エントロピーコーディングアルゴリズムのタイプの２つの例は、ハフマンコーディングと算術コーディングである。ハフマンベースのコーディングアルゴリズムは、テーブルルックアップに基づいてシンボルをコードワードに置き換える。算術ベースのコーディングアルゴリズムは、シンボルを０～１の範囲の端数に置き換える。ハイブリッドアプローチでは、テーブルルックアップと算術演算のステップを組み合わせて使用するか、テーブルルックアップまたは算術演算を使用するかどうかを動作条件に基づいて選択する。

【0071】

ハフマンベースのコーディングアルゴリズムは、シンボルをコードワードにマッピングするために、コードワードを記憶するテーブルにアクセスする。一部の設計では、コードワードは固定の長さであり、長さはコードワードで使用されるビット数である。他の設計では、コードワードは可変の長さのコードワードである。エントロピーコーディングブロック４２８は、シンボルを表すために使用される平均ビット数を制限することによって、ビットストリームをさらに圧縮する。より頻繁に発生するシンボルは、より小さいサイズのコードワードを使用することでより圧縮される。発生頻度の低いシンボルは、サイズの大きいコードワードを使用することで圧縮率が低くなる。

【0072】

算術ベースのコーディングアルゴリズムは、ビットストリームのシンボルまたは他の部分（シーケンス）を、０と１の間の範囲または間隔の端数等の数に符号化する点で、ハフマンベースのコーディングアルゴリズムと異なる。生成された端数によって精度が異なる。より多くのシンボルがコード化されると、アルゴリズムはシーケンス識別子を表すためにより高い精度を使用する。より頻繁に発生するシンボルは、０から１までのより大きな間隔（範囲）を使用して圧縮される。例えば、頻繁に発生するシンボルの場合、アルゴリズムは間隔０．３～０．６を選択する。発生頻度の低いシンボルは、０から１までの短い間隔（範囲）を使用して圧縮される。例えば、発生頻度の低いシンボルの場合、アルゴリズムは間隔０．１～０．２を選択する。

【0073】

いくつかの設計では、エントロピーコーディングブロック４２８のパラメータは、テーブルに記憶されたコードワードでシンボルを符号化するか、算術演算でシンボルを符号化するかを決定するための第１のパラメータを含む。第２のパラメータは、使用される算術演算のタイプや、生成された端数に使用される精度の量の制限等のように、算術演算の計算の複雑さを決定する。いくつかの実施形態では、エントロピー符号化ブロック４２８は、サイド情報４１０を使用して、ディスプレイの視聴者に高い視覚的ディテールをもたらす領域を決定する。したがって、エントロピー符号化アルゴリズム（複数可）は、受信したサイド情報４１０に基づいて、そのような領域におけるより高い精度でより複雑な計算を選択する。

【0074】

図５を参照すると、ビデオ符号化ロジック５００の一実施形態のブロック図が示されている。上述した回路及びロジックには、同じ符号が付されている。ロジック５２０は、組み合わせロジック及びシーケンシャル要素用の回路等のハードウェア、ファームウェア等のソフトウェア、またはハードウェアとソフトウェアの組み合わせで実装される。ロジック５２０は、受信したビデオ符号化パラメータ５１０（または入力パラメータ５１０）の更新または修正に基づいて、更新されたビデオ符号化パラメータ５３０（または出力パラメータ５３０）を生成する。変更は、サイド情報１３０に基づいて行われる。入力パラメータ５１０は、様々なビデオ符号化パラメータを含む。ビデオエンコーダ４００の上記の説明は、これらの入力パラメータ５１０を説明しており、例えば、複数の利用可能な量子化器の１つの選択、カスタム量子化器行列の量子化器スケールコードの選択、量子化パラメータ（ステップサイズ）の選択、エントロピーコーディングアルゴリズムの選択、選択されたエントロピーコーディングアルゴリズムの計算の複雑さの制限の選択、及び、算術エントロピーコーディング中の端数の表現に使用される精度の選択等が挙げられる。

【0075】

ビデオエンコーダ４００の上記の説明は、ビデオエンコーダ４００全体に分散される入力パラメータ５１０を更新するためのロジックを説明している。ここで、ビデオ符号化ロジック５００において、ロジック５２０が集中化されている。様々な実施形態において、入力パラメータ５１０を更新するためのロジックが集中化されるが、他の実施形態において、ロジックは分散される。さらに他の実施形態では、入力パラメータ５１０を更新するためのロジックは、入力パラメータ５１０の第１の部分を更新するための集中型ロジックと、入力パラメータ５１０の第２の部分を更新するための分散型ロジックと、の両方を含む。

【0076】

図６を参照すると、効率的なビデオレンダリングを実行するための方法６００の一実施形態が示されている。説明のために、本実施形態の（及び、図７の）ステップも順番に示されている。しかし、記載された方法の様々な実施形態では、記載された要素のうち１つ以上が、同時に実行されてもよいし、図示した順序と異なる順序で実行されてもよいし、完全に省略されてもよいことに留意されたい。また、他の追加の要素も、必要に応じて実行される。本明細書に記載されている様々なシステムまたは装置の何れも、方法６００，７００を実施するように構成されている。

【0077】

プロセッサは、ビデオフレームの画素の複数のブロックをレンダリングするために使用する命令を受信する（ブロック６０２）。様々な実装態様では、プロセッサはＧＰＵであり、レンダリングのための命令と複数の画素のブロックを受信する。プロセッサは、レンダリングのために、ビデオフレームの複数のブロックのうち１つ以上のブロックを含む領域を選択する（ブロック６０４）。例えば、ＣＰＵは、レンダリングするオブジェクトにマークを付けるか、特定のオブジェクト及び／又は複数のオブジェクトを含む領域が視覚的に重要なプロパティを持っていることを通知する。一部の設計では、ＣＰＵがこれらの領域にタグを付ける。これらの領域は、中心窩領域、予測された焦点の領域等を含む。

【0078】

領域をレンダリングした後、プロセッサは、選択された領域の圧縮レベルを予測する（ブロック６０６）。上述したように、ＣＰＵは、視覚的に重要であると予測されるオブジェクトにタグを付けるが、ＣＰＵは、タグ付けされたオブジェクトがフレームに描かれたシーンで十分に大きいかどうか、または、焦点に配置されているかどうかを認識していない。場合によっては、レンダリング後にＧＰＵがこれらの決定を実行する。一例では、ＧＰＵは、タグ付けされた領域が高いコントラストのエッジを含むかどうかを決定する。別の例では、ＧＰＵは、タグ付けされたオブジェクトを先行するフレームでの位置と比較して、位置が閾値を超えて変化したかどうかを判断する。このような場合、ＧＰＵは、タグ付けされたオブジェクトが、移動しているオブジェクトであると判断する。さらに別の例では、ＧＰＵは、タグ付けされた１つ以上のオブジェクトに対して事前のレンダリングのパス（pre-rendering pass）を実行し、深層学習の技術または他の技術を介して、領域が焦点であると予測されると判断する。様々な実施形態において、ＧＰＵは、高いコントラストのエッジ、予測された焦点、中心窩領域等を有する領域に対して低い圧縮レベルを予測する。さらに、ＧＰＵは、移動しているオブジェクトを含む領域の高い圧縮レベルを予測する。

【0079】

選択された領域の予測圧縮レベルが、選択された領域の外側に位置する直接隣接するブロックの圧縮レベルと同じである場合（条件付きブロック６０８：「いいえ」）、最後の領域が選択されたかどうかを判断するために確認が実行される。場合によっては、圧縮レベルを比較するときに閾値が使用される。圧縮レベルの差が閾値内にある場合、選択された領域の圧縮レベルと、選択された領域の外側にある直接隣接するブロックの圧縮レベルとは同じであると見なされる。最後の領域に到達していない場合（条件付きブロック６１０：「いいえ」）、方法６００の制御フローはブロック６０４に戻り、プロセッサは、レンダリングのために、ビデオフレームの複数のブロックのうち１つ以上のブロックを含む領域を選択する。

【0080】

選択された領域の予測圧縮レベルが、選択された領域の外側に位置する直接隣接するブロックの圧縮レベルと異なる場合（条件付きブロック６０８：「はい」）、プロセッサは、サイド情報等のメタデータに、ビデオフレーム内の領域の位置を挿入する（ブロック６１２）。様々な実施形態において、サイド情報は、ビデオフレームのレンダリングされた画素のブロックと共に記憶されたメタデータである。上述したように、サイド情報は、直接隣接する画素とは異なる圧縮レベルでフレーム内の領域を示すための様々なフォーマットの１つを有する。

【0081】

プロセッサは、領域と直接隣接するブロックとの間で異なる圧縮レベルを引き起こす領域内のコンテンツのタイプを、サイド情報に挿入する（ブロック６１４）。コンテンツのタイプの例としては、高いコントラストのエッジ、移動するオブジェクト、予測された焦点、中心窩領域等がある。その後、方法６００の制御フローは条件付きブロック６１０に移動し、プロセッサは、異なる圧縮レベルを有する最後の領域がレンダリングされたかどうかを判別する。最後の領域に達した場合（条件付きブロック６１０：「はい」）、プロセッサは、ビデオフレームのレンダリングを完了する（ブロック６１６）。例えば、プロセッサは、直接隣接する画素と同じ圧縮レベルで領域をレンダリングする。その後、プロセッサは、ビデオフレームのレンダリングされた画素のブロック及びサイド情報をビデオエンコーダに送る（ブロック６１８）。上述したように、方法６００（及び方法７００）について説明した要素のうち１つ以上は、同時に、または、図示されている順序と異なる順序で実行される。したがって、いくつかの実施形態では、プロセッサは、領域のレンダリングの完了時に、レンダリングされた画素のブロック及び対応するサイド情報をビデオエンコーダに伝達する。このような実施形態では、プロセッサは、全ての領域のレンダリングが完了するのを待たずに、データをビデオエンコーダに送る。このような場合、プロセッサは、データをパイプライン方式でビデオエンコーダに転送する。

【0082】

図７を参照すると、効率的なビデオの圧縮を実行するための方法７００の一実施形態が示されている。エンコーダは、ビデオフレームのレンダリングされた画素の複数のブロックを受信する（ブロック７０２）。また、エンコーダは、隣接する画素のブロックの圧縮レベルとは異なる予測圧縮レベルを有するビデオフレームの領域に関する情報を記憶するサイド情報を受信する（ブロック７０４）。いくつかの実施形態では、サイド情報は、ビデオフレームのレンダリングされた画素と共に記憶されるメタデータである。エンコーダは、圧縮するビデオフレームのレンダリングされた画素の複数のブロックのうち何れかのブロックを選択する（ブロック７０６）。

【0083】

選択されたブロックが、サイド情報によって識別される領域に位置しない場合（条件付きブロック７０８：「いいえ」）、エンコーダは、目標圧縮レベルに基づいて、選択されたブロックの符号化パラメータを更新する（ブロック７１０）。しかし、選択されたブロックがサイド情報によって識別される領域に位置する場合（条件付きブロック７０８：「はい」）、エンコーダは、受信したサイド情報に基づいて、選択された領域の符号化パラメータを更新する（ブロック７１２）。例えば、エンコーダは、受信したサイド情報から、領域が直接隣接するブロックの圧縮レベルよりも大きい圧縮レベルを有すると判別した場合、いくつかの実施形態では、量子化パラメータを増加させる。

【0084】

他の例では、エンコーダは、受信したサイド情報から、領域の圧縮レベルが直接隣接するブロックの圧縮レベルよりも小さいと判別した場合、いくつかの実施形態では、動きの推定中に検索エリア内の領域の高速検索ではなく、完全な検索（full search）を実行する。さらに、いくつかの実施形態では、エンコーダは、算術エントロピー符号化アルゴリズムによって生成される端数の精度を高める。さらに、実施形態では、エンコーダは、動きの推定に使用するブロックのサイズ及び数を減らす。他の実施形態では、エンコーダは、（図４の）エンコーダ４００及び（図５の）符号化パラメータ５１０に記述された符号化パラメータ等の様々な他の符号化パラメータを更新する。

【0085】

１つ以上の符号化パラメータを更新した後、エンコーダは、更新された符号化パラメータに基づいて、選択された領域を圧縮する（ブロック７１４）。フレームの画素の最後のブロックに達していない場合（条件付きブロック７１６：「いいえ」）、方法７００の制御フローはブロック７０６に戻り、フレームの複数のブロックの別のブロックが選択される。そうではなく、フレームの画素の最後のブロックに達した場合（条件付きブロック７１６：「はい」）、エンコーダはフレームの圧縮を完了する（ブロック７１８）。その後、エンコーダは、ビデオフレームの圧縮された画素を送信機に送信し、送信機は、圧縮されたビデオ情報を受信機に送信して、ビデオ情報を復号化し、ディスプレイに表示する。

【0086】

図８を参照すると、ビデオフレーム８００内のブロックのフレーム間依存性の一実施形態のブロック図が示されている。様々な実施形態において、送信機は、フレーム８４０に対応するレンダリングされた情報等のビデオ情報を、受信機に送信する。フレーム８４０は、空を飛ぶ飛行機の画像を表しているが、他の例では、フレーム８４０は、スポーツイベントのシーンやビデオゲームのシーン等の様々な視覚情報についての情報を含む。ソフトウェアのヒントまたはハードウェアのヒントは、飛行機をシーンの焦点８４２、したがって領域として識別する。いくつかの実施形態では、フレーム８４０のサイド情報は、飛行機である焦点８４２の指標を含む。フレーム８４０の下には、フレーム８４０に示されているシーンの様々なフレームの符号化パラメータの複数の例が示されている。量子化パラメータ（ＱＰ）が符号化パラメータの例として示されているが、フレーム間で変化する１つ以上の他の符号化パラメータも可能であり、企図されている。

【0087】

背景の空、雲、下の陸地等のように、何れの焦点にも位置しないオブジェクトの場合、エンコーダは、焦点８４２の圧縮率よりも高い圧縮率を選択する。図示するように、フレーム８４０はフレームＸであり、Ｘは０以外の正の整数である。様々な実施形態において、ビデオエンコーダは、Ｎ個の先行フレーム及びＭ個の後続フレーム（Ｎ及びＭの各々が正の０以外の整数である）を考慮することにより、フレーム８４０（フレームＸ）内の所定のブロックのＱＰを置換または更新する。言い換えれば、いくつかの実施形態では、フレーム８４２（フレームＸ）のサイド情報は、フレームＸ－ＮからフレームＸ＋Ｍまでの各フレームからのサイド情報の一部を含み、Ｎは、Ｘ未満である。

【0088】

フレーム８４０（フレームＸ）の場合、ブロック１３（ブロック８４４）は青空であり、ブロック１４（ブロック８４６）は焦点８４２の飛行機の機首であり、ブロック４５（ブロック８４８）は焦点８４２の飛行機の尾翼である。ただし、フレームＸ－１の場合、飛行機は未だブロック１４に到着していないため、ブロック１４は青空である。同様に、フレームＸ－ＮからフレームＸ－１までの場合、ブロック１４は青空である。例では、青空のＱＰは２０であるが、焦点領域８４２（飛行機）のＱＰは８である。ＱＰの急激な変化により、画面上にちらつきが生じる可能性がある。

【0089】

２つの連続するフレーム間の圧縮レベルの急激な変化を避けるために、ビデオエンコーダは、より連続的な方法で、フレーム間でＱＰを変化させる。例えば、ビデオエンコーダは、加重合計を生成する。この加重合計は、複数のフレームにわたるブロック１４のＱＰを決定するために、平均化の式として使用される。図示した例では、Ｎが４でありＭが４であるため、ビデオエンコーダは、４つの先行するフレームにわたってブロック１４のＱＰを更新し、ＱＰを、（２０－８）／４が３であることから、３つのステップで２０から８に減らす。この場合、Ｘ－ＮからＸの各フレームの重みは、同じ１である。この例では、ビデオエンコーダは、フレームＸ－４からＸのＱＰを２０、１７、１４、１１、８になるように生成する。換言すると、ビデオエンコーダは、ブロック１４、フレームＸ－４のＱＰを２０、ブロック１４、フレームＸ－３のＱＰを１７、ブロック１４、フレームＸ－２のＱＰを１４、ブロック１４、フレームＸ－１のＱＰを１１、ブロック１４、フレームＸのＱＰを８に生成する。２つのフレーム間のブロック１４のＱＰに急激な変化はない。フレーム８４０（フレームＸ）の直後のフレームのブロック１４が焦点８４２（飛行機）を含むので、フレームＸからフレームＸ＋４までのブロック１４のＱＰは８のままである。

【0090】

図９を参照すると、ビデオフレーム９００内のブロックのフレーム間依存性の一実施形態のブロック図が示されている。上記のビデオ情報には、同じ符号が付けられている。図示した例では、Ｎが４でありＭが４であるため、ビデオエンコーダは、４つの後続のフレームにわたってブロック４５（ブロック８４８）のＱＰを更新し、ＱＰを、（２０－８）／４が３であることから、３つのステップで８から２０に増加させる。この場合、フレームＸ－ＮからＸの各フレームの重みは、同じ１である。この例では、ビデオエンコーダは、フレームＸからＸ＋４のＱＰを８、１１、１４、１７、２０になるように生成する。つまり、ビデオエンコーダは、ブロック４５、フレームＸのＱＰを８、ブロック１４、フレームＸ＋１のＱＰを１１、ブロック４５、フレームＸ＋２のＱＰを１４、ブロック４５、フレームＸ＋３のＱＰを１７、ブロック４５、フレームＸ＋４のＱＰを２０に生成する。２つのフレーム間でブロック１４のＱＰに急激な変化はない。フレーム８４０（フレームＸ）の直前のフレームのブロック４５が焦点８４２（飛行機）を含むので、フレームＸ－４からフレームＸまでのブロック４５のＱＰは８のままである。

【0091】

図１０を参照すると、効率的なビデオの圧縮を実行するための方法１０００の一実施形態が示されている。エンコーダは、ビデオフレームの複数のブロックのレンダリングされた画素のブロックＡを受信する（ブロック１００２）。エンコーダは、複数のフレームに対し、隣接する画素のブロックの圧縮レベルとは異なる予測圧縮レベルを有するビデオフレームの領域に関する情報を記憶するサイド情報を受信する（ブロック１００４）。ブロックＡがフレームＸの領域の前の最後の先行ブロックである場合（条件付きブロック１００６：「はい」）、ビデオエンコーダは、フレームＸ－ＮからＸ＋Ｍまでのサイド情報に基づいて、ブロックＡの符号化パラメータを更新する。様々な実施形態において、ビデオエンコーダは、図８及び図９において上述したステップを実行する。

【0092】

ブロックＡがフレームＸ内の領域の前の最後の先行ブロックではなく（条件付きブロック１００６：「いいえ」）、選択されたブロックがサイド情報によって識別される領域に位置しない場合（条件付きブロック１０１０：「いいえ」）、エンコーダは、目標圧縮レベルに基づいて、選択されたブロックの符号化パラメータを更新する（ブロック１０１４）。しかし、選択されたブロックがサイド情報によって識別される領域に位置する場合（条件付きブロック１０１０：「はい」）、エンコーダは、受信したサイド情報に基づいて、選択された領域の符号化パラメータを更新する（ブロック１０１２）。例えば、エンコーダは、受信したサイド情報から、領域が直接隣接するブロックの圧縮レベルよりも大きい圧縮レベルを有すると判別した場合、いくつかの実施形態では、量子化パラメータを増加させる。ブロック１００８，１０１２，１０１４の何れかにおいて１つ以上の符号化パラメータを更新した後、エンコーダは、更新された符号化パラメータに基づいて、選択された領域を圧縮する（ブロック１０１６）。

【0093】

図１１を参照すると、ビデオフレーム１１００内のブロックのフレーム間依存性の一実施形態のブロック図が示されている。上述したビデオフレーム情報には、同じ符号が付けられている。ソフトウェアのヒントまたはハードウェアのヒントは、帆船をシーンの焦点１４２、したがって領域として識別する。いくつかの実施形態では、フレーム１４０のサイド情報は、帆船である焦点１４２の指標を含む。フレーム１４０は、水上の帆船を示しているが、他の例では、フレーム１４０は、スポーツのイベントのシーンやビデオゲームのシーン等のように、様々な視覚情報に関する情報を含む。フレーム１４０は、図示した例ではフレームＸとも呼ばれ、フレーム１１４０（フレームＸ＋１）は、フレーム１４０（フレームＸ）のビデオ情報と重複しない新しい情報を含む。したがって、フレームＸとフレームＸ＋１との間でシーンのカットが発生する。

【0094】

フレーム１４０（フレームＸ）及びフレーム１１４０（フレームＸ＋１）の下には、フレーム１４０，１１４０に示されるシーンの様々なフレームに対する符号化パラメータの複数の例がある。量子化パラメータ（ＱＰ）が符号化パラメータの例として示されているが、フレーム間で変化する１つ以上の他の符号化パラメータも可能であり、企図されている。背景の空、水、陸等のように、何れの焦点にも位置しないオブジェクトの場合、エンコーダは、焦点１４２（帆船）の圧縮率よりも高い圧縮率を選択する。例では、焦点１４２のＱＰは８であり、フレーム１４０の背景のオブジェクトのＱＰは１６である。フレーム１１４０の各ブロックのＱＰは２２である。フレーム１１４０のシーンは、様々なビデオ設定を説明するテキストを有するビデオ設定ページである。例えば、１９２０×１０８０のビデオ解像度が選択され、６０ヘルツ（Ｈｚ）のビデオリフレッシュレート等が選択される。

【0095】

フレーム１１４０は、ビデオ設定ページのテキスト及び無地の背景を含むので、ビデオエンコーダは、より高い圧縮レベルを選択することができ、したがって、見る者にとってより低い視覚的な質、及び、より高いＱＰを選択することができる。一例では、ビデオエンコーダは、フレーム１１４０（フレームＸ＋１）全体のＱＰを２２に更新する。これは、フレーム１４０（フレームＸ）で使用されるＱＰの値８及び１６よりも高い。ただし、フレーム１１４０のサイド情報がないと、ビデオエンコーダは、フレーム１１４０の最初のブロックを符号化する前に、フレーム１１４０のコンテンツを認識しない。フレーム１４０（フレームＸ）及びフレーム１１４０（フレームＸ＋１）のサイド情報を使用して、ビデオエンコーダは、フレームの下のテキストボックスに示すように、フレーム１４０（フレームＸ）及びフレーム１１４０（フレームＸ＋１）の各々のブロックのＱＰを更新できる。

【0096】

図示した例では、Ｎが４であり、Ｍが４であるため、ビデオエンコーダは、４つの先行するフレームにわたって焦点１４２によって定義される領域内のブロック２３（ブロック１９０）のＱＰを維持する。ビデオエンコーダは、フレームＸでＱＰを８から１０に増やす。シーンのカットはフレームＸ＋１に到達するが、見る者がＱＰの急激な変化によるちらつきを目にすることを避けるために、エンコーダは、引き続きＭ＝４を使用して、シーンのカットが到達するまでＱＰを調整する。シーンのカットがフレームＸ＋１に到達すると、フレーム全体の数ブロックではなく、フレームＸ＋１の各ブロックに、急激な変化がある。したがって、フレームＸの場合、（１６－８）／４が２であるため、エンコーダは、ブロック２３のＱＰを２つのステップで更新する。ここで、フレームＸ－４からＸの各々は、１の同じ重みを備えている。この例では、ビデオエンコーダは、フレームＸ－４からＸのＱＰを８、８、８、８、１０になるように生成する。２つのステップでの１０から１６までのＱＰの増分は使用されない。シーンのカットがフレームＸ＋１に到達するからである。フレームＸ＋１からＸ＋４の場合、ブロック２３のＱＰは２２である。これは、フレームＸ＋１からＸ＋４の各ブロックのＱＰである。

【0097】

図１２を参照すると、ビデオフレーム１２００内のブロックのフレーム間依存性の一実施形態のブロック図が示されている。上記のビデオ情報には、同じ符号が付けられている。いくつかの実施形態では、フレーム１２４０のサイド情報は、帆船である焦点１２４２の指標を含む。フレーム１２４０は、水上の帆船を示しているが、他の例では、フレーム１２４０は、スポーツのイベントのシーンやビデオゲームのシーン等のように、様々な視覚情報についての情報を含む。フレーム１２４０は、図示した例ではフレームＸ－２とも呼ばれ、フレーム１１４０（フレームＸ＋１）は、フレームＸ（図示省略）のビデオ情報と重複しない新しい情報を含む。したがって、フレームＸとフレームＸ＋１との間でシーンのカットが発生するが、焦点１２４２（帆船）は、図１１に示す前の例よりも早い時間に、シーンのカットの前にブロック２３を通過する。この場合、図１２では、焦点１２４２（帆船）は、図１１に示すようにフレームＸではなく、フレームＸ－２でブロック２３を通過する。

【0098】

図１２に示す例では、Ｎが４であり、Ｍが４であるため、ビデオエンコーダは、シーンのカットの前の３フレームにわたってブロック２３（ブロック１２９０）のＱＰを更新し、（１６－８）／４が２であるため、２つのステップでＱＰを８から１４に増加させる。この場合、フレームＸ－４からＸの各々の重みは１である。この例では、ビデオエンコーダは、フレームＸ－４からＸにわたるＱＰを、８、８、１０、１２、１４になるように生成する。この場合、フレームＸ－４からＸの各々は、同じ重み１を備えている。シーンのカットがフレームＸ＋１に到達するが、見る者がブロック２３のＱＰの急激な変化によるちらつきを見ることを避けるために、エンコーダは、引き続きＭ＝４を使用して、シーンのカットが到達するまでブロック２３のＱＰを調整する。シーンのカットがフレームＸ＋１に到達すると、フレーム全体の少数のブロックではなく、ＱＰ＝２２を用いるフレームＸ＋１の各ブロックに急激な変化がある。

【0099】

図１３を参照すると、効率的なビデオの圧縮を実行するための方法１３００の一実施形態が示されている。エンコーダは、ビデオフレームＸのレンダリングされた画素の複数のブロックを受信する（ブロック１３０２）。エンコーダは、複数のフレームについて、隣接する画素のブロックの圧縮レベルとは異なる予測圧縮レベルを有する領域のサイド情報を受信する（ブロック１３０４）。様々な実施形態では、受信したサイド情報は、フレームＸ、フレームＸの前の０からＮのフレーム、及び、フレームＸの後の０からＭのフレームについての情報を提供する。変数Ｘ、Ｎ、Ｍは、上述したように、０以外の正の整数である。フレームＸがシーンのカットの前のＭフレーム内にない場合（条件付きブロック１３０６：「いいえ」）、次のシーンのカットは、もしある場合には、フレームＸの後のＭフレームよりも多くなる。このような場合、エンコーダは、フレームＸのサイド情報、他のフレームからのサイド情報、及び、目標圧縮レベルのうち１つ以上に基づいて、フレームＸのブロックＡの符号化パラメータを更新する（ブロック１３０８）。エンコーダは、フレームＸで識別された領域の数、利用可能なサイド情報を有するフレームＸに先行するフレームの数、及び、利用可能なサイド情報を有するフレームＸの後のフレームの数に基づいて、フレームＸのブロックＡの符号化パラメータを更新するために使用する情報を選択する。様々な実施形態において、ビデオエンコーダは、（図７及び図１０の）方法７００，１０００等の上記の方法に示されたステップの１つ以上を実行する。

【0100】

フレームＸがシーンのカット前のＭフレーム内にあり（条件付きブロック１３０６：「はい」）、フレームＸがシーンのカットに関連する新しいシーンの最初のフレームである（条件付きブロック１３１０：「はい」）場合、フレームＸは、シーンのカットの前の０フレーム内にある。このような場合、エンコーダは、シーンのカットに関連する新しいシーンの少なくともサイド情報に基づいて、フレームＸのブロックＡの符号化パラメータを更新する（ブロック１３１２）。フレームＸがシーンのカットに関連する新しいシーンの２番目のフレームまたはそれ以降のフレームである場合、方法１３００の制御フローは、以前の条件付きブロック１３０６及び他の次のシーンのカットに基づいて移動する。フレームＸがシーンのカットに関連する新しいシーンの最初のフレームでない場合（条件付きブロック１３１０：「いいえ」）、フレームＸは、シーンのカットに関連する新しいシーンの前の１からＭフレーム以内にある。このような場合、エンコーダは、フレームＸとシーンのカットの最初のフレームとの間のフレームの少なくともサイド情報に基づいて、フレームＸのブロックＡの符号化パラメータを更新する（ブロック１３１４）。様々な実施形態において、ビデオエンコーダは、図１１及び図１２において上述したステップを実行する。

【0101】

様々な実施形態では、ソフトウェアアプリケーションのプログラム命令を使用して、上述した方法及び／又はメカニズムを実施する。プログラム命令は、Ｃ言語等の高水準プログラミング言語でハードウェアの動作を記述している。或いは、Ｖｅｒｉｌｏｇ等のハードウェア設計言語（ＨＤＬ）が使用される。プログラム命令は、非一時的なコンピュータ可読記憶媒体に記憶される。様々なタイプの記憶媒体が利用可能である。記憶媒体は、プログラム命令及び付随するデータをプログラム実行のためにコンピューティングシステムに提供するために、使用中にコンピューティングシステムによってアクセス可能である。コンピューティングシステムは、少なくとも１つ以上のメモリと、プログラム命令を実行する１つ以上のプロセッサと、を含む。

【0102】

上記の実施形態は、実施形態の非限定的な例に過ぎないことを強調しておきたい。上記の開示が十分に理解されると、当業者には、多くの変形及び修正が明らかになる。以下の特許請求の範囲は、このような変形及び修正を全て包含するように解釈されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】