特許 7265622 低遅延ビデオ符号化のための効率的な量子化パラメータ予測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-18

(45)【発行日】2023-04-26

(54)【発明の名称】低遅延ビデオ符号化のための効率的な量子化パラメータ予測方法

(51)【国際特許分類】

   H04N 19/126 20140101AFI20230419BHJP

   H04N 19/14 20140101ALI20230419BHJP

   H04N 19/172 20140101ALI20230419BHJP

【ＦＩ】

H04N19/126

H04N19/14

H04N19/172

【請求項の数】 20

(21)【出願番号】P 2021520135

(86)(22)【出願日】2019-06-25

(65)【公表番号】

(43)【公表日】2022-01-13

(86)【国際出願番号】 IB2019055357

(87)【国際公開番号】W WO2020089701

(87)【国際公開日】2020-05-07

【審査請求日】2021-06-04

(31)【優先権主張番号】16/177,156

(32)【優先日】2018-10-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】508301087

【氏名又は名称】エーティーアイ・テクノロジーズ・ユーエルシー

【氏名又は名称原語表記】ＡＴＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ

【住所又は居所原語表記】Ｏｎｅ Ｃｏｍｍｅｒｃｅ Ｖａｌｌｅｙ Ｄｒｉｖｅ Ｅａｓｔ， Ｍａｒｋｈａｍ， Ｏｎｔａｒｉｏ， Ｌ３Ｔ ７Ｘ６ Ｃａｎａｄａ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】デニス リュウ

(72)【発明者】

【氏名】ジャオ ワン

(72)【発明者】

【氏名】レイ ジャン

(72)【発明者】

【氏名】エドワード エイ． ハロルド

【審査官】田中 純一

(56)【参考文献】

【文献】特開２００３－２３０１５１（ＪＰ，Ａ）

【文献】特開平０７－０７５０９５（ＪＰ，Ａ）

【文献】特開平０６－０４６４１１（ＪＰ，Ａ）

【文献】米国特許出願公開第２００３／０１８５２９９（ＵＳ，Ａ１）

【文献】特開２００７－０８９０３５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／００７１０９４（ＵＳ，Ａ１）

【文献】Yun Gu Lee, et al.，An Intra-Frame Rate Control Algorithm for Ultralow Delay H.264/Advanced Video Coding (AVC)，IEEE Transactions on Circuits and Systems for Video Technology，IEEE，2009年03月16日，Volume: 19, Issue: 5, May 2009，pp.747-752，＜URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4801629＞，＜DOI:10.1109/TCSV.2009.2017413＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

ビデオストリームのビデオフレームを符号化するように構成されたエンコーダと、
前記エンコーダに結合された制御ロジックと、を備え、
前記制御ロジックは、
以前のビデオフレームを符号化することの難易度を表す複雑度指標を計算することであって、前記複雑度指標は、前記以前のビデオフレームの計算された実際の複雑度値と前記以前のビデオフレームの計算された推定複雑度値とに少なくとも部分的に基づいて計算される、ことと、
前記複雑度指標と、符号化されるビデオフレームの決定されたサイズと、に基づいて量子化パラメータ（ＱＰ）値を計算することと、
を行うように構成されており、
前記エンコーダは、
ＱＰを、前記制御ロジックによって計算されたＱＰ値に設定することによって、現在のビデオフレームを表す符号化されたビデオフレームを生成することと、
前記符号化されたビデオフレームをデコーダに伝送して表示させることと、
を行うように構成されている、
システム。

【請求項2】

前記推定複雑度値は、前記以前のビデオフレームに関連する第１のパラメータに少なくとも部分的に基づいており、分散、イントラ予測係数及びインター対イントラ比のうち１つ以上に対応する、
請求項１のシステム。

【請求項3】

前記イントラ予測係数は、所定のＱＰでの前記以前のビデオフレームに対するイントラ予測の有効度を表す、
請求項２のシステム。

【請求項4】

前記インター対イントラ比は、所定のＱＰでの前記以前のビデオフレームのインター符号化ビットとイントラ符号化ビットとの比率を表す、
請求項２のシステム。

【請求項5】

前記実際の複雑度値は、前記以前のビデオフレームの量子化パラメータに少なくとも部分的に基づいており、前記推定複雑度値は、前記以前のビデオフレームの計算された分散に少なくとも部分的に基づいている、
請求項１のシステム。

【請求項6】

前記分散は、前記以前のビデオフレームにおけるブロックの分散の和に基づいて計算される、
請求項５のシステム。

【請求項7】

前記制御ロジックは、次のビデオフレームを符号化するための次の複雑度指標を生成する場合に用いるために、前記現在のビデオフレームに基づいて、１つ以上のパラメータを生成するように構成されている、
請求項１のシステム。

【請求項8】

制御ロジックが、以前のビデオフレームを符号化することの難易度に基づいて複雑度指標を計算することであって、前記複雑度指標は、前記以前のビデオフレームの計算された実際の複雑度値と前記以前のビデオフレームの計算された推定複雑度値とに少なくとも部分的に基づいて計算される、ことと、
前記制御ロジックが、前記複雑度指標と、符号化されるビデオフレームの決定されたサイズと、に基づいて量子化パラメータ（ＱＰ）値を計算することと、
エンコーダが、ＱＰを、前記制御ロジックによって計算されたＱＰ値に設定することによって、現在のビデオフレームを表す符号化されたビデオフレームを生成することと、
前記エンコーダが、前記符号化されたビデオフレームをデコーダに伝送して表示させることと、を含む、
方法。

【請求項9】

前記推定複雑度値は、前記以前のビデオフレームに関連する第１のパラメータに少なくとも部分的に基づいており、分散、イントラ予測係数及びインター対イントラ比のうち１つ以上に対応する、
請求項８の方法。

【請求項10】

前記イントラ予測係数は、所定のＱＰでの前記以前のビデオフレームに対するイントラ予測の有効度を表す、
請求項９の方法。

【請求項11】

前記インター対イントラ比は、所定のＱＰでの前記以前のビデオフレームのインター符号化ビットとイントラ符号化ビットとの比率を表す、
請求項９の方法。

【請求項12】

前記以前のビデオフレームの量子化パラメータに少なくとも部分的に基づいて前記実際の複雑度値を計算することと、
前記以前のビデオフレームの計算された分散に少なくとも部分的に基づいて前記推定複雑度値を計算することと、を含む、
請求項８の方法。

【請求項13】

前記以前のビデオフレームにおけるブロックの分散の和に基づいて前記分散を計算することを含む、
請求項１２の方法。

【請求項14】

次のビデオフレームを符号化するための次の複雑度指標を生成する場合に用いるために、前記現在のビデオフレームに基づいて、１つ以上のパラメータを生成することを含む、
請求項８の方法。

【請求項15】

メモリと、
前記メモリに結合されたエンコーダと、
前記エンコーダに結合された制御ロジックと、を備え、
前記制御ロジックは、
以前のビデオフレームを符号化することの難易度に基づいて複雑度指標を計算することであって、前記複雑度指標は、前記以前のビデオフレームの計算された実際の複雑度値と前記以前のビデオフレームの計算された推定複雑度値とに少なくとも部分的に基づいて計算される、ことと、
前記複雑度指標と、符号化されるビデオフレームの決定されたサイズと、に基づいて量子化パラメータ（ＱＰ）値を計算することと、
を行うように構成されており、
前記エンコーダは、
ＱＰを、前記制御ロジックによって計算されたＱＰ値に設定することによって、現在のビデオフレームを表す符号化されたビデオフレームを生成することと、
前記符号化されたビデオフレームをデコーダに伝送して表示させることと、
を行うように構成されている、
装置。

【請求項16】

前記推定複雑度値は、前記以前のビデオフレームに関連する第１のパラメータに少なくとも部分的に基づいており、分散、イントラ予測係数及びインター対イントラ比のうち１つ以上に対応する、
請求項１５の装置。

【請求項17】

前記イントラ予測係数は、所定のＱＰでの前記以前のビデオフレームに対するイントラ予測の有効度を表す、
請求項１６の装置。

【請求項18】

前記インター対イントラ比は、所定のＱＰでの前記以前のビデオフレームのインター符号化ビットとイントラ符号化ビットとの比率を表す、
請求項１６の装置。

【請求項19】

前記実際の複雑度値は、前記以前のビデオフレームの量子化パラメータに少なくとも部分的に基づいており、前記推定複雑度値は、前記以前のビデオフレームの計算された分散に少なくとも部分的に基づいている、
請求項１５の装置。

【請求項20】

前記分散は、前記以前のビデオフレームにおけるブロックの分散の和に基づいて計算される、
請求項１９の装置。

【発明の詳細な説明】

【背景技術】

【0001】

（関連技術の説明）
様々なアプリケーションが、画像又はビデオコンテンツの符号化及び復号化を実行する。例えば、ビデオトランスコーディング、デスクトップ共有、クラウドゲーム、ゲーム観戦は、コンテンツの符号化及び復号化のサポートを含むアプリケーションの一部である。コンテンツの符号化方法を決定するパラメータの１つに、量子化パラメータ（ＱＰ）がある。Ｈ．２６４規格に準拠する方式等のように、様々なブロックベースのビデオ符号化方式では、ＱＰが、符号化処理中に保持されるディテール（detail）を調整する。ビデオフレーム毎又はフレームのブロック毎に選択されるＱＰは、符号化されたビデオフレームのサイズ又は符号化されたブロックのサイズと直接関連する。ＱＰ値を小さく選択すると、多くのディテールが保持されるが、符号化後に得られるサイズが大きくなる。ＱＰ値を大きく選択すると、多くのディテールが失われるが、符号化後に生成されるサイズが小さくなる。「量子化パラメータ」という用語は、より一般的には「量子化強度」とも呼ばれることに留意されたい。

【0002】

添付図面と併せて以下の説明を参照することによって、本明細書で説明する方法及びメカニズムの利点をより良く理解することができる。

【図面の簡単な説明】

【0003】

【図1】コンテンツを符号化及び復号化するシステムの一実施形態のブロック図である。

【図2】ビデオのフレームを符号化するサーバのソフトウェア構成要素の一実施形態のブロック図である。

【図3】一実施形態による、ビデオフレームを符号化するための量子化パラメータ（ＱＰ）を計算する式を示す図である。

【図4】一実施形態による、フレームの符号化に関連するパラメータを計算するための式を示す図である。

【図5】ビデオフレームを符号化する際に用いる量子化パラメータ（ＱＰ）を求める方法の一実施形態を示す一般化されたフロー図である。

【図6】符号化されるフレームの推定サイズを複雑度指標に基づいて計算する方法の別の実施形態を示す一般化されたフロー図である。

【図7】ビデオフレームを符号化する際に用いるＱＰを求める方法の一実施形態を示す一般化されたフロー図である。

【図8】符号化されるフレームの推定サイズを複雑度指標に基づいて計算する方法の一実施形態を示す一般化されたフロー図である。

【発明を実施するための形態】

【0004】

以下の説明では、本明細書に提示される方法及びメカニズムの十分な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、当業者は、様々な実施形態がこれらの具体的な詳細無しに実施され得ることを認識すべきである。場合によっては、本明細書に記載されるアプローチを曖昧にすることを回避するために、周知の構造、構成要素、信号、コンピュータプログラム命令及び技術が詳細に示されていない。説明を簡単且つ明確にするために、図面に示される要素が必ずしも縮尺通りに描かれていないことが理解されよう。例えば、いくつかの要素の寸法は、他の要素に対して誇張されている場合がある。

【0005】

所定のビットバジェットを満たすようにビデオフレームを符号化するための量子化パラメータ（ＱＰ）を計算するシステム、装置及び方法が本明細書に開示されている。一実施形態では、システムは、エンコーダと、制御ロジックと、エンコーダ及び制御ロジックに結合されたメモリと、を少なくとも含む。制御ロジックは、以前のビデオフレーム及び／又は現在のビデオフレームの第１の符号化パスに関連する第１のパラメータに少なくとも基づいて、複雑度指標を計算する。一般的に、複雑度指標は、所定のフレームを符号化することの難易度を表す。一実施形態では、第１のパラメータは、分散である。別の実施形態では、第１のパラメータは、イントラ予測係数（intra-prediction factor）である。さらなる実施形態では、第１のパラメータは、インター対イントラ比（inter-to-intra ratio）である。他の実施形態では、第１のパラメータは、これらのパラメータのうち複数、及び／又は、１つ以上の他のパラメータを含む。いくつかの実施形態では、制御ロジックは、２つ以上の以前のビデオフレームに関連する第１のパラメータに少なくとも基づいて、複雑度指標を計算する。次に、制御ロジックは、複雑度指標を用いて、所定のビットバジェットを満たすように現在のビデオフレームを符号化するのに使用する好ましいＱＰを計算する。複雑度指標に基づいて生成された好ましいＱＰを使用することによって、エンコーダは、フレーム中のＱＰ調整を少なくすることができる。これは、結果として得られる符号化ビデオビットストリームの表示品質を向上させるのに役立つ。

【0006】

図１を参照すると、コンテンツの符号化及び復号化を行うシステム１００の一実施形態のブロック図が示されている。システム１００は、サーバ１０５と、ネットワーク１１０と、クライアント１１５と、ディスプレイ１２０と、を含む。他の実施形態では、システム１００は、ネットワーク１１０を介してサーバ１０５に接続された複数のクライアントを含み、複数のクライアントは、サーバ１０５によって生成された同じビットストリーム又は異なるビットストリームを受信する。また、システム１００は、複数のクライアントのために複数のビットストリームを生成する２つ以上のサーバ１０５を含むことができる。

【0007】

一実施形態では、システム１００は、ビデオコンテンツの符号化及び復号化を実施する。様々な実施形態では、ビデオゲームアプリケーション、クラウドゲーミングアプリケーション、仮想デスクトップインフラストラクチャアプリケーション又は画面共有アプリケーション等の様々なアプリケーションが、システム１００によって実施される。他の実施形態では、システム１００は、他のタイプのアプリケーションを実行する。一実施形態では、サーバ１０５は、ビデオ又は画像のフレームをレンダリングし、レンダリングしたフレームをビットストリームに符号化し、次いで、符号化したビットストリームを、ネットワーク１１０を介してクライアント１１５に伝送する。クライアント１１５は、符号化されたビットストリームを復号化し、ビデオ又は画像のフレームを生成して、ディスプレイ１２０又はディスプレイコンポジタに送る。

【0008】

ネットワーク１１０は、無線接続、直接ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、広域エリアネットワーク（ＷＡＮ）、イントラネット、インターネット、ケーブルネットワーク、パケット交換網、光ファイバネットワーク、ルータ、ストレージエリアネットワーク、若しくは、他のタイプのネットワークを含む、任意のタイプのネットワーク又はネットワークの組み合わせを表す。ＬＡＮの例は、イーサネット（登録商標）ネットワーク、光ファイバ分散データインタフェース（ＦＤＤＩ）ネットワーク及びトークンリングネットワークを含む。様々な実施形態では、ネットワーク１１０は、リモートダイレクトメモリアクセス（ＲＤＭＡ）ハードウェア及び／若しくはソフトウェア、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）ハードウェア及び／若しくはソフトウェア、ルータ、リピータ、スイッチ、グリッド、並びに／又は、他の構成要素を含む。

【0009】

サーバ１０５は、ビデオ／画像フレームをレンダリングし、フレームをビットストリームに符号化するためのソフトウェア及び／又はハードウェアの任意の組み合わせを含む。一実施形態では、サーバ１０５は、１つ以上のサーバの１つ以上のプロセッサで実行される１つ以上のソフトウェアアプリケーションを含む。また、サーバ１０５は、ネットワーク通信機能、１つ以上の入出力装置、及び／又は、他の構成要素を含む。サーバ１０５のプロセッサ（複数可）は、任意の数及びタイプのプロセッサ（例えば、グラフィックスプロセッシングユニット（ＧＰＵ）、中央演算処理装置（ＣＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）等）を含む。プロセッサ（複数可）は、プロセッサ（複数可）によって実行可能なプログラム命令を記憶する１つ以上のメモリデバイスに結合されている。同様に、クライアント１１５は、ビットストリームを復号化し、フレームをディスプレイ１２０に送るためのソフトウェア及び／又はハードウェアの任意の組み合わせを含む。一実施形態では、クライアント１１５は、１つ以上のコンピューティングデバイスの１つ以上のプロセッサで実行される１つ以上のソフトウェアアプリケーションを含む。様々な実施形態では、クライアント１１５は、コンピューティングデバイス、ゲームコンソール、モバイルデバイス、ストリーミングメディアプレーヤ、又は、他のタイプのデバイスである。

【0010】

図２を参照すると、ビデオのフレームを符号化するためのサーバ２００のソフトウェア構成要素の一実施形態のブロック図が示されている。他の実施形態では、サーバ２００は、他の構成要素を含むこと、及び／又は、図２に示す以外の他の適切な方法で構成されることに留意されたい。ビデオの新しいフレーム２０５が、サーバ２００によって受信され、制御ロジック２２０及びエンコーダ２３０に提供される。制御ロジック２２０及びエンコーダ２３０の各々は、ハードウェア及び／又はソフトウェアの任意の適切な組み合わせを使用して実装される。制御ロジック２２０は、新しいフレーム２０５を符号化する際にエンコーダ２３０によって使用される量子化パラメータ（ＱＰ）２２５を生成する。一実施形態では、制御ロジック２２０は、以前のフレーム（複数可）のパラメータ２１０、及び／又は、新しいフレーム２０５の第１のパスの符号化からのパラメータに基づいて、ＱＰ２２５を生成する。様々な実施形態では、これらのパラメータは、分散、イントラ予測係数、インター対イントラ比のうち１つ以上、及び／又は、１つ以上の他のパラメータを含む。一実施形態では、制御ロジック２２０は、新しいフレーム２０５の分析中、及び／又は、第１のパスの符号化中に生成された統計値に基づいて、新しいフレームパラメータ２１５を生成する。制御ロジック２２０は、新しいフレームパラメータ２１５をメモリ２４０に記憶し、新しいフレームパラメータ２１５は、新しいフレーム２０５の第２のパス、及び／又は、ビデオストリームの後続のフレームを符号化するために使用される。メモリ２４０は、符号化プロセスに関連するデータ及び／又は命令を記憶するための任意の数及びタイプのメモリ又はキャッシュデバイス（複数可）を表す。

【0011】

エンコーダ２３０は、新しいフレーム２０５を受信し、制御ロジック２２０によって生成されたＱＰ２２５と等しいＱＰ値を用いて、新しいフレーム２０５を符号化する。一実施形態では、エンコーダ２３０は、新しいフレーム２０５の符号化を開始すると、開始ＱＰ値を、制御ロジック２２０によって計算されたＱＰ２２５と等しくなるように設定する。エンコーダ２３０の出力は、符号化されたフレーム２３５であり、この符号化されたフレーム２３５は、１つ以上のクライアント（例えば、図１のクライアント１１５）に伝送され、及び／又は、メモリに記憶される。一実施形態では、制御ロジック２２０は、新しいフレーム２０５の第１のパスの符号化を実行し、エンコーダ２３０は、新しいフレーム２０５の第２のパスの符号化を実行する。別の実施形態では、エンコーダ２３０は、新しいフレーム２０５の第１のパスの符号化及び第２のパスの符号化を実行する。さらなる実施形態では、新しいフレーム２０５のシングルパスの符号化のみがエンコーダ２３０によって実行される。

【0012】

一実施形態では、制御ロジック２２０は、以前のフレーム（複数可）のパラメータ２１０及び／又は新しいフレーム２０５の第１のパスの符号化からのパラメータに基づいて、複雑度指標を生成する。次に、複雑度指標を用いて、結果として得られる符号化ビットストリームに対して選択されたビットレートに基づいて、新しいフレーム２０５を符号化するための開始ＱＰ値２２５が生成される。エンコーダ２３０は、適切な開始ＱＰ値２２５を選択することによって、通常、新しいフレーム２０５の符号化中のＱＰ調整を少なくすることができる。これは、結果として得られる符号化されたフレーム２３５の表示品質を向上させるのに役立つ。

【0013】

図３を参照すると、ビデオフレームを符号化するための量子化パラメータ（ＱＰ）を計算する式が示されている。圧縮されたフレームのサイズは、式３０５に示す式に従って計算される。圧縮されたフレームのビットサイズは、複雑度指標を、２のＱＰ／α乗の値で除算したものに等しい。複雑度指標は、エンコーダがフレームを圧縮することの難しさを表す値である。ＱＰ値の範囲は、アドバンスドビデオコーディング（ＡＶＣ）及び高効率ビデオコーディング（ＨＥＶＣ）のビデオ圧縮規格の場合、０～５１である。ＶＰ９規格の場合、ＱＰ値の範囲は０～２５５である。α値は、特定のエンコーダで実験的に導出された定数値である。式３１０は、ＱＰについて式３０５を解くことによって生成される。

【0014】

一実施形態では、所定のフレームについての複雑度指標を導出するために、以下のパラメータが求められる。最初に、フレームｉの分散、すなわちｖａｒｉａｎｃｅ（ｉ）が求められる。また、ＱＰ_ｉでのフレームｉに対するイントラ予測の有効度を表す値、すなわちｉｎｔｒａ＿ｐｒｅｄ＿ｆａｃｔｏｒ（ｉ，ＱＰ_ｉ）が求められる。ここで、「ｉｎｔｒａ＿ｐｒｅｄ＿ｆａｃｔｏｒ（ｉ，ＱＰ_ｉ）」は、本明細書では「イントラ予測係数」とも呼ばれることに留意されたい。さらに、ＱＰ_ｉでのフレームｉのインタービット（inter bits）とイントラビット（intra bits）との比率、すなわちｉｎｔｅｒ＿ｉｎｔｒａ＿ｒａｔｉｏ（ｉ，ＱＰ_ｉ）が求められる。ここで、「ｉｎｔｅｒ＿ｉｎｔｒａ＿ｒａｔｉｏ（ｉ，ＱＰ_ｉ）」は、本明細書では「インター対イントラ比」とも呼ばれることに留意されたい。これらのパラメータについて、一実施形態では、「ｉ」は、以前に符号化されたフレームの番号である。別の実施形態では、「ｉ」は、現在符号化中のフレームの第１のパスの番号である。同様に、一実施形態では、「ＱＰ_ｉ」は、以前に符号化されたフレームに使用されるＱＰ値であり、別の実施形態では、「ＱＰ_ｉ」は、現在符号化中のフレームの第１のパスに使用されるＱＰ値である。シングルパスエンコーダでは、３つのパラメータ（ｖａｒｉａｎｃｅ（ｉ）、ｉｎｔｒａ＿ｐｒｅｄ＿ｆａｃｔｏｒ（ｉ，ＱＰ_ｉ）、ｉｎｔｅｒ＿ｉｎｔｒａ＿ｒａｔｉｏ（ｉ，ＱＰ_ｉ））は、以前に符号化されたフレームから累積される。２パスエンコーダでは、これら３つのパラメータは、第１のパスで累積される。

【0015】

一実施形態では、「ｃｏｍｐｌｅｘ」値の構成要素の１つは、フレームに含まれる情報の分量（measure）である。一実施形態では、フレームに含まれる情報を測定するために使用される値は、アクティビティ（activity）である。一実施形態では、アクティビティは、隣接するピクセル間の絶対差の和を加算することによって計算される。別の実施形態では、分散は、フレームに含まれる情報を測定するために使用される。この実施形態では、フレームの分散は、次の式、すなわち、ｖａｒｉａｎｃｅ（ｉ）＝Σ_ｂｂｌｏｃｋ＿ｖａｒｉａｎｃｅ（ｂ）によって求められる。この式において、「ｂ」はフレーム内のブロック番号であり、ブロックのサイズは１６ｘ１６ピクセル、３２ｘ３２ピクセル、６４ｘ６４ピクセル又は他のサイズである。また、この式において、ｂｌｏｃｋ＿ｖａｒｉａｎｃｅ（ｂ）は、ブロック「ｂ」におけるピクセル値の分散である。

【0016】

図４を参照すると、フレームの符号化に関連するパラメータを計算するための式が示されている。ｉｎｔｒａ＿ｐｒｅｄ＿ｆａｃｔｏｒ（ｉ，ＱＰ_ｉ）値は、フレームに対するイントラ予測の有効度を表す。本明細書で使用される「イントラ予測」は、所定のフレーム内のピクセル値を、同じ所定のフレーム内の他のピクセル値に基づいて予測することを指す。フレームを符号化する間、エンコーダは、イントラブロックを（ＱＰ_ｉで）符号化するのに必要なビット数を供給する。この値はｉｎｔｒａＢｉｔｓ（ｂ）と呼ばれ、ｉｎｔｒａＢｉｔｓ（ｂ）は、エンコーダのレート歪み最適化（ＲＤＯ）プロセスで使用される統計値の１つである。一実施形態では、ｉｎｔｒａ＿ｐｒｅｄ＿ｆａｃｔｏｒ（ｉ，ＱＰ_ｉ）は、式４０５を使用して導出される。

【0017】

フレーム間では、ｉｎｔｅｒ＿ｉｎｔｒａ＿ｒａｔｉｏ（ｉ，ＱＰ_ｉ）値は、（ＱＰ_ｉで）必要なイントラビットに対する必要なインタービットの比である。本明細書で使用される「インタービット」という用語は、インターフレーム符号化のみを使用してフレームを符号化するの必要なビット数を指す。「インターフレーム符号化」という用語は、フレームの符号化を、フレームの前及び／又は後の１つ以上の他のフレームからの情報を使用して行い、フレーム内の他のピクセルからの情報を使用しないで行うこととして定義される。また、「イントラビット」という用語は、イントラフレーム符号化（すなわち、イントラ予測）のみを使用してフレームを符号化するのに必要なビット数を指す。ｉｎｔｅｒＢｉｔｓ（ｂ）値は、ｉｎｔｒａＢｉｔｓ（ｂ）値と同様にエンコーダによって供給される。一実施形態では、ｉｎｔｅｒ＿ｉｎｔｒａ＿ｒａｔｉｏ（ｉ，ＱＰ_ｉ）値は、式４１０から導出される。

【0018】

所定のフレームの符号化が完了すると、フレームｉに対して次のパラメータ、すなわち、ｖａｒｉａｎｃｅ（ｉ）、ｉｎｔｒａ＿ｐｒｅｄ＿ｆａｃｔｏｒ（ｉ，ＱＰ_ｉ）、ｉｎｔｅｒ＿ｉｎｔｒａ＿ｒａｔｉｏ（ｉ，ＱＰ_ｉ）及びｓｉｚｅ（ｉ，ＱＰ_ｉ）を使用することができる。ｓｉｚｅ（ｉ，ＱＰ_ｉ）パラメータは、符号化されたフレームｉのビット単位のサイズを表す。一実施形態では、実際のフレーム複雑度値（ａｃｔｕａｌ＿ｃｏｍｐｌｅｘｉｔｙ）が、式４１５を使用して導出される。一実施形態では、イントラフレームの推定複雑度値（ｅｓｔｉｍａｔｅｄ＿ｃｏｍｐｌｅｘｉｔｙ）が、式４２０、すなわち、ｅｓｔｉｍａｔｅｄ＿ｃｏｍｐｌｅｘｉｔｙ＝ｖａｒｉａｎｃｅ（ｉ）×ｉｎｔｒａ＿ｐｒｅｄ＿ｆａｃｔｏｒ（ｉ，ＱＰ_ｉ）を使用して導出される。一実施形態では、インターフレームの推定複雑度値が、式４２５、すなわち、ｅｓｔｉｍａｔｅｄ＿ｃｏｍｐｌｅｘｉｔｙ＝ｖａｒｉａｎｃｅ（ｉ）×ｉｎｔｒａ＿ｐｒｅｄ＿ｆａｃｔｏｒ（ｉ，ＱＰ_ｉ）×ｉｎｔｅｒ＿ｉｎｔｒａ＿ｒａｔｉｏ（ｉ，ＱＰ_ｉ）を使用して導出される。

【0019】

一実施形態では、圧縮されたフレームの好ましいサイズ（又は、ＳＩＺＥ）が既知である場合には、ｓｉｚｅ（ｉ，ＱＰ_ｉ）＜ＳＩＺＥである場合に、重み係数が、式４３０に示す次の式、すなわち、ｗｅｉｇｈｔ＝ｓｉｚｅ（ｉ，ＱＰ_ｉ）／ＳＩＺＥを使用して計算される。また、ｓｉｚｅ（ｉ，ＱＰ_ｉ）≧ＳＩＺＥの場合、重み係数が、式４３５に示す次の式、すなわち、ｗｅｉｇｈｔ＝ＳＩＺＥ／ｓｉｚｅ（ｉ，ＱＰ_ｉ）を使用して計算される。一実施形態では、好ましいＱＰ（又は、ＱＰ_{ｐｒｅｆｅｒｒｅｄ}）が既知である場合には、ＱＰ_ｉ＜ＱＰ_{ｐｒｅｆｅｒｒｅｄ}の場合に、重み係数が、式４４０に示す次の式、すなわち、ｗｅｉｇｈｔ＝ＱＰ_ｉ／ＱＰ_{ｐｒｅｆｅｒｒｅｄ}を使用して計算される。また、ＱＰ_ｉ≧ＱＰ_{ｐｒｅｆｅｒｒｅｄ}の場合に、重み係数が、式４４５に示す次の式、すなわち、ｗｅｉｇｈｔ＝ＱＰ_{ｐｒｅｆｅｒｒｅｄ}／ＱＰ_ｉを使用して計算される。一実施形態では、複雑度指標は、式４５０に示す次の式、すなわち、ｃｏｍｐｌｅｘ＝（ｗｅｉｇｈｔ×ａｃｔｕａｌ＿ｃｏｍｐｌｅｘｉｔｙ）＋（（１－ｗｅｉｇｈｔ）×ｅｓｔｉｍａｔｅｄ＿ｃｏｍｐｌｅｘｉｔｙ）を使用して計算される。複雑度指標が計算されると、ＳＩＺＥ又はＱＰの値が、それぞれ式３０５又は式３１０を使用して導出される。

【0020】

図５を参照すると、ビデオフレームを符号化する際に用いる量子化パラメータ（ＱＰ）を求める方法５００の一実施形態が示されている。説明のために、本実施形態のステップ及び図６～図８のステップを順に示す。ただし、記載する方法の様々な実施形態では、記載された要素のうち１つ以上が、同時に行われてもよいし、図示した順序と異なる順序で行われてもよいし、完全に省略されてもよいことに留意されたい。他の追加の要素も、必要に応じて実行される。本明細書に記載される様々なシステム又は装置の何れも、方法５００を実施するように構成されている。

【0021】

エンコーダに接続された制御ロジックは、以前のビデオフレームに関連する第１のパラメータに少なくとも基づいて、複雑度指標を計算する。上述したように、複雑度指標は、以前のビデオフレームを符号化することの難易度を表す（ブロック５０５）。一実施形態では、第１のパラメータは、分散である。別の実施形態では、第１のパラメータは、イントラ予測係数である。さらなる実施形態では、第１のパラメータは、インター対イントラ比である。他の実施形態では、第１のパラメータは、これらのパラメータのうち複数、及び／又は、１つ以上の他のパラメータを含む。いくつかの実施形態では、制御ロジックは、２つ以上の以前のビデオフレームに関連する第１のパラメータに少なくとも基づいて、複雑度指標を計算する。

【0022】

次に、制御ロジックは、複雑度指標に基づいて、及び、符号化されるビデオフレームの好ましいサイズに基づいて、量子化パラメータ（ＱＰ）値を計算する（ブロック５１０）。一実施形態では、ＱＰ値は、（図３の）式３１０を使用して計算される。一実施形態では、符号化されるビデオフレームの好ましいサイズは、符号化されるビデオストリームを伝送するための好ましいビットレートに基づいて決定される。例えば、一実施形態では、好ましいビットレートはビット／秒で指定され（例えば、３メガビット／秒（Ｍｂｐｓ））、ビデオシーケンスのフレームレートはフレーム／秒（ｆｐｓ）で指定される（例えば、６０ｆｐｓ、２４ｆｐｓ）。この実施形態では、制御ロジックは、好ましいビットレートをフレームレートで除算して、符号化されるビデオフレームの好ましいサイズを計算する。次に、エンコーダは、現在のビデオフレームを符号化するためのＱＰを、制御ロジックによって計算されたＱＰ値に設定する（ブロック５１５）。次に、エンコーダは、計算されたＱＰ値で現在のビデオフレームを符号化し、符号化した現在のビデオフレームをデコーダに伝送する（ブロック５２０）。ブロック５２０の後に、方法５００は終了する。

【0023】

図６を参照すると、符号化されるフレームの推定サイズを、複雑度指標に基づいて計算する方法６００の一実施形態が示されている。エンコーダに接続された又はエンコーダ内に組み込まれた制御ロジックは、以前のビデオフレームに関連する第１のパラメータに少なくとも基づいて、複雑度指標を計算する。ここで、複雑度指標は、以前のビデオフレームを符号化することの難易度を表す（ブロック６０５）。次に、制御ロジックは、複雑度指標に基づいて、及び、ビデオフレームの符号化に使用される所定のＱＰに基づいて、符号化されるビデオフレームの推定サイズを計算する（ブロック６１０）。ブロック６１０の後に、方法６００は終了する。

【0024】

図７を参照すると、ビデオフレームを符号化する際に用いるＱＰを求める方法７００の一実施形態が示されている。エンコーダに関連する制御ロジックは、所定のビデオフレームを符号化する第１のパスに関連する第１のパラメータに少なくとも基づいて、複雑度指標を計算する。ここで、複雑度指標は、所定のビデオフレームの第１のパスの符号化における難易度を表す（ブロック７０５）。次に、制御ロジックは、複雑度指標に基づいて、及び、最終的に符号化される所定のビデオフレームの好ましいサイズに基づいて、量子化パラメータ（ＱＰ）値を計算する（ブロック７１０）。最終的に符号化される所定のビデオフレームは、所定のビデオフレームの第２のパスの符号化の出力を指す。次に、エンコーダは、所定のビデオフレームの第２のパスの符号化のためのＱＰを、制御ロジックによって計算されたＱＰ値に設定する（ブロック７１５）。ブロック７１５の後に、方法７００は終了する。

【0025】

図８を参照すると、符号化されるフレームの推定サイズを、複雑度指標に基づいて計算する方法８００の一実施形態が示されている。エンコーダに結合された制御ロジックは、所定のビデオフレームを符号化する第１のパスに関連する第１のパラメータに少なくとも基づいて、複雑度指標を計算する。ここで、複雑度指標は、所定のビデオフレームの第１のパスの符号化における難易度を表す（ブロック８０５）。次に、制御ロジックは、複雑度指標に基づいて、及び、所定のビデオフレームの第１のパスの符号化に使用される所定のＱＰに基づいて、最終的に符号化される所定のビデオフレームの推定サイズを計算する（ブロック８１０）。ブロック８１０の後に、方法８００は終了する。

【0026】

様々な実施形態では、ソフトウェアアプリケーションのプログラム命令を使用して、本明細書に記載された方法及び／又はメカニズムを実施する。例えば、汎用プロセッサ又は専用プロセッサによって実行可能なプログラム命令が考えられる。様々な実施形態において、そのようなプログラム命令は、高水準プログラミング言語によって表すことができる。他の実施形態では、プログラム命令は、高水準プログラミング言語からバイナリ、中間又は他の形式にコンパイルされてもよい。或いは、ハードウェアの動作又は設計を記述するプログラム命令を書き込むことができる。このようなプログラム命令を、Ｃ等の高水準のプログラミング言語によって表すことができる。或いは、Ｖｅｒｉｌｏｇ等のハードウェア設計言語（ＨＤＬ）を使用することができる。様々な実施形態では、プログラム命令は、様々な非一時的なコンピュータ可読記憶媒体の何れかに記憶される。記憶媒体は、プログラム実行のためにプログラム命令をコンピューティングシステムに提供するために、使用中にコンピューティングシステムによってアクセス可能である。一般的に、このようなコンピューティングシステムは、少なくとも１つのメモリと、プログラム命令を実行することができる１つ以上のプロセッサと、を含む。

【0027】

上記の実施形態は、実施形態の非限定的な例に過ぎないことを強調しておきたい。上記の開示が十分に認識されると、当業者には多数の変形及び修正が明らかになるであろう。以下の特許請求の範囲は、このような変形及び修正の全てを包含すると解釈されることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】