特許 7265623 コンテンツ適応量子化強度及びビットレートモデリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-18

(45)【発行日】2023-04-26

(54)【発明の名称】コンテンツ適応量子化強度及びビットレートモデリング

(51)【国際特許分類】

   H04N 19/124 20140101AFI20230419BHJP

   H04N 19/146 20140101ALI20230419BHJP

   H04N 19/172 20140101ALI20230419BHJP

   H04N 19/192 20140101ALI20230419BHJP

   H04N 19/85 20140101ALI20230419BHJP

【ＦＩ】

H04N19/124

H04N19/146

H04N19/172

H04N19/192

H04N19/85

【請求項の数】 20

(21)【出願番号】P 2021520145

(86)(22)【出願日】2019-06-25

(65)【公表番号】

(43)【公表日】2022-01-13

(86)【国際出願番号】 IB2019055358

(87)【国際公開番号】W WO2020089702

(87)【国際公開日】2020-05-07

【審査請求日】2021-06-03

(31)【優先権主張番号】16/177,128

(32)【優先日】2018-10-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】508301087

【氏名又は名称】エーティーアイ・テクノロジーズ・ユーエルシー

【氏名又は名称原語表記】ＡＴＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ

【住所又は居所原語表記】Ｏｎｅ Ｃｏｍｍｅｒｃｅ Ｖａｌｌｅｙ Ｄｒｉｖｅ Ｅａｓｔ， Ｍａｒｋｈａｍ， Ｏｎｔａｒｉｏ， Ｌ３Ｔ ７Ｘ６ Ｃａｎａｄａ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】ジンボ チウ

(72)【発明者】

【氏名】ヤン リウ

(72)【発明者】

【氏名】イハブ アメール

(72)【発明者】

【氏名】レイ ジャン

(72)【発明者】

【氏名】エドワード エイ． ハロルド

(72)【発明者】

【氏名】ジキ ハオ

(72)【発明者】

【氏名】ジャオ ワン

(72)【発明者】

【氏名】ガボール シネス

(72)【発明者】

【氏名】ハイボー リウ

(72)【発明者】

【氏名】ボリス イバノビッチ

【審査官】田中 純一

(56)【参考文献】

【文献】特開平０６－３５０９８５（ＪＰ，Ａ）

【文献】特表２００８－５２３７２０（ＪＰ，Ａ）

【文献】特開２０１０－２５２０８３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０２６６０４７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００６／０１２６７２８（ＵＳ，Ａ１）

【文献】国際公開第２０１８／１３３７３４（ＷＯ，Ａ１）

【文献】特表２０２０－５０５８３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

システムであって、
異なる量子化パラメータ（ＱＰ）設定を使用した第１のビデオフレームの一部の複数の符号化に基づいて、フレームサイズのＱＰへのマッピングを生成するように構成されたプリエンコーダと、
エンコーダと、を備え、
前記エンコーダは、
好ましい符号化ビデオフレームサイズに基づいて、前記マッピングから所定のＱＰ値を決定することと、
符号化されるビデオフレームの少なくとも一部についてＱＰを前記所定のＱＰ値に設定することによって、符号化ビデオフレームを生成することであって、前記符号化ビデオフレームは、入力ビデオフレームを表す、ことと、
前記符号化ビデオフレームをデコーダに伝送して表示することと、
を行うように構成されている、
システム。

【請求項2】

前記プリエンコーダは、
第１のＱＰ設定を使用して、前記第１のビデオフレームの少なくとも一部の第１の符号化を実行することと、
前記第１の符号化の結果の第１のサイズをキャプチャすることと、
第２のＱＰ設定を使用して、前記第１のビデオフレームの少なくとも一部の第２の符号化を実行することと、
前記第２の符号化の結果の第２のサイズをキャプチャすることと、
前記第１のＱＰ設定及び前記第２のＱＰ設定と前記第１のサイズ及び前記第２のサイズとの間の関係に基づいて、フレームサイズのＱＰへのマッピングを生成することと、
を行うように構成されている、
請求項１のシステム。

【請求項3】

前記第１のビデオフレームの一部は、前記第１の符号化及び前記第２の符号化が実行される前にダウンスケーリングされる、
請求項２のシステム。

【請求項4】

前記エンコーダは、前記プリエンコーダによって生成されたマッピングに基づいて、前記第１のビデオフレームを符号化する場合に初期ＱＰをどのように設定するかを決定するように構成されている、
請求項２のシステム。

【請求項5】

前記マッピングは、フレームサイズとＱＰとの間の指数関数的な関係を定義する、
請求項１のシステム。

【請求項6】

前記入力ビデオフレームは、前記第１のビデオフレームに対応している、
請求項１のシステム。

【請求項7】

前記入力ビデオフレームは、ビデオシーケンスにおいて前記第１のビデオフレームに続く第２のビデオフレームに対応している、
請求項１のシステム。

【請求項8】

方法であって、
プリエンコーダが、異なる量子化パラメータ（ＱＰ）設定を使用した第１のビデオフレームの一部の複数の符号化に基づいて、フレームサイズのＱＰへのマッピングを生成することと、
エンコーダが、好ましい符号化ビデオフレームサイズに基づいて、前記マッピングから所定のＱＰ値を決定することと、
前記エンコーダが、符号化されるビデオフレームの少なくとも一部についてＱＰを前記所定のＱＰ値に設定することによって、符号化ビデオフレームを生成することであって、前記符号化ビデオフレームは、入力ビデオフレームを表す、ことと、
前記エンコーダが、前記符号化ビデオフレームをデコーダに伝送して表示することと、を含む、
方法。

【請求項9】

前記プリエンコーダが、第１のＱＰ設定を使用して、前記第１のビデオフレームの少なくとも一部の第１の符号化を実行することと、
前記プリエンコーダが、前記第１の符号化の結果の第１のサイズをキャプチャすることと、
前記プリエンコーダが、第２のＱＰ設定を使用して、前記第１のビデオフレームの少なくとも一部の第２の符号化を実行することと、
前記プリエンコーダが、前記第２の符号化の結果の第２のサイズをキャプチャすることと、
前記プリエンコーダが、前記第１のＱＰ設定及び前記第２のＱＰ設定と前記第１のサイズ及び前記第２のサイズとの間の関係に基づいて、フレームサイズのＱＰへのマッピングを生成することと、を含む、
請求項８の方法。

【請求項10】

前記第１のビデオフレームの一部は、前記第１の符号化及び前記第２の符号化が実行される前にダウンサンプリングされる、
請求項９の方法。

【請求項11】

前記エンコーダが、前記プリエンコーダによって生成されたマッピングに基づいて、前記第１のビデオフレームを符号化する場合に初期ＱＰをどのように設定するかを決定することを含む、
請求項９の方法。

【請求項12】

前記マッピングは、フレームサイズとＱＰとの間の指数関数的な関係を定義する、
請求項８の方法。

【請求項13】

前記入力ビデオフレームは、前記第１のビデオフレームに対応している、
請求項８の方法。

【請求項14】

前記入力ビデオフレームは、ビデオシーケンスにおいて前記第１のビデオフレームに続く第２のビデオフレームに対応している、
請求項８の方法。

【請求項15】

装置であって、
メモリと、
前記メモリに結合されたエンコーダと、を備え、
前記エンコーダは、
好ましい符号化ビデオフレームサイズに基づいて、マッピングから所定の量子化パラメータ（ＱＰ）値を決定することであって、前記マッピングは、２つ以上の事前符号化パスに基づいて、フレームのビットカウントとＱＰとの間の関係を指定する、ことと、
符号化されるビデオフレームの少なくとも一部についてＱＰを前記所定のＱＰ値に設定することによって、符号化ビデオフレームを生成することであって、前記符号化ビデオフレームは、入力ビデオフレームを表す、ことと、
前記符号化ビデオフレームをデコーダに伝送して表示することと、
を行うように構成されている、
装置。

【請求項16】

前記２つ以上の事前符号化パスは、前記２つ以上の事前符号化パスの前にダウンサンプリングされる第１のビデオフレームの一部に対して実行される、
請求項１５の装置。

【請求項17】

前記２つ以上の事前符号化パスは、前記２つ以上の事前符号化パスの前に前処理される第１のビデオフレームの一部に対して実行される、
請求項１５の装置。

【請求項18】

前記エンコーダは、前記マッピングに基づいて、ビデオフレームを符号化する場合に初期ＱＰをどのように設定するかを決定するように構成されている、
請求項１５の装置。

【請求項19】

前記２つ以上の事前符号化パスは、２つ以上の異なるＱＰ設定を使用して実行される、
請求項１５の装置。

【請求項20】

前記マッピングは、フレームサイズとＱＰとの間の指数関数的な関係を定義する、
請求項１５の装置。

【発明の詳細な説明】

【背景技術】

【0001】

（関連技術の説明）
様々なアプリケーションが、画像又はビデオコンテンツの符号化及び復号化を実行する。例えば、ビデオトランスコーディング、デスクトップ共有、クラウドゲーム、ゲーム観戦は、コンテンツの符号化及び復号化のサポートを含むアプリケーションの一部である。コンテンツの符号化方法を決定するパラメータの１つに、量子化パラメータ（ＱＰ）がある。Ｈ．２６４規格に準拠する方式等のように、様々なブロックベースのビデオ符号化方式では、ＱＰが、符号化処理中に保持されるディテール（detail）を調整する。ビデオフレーム毎又はフレームのブロック毎に選択されるＱＰは、符号化されたビデオフレームのサイズ又は符号化されたブロックのサイズと直接関連する。ＱＰ値を小さく選択すると、多くのディテールが保持されるが、符号化後に得られるサイズが大きくなる。ＱＰ値を大きく選択すると、多くのディテールが失われるが、符号化後に生成されるサイズが小さくなる。「量子化パラメータ」という用語は、より一般的には「量子化強度」とも呼ばれることに留意されたい。

【0002】

添付図面と併せて以下の説明を参照することによって、本明細書で説明する方法及びメカニズムの利点をより良く理解することができる。

【図面の簡単な説明】

【0003】

【図1】コンテンツを符号化及び復号化するシステムの一実施形態のブロック図である。

【図2】ビデオのフレームを符号化するサーバのソフトウェア構成要素の一実施形態のブロック図である。

【図3】符号化ロジックの一実施形態のブロック図である。

【図4】ＱＰをビットカウントにマッピングするグラフの一例である。

【図5】ターゲットビットカウントに一致するＱＰ値を決定するグラフの一実施形態である。

【図6】ビットサイズをＱＰにマッピングするためのマッピングを生成する方法の一実施形態を示す一般化されたフロー図である。

【図7】ビデオフレームを符号化する方法の一実施形態を示す一般化されたフロー図である。

【発明を実施するための形態】

【0004】

以下の説明では、本明細書に提示される方法及びメカニズムの十分な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、当業者は、様々な実施形態がこれらの具体的な詳細無しに実施され得ることを認識すべきである。場合によっては、本明細書に記載されるアプローチを曖昧にすることを回避するために、周知の構造、構成要素、信号、コンピュータプログラム命令及び技術が詳細に示されていない。説明を簡単且つ明確にするために、図面に示される要素が必ずしも縮尺通りに描かれていないことが理解されよう。例えば、いくつかの要素の寸法は、他の要素に対して誇張されている場合がある。

【0005】

符号化されたビデオフレームのビットサイズを量子化強度にマッピングするビデオ符号化モデルを生成及び実装するシステム、装置及び方法が本明細書に開示されている。一実施形態では、システムは、エンコーダと、プリエンコーダと、エンコーダ及びプリエンコーダに結合されたメモリと、を少なくとも含む。プリエンコーダは、入力ビデオフレームの少なくとも一部に対して複数の事前符号化パス（pre-encoding passes）を実行する。一実施形態では、入力ビデオフレームは、事前符号化パスの前に前処理される。各事前符号化パスは、異なる量子化強度設定を使用する。一実施形態では、量子化強度設定は、符号化処理中に使用される特定の量子化パラメータ（ＱＰ）を指す。プリエンコーダは、事前符号化パス毎に、入力ビデオフレームの符号化された部分（複数可）の出力ビットサイズをキャプチャする。プリエンコーダは、キャプチャされた出力ビットサイズを使用して、符号化されたビデオビットストリームのビットサイズを量子化強度にマッピングするためのモデルを生成する。

【0006】

エンコーダは、入力ビデオフレームの部分（複数可）を符号化する前に、モデルを使用して、指定されたビットサイズを対応する量子化強度にマッピングする。一実施形態では、エンコーダは、指定されたビットサイズをモデルに提供し、モデルは、指定されたビットサイズを生成する量子化強度値を出力する。次に、エンコーダは、所定のビット配分を満たすように、モデルが提供する量子化強度値を使用して、入力ビデオフレームの一部（複数可）を符号化する。一実施形態では、モデルによって提供される量子化強度値を使用することにより、エンコーダは、フレーム中に、より少ない量子化強度調整を行うことができる。これにより、符号化されたビデオビットストリームの表示品質が向上する。

【0007】

図１を参照すると、コンテンツを符号化及び復号化するためのシステム１００の一実施形態のブロック図が示されている。システム１００は、サーバ１０５と、ネットワーク１１０と、クライアント１１５と、ディスプレイ１２０と、を含む。他の実施形態では、システム１００は、ネットワーク１１０を介してサーバ１０５に接続された複数のクライアントを含み、複数のクライアントは、サーバ１０５によって生成された同じビットストリーム又は異なるビットストリームを受信する。また、システム１００は、複数のクライアントのために複数のビットストリームを生成する複数のサーバ１０５を含むことができる。

【0008】

一実施形態では、システム１００は、ビデオコンテンツの符号化及び復号化を実施する。様々な実施形態では、ビデオゲームアプリケーション、クラウドゲームアプリケーション、仮想デスクトップインフラストラクチャアプリケーション又は画面共有アプリケーション等の様々なアプリケーションが、システム１００によって実施される。他の実施形態では、システム１００は、他のタイプのアプリケーションを実行する。一実施形態では、サーバ１０５は、ビデオ又は画像フレームをレンダリングし、レンダリングされたフレームをビットストリームに符号化し、符号化されたビットストリームを、ネットワーク１１０を介してクライアント１１５に伝送する。クライアント１１５は、符号化されたビットストリームを復号し、ディスプレイ１２０又はディスプレイコンポジタに送られるビデオ又は画像フレームを生成する。

【0009】

量子化は、特定のビデオアプリケーションの帯域幅要件を満たすように符号化されたビデオストリームのサイズを制御するために、ビデオ標準（例えば、高効率ビデオコーディング（ＨＥＶＣ）標準、高度なビデオコーディング（ＡＶＣ）等）で使用されるメカニズムである。これにより、システム１００は、符号化されたビデオストリームを、一貫した方法でサーバ１０５からクライアント１１５に送信することができる。符号化されたビデオストリームのビットレートを制御しながら、許容可能な画質を提供することは困難である。一実施形態では、各ビデオフレームの好ましいビットカウントは、符号化されたビデオストリームのビットレートをビデオシーケンスのフレームレートで除算したものに等しい。「ビットカウント」という用語は、本明細書において「ビットサイズ」という用語と同義に使用されることに留意されたい。一実施形態では、サーバ１０５は、入力ビデオシーケンスを符号化するために使用される量子化パラメータ（ＱＰ）を調整して、符号化されたビデオストリームの各フレームのビットカウントを制御する。この実施形態では、サーバ１０５は、ビットカウントをＱＰにマッピングするモデルを生成する。実施形態に応じて、サーバ１０５は、所望のビットカウントの指標を受信するか、ビデオフレーム毎に所望のビットカウントを計算する。サーバ１０５は、各ビデオフレームの所望のビットカウントを知ると、モデルを使用して、所望のビットカウントを特定のＱＰ値にマッピングする。次に、サーバ１０５は、所定のビデオフレームを符号化する場合に、ＱＰを、この特定のＱＰ値に設定する。一実施形態では、サーバ１０５は、各ビデオフレーム（又は、各ビデオフレームの一部）について異なるモデルを生成する。他の実施形態では、サーバ１０５は、複数のビデオフレームに対して所定のモデルを再利用する。

【0010】

ネットワーク１１０は、無線接続、直接ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、イントラネット、インターネット、ケーブルネットワーク、パケット交換ネットワーク、光ファイバネットワーク、ルータ、ストレージエリアネットワーク、若しくは、他のタイプのネットワークを含む、任意のタイプのネットワーク又はネットワークの組み合わせを表す。ＬＡＮの例としては、イーサネット（登録商標）ネットワーク、ファイバ分散データインタフェース（ＦＤＤＩ）ネットワーク、トークンリングネットワーク等が挙げられる。様々な実施形態では、ネットワーク１１０は、リモートダイレクトメモリアクセス（ＲＤＭＡ）ハードウェア及び／若しくはソフトウェア、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）ハードウェア及び／若しくはソフトウェア、ルータ、リピータ、スイッチ、グリッド、並びに／又は、他の構成要素を含む。

【0011】

サーバ１０５は、ビデオ／画像フレームをレンダリングし、ビットカウントをＱＰにマッピングするモデルを生成し、及び／若しくは、モデルによって提供されるＱＰを使用してフレームをビットストリームに符号化するためのソフトウェア並びに／又はハードウェアの任意の組み合わせを含む。一実施形態では、サーバ１０５は、１つ以上のサーバの１つ以上のプロセッサ上で実行される１つ以上のソフトウェアアプリケーションを含む。また、サーバ１０５は、ネットワーク通信機能、１つ以上の入力／出力デバイス、及び／又は、他の構成要素を含む。サーバ１０５のプロセッサ（複数可）は、任意の数及びタイプのプロセッサ（例えば、グラフィックス処理装置（ＧＰＵ）、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）等）を含む。プロセッサ（複数可）は、プロセッサ（複数可）によって実行可能なプログラム命令を記憶する１つ以上のメモリデバイスに結合されている。同様に、クライアント１１５は、ビットストリームを復号し、フレームをディスプレイ１２０に送るためのソフトウェア及び／又はハードウェアの任意の組み合わせを含む。一実施形態では、クライアント１１５は、１つ以上のコンピューティングデバイスの１つ以上のプロセッサで実行される１つ以上のソフトウェアアプリケーションを含む。様々な実施形態では、クライアント１１５は、コンピューティングデバイス、ゲームコンソール、モバイルデバイス、ストリーミングメディアプレイヤ又は他のタイプのデバイスである。

【0012】

図２を参照すると、ビデオのフレームを符号化するためのサーバ２００のソフトウェア構成要素の一実施形態のブロック図が示されている。なお、他の実施形態では、サーバ２００は、他の構成要素を含むこと、及び／又は、図２に示す以外の他の適切な方法で構成されることに留意されたい。ビデオの新しいフレーム２０５は、サーバ２００によって受信され、プリエンコーダ２２０及びエンコーダ２３０に提供される。プリエンコーダ２２０及びエンコーダ２３０の各々は、ハードウェア及び／又はソフトウェアの任意の適切な組み合わせを使用して実装される。プリエンコーダ２２０は、新しいフレーム２０５を符号化する場合にエンコーダ２３０によって使用される量子化パラメータ（ＱＰ）２２５を生成する。一実施形態では、プリエンコーダ２２０は、モデル２１５に基づいてＱＰ２２５を生成する。一実施形態では、モデル２１５は、符号化されたフレームの特定のビットレート又はビットサイズを実現するために使用されるターゲットＱＰ２２５を識別する。「符号化されたフレーム」という用語は、「圧縮されたフレーム」とも呼ばれることに留意されたい。

【0013】

一実施形態では、プリエンコーダ２２０は、前処理されたフレーム２１０を受信し、前処理されたフレーム２１０に対して１つ以上の動作を実行する。別の実施形態では、プリエンコーダ２２０は、新しいフレーム２０５から、前処理されたフレーム２１０を生成する。一実施形態では、前処理されたフレーム２１０は、新しいフレーム２０５のダウンサンプリングされたバージョンである。他の実施形態では、前処理されたフレーム２１０は、ダウンサンプリング以外の、又は、ダウンサンプリングに加えて、１つ以上の他のタイプの動作（例えば、フィルタリング）が新しいフレーム２０５に対して実行された後の新しいフレーム２０５を表す。一実施形態では、前処理されたフレーム２１０は、メモリ２４０に記憶される。メモリ２４０は、符号化処理に関連するデータ及び／又は命令を記憶するための任意の数及びタイプのメモリ又はキャッシュデバイス（複数可）を表す。実施形態に応じて、前処理されたフレーム２１０は、元の新しいフレーム２０５の全体又はその一部に対応する。

【0014】

一実施形態では、プリエンコーダ２２０は、モデル２１５を生成するために、前処理されたフレーム２１０に対して複数の事前符号化パスを実行する。例えば、一実施形態では、プリエンコーダ２２０は、第１のＱＰ設定を用いて、前処理されたフレーム２１０に対して第１の事前符号化パスを実行し、第１のＱＰ設定の出力フレームのビットサイズを決定する。また、この実施形態では、プリエンコーダ２２０は、第２のＱＰ設定を用いて、前処理されたフレーム２１０に対して第２の事前符号化パスを実行し、第２のＱＰ設定の結果として得られる符号化されたフレームのビットサイズを決定する。ここでは、第２のＱＰ設定が、第１のＱＰ設定と異なるものと想定する。また、プリエンコーダ２２０は、他のＱＰ設定を用いて、追加の事前符号化パスを実行することもできる。異なるＱＰ設定での異なるパスの符号化されたフレームのビットサイズをキャプチャした後に、プリエンコーダ２２０は、モデル２１５を生成して、ＱＰ設定をビットサイズにマッピングする。次に、所望のビットサイズがモデル２１５に提供され、対応するＱＰ２２５が生成される。

【0015】

エンコーダ２３０は、新しいフレーム２０５を受信し、プリエンコーダ２２０によって生成されたＱＰ２２５に等しいＱＰ値を使用して、新しいフレーム２０５を符号化する。一実施形態では、エンコーダ２３０が新しいフレーム２０５の符号化を開始すると、エンコーダは、開始ＱＰ値を、モデル２１５によって生成されたＱＰ２２５と等しい値に設定する。エンコーダ２３０が、生成されている符号化されたデータの量がターゲットビットサイズから大きくずれていると判別した場合、新しいフレーム２０５の符号化中に開始ＱＰ値を調整することができる。エンコーダ２３０の出力は、１つ以上のクライアント（例えば、図１のクライアント１１５）に伝送され及び／又はメモリに記憶される、符号化されたフレーム２３５である。一実施形態では、プリエンコーダ２２０は、新しいフレーム２０５毎に新しいモデル２１５及びＱＰ２２５を生成する。別の実施形態では、プリエンコーダ２２０は、１つ以上の後続のフレームのために、モデル２１５及びＱＰ２２５を再利用する。さらなる実施形態では、プリエンコーダ２２０は、新しいフレーム２０５の一部からモデル２１５を生成し、次に、モデル２１５を使用して、新しいフレーム２０５の他の部分の符号化に使用されるＱＰ２２５を生成する。さらなる実施形態では、プリエンコーダ２２０は、新しいフレーム２０５について複数のモデル２１５を生成し、各モデル２１５は、新しいフレーム２０５の異なる部分を表す。この実施形態では、プリエンコーダ２２０は、新しいフレーム２０５の異なる部分を符号化するために使用される複数のＱＰ値２２５を生成する。一般的に、プリエンコーダ２２０は、結果として得られる符号化されたビットストリームに対して選択されたビットレートに基づいて、新しいフレーム２０５を符号化するためのＱＰ値２２５を生成する。適切な開始ＱＰ値２２５を選択することによって、エンコーダ２３０は、通常、新しいフレーム２０５の符号化処理の際に、より少ないＱＰ調整を行う。これは、結果として得られる符号化されたフレーム２３５の表示品質を向上するのに役立つ。

【0016】

図３を参照すると、符号化ロジック３００の一実施形態のブロック図が示されている。元の入力ビデオフレームは、エンコーダ３０５及びダウンスケール部３１０によって受信される。一実施形態では、元の入力ビデオフレームは、ＹＵＶ色空間内にある。他の実施形態では、元の入力ビデオフレームは、他の色空間で符号化される。エンコーダ３０５は、入力ビデオフレームを符号化し、メモリ３１５に伝送される符号化されたビットストリームを生成する。メモリ３１５は、任意の数及びタイプのメモリデバイスを表す。一実施形態では、符号化されたビットストリームは、高効率ビデオコーディング（ＨＥＶＣ）標準に従ってフォーマットされる。一実施形態では、符号化されたビットストリームは、高度なビデオコーディング（ＡＶＣ）規格に従ってフォーマットされる。他の実施形態では、符号化されたビットストリームは、他のビデオ符号化規格に従ってフォーマットされる。

【0017】

ダウンスケール部３１０は、元の入力ビデオフレームからダウンスケールされたフレームを生成し、ダウンスケールされたフレームをメモリ３１５に伝送する。ダウンスケールされたフレームは、式３３０に示される関係により、ビットカウントをＱＰにマッピングするためのモデルを生成するために使用することができる。式３３０に示すように、所定のビデオフレームについて、所定のビデオフレームの低解像度バージョンのビットカウントと、所定のビデオフレームの高解像度バージョンのビットカウントと、の間の比率は、所定のＱＰに対して一定である。したがって、ダウンスケールされたフレームは、異なるＱＰでプリエンコード部３２０によって処理され、結果として得られるビットカウント間の関係は、元のフレームを符号化するために使用された異なるＱＰのビットカウント間の関係を表す。他の実施形態では、ダウンスケール部３１０は、ダウンスケールに加えて、又は、ダウンスケール以外に、入力ビデオフレームに対して他のタイプのフィルタリング及び／又は前処理を実施する。例えば、他の実施形態では、ダウンスケール部３１０は、ノイズ除去、グレースケール変換、及び／又は、他のタイプの前処理ステップを実行する。

【0018】

ダウンスケールされたフレームは、プリエンコード部３２０に伝送される。一実施形態では、プリエンコード部３２０は、異なるＱＰを使用して、ダウンスケールされたフレームの少なくとも２つの別個の符号化を実行する。いくつかの実施形態では、プリエンコード部３２０は、異なるＱＰを使用して、ダウンスケールされたフレームの一部の少なくとも２つの別個の符号化を実行する。次に、プリエンコード部３２０は、符号化されたフレームのサイズ（又は、フレームの符号化された部分のサイズ）に基づいて、出力ビットサイズをＱＰにマッピングするモデルを作成する。このモデルの統計情報は、「符号化統計情報」とラベル付けされ、メモリ３１５に記憶される。符号化統計情報もエンコーダ３０５に伝送される。エンコーダ３０５は、入力ビデオフレームに対して何れのＱＰを選択するかを決定する際に、符号化統計情報を使用して、結果として得られる符号化されたフレームに対する所望のビットサイズを満たす。一実施形態では、符号化されたフレームの各々についての所望のビットサイズは、エンコーダ３０５によって生成された符号化されたビットストリームの所望のビットレートに基づいて決定される。例えば、一実施形態では、所望のビットレートは、ビット／秒（例えば、３メガビット／秒（Ｍｂｐｓ））で指定され、ビデオシーケンスのフレームレートは、フレーム／秒（ｆｐｓ）（例えば、６０ｆｐｓ、２４ｆｐｓ）で指定される。この実施形態では、エンコーダ３０５は、所望のビットレートをフレームレートで除算して、符号化されたフレームの各々について所望のビットサイズを計算する。

【0019】

他の実施形態では、符号化ロジック３００は、所定のビットバジェットを満たすようにビデオデータを符号化するための最適な量子化強度を選択するために、上記の技術の変形を実行することに留意されたい。例えば、別の実施形態では、プリエンコード部３２０は、異なる量子化強度設定を有するフレームの一部を符号化する。次に、プリエンコード部３２０は、符号化された部分のビットサイズを、異なる量子化強度設定でキャプチャする。さらなる実施形態では、プリエンコード部３２０は、異なる量子化強度設定で２つ以上のフレームを符号化し、次に、対応する符号化されたフレームのビットサイズをキャプチャする。

【0020】

図４を参照すると、ビットカウントをＱＰにマッピングするグラフ４００の一例が示されている。プロット４１０は、特定のフレーム、フレームの一部、又は、ビデオシーケンスの２つ以上のフレームを符号化するために使用されるＱＰの異なる値のビットカウントを表す。一実施形態では、ビットカウントとＱＰとの関係は、ビットカウント＝α２^β×ＱＰという式を使用してモデル化される。一実施形態では、α及びβの値は、実験によって決定される。例えば、一実施形態では、α及びβの値は、２つ以上の異なる事前符号化パスで２つ以上の異なるＱＰを使用して、フレームの一部又は全体をプリ符号化することによって決定される。フレームの符号化された部分又は全体のサイズがキャプチャされ、ＱＰとキャプチャされたビットサイズとを使用して、上記の式のα及びβの値が求められる。次に、α及びβの値を使用して、ビットカウントとＱＰとの関係を決定するモデルを生成する。エンコーダは、所定のビデオフレームの所望のビットカウントを決定すると、モデルを使用して、所望のビットカウントを特定のＱＰ値にマッピングする。次に、エンコーダは、所定のビデオフレームを符号化する場合に特定のＱＰ値を使用して、所望のビットカウントを有する符号化されたビデオフレームを生成する。

【0021】

図５を参照すると、ターゲットビットカウントに一致するＱＰ値を決定するためのグラフ５００の一実施形態が示されている。一実施形態では、制御ロジック又はプリエンコード部は、異なるＱＰ値（ＱＰ１及びＱＰ２）を有するビデオフレームの２つの事前符号化パスを実施する。制御ロジックは、これらの２つの事前符号化パスのビットカウントをキャプチャする。他の実施形態では、制御ロジックは、異なるＱＰ値を有するビデオフレームの２つ以上の事前符号化パスを実施する。ビットカウントｂ１は、ＱＰ１を有する事前符号化パスに対応し、プロット５０５では５１０とラベル付けされている。ビットカウントｂ２は、ＱＰ２を有する事前符号化パスに対応し、プロット５０５では５１５とラベル付けされている。ＱＰ１及びＱＰ２を使用して事前符号化パスのビットカウントｂ１，ｂ２の各々をキャプチャした後に、制御ロジックは、プロット５０５を生成して、ビットカウントとＱＰとの関係をマッピングする。次に、所望のビットカウントターゲット５２０が決定されると、制御ロジックは、プロット５０５において、ターゲット５２０をＱＰ３のＱＰ値にマッピングする。次に、エンコーダは、ビデオフレーム及び／又は１つ以上の後続のビデオフレームを符号化する場合に、ＱＰをＱＰ３値に設定する。或いは、エンコーダは、ビデオフレームの１つ以上の部分（例えば、ブロック、コーディングユニット）及び／又は他のビデオフレームの１つ以上の部分を符号化する場合に、ＱＰ３値を使用する。

【0022】

図６を参照すると、ビットサイズを量子化パラメータ（ＱＰ）にマッピングするモデルを生成する方法６００の一実施形態が示されている。説明のために、本実施形態及び図７のステップを順に示す。しかしながら、説明する方法の様々な実施形態では、説明する要素の１つ以上は、図示された順序と異なる順序で同時に実行されてもよいし、完全に省略されてもよいことに留意されたい。他の追加の要素も、必要に応じて実行される。本明細書に記載される様々なシステム又は装置の何れも、方法６００を実施するように構成されている。

【0023】

プリエンコーダは、第１の量子化パラメータ（ＱＰ）設定を使用して、第１のビデオフレームの少なくとも一部の第１の符号化を実行する（ブロック６０５）。次に、プリエンコーダは、第１のビデオフレームの符号化された部分の第１のビットサイズをキャプチャする（ブロック６１０）。「ビットサイズ」という用語は、本明細書では「ビットカウント」とも呼ばれることに留意されたい。次に、プリエンコーダは、第２のＱＰ設定を使用して、第１のビデオフレームの少なくとも一部の第２の符号化を実行する（ブロック６１５）。ここでは、第２のＱＰ設定が第１のＱＰ設定と異なると想定する。第１及び第２の符号化は、「事前符号化」とも呼ばれることに留意されたい。次に、プリエンコーダは、第１のビデオフレームの符号化された部分の第２のビットサイズをキャプチャする（ブロック６２０）。次に、プリエンコーダは、第１及び第２のＱＰと第１及び第２のビットサイズとの間の関係に基づいて、ビットサイズをＱＰにマッピングするためのモデルを生成する（ブロック６２５）。ブロック６２５の後に、方法６００は終了する。「モデル」は、本明細書では「マッピング」とも呼ばれることに留意されたい。一実施形態では、モデルは、ビットサイズ＝α２^β×ＱＰという式におけるα及びβの値を求めることによって生成される。例えば、α及びβの値は、第１及び第２のＱＰをそれぞれ使用する第１及び第２の符号化によって生成された第１及び第２のビットサイズを使用して求められる。他の実施形態では、モデルは、他の技術を使用して生成される。

【0024】

いくつかの実施形態では、プリエンコーダは、２つ以上の異なるＱＰ設定を有する２つ以上の異なる符号化を実行する。次に、プリエンコーダは、２つ以上の異なるＱＰ設定（及び、対応するビットサイズ）を使用して、ＱＰ対ビットサイズのモデルを生成する。方法６００は、実施形態に応じて、定期的又は周期的に実施することができることに留意されたい。一実施形態では、方法６００は、所定のビデオフレームの各々の部分に対して実施される。別の実施形態では、方法６００は、ビデオストリームのビデオフレーム毎に実施される。さらなる実施形態では、方法６００は、Ｎ個のビデオフレーム毎に１回実施され、Ｎは、１より大きい正の整数である。方法６００が実施される頻度は、１つ以上の要因に基づいてこれらの実施例の間で交互に行うことができる。他の実施形態では、方法６００の後続の反復は、他のスケジュールに従って実施される。

【0025】

図７を参照すると、ビデオフレームを符号化する方法の一実施形態が示されている。エンコーダは、符号化されるビデオフレームを受信する（ブロック７０５）。エンコーダは、ビデオフレームの好ましい符号化ビデオフレームサイズを決定する（ブロック７１０）。実施形態に応じて、エンコーダは、別の処理ユニットから好ましい符号化ビデオフレームサイズを受信し、エンコーダは、レジスタ又は他のメモリ位置から、好ましい符号化ビデオフレームサイズを取得し、エンコーダは、符号化ビットストリームのターゲットビットレートに基づいて、好ましい符号化ビデオフレームサイズを計算し、又は、エンコーダは、他の方法で、好ましい符号化ビデオフレームサイズを決定する。

【0026】

エンコーダは、符号化ビデオフレームサイズとＱＰとの間のマッピングに基づいて、受信したビデオフレームを符号化するために選択されるＱＰを決定する（ブロック７１５）。ビットサイズをＱＰにマッピングするマッピングを生成する方法の一例は、（図６の）方法６００に関して上述されている。次に、エンコーダは、ＱＰを、好ましい符号化ビデオフレームサイズのモデルによって提供されるＱＰ値に設定することによって、符号化ビデオフレームを生成し、符号化ビデオフレームは、受信したビデオフレームを表す（ブロック７２０）。実施形態に応じて、マッピングは、様々な方法で実施される。一実施形態では、マッピングは、ソフトウェアアプリケーションによって直接設定される。別の実施形態では、マッピングは、複数の実験を行うことによって得られるルックアップテーブルプロセスとして実施される。さらなる実施形態では、マッピングは、刺激アプライヤ（stimuli applier）がシステムを所望の結果（例えば、好ましいビットレート）に近づけるかどうかをチェックする閉ループ制御方法として実施される。他の実施形態では、マッピングは、機械学習技術、ニューラルネットワーク、回帰モデル、又は、品質メトリック（例えば、ピーク信号対雑音比（ＰＳＮＲ）、構造類似性（ＳＳＩＭ）インデックス、ビデオマルチメソッド評価融合（ＶＭＡＦ）等）を使用する他のタイプのモデルを使用して実施され、知覚品質に影響を与える設定を最適化する。

【0027】

ブロック７２０の後に、エンコーダは、符号化ビデオフレームを、デコーダに伝送して表示する（ブロック７２５）。ブロック７２５の後に、方法７００は終了する。なお、方法７００は、エンコーダによって受信されたビデオフレーム毎に繰り返すことができる。マッピングは、後続のビデオフレームの各部分、後続のビデオフレーム毎、又は、２つ以上のビデオフレームが符号化された後に更新することができることに留意されたい。

【0028】

様々な実施形態では、ソフトウェアアプリケーションのプログラム命令を使用して、本明細書に記載された方法及び／又はメカニズムを実施する。例えば、汎用プロセッサ又は専用プロセッサによって実行可能なプログラム命令が考えられる。様々な実施形態において、そのようなプログラム命令は、高水準プログラミング言語によって表すことができる。他の実施形態では、プログラム命令は、高水準プログラミング言語からバイナリ、中間又は他の形式にコンパイルされてもよい。或いは、ハードウェアの動作又は設計を記述するプログラム命令を書き込むことができる。このようなプログラム命令を、Ｃ等の高水準のプログラミング言語によって表すことができる。或いは、Ｖｅｒｉｌｏｇ等のハードウェア設計言語（ＨＤＬ）を使用することができる。様々な実施形態では、プログラム命令は、様々な非一時的なコンピュータ可読記憶媒体の何れかに記憶される。記憶媒体は、プログラム実行のためにプログラム命令をコンピューティングシステムに提供するために、使用中にコンピューティングシステムによってアクセス可能である。一般的に、このようなコンピューティングシステムは、少なくとも１つのメモリと、プログラム命令を実行することができる１つ以上のプロセッサと、を含む。

【0029】

上記の実施形態は、実施形態の非限定的な例に過ぎないことを強調しておきたい。上記の開示が十分に認識されると、当業者には多数の変形及び修正が明らかになるであろう。以下の特許請求の範囲は、このような変形及び修正の全てを包含すると解釈されることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】