特許 5770476 ビデオ符号化に於いてレート制御を正確にする方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5770476

(24)【登録日】2015年7月3日

(45)【発行日】2015年8月26日

(54)【発明の名称】ビデオ符号化に於いてレート制御を正確にする方法及び装置

(51)【国際特許分類】

   H04N 19/115 20140101AFI20150806BHJP

   H04N 19/136 20140101ALI20150806BHJP

   H04N 19/172 20140101ALI20150806BHJP

   H04N 19/192 20140101ALI20150806BHJP

   H04N 19/503 20140101ALI20150806BHJP

   H04N 19/51 20140101ALI20150806BHJP

   H04N 19/593 20140101ALI20150806BHJP

   H04N 19/60 20140101ALI20150806BHJP

   H04N 19/61 20140101ALI20150806BHJP

   H04N 19/82 20140101ALI20150806BHJP

   H04N 19/91 20140101ALI20150806BHJP

【ＦＩ】

   H04N19/115

   H04N19/136

   H04N19/172

   H04N19/192

   H04N19/503

   H04N19/51

   H04N19/593

   H04N19/60

   H04N19/61

   H04N19/82

   H04N19/91

【請求項の数】10

【全頁数】19

(21)【出願番号】特願2010-543129(P2010-543129)

(86)(22)【出願日】2009年1月15日

(65)【公表番号】特表2011-510563(P2011-510563A)

(43)【公表日】2011年3月31日

(86)【国際出願番号】US2009000225

(87)【国際公開番号】WO2009091548

(87)【国際公開日】20090723

【審査請求日】2011年12月6日

(31)【優先権主張番号】61/021,687

(32)【優先日】2008年1月17日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】リウ，ヤリ

(72)【発明者】

【氏名】シユイ，チエン

(72)【発明者】

【氏名】ルウ，シヤオアン

(72)【発明者】

【氏名】ゴミラ，クリステイーナ

【審査官】 畑中 高行

(56)【参考文献】

【文献】 特表２００１−５１８２４７（ＪＰ，Ａ）

【文献】 特開２００１−０６９５１１（ＪＰ，Ａ）

【文献】 特開２００６−１５７８８１（ＪＰ，Ａ）

【文献】 特開２００６−０６７３０２（ＪＰ，Ａ）

【文献】 特開２００２−１５２７３４（ＪＰ，Ａ）

【文献】 特開２００６−３３３４４４（ＪＰ，Ａ）

【文献】 特表２０１０−５４１４６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

あるピクチャの画像データを、レート制御を用いて１回の符号化パスで符号化するビデオ符号器を含む装置であって、
前記レート制御は、量子化ステップ・サイズ値と丸めオフセット値とを設定することと、前記量子化ステップ・サイズ値と前記丸めオフセット値を改良することとを含み、
前記量子化ステップ・サイズ値と前記丸めオフセット値は、前記量子化ステップ・サイズ値と前記丸めオフセット値のうちの少なくとも一方を、初めに推定値として設定し、前記量子化ステップ・サイズ値と前記丸めオフセット値のうちの他方を、前記推定値に基づいて設定することによって改良され、前記推定値は前記ピクチャの目標ビット数をモデル化することに基づき、前記ピクチャの前記画像データは、前記改良された量子化ステップ・サイズ値と前記改良された丸めオフセット値とに応じて符号化される、前記装置。

【請求項2】

請求項１記載の装置であって、前記丸めオフセット値が、初めに前記推定値として設定され、前記推定値が前記レート制御についての目標ビット数と前記丸めオフセットとの間の対数関係に基づいている、装置。

【請求項3】

請求項１記載の装置であって、前記レート制御が固定ビット・レート用途と可変ビット・レート用途のうちの少なくとも一方に適用される、装置。

【請求項4】

請求項１記載の装置であって、前記ビデオ符号器が、国際標準化機構／国際電気標準会議のムービング・ピクチャ・エキパーツ・グループ−４のパート１０のアドバンスト・ビデオ・コーディング規格／国際電気通信連合の電気通信標準化部門のＨ．２６４の勧告に準拠する合成ビットストリームに於ける前記画像データを符号化する、装置。

【請求項5】

請求項１記載の装置であって、前記レート制御用の各レート制御パラメータが、ρ領域レート・モデル、ＴＭ５レート・モデル、及び、ＴＭＮ８レート・モデルのうちの少なくとも１つに基づいている、装置。

【請求項6】

あるピクチャの画像データを、レート制御を用いて１回の符号化パスで符号化することを含む方法であって、前記レート制御には量子化ステップ・サイズ値と丸めオフセット値とを設定することと、前記ピクチャの前記量子化ステップ・サイズ値と前記丸めオフセット値を改良することと、が含まれており、前記量子化ステップ・サイズ値と前記丸めオフセット値は、前記量子化ステップ・サイズ値と前記丸めオフセット値のうちの少なくとも一方を、初めに推定値として設定し、前記量子化ステップ・サイズ値と前記丸めオフセット値のうちの他方を、前記推定値に基づいて設定することによって改良され、前記推定値は前記ピクチャの目標ビット数をモデル化することに基づき、前記ピクチャの前記画像データが、前記改良された量子化ステップ・サイズ値と前記改良された丸めオフセット値とに応じて符号化される、前記方法。

【請求項7】

請求項６記載の方法であって、前記丸めオフセット値が、初めに前記推定値として設定され、前記推定値が前記レート制御についての目標ビット数と前記丸めオフセットとの間の対数関係に基づいている、方法。

【請求項8】

請求項６記載の方法であって、前記レート制御が固定ビット・レート用途と可変ビット・レート用途のうちの少なくとも一方に適用される、方法。

【請求項9】

請求項６記載の方法であって、前記符号化に於いて、国際標準化機構／国際電気標準会議のムービング・ピクチャ・エキパーツ・グループ−４のパート１０のアドバンスト・ビデオ・コーディング規格／国際電気通信連合の電気通信標準化部門のＨ．２６４の勧告に準拠する合成ビットストリームに於ける前記画像データを符号化する、方法。

【請求項10】

請求項６記載の方法であって、前記レート制御用の各レート制御パラメータが、ρ領域レート・モデル、ＴＭ５レート・モデル、及び、ＴＭＮ８レート・モデルのうちの少なくとも１つに基づいている、方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願のクロス・リファレンス）
この出願は、２００８年１月１７日に出願された米国仮出願第６１／０２１６８７（代理人整理番号ＰＵ０８０００９）の権利を主張し、その全文をここに引用して援用する。

【0002】

本原理は、概してビデオ符号化に関し、更に詳しくは、ビデオ符号化に於いてレート制御を正確にする方法及び装置に関する。

【背景技術】

【0003】

ビデオ符号化を適用する殆どの場合、符号器が所定の目標ビット・レートで入力ビデオを圧縮する必要がある。それを達成する為に、符号器はレート制御システムを利用している。あるレート制御システムでは、入力ビデオ供給源に於いて各々のピクチャに所定のビット数を割り当てて、各符号化パラメータをこの割り当てられたビット数と整合するように調整している。レート制御システムの性能は、目標ビット・レートに適合する精度と圧縮ビデオの視覚品質とによって評価される。例えば、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）のムービング・ピクチャ・エキパーツ・グループ−２（ＭＰＥＧ−２）規格、ＩＳＯ／ＩＥＣのムービング・ピクチャ・エキパーツ・グループ−４（ＭＰＥＧ−４）パート１０のアドバンスト・ビデオ・コーディング（ＡＶＣ）規格／国際電気通信連合の電気通信標準化部門（ＩＴＵ−Ｔ）のＨ．２６４の勧告（以下、「ＭＰＥＧ−４ＡＶＣ規格」という）、及び、ソサイエティ・オブ・モーション・ピクチャ・アンド・テレビジョン・エンジニアズ（ＳＭＰＴＥ）ビデオ・コーデック−１規格（以下、「ＶＣ−１規格」という）のようなビデオ符号化規格では、例えば、量子化ステップ・サイズ、丸めオフセット、及び、量子化マトリクスのような幾つかの量子化パラメータがビット・レートに影響を及ぼし得る。

【0004】

次に、ＭＰＥＧ−４ＡＶＣ規格に従うビデオ量子化処理の一例を説明する。数学的に説明すると、符号器に於いて、被変換係数は、次の如く量子化される。

【数1】

ここで、Ｗは被変換係数、Ｚは被変換係数が量子化された量子化レベル、ｑは量子化ステップ・サイズ、及び、ｓは丸めオフセットを表している。ファンクション

はある値を最も近い整数に丸め、及び、ファンクションｓｎｇ（・）は信号の符号を戻す。量子化マトリクスを適用する場合、各係数は、先ず、符号器に於ける量子化処理の前に基準化される。０に量子化されるＷの範囲はデッドゾーンと呼ばれている。この特定のケースでは、デッドゾーンはΔ = 2 × (1 - s) × qである。復号器に於いて、量子化レベルＺは、信号Ｗ’に復元される。これは、逆量子化と呼ばれ、数学的には次の如く表現される。

【数2】

【0005】

レート制御アルゴリズムは、主に各量子化パラメータを調整して、目標のビット数を得る。レート制御が正確であると見なされるのは、ある時間間隔の間に使用されるビット数が、その時間間隔の間、割り当てられたビット数に近いか、或いは、等しい場合である。レート制御の精度を測定するのに使用される具体的な時間間隔は、用途に応じて規定される。ある用途では、ビット・レートは、ピクチャ・レベルで正確であることが望まれる。放送のような別の用途では、ビット・レートは、チャンネル帯域幅の制約に因り、数フレームに亘って正確である必要がある。更に、デジタル・ビデオ・ディスク（ＤＶＤ）オーサリングのような別の用途では、ビット・レートの精度は、シーケンス全体について測定される場合が多く、動画全体が消費するビット数が要求条件を満たす場合に正確であると見なされる。

【0006】

既存のレート制御アルゴリズムは、通常、丸めオフセットと量子化マトリクスとが一定であることを前提としており、ただ量子化ステップ・サイズを調整するのみである。量子化ステップ・サイズは、限られた数の選択肢しか持たない。量子化ステップ・サイズは量子化インデックスによって表され、該量子化インデックスは、符号化ビットストリーム内に埋め込まれて、復号器に伝送されて、ビデオの復元に使用される。選択すべき量子化ステップ・サイズの数が限られているので、既存のレート制御アルゴリズムでは、品質の劣化なしに高精度な制御を実現することは殆ど不可能である。このレート制御アルゴリズムに因る品質の劣化は、一つのピクチャ内、或いは、複数のピクチャ間での品質のばらつきとして現れることが多い。品質が低下したピクチャには、ピクチャの一部の表示を歪ませるような可視アーティファクトが含まれることがある。

【0007】

ピクチャについてのレート制御の精度を向上させる為に、既存のアルゴリズムに於ける一般的なアプローチでは、マクロブロック・レベル（ＭＢレベル）のレート制御を利用している。従来技術に従えば、ρ領域レート制御方法が使用されている。ρ領域レート制御方法はρとＲとの間の線形関係を前提としており、ρは符号化領域についての各量子化済み変換済み係数内に於けるゼロ係数の割合を表し、Ｒは領域を符号化するのに使用されるビット数を表している。数学的に説明すると、線形のレート・モデルは次の如く表される。

【数3】

ここで、Ｒ_ｃは領域を符号化するのに使用される非テクスチャ・ビット数を表しており、θは定数を表している。

【0008】

ρは量子化ステップ・サイズｑと共に単調に増加するが、このことは両者間に１対１のマッピング（写像）が存在することを示している。従って、ρ領域レート制御方法では、目標ビット数Ｒ、各推定パラメータθ及びＲ_ｃが与えられると、ρの値と、従って、１対１のρ−ｑマッピング（写像）に基づいて、量子化ステップ・サイズｑとが得られる。

【0009】

上述の如く算出された量子化ステップ・サイズｑは、符号器に於いて、量子化インデックスによって表せる限られた数の量子化ステップ・サイズに当て嵌まらない場合が多い。１つのアプローチに従えば、ピクチャ内の各マクロブロックが、ｑに非常に近く、且つ、量子化インデックスによって表せる量子化ステップ・サイズであるｑ’の付近の各量子化ステップ・サイズを使用する。更に、ピクチャが使用する平均量子化ステップ・サイズは、およそｑである。一実施形態では、マクロブロックは、幾つかの量子化ステップ・サイズ{q’-Δ₁, q’, q’+Δ₂}の中から選択できる。別のアプローチに従えば、マクロブロックを各々符号化した毎にθ及びＲ_ｃを更新して、マクロブロック毎にｑを算出する。

【0010】

更に別の一般的なレート制御アルゴリズムは、ＴＭＮ８レート制御アルゴリズムである。このＴＭＮ８レート制御アルゴリズムでは、先ず、量子化ステップ・サイズｑがピクチャについて算出される。符号器は、各マクロブロックの符号化をｑで開始する。次に、より多くのマクロブロックが符号化されるに従って、各レート制御モデル・パラメータが更新され、量子化ステップ・サイズがマクロブロック・ベースで更新される。

【0011】

マクロブロック・レベルの調整についての問題点の１つは、量子化ステップ・サイズがマクロブロック間で変動することである。場合によっては、各量子化パラメータが相違することによって、ピクチャ内で品質のばらつきが生じ得る。

【0012】

図１には、ビデオ符号化についてのレート制御方法の全体が参照番号１００によって示されている。

【0013】

方法１００には、開始ブロック１０５が含まれており、制御権を機能ブロック１１０に送る。該機能ブロック１１０は、符号化セットアップの実施、及び／又は、関与を行って、制御権を機能ブロック１１５に送る。該機能ブロック１１５は、各レート制御パラメータを初期化して、制御権をループ端ブロック１２０に送る。該ループ端ブロック１２０は、変数ｉ（ここでｉ＝１、・・・、ピクチャ内のマクロブロック数（＃））を用いて、処理中の現在のピクチャ内の各々のマクロブロックについてループを設定して、制御権を機能ブロック１２５に送る。該機能ブロック１２５は、マクロブロックｉについて量子化ステップ・サイズｑ_ｉを計算して、制御権を機能ブロック１３０に送る。該機能ブロック１３０は、マクロブロックｉを量子化ステップ・サイズｑ_ｉで符号化して、制御権を機能ブロック１３５に送る。該機能ブロック１３５は、各レート制御モデル・パラメータを（例えば、これまで符号化した各マクロブロックに基づいて）更新して、制御権をループ端ブロック１４０に送る。該ループ端ブロックは、当該ループを終了して、制御権を終了ブロック１９９に送る。

【0014】

従って、符号化処理は、ピクチャ内の全てのマクロブロックが符号化された後に終了する。尚、図１の方法１００に於いて、丸めオフセットのパラメータは、方法１００が適用される符号化処理の全体を通じて一定である。また、機能ブロック１１０は、オプションとして、オペレータによる補助を必要とする場合もある。更に、機能ブロック１１０に対応する符号器のセットアップは、目標ビット・レートのセットアップと、符号化処理に付随する任意の一連のパラメータの指定とを要する場合もある。

【0015】

全てのマクロブロックが使用する量子化ステップ・サイズ{q_i}（ここでｉ＝１、・・・、ＭＢ＃）は、顕著に変動することがあり、ピクチャ内で品質のばらつきを生じさせることがある。ピクチャ内での品質の均一性を高める為に、符号器は、量子化ステップ・サイズのダイナミックな範囲を制限することも選択できる。その結果、ピクチャが消費するビット数が目標ビット数とは著しく異なってしまう場合もある。

【発明の概要】

【0016】

本原理は、従来技術についての上述の、及び、その他の欠点と不都合に取り組むものであり、ビデオ符号化に於けるレート制御を正確にする方法と装置に向けられたものである。

【0017】

本原理の一形態に従えば、１つの装置が提供される。該装置は、レート制御を用いて１回の符号化パスで画像データを符号化するビデオ符号器を含む。上記レート制御には、量子化ステップ・サイズ値と丸めオフセット値とを設定することと、少なくとも上記丸めオフセット値を改良することとが含まれる。上記画像データは、上記量子化ステップ・サイズ値と上記改良された丸めオフセット値とに応じて符号化される。

【0018】

本原理の別の一形態に従えば、１つの方法が提供される。該方法には、レート制御を用いて１回の符号化パスで画像データを符号化することが含まれる。上記レート制御には、量子化ステップ・サイズ値と丸めオフセット値とを設定することと、少なくとも該丸めオフセット値を改良することとが含まれる。上記画像データは、上記量子化ステップ・サイズ値と上記改良された丸めオフセット値とに応じて符号化される。

【0019】

本原理のこれらの、及び、その他の形態、特徴、及び、利点は、添付図面を参照しつつ読まれるべき以下の各実施例の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0020】

本原理は、以下の例としての各図面を参照することにより、より良く理解できるであろう。

【図1】従来技術に従う、ビデオ符号器に於けるレート制御方法についての流れ図である。

【図2】本原理の一実施形態に従う、本原理が適用可能なビデオ符号器の例についてのブロック図である。

【図3】本原理の一実施形態に従う、シングル・パス型ビデオ符号器に於けるレート制御方法（非定値の丸めオフセットが組み込まれている）の例についての流れ図である。

【図4】本原理の一実施形態に従う、シングル・パス型ビデオ符号器に於ける別のレート制御方法（非定値の丸めオフセットが組み込まれている）の例についての流れ図である。

【発明を実施するための形態】

【0021】

本原理は、ビデオ符号化に於けるレート制御を正確にする方法と装置に向けられたものである。

【0022】

本明細書に於ける記載は、本原理を例示するものである。当業者であれば、ここに明示的に記載、或いは、図示されていないが、本原理を実施する、本原理の意図とその範囲内に含まれる様々な構成を考案できるであろう。

【0023】

ここに記載の全ての例、及び、条件言語は、本発明の発明者が技術促進のために提供した本原理と概念とを読者が理解する助けとなる教授を目的とするものであって、本発明は、これらの具体的に記載された各例、及び、各条件に限定されるものではない。

【0024】

更に、本発明の各原理、各特徴、及び、各実施形態、並びに、それらの具体例についての本明細書に於ける各記載は、全て、それらの構造的な等価物と機能的な等価物とを包含するものである。また、そのような等価物には、現時点で既知のもの、及び、将来開発されるもの（即ち、構成の如何に関係なく同じ機能を実施するように開発されたあらゆる要素）も含まれる。

【0025】

従って、例えば、当業者であれば、本願に於いて示される各ブロック図が、本原理を実施する回路例の概念図を表していることが分かるであろう。同様に、あらゆるフローチャート、フロー図、状態遷移図、擬似コード等が、コンピュータ読み取り可能媒体で実質的に表すことが出来、従って、明示的にコンピュータ又はプロセッサが示されているか否かに関らず、コンピュータ又はプロセッサによって実行され得ることが分かるであろう。

【0026】

各図面に示された種々の要素の各機能は、専用ハードウェアを用いても、また、適切なソフトウェアと共にソフトウェア実行可能ハードウェアを用いても提供できる。これらの各機能は、プロセッサによって提供される場合、１つの専用プロセッサによって、或いは、１つの共用プロセッサによって、或いは、一部が共用可能な複数の個別プロセッサによって提供可能である。更に、「プロセッサ」或いは「コントローラ（制御器）」という用語の明示的な使用は、ソフトウェア実行可能ハードウェアのみを意味していると解釈されるべきではなく、暗示的に、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するリード・オンリ・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、及び、不揮発性記憶装置が無制限に含まれ得る。

【0027】

その他の従来型、及び／又は、特定用途向けのハードウェアも含まれ得る。同様に、各図面に示されるあらゆるスイッチも概念のみを表している。それらの機能は、プログラム論理の動作を介して、或いは、専用論理を介して、或いは、プログラム制御と専用論理との相互作用を介して、或いは、手動でも実施可能であり、本明細書から更に具体的に理解できるように、実施者が特定の技術を選択できる。

【0028】

本願に於ける特許請求の範囲の各請求項に於いて、特定の機能を実施する手段として表現されたあらゆる要素は、例えば、ａ）当該機能を実施する各回路要素の組み合わせ、或いは、ｂ）あらゆる形態のソフトウェア（当該ソフトウェアを実行して当該機能を実施する適切な回路と組み合わされるファームウェア、或いは、マイクロコード等も含む）を含む当該機能を実施するあらゆる形態を包含する。そのような各請求項によって規定される本原理は、各請求項に記載された種々の手段によって提供される各機能が、各請求項に記載された態様で組み合わされて統合されるということに在る。従って、当該機能を提供し得るあらゆる手段は、本明細書に示された手段と等価であると認められる。

【0029】

本明細書に於いて、本原理の「一実施形態」、「実施形態」等と言えば、それは、当該実施形態に関連して説明された特定の特徴、構造、及び、特性等が本原理の少なくとも一実施形態に含まれていることを意味する。従って、本明細書全体を通して様々な箇所に現れる「一実施形態」、「実施形態」等の表現は、必ずしも全てが同一の実施形態を意味している訳ではない。

【0030】

また、例えば「Ａ／Ｂ」、「Ａ及び／又はＢ」、「ＡとＢの少なくとも一方」等の場合に於ける「／」、「及び／又は」、「〜の少なくとも一方」等の何れかの使用は、最初に述べた選択項目（Ａ）のみの選択、或いは、次に述べた選択項目（Ｂ）のみの選択、或いは、両方の選択項目（Ａ及びＢ）の選択を包含するものである。別の例として、「Ａ、Ｂ及び／又はＣ」、「Ａ、Ｂ及びＣの少なくとも１つ」等の場合、そのような語句は、１番目に述べた選択項目（Ａ）のみの選択、或いは、２番目に述べた選択項目（Ｂ）のみの選択、或いは、３番目に述べた選択項目（Ｃ）のみの選択、或いは、１番目と２番目に述べた選択項目（Ａ及びＢ）のみの選択、或いは、１番目と３番目に述べた選択項目（Ａ及びＣ）のみの選択、或いは、２番目と３番目に述べた選択項目（Ｂ及びＣ）のみの選択、或いは、３つの選択項目全て（Ａ、Ｂ及びＣ）の選択を包含するものである。このことが、多数の選択項目が挙げられた場合にも拡張できることは、当該技術分野及びその他の関連技術分野の当業者に明らかである。

【0031】

更に、本明細書の記載に於いては、ＭＰＥＧ−４ＡＶＣ規格を用いて、ビデオ符号化の量子化処理の例を示すと共に、本原理の１つ或いは複数の実施形態を例として説明する。しかしながら、当該技術分野、及び、関連技術分野の当業者であれば、ＩＴＵ−ＴのＨ．２６３の勧告（以下、「Ｈ．２６３勧告」という）とＭＰＥＧ−２規格とを含む（これらに限定される訳ではない）その他の規格、その他の勧告、及び、それらの拡張機能でも同様の量子化手法が用いられること、従って、本明細書で詳細に説明する本原理が、例示のために採用したＭＰＥＧ−４ＡＶＣ規格に限定されるものではなく、また、その他の特定のビデオ符号化の規格、勧告、及び／又は、それらの拡張機能に限定されるものではないことを明確に理解できるであろう。

【0032】

上述の如く、本原理は、ビデオ符号化に於けるレート制御を正確にする方法と装置に向けられたものである。

【0033】

図２には、本原理が適用可能なビデオ符号器の一例の全体が参照番号２００によって示されている。

【0034】

ビデオ符号器２００にはフレーム配列バッファ２１０が含まれており、該フレーム配列バッファ２１０の出力は、結合器２８５に非反転入力に対して信号伝達可能に接続されている。該結合器２８５の出力は、変換器及び量子化器２２５の第１の入力に対して信号伝達可能に接続されている。該変換器及び量子化器２２５の出力は、エントロピー符号器２４５の第１の入力と、逆変換器及び逆量子化器２５０の入力とに対して信号伝達可能に接続されている。該エントロピー符号器２４５の出力は、結合器２９０の第１の非反転入力に対して信号伝達可能に接続されている。該結合器２９０の出力は、出力バッファ２３５の第１の入力に対して信号伝達可能に接続されている。

【0035】

レート制御器２０５の出力が、ピクチャ・タイプ決定モジュール２１５の入力と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール２２０の第１の入力と、変換器及び量子化器２２５の第２の入力と、シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器２４０の入力とに対して信号伝達可能に接続されている。出力バッファ２３５の第２の出力が、レート制御器２０５の入力に対して信号伝達可能に接続されている。

【0036】

ＳＥＩ挿入器２３０の出力が、結合器２９０の第２の非反転入力に対して信号伝達可能に接続されている。

【0037】

ピクチャ・タイプ決定モジュール２１５の第１の出力が、フレーム配列バッファ２１０の第２の入力に対して信号伝達可能に接続されている。ピクチャ・タイプ決定モジュール２１５の第２の出力が、マクロブロック・タイプ決定モジュール２２０の第２の入力に対して信号伝達可能に接続されている。

【0038】

シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器２４０の出力が、結合器２９０の第３の非反転入力に対して信号伝達可能に接続されている。

【0039】

逆変換器及び逆量子化器２５０の出力が、結合器２１９の第１の非反転入力に対して信号伝達可能に接続されている。該結合器２１９の出力は、イントラ予測モジュール２６０の入力と、非ブロック化フィルタ２６５の入力とに対して信号伝達可能に接続されている。非ブロック化フィルタ２６５の出力は、参照ピクチャ・バッファ２８０の入力に対して信号伝達可能に接続されている。該参照ピクチャ・バッファ２８０の出力は、動き推定器２７５の入力と、動き補償器２７０の第１の入力とに対して信号伝達可能に接続されている。該動き推定器２７５の第１の出力は、動き補償器２７０の第２の入力に対して信号伝達可能に接続されている。該動き推定器２７５の第２の出力は、エントロピー符号器２４５の第３の入力に対して信号伝達可能に接続されている。

【0040】

動き補償器２７０の出力は、スイッチ２９７の第１の入力に対して信号伝達可能に接続されている。イントラ予測モジュール２６０の出力が、該スイッチ２９７の第２の入力に対して信号伝達可能に接続されている。マクロブロック・タイプ決定モジュール２２０の出力が、該スイッチ２９７の第３の入力に対して信号伝達可能に接続されている。該スイッチ２９７の第３の入力は、当該スイッチの「データ」入力（第３の入力である制御入力と対比される）が動き補償器２７０とイントラ予測モジュール２６０の何れによって供給されるべきかを決定する。該スイッチ２９７の出力は、結合器２１９の第２の非反転入力と、結合器２８５の反転入力とに対して信号伝達可能に接続されている。

【0041】

フレーム配列バッファ２１０の入力は、入力ピクチャを受信するための符号器２００の入力として使用可能である。更に、補助的拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ＿Ｅｎｈａｎｃｅｍｅｎｔ＿Ｉｎｆｏｒｍａｔｉｏｎ）（ＳＥＩ）挿入器２３０の入力は、メタデータを受信するための符号器２００の入力として使用可能である。出力バッファ２３５の第１の出力は、ビットストリームを出力するための符号器２００の出力として使用可能である。

【0042】

前述の如く、既存のレート制御方法は、レート制御の精度を欠いているか、或いは、品質のばらつきを生じさせる。本原理に従えば、丸めオフセットという別のパラメータ、即ち、メトリック（ｍｅｔｒｉｃ）をレート制御アルゴリズムに導入する。この丸めオフセットを組み込むことによって、ピクチャ内の品質を均一に保ちつつ、ピクチャ毎に非常に正確なレート制御を実現できる。本原理を、ビット・レートの精度が１つピクチャの期間よりも長い期間で測定されるようなその他の用途に適用した場合でも、本原理によって、正確なレート制御が容易に実現できる。

【0043】

一実施形態に於いて、本原理は、演算のオーバーヘッドが少ない、ビデオ符号器に於けるピクチャ・レベルについての正確なレート制御アルゴリズムを設計する課題への取り組みに向けられたものである。既存のレート制御アルゴリズムは、ビット・レートの精度を制御する為に、主に量子化ステップ・サイズのパラメータの調整に依存している。しかし、ＭＰＥＧ−２規格、ＭＰＥＧ−４ＡＶＣ規格、及び、ＶＣ−１規格のようなビデオ符号化規格に於いては、ビット・レートに影響を及ぼすその他の符号化パラメータも存在する。特に、一実施形態に於いて、丸めオフセットを利用してビット・レート制御の精度を向上させ、且つ、シングル・パス（１回のパス）に於いてランする（実行される）方法が提供される。本原理に従って、レート制御アルゴリズムにより、ピクチャ・レベルについての正確なビット・レートが得られる場合、そのレート制御アルゴリズムにより、そのような正確なビット・レートが、より長い時間間隔の間、容易に実現できる。

【0044】

一実施形態に於いて、別の量子化パラメータ、即ち、丸めオフセットｓを組み込んでピクチャ・レベルについてのレート制御の精度を向上させることを提案する。量子化ステップ・サイズと丸めオフセットは、両者とも、符号器が使用するビット数Ｒに影響を及ぼす。これは、数学的に次のように表現できる。

【数4】

ここで、ファンクションｆ（・）は、如何に量子化ステップ・サイズと丸めオフセットとがビット数に影響を及ぼすかを表している。このファンクションの一例を次に示す。

【数5】

ここで、ｋ_ｓ、ｋ_ｑ及びｃは定数である。

【0045】

図３及び図４には、レート制御アルゴリズムに、量子化ステップ・サイズに加えて、丸めオフセットを組み込む各実施形態が例示されている。尚、これらの例示された各実施形態は、ビット数の割り当て方に従って、可変ビット・レート（ｖａｒｉａｂｌｅ−ｂｉｔ−ｒａｔｅ）（ＶＢＲ）、或いは、固定ビット・レート（ｃｏｎｓｔａｎｔ−ｂｉｔ−ｒａｔｅ）（ＣＢＲ）の応用例となり得る。更に、本原理は、マルチ・パス型符号器の一部として実施でき、且つ、その他のパスに情報を提供するように構成できる。

【0046】

（実施形態１）
先ず、シングル・パス型ビデオ符号器についてのレート制御方法の一実施形態を大まかに説明し、次に、図３について、更に説明する。

【0047】

この実施形態に従えば、符号器は、先ず初期の丸めオフセットｓを選択して、この初期のｓに基づいて量子化ステップ・サイズｑを計算する。ｑを調整して目標ビット・レートを得る既存のレート制御アルゴリズム（ＴＭ５、ＴＭＮ８、ρ領域レート制御アルゴリズム等を含むが、これらに限定されるものではない）が使用できる。求めた量子化ステップ・サイズｑとＲ（ｑ，ｓ）のモデルとを用いて、丸めオフセットｓを計算して、より良く目標ビット・レートを得ることが出来る。

【0048】

ｑ及びｓが計算された後に、更なる改良が必要か否かが確認される。一実施形態では、ｓが、隣接ピクチャ相互間で視覚品質が均一であることを保証する所定の範囲を外れているか否かが判定される。改良が必要でない状態まで、或いは、演算に課せられた制約条件が満たされるまで、ｑ及びｓを更新する処理が繰り返される。

【0049】

もはや改良の必要がない量子化ステップ・サイズｑ及び丸めオフセットｓが符号化処理に使用される。その符号化処理が完了した後に、各レート制御パラメータが更新される。符号化すべき複数のピクチャがある場合、それらのピクチャの一部、或いは、全部から得られる全ての情報を用いて、各レート制御モデル・パラメータを更新できる。

【0050】

図３には、シングル・パス型ビデオ符号器に於けるレート制御方法例（非定値の丸めオフセットが組み込まれている）の全体が参照番号３００によって示されている。

【0051】

方法３００には開始ブロック３０５が含まれており、該開始ブロック３０５は、制御権を機能ブロック３１０に送る。該機能ブロック３１０は、符号化セットアップの実施、及び／又は、関与を行って、制御権を機能ブロック３１５に送る。該機能ブロック３１５は、各レート制御モデル・パラメータを初期化して、制御権をループ端ブロック３２０に送る。該ループ端ブロック３２０は、変数ｉ（ここでｉ＝１、・・・、ピクチャ数（＃））を用いて、処理中の現在のビデオ・シーケンス内の各々のピクチャについて、ループを設定して、制御権を機能ブロック３２５に送る。該機能ブロック３２５は、ピクチャｉについて丸めオフセットｓ_ｉを初期化して、制御権を機能ブロック３３０に送る。該機能ブロック３３０は、ピクチャｉについて量子化ステップ・サイズｑ_ｉを計算して、制御権を機能ブロック３３５に送る。該機能ブロック３３５は、ピクチャｉについて丸めオフセットｓ_ｉを更新して、制御権を決定ブロック３４０に送る。該決定ブロック３４０は、ｑ_ｉ及び／又はｓ_ｉが改良を必要とするか否かを判定する。必要とすると判定された場合、制御権は機能ブロック３３０に戻される。必要でないと判定された場合、制御権は、機能ブロック３４５に送られる。

【0052】

該機能ブロック３４５は、ピクチャｉをｑ_ｉ及びｓ_ｉで符号化して、制御権を機能ブロック３５０に送る。該機能ブロック３５０は、各レート制御モデル・パラメータを更新して、制御権をループ端ブロック３５５に送る。該ループ端ブロック３５５は、当該ループを終了して、制御権を終了ブロック３９９に送る。

【0053】

機能ブロック３１５に於いて、丸めオフセットは、イントラ・ピクチャ及びインタ・ピクチャについて、それぞれ、例えば１／３．０及び１／６．０に初期化されても良い。決定ブロック３４０に於ける、量子化ステップ・サイズｑ及び／又は丸めオフセットｓが改良を必要とするか否かの判定に関して、更なる改良が必要である場合、機能ブロック３３０及び３３５に対応する各処理が繰り返されて、ｑ及びｓのより正確な値が得られる。

【0054】

図１について説明した一般的なレート制御方法と比較した場合のこの方法の利点は、ピクチャ内の全てのマクロブロックが同一の量子化ステップ・サイズ及び同一の丸めオフセットで符号化され、従って、全てのマクロブロックの品質が均一なことである。また、この方法は、図１について説明した方法に非常に近い演算量（演算複雑度：ｃｏｍｐｕｔａｔｉｏｎ＿ｃｏｍｐｌｅｘｉｔｙ）でランする。

【0055】

（実施形態２）
図４には、図３について説明した方法の変形例が示されている。図４の方法では、先ずピクチャについての量子化ステップ・サイズが初期化される。特定の実施形態として、量子化ステップ・サイズが、同一のピクチャ・タイプの直前のピクチャからの量子化ステップ・サイズに初期化される。量子化ステップ・サイズが与えられると、次に、丸めオフセットが計算される。量子化ステップ・サイズは更新される。

【0056】

図４には、ビデオ符号器に於けるレート制御方法例（非定値の丸めオフセットが組み込まれている）の全体が参照番号４００によって示されている。

【0057】

方法４００には開始ブロック４０５が含まれており、該開始ブロック４０５は、制御権を機能ブロック４１０に送る。該機能ブロック４１０は、符号化セットアップの実施、及び／又は、関与を行って、制御権を機能ブロック４１５に送る。該機能ブロック４１５は、各レート制御モデル・パラメータを初期化して、制御権をループ端ブロック４２０に送る。該ループ端ブロック４２０は、変数ｉ（ここでｉ＝１、・・・、ピクチャ数（＃））を用いて、処理中の現在のビデオ・シーケンス内の各々のピクチャについて、ループを設定して、制御権を機能ブロック４２５に送る。該機能ブロック４２５は、ピクチャｉについて量子化ステップ・サイズｑ_ｉを初期化して、制御権を機能ブロック４３０に送る。該機能ブロック４３０は、ピクチャｉについて丸めオフセットｓ_ｉを計算して、制御権を機能ブロック４３５に送る。該機能ブロック４３５は、ピクチャｉについて量子化ステップ・サイズｑ_ｉを更新して、制御権を決定ブロック４４０に送る。該決定ブロック４４０は、ｑ_ｉ及び／又はｓ_ｉが改良を必要とするか否かを判定する。必要とすると判定された場合、制御権は機能ブロック４３０に戻される。必要でないと判定された場合、制御権は、機能ブロック４４５に送られる。

【0058】

該機能ブロック４４５は、ピクチャｉをｑ_ｉ及びｓ_ｉで符号化して、制御権を機能ブロック４５０に送る。該機能ブロック４５０は、各レート制御モデル・パラメータを更新して、制御権をループ端ブロック４５５に送る。該ループ端ブロック４５５は、当該ループを終了して、制御権を終了ブロック４９９に送る。

【0059】

以下、本発明に伴う多数の利点／特徴の一部について説明するが、そのうちの一部は既に上述したものである。例えば、１つの利点／特徴は、レート制御を用いて１回の符号化パスで画像データを符号化するビデオ符号器を有する装置である。上記レート制御には、量子化ステップ・サイズ値と丸めオフセット値とを設定することと、少なくとも該丸めオフセット値を改良することとが含まれる。上記画像データは、上記量子化ステップ・サイズ値と上記改良された丸めオフセット値とに応じて符号化される。

【0060】

別の利点／特徴は、上記符号器を有する装置であって、上記レート制御には上記量子化ステップ・サイズ値を改良することが更に含まれており、上記画像データが上記改良された量子化ステップ・サイズ値と上記改良された丸めオフセット値とに応じて符号化される装置である。

【0061】

更に別の利点／特徴は、上記符号器を有する装置であって、上記量子化ステップ・サイズ値と上記丸めオフセット値のうちの少なくとも一方が、初めに、推定値として、設定される、装置である。

【0062】

更に別の利点／特徴は、上記符号器を有する装置であって、上述の如く、上記量子化ステップ・サイズ値と上記丸めオフセット値のうちの少なくとも一方が、初めに、推定値として、設定され、上記量子化ステップ・サイズ値と上記丸めオフセット値のうちの他方が、上記推定値に基づいて、設定される、装置である。

【0063】

更に別の利点／特徴は、上記符号器を有する装置であって、上述の如く、上記量子化ステップ・サイズ値と上記丸めオフセット値のうちの少なくとも一方が、初めに、推定値として、設定され、上記丸めオフセット値が、初めに、上記推定値として、設定され、上記推定値が上記レート制御についての目標ビット・レートと丸めオフセットとの間の線形関係に基づいている、装置である。

【0064】

更に別の利点／特徴は、上記符号器を有する装置であって、上記レート制御が固定ビット・レート用途と可変ビット・レート用途のうちの少なくとも一方に適用される、装置である。

【0065】

更に別の利点／特徴は、上記符号器を有する装置であって、上記ビデオ符号器が、国際標準化機構／国際電気標準会議のムービング・ピクチャ・エキパーツ・グループ−４のパート１０のアドバンスト・ビデオ・コーディング規格／国際電気通信連合の電気通信標準化部門のＨ．２６４の勧告に準拠する合成ビットストリームに於ける上記画像データを符号化する、装置である。

【0066】

更に別の利点／特徴は、上記符号器を有する装置であって、上記レート制御用の各レート制御パラメータが、ρ領域レート・モデル、ＴＭ５レート・モデル、及び、ＴＭＮ８レート・モデルのうちの少なくとも１つに基づいている、装置である。

【0067】

本原理のこれらの、及び、その他の特徴と利点は、当業者であれば、本明細書の各開示事項に基づいて容易に把握できるであろう。本原理の各開示事項は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、或いは、それらの組み合わせの様々な形態で実施できる。

【0068】

本原理の各開示事項は、ハードウェアとソフトウェアとの組み合わせとして実施するのが最も望ましい。更に、該ソフトウェアは、プログラム記憶装置に実装されたアプリケーション・プログラムとして実施できる。該アプリケーション・プログラムは、任意の適切なアーキテクチャから成るマシンにアップロードして、該マシンにより実行できる。該マシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、及び、入力／出力（Ｉ／Ｏ）インタフェース等のハードウェアを有するコンピュータ・プラットフォームで実施するのが望ましい。該コンピュータ・プラットフォームには、オペレーティング・システムとマイクロインストラクション・コードが含まれていても良い。本明細書に記載された種々の処理と機能は、ＣＰＵによって実行され得るマイクロインストラクション・コードの一部、或いは、アプリケーション・プログラムの一部、或いは、それらの組み合わせであっても良い。更に、例えば、増設データ記憶装置、及び、印刷装置等の種々のその他の周辺装置をコンピュータ・プラットフォームに接続しても良い。

【0069】

更に、添付図面に示された各構成システム・コンポーネント及び方法の一部はソフトウェアの形態で実施されることが望ましいため、システム・コンポーネント相互間、或いは、処理機能ブロック相互間の実際の接続は、本原理がプログラムされる態様に従って、異なることがある。本明細書に記載された各開示事項により、当業者であれば、本原理のそのような、及び、同様な実施形態、或いは、コンフィギュレーション（環境設定、機器構成等）を考案できるであろう。

【0070】

本明細書では、添付図面を参照して各実施例を説明したが、本原理は、これらの各実施例そのものに限定されるものではなく、当業者であれば、本原理の範囲から、或いは、本原理の意図から逸脱することなく、種々の変更、及び、修正を行なうことが出来るであろう。そのような変更、及び、修正の全ては、本願の特許請求の範囲の各請求項に記載された本原理の範囲内に含まれるものである。
［付記１］
レート制御を用いて１回の符号化パスで画像データを符号化するビデオ符号器（２００）を含む装置であって、前記レート制御には、量子化ステップ・サイズ値と丸めオフセット値とを設定することと、少なくとも前記丸めオフセット値を改良することとが含まれており、前記画像データが前記量子化ステップ・サイズ値と前記改良された丸めオフセット値とに応じて符号化される、前記装置。
［付記２］
付記１記載の装置であって、前記レート制御には前記量子化ステップ・サイズ値を改良することが更に含まれており、前記画像データが前記改良された量子化ステップ・サイズ値と前記改良された丸めオフセット値とに応じて符号化される、装置。
［付記３］
付記１記載の装置であって、前記量子化ステップ・サイズ値と前記丸めオフセット値のうちの少なくとも一方が、初めに、推定値として、設定される、装置。
［付記４］
付記３記載の装置であって、前記量子化ステップ・サイズ値と前記丸めオフセット値のうちの他方が、前記推定値に基づいて、設定される、装置。
［付記５］
付記３記載の装置であって、前記丸めオフセット値が、初めに、前記推定値として、設定され、前記推定値が前記レート制御についての目標ビット・レートと丸めオフセットとの間の線形関係に基づいている、装置。
［付記６］
付記１記載の装置であって、前記レート制御が固定ビット・レート用途と可変ビット・レート用途のうちの少なくとも一方に適用される、装置。
［付記７］
付記１記載の装置であって、前記ビデオ符号器（２００）が、国際標準化機構／国際電気標準会議のムービング・ピクチャ・エキパーツ・グループ−４のパート１０のアドバンスト・ビデオ・コーディング規格／国際電気通信連合の電気通信標準化部門のＨ．２６４の勧告に準拠する合成ビットストリームに於ける前記画像データを符号化する、装置。
［付記８］
付記１記載の装置であって、前記レート制御用の各レート制御パラメータが、ρ領域レート・モデル、ＴＭ５レート・モデル、及び、ＴＭＮ８レート・モデルのうちの少なくとも１つに基づいている、装置。
［付記９］
レート制御を用いて１回の符号化パスで画像データを符号化すること（３４５、４４５）を含む方法であって、前記レート制御には量子化ステップ・サイズ値と丸めオフセット値とを設定すること（３２５、３３０、４２５）と少なくとも前記丸めオフセット値を改良すること（３３５、４３０、４３５）とが含まれており、前記画像データが前記量子化ステップ・サイズ値と前記改良された丸めオフセット値とに応じて符号化される（３４５、４４５）、前記方法。
［付記１０］
付記９記載の方法であって、前記レート制御には前記量子化ステップ・サイズ値を改良すること（３３０、４３５）が更に含まれており、前記画像データが前記改良された量子化ステップ・サイズ値と前記改良された丸めオフセット値とに応じて符号化される、方法。
［付記１１］
付記９記載の方法であって、前記量子化ステップ・サイズ値と前記丸めオフセット値のうちの少なくとも一方が、初めに、推定値として、設定される（３２５、４２５）、方法。
［付記１２］
付記１１記載の方法であって、前記量子化ステップ・サイズ値と前記丸めオフセット値のうちの他方が、前記推定値に基づいて、設定される（３３０、４３０）、方法。
［付記１３］
付記１１記載の方法であって、前記丸めオフセット値が、初めに、前記推定値として設定され（３２５）、前記推定値が前記レート制御についての目標ビット・レートと丸めオフセットとの間の線形関係に基づいている、方法。
［付記１４］
付記９記載の方法であって、前記レート制御が固定ビット・レート用途と可変ビット・レート用途のうちの少なくとも一方に適用される、方法。
［付記１５］
付記９記載の方法であって、前記符号化に於いて、国際標準化機構／国際電気標準会議のムービング・ピクチャ・エキパーツ・グループ−４のパート１０のアドバンスト・ビデオ・コーディング規格／国際電気通信連合の電気通信標準化部門のＨ．２６４の勧告に準拠する合成ビットストリームに於ける前記画像データを符号化する、方法。
［付記１６］
付記９記載の方法であって、前記レート制御用の各レート制御パラメータが、ρ領域レート・モデル、ＴＭ５レート・モデル、及び、ＴＭＮ８レート・モデルのうちの少なくとも１つに基づいている、方法。

【図1】

【図2】

【図3】

【図4】