特許 6372866 ビデオ符号化における符号化ユニット量子化パラメータ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6372866

(24)【登録日】2018年7月27日

(45)【発行日】2018年8月15日

(54)【発明の名称】ビデオ符号化における符号化ユニット量子化パラメータ

(51)【国際特許分類】

   H04N 19/463 20140101AFI20180806BHJP

   H04N 19/126 20140101ALI20180806BHJP

   H04N 19/176 20140101ALI20180806BHJP

   H04N 19/196 20140101ALI20180806BHJP

【ＦＩ】

   H04N19/463

   H04N19/126

   H04N19/176

   H04N19/196

【請求項の数】8

【全頁数】22

(21)【出願番号】特願2016-90166(P2016-90166)

(22)【出願日】2016年4月28日

(62)【分割の表示】特願2013-509218(P2013-509218)の分割

【原出願日】2011年5月4日

(65)【公開番号】特開2016-167862(P2016-167862A)

(43)【公開日】2016年9月15日

【審査請求日】2016年5月20日

(31)【優先権主張番号】61/431,889

(32)【優先日】2011年1月12日

(33)【優先権主張国】US

(31)【優先権主張番号】61/331,216

(32)【優先日】2010年5月4日

(33)【優先権主張国】US

(31)【優先権主張番号】61/469,518

(32)【優先日】2011年3月30日

(33)【優先権主張国】US

(31)【優先権主張番号】13/093,715

(32)【優先日】2011年4月25日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】390020248

【氏名又は名称】日本テキサス・インスツルメンツ株式会社

(73)【特許権者】

【識別番号】507107291

【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド

(74)【上記1名の代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(72)【発明者】

【氏名】ミンフアル ジョウ

(72)【発明者】

【氏名】メフメト ウムット デミルチン

(72)【発明者】

【氏名】マドフカール ブダガヴィ

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特表２０１３−５４２６８９（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０４２８９０（ＷＯ，Ａ１）

【文献】 Kazushi Sato W12F 1-11-1 GCO Osaki, Shinagawa-ku, Tokyo 141-0032 Japan，Proposal on Large Block Structure and Quantization[online]， JCTVC-C JCTVC-C167，インターネット＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/3_Guangzhou/wg11/JCTVC-C167-m18193-v1-JCTVC-C167.zip＞

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオ処理の方法であって、
ピクチャのための符号化されたビットストリームを受け取ることと、
前記符号化されたビットストリームを復号化し、ピクチャレベルで前記ビットストリーム内で信号送信されたパラメータから、複数の重複しないブロックの第１の重複しないブロックに対して第１の量子化パラメータが決定される符号化ユニットの最小サイズを決定することと、
複数の再構成された変換された係数を形成するために、前記第１の量子化パラメータを含む複数の量子化パラメータを用いて、複数の量子化された変換された係数に逆量子化動作を行なうことと、
を含む、方法。

【請求項2】

請求項１に記載の方法であって、
前記ビデオ処理が、１つ又は複数のプロセッサ内に実装されるソフトウエアプログラムを含む信号処理ユニットに実装され、前記ソフトウエアプログラムが、メモリ内に格納されており、前記１つ又は複数のプロセッサ内にロードされて実行される、方法。

【請求項3】

ビデオ復号化の方法であって、
ピクチャのための符号化されたビットストリームを受け取ることと、
前記符号化されたビットストリームを復号化し、ピクチャレベルで前記ビットストリーム内で信号送信されたパラメータから、複数の重複しないブロックの第１の重複しないブロックに対して第１の量子化パラメータが決定される符号化ユニットの第１の最小サイズと、前記複数の重複しないブロックの第２の重複しないブロックに対して第２の量子化パラメータが決定される符号化ユニットの第２の最小サイズとを決定することと、
複数の再構成された変換された係数を形成するために、前記第１の量子化パラメータと前記第２の量子化パラメータとを含む複数の量子化パラメータを用いて、複数の量子化された変換された係数に逆量子化動作を行なうことと、
を含む、方法。

【請求項4】

請求項３に記載の方法であって、
前記ビデオ処理が、１つ又は複数のプロセッサ内に実装されるソフトウエアプログラムを含む信号処理ユニットに実装され、前記ソフトウエアプログラムが、メモリ内に格納されており、前記１つ又は複数のプロセッサ内にロードされて実行される、方法。

【請求項5】

ビデオ処理システムであって、
ビデオデコーダ構成要素であって、
ピクチャのための符号化されたビットストリームを受け取り、
前記符号化されたビットストリームを復号化し、ピクチャレベルで前記ビットストリーム内で信号送信されたパラメータから、複数の重複しないブロックの第１の重複しないブロックに対して第１の量子化パラメータが決定される符号化ユニットの最小サイズを決定する、
ように構成される、前記ビデオデコーダ構成要素と、
前記ビデオデコーダ構成要素に結合され、複数の再構成された変換された係数を形成するために、前記第１の量子化パラメータを含む複数の量子化パラメータを用いて、複数の量子化された変換された係数に逆量子化動作を行なうように構成される、逆量子化構成要素と、
を含む、システム。

【請求項6】

請求項５に記載のビデオ処理システムであって、
前記ビデオ処理システムが、１つ又は複数のプロセッサ内に実装されるソフトウエアプログラムを含む信号処理ユニットに実装され、前記ソフトウエアプログラムが、メモリ内に格納されており、前記１つ又は複数のプロセッサ内にロードされて実行される、システム。

【請求項7】

ビデオ復号化システムであって、
ビデオデコーダ構成要素であって、
ピクチャのための符号化されたビットストリームを受け取り、
前記符号化されたビットストリームを復号化し、ピクチャレベルで前記ビットストリーム内で信号送信されたパラメータから、複数の重複しないブロックの第１の重複しないブロックに対して第１の量子化パラメータが決定される符号化ユニットの第１の最小サイズと、前記複数の重複しないブロックの第２の重複しないブロックに対して第２の量子化パラメータが決定される符号化ユニットの第２の最小サイズとを決定する、
ように構成される、前記ビデオデコーダ構成要素と、
前記ビデオデコーダ構成要素に結合される逆量子化構成要素であって、複数の再構成された変換された係数を形成するために、前記第１の量子化パラメータと前記第２の量子化パラメータとを含む複数の量子化パラメータを用いて、複数の量子化された変換された係数に逆量子化動作を行なうように構成される、前記逆量子化構成要素と、
を含む、システム。

【請求項8】

請求項７に記載のビデオ復号化システムであって、
前記ビデオ復号化システムが、１つ又は複数のプロセッサ内に実装されるソフトウエアプログラムを含む信号処理ユニットに実装され、前記ソフトウエアプログラムが、メモリ内に格納されており、前記１つ又は複数のプロセッサ内にロードされて実行される、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、ビデオの符号化および復号化の方法および装置に関する。

【背景技術】

【0002】

ディジタルビデオ製品に対する需要は増え続けている。ディジタルビデオアプリケーションのいくつかの例は、ビデオ通信、セキュリティおよび監視、工業オートメーション、あるいは娯楽（例えば、ディジタルビデオ（ＤＶ）、高解像度テレビ（ＨＤＴＶ）、衛星テレビ、セットトップボックス、インターネットビデオストリーミング、ビデオゲーム機、ディジタルカメラ、携帯電話、ビデオジュークボックス、高性能ディスプレイ、およびパーソナルビデオレコーダー）を含む。さらに、ビデオアプリケーションは、ハンドセットのより高い計算能力、バッテリー技術の進歩、および高速ワイヤレス接続の結果、ますますモバイルとなっている。

【0003】

ビデオ圧縮、すなわちビデオ符号化は、ディジタルビデオの保存および伝送を可能とするので、ディジタルビデオ製品には必須の成功要因である。一般的に、現在のビデオ符号化標準は、ビデオシーケンスを圧縮、すなわち符号化するために、ビデオシーケンスをピクセルのシーケンスブロック、すなわちマクロブロックに、予測、変換、量子化、およびエントロピー符号化を適用するビデオ圧縮技術を規定する。マクロブロックは、ビデオシーケンスのスライスまたはフレームのピクセルの１６×１６の矩形ブロックとして定義され、フレームは既知の時間インタバルの間キャプチャーされる完全な画像であると定義される。

【0004】

量子化パラメータ（ＱＰ）は、各マクロブロックのための量子化のステップサイズを変調するよう使用され得る。例えば、Ｈ.２６４／ＡＶＣにおいて、変換係数の量子化は、係数を量子化ステップサイズで除算することを含む。量子化ステップサイズは、量子化スケールとも呼ばれることがあり、０から５１までの間の整数であり得るＱＰ値に基づき標準により決定される。ＱＰ値のステップサイズは、例えば、ルックアップテーブルを用いて、および／もしくは計算上の導出によって決定され得る。

【0005】

圧縮されたビットストリームの品質及びビットレートは、主に、各マクロブロックを量子化するために選択されるＱＰ値によって決定される。すなわち、マクロブロックを量子化するのに使用される量子化ステップサイズ（Ｑｓ）は、圧縮されたマクロブロックにどれほどの空間的ディテールが保持されるのかを調整する。Ｑｓが小さいほど、ディテールの保持は大きく、品質が良いが、代わりにより高いビットレートという代償となる。Ｑｓが増加するにつれ、ディテールの保持が小さくなり、ビットレートは削減されるが、増加した歪みおよび品質の低下という代償となる。

【発明の概要】

【0006】

本発明の実施例は、ビデオデコーダ（復号器）のための方法および装置に関する。方法は、ビデオデコーダにおいて符号化された最大の符号化ユニットを受け取り、ここで、符号化された最大の符号化ユニットは、符号化された符号化ユニット構造および複数の符号化された量子化パラメータを含むものであり、当該方法はさらに、符号化された符号化ユニット構造および複数の符号化された量子化パラメータに基づき符号化された最大の符号化ユニットをデコードすることを含む。

【0007】

代表的な実施例が添付の図面を参照して記載される。

【0008】

【図面の簡単な説明】

【0009】

【図1】図１は、ディジタルシステムのブロック図である。

【0010】

【図2】図２は、再帰的クワッドツリーの構造を表す。

【0011】

【図3A】図３Ａは、ビデオエンコーダ（符号器）のブロック図である。

【図3B】図３Ｂは、ビデオエンコーダ（符号器）のブロック図である。

【0012】

【図4】図４は、例示的な実施例を表す。

【図5】図５は、例示的な実施例を表す。

【図6】図６は、例示的な実施例を表す。

【図7】図７は、例示的な実施例を表す。

【図8】図８は、例示的な実施例を表す。

【0013】

【図9】図９は、ビデオデコーダ（復号器）のブロック図を表す。

【0014】

【図10】図１０は、ひとつの代表的な実施例を表す。

【0015】

【図11】図１１は、代表的な方法の実施例のフローチャートを表す。

【図12】図１２は、代表的な方法の実施例のフローチャートを表す。

【0016】

【図13】図１３は、例示されたディジタルシステムの実施例のブロック図である。

【発明を実施するための形態】

【0017】

Ｈ.２６４／ＡＶＣのような現在のビデオ符号化規格では、予測、変換、量子化およびエントロピー符号化の符号化動作は、マクロブロックと呼ばれる、固定サイズの１６×１６ブロックに基づいて実行される。さらに、量子化パラメータは、各マクロブロックについて生成され、より大きなもしくはより小さなブロックには提供されない。例えば、高解像度ビデオに使用されるフレームサイズといった、より大きなフレームサイズにとって、ブロックベースの符号化動作のために、より大きなブロックサイズを使用することは、より優れた符号化効率を提供することが可能であり、および／もしくはデータ伝送のオーバーヘッドを低減することが可能である。例えば、フレームサイズが１２８０×７２０でありかつフレームレートが毎秒６０フレームであるビデオシーケンスは、フレームサイズが１７６×１４４でありかつフレームレートが毎秒１５フレームであるビデオシーケンスよりも、３６倍大きく、４倍速い。１６×１６よりも大きなブロックサイズは、ビデオエンコーダが、前のビデオシーケンスにおける増加した空間的および／もしくは時間的冗長性の利点を持つことを可能にする。そのようなより大きなブロックサイズは、現在、高効率ビデオ符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）と呼ばれる新たな次世代のビデオ規格において提案されている。

【0018】

ＨＥＶＣは、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）にとって代わるものと提案されており、現在、ＩＳＯ／ＩＥＣムービングピクチャエキスパートグループ（ＭＰＥＧ）およびＩＴＵ−Ｔビデオ符号化エキスパートグループ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｃｒｏｕｐ、ＶＣＥＧ）によって設立されたビデオ符号化の共同チーム（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＪＣＴ−ＶＣ）により開発中である。

【0019】

しかしながら、増加したブロックサイズは、レート制御に悪影響を及ぼす可能性がある。すなわち、多くのレート制御技術が、仮想的な伝送バッファの利用可能な空間に応じて、ブロック毎ベースでＱＰを管理する。ブロックサイズの増加は、レート制御がＱＰ値を調整し得るグラニュラリティ（Ｇｒａｎｕｌａｒｉｔｙ）を減少させ、それゆえ、レート制御をより困難にするかもしれず、および／あるいは品質に悪影響を与えるかもしれない。さらに、ＱＰが、ブロックサイズを増加することによって変化し得るグラニュラリティを減少させることは、ブロック内の動きに基づきＱＰを適合させる知覚的レート制御技術の視覚的品質性能に影響を及ぼす。

【0020】

本明細書で述べられる実施例は、例えば１６×１６よりも大きな、より大きなブロックサイズを有するブロックベースのビデオ符号化を提供し、単一のブロックのための多数の量子化パラメータが生成され得る。より具体的には、ピクチャ（もしくはスライス）が、最大の符号化ユニット（ＬＣＵ）と呼ばれるピクセルの重複しないブロックに分割される。ここでは、「ピクチャ」という用語は、フレームまたはフレームのフィールドを指すために使用される。フレームは、既知の時間インタバルの間キャプチャーされた完全な画像である。スライスは、ピクチャ内のシーケンシャルＬＣＵのサブセットである。ＬＣＵは、ブロックベースの符号化に使用される基本単位である。すなわち、ＬＣＵは、従来のマクロブロックのように符号化において同様の役割を果たすが、ＬＣＵは、３２×３２、６４×６４、１２８×１２８等のように、より大きいことが可能である。量子化の目的のため、ＬＣＵは、量子化パラメータ（ＱＰ）が生成され得るピクチャの最大単位である。

【0021】

符号化プロセスの一部として、例えば、レート制御基準、複雑さの考慮、レート歪みの制約等のような様々な基準が、ＬＣＵを符号化ユニット（ＣＵ）に区画化するために適用され得る。ＣＵは、ＬＣＵ内のピクセルのブロックであり、ＬＣＵ内のＣＵは、異なるサイズとし得る。ＣＵの区画化後、すなわちＣＵ構造が識別された後に、ＱＰが各ＣＵについて生成される。それから、ブロックベースの符号化がＬＣＵに適用され、ＣＵを符号化する。符号化の一部として、ＱＰが対応するＣＵの量子化で使用される。ＣＵ構造およびＱＰはまた、デコーダへの通信、すなわち、信号送信のために符号化される。

【0022】

ある実施例では、ＱＰ値は、デルタＱＰ値として、圧縮されたビットストリームでデコーダに通信される。デルタＱＰを計算する技術、およびＱＰが信号送信される空間的グラニュラリティを制御する技術がまた提供される。幾つかの実施例では、デルタＱＰ値を計算する１つ以上の技術が、単一のビデオシーケンスを符号化するのに使用され得る。そのような実施例では、使用される技術は、例えばシーケンス、ピクチャ、スライス、および／もしくはＬＣＵの適切なレベルでの圧縮されたビットストリームで信号送信され得る。

【0023】

図１は、１つもしくは複数の実施例によるディジタルシステムを表す。システムは、通信チャンネル１１６を介して、符合化されたビデオシーケンスを送り先のディジタルシステム１０２へ伝送するソースディジタルシステム１００を含む。ソースディジタルシステム１００は、ビデオキャプチャー構成要素１０４、ビデオエンコーダ構成要素１０６およびトランスミッタ構成要素１０８を含む。ビデオキャプチャー構成要素１０４は、ビデオエンコーダ構成要素１０６によって符号化されるべきビデオシーケンスを提供するよう構成される。ビデオキャプチャー構成要素１０４は、例えば、ビデオカメラ、ビデオアーカイブ、あるいはビデオコンテンツプロバイダーからのビデオ画像であり得る。幾つかの実施例では、ビデオキャプチャー構成要素１０４は、ライブのビデオ、アーカイブビデオ、および／またはコンピュータで生成されたビデオのシーケンスの組み合わせのようなコンピュータグラフィックスを生じさせ得る。

【0024】

ビデオエンコーダ構成要素１０６は、ビデオキャプチャー構成要素１０４からビデオシーケンスを受け取り、かつトランスミッタ構成要素１０８による伝送のためにそれを符号化する。ビデオエンコーダ構成要素１０６は、ビデオキャプチャー構成要素１０４から、フレームのシーケンスとしてビデオシーケンスを受け取り、フレームをＬＣＵに分割し、かつ、ＬＣＵのビデオデータを符号化する。ビデオエンコーダ構成要素１０６は、本明細書で述べられる符号化プロセス中に、ＬＣＵのための多数の量子化パラメータを生成させ符号化する、１つもしくは複数の技術を提供するよう構成され得る。ビデオエンコーダ構成要素１０６の実施例は、図３Ａおよび図３Ｂを参照して下記でより詳細に説明される。

【0025】

トランスミッタ構成要素１０８は、符号化されたビデオデータを、通信チャンネル１１６を介して送信先のディジタルシステム１０２へ伝送する。通信チャンネル１１６は、任意の通信媒体とし得、もしくは、例えば、有線もしくは無線通信のメディア、ローカルエリアネットワーク、もしくは広域エリアネットワークのような、符号化されたビデオシーケンスの伝送に適した通信媒体の組み合わせであり得る。

【0026】

送信先のディジタルシステム１０２は、レシーバ構成要素１１０、ビデオデコーダ構成要素１１２および表示構成要素１１４を含む。レシーバ構成要素１１０は、通信チャンネル１１６を介して、ソースディジタルシステム１００から、符号化されたビデオデータを受け取り、当該符号化されたビデオデータを、デコードのためビデオデコーダ構成要素１１２へ提供する。ビデオデコーダ構成要素１１２は、ビデオシーケンスのＬＣＵを再構成するために、ビデオエンコーダ構成要素１０６によって実行される符号化プロセスを反転する。ビデオデコータ構成要素は、本明細書で述べられるようなデコードプロセス中に、ＬＣＵのための多数の量子化パラメータをデコードする、１つもしくは複数の技術を提供するよう構成され得る。ビデオデコーダ構成要素１１２の実施例は、図９を参照して下記により詳細に説明される。

【0027】

再構成されたビデオシーケンスは、表示構成要素１１４に表示される。表示構成要素１１４は、例えば、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ等といった、任意の適切な表示装置であり得る。

【0028】

ある実施例では、ビデオストリーミング、ビデオ放送、およびビデオ電話のための双方向でのビデオシーケンスの伝送のため、ソースディジタルシステム１００はまた、レシーバ構成要素およびビデオデコーダ構成要素を含むことができ、および／または送信先のディジタルシステム１０２は、トランスミッタ構成要素およびビデオエンコーダ構成要素を含むことができる。さらに、ビデオエンコーダ構成要素１０６およびビデオデコーダ構成要素１１２は、１つもしくは複数のビデオ圧縮規格に従って、符号化および復号化を実行し得る。ビデオエンコーダ構成要素１０６およびビデオデコータ構成要素１１２は、例えば、１つもしくは複数のディジタルシグナルプロセッサ（ＤＳＰ）、マイクロプロセッサ、ディスクリートロジック、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のような、ハードウェア、ソフトウェアおよびファームウェアの任意の適切な組み合わせで実施され得る。

【0029】

上記したように、ＬＣＵは、符号化プロセスの間、符号化ユニット（ＣＵ）に区画化され得る。記載する実施例の説明の簡略化のため、再帰的クワッドツリー構造が、ＬＣＵをＣＵへの区画化のために前提とされる。当業者は、他の区画化構造が使用される実施例を理解するであろう。再帰的クワッドツリー構造において、ＣＵは正方形とし得る。従って、ＬＣＵもまた正方形である。ピクチャは、重複しないＬＣＵに分割される。ＣＵが正方形であるとすると、ＬＣＵ内のＣＵ構造は、フレームに適合された再帰的クワッドツリー構造であることが可能である。すなわち、ＣＵ（もしくはＬＣＵ）が区画化されるたびに、それが４つの同じサイズの正方形のブロックに分割される。さらに、所与のＣＵは、ＬＣＵのサイズ、およびＣＵが発生するＬＣＵの階層的深さにより特徴付けられることができる。最大の階層的深さは、許容される最小のＣＵ（ＳＣＵ）のサイズによって決定される。

【0030】

図２は、ＬＣＵが１２８×１２８であると仮定され、かつＳＣＵが８×８であると仮定される、再帰的クワッドツリー構造の一例を示す。このような仮定で、クワッドツリー構造の最大の階層的深さは５である。さらに、５つの可能なＣＵのサイズが許される：１２８×１２８、６４×６４、３２×３２、１６×１６、および８×８である。もし、ＬＣＵが６４×６４であると仮定され、かつＳＣＵが８×８であると仮定される場合、最大の階層的深さは４であり、４つの可能なＣＵのサイズが許される：６４×６４、１６×１６、および８×８である。

【0031】

図３Ａおよび図３Ｂは、例えば図１のビデオエンコーダ１０６のようなビデオエンコーダのブロック図を示し、ビデオエンコーダは、本明細書で説明されるようなＬＣＵのための多数の量子化パラメータを生成し、符号化する、１つもしくは複数の技術を適用するように構成される。図３Ａは、ビデオエンコーダの高いレベルのブロック図を示し、図３Ｂは、ビデオエンコーダのＬＣＵ処理構成要素３４２のブロック図を示す。

【0032】

図３Ａに示されるように、ビデオエンコーダは、符号化制御構成要素３４０、ＬＣＵ処理構成要素３４２、レート制御構成要素３４４、およびメモリ３４６を含む。入力ディジタルビデオシーケンスは、符号化制御構成要素３４０に提供される。メモリ３４６は、内部メモリ、外部メモリ、もしくはそれらの組み合わせであり得る。符号化制御構成要素３４０は、ビデオエンコーダの様々な動作を順序付ける。例えば、符号化制御構成要素３４０は、例えばＩＰＰＰ、ＩＢＢＰといった、高いレベルの符号化構造に基づくピクチャの符号化タイプ（Ｉ、ＰもしくはＢ）や階層的−Ｂを決定したり、更なる処理のためにフレームをＬＣＵに分割したりするような、フレームレベルで実行されるべき入力ビデオシーケンスの任意の処理を実行する。ＬＣＵのサイズおよびＳＣＵのサイズは、ビデオエンコーダの種々の実施例で異なることができる。さらに、ＬＣＵのサイズおよびＳＣＵのサイズは、シーケンス、ピクチャ、および／またはスライスレベルで、信号送信され得る。符号化制御構成要素３４０はまた、レート制御構成要素３４４と相互に作用し、初期符号化ユニット構造および各ＬＣＵのための初期ＱＰを決定する。

【0033】

レート制御構成要素３４４は、符号化制御構成要素３４０からＬＣＵを受け取り、かつ種々の基準をＬＣＵへ適用し、ＬＣＵの符号化においてＬＣＵ処理構成要素３４２によって使用されるべき１つもしくは複数のＱＰを決定する。より具体的には、レート制御構成要素３４４は、ＬＣＵを、種々の基準に基づき再帰的クワッドツリー構造内の種々のサイズのＣＵに区画化し、ＱＰが適用されるべきグラニュラリティを決定し、その後、さらにこれ以上分割されない各ＣＵのための、すなわち、クワッドツリーのリーフノードである各符号化ユニットのためのＱＰを計算する。ＬＣＵのＣＵ構造およびＱＰは、符号化制御構成要素３４０に提供される。

【0034】

ＬＣＵの符号化中にＬＣＵに適用されたＱＰは、圧縮されたビットストリームで信号送信される。圧縮されたビットストリームで信号送信される情報量を最小化するために、ＱＰがＬＣＵにおいて適用され得るグラニュラリティを制約することが望ましい。ＳＣＵサイズが再帰的クワッドツリー構造においてＣＵの最小サイズを設定することを思い起こされたい。幾つかの実施例では、最小のＱＰ ＣＵサイズがＬＣＵおよびＳＣＵサイズに加えて特定され得る。そのような実施例では、レート制御構成要素３４４がＬＣＵを区画化するのに使用することのできる最小のＣＵは、ＳＣＵのサイズではなく、最小のＱＰ ＣＵのサイズによって制限される。それゆえ、最小のＱＰ ＣＵサイズは、ＳＣＵよりも大きなサイズに設定され得、ＱＰが適用され得るグラニュラリティを制約する。例えば、ＬＣＵが６４×６４であると仮定され、かつＳＣＵが８×８であると仮定された場合、再帰的クワッドツリー構造において許される４つの可能なＣＵのサイズは、６４×６４、３２×３２、１６×１６、および８×８である。最小のＱＰ ＣＵのサイズの制約がなければ、レート制御構成要素３４４は、８×８程度に小さいＣＵのためのＱＰを生成することができる。しかしながら、１６×１６の最小のＱＰ ＣＵのサイズが特定される場合、レート制御構成要素３４４は、１６×１６程度に小さいＣＵのためのＱＰを生成し得るが、それよりも小さいものは生成し得ない。最小のＱＰ ＣＵのサイズは、シーケンス、ピクチャ、スライス、および／もしくはＬＣＵレベルで設定され得、それに応じて、圧縮されたビットストリームで信号送信される。

【0035】

図４は、ＬＣＵのＣＵ区画化の一例を示す。この例において、ＬＣＵは、４つのＣＵ、Ａ、Ｂ、ＣおよびＤに区画化される。ＣＵ Ａは４つのＣＵ、Ａ１、Ａ２、Ａ３およびＡ４にさらに区画化され、ＣＵ Ｄは４つのＣＵ、Ｄ１、Ｄ２、Ｄ３およびＤ４にさらに区画化される。ＣＵ Ａ２およびＤ１はまた、４つのＣＵ、それぞれ、Ａ２１、Ａ２２、Ａ２３およびＡ２４と、Ｄ１１、Ｄ１２、Ｄ１３およびＤ１４へさらに区画化される。レート制御構成要素３４４は、さらに分割されないＣＵの各々、すなわち、Ａ１、Ａ２１、Ａ２２、Ａ２３、Ａ２４、Ａ３、Ａ４、Ｂ、Ｃ、Ｄ１１、Ｄ１２、Ｄ１３、Ｄ１４、Ｄ２、Ｄ３およびＤ４について、ＱＰを計算する。

【0036】

再び図３Ａを参照すると、任意の適切な基準が、例えば、知覚的レート制御の制約、ターゲットビットレートの制約、レート歪み最適化の制約、および複雑さの考慮の、単独もしくは組み合わせなどで、レート制御構成要素３４４によって使用され得る。例えば、レート制御構成要素３４４は、ＣＵ区画化、およびＬＣＵの空間的特徴に少なくとも部分的に基づく対応するＱＰを決定し得る。周知のように、ピクチャの領域が滑らかである場合、量子化エラーは、人の目により明らかに見えるが、領域がビジーである（例えば、高テクスチャ）場合、あらゆる量子化エラーは可視ではないであろう。レート制御構成要素３４４は、ＬＣＵにおけるアクティビティを決定し、その後、アクティビティの位置／レベルに基づきＬＣＵをＣＵサイズに区画化し得る。イメージの領域のアクティビティ測定は、例えば、エッジ情報、テクスチャ情報等に基づいて決定され得る。目標は、量子化エラーを減らすため、フラット領域（アクティビティがほとんどない領域）に、より低いＱＰ値を割り当てることと、量子化エラーが隠されるようにビジー領域（高いアクティビティを有する領域）に、より高いＱＰ値を割り当てることであろう。

【0037】

例えば、上半分が空で、下半分が木々である画像を想定する。画像の上半分では、ほとんどの領域が全体的にフラットであり、それゆえ、低いＱＰ値が使用されるべきである。ＬＣＵが空のみであり得るので、画像のその部分の全体のＬＣＵについて１つのＱＰ値を使用することが可能となり得る。画像の下半分では、大部分の領域がビジーであり、それゆえ、より高いＱＰ値が使用され得る。さらに、ＬＣＵが木々のみを有し得るので、その領域の全体のＬＣＵのために１つのＱＰ値を使用することが可能である。

【0038】

しかしながら、ＬＣＵが空と木々の双方を有する遷移領域がある。そのようなＬＣＵでは、空の領域と木々の領域があり得る。そのようなＬＣＵは、アクティビティに基づきサイズが決められたＣＵに区画化され得る（クワッドツリーの符号化構造の制限内で）。例えば、ＬＣＵは４つのＣＵ、Ａ、Ｂ、ＣおよびＤに分割され、その後、各ＣＵのエリアのアクティビティレベルが分析され得る。ＣＵ、例えばＣＵ Ａが、広汎に変化するアクティビティレベルの領域を有している場合、ＱＰが適用されるエリアのアクティビティレベルの変動を減少させるために、ＣＵ Ａは、４つのＣＵ、Ａ１、Ａ２、Ａ３およびＡ４にさらに分割され得る。これらの４つのＣＵはまた、アクティビティに基づき４つのＣＵにさらに分割され得る。ＣＵの区画化が完了すると、その後、各ＣＵについてＱＰ値が計算され得る。

【0039】

符号化制御構成要素３４０は、初期ＬＣＵ ＣＵ構造に関する情報と、レート制御構成要素３４４によって決定されたＱＰとを、必要に応じて、ＬＣＵ処理構成要素３４２の様々な構成要素へ提供する。例えば、符号化制御構成要素は、適切な地点で圧縮されたビデオストリームに含めるために、ＬＣＵとＳＣＵのサイズをエントロピーエンコーダ構成要素３４０へ提供し得る。他の例では、符号化制御構成要素３４０は、量子化構成要素３０６による使用のため量子化パラメータアレイを生成し得、かつ量子化パラメータアレイをメモリ３４６に記憶し得る。量子化パラメータアレイのサイズは、ＬＣＵのＣＵの最大の可能な数に基づき決定され得る。例えば、ＳＣＵのサイズが８×８であり、ＬＣＵのサイズが６４×６４であると仮定する。それゆえ、ＬＣＵにおけるＣＵの最大の可能な数は６４である。量子化パラメータアレイは、これらの６４の可能な符号化ユニットの各々のＱＰを保持するサイズにされ、すなわち、８×８アレイである。レート制御構成要素３４４によって計算されたＱＰは、ＣＵ構造に基づき、このアレイにマップされる。量子化構成要素３０６を参照して本明細書でより詳細に説明されるように、ＬＣＵにおける任意のサイズのＣＵのＱＰが、ＬＣＵにおけるＣＵの上方左手コーナーの座標を使用して、このアレイ内に位置され得る。

【0040】

図５は、ＣＵ構造５００に基づき、量子化パラメータアレイ５０２へＱＰをマッピングする一例を示す。ＣＵ構造は、６４×６４のＬＣＵと仮定する。量子化パラメータアレイ５０２では、アレイセル内の例えば、Ａ１、Ｃ、Ｄ１１等のＣＵ識別子の存在は、そのＣＵのＱＰパラメータを表す。例えば、ＣＵ Ａ１のＱＰは、位置（０，０）、（０，１）、（１，０）および（１，１）にあり、ＣＵ Ｄ１１のＱＰは、位置（４，４）にあり、ＣＵ ＣのＱＰは、位置（４，０）、（４，１）、（４，２）、（４，３）、（５，０）、（５，１）、（５，２）、（５，３）、（６，０）、（６，１）、（６，２）、（６，３）、（７，０）、（７，１）、（７，２）、および（７，３）にある。

【0041】

再び図３Ａを参照すると、ＬＣＵ処理構成要素３４２は、符号化制御構成要素３４０から入力ビデオシーケンスのＬＣＵを受け取り、ＬＣＵを符号化して、圧縮されたビットストリームを生じさせる。上述のように、ＬＣＵ処理構成要素３４２はまた、ＣＵ構造と、レート制御構成要素３４４によって決定されたＬＣＵのＱＰとに関する情報を受け取る。ＬＣＵのＣＵ構造におけるＣＵは、深さ優先のＺスキャン順（ｄｅｐｔｈ−ｆｉｒｓｔ Ｚ−ｓｃａｎ ｏｒｄｅｒ）で、ＬＣＵ処理構成要素３４２によって処理され得る。例えば、図４のＬＣＵにおいて、ＣＵは次の順番でスキャンされる：Ａ１→Ａ２１→Ａ２１→Ａ２２→Ａ２３→Ａ３→Ａ４→Ｂ→Ｃ→Ｄ１１→Ｄ１２→Ｄ１３→Ｄ１４→Ｄ２→Ｄ３→Ｄ４。

【0042】

図３Ｂは、ＬＣＵ処理構成要素３４２の基本的な符号化アーキテクチャを示す。符号化制御ユニット３４０からのＬＣＵ３００は、動き推定構成要素３２０の１つの入力として、イントラ予測構成要素３２４の１つの入力として、そして結合器３０２（例えば、加算器、減算器など）の正入力に提供される。さらに、具体的に示されていないが、符号化制御構成要素３４０により選択された各ピクチャの予測モードが、モード選択構成要素と、エントロピーエンコーダ３３４へ提供される。

【0043】

記憶構成要素３１８は、参照データを、動き推定構成要素３２０および動き補償構成要素３２２へ提供する。参照データは、１つもしくは複数の、前に符号化されかつ復号化されたＣＵ、すなわち、再構成されたＣＵを含み得る。

【0044】

動き推測構成要素３２０は、動き推定情報を、動き補償構成要素３２２とエントロピーエンコーダ３３４へ提供する。より具体的には、動き推定構成要素３２０は、記憶構成要素３１８からの参照データを使用して、多数の一時的な予測モードに基づきＬＣＵ内のＣＵのテストを実行して、符号化コストに基づき最適な動きベクトル／予測モードを選択する。テストを実行するために、動き推定構成要素３２０は、符号化制御構成要素３４０から提供されたＣＵ構造から始めることが可能である。動き推定構成要素３２０は、予測モードのユニットサイズに応じて、ＣＵ構造で示された各ＣＵを予測ユニットに分割し、かつ各ＣＵについて各予測モードの符号化コストを計算する。

【0045】

符号化の効率のために、動き推定構成要素３２０はまた、ＣＵ構造内の１つもしくは複数のＣＵをさらに区画化することによって、ＣＵ構造を変更するように決定し得る。すなわち、最適な動きベクトル／予測モードが選択されるとき、初期ＣＵ構造でのテストに加えて、動き推定構成要素３２０はまた、初期ＣＵ構造内のより大きなＣＵを、より小さなＣＵに分割するよう選択し（再帰的クワッドツリー構造の制限内で）、かつ符号化階層のより低いレベルでの符号化コストを計算し得る。量子化構成要素３０６を参照して下記で説明されるように、ＣＵ構造に成される如何なる変更も、レート制御構成要素３４４によって計算されたＱＰがどのように適用されるかに影響しない。動き推定構成要素３２０が初期ＣＵ構造を変更する場合、修正されたＣＵ構造は、情報を必要とするＬＣＵ処理構成要素３４２内の他の構成要素へ通信される。

【0046】

動き推定構成要素３２０は、選択された１つもしくは複数の動きベクトル（ＭＶ）および各インター予測されたＣＵのための選択された予測モードを、動き補償構成要素３２３へ提供し、さらに選択された動きベクトル（ＭＶ）をエントロピーエンコーダ３３４へ提供する。動き補償構成要素３２２は、動き補償されたインター予測情報を、動き補償されたインター予測されたＣＵおよびインター予測されたＣＵのために選択された一時的な予測モードを含むセレクタスイッチ３２６へ提供する。インター予測されたＣＵの符号化コストはまた、モードセレクタ（図示しない）へ提供される。

【0047】

イントラ予測構成要素３２４は、イントラ予測情報を、イントラ予測されたＣＵと対応する空間予測モードとを含むセレクタスイッチ３２６へ提供する。すなわち、イントラ予測構成要素３２４は、バッファ３２８からのピクチャの以前に符号化された隣接するＣＵを用いたＬＣＵのＣＵへの多数の空間予測モードに基づくテストが実行される空間予測を実行して、符号化コストに基づきイントラ予測されたＣＵを生成するための最適な空間予測モードを選択する。テストを実行するために、イントラ予測構成要素３２４は、符号化制御構成要素３４０によって提供されるＣＵ構造で開始し得る。イントラ予測構成要素３２４は、ＣＵ構造に示された各ＣＵを、空間予測モードのユニットサイズに応じて予測ユニットに分割し、かつ各ＣＵのための各予測モードの符号化コストを計算することができる。

【0048】

符号化の効率のために、イントラ予測構成要素３２４はまた、ＣＵ構造の１つもしくは複数のＣＵをさらに区画化することによって、ＣＵ構造を変更するよう決定し得る。すなわち、最適な予測モードが選択されたとき、初期ＣＵ構造でテストすることに加えて、イントラ予測構成要素３２４はまた、初期ＣＵ構造内のより大きなＣＵを、より小さなＣＵに分割するように選択し（再帰的クワッドツリー構造の制限内で）、かつ符号化階層のより低いレベルでの符号化コストを計算し得る。量子化構成要素３０６を参照して下記で説明されるように、ＣＵ構造に成される如何なる変更も、レート制御構成要素３４４によって計算されたＱＰ値がどのように適用されるかに影響しない。イントラ予測構成要素３２４が初期ＣＵ構造を変更する場合、修正されたＣＵ構造は、情報を必要とするＬＣＵ処理構成要素３４２内の他の構成要素に通信される。具体的に示されないが、セレクタスイッチ３２６へ提供された各イントラ予測されたＣＵの空間予測モードはまた、変換構成要素３０４へ提供される。さらに、イントラ予測されたＣＵの符号化コストはまた、モードセレクタへ提供される。

【0049】

セレクタスイッチ３２６は、ＣＵの差分メトリクスとモードセレクタ構成要素によって提供されたピクチャ予測モードとに基づき、動き補償構成要素３２２からの動き補償されたインター予測されたＣＵと、イントラ予測構成要素３２４からのイントラ予測されたＣＵとの間の選択をする。セレクタスイッチ３２６の出力、すなわち、予測されたＣＵは、結合器３０２の負の入力へおよび遅延構成要素３３０へ提供される。遅延構成要素３３０の出力は、他の結合器（すなわち、加算器）３３８へ提供される。結合器３０２は、現在のＣＵから予測されたＣＵを減算して、残余のＣＵを変換構成要素３０４へ提供する。結果の残余のＣＵは、オリジナルのＣＵのピクセル値と予測されたＣＵのピクセル値間の差分を定量化する一組のピクセルの差分値である。

【0050】

変換構成要素３０４は、残余のピクセル値を変換係数に変換するために、残余のＣＵのユニット変換を実行し、変換係数を量子化構成要素３０６へ提供する。量子化構成要素３０６は、残余のＣＵの変換係数のためのＱＰを決定し、そのＱＰに基づき変換係数を量子化する。例えば、量子化構成要素３０６は、変換係数の値を、ＱＰ値から派生される量子化スケール（Ｑｓ）によって除算され得る。幾つかの実施例では、量子化構成要素３０６は、所望の数の量子化ステップを用いることによって係数を表し、使用されたステップの数（もしくは、相応のＱｓ値）は、残余を表すのに使用されるビット数を決定する。レート歪み最適化量子化のような、量子化の他のアルゴリズムが量子化構成要素３０６によって用いられてもよい。

【0051】

量子化構成要素３０６は、符号化制御構成要素３４０によって提供された初期ＣＵ構造に基づき、残余のＣＵの変換係数のためのＱＰを決定する。すなわち、残余のＣＵが初期ＣＵ構造内のＣＵに対応する場合、量子化構成要素３０６は、レート制御構成要素３４４によってそのＣＵのために計算されたＱＰを使用する。例えば、図４の例を参照すると、予測処理中に、さらなる区画化をすることなく残余ＣＵがＣＵ Ｃから生成された場合、ＣＵ ＣのためのＱＰは、残余のＣＵを量子化するために使用される。

【0052】

残余のＣＵが、予測処理中に生成されたＣＵに対応する場合、量子化構成要素３０６は、予測処理中に小区分化されたオリジナルのＣＵのＱＰを使用して、残余のＣＵのためのＱＰとしてＣＵをつくる。例えば、図４のＣＵ Ｃが、図６に示されるような予測処理中にさらに区画化され、かつ残りのＣＵが、ＣＵ Ｃ１、Ｃ２、Ｃ３、もしくはＣ４の１つに対応する場合、ＣＵ ＣのためのＱＰは、残余のＣＵを量子化するために使用される。最小のＱＰ ＣＵサイズが特定される実施例では、残余のＣＵが、初期ＣＵ構造においてつくられたＣＵに対応し、かつ最小のＱＰ ＣＵサイズよりも小さい場合、量子化構成要素３０６は、レート制御構成要素３４４によって区画化された最小のＱＰ ＣＵと同じサイズのオリジナルのＣＵのＱＰを使用して、ＣＵを生成する。例えば、図４のＬＣＵにおいて、ＬＣＵサイズが６４×６４であり、かつ最小のＱＰ ＣＵサイズが３２×３２であって、残余のＣＵが８×８のＣＵ Ａ２１、Ａ２２、Ａ２３、もしくはＡ２４のうちの１つに対応する場合、ＣＵ Ａ２のためのＱＰが残余のＣＵを量子化するために使用される。

【0053】

上述したように、符号化制御構成要素３４０は、メモリ３４６に記憶された量子化パラメータアレイを生成し得る。量子化構成要素３０６は、残余のＣＵ係数のためのＱＰを決定するために、このマトリックスを使用することができる。すなわち、残余のＣＵに対応するＣＵの左上コーナーの座標は、そのＣＵがオリジナルの符号化構造にあろうと、もしくは、予測処理中に加えられたものであろうと、量子化パラメータアレイに適切なＱＰを位置させるために使用され得る。概して、量子化パラメータアレイの適切なＱＰの座標を計算するために、ｘ座標は、ＳＣＵの幅で除算され、かつｙ座標はＳＣＵの高さで除算され得る。

【0054】

例えば、図５のＣＵ構造５００および量子化パラメータアレイ５０２を考える。この例にでは、ＳＣＵは８×８である。ＣＵ Ａ４の左上コーナーの座標は（１６，１６）である。それゆえ、適切なＱＰを保持する量子化パラメータアレイ５０２の位置の座標は、（２，２）である。図６のＣＵ構造をここで参照すると、この例のＣ１、Ｃ２、Ｃ３およびＣ４が予測処理中にＣＵ構造に加えられるべきものとして仮定されることを思い起こされたい。ＣＵ Ｃ４の左上コーナーの座標は、（４８，１６）である。それゆえ、最適なＱＰを保持する量子化パラメータマトリックス５０２内の位置座標は、（６，２）である。

【0055】

ＤＣＴ変換は、残余信号のエネルギーを、周波数領域に再分配するため、量子化された変換係数は、スキャン構成要素３０８によりそれらのスキャン順から取り出され、かつ、例えば、重要な係数で開始し、有意性が小さい係数が後に続くように、有意性によって整列される。ＣＵのためのヘッダー情報と共に、スキャン構成要素３０８を介して提供されたＣＵのための順序付けされた量子化された変換係数が、エントロピーエンコーダ３３４によって符号化され、これは、圧縮されたビットストリームを、伝送または記憶のためにビデオバッファ３３６へ提供する。エントロピーエンコーダ３３４によって実行されるエントロピー符号化は、例えば、コンテクストアダプティブ可変長符号化（ＣＡＶＬＣ）、コンテクストアダプティブバイナリ算術符号化（ＣＡＢＡＣ）、ランレングス符号化といった、適切なエントロピー符号化技術を使用し得る。

【0056】

エントロピーエンコーダ３３４は、圧縮されたビットストリームに符号化されたＣＵを生成するために使用されたＣＵ構造に関する情報、および符号化されたＣＵの量子化で使用されたＱＰを示す情報を符号化する。幾つかの実施例では、ＬＣＵのＣＵ構造は、ＬＣＵとＳＣＵのサイズと、圧縮されたビットストリームの一連のスプリットフラグとを符号化することによって、デコーダに信号送信される。ＬＣＵおよびＳＣＵによって定義された再帰的クワッドツリー構造内のＣＵがＣＵ構造においてスプリット、すなわち区画化、される場合、スプリットを示す値、例えば１、を有するスプリットフラグが、圧縮されたビットストリームで信号搬送される。ＣＵがスプリットされず、かつＣＵのサイズがＳＣＵのサイズよりも大きい場合、スプリットがないことを示す値、例えば０、を有するスプリットフラグが、圧縮されたビットストリームで信号搬送される。スプリットされないＣＵに特有の情報は、ビットストリーム内のスプリットフラグに続き得る。ＣＵに特有の情報は、ＣＵヘッダー情報（予測モード、動きベクトル差、符号化ブロックフラグ情報等）、ＱＰ情報、および係数情報を含み得る。係数情報は、すべてのＣＵ係数がゼロである場合は、含まれない場合がある。また、ＣＵのサイズがＳＣＵと同じサイズである場合、スプリットフラグは、そのＣＵのためのビットストリームにおいて符号化されない。

【0057】

図７は、ＬＣＵサイズが６４×６４であり、かつＳＣＵサイズが８×８であると仮定した図４のＬＣＵのＣＵ構造を信号搬送する一例を示す。この例は、すべてのＣＵが少なくとも１つの非ゼロの係数を有すると仮定する。本例では、スプリットフラグＳ０は、ＬＣＵが４つのＣＵ：Ａ、Ｂ、ＣおよびＤにスプリットされることを示すために１に設定される。スプリットフラグＳ１は、ＣＵ Ａが４つのＣＵ：Ａ１、Ａ２、Ａ３、およびＡ４にスプリットされることを示すために１に設定される。スプリットフラグＳ２は、ＣＵ Ａ１がスプリットされないことを示すために０に設定される。ＣＵ Ａ１に特有の情報は、スプリットフラグＳ２に続く。スプリットフラグＳ３は、ＣＵ Ａ２が４つのＣＵ：Ａ２１、Ａ２２、Ａ２３およびＡ２４にスプリットされることを示すために１に設定される。ＣＵ Ａ２１、Ａ２２、Ａ２３およびＡ２４は、８×８であり、それゆえ、スプリットフラグは、これらのＣＵのために符号化されない。各々のＣＵに特有の情報は、スプリットフラグＳ３に続く。スプリットフラグＳ４は、ＣＵ Ａ３がスプリットされないことを示すために０に設定される。

【0058】

エントロピーエンコーダ３３４は、圧縮されたビットストリーム内の各符号化されたＣＵのための符号化されたＱＰ情報を含む。幾つかの実施例では、エントロピーエンコーダ３３４は、デルタＱＰ値、すなわち、ＱＰ値と予測されたＱＰ値間の差分、の形態でこのＱＰ情報を含む。幾つかの実施例では、エントロピーエンコーダ３３４は、ｄＱＰ＝ＱＰｃｕｒｒ−ＱＰｐｒｅｖのように、ＣＵのためのデルタＱＰを計算する。ここでＱＰｃｕｒｒは、ＣＵのためのＱＰ値であり、ＱＰｐｒｅｖは、例えば、深さ優先のＺスキャン順序といった、スキャン順のＣＵの直前のＣＵのためのＱＰ値である。この場合、ＱＰｐｒｅｖは、予測されたＱＰである。例えば、図４を参照すると、ＣＵ ＢのためのデルタＱＰは、ＱＰＢ−ＱＰＡ４であり、ＣＵ Ｄ２のためのデルタＱＰは、ＱＰＤ２−ＱＰＤ１４である。このようにデルタＱＰを計算することは、レート制御が知覚的な基準に基づかないとき、所望され得る。

【0059】

幾つかの実施例では、エントロピーエンコーダ３３４は、１つもしくは複数の空間的に隣接するＱＰのＱＰ値の関数として、デルタＱＰのための値を計算する。すなわち、デルタＱＰ＝ＱＰｃｕｒｒ−ｆ（空間的に隣接するＣＵのＱＰ）である。この場合、ｆ（）は、予測されたＱＰ値を提供する。このようにデルタＱＰを計算することは、レート制御が知覚的基準に基づくとき、所望され得る。関数ｆ（）の例は、ｆ（）＝左に隣接するＣＵのＱＰ、およびｆ（）＝左に隣接するＣＵのためのＱＰ値と上方に隣接するＣＵのＱＰ値の平均を含む。空間的に隣接するＣＵのＱＰのより高度な関数が使用されることもあり、１つもしくは２つ以上の周辺ＣＵのＱＰ値を使用することを含む。

【0060】

ＬＣＵ内で、ＣＵの空間的に隣接するＣＵは、それらのＣＵがＬＣＵのＣＵ構造内のＣＵに隣りあうものとして定義され得る。例えば、図４では、ＣＵ Ａ２２、ＣＵ Ａ２４、およびＣＵ Ａ４は、ＣＵ Ｂの左隣りのＣＵである。また、ＣＵ Ａ２３およびＣＵ Ａ２４は、ＣＵ Ａ４の上隣りのＣＵである。ＬＣＵの左端および上端のＣＵにとって、ピクチャ内のＬＣＵのそれぞれ左もしくは上方に対してＬＣＵの隣接するＣＵは、それぞれ左隣りおよび上隣りのＣＵとみなされる。

【0061】

幾つかの実施例では、デルタＱＰを計算するために、予測されたＱＰ値を計算する１つ以上のモードが提供され得る。例えば、エントロピーエンコーダ３３４は、デルタＱＰを計算する次の２つの異なるモードを提供し得る。ｄＱＰ＝ＰＱｃｕｒｒ−ＱＰｐｒｅｖ、およびｄＱＰ＝ＱＰｃｕｒｒ−ｆ（空間的に隣接するＣＵのＱＰ）。すなわち、エントロピーエンコーダ３３４は、以下の疑似符号毎のようにデルタＱＰを計算し得る。
Ｉｆ（ｑｐ＿ｐｒｅｄｉｃｔｏｒ＿ｍｏｄｅ＝＝１）
ｄｅｌｔａＱＰ＝（ＱＰ ｏｆ ｃｕｒｒｅｎｔ ＣＵ）−（ＱＰ ｏｆ ｐｒｅｖｉｏｕｓ ＣＵ ｉｎ ｃｏｄｉｎｇ ｏｒｄｅｒ）；
ｅｌｓｅ ｉｆ（ｑｐ＿ｐｒｅｄｉｃｔｏｒ＿ｍｏｄｅ＝＝２）
ｄｅｌｔａＱＰ＝（ＱＰ ｏｆ ｃｕｒｒｅｎｔ ＣＵ）−（ＱＰ ｏｆ ｓｐａｔｉａｌｌｙ ｎｅｉｇｈｂｏｒｉｎｇ ＣＵｓ）
ここで、ｑｐ＿ｐｒｅｄｉｃｔｏｒ＿ｍｏｄｅは、ビデオエンコーダの他の場所で選択される。デルタＱＰ値を計算する２つ以上のモードが同様の方式で提供され得る。さらに、デルタＱＰ、すなわちｑｐ＿ｐｒｅｄｉｃｔｏｒ＿ｍｏｄｅ、を計算するために使用されるモードは、例えば、シーケンス、ピクチャ、スライス、および／もしくはＬＣＵレベルといった、適切なレベルで圧縮されたビットストリームで信号送信され得る。

【0062】

幾つかの実施例では、エントロピーエンコーダ３３４は、圧縮されたビットストリームにおいて各ＣＵのためのデルタＱＰ値を符号化する。例えば、図７を参照すると、デルタＱＰ値は、ＣＵ Ａ１に特有の情報に、ＣＵ Ａ２１に特有の情報に、ＣＵ Ａ２２に特有の情報等に含まれ得る。幾つかの実施例では、最小のＱＰ ＣＵサイズが特定される場合、デルタＱＰ値は、サイズが最小のＱＰ ＣＵに等しいかそれよりも大きい、少なくとも１つの非ゼロ係数を有する各ＣＵのためのＣＵ特有情報において符号化される。最小のＱＰ ＣＵよりも小さなこれらのＣＵにとって、デルタＱＰは、ノンリーフ（ｎｏｎ−ｌｅａｆ）ＣＵレベルで符号化される。最小のＱＰ ＣＵのサイズはまた、適切な地点でビットストリームに符号化される。図８は、ＬＣＵのサイズが６４×６４、ＳＣＵのサイズが８×８、最小のＱＰ ＣＵサイズが３２×３２であり、各ＣＵが少なくとも１つの非ゼロ係数を有すると仮定した図４のＬＣＵのＣＵ構造のためのデルタＱＰを信号送信する一例を示す。ＣＵ Ａ、Ｂ、ＣおよびＤの各々は３２×３２であり、それゆえ、ｄＱＰｘで示すデルタＱＰは、より小さなあらゆるＣＵのためにではなく、これらのＣＵのために、信号送信される。

【0063】

図３Ｂを再び参照すると、エンコーダの内部には内蔵されたデコーダがある。任意の準拠デコーダは、圧縮されたビットストリームから画像を再構成するよう期待されるので、内蔵されたデコーダは、同じ有用性をビデオエンコーダへ提供する。再構成された入力の知識は、ビデオエンコーダに、後続のフレームを構成するために適切な残余のエネルギーを伝送することを可能にする。再構成された入力、すなわち、参照データ、を決定するため、スキャン構成要素３０８を介して提供されたＣＵのための順序付けられた量子化された変換係数は、逆スキャン構成要素３１０によって、それらのオリジナルのポスト変換配列に戻され、その出力は、逆量子化構成要素３１２に提供され、これは、推定された変換された情報、すなわち、変換構成要素３０４から生じる変換の推定されたもしくは再構成されたバージョン、を出力する。幾つかの実施例では、ＣＵのためのＱＰは、量子化構成要素３０６によって逆量子化構成要素３１２に通信される。幾つかの実施例では、逆量子化構成要素３１２は、上述したように、量子化パラメータアレイからＱＰを決定する。推定された変換された情報は、逆変換構成要素３１４へ提供され、これは、残余のＣＵの再構成されたバージョンを表す、推定された残余の情報を出力する。再構成された残余のＣＵは、結合器３３８へ提供される。

【0064】

結合器３３８は、遅延され選択されたＣＵを再構成された残余のＣＵに加算して、フィルタリングされていない再構成されたＣＵを生成し、これは、再構成されたピクチャ情報の一部となる。再構成されたピクチャ情報は、バッファ３２８を介して、イントラ予測構成要素３２４へ、およびフィルタ構成要素３１６へ提供される。フィルタ構成要素３１６は、インループフィルタであり、これは、再構成されたフレーム情報をフィルタリングし、フィルタリングされた再構成されたＣＵ、すなわち参照データ、を記憶構成要素３１８へ提供する。

【0065】

幾つかの実施例では、デルタＱＰを計算するための上記の技術は、ビデオエンコーダの他の構成要素において使用され得る。例えば、量子化構成要素が、ＣＵの全体のレートおよび歪みを最小化する、レート歪みの最適化された量子化を使用する場合（全体のレート＝（ｄＱＰ）のレート＋（ＣＵ）のレート）、これらの技術の１つもしくは両方が、必要とされるデルタＱＰ値を計算するためにこれらの構成要素によって使用され得る。幾つかの実施例では、レート制御構成要素３４４によってオリジナルに生成されたＱＰは、量子化の前に、ビデオエンコーダの１つもしくは複数の構成要素によって、アップまたはダウンの調整がされ得る。

【0066】

図９は、本発明の１つもしくは複数の実施例による、ビデオデコーダ、すなわちビデオデコーダ１１２、のブロック図を示す。ビデオデコーダは、図３Ａおよび図３Ｂのビデオエンコーダにより実行される符号化動作、すなわちエントロピー符号化、量子化、変換および予測を、反転するよう動作して、オリジナルのビデオシーケンスのフレームを再生する。ビデオエンコーダの上記の観点から、当業者は、詳細な説明がなくても、ビデオデコーダの構成要素の機能性を理解するであろう。

【0067】

図９のビデオデコーダでは、エントロピーデコード構成要素９００が、エントロピー符号化されたビデオビットストリームを受け取り、エントロピー符号化を反転し、符号化されたＣＵおよびＬＣＵの符号化されたＣＵ構造を回復させる。デコードされた情報は、適切に、ビデオデコーダの他の構成要素に通信される。エントロピーデコード構成要素９００によって実行されるエントロピー復号化は、ビットストリーム内の符号化されたＱＰ値を検出すること、および逆量子化構成要素９０２に通信するためにそれらの値を復号化することを含む。幾つかの実施例では、エントロピーデコード構成要素９００は、ビットストリームのデルタＱＰ値を検出し、かつ、逆量子化構成要素９０２に通信するために、デルタＱＰ値からの再構成されたＱＰ値を計算し得る。例えば、ビデオエンコーダが、デルタＱＰを、ＱＰｃｕｒｒ−ＱＰｐｒｅｖとして計算し、ここで、ＱＰｐｒｅｖが、符号化順序で前のＣＵのＱＰである場合、エントロピーデコード構成要素９００は、ＱＰを、デルタＱＰ＋ＱＰｐｒｅｖとして計算し、ここで、ＱＰｐｒｅｖは、ビットストリーム内の直前のＣＵのためにエントロピーデコード構成要素９００によって計算された、再構成されたＱＰである。この計算のため、各符号化されたＣＵがエントロピー復号化され、かつ再構成されたＱＰがそのＣＵのために決定されるので、エントロピーデコード構成要素９００は、ＱＰｐｒｅｖの値を記憶しかつ更新し得る。

【0068】

ビデオエンコーダが、デルタＱＰを、ＱＰｃｕｒｒ−ｆ（空間的に隣接するＣＵのＱＰ）として計算する場合、エントロピーデコード構成要素９００は、再構成されたＱＰを、デルタＱＰ＋ｆ（空間的に隣接するＣＵのｒＱＰ）として計算し、ここで、ｒＱＰは、再構成されたＱＰである。また、ビデオエンコーダがデルタＱＰを計算するための多数のモードをサポートする場合、ビデオデコーダは、ビットストリームで信号送信されたモードに応じて、デルタＱＰから再構成されたＱＰを計算し得る。

【0069】

デルタＱＰ＝ＱＰｃｕｒｒ−ｆ（空間的に隣接するＣＵのｒＱＰ）の計算を実行するため、エントロピーデコード構成要素９００は、適切な空間的に隣接するＣＵの再構成されたＱＰを記憶することができる。例えば、隣接するＣＵの再構成されたＱＰは、前述の量子化パラメータアレイと同様に、再構成された量子化パラメータアレイに記憶され得る。

【0070】

ｆ（）が左隣りのＣＵのｒＱＰと同等であると仮定して、さらに図１０に例示のＬＣＵ構造１０００および１００２を参照して、例示の再構成されたＱＰ計算が以下で説明される。本例では、ＬＣＵ ０ １０００はデコードされ、かつその再構成されたＱＰは、再構成された量子化パラメータアレイ１００４に記憶される。再構成されたＱＰが、ＬＣＵ １ １００２のために計算されるので、それらは、ＬＣＵのための再構成された量子化パラメータアレイに記憶され得る。下記の計算は、ＬＣＵ １ １００２のいくつかのＣＵのための再構成されたＱＰ値が、左隣りのＣＵからどのように再構成され得るかを実証する。：
ｒＱＰ（Ａ１）＝ｄＱＰ（Ａ１）＋ｒＱＰ（Ｂ２２ ｏｆ ＬＣＵ ０ １０００）
ｒＱＰ（Ａ２１）＝ｄＱＰ（Ａ１）＋ｒＱＰ（Ａ１）
ｒＱＰ（Ａ２２）＝ｄＱＰ（Ａ２２）＋ｒＱＰ（Ａ２１）
ｒＱＰ（Ａ２３）＝ｄＱＰ（Ａ２３）＋ｒＱＰ（Ａ１）
ｒＱＰ（Ａ２４）＝ｄＱＰ（Ａ２４）＋ｒＱＰ（Ａ２３）
ｒＱＰ（Ａ３）＝ｄＱＰ（Ａ３）＋ｒＱＰ（Ｂ４２ ｏｆ ＬＣＵ ０ １０００）
ｒＱＰ（Ａ４）＝ｄＱＰ（Ａ４）＋ｒＱＰ（Ａ３）
本例では、再構成された量子化パラメータアレイ１００４（Ｂ２２、Ｂ２４、Ｂ４２、Ｂ４４、Ｄ２２、Ｄ２４、Ｄ４２、Ｄ４４）の左の列は、すべて、予測ｆ（）をＬＣＵ １ １００２に適用することが要求される。左隣りのＣＵが、ピクチャの初期ＬＣＵの場合に見られるように、利用可能でない場合、予め規定されたＱＰ値が使用され得るか、あるいはＣＵ符号化の順序において再構成されたＱＰ値が使用され得る。

【0071】

図９を再び参照すると、逆量子化構成要素９０２は、再構成されたＱＰ値に基づき残余のＣＵの残余係数を逆量子化する。逆変換構成要素９０４は、逆量子化構成要素９０２からの周波数領域のデータを残余のＣＵに戻すように変換する。すなわち、逆変換構成要素９０４は、逆ユニット変換、すなわち、符号化のために使用されたユニット変換の反転、を逆量子化された残余の係数に適用して、残余のＣＵを生成する。

【0072】

残余のＣＵは、加算構成要素９０６の１つの入力を提供する。加算構成要素９０６の他方の入力は、モードスイッチ９０８から到来する。インター予測モードが、符号化されたビデオストリームで信号送信されるとき、モードスイッチ９０８は、動き補償構成要素９１０から予測ブロックを選択し、かつ、イントラ予測が信号送信されたとき、モードスイッチは、イントラ予測構成要素９１４から予測ブロックを選択する。動き補償構成要素９１０は、記憶構成要素９１２から参照データを受け取り、エンコーダによって計算されかつ符号化されたビデオビットストリームで伝送された動き補償を参照データに印加して、予測されたＣＵを生成する。イントラ予測構成要素９１４は、現在のピクチャから、前にデコードされた予測されたＣＵを受け取り、符号化されたビデオビットストリームで伝送された空間予測モードによって信号送信されたようにエンコーダによって計算されたイントラ予測を、前にデコードされ予測されたＣＵに適用して、予測されたＣＵを生成する。

【0073】

加算構成要素９０６は、選択された予測されたＣＵおよび残余のＣＵを加算することにより、デコードされたＣＵを生成する。加算構成要素９０６の出力は、インループフィルタ構成要素９１６の入力を提供する。インループフィルタ構成要素９１６は、符号化処理のブロックの性質によりつくられたアーチファクトを平滑化して、デコードされたフレームの視覚的な品質を改善する。インループフィルタ構成要素９１６の出力は、ビデオビットストリームのデコードされたフレームである。各デコードされたＣＵは、参照データとして使用されるよう記憶構成要素９１２に記憶される。

【0074】

幾つかの実施例では、ＣＵよりも小さなユニット変換が使用され得る。そのような実施例では、ビデオエンコーダは、ＣＵを変換ユニットにさらに区画化し得る。例えば、ＣＵは、ＣＵサイズに適合された再帰的クワッドツリー構造に従い、より小さな変換ユニットに区画化され得る。ＣＵの変換ユニット構造は、ＬＣＵ ＣＵ構造が変換スプリットフラグを使用するのと同様の方式で、デコーダに信号送信される。また、このような実施例では、デルタＱＰ値が変換ユニットレベルで計算および信号送信され得る。幾つかの実施例では、多数の量子化パラメータがＬＣＵのために提供されるか否かを示すフラグは、例えば、シーケンス、ピクチャ、および／またはスライスの適切なレベルで信号送信され得る。

【0075】

図１１は、１つもしくは複数の実施例による、ビデオエンコーダにおけるＬＣＵのための多数の量子化パラメータを生成および符号化するための方法のフローチャートである。最初に、ＬＣＵが受け取られる（１１００）。その後、様々な基準がＬＣＵに適用されて、ＬＣＵのＣＵ構造を決定し、ＱＰが、ＣＵ構造１１０２内のＣＵのために計算される。例えば、上述したように、ＬＣＵは、種々の基準に基づく再帰的クワッドツリー構造内で、種々のサイズのＣＵに分割され得、ＱＰ値が適用されるべきグラニュラリティを決定、すなわち、ＬＣＵのためのＣＵ構造を決定する。その後、量子化パラメータが、ＣＵ構造内の各ＣＵのために計算される。

【0076】

それから、ＣＵ構造内のＣＵが、対応するＱＰ１１０４を使用して符号化される。例えば、ブロックベースの符号化プロセス、すなわち、予測、変換、および量子化、がＣＵ構造内の各ＣＵで実行される。予測、変換、および量子化は、上述したように、各ＣＵで実行され得る。

【0077】

ＣＵの符号化に使用されるＱＰもまた符号化される（１１０６）。例えば、ＣＵを符号化するのに使用されるＱＰを信号送信するために、デルタＱＰが計算され得る。デルタＱＰ値は、上述のように計算され得る。符号化されたＱＰ、符号化されたＣＵ、およびＣＵ構造は、その後、エントロピー符号化されて、圧縮されたビットストリーム１１０８の一部を生成する。符号化されたＱＰ、符号化されたＣＵ、およびＣＵ構造は、上述のように、圧縮されたビットストリームにおいて信号で信号搬送され得る。

【0078】

図１２は、１つもしくは複数の実施例による、ビデオデコーダにおけるＬＣＵのための多数の量子化パラメータをデコードするための方法のフローチャートである。まず、符号化されたＣＵ構造および符号化されたＱＰを含み得る、符号化されたＬＣＵが受け取られる（１２００）。符号化されたＣＵ構造および符号化されたＱＰは、上述のように、ビデオエンコーダによって生成され得る。その後、符号化されたＬＣＵの符号化されたＣＵのための再構成されたＱＰが、符号化されたＱＰに基づき計算される（１２０２）。再構成されたＱＰは、上記したように計算され得る。その後、符号化されたＬＣＵは、符号化されたＣＵ構造および再構成されたＱＰに基づきデコードされる（１２０４）。例えば、符号化されたＬＣＵの符号化された符号化ユニットは、上記したように、ビデオエンコーダによって使用されたブロックベースの符号化プロセスを反転するブロックベースのデコードプロセスを用いてデコードされ得る。

【0079】

本開示で説明された技術は、ハードウェア、ソフトウェア、ファームウェア、もしくはそれらの組合せに実施され得る。ソフトウェアに実施される場合、当該ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、もしくはディジタルシグナルプロセッサ（ＤＳＰ）のような、１つもしくは複数のプロセッサで実行され得る。本技術を実行するソフトウェアは、最初に、コンパクトディスク（ＣＤ）、ディスケット、テープ、ファイル、メモリ、もしくはその他の任意のコンピュータ読取り可能な記憶装置のような、コンピュータ読取り可能な媒体に記憶され、そして、プロセッサにロードされて実行され得る。幾つかのケースでは、ソフトウェアはまた、コンピュータ読出し可能な媒体およびコンピュータ読出し可能な媒体ためのパッケージング材料を含むコンピュータプログラム製品で販売されるものでもよい。幾つかのケースでは、ソフトウェア命令は、着脱可能なコンピュータ読出し可能な媒体（例えば、フロッピ―ディスク、光ディスク、フラッシュメモリ、ＵＳＢキー）を介する、他のディジタルシステム等でコンピュータ読出し可能な媒体から伝送パスを介する等で分配され得る。

【0080】

本明細書に記載の方法およびエンコーダの実施例は、異なるタイプのディジタルシステム（例えば、デスクトップコンピュータ、ラップトップコンピュータ、モバイル（すなわちセルラー）電話のようなハンドヘルドデバイス、パーソナルディジタルアシスタント（ＰＤＡ）、ディジタルカメラ等）のために実施され得る。図１３は、本明細書に記載した技術を用いるように構成され得るディジタルシステム（例えば、モバイルセルラー電話）１３００のブロック図である。

【0081】

図１３に示されるように、信号処理ユニット（ＳＰＵ）１３０２は、埋め込みメモリおよびセキュリティ特徴を含むディジタルシグナル信号処理システム（ＤＳＰ）を含む。アナログベースバンドユニット１３０４は、ハンドセットマイクロフォン１３１３ａから音声データストリームを受信し、ハンドセットモノスピーカ１３１３ｂに音声データストリームを送信する。アナログベースバンドユニット１３０４はまた、マイクロフォン１３１４ａから音声データストリームを受信し、モノヘッドセット１３１４ｂへ音声データストリームを送信する。アナログベースバンドユニット１３０４およびＳＰＵ１３０２は、別々のＩＣであり得る。多くの実施例において、アナログベースバンドユニット１３０４は、プログラム可能なプロセッサコアを内蔵しないが、ＳＰＵ１３０２で動作するソフトウェアによってセットアップされている、オーディオパス、フィルタ、ゲイン等の構成に基づき、処理を実行する。

【0082】

ディスプレイ１３２０はまた、ローカルカメラ１３２８から、もしくは、ＵＳＢ１３２６やメモリ１３１２のような他のソースから受信したピクチャおよびビデオシーケンスを表示することができる。ＳＰＵ１３０２はまた、ＲＦトランシーバ１３０６もしくはカメラ１３２６を介して、セルラーネットワークのような様々なソースから受信されるビデオシーケンスをディスプレイ１３２０へ送信することができる。ＳＰＵ１３０２はまた、エンコーダユニット１３２２を介してコンポジット出力端子１３２４で外部ディスプレイユニットへビデオシーケンスを送信することができる。エンコーダユニット１３２２は、ＰＡＬ／ＳＥＣＡＭ／ＮＴＳＣビデオ規格に従う符号化を提供することができる。

【0083】

ＳＰＵ１３０２は、ビデオの符号化および復号化に必要とされる計算動作を実行する機能を含む。１つもしくは複数の実施例では、ＳＰＵ１３０２は、本明細書に記載したような符号化プロセス中に、ＬＣＵのための複数の量子化パラメータを生成および符号化するための１つもしくは複数の技術を適用する計算動作を実行するよう構成される。当該技術を実装するソフトウェア命令は、メモリ１３１２に記憶され得、例えば、ローカルカメラ１３２８によってキャプチャーされたビデオシーケンスの符号化の一部として、ＳＰＵ１３０２により実行され得る。幾つかの実施例では、受信した符号化されたビデオシーケンスのデコードや、メモリ１３１２に記憶された符号化されたビデオシーケンスのデコードの一部として、本明細書に記載したように、ＳＰＵ１３０２は、ＬＣＵのための多数の量子化パラメータをデコードする１つもしくは複数の技術を適用するための計算動作を実行するよう構成される。本技術を実装するソフトウェア命令は、メモリ１３１２に記憶され得、ＳＰＵ１３０２によって実行され得る。

【0084】

本フローチャートのステップは、単に例示のために具体的なシーケンスで説明されている。異なるシーケンスのステップを使用する代替の実施例もまた実行され得る。当業者は、他の多くの実施例および変形がまた、請求される発明の範囲内で可能であることを理解するであろう。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】