特許 6199462 ハイブリッドなビデオ符号化における予測誤差の適応符号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6199462

(24)【登録日】2017年9月1日

(45)【発行日】2017年9月20日

(54)【発明の名称】ハイブリッドなビデオ符号化における予測誤差の適応符号化

(51)【国際特許分類】

   H04N 19/91 20140101AFI20170911BHJP

   H04N 19/12 20140101ALI20170911BHJP

   H04N 19/176 20140101ALI20170911BHJP

   H04N 19/61 20140101ALI20170911BHJP

   H04N 19/503 20140101ALI20170911BHJP

【ＦＩ】

   H04N19/91

   H04N19/12

   H04N19/176

   H04N19/61

   H04N19/503

【請求項の数】6

【外国語出願】

【全頁数】13

(21)【出願番号】特願2016-183299(P2016-183299)

(22)【出願日】2016年9月20日

(62)【分割の表示】特願2014-138035(P2014-138035)の分割

【原出願日】2006年12月22日

(65)【公開番号】特開2016-213904(P2016-213904A)

(43)【公開日】2016年12月15日

【審査請求日】2016年9月20日

(31)【優先権主張番号】60/766,300

(32)【優先日】2006年1月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】508207321

【氏名又は名称】マティアス・ナロシュケ

【氏名又は名称原語表記】Ｍａｔｔｈｉａｓ ＮＡＲＲＯＳＣＨＫＥ

(73)【特許権者】

【識別番号】508207310

【氏名又は名称】ハンス−ゲオルク・ムスマン

【氏名又は名称原語表記】Ｈａｎｓ−Ｇｅｏｒｇ ＭＵＳＭＡＮＮ

(74)【代理人】

【識別番号】100101454

【弁理士】

【氏名又は名称】山田 卓二

(74)【代理人】

【識別番号】100081422

【弁理士】

【氏名又は名称】田中 光雄

(74)【代理人】

【識別番号】100125874

【弁理士】

【氏名又は名称】川端 純市

(72)【発明者】

【氏名】マティアス・ナロシュケ

(72)【発明者】

【氏名】ハンス−ゲオルク・ムスマン

【審査官】 坂東 大五郎

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

２つの符号化方法Ａ及びＢの間で切り替えることができる符号化器において、ハイブリッドなビデオ符号化を用いてビデオ信号を符号化する方法であって、
上記符号化方法Ａによって、周波数領域への変換及びその後の量子化が実行され、上記符号化方法Ｂによって、空間領域における量子化が実行され、上記符号化方法Ａ及びＢの両方の場合において、ＣＡＢＡＣ又はＣＡＶＬＣに従って符号化が実行され、
上記方法は、上記周波数領域における量子化係数の符号化のために、上記空間領域における量子化サンプルの符号化の場合と同じコンテキストを使用することを含む方法。

【請求項2】

上記周波数領域における符号化及び上記空間領域における符号化の間で切り換える対象であるブロックサイズは、上記周波数領域における符号化が選択されている場合、変換のサイズに対応する、請求項１記載のビデオ信号を符号化する方法。

【請求項3】

上記周波数領域における符号化及び上記空間領域における符号化の間で切り換える対象であるブロックサイズは、上記周波数領域における符号化が選択されかつ４×４である場合、変換のサイズに対応する、請求項１記載のビデオ信号を符号化する方法。

【請求項4】

上記符号化方法Ａ及びＢにおいて、スカラー量子化器を用いて量子化が行われる、請求項１〜３のうちの１つに記載のビデオ信号を符号化する方法。

【請求項5】

請求項１〜４のうちの１つに係るビデオ信号を符号化する方法を用いてビデオ信号を符号化するための符号化器であって、
上記符号化器は、
動き補償情報を符号化するために提供された第１のエントロピー符号化ブロックと、
異なる経路Ａ及びＢの間で切り換えることに適合した第２のエントロピー符号化ブロックとを備え、
上記経路Ａは、周波数領域における符号化のための変換ブロック及び量子化ブロックを備え、上記経路Ｂは、空間領域における量子化のための量子化ブロックを備え、
上記符号化はＣＡＢＡＣ又はＣＡＶＬＣに基づいて実行される符号化器。

【請求項6】

上記経路Ａの量子化ブロック及び上記経路Ｂの量子化ブロックはスカラー量子化器に基づく請求項５記載の符号化器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、予測誤差の適応符号化を用いる符号化及び復号化方法、符号器及び復号器並びにデータ信号に関する。

【背景技術】

【0002】

最新の標準化されたビデオ符号化方法は、ハイブリッドな符号化に基づいている。ハイブリッドな符号化は、時間領域における符号化ステップと空間領域における符号化ステップとを提供する。はじめに、符号化されるべき画像ブロックと動きベクトルによって決定され既に送信された画像からの基準ブロックとの間のブロックベースの動き補償予測を用いることによって、ビデオ信号の時間的な冗長性が低減される。残りの予測誤差サンプルはブロックに並べられ周波数領域に変換されて、結果的に係数のブロックになる。これらの係数は量子化され、ＤＣ値を表す係数で開始する、一定の又は周知のジグザグ走査方法に従って走査される。ある典型的な表現によれば、このＤＣ値を表す係数は、ブロックの左上の角において低周波数の係数の間に置かれる。ジグザグ走査の手順は係数の一次元アレイを生成し、これらの係数は後段の符号器によってエントロピー符号化される。符号器は、エネルギーを減少させることにより、係数のアレイに関して最適化される。ブロック内の係数の順序は予め決められていて一定であるので、予測誤差サンプルに相関性があるときには、ジグザグ走査は減少するエネルギーの係数アレイを生成する。よって、後続の符号化ステップは、このような状況に関して最適化される場合もある。この目的に添って、最新のＨ．２６４／ＡＶＣの規格は、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ（Context-Based Adaptive Binary Arithmetic Coding））又はコンテキスト適応型可変長符号化（ＣＡＶＬＣ（Context-Adaptive Variable-Length Coding））を提案している。しかしながら、変換の符号化効率が高いのは、予測誤差サンプルに相関性があるときのみである。変換効率は、空間領域において僅かしか相関性がないサンプルでは下がる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の目的は先行技術より効率的である、ビデオ信号を符号化し復号するための符号化及び復号化方法、個々の符号器及び復号器、データ信号並びに対応するシステム及びセマンティクス（意味論）を提供することにある。

【課題を解決するための手段】

【0004】

本発明の一態様によれば、ハイブリッドな符号化に基づくビデオ信号の符号化のための方法が提供される。本方法は、予測誤差信号を確立するためにブロックベースの動き補償予測により時間的な冗長性を減らすことと、上記予測誤差信号を周波数領域に変換するか又は上記予測誤差信号を空間領域内に保持するかを決定することとを含む。

【0005】

本発明の対応する一態様によれば、ビデオ信号のハイブリッドな符号化を適用するように適合化された符号器が提供される。本符号器は、予測誤差信号を確立するためにブロックベースの動き補償予測により時間的な冗長性を減らす手段と、上記予測誤差信号を周波数領域に変換するか又は上記予測誤差信号を空間領域内に保持するかを決定する手段とを含む。本発明のこの態様によれば、予測誤差信号を周波数領域で処理するか又は空間領域で処理するかを適応的に決定するための概念及び対応する装置、信号並びにセマンティクスが提供される。予測誤差サンプルが僅かな相関性を有するだけであれば、これに続くサンプルの符号化ステップはさらに効率的になる場合があり、これにより、周波数領域において係数を符号化することに比べてデータレートは低減すると思われる。従って、本発明により、適応的な決定ステップ及びその決定を下す適応的な制御手段が実施される。従って、予測誤差信号の観点から、周波数領域変換を用いるか又は予測誤差信号を空間領域に保持するかが決定される。後続の符号化メカニズムは周波数領域の場合と同じであってもよく、又は、空間領域におけるサンプルの必要性に合わせて特に適合化されてもよい。

【0006】

本発明の別の態様によれば、ビデオ信号を符号化するための方法及び特に上記決定するステップはコスト関数に基づく。一般に、周波数領域における係数を用いるか又は空間領域におけるサンプルを用いるかの決定は、様々な種類の決定メカニズムに基づいてもよい。上記決定は、ビデオ信号の特定の部分内の全てのサンプルについて一度に行われてもよく、又は例えば特定の数のブロック、マクロブロック又はスライスについて行われてもよい。上記決定は、例えばラグランジュ関数等のコスト関数に基づいてもよい。コストは、周波数領域における符号化及び空間領域における符号化の両方について計算される。上記決定は、より小さいコストを有する符号化に対して下される。

【0007】

本発明の別の態様によれば、コスト関数は、空間領域及び周波数領域に関する符号化のレート歪みコストを含む。本発明のさらに別の態様によれば、レート歪みコストは、要求されるレート及び結果として得られる歪によって、ラグランジュパラメータにより重み付けされて計算されてもよい。さらに、歪みの測度は、二乗平均量子化誤差（mean square quantisation error）又は平均絶対量子化誤差（mean absolute quantisation error）であってもよい。

【0008】

本発明の一態様によれば、空間領域におけるサンプルは、実質的に周波数領域における係数に用いられる方法と同じ方法によって符号化されてもよい。これらの方法は、ＣＡＢＡＣ又はＣＡＶＬＣの符号化方法を含んでもよい。従って、適応制御手段が周波数領域及び空間領域間の切り換えを決定するときには、符号化メカニズムの適合化は僅かしか必要でないか、あるいは全く不要である。しかしながら、２つの領域における係数に関して異なる符号化方法を用いる準備がされる場合もある。

【0009】

本発明の別の態様によれば、ハイブリッドな符号化に基づくビデオ信号の符号化方法が提供される。本発明のこの態様によれば、時間的な冗長性はブロックベースの動き補償予測によって低減され、予測誤差信号のサンプルは空間領域における予測誤差ブロック内に提供される。上記サンプルは、特定の順序のサンプルのアレイを提供するために、予測誤差ブロックから走査される。本発明のこの態様によれば、走査方法が予測誤差画像又は予測画像から導出されることが提供される。本発明のこの態様に係る走査方法は、先行技術に係る周波数領域に関するジグザグ走査は空間領域にとって最も効率的な走査順序ではない場合もあるという結果を考慮している。従って、空間領域におけるサンプルの分布及びサンプルの大きさを考慮する適応走査方法が提供される。上記走査方法は、好ましくは、予測誤差画像又は予測画像に基づいてもよい。本発明のこの態様は、最大の大きさを有するサンプル及びほぼ確実にゼロであるサンプルの最も確からしい位置を考慮する。周波数領域に関する符号化の利得は主に、低周波数成分がより大きい大きさを有し、高周波数の係数のほとんどはゼロであるという現象に基づくので、ＣＡＢＡＣ又はＣＡＶＬＣのような極めて有効な可変コード長の符号化方法を適用してもよい。しかしながら、空間領域では、最も大きい大きさを有するサンプルをブロック内のどこに置いてもよい。しかしながら、予測誤差は通常、動いているオブジェクトのエッジにおいて最も高いので、予測画像又は予測誤差画像を最も効率的な走査順序を確立するために用いてもよい。

【0010】

本発明の一態様によれば、予測画像の勾配を、大きい大きさを有するサンプルを識別するために用いてもよい。走査順序は、予測画像内の勾配の大きさの順序に従う。次に、予測誤差画像即ち空間領域における予測誤差画像内のサンプルにも同じ走査順序を適用する。

【0011】

また、本発明のさらに別の態様によれば、上記走査方法は、基準ブロックの予測誤差画像と組み合わされた動きベクトルに基づいてもよい。本走査は、予測誤差の大きさに降順で従う。

【0012】

本発明の一態様によれば、上記走査方法は、上記予測画像の勾配と上記基準ブロックの予測誤差画像との線形結合から動きベクトルと組み合わせて導出される。

【0013】

本発明の別の態様によれば、例えばＣＡＢＡＣ又はこれと同様のものなどの符号化メカニズムに関する特定のコードは、周波数領域における係数又は空間領域におけるサンプルに関して別々に決定される確率に基づいて用いられる。従って、周知の先行技術に係る符号化メカニズムは、空間領域に関して最も効率的な符号化メカニズムを提供するために少なくとも僅かに適合化されてもよい。従って、空間領域又は周波数領域の何れかで符号化するために適応制御される切り換えメカニズムは、各領域におけるサンプル又は係数に関する後続の符号化ステップを切り換えるようにさらに適合化されてもよい。

【0014】

本発明の一態様によれば、空間領域における予測誤差サンプルを量子化器によって量子化するステップを含むビデオ信号の符号化方法が提供され、上記量子化器は、主観的に重み付けされる量子化誤差の最適化又は二乗平均量子化誤差の最適化の何れかを有する。本発明のこの態様によれば、空間領域におけるサンプルの量子化に用いられる量子化器は、ピクチャの主観的に最適な視覚的印象を考慮するように適合化されてもよい。次に、量子化器の表現レベル及び決定のしきい値は、予測誤差信号の対応する主観的又は統計学的特性に基づいて適合化されてもよい。

【0015】

さらに、本発明は、これまでに述べた態様に従う復号方法及び復号装置にも関する。本発明の一態様によれば、符号化されたビデオ信号の入力ストリームが空間領域において符号化されたビデオ信号の予測誤差信号を表しているか、周波数領域において符号化された予測誤差信号を表しているかを適応的に決定するための適応制御手段を含む復号器が提供される。従って、本発明のこの態様に係る復号器は、入ってくるデータストリームに関して決定を下す、即ち、予測誤差信号が周波数領域において符号化されているか又は空間領域において符号化されているかを決定するように適合化される。さらに、本復号器は、空間領域又は周波数領域である２つの領域のそれぞれに復号手段を提供する。

【0016】

また、本発明のさらに別の態様によれば、復号器は、予測信号又は予測誤差信号に基づいて走査順序を提供する走査制御ユニットを備える。本発明のこの態様に係る走査制御ユニットは走査順序に関する必要な情報を検索するように適合化され、ここで、ブロックの入ってくるサンプルはビデオ信号の符号化の間に走査されている。さらに、復号器は、周波数領域における係数を逆量子化し逆変換する、又は空間領域におけるサンプルを逆量子化するための全ての手段を備えてもよい。復号器はまた、動き補償及び復号を提供するメカニズムを含んでもよい。基本的に、復号器は、これまでに説明した符号化ステップに対応する方法ステップを実施するための全ての手段を提供するように構成されてもよい。

【0017】

本発明のさらに別の態様によれば、符号化されたビデオ信号を表すデータ信号が提供され、このデータ信号において、予測誤差信号の符号化された情報は、空間領域において部分的に符号化されかつ周波数領域において部分的に符号化される。本発明のこの態様は、これまでに述べた符号化メカニズムの結果である符号化されたビデオ信号に関連する。

【0018】

さらに、本発明のさらに別の態様によれば、データ信号は、スライス、マクロブロック又はブロックが符号化される領域を示すサイド情報、特に、スライス、マクロブロック又はブロックが空間領域において符号化されているか又は周波数領域において符号化されているかの情報を含んでもよい。本発明に係る適応制御は、予測誤差信号が空間領域又は周波数領域の何れかで符号化されるということを提供するので、対応する情報を符号化されたビデオ信号に含ませる必要がある。従って、本発明はまた、スライス、マクロブロック又はブロック等の特定の部分が符号化されている領域を示す特定の情報を提供する。

【0019】

さらに、本発明のこの態様は、マクロブロック全体又はスライス全体が２つの領域のうちの一方のみで符号化される場合があるという可能性も考慮する。よって、例えばマクロブロック全体が空間領域において符号化されているときには、これは単一のフラグ又はこれと同様のものによって示されてもよい。さらに、スライス全体も周波数領域又は空間領域のみで符号化されてもよく、スライス全体の対応するインジケータをデータストリームに含めることもできる。これにより、データレートは低減され、サイド情報の符号化メカニズムはより効率的になる。

【図面の簡単な説明】

【0020】

【図1】本発明に係る態様を実施する符号器の単純化されたブロック図である。

【図2】本発明に係る態様を実施する復号器の単純化されたブロック図である。

【図3】先行技術に係る走査方法を示す。

【図4】本発明に係る走査方法を示す。

【図5】本発明に係る最適化された量子化器に用いられるパラメータを図示する。

【図6】画素の平均絶対復元誤差の測定値を示す単純化された図であり、図６（ａ）は主観的に重み付けされた量子化が周波数領域において行われる場合、図６（ｂ）は空間領域において行われる場合を示す。

【発明を実施するための形態】

【0021】

以下、本発明の態様を、添付の図面を参照することにより解明される好ましい実施形態に関連して説明する。

【0022】

図１は、本発明に係る符号器を示す単純化されたブロック図である。入力信号１０１は適宜、動き推定を受け、当該動き推定に基づいて、予測信号１０４を提供するために動き補償予測が実行され、入力信号１０１から予測信号１０４が減算される。結果として得られる予測誤差信号１０５は周波数領域１０６に変換され、周波数に関連する係数のための最適化された量子化器１０７によって量子化される。量子化器１０７の出力信号１２０はエントロピー符号器１１３へ送られ、エントロピー符号器１１３は送信、格納又はこれらと同様の作業を実行されるべき出力信号１１６を提供する。量子化された予測誤差信号１２０は、さらに、逆量子化ブロック１１０及び逆変換ブロック１１１によって、動き補償予測ブロック１０３における次の予測ステップのために用いられる。逆量子化されかつ逆ＤＣＴ変換された予測誤差信号は予測信号に加算され、動き補償予測ブロック１０３及び動き推定ブロック１０２のための先行する画像を格納するフレームメモリ１２２に送られる。一般に、本発明は先行技術に加えて、予測誤差信号１０５を変換するための周波数領域及び空間領域間を切り換える適応的に制御されるメカニズム１１５を用いることを提案する。適応制御メカニズム１１５は、周波数領域と空間領域との適応的な変更を制御するために信号及びパラメータを生成する。従って、適応制御情報信号１２１は位置Ａ及びＢを切り換えるための２つのスイッチにアサートされる。変換が周波数領域において実行されるときには、２つのスイッチは位置Ａにある。空間領域を用いるときには、これらのスイッチは位置Ｂに切り換えられる。さらに、サイド情報信号１２１、即ちピクチャの符号化手順にどちらの領域が用いられているかを示すサイド情報信号はまた、エントロピー符号器１１３にも送られる。従って、データストリームはデバイスの適切な情報を含む。周波数変換と並行して、予測誤差信号１０５は代替経路を介して量子化器１０９に送られる。この量子化ブロック１０９は、空間領域において予測誤差信号１０５の最適化された量子化を提供する。空間領域において量子化された予測誤差信号１２４は、第２の逆量子化ブロック１１２へ、さらには動き補償予測ブロック１０３への裏面接続（back connection）へ送られてもよい。さらに、動きベクトル１２３及び逆量子化された予測誤差信号１１８又は接続部１１９を介する予測信号１０４の何れかを受信する走査制御ブロック１１４も存在する。ブロック１１７は、動き情報を符号化する働きをする。

【0023】

適応制御ブロック１１５は、ブロックが周波数領域で符号化されるべきか又は空間領域で符号化されるべきかを決定し、その領域を示す対応するサイド情報を発生する。この適応制御手段によって下される決定は、空間領域における符号化及び周波数領域における符号化のレート歪みコストに基づく。符号化のための領域は、より低いレート歪みコストを有する方が選択される。例えば、レート歪みコストＣは、必要とされるレートＲ及び結果として得られる歪みＤがラグランジュパラメータによって重み付けされてＬ：Ｃ＝Ｌ×Ｒ＋Ｄから計算される。歪みの測度としては、二乗平均量子化誤差を用いてもよいが、例えば平均絶対量子化誤差のような他の測度も適用可能である。ラグランジュパラメータＬとしては、Ｈ．２６４／ＡＶＣの符号器制御に一般的に用いられるラグランジュパラメータであるＬ＝０．８５×２^{（（ＱＰ−１２）／３）}を用いてもよい。レート歪みコストを決定する代わりの方法も可能である。

【0024】

あるいは、適応制御ブロック１１５は符号化方法を制御することもできる。これは、例えば予測信号に基づいて、又は予測誤差における相関性に基づいて、もしくは領域に基づいて行われてもよく、予測誤差は既に送信されたフレームの動き補償位置において符号化される。

【0025】

図２は、本発明の態様に係る復号器のアーキテクチャの単純化されたブロック図である。符号化されたビデオデータは、適宜、２つのエントロピー復号化ブロック２０１及び２０２へ入力される。エントロピー復号化ブロック２０２は、動きベクトル等の動き補償情報を復号する。エントロピー復号化ブロック２０１は、符号器に用いられる逆符号化メカニズムを例えばＣＡＢＡＣ又はＣＡＶＬＣによる復号として適用する。符号器が係数又は空間領域におけるサンプルに異なる符号化メカニズムを用いているときには、対応するエントロピー復号化ブロックにおいて対応する復号メカニズムを用いることになる。従って、エントロピー復号化ブロック２０１は、逆量子化演算ブロック２０６である空間領域に関する逆量子化経路又は逆量子化ブロック２０３及び逆変換ブロック２０４であるスイッチ位置Ａに従う適切なブロックのいずれかを用いるために位置ＡとＢとを切り替えるために、適切な信号を生成する。予測誤差が周波数領域において表されるときには、逆量子化ブロック２０３及び逆変換ブロック２０４は対応する逆演算を適用する。空間領域におけるサンプルは、本発明の態様に係る走査メカニズムに従って特定の順序で並べられているので、走査制御ユニット２０５は、エントロピー復号化ブロック２０１のために正しい順序のサンプルを提供する。符号化が空間領域において実行されているときには、逆変換ブロック２０４及び逆量子化ブロック２０３はブロック２０６における逆量子化演算によってバイパスされる。周波数領域と空間領域（即ち、スイッチの位置Ａ及びＢ）とを切り換える切り換えメカニズムは、ビットストリーム内で送信されてエントロピー復号化ブロック２０１により復号されるサイド情報によって制御される。さらに、空間領域における逆量子化された信号又は周波数領域における逆量子化されかつ逆変換された信号は、復号されたビデオ信号２１０を提供するために動き補償予測ピクチャに加算される。動き補償は、ブロック２０９において、先に復号されたビデオ信号データ（先行ピクチャ）及び動きベクトルに基づいて実行される。走査制御ユニット２０５は、予測ピクチャ２０８又は予測誤差信号２０７の何れかを動きベクトル２１２と組み合わせて用いて、係数の正しい走査の順序を決定する。走査メカニズムはまた、両方のピクチャ、即ち予測誤差ピクチャ及び予測ピクチャに基づくものであってもよい。図１を参照して符号化メカニズムに関して説明したように、符号化の間の走査順序は、予測誤差情報２０７と動き補償ベクトルとの組み合せに基づいてもよい。従って、動き補償ベクトルは経路２１２を介して走査制御ユニット２０５へ送られてもよい。さらに、図１に対応して、先に復号された必要な画像を格納するフレームメモリ２１１も存在する。

【0026】

図３は、先行技術に係るジグザグ走査順序を例示するための単純化された図である。周波数領域（例えば、ＤＣＴ）への変換結果である係数は、適宜、４×４のブロックに関して図３のように所定の順序で並べられる。これらの係数は、低い周波数の部分を表す係数が一次元アレイの第１の左の位置に置かれるように、特定の順序で読み出される。アレイの最下の右に近いほど、係数に対応する周波数は高くなる。符号化されるべきブロックは実質的に低い周波数の係数を含む場合が多いので、高周波数の係数又は高周波数の係数の少なくとも大部分はゼロである。この状況を効果的に用いれば、例えばゼロの大きなシーケンスをゼロの数に関する１つの情報に置換することにより、送信するデータを低減することができる。

【0027】

図４は、本発明の一態様に係る走査メカニズムの一例を示す単純化された図である。図４（ａ）は、１つのブロックに関する予測画像における勾配の大きさを示す。ブロックの各位置における値は、現在のブロックの予測画像の勾配を表す。勾配自体は、水平方向及び垂直方向の勾配を表す２つの成分から成るベクトルである。各成分を、隣接する２つのサンプルの差によって決定してもよく、隣接する６つのサンプルを考慮する周知のソーベルオペレータ（Sobel-operator）によって決定してもよい。勾配の大きさは、ベクトルの大きさである。２つの値が同じ大きさを有していれば、一定の又は所定の走査順序を適用してもよい。走査順序は、点線で示すように、ブロック内の勾配の値の大きさに従う。勾配予測画像内の走査順序が確立されると、図４（ｂ）に示されている量子化された予測誤差サンプルに対して同じ走査順序が適用される。図４（ｂ）に示されるブロックの空間領域における量子化されたサンプルが、予測画像における勾配の大きさに基づいて確立された走査順序に従って図４（ｂ）の左側に示されているような一次元アレイに並べられるときには、高い値を有するサンプルは、典型的にはアレイの最初に、即ち左側の位置に並べられる。右側の位置は、図４（ｂ）に示すように、ゼロで満たされる。

【0028】

勾配により制御される走査に代わって、例えば、予め定義された走査、又は既に送信されたフレームの量子化された予測誤差と動きベクトルとの組み合せにより制御される走査、もしくはこれらの組み合せのような他の走査もまた適用することもできる（この走査制御は、図１及び図２に関連して説明したようなブロック１１４又は２０５に関連する）。予測誤差信号と動きベクトルとの組み合せによって制御される走査の場合、走査は、ブロックの量子化された予測誤差サンプルの大きさ、即ち関連する現在のブロックの動きベクトルに降順で従う。

【0029】

動きベクトルが部分サンプル（fractional sample）の位置を指すときには、必要とされる量子化予測誤差サンプルを補間技術を用いて決定してもよい。これは、予測サンプルを生成するために基準画像の補間に用いられる補間技術と同じものであってもよい。

【0030】

走査が、動きベクトルと組み合わされて予測画像と予測誤差画像との組み合せによって制御されるときには、勾配の大きさとブロックの量子化された予測誤差サンプルの大きさとの線形結合、参照する現在のブロックの動きベクトルが計算される。走査は、これらの線形結合の値に従う。また、走査の決定方法を、シーケンスのセグメント毎に、例えば各フレーム、又は各スライス、もしくはブロックグループ毎に信号で送ることができる。この典型的な標準の処理によれば、予測画像が決定される間、動き補償ベクトルは既に検討されている。

【0031】

本発明の別の態様によれば、走査順序は、動きベクトルと組み合わされた予測誤差画像に基づいてもよい。さらに、上述したような勾配の原理と予測誤差画像との組み合せも考えられる。

【0032】

図５は、本発明の態様に係る最適化された量子化器の定義を例示する上で有益な単純化された図を示す。３つのパラメータａ，ｂ及びｃは、適宜、量子化器の適合化に用いられるパラメータである。Ｈ．２６４／ＡＶＣの規格に従って、２つの異なる歪みの測度を有する係数に関するレート歪みが最適化された量子化器が適用される。第１の測度は二乗平均量子化誤差であり、第２の測度は主観的に重み付けされた量子化誤差である。Ｈ．２６４／ＡＶＣ規格に従って、予測誤差サンプルに関する２つの量子化器が開発されている。予測誤差の分布はラプラス分布（Laplacian distribution）に近いので、デッドゾーンプラス一様しきい値スカラ量子化器（scalar a dead-zone plus uniform threshold quantiser）は、二乗平均量子化誤差を最適化する場合に用いられる。図５は、量子化及び逆量子化のパラメータａ，ｂ及びｃを示す。

【0033】

表１は、Ｈ．２６４／ＡＶＣ符号化方法において一般に用いられるＱＰ（量子化パラメータ（Quantisation Parameter））に関して効果的に用いられてもよいパラメータａ，ｂ及びｃを示す。パラメータａ，ｂ，ｃは、二乗平均量子化誤差の最適化のために最適化される各パラメータである。しかしながら、これは単に一例であり、異なるアプリケーションには異なるパラメータ又は追加のパラメータが有益である場合もある。

【0034】

【表1】

【0035】

主観的に重み付けされた量子化誤差の最適化に関しては、同じく表１に示されている表現レベル（representative levels）ｒ_ｉ，−ｒ_ｉ及び隣接するｒ_ｉの中央の決定しきい値を有する非一様量子化器が提案される。エッジにおいて大きな予測誤差が発生するときには、視覚マスキングを活用してもよい。従って、エッジでは大きい量子化誤差を許容してもよく、画像信号がフラットであれば小さい量子化誤差を許容してもよい。Ｈ．２６４／ＡＶＣは、表１に示す４つのＱＰより多くのＱＰを用いてもよい。この場合、表１は拡張されなければならない。Ｈ．２６４／ＡＶＣは、異なる５２個のＱＰを用いてもよい。以下、図６を参照して、適切な表現値（representative values）ｒ_ｉ、−ｒ_ｉを決定する基本的なアイディアについて説明する。

【0036】

図６は、画素の平均絶対復元誤差の測定値を示す単純化された図であり、図６（ａ）は主観的に重み付けされた量子化が周波数領域において行われる場合、図６（ｂ）は空間領域において行われる場合を示す。周波数領域における主観的に重み付けされた量子化の平均絶対復元誤差の測定値は、予測誤差の絶対値の関数として示されている。空間領域における主観的に重み付けされた量子化の絶対復元誤差に関して、表現レベルｒ_ｉは、平均絶対復元誤差が空間領域における量子化間隔に対して周波数領域及び空間領域における量子化で同じになるように調整される。単なる一例として、表１に示されているＱＰ＝２６の場合の値ｒ_１，ｒ_２，ｒ_３及びｒ_４が図６（ｂ）にも示されている。おおざっぱに言って、ＱＰの値が６だけ増加すれば、表現レベルｒ_ｉはほぼ倍になる。量子化器の設計は、視覚システムの他の特徴を活用することもできる。さらに量子化器を、Ｈ．２６４／ＡＶＣの量子化器の特性とは異なる特性を有する量子化誤差を生成するために用いることもできる。

【0037】

空間領域における量子化されたサンプルのエントロピー符号化．
本発明の一態様によれば、空間領域におけるエントロピー符号化は、周波数領域における量子化された係数の場合と同じ方法に基づくものであってもよい。Ｈ．２６４／ＡＶＣ規格に関しては、２つの好ましいエントロピー符号化方法はＣＡＢＡＣ及びＣＡＶＬＣである。しかしながら、本発明のこの態様によれば、周波数領域における量子化された係数を符号化する代わりに、空間領域における量子化されたサンプルが上述の方法によって符号化される。上述したように、走査順序は、周波数領域の場合と同じデータ低減をもたらすために変更されてもよい。上述したように、空間領域における走査は、同じ空間位置における予測画像信号の勾配の大きさによって制御されてもよい。この原理に従って、符号化されるべきサンプルは、図４（ａ）及び（ｂ）に関して既に説明したように、勾配の降順に並べられる。さらに、上述したように、他の走査メカニズムを適用してもよい。さらに、本発明の態様によれば、空間領域において、ＣＡＢＡＣの場合の別々の確率モデルを意味する別々のコードを用いてもよい。コード及び、ＣＡＢＡＣの場合の確率モデルの初期設定を、量子化されたサンプルの統計から導出してもよい。空間領域におけるコンテキストのモデリングを、周波数領域の場合と同じ方法で行ってもよい。

【0038】

サイド情報の符号化．
図１に関して説明した適応制御手段は、ブロックが符号化されるべき領域に関する情報を生成する。ブロックサイズは、変換サイズに従って４×４又は８×８画素であってもよい。しかしながら、本発明の異なる態様によれば、変換サイズに依存しない他のブロックサイズを適用してもよい。本発明の一態様によれば、サイド情報は、符号化メカニズムが符号化の間に適応的に変更されているかどうかを示す特定のフラグを含む。例えば、スライスの全ブロックが周波数領域において符号化されているときには、これを、符号化されたビデオデータ信号における特定のビットによって示してもよい。本発明のこの態様は、２つの領域の各々において全てのブロックが符号化された１つのマクロブロック、又は一方の領域のみにおいて符号化された複数のブロックの１つのマクロブロックに関してもよい。さらに、本発明の当該態様に係る概念を複数のマクロブロックに適用してもよく、マクロブロックの少なくとも１つのブロックが空間領域において符号化されるかどうかを示す情報をデータストリームに含ませてもよい。従って、現在のスライスの全てのブロックが周波数領域において符号化されるか、又は少なくとも１つのブロックが空間領域において符号化されるかを示すように、フラグSlice_FD_SD_coding_flagを用いてもよい。このフラグを、単一のビットによって符号化してもよい。スライスの少なくとも１つのブロックが空間領域において符号化される場合は、現在のマクロブロックの全てのブロックが周波数領域において符号化されるとき、又は少なくとも１つのブロックが空間領域において符号化されるときには、これを、現在のスライスの各マクロブロックに関するフラグMB_FD_SD_coding_flagによって示してもよい。このフラグは、既に符号化された上及び左の隣接するブロックのフラグ上に条件付けされて符号化されてもよい。マクロブロックの最後のブロックが空間領域において符号化されるときには、これは、現在のブロックが周波数領域又は空間領域において符号化されれば、符号化されるべきマクロブロックの各ブロック毎にフラグFD_or_SD_flagによって示されてもよい。このフラグは、既に符号化された上及び左の隣接ブロックのフラグ上に条件付けされて符号化されてもよい。あるいは、サイド情報は、動きベクトルと組み合された予測信号又は予測誤差信号により条件付けされて符号化されてもよい。

【0039】

構文及びセマンティクス．
本発明のこの態様によれば、本発明の態様をＨ．２６４／ＡＶＣの符号化方法に組み込むことを許容する例示的な構文及びセマンティクスが提示される。従って、表２に示すように、フラグSlice_FD_SD_coding_flagはslice_headerに導入されてもよい。表３に示すように、フラグMB_FD_SD_coding_flagは各macroblock_layer内で送信されてもよい。residual_block_cabacでは、現在のブロックに関して周波数領域の符号化が提供されるか、又は空間領域の符号化が提供されるかがフラグFD_or_SD_flagによって信号で送られてもよい。これは、下記の表４に示されている。予測誤差の符号化に関しては、他のビデオ符号化アルゴリズムにおける同様の方法を適用してもよい。

【0040】

【表2】

【0041】

【表3】

【0042】

【表4】

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】