特許 6093546 ブロックの再構成方法、符号化方法、復号化装置及び符号化装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6093546

(24)【登録日】2017年2月17日

(45)【発行日】2017年3月8日

(54)【発明の名称】ブロックの再構成方法、符号化方法、復号化装置及び符号化装置

(51)【国際特許分類】

   H04N 19/105 20140101AFI20170227BHJP

   H04N 19/154 20140101ALI20170227BHJP

   H04N 19/18 20140101ALI20170227BHJP

   H04N 19/192 20140101ALI20170227BHJP

   H04N 19/61 20140101ALI20170227BHJP

【ＦＩ】

   H04N19/105

   H04N19/154

   H04N19/18

   H04N19/192

   H04N19/61 200

【請求項の数】15

【外国語出願】

【全頁数】22

(21)【出願番号】特願2012-236420(P2012-236420)

(22)【出願日】2012年10月26日

(65)【公開番号】特開2013-98984(P2013-98984A)

(43)【公開日】2013年5月20日

【審査請求日】2015年10月15日

(31)【優先権主張番号】1159779

(32)【優先日】2011年10月27日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】エドワール フランソワ

(72)【発明者】

【氏名】ドミニク トロ

(72)【発明者】

【氏名】フィリップ ボルデ

(72)【発明者】

【氏名】ジェローム ヴィロン

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 国際公開第２０１０／０１８１３７（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／０１２６６９（ＷＯ，Ａ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

Ｎを整数としてＮ個の画素の現在のブロックを再構成する方法であって、
Ｎ個の残差係数を復号化して逆量子化するステップと、
前記現在のブロックの符号化モード及び動きベクトルに基づいてＮ個の参照係数を決定するステップと、
前記Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで前記Ｎ個の参照係数から決定されたＮ個の予測係数とから、前記現在のブロックについてのＮ個の係数を再構成するステップであって、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックについてのｋ個の係数のそれぞれの再構成に関してリファインされ、前記のリファインは、（ｉ）前記現在のブロックについての再構成された係数と前記予測係数との間の誤差を最小化することにより、或いは、（ｉｉ）前記現在のブロックの係数の尤度を最大化することにより実行されるステップと、
再構成されたＮ個の係数をＮ個の画素の現在のブロックに変換するステップと、
を含むことを特徴とする再構成方法。

【請求項2】

前記現在のブロックについての前記Ｎ個の係数を再構成するステップは、
ａ）前記照明の変動モデルを考慮することで、前記参照係数から最初のｋ個の予測係数を計算するステップと、
ｂ）最初のｋ個の残差係数と、計算された最初のｋ個の予測係数とから再構成されるｋ個の係数を計算するステップと、
ｃ）既に再構成された係数と、対応する参照係数と、未知数である前記少なくとも１つの照明の変動のパラメータとにより決定される線形システムを解くことにより、前記少なくとも１つの照明の変動のパラメータをリファインするステップと、
ｄ）再構成されたＮ個の係数が算出されるまで、ｋ個の後続の係数によりステップａ）ないしｃ）を繰り返すステップと、
を含む請求項１記載の再構成方法。

【請求項3】

ステップｃ）ないしｄ）の間で、前記ステップｃ）でリファインされた前記少なくとも１つの照明の変動パラメータと、前記対応する参照係数とから既に再構成された全ての係数をリファインするステップを含む、請求項２記載の再構成方法。

【請求項4】

前記ｋの値は１に等しい、請求項２又は３記載の再構成方法。

【請求項5】

前記ｋの値は、ある繰返しと他の繰り返しとで異なる、請求項２又は３記載の再構成方法。

【請求項6】

前記ｋの値は、２つの非ゼロの残差係数の間の距離に等しい、請求項５記載の再構成方法。

【請求項7】

前記ｋの値は、閾値よりも大きい２つの残差係数の間の距離に等しい、請求項５記載の再構成方法。

【請求項8】

リファインされた前記少なくとも１つの照明の変動のパラメータは、量子化雑音の分散により重み付けされた二次誤差を最小化することで決定され、
前記二次誤差は、前記再構成された係数と前記対応する参照係数との間で計算される、請求項２記載の再構成方法。

【請求項9】

Ｎを整数としてＮ個の画素の現在のブロックを符号化する方法であって、
前記現在のブロックをＮ個の現在の係数に変換するステップと、
前記現在のブロックの符号化モード及び動きベクトルに基づいてＮ個の参照係数を決定するステップと、
前記Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで前記Ｎ個の参照係数から決定されるＮ個の予測係数とから、Ｎ個の残差係数を計算するステップであって、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされ、前記のリファインは、（ｉ）前記現在のブロックについての再構成された係数と前記予測係数との間の誤差を最小化することにより、或いは、（ｉｉ）前記現在のブロックの係数の尤度を最大化することにより実行されるステップと、
前記Ｎ個の残差係数を量子化及び符号化するステップと、
を含むことを特徴とする符号化方法。

【請求項10】

前記Ｎ個の残差係数を計算するステップは、
ａ）前記照明の変動のモデルを考慮することで、前記参照係数から最初のｋ個の予測係数を計算するステップと、
ｂ）最初のｋ個の現在の係数と、計算された最初のｋ個の予測係数とから、ｋ個の残差係数を計算するステップと、
ｃ）最初のｋ個の量子化の後の逆量子化された残差係数と、計算された最初のｋ個の予測係数とから再構成されたｋ個の係数を計算するステップと、
ｄ）既に再構成された係数と、対応する参照係数と、未知数である前記少なくとも１つの照明の変動のパラメータとにより決定される線形システムを解くことにより、前記少なくとも１つの照明の変動のパラメータをリファインするステップと、
ｅ）前記Ｎ個の残差係数が算出されるまで、ｋ個の後続の係数によりステップａ）ないしｄ）を繰り返すステップと、
を含む請求項９記載の符号化方法。

【請求項11】

ステップｄ）ないしｅ）の間で、前記ステップｄ）でリファインされた前記少なくとも１つの照明の変動のパラメータと、前記対応する参照係数とから既に再構成された全ての係数をリファインするステップを含む、請求項１０記載の符号化方法。

【請求項12】

Ｎを整数としてＮ個の画素の現在のブロックを表すストリームを復号化する装置であって、
前記ストリームからＮ個の残差係数を復号化して逆量子化する手段と、
前記現在のブロックの符号化モード及び動きベクトルに基づいてＮ個の参照係数を決定する手段と、
前記Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで前記Ｎ個の参照係数から決定されたＮ個の予測係数とから、前記現在のブロックについてのＮ個の係数を再構成する手段であって、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックについてのｋ個の係数のそれぞれの再構成に関してリファインされ、前記のリファインは、（ｉ）前記現在のブロックについての再構成された係数と前記予測係数との間の誤差を最小化することにより、或いは、（ｉｉ）前記現在のブロックの係数の尤度を最大化することにより実行される、手段と、
再構成されたＮ個の係数をＮ個の画素の現在のブロックに変換する手段と、
を備えることを特徴とする復号化装置。

【請求項13】

当該復号化装置は、請求項１乃至８の何れか記載の再構成方法のステップを実行するように構成される、請求項１２記載の復号化装置。

【請求項14】

Ｎを整数としてＮ個の画素の現在のブロックを符号化する符号化装置であって、
前記現在のブロックをＮ個の現在の係数に変換する手段と、
前記現在のブロックの符号化モード及び動きベクトルに基づいてＮ個の参照係数を決定する手段と、
前記Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで前記Ｎ個の参照係数から決定されるＮ個の予測係数とから、Ｎ個の残差係数を計算する手段であって、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされ、前記のリファインは、（ｉ）前記現在のブロックについての再構成された係数と前記予測係数との間の誤差を最小化することにより、或いは、（ｉｉ）前記現在のブロックの係数の尤度を最大化することにより実行される、手段と、
前記Ｎ個の残差係数を量子化及び符号化する手段と、
を備えることを特徴とする符号化装置。

【請求項15】

当該符号化装置は、請求項９乃至１１の何れか記載の符号化方法のステップを実行するように構成される、請求項１４記載の符号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化の一般的な分野に関する。より詳細には、本発明は、画像の画素ブロックを再構成する方法、及び係る画素ブロックを符号化する方法に関する。また、本発明は、対応する符号化及び復号化装置に関する。

【背景技術】

【0002】

画像系列を符号化データのストリームに符号化する方法、及びこのストリームを復号化する方法の大部分は、時間予測又は画像間予測、及び同様に空間予測又は画像内予測を使用する。画像内又は画像間予測は、画像系列の圧縮が改善されるのを可能にする。画像内又は画像間予測は、現在のブロックについて、予測ブロックの生成及び現在のブロック及び予測ブロックの間の残差とも呼ばれる差の符号化を含む。予測ブロックが現在のブロックと相関すると、現在のブロックを符号化するために必要とされるビット数が少なくなり、従って圧縮が効率的になる。しかし、画像間（それぞれ画像内）予測は、（それぞれの現在の画像における）系列の画像間の輝度の変動があるときにその効率を失う。係る輝度の変動は、例えば照明の変更、フェード効果、フラッシュ等による。

【0003】

輝度における変動を考慮した画像系列を符号化／復号化する方法が知られている。従って、文献ISO/IEC
14496-10に記載される規格MPEG-4
AVC/H.264のフレームワーク内で、輝度の変動の場合において圧縮を改善するため、重み付け予測方法を使用することが知られている。このため、MPEG-4
AVC/H.264規格は、画素の１以上のブロックを含む画像スライス毎に、重み付けされた予測パラメータのストリームにおける明示的な送信を可能にする。従って、重み付け予測パラメータ又は幾つかの重み付け予測パラメータのセットによる照明補正は、重み付けパラメータ又は重み付け予測パラメータのセットが関連付けされる画像スライスの全てのブロックについて同じやり方で適用される。例えば、重み付けパラメータは、動きベクトルＭＶを使用して、現在のブロックＢ_curの平均と、この現在のブロックに関連付けされる参照ブロックＢ_refの平均との間の比率を計算することで、現在のブロックＢ_curについて決定される。ブロックの平均は、例えばブロックの画素に関連する輝度値の平均である。参照ブロックは、例えば、動き予測のステップの間に決定される。係る予測方法は、現在のブロックの輝度の変動が現在のブロックに関連する値から決定されるので正確である。しかし、係る方法は、画像スライス毎に、従って潜在的にブロック毎に、重み付け予測パラメータのセットのストリームにおける送信を意味するので、ビットレートの観点で費用がかかる。

【0004】

局所的な輝度の変動を補正して、コーダ側及びデコーダ側で同じやり方で重み付けパラメータをローカルに決定することが、当該技術分野において知られている。この場合、重み付けパラメータは、ストリームで明示的に送信されない。例えば、現在のブロックＢ_curの重み付けパラメータは、現在のブロックＢ_curの近傍ブロックＮ_cの平均と、現在のブロックＢ_curと関連する参照ブロックＢ_refの近傍ブロックＮ_rとの比率を計算することで決定される。例えば近傍ブロックの平均は、問題となる近傍ブロックの画素に関連する輝度値の平均である。Ｎ_cは、ブロックＢ_curの原因となる近傍ブロックに位置される。従って、Ｎ_cは、Ｂ_cの前に符号化され（それぞれ再構成される）。係る方法は、重み付け予測パラメータは、ストリームで明示的に送信されないが、コーダ側及びデコーダ側で同じやり方で決定されないため、ビットレートの観点で安価である。しかし、係る予測方法は、現在のブロックＢ_curに関連付けされる重み付けパラメータがこのブロックのコンテンツを考慮しない点で、先の方法よりも正確ではない。

【0005】

国際出願WO 2011012669は、予測方法が現在のブロックのコンテンツを考慮し、照明の局所的な変動に関連するパラメータを明示的に符号化する必要なしに、照明の局所的な変動に動的に適応する、符号化及び復号化方法を記載する。この符号化及び復号化方法は、重み付け予測パラメータがストリームで送信されない場合に、符号化効率を改善する利点を有する。

【0006】

しかし、WO 2011012669では、重み付けパラメータは、変換の最初に再構成される係数、すなわちＤＣ係数のみから更新される。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、従来技術の問題点の少なくとも１つを克服することにある。

【課題を解決するための手段】

【0008】

この目的を達成するため、本発明は、Ｎを整数としてＮ個の画素からなる現在のブロックを再構成する方法に関する。再構成する方法は、以下のステップを含む。Ｎ個の残差係数を復号化及び逆量子化するステップ。Ｎ個の参照係数を決定するステップ。Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することでＮ個の参照係数から決定されるＮ個の予測係数とから、現在のブロックのＮ個の係数を再構成するステップ。照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。Ｎ個の再構成された係数をＮ画素からなる現在のブロックに変換するステップ。

【0009】

特定の実施の形態によれば、現在のブロックについてＮ個の係数を再構成するステップは、以下のステップを含む。ａ）照明の変動のモデルを考慮することで、参照係数からｋ個の最初の予測係数を計算するステップ。ｂ）ｋ個の最初の残差係数及びｋ個の最初に計算された予測係数からｋ個の再構成された係数を計算するステップ。ｃ）既に再構成された全ての係数及び対応する参照係数から、少なくとも１つの照明の変動のパラメータをリファインするステップ。ｄ）ｋ個の後続の係数により、Ｎ個の再構成された係数の計算まで、ステップａ）〜ｃ）を繰り返すステップ。

【0010】

本発明の別の態様によれば、再構成方法は、ステップｃ）とｄ）の間で、ステップｃ）でリファインされた少なくとも１つの照明の変動のパラメータから既に再構成された全ての係数をリファインするステップを含む。

【0011】

本発明の特定の特徴によれば、ｋの値は１に等しい。
本発明の別の特定の特徴によれば、ｋの値はある繰返しから他の繰返しで変動する。
本発明の別の特定の特徴によれば、ｋの値は、ゼロの残差係数から分離された２つの非ゼロの残差係数間の距離に等しい。

【0012】

本発明の更に別の特定の特徴によれば、ｋの値は、閾値よりも低い残差係数から分離された閾値よりも大きい２つの残差係数間の距離に等しい。
本発明の特定の態様によれば、少なくとも１つのリファインされた照明のパラメータは、量子化雑音の分散により重み付けされる二次の誤差を最小化することで決定される。二次の誤差は、再構成された係数と対応する参照係数との間で計算される。

【0013】

本発明は、Ｎを整数として、Ｎ個の画素の現在のブロックを符号化する方法に関し、当該方法は、以下のステップを含む。現在のブロックをＮ個の現在の係数に変換するステップ。Ｎ個の参照係数を計算するステップ。少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、Ｎ個の参照係数から決定されたｎ個の現在の係数とＮ個の予測係数とからＮ個の残差係数を計算するステップ。照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、現在のブロックのｋ個の係数のそれぞれの再構成でリファインされる。Ｎ個の残差係数を量子化及び符号化するステップ。

【0014】

特定の実施の形態によれば、Ｎ個の残差係数を計算するステップは、以下のステップを含む。ａ）ｋを１に等しいか又は１よりも大きい整数とし、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、参照係数からｋ個の最初の予測係数を計算するステップ。ｂ）ｋ個の最初の現在の係数とｋ個の最初の予測係数とからｋ個の残差係数を計算するステップ。ｃ）ｋ個の最初の量子化次いで逆量子化された残差係数と、ｋ個の最初の計算された予測係数とからｋ個の再構成された係数を計算するステップ。ｄ）既に再構成された全ての係数と対応する参照係数とから、少なくとも１つの照明の変動のパラメータをリファインするステップ。ｅ）ｋ個の後続する係数について、Ｎ個の残差の係数の計算まで、ステップａ）〜ｄ）を繰返すステップ。

【0015】

本発明の特定の態様によれば、符号化方法は、ステップｄ）とｅ）との間で、ステップｄ）でリファインされた少なくとも１つの照明の変動のパラメータから既に再構成された全ての係数と、対応する参照係数とをリファインするステップを含む。

【0016】

さらに、本発明は、Ｎを整数としてＮ画素の現在のブロックを表すストリームを復号化する装置に関し、当該装置は、以下を備える。ストリームからＮ個の残差係数を復号化及び逆量子化する手段。Ｎ個の参照係数を決定する手段。Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することでＮ個の参照係数から決定されたＮ個の予測係数とから、現在のブロックのＮ個の係数を再構成する手段。照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。Ｎ個の再構成された係数をＮ個の画素の現在のブロックに変換する手段。

【0017】

さらに、本発明は、符号化装置に関し、当該装置は、以下を備える。現在のブロックをＮ個の現在の係数に変換する手段。Ｎ個の参照係数を決定する手段。Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することでＮ個の参照係数から決定されたＮ個の予測係数とから、Ｎ個の残差係数を計算する手段。照明の変動のパラメータは、ｋを整数であって且つ１≦ｋ≦Ｎとして、現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。Ｎ個の残差係数を量子化及び符号化する手段。

【0018】

有利なことに、本発明に係る符号化及び再構成方法は、再構成された現在ブロックＢ_recの係数が計算されたときに、予測ブロックを次第に調節するように、照明の変動の１以上のパラメータのリファインを実現するものであり、これにより符号化効率が改善されるのを可能にする。これらの方法は、特に照明の変動である、信号特性の局所的な変動に対して規則的且つ正確に適合する。加えて、これらの方法は、照明の変動の１以上のパラメータを明示的に符号化することを必要としない。

【図面の簡単な説明】

【0019】

本発明は、以下の添付図面を参照して、限定されるものではない実施の形態及び有利な実現により良好に理解及び例示されるであろう。

【図1】本発明に係る再構成方法を例示する図である。

【図2】残差係数を例示する図である。

【図3】残差係数を例示する図である。

【図4】本発明に係る符号化方法を例示する図である。

【図5】本発明に係る符号化装置を例示する図である。

【図6】本発明に係る復号化装置を例示する図である。

【発明を実施するための形態】

【0020】

本発明は、画像の系列の画素のブロックを再構成する方法、及び係るブロックを符号化する方法に関する。画像系列は、一連の幾つかのピクチャである。それぞれのピクチャは、ピクチャデータの少なくとも１つのアイテムが関連付けされる画素又はピクチャポイントを含む。画像データのアイテムは、例えば輝度データのアイテム又は色度データのアイテムである。

【0021】

また、表現「明るさ変動“brightness
variation”」は、英語の用語として、「輝度変動“luminance
variation”」、「光度変動“luminosity
variation”」又は「照明変動“illumination
variation”」として知られる。

【0022】

用語「動きデータ」は、最も広い意味で理解されるべきである。動きデータは、動きベクトルを含み、おそらく参照画像が画像系列において識別されるのを可能にする参照画像インデックスを含む。また、動きデータは、予測ブロックを導出するために参照ブロックに適用される必要がある補間タイプを示す情報のアイテムを含む。

【0023】

用語「残差データ“residual data”」は、他のデータの抽出後に得られるデータを意味する。この用語は、「残差“residue”」の表現と同義語である。残差ブロックは、残差データが関連付けされる画素のブロックである。

【0024】

用語「変換された残差データ」は、変換が適用された残差データを意味する。ＤＣＴ（離散コサイン変換）は、2003年9月にJ.Wiley&Sonsにより出版された「H.264
and MPEG-4 video compression」と呼ばれるI.E.Richardsonによる書籍の3.4.4.4節に記載される変換の例である。I.E.Richardsonによる書籍の3.4.2.3節に記載されるウェーブレット変換及びアダマール変換は、他の例である。係る変換は、例えば残差の輝度及び／又は色度データといった画像データのブロックを、「周波数データのブロック」又は「係数のブロック」とも呼ばれる「変換データのブロック」に変換する。係数のブロックは、連続する係数又はＤＣ係数の名の下で知られる低周波係数及びＡＣ係数として知られる高周波係数を有する。

【0025】

「予測データ“prediction data”」の表現は、他のデータを予測するために使用されるデータを意味する。予測ブロックは、予測データが関連付けされる画素のブロックである。

【0026】

予測ブロックは、予測（空間予測又は画像内予測）するブロックに属する画像と同じ画像の１又は複数のブロックから得られるか、又は予測するブロックが属する画像の異なる画像（時間予測又は画像間予測）の１つのブロック（単方向予測）又は複数のブロック（双方向予測）から得られる。

【0027】

用語「画像領域“image domain”」は、輝度及び／又は色度が関連付けされる画素の領域を表す。「周波数領域」又は「変換領域」は、係数の領域を表す。画像の例えばＤＣＴといった変換を適用することで画像領域から変換領域に変わり、逆に、例えば逆ＤＣＴといった先の変換の逆変換を適用することで、変換領域から画像領域に変わる。

【0028】

その後、符号化及び再構成方法は、ある画素ブロックを参照して記載される。これらの方法は、１以上の画像の符号化及び再構成を視野に入れて、ある画像の幾つかのブロック、及びある系列の幾つかの画像に適用することができることは明らかである。

【0029】

画素領域で考慮されるブロックデータは、Ｂ_x^xと名付けられる。提案されるスキームでは、変換領域で考慮されるブロックデータは、Ｃ_x^xと名付けられる。

【0030】

Ｂ_curを予測によりインター画像モード又はイントラ画像モードにおいて再構成される現在ブロックであるとする。Ｂ_refを関連される参照ブロックであるとする。この参照ブロックは、現在の画像の既に再構成されたブロックであるか、又は既に再構成された別の画像のブロックである。これは、現在の画像の既に再構成された画素、又は既に再構成された別の画像の画素から補間により構築されるブロックである。確かに、Ｂ_refがサブピクセルレベルの精度で動きベクトルにより参照画像において識別されるブロックである場合、参照ブロックＢ_refが補間される。予測ブロックＢ_predは、参照ブロックＢ_refに従うリニアタイプの輝度の局所的な変動のモデルに従って構築される。

【0031】

Ｂ_pred(x,y)＝ｆ[Ｂ_ref(x,y)]
例えば、Ｂ_pred(x,y)＝a+b.Ｂ_ref(x,y) であり、a及びbは、照明の変動のパラメータであり、(x,y)は、画像における画素の座標である。

【0032】

本発明によれば、現在のブロックＢ_curの再構成されたブロックＢ_recへの再構成は、変換領域で行われる。ひとたび全てのＢ_curの係数が変換領域で計算されると、再構成されたブロックを生成するため、逆変換が適用される。本発明によれば、１以上のＢ_curの係数のそれぞれの再構成に関して、明るさの変動のモデルのパラメータがリファインされる。

【0033】

これを行うため、１つの方法は、符号化スキームで典型的に使用される変換の線形性の特性に基づくものであり、変換係数と明るさの変動のモデルのパラメータとの間のダイレクトリンクが確立されるのを可能にする。標準的なスキームとは異なり、ブロックＢ_curは、変換領域で再構成される。変換は、予測ブロックＣ_predが変換領域で決定される参照ブロックＢ_refに適用される。変換された残差ブロックＣ_resは、変換された再構成されたブロックＣ_recを生成するために、予測ブロックＣ_predに加えられる。逆変換は、最終的な再構成されたブロックＢ_recを生成するため、変換領域における再構成されたブロックに適用される。より詳細には、本発明に係るブロックＢ_curを再構成する方法は、図１を参照して記載される以下のステップを含む。

【0034】

ステップ１００で、Ｎ個の残差係数を復号化及び逆量子化し、Ｎ個の参照係数を決定するステップ。ステップ１７５で、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、Ｎ個の残差係数と、Ｎ個の参照係数から決定されるＮ個の予測係数とから、現在のブロックのＮ個の係数を再構成するステップ。照明の変動のパラメータは、ｋを整数且つ０≦ｋ≦Ｎとして、現在のブロックについてｋ個の係数のそれぞれの再構成に関してリファインされる。ステップ１８０で、Ｎ個の再構成された係数をＮ個の画素の現在のブロックに変換するステップ。

【0035】

本発明に係るブロックＢ_curを再構成する方法は、図４を参照して記載される以下のステップを含む。ステップ２００で、現在のブロックをＮ個の現在の係数に変換し、Ｎ個の参照符号を決定するステップ。ステップ２８５で、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを考慮することで、Ｎ個の現在の係数と、Ｎ個の参照係数から決定されたＮ個の予測係数とから、Ｎ個の残差係数を計算するステップ。照明の変動のパラメータは、ｋを整数且つ１≦ｋ≦Ｎとして前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされる。ステップ２９０で、Ｎ個の残差係数を量子化及び符号化するステップ。

【0036】

有利なことに、本発明に係る符号化及び再構成方法は、再構成された現在のブロックＢ_recの係数が計算されているとき、予測ブロックを次第に調節するように、照明の変動のパラメータのリファイニングを実現し、このように符号化効率が改善される。照明の変動の１以上のパラメータは、現在のブロックＢ_recの係数の再構成が長引くときにリファインされる。これは、これらの照明の変動のパラメータがますます正確であり、結果的に現在のブロックの精度が改善されるのを可能となることを意味する。

【0037】

図１は、本発明の特定の実施の形態に係る、画素ブロックＢ_recを再構成する方法を示す。Ｂ_recは、再構成された現在のブロックＢ_curである。

【0038】

ステップ１００の間、変換された残差ブロックは、復号化され、次いで逆量子化される。このようにして得られたブロックは、ｉ＝０．．．Ｎ−１であり、整数Ｎは、変換からの係数の数として、残差係数Ｃ_resⁱを含む。変換８×８の場合、Ｎ＝６４である。照明の変動のパラメータａ_init及びｂ_initの初期値は、参照ブロックＢ_refの参照係数Ｃ_refⁱと同様に得られる。照明の変動のパラメータの初期値が例えば復号化され、或いは例えばビデオ符号化規格により予め定義され、従って再構成方法について知られる。参照ブロックＢ_refは、例えば動きベクトルを使用して画像領域で決定され、次いで参照係数Ｃ_refⁱのブロックに変換される。同様に、再構成される画素ブロックの最初の係数Ｃ_rec⁰は、例えば以下の式に従って再構成される。

【0039】

Ｃ_rec⁰＝ａ_init.Ｄ₀＋ｂ_initＣ_ref⁰＋Ｃ_res⁰
この場合、

【数1】

であり、ｄ₀(.)は、変換のインデックス０の基底ベクトルであり、Ｂ_rはそのサポートである。

【0040】

ステップ１１０の間、ｐはゼロに初期化される。
ステップ１２０の間、式Ｃ_predⁱ＝ａ.Ｄ_i＋ｂ.Ｃ_refⁱに従って、ｉ＝ｐ＋１，．．．，ｐ＋ｋ_p，ｋ_p>=１及びｐ＋ｋ_p<Ｎについて予測係数Ｃ_predⁱが計算される。

【0041】

Ｃ_predⁱは、予測係数と呼ばれる、予測ブロックのインデックスｉの変換係数であり、Ｃ_refⁱは、参照係数と呼ばれる、参照ブロックのインデックスｉの変換係数であり、ｄ_i(.)は、変換のインデックスｉの基底ベクトルであり、Ｂ_rをベクトルのサポートｄ_i(.)として、

【数2】

である。

【0042】

一般に、（例えばDCT−離散コサイン変換、DST−離散サイン変換、FFT−高速フーリエ変換といった）変換基底は、第一の係数がＤ₀=１である信号の平均となり、変換の後続するベクトルが任意のｉ>０についてＤ_i=０となるようなものである。

【0043】

本発明の特定の特性によれば、ｋ_p＝１である。本発明の別の特定の特性によれば、ｋ_pは、１とＮ−１との間の予め決定された値を有する。変形例によれば、ｋ_pの値は、ある繰り返しから他の繰り返しへと変わる。例えば、ｋ_pの値は、図２に示されるようなゼロ係数Ｃ_resⁱは分離される２つの非ゼロの係数Ｃ_resⁱの間の距離に等しい。インデックス０の係数は、その値に係らずに考慮される。この図２に関して、インデックス４とＮ−２の係数はゼロである。更に別の変形例によれば、ｋ_pの値は、図３に示されるように、閾値Ｔｈよりも小さい振幅の係数Ｃ_resⁱは分離される、閾値Ｔｈよりも大きい振幅の２つの係数Ｃ_resⁱの間の距離に等しく、インデックス０の係数は、その値に係らず考慮される。この図３に関して、インデックス１，３，Ｎ−３及びＮ−１の係数は、Ｔｈよりも大きい振幅を有する。

【0044】

ステップ１３０の間、ｉ＝ｐ+１,…,ｐ+ｋ_pについて再構成された係数Ｃ_recⁱは、以下の式に従って、予測係数Ｃ_predⁱと残差係数Ｃ_resⁱとから計算される。

【0045】

【数3】

ステップ１４０の間、パラメータａ及びｂは、ｉ＝０ないしｐ＋ｋ_pについて、再構成された係数Ｃ_recⁱ及び参照ブロックにおけるそれらの対応する係数Ｃ_refⁱからリファインされる。リファインされたパラメータは、
（外１）

として示される。照明の変動のパラメータは、異なる方法によりリファインすることができる。

【0046】

第一の方法によれば、リファインされた照明の変動パラメータ
（外２）

は、量子化雑音の変動により重み付けされたモデリングの二次誤差を最小化することで得られる。

【0047】

【数4】

Ｑ_iは、インデックスｉの係数の量子化ステップである。

【0048】

（外３）

は、従って、最小自乗法により得られ、これは、２つの未知数及び２つの式をもつ線形システムを解くことにつながる。

【0049】

変換基底の第一のベクトルがＤ₀=１であり、他の全てが任意のｉ>０についてＤ_i＝０である（例えばDCT，DST，FFTといった）標準的な変換基底の場合、以下の式のシステムが得られる。

【0050】

【数5】

従って以下が得られる。

【0051】

【数6】

なお、それぞれの新たな係数について、線形システムを解く前に、以下の項
（外４）

のみが更新される。

【0052】

第二の方法によれば、リファインされた照明の変動のパラメータ
（外５）

は、尤度最大化により得られる。

【0053】

パラメータ
（外６）

は、ａ及びｂ、Ｃ_refⁱ及びＣ_recⁱ（ｉ＝０ないしｐ＋ｋ_p）を知る正確な係数である（すなわち量子化されていない）係数Ｃ_curⁱの尤度を最大にするパラメータである。

【0054】

【数7】

は、線形モデル

【数8】

に従ってＣ_refⁱにより近似される。ここでε_iは、分散σ_i²に相関しない、雑音であることが想定される白色ガウス性雑音である。

【0055】

ｎ_iを量子化雑音として、

【数9】

であるとき、

【数10】

を得る。

【0056】

適用された量子化は一様量子化であり、量子化雑音ｎ_iは一様であり、使用される量子化ステップをＱ_iとして、確率１／Ｑ_iである。

【0057】

ε_i及びｎ_iが両者間で独立であり、且つｉとは無関係であると仮定される場合、以下を得る。

【0058】

【数11】

その結果は、関数はａ及びｂに関して最大にされる。Ｋは、ａ及びｂとは独立なパラメータである。

【0059】

【数12】

この最大値をサーチするため、確率勾配型の解法が使用される。
この第二の方法の変形例によれば、式

【数13】

において現れる付加雑音ｎ_iは、正規ガウス型として考えられる。この特定の場合では、この雑音の分散は、一様な量子化雑音の分散、すなわちσ_i²＝Ｑ_i²／１２に対応する。

【0060】

次いで、尤度は、Ｋをａ及びｂに独立なパラメータとして、以下のように書かれる。

【0061】

【数14】

次いで、ａ及びｂに関する尤度の最大化は、先に記載されたような、重み付け最小自乗を解くことになる。

【0062】

選択的なステップ１５０の間、既に再構成されている係数は、ｉ＝０ないしｐ＋ｋ_pについて、以下の式

【数15】

に従って、新たな照明の変動のパラメータ
（外７）

に基づいてリファインされる。

【0063】

他の変形例によれば、この任意のステップは、ｉ＝０ないしＮ−１について全ての係数Ｃ_recⁱが再構成されたときに一度だけ実現される。

【0064】

ステップ１６０の間、現在のブロックＢ_curのＮ個の係数Ｃ_recⁱが再構成されているかがチェックされる。再構成されている場合、本方法はステップ１８０に進み、再構成されていない場合、ステップ１７０で、ｐがｐ＝ｐ＋ｋ_pにインクリメントされ、本方法は、ステップ１２０に進む。

【0065】

ステップ１８０の間、変換領域における再構成された係数のブロックＣ_recⁱは、逆変換により再構成された画素ブロックＢ_recに変換される。

【0066】

図４は、本発明の特定の実施の形態に係る、現在の画素ブロックＢ_curを符号化する方法を示す。

【0067】

ステップ２００の間、現在のブロックＢ_curは、ｉ＝０．．．Ｎ−１について係数Ｃ_curⁱに変換される。符号化されるべき現在のブロックの第一の残差係数Ｃ_res⁰は、例えば以下の式

【数16】

に従って計算される。この場合、

【数17】

であり、ｄ₀(.)は、変換のインデックス０の基底ベクトルである。ａ_init及びｂ_initは、照明の変動のパラメータの初期値である。照明の変動のパラメータのこれらの初期値は、例えば再構成方法に送信されるように符号化されるか、又はさもなければこれらの初期値は、ビデオ符号化規格により予め定義され、すなわち再構成方法について分かっている。参照ブロックＢ_refの係数Ｃ_refⁱも得られる。参照ブロックＢ_refは、例えば動きベクトルを使用して画像領域で決定され、次いで、係数Ｃ_refⁱのブロックに変換される。

【0068】

ステップ２１０の間、ｐはゼロに初期化される。

【0069】

ステップ２２０の間、以下の式に従って、ｉ＝ｐ＋１，．．．，ｐ＋ｋ_p，ｋ_p>=１及びｐ＋ｋ_p<Ｎとして予測係数Ｃ_predⁱが計算される。

【0070】

【数18】

ステップ２３０の間、ｉ＝ｐ＋１，．．．，ｐ＋ｋ_pについて残差係数Ｃ_{res_cur}ⁱが計算される。

【0071】

【数19】

ステップ２４０の間、ｉ＝ｐ＋１，．．．，ｐ＋ｋ_pについて再構成された係数Ｃ_recⁱは、以下の式に従って、予測係数Ｃ_predⁱと、量子化され、次いで逆量子化された残差係数Ｃ_resⁱから計算される。

【0072】

【数20】

【数21】

であり、Ｑ及びＱ^-1は、量子化、次いで逆量子化演算をそれぞれ表す。

【0073】

ステップ２５０の間、パラメータａ及びｂは、再構成された係数Ｃ_recⁱと、ｉ＝０ないしｐ＋ｋ_pについて参照ブロックにおける対応する係数Ｃ_refⁱとからリファインされる。リファインされたパラメータは、
（外８）

として示される。このステップは、ステップ１４０に同一である。

【0074】

任意のステップ２６０の間、既に再構成された係数は、ｉ＝０ないしｐ＋ｋ_pについて、以下の式

【数22】

に従って、新たな照明の変動のパラメータ
（外９）

に基づいてリファインされる。このステップは、ステップ１５０と同じである。

【0075】

１つの変形例によれば、ｉ＝０ないしＮ−１について全ての係数Ｃ_recⁱが再構成されたときに、この任意のステップ２６０が１度だけ実現される。

【0076】

ステップ２７０の間、変換された残差ブロックの全ての残差係数Ｃ_resⁱが計算されたかがチェックされる。全ての残差係数が計算された場合、本方法がステップ２９０に進み、全ての残差係数が計算されていない場合、ステップ２８０で、ｐ＝ｐ＋ｐ_kにｐがインクリメントされ、本方法は、ステップ２２０に進む。

【0077】

ステップ２９０の間、残差係数Ｃ_{res_cur}ⁱが符号化され、エントロピー符号化によりストリームＦに符号化される。次いで、変換領域で再構成された係数のブロックＣ_recⁱは、逆変換により再構成された画素ブロックＢ_recに変換される。この画素ブロック自身は、ビデオ予測において典型的に行われているように、その後に空間的又は時間的に参照として使用することができる。

【0078】

これらの符号化及び再構成方法は、信号特性の局所的な変動、特に照明の変動に対する永続的且つより正確な適応を可能にする。さらに、これらの方法によれば、明示的な局所的な照明の変動のパラメータをそれぞれ符号化、復号化する必要がない。

【0079】

予測モデルをリファインするステップ１４０及び２４０は、Ｂ_pred(x,y)=a+b.Ｂ_ref(x,y)のタイプの線形モデル以外のモデルに適用することができる。本発明は、他のモデルＢ_pred(x,y)＝ｆ[Ｂ_ref(x,y)]に一般化することができ、この場合、ｆ[.]は、ビデオ信号の時間的な変動を表す関数である。

【0080】

また、本発明は、図５を参照して記載される符号化装置１２、及び図６を参照して記載される復号化装置１３に関するものであり、これらの構成は、照明の変動のパラメータをリファインするために、変換領域における予測を演算するために変更される。これらの図において、グレイで網掛けしたモジュールは、標準的な符号化及び復号化スキームに関して追加又は変更されたモジュールである。図５及び図６では、図示されるモジュールは、物理的に区別可能なユニットに対応するか又は対応しない機能ユニットである。例えば、これらのモジュール又はこれらのモジュールのうちの幾つかは、１つのコンポーネントで互いにグループ化されるか、同じソフトウェアの機能を構成する。反対に、幾つかのモジュールは、個別の物理的なエンティティから構成される。

【0081】

図５を参照して、符号化装置１２は、ある画像の系列に属している入力画像を受信する。それぞれの画像は、画素ブロックＢ_curに分割され、画素ブロックのそれぞれと、ピクチャデータの少なくとも１つのアイテムが関連付けされる。符号化装置１２は、特に、時間予測による符号化を実現する。時間予測による符号化又はINTER符号化に関連する符号化装置１２のモジュールのみが図３で表される。表現されず且つビデオコーダの分野における当業者にとって知られている他のモジュールは、空間予測あり又はなしでINTRA符号化を実現する。符号化装置１２は、特に、現在のブロックＢ_curを変換されたブロックＣ_curに変換することができるＴを変換するモジュール１１００、及び、例えば減算により、係数毎に、変換ブロックＣ_curから予測ブロックＣ_predを抽出して、変換領域において残差ブロックＣ_{res_cur}を生成することができる計算モジュール１２００を有する。変換Ｔは、例えば離散コサイン変換（又はＤＣＴ）である。また、変換領域で計算された残差ブロックを量子化された係数に量子化することができるモジュール１２０２も備わる。また、符号化装置１２は、量子化された係数をストリームＦに符号化することができるエントロピー符号化モジュール１２０４を有する。符号化装置１２は、モジュール１２０２に対する逆演算を実行するモジュール１２０６を備える。モジュール１２０６は、逆量子化ＩＱを実行して、逆量子化された残差係数Ｃ_resを生成する。モジュール１２０６は、係数毎に、例えば加算により、モジュール１２０６からの残差係数ブロックＣ_resと予測ブロックＣ_predとをマージして、変換領域Ｃ_recにおいて再構成されたブロックを生成することができる計算モジュール１２０８に接続される。計算モジュール１２０８は、変換領域において再構成されたブロックＣ_resを、メモリ１２１２に記憶される、Ｂ_recとして示される再構成された画像データブロックに変換することができる逆変換モジュール１２１０に接続される。

【0082】

符号化装置１２は、ブロックＢ_curとメモリ１２１２に記憶される参照ピクチャＩ_refのブロックとの間の少なくとも１つの動きベクトルを予測することが可能な動き予測モジュール１２１４を更に有する。この参照ピクチャは、前に符号化され、次いで再構成されている。１つの変形例によれば、動き予測は、現在のブロックＢ_curとオリジナルの参照画像Ｉ_curとの間で行われ、この場合、メモリ１２１２は、動き予測モジュール１２１４に接続されない。当業者に知られている方法によれば、動き予測モジュールは、現在のブロックＢ_curと、動きデータのアイテムを使用して識別された参照画像Ｉ_refにおけるブロックとの間で計算されたエラーを最小にするように、参照画像Ｉ_refにおいて、動きデータのアイテム、特に動きベクトルをサーチする。

【0083】

動きデータの決定されたアイテムは、動き予測モジュール１２１４により、予め決定された符号化モードのセットにおけるブロックＢ_curの符号化モードを選択可能な決定モジュール１２１６に送信される。選択された符号化モードは、例えばビットレートの歪みのタイプの基準を最小にするモードである。しかし、本発明は、この選択モードに限定されるものではなく、例えば先験的なタイプの基準といった別の基準に従って、保持されるモードを選択することができる。

【0084】

決定モジュール１２１６により選択される符号化モードは、例えば時間予測モード又はINTERモードの場合における動きデータといった、動きデータと同様に、動き補償モジュール１２１８に送信される。選択された符号化モード、及び必要に応じて動きデータは、エントロピー符号化モジュール１２０４に送信され、ストリームＦに符号化される。動き補償モジュール１２１８は、決定モジュール１２１６により決定された符号化モードと、おそらく動き予測モジュール１２１４（画像間予測）により決定された動きデータとから、参照ブロックＢ_refを決定する。動き補償モジュール１２１８は、変換モジュール１１００と同じ変換モジュール１２２０に接続される。変換モジュール１２２０は、画像領域で得られた参照ブロックＢ_refを変換された参照ブロックＣ_refに変換可能である。変換モジュール１２２０は、照明の変動のパラメータから予測ブロックＣ_predを生成可能な予測計算モジュール１２２２に接続される。また、変換モジュール１２２０は、符号化方法のステップ２５０に従って照明の変動のパラメータをリファイン可能なモジュール１２２４、及び任意に符号化方法のステップ２６０に従って、リファインされた照明の変動のパラメータに基づいて既に再構成された係数をリファイン可能なモジュール１２２６に接続される。

【0085】

図６を参照して、復号化モジュール１３は、画像の系列を表す符号化データのストリームＦを入力で受信する。ストリームＦは、例えばチャネルを介して符号化装置１２に送信される。復号化装置１３は、例えば符号化モードといった復号化データ、及び画像のコンテンツに関連する復号化データを生成可能なエントロピー復号化モジュール１３００を有する。

【0086】

復号化装置１３は、動きデータ再構成モジュールを更に有する。第一の実施の形態によれば、動きデータ再構成モジュールは、エントロピー復号化モジュール１３００であり、前記動きデータを表すストリームＦの一部を復号化する。図６に示されない変形例によれば、動きデータ再構成モジュールは、動き予測モジュールである。復号化装置１３を介して動きデータを再構成するこのソリューションは、「テンプレートマッチング」として知られる。

【0087】

次いで、画像のコンテンツに関して復号化されたデータは、逆量子化を実行して残差係数Ｃ_resを生成可能なモジュール１３０２に送信される。モジュール１３０２は、符号化さえたストリームＦを生成した符号化装置１２のモジュール１２０６と同じである。モジュール１３０２は、係数毎に、例えば加算により、モジュール１３０２からの残差係数Ｃ_resのブロックと予測ブロックＣ_predとをマージして、変換領域において再構成された現在ブロックＣ_resを生成可能な計算モジュール１３０４に接続される。変換領域において再構成された現在ブロックＣ_recは、符号化装置のモジュール１２１０と同じである逆変換モジュール１３０６により画像領域において再構成されたブロックＢ_recに変換される。逆変換モジュール１３０６は、メモリ１３０８に接続され、メモリにおいて、画像領域において再構成されたデータが特に記憶される。復号化装置１３は、動き補償モジュール１３１０を更に有する。動き補償モジュール１３１０は、エントロピー復号化モジュール１３００により現在のブロックについて復号化された符号化モードから、及びおそらく動きデータ再構成モジュールにより決定された動きデータから参照ブロックＢ_refを決定する。動き補償モジュール１３１０は、符号化装置の変換モジュール１２２０と同じ変換モジュール１３１２に接続される。変換モジュール１３１２は、画像領域において得られた参照ブロックＢ_refを変換された参照ブロックＣ_refに変換可能である。変換モジュール１３１２は、照明の変動パラメータからリファインされた予測ブロックＣ_predを生成可能な予測計算モジュール１３１４に接続される。また、変換モジュール１３１２は、再構成方法のステップ１４０に従って照明の変動のパラメータをリファイン可能なリファイニングモジュール１３１６、及びおそらく再構成方法のステップ１５０に従って、リファインされた照明の変動のパラメータに基づいて既に再構成された係数をリファイン可能なモジュール１３１８に接続可能である。

【0088】

本発明に係る符号化及び復号化装置は、例えばハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ又はそれらの組み合わせといった様々な形式で実現される。好ましくは、本発明は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラム記録媒体で実施されるアプリケーションプログラムとして実現されることが好ましい。アプリケーションプログラムは、任意の適切なアーキテクチャにアップロードされる、マシンにより実行される場合がある。好ましくは、マシンは、１以上の中央処理ユニット（CPU）、ランダムアクセスメモリ（RAM）、及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本明細書で記載された様々なプロセス及び機能は、マイクロ命令コードの一部又はオペレーティングシステムを介して実行されるアプリケーションプログラム（或いはこれらの組み合わせ）の何れかである。さらに、様々な他の周辺装置は、更なるデータ記憶装置及び印刷装置のようなコンピュータプラットフォームに接続される場合がある。

【0089】

変形例に拠れば、本発明に係る符号化及び復号化装置は、例えば（例えばASIC（特定用と向け集積回路）のような）専用コンポーネント又はFPGA（フィールドプログラマブルゲートアレイ）又はVLSI（超大型集積回路）、或いはある装置に集積される幾つかの電子コンポーネントの形式で純粋なハードウェア実装に従って実現されるか、或いはハードウェアエレメントとソフトウェアエレメントの混合の形式で実現される場合がある。
以上の実施の形態に関し、更に以下の付記を開示する。
（付記１）
Ｎを整数としてＮ個の画素からなる現在のブロックを再構成する方法であって、
Ｎ個の残差係数を復号化して逆量子化するステップと、
Ｎ個の参照係数を決定するステップと、
前記Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで、前記Ｎ個の参照係数から決定されたＮ個の予測係数とから、前記現在のブロックについてのＮ個の係数を繰り返し再構成するステップと、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのついてｋ個の係数のそれぞれの再構成に関してリファインされ、
再構成されたＮ個の係数をＮ個の画素からなる現在のブロックに変換するステップと、
を含むことを特徴とする再構成方法。
（付記２）
前記現在のブロックについての前記Ｎ個の係数を再構成するステップは、
ａ）前記照明の変動モデルを考慮することで、前記参照係数からｋ個の最初の予測係数を計算するステップと、
ｂ）ｋ個の最初の残差係数と、計算されたｋ個の最初の予測係数とから再構成されるｋ個の係数を計算するステップと、
ｃ）既に再構成された全ての係数と、対応する参照する係数とから、前記少なくとも１つの照明の変動のパラメータをリファインするステップと、
ｄ）再構成されたＮ個の係数の計算まで、ｋ個の後続の係数により前記ステップａ）からステップｃ）を繰り返すステップと、
を含む付記１記載の再構成方法。
（付記３）
前記ステップｃ）と前記ステップｄ）の間で、前記ステップｃ）でリファインされた前記少なくとも１つの照明の変動パラメータと、前記対応する参照係数とから既に再構成された全ての係数をリファインするステップを含む、
付記１記載の再構成方法。
（付記４）
前記ｋの値は１に等しい、
付記２又は３記載の再構成方法。
（付記５）
前記ｋの値は、ある繰返しのときの値と他の繰り返しのときの値とで変化する、
付記２又は３記載の再構成方法。
（付記６）
前記ｋの値は、ゼロの残差係数により分離された２つの非ゼロの残差係数の間の距離に等しい、
付記５記載の再構成方法。
（付記７）
前記ｋの値は、閾値よりも小さい残差係数により分離される、前記閾値よりも大きい２つの残差係数の間の距離に等しい、
付記５記載の再構成方法。
（付記８）
リファインされた前記少なくとも１つの照明の変動のパラメータは、量子化雑音の分散により重み付けされた二次誤差を最小化することで決定され、
前記二次誤差は、前記再構成された係数と前記対応する参照係数との間で計算される、
付記１乃至７の何れか記載の再構成方法。
（付記９）
Ｎを整数としてＮ個の画素からなる現在のブロックを符号化する方法であって、
前記現在のブロックをＮ個の現在の係数に変換するステップと、
Ｎ個の参照係数を決定するステップと、
前記Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで前記Ｎ個の参照係数から決定されるＮ個の予測係数とから、Ｎ個の残差係数を繰り返し計算するステップと、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされ、
前記Ｎ個の残差係数を量子化及び符号化するステップと、
を含むことを特徴とする符号化方法。
（付記１０）
前記Ｎ個の残差係数を計算するステップは、
ａ）前記照明の変動のモデルを考慮することで、前記参照係数からｋ個の最初の予測係数を計算するステップと、
ｂ）ｋ個の最初の現在の係数と、計算されたｋ個の最初の予測係数とから、ｋ個の残差係数を計算するステップと、
ｃ）ｋ個の最初の量子化、次いで逆量子化された残差係数と、計算されたｋ個の最初の予測係数とから再構成されたｋ個の係数を計算するステップと、
ｄ）既に再構成された全ての係数と、対応する参照係数とから前記少なくとも１つの照明の変動のパラメータをリファインするステップと、
ｅ）前記Ｎ個の残差係数の計算まで、ｋ個の後続の係数により前記ステップａ）から前記ステップｄ）を繰り返すステップと、
を含む付記６記載の符号化方法。
（付記１１）
前記ステップｄ）と前記ステップｅ）との間で、前記ステップｄ）でリファインされた前記少なくとも１つの照明の変動のパラメータと、前記対応する参照係数とから既に再構成された全ての係数をリファインするステップを含む、
付記１０記載の符号化方法。
（付記１２）
Ｎを整数としてＮ個の画素からなる現在のブロックを表すストリームを復号化する復号化装置であって、
Ｎ個の残差係数を復号化して逆量子化する手段と、
Ｎ個の参照係数を決定する手段と、
前記Ｎ個の残差係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで、前記Ｎ個の参照係数から決定されたＮ個の予測係数とから、前記現在のブロックについてのＮ個の係数を繰り返し再構成する手段と、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのついてｋ個の係数のそれぞれの再構成に関してリファインされ、
再構成されたＮ個の係数をＮ個の画素からなる現在のブロックに変換する手段と、
を備えることを特徴とする復号化装置。
（付記１３）
当該復号化装置は、付記１乃至８の何れか記載の再構成方法のステップを実行する、
付記１２記載の復号化装置。
（付記１４）
Ｎを整数としてＮ個の画素からなる現在のブロックを符号化する符号化装置であって、
前記現在のブロックをＮ個の現在の係数に変換する手段と、
Ｎ個の参照係数を決定する手段と、
前記Ｎ個の現在の係数と、少なくとも１つの照明の変動のパラメータにより定義される照明の変動のモデルを使用することで前記Ｎ個の参照係数から決定されるＮ個の予測係数とから、Ｎ個の残差係数を繰り返し計算する手段と、前記照明の変動のパラメータは、ｋを整数とし且つ１≦ｋ≦Ｎとして、前記現在のブロックのｋ個の係数のそれぞれの再構成に関してリファインされ、
前記Ｎ個の残差係数を量子化及び符号化する手段と、
を備えることを特徴とする符号化装置。
（付記１５）
当該符号化装置は、付記９乃至１１の何れか記載の符号化方法のステップを実行する、
付記１４記載の符号化装置。

【符号の説明】

【0090】

１２ ：符号化装置
１１００：変換モジュール
１２００：計算モジュール
１２０２：量子化モジュール
１２０４：エントロピー符号化モジュール
１２０６：逆量子化モジュール
１２０８：計算モジュール
１２１０：逆変換モジュール
１２１２：メモリ
１２１４：動き予測モジュール
１２１６：決定モジュール
１２１８：動き補償モジュール
１２２０：変換モジュール
１２２２：予測計算モジュール
１２２４：リファインモジュール
１２２６：リファインモジュール
１３ ：復号化装置
１３００：エントロピー復号化モジュール
１３０２：逆量子化モジュール
１３０４：計算モジュール
１３０６：逆変換モジュール
１３０８：メモリ
１３１０：動き補償モジュール
１３１２：変換モジュール
１３１４：予測計算モジュール
１３１６：リファインモジュール
１３１８：リファインモジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】