特許 5715647 画像ブロックの符号化方法及び復号方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5715647

(24)【登録日】2015年3月20日

(45)【発行日】2015年5月13日

(54)【発明の名称】画像ブロックの符号化方法及び復号方法

(51)【国際特許分類】

   H04N 19/11 20140101AFI20150423BHJP

   H04N 19/136 20140101ALI20150423BHJP

   H04N 19/182 20140101ALI20150423BHJP

   H04N 19/48 20140101ALI20150423BHJP

   H04N 19/593 20140101ALI20150423BHJP

【ＦＩ】

   H04N19/11

   H04N19/136

   H04N19/182

   H04N19/48

   H04N19/593

【請求項の数】16

【全頁数】22

(21)【出願番号】特願2012-549347(P2012-549347)

(86)(22)【出願日】2011年1月19日

(65)【公表番号】特表2013-518456(P2013-518456A)

(43)【公表日】2013年5月20日

(86)【国際出願番号】EP2011050693

(87)【国際公開番号】WO2011089158

(87)【国際公開日】20110728

【審査請求日】2014年1月16日

(31)【優先権主張番号】1050466

(32)【優先日】2010年1月25日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100115864

【弁理士】

【氏名又は名称】木越 力

(74)【代理人】

【識別番号】100121175

【弁理士】

【氏名又は名称】石井 たかし

(74)【代理人】

【識別番号】100134094

【弁理士】

【氏名又は名称】倉持 誠

(74)【代理人】

【識別番号】100123629

【弁理士】

【氏名又は名称】吹田 礼子

(72)【発明者】

【氏名】ソロー，ドミニク

(72)【発明者】

【氏名】マルタン，オーレリー

(72)【発明者】

【氏名】フランソワ，エドウアール

(72)【発明者】

【氏名】ビエロン，ジエローム

(72)【発明者】

【氏名】ボルデ，フイリツプ

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２００９−０８１４８９（ＪＰ，Ａ）

【文献】 国際公開第２００８／０４８４８９（ＷＯ，Ａ１）

【文献】 国際公開第２００８／０１２９１８（ＷＯ，Ａ１）

【文献】 国際公開第９８／０１９４６１（ＷＯ，Ａ１）

【文献】 Atsuro Ichigaya et al.，Description of video coding technology proposal by NHK and Mitsubishi，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，1st Meeting: Dresden, DE，２０１０年 ４月，JCTVC-A122，pp.1-16

【文献】 Hui Yong KIM et al.，Description of video coding technology proposal by ETRI，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，1st Meeting: Dresden, DE，２０１０年 ４月，JCTVC-A127_r2，pp.1-9

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオ符号化器において、画素からなる現行ブロックを空間予測によって符号化する方法であって、
前記現行ブロックの画素毎に予測画素を求めることと、
前記予測画素により形成された予測ブロックを前記現行ブロックから抽出して残差ブロックを生成することと、
前記残差ブロックを符号化することと、
を含み、前記現行ブロックの画素毎に予測画素を求めることが、
前記現行ブロックの少なくとも前記画素をカバーするウィンドウに変換を適用して係数を得ることと、
前記係数を現行閾値で閾値処理することと、
前記閾値処理された係数に逆変換を適用して前記予測画素を得ることと、
を含むことを特徴とする、前記方法。

【請求項2】

前記現行ブロックの画素毎に予測画素を求めることは、複数の閾値のうちの各々の閾値を用いて繰り返され、前記方法は、前記現行ブロックと前記予測ブロックとの間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、現行閾値として選択することを更に含む、請求項１に記載の方法。

【請求項3】

前記現行閾値は予測閾値との差分だけ符号化され、前記予測閾値は前記現行ブロックの隣接再構成画素に依存している、請求項２に記載の方法。

【請求項4】

前記予測閾値は、前記現行ブロックの隣接ブロックにおいて使用される閾値の平均値に等しい、請求項３に記載の方法。

【請求項5】

前記予測閾値は、前記現行ブロックの隣接ブロックにおいて使用される閾値の中央値に等しい、請求項３に記載の方法。

【請求項6】

前記予測閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域内の再構成画素毎に予測画素を求めることと、
前記隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すことと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、予測閾値として選択することと、
によって求められる、請求項３に記載の方法。

【請求項7】

前記現行閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域内の再構成画素毎に予測画素を求めることと、
前記隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すことと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、現行閾値として選択することと、
によって求められる、請求項１に記載の方法。

【請求項8】

前記現行ブロックの前記隣接領域の前記再構成画素と、対応する各予測画素との間で計算される前記予測誤差は、前記現行ブロックの前記隣接領域の前記再構成画素毎に、前記現行ブロックの境界に対する再構成画素の距離を考慮に入れる、請求項６又は請求項７に記載の方法。

【請求項9】

ビデオ復号器において、画素からなる現行ブロックを空間予測によって復号する方法であって、
残差ブロックを復号することと、
前記現行ブロックの画素毎に予測画素を求めることと、
前記復号された残差ブロックと前記予測画素によって形成される予測ブロックとを合計することによって、前記現行ブロックを再構成するステップと、
を含み、前記現行ブロックの画素毎に予測画素を求めることが、
前記現行ブロックの少なくとも前記画素をカバーするウィンドウに変換を適用して係数を得ることと、
前記係数を現行閾値で閾値処理することと、
前記閾値処理された係数に逆変換を適用して前記予測画素を得ることと、
を含むことを特徴とする、前記方法。

【請求項10】

前記現行閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域内の再構成画素毎に予測画素を求めることと、
前記隣接領域内の画素毎に予測画素を求めることを、複数の閾値のうちの各々の閾値を用いて繰り返すことと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、現行閾値として選択することと、
によって求められる、請求項９に記載の方法。

【請求項11】

閾値の差分を復号することと、
前記現行ブロックの隣接再構成画素から予測閾値を求めることと、
前記差分と前記予測閾値との和を計算することと、を更に含み、
前記和が前記現行閾値である、請求項９に記載の方法。

【請求項12】

前記予測閾値は、
少なくとも前記再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、前記閾値処理した係数に逆変換を適用することによって、前記現行ブロックの隣接領域の再構成画素毎に予測画素を求めることと、
前記隣接領域の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すことと、
前記現行ブロックの前記隣接領域の前記再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、前記複数の閾値の中から、予測閾値として選択することと、
によって求められる、請求項１１に記載の方法。

【請求項13】

ビデオ符号化器において、画素からなる現行ブロックを空間予測によって符号化する装置であって、
前記現行ブロックの画素毎に予測画素を求める手段と、
前記予測画素により形成された予測ブロックを前記現行ブロックから抽出して残差ブロックを生成する手段と、
前記残差ブロックを符号化する手段と、
を含み、前記現行ブロックの画素毎に予測画素を求めることが、
前記現行ブロックの少なくとも前記画素をカバーするウィンドウに変換を適用して係数を得ることと、
前記係数を現行閾値で閾値処理することと、
前記閾値処理された係数に逆変換を適用して前記予測画素を得ることと、
を含むことを特徴とする、前記装置。

【請求項14】

請求項１から８のいずれか１項に記載の符号化方法の各段階を実行するように構成されている、請求項１３に記載の装置。

【請求項15】

ビデオ復号器において、画素からなる現行ブロックを空間予測によって復号する装置であって、
残差ブロックを復号する手段と、
前記現行ブロックの画素毎に予測画素を求める手段と、
前記復号された残差ブロックと前記予測画素によって形成される予測ブロックとを合計することによって、前記現行ブロックを再構成する手段と、
を含み、前記現行ブロックの画素毎に予測画素を求めることが、
前記現行ブロックの少なくとも前記画素をカバーするウィンドウに変換を適用して係数を得ることと、
前記係数を現行閾値で閾値処理することと、
前記閾値処理された係数に逆変換を適用して前記予測画素を得ることと、
を含むことを特徴とする、前記装置。

【請求項16】

請求項９から１２のいずれか１項に記載の復号方法の各段階を実行するように構成されている、請求項１５に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化の全般的な分野に関する。

【0002】

更に具体的には、本発明は、画像のブロックを符号化する方法、及び、復号する方法に関する。

【背景技術】

【0003】

画像を画素の複数のブロックに分割し、これらのブロックの各々を、空間予測（イントラ・モード）又は時間予測（インター・モード）によって符号化することで、画像シーケンスの画像を符号化することが当業者に知られている。現行ブロックの符号化は、現行ブロックの画素と予測ブロックの画素との間の差分を、例えばＤＣＴ（離散コサイン変換）によって、係数のブロックに変換することを一般に含む。この符号化は、係数を量子化し、量子化した係数をエントロピー符号化することを更に含む。

【0004】

イントラ・モード、すなわち、前に符号化された空間的に隣接するブロックの画像データから現行ブロックを予測する空間予測によって現行ブロックを符号化することは、当業者に知られている。例えば、Ｈ．２６４ビデオ符号化規格においては、現行ブロックの上側に、あるいは、現行ブロックの左側に位置する画素から現行ブロックを予測することが知られている。更に具体的には、現行ブロックの画素は、望ましい予測方向（例えば水平方向、垂直方向等）で現行ブロックに隣接する画素の線形結合（ｌｉｎｅａｒ ｃｏｍｂｉｎａｔｉｏｎ）によって予測される。予測画素、すなわち、現行ブロックに隣接する画素の線形結合から得られる予測画素が、予測ブロックを形成する。この予測方法は、予測対象の現行ブロックが輪郭を含む場合に、特に効率的である。実際、オブジェクトの境界がＨ．２６４規格で定められた予測方向の１つに対応しているならば、輪郭は、実際、予測対象の現行ブロックにおいて単一方向に拡がる。しかしながら、２次元の構造がある場合、この予測方法は、その効率性を失う。

【発明の概要】

【0005】

本発明の目的は、従来技術の少なくとも１つの欠点を解消することである。この目的のため、本発明は、現行ブロックと称される画素ブロックを空間予測によって符号化する方法に関する。本発明による符号化方法は、
少なくとも現行ブロックの画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの画素毎に予測画素を求めるステップと、
予測画素により形成された予測ブロックを現行ブロックから抽出して残差ブロックを生成するステップと、
残差ブロックを符号化するステップと、
を含む。有利なことに、現行閾値は、現行ブロックの隣接再構成画素から求められる、あるいは、符号化される。現行閾値を、現行ブロックの隣接再構成画素から求め、あるいは、符号化する点において、符号化効率が向上する。

【0006】

特定の実施態様によれば、現行ブロックの画素毎に予測画素を求めるステップは、複数の閾値のうちの各々の閾値を用いて繰り返される。この方法は、現行ブロックと予測ブロックとの間で計算される予測誤差が最小となる閾値を、複数の閾値の中から、現行閾値として選択するステップを更に含む。

【0007】

本発明の特定の態様によれば、現行閾値は予測閾値との差分だけ符号化され、予測閾値は現行ブロックの隣接再構成画素に依存している。

【0008】

特定の特徴によれば、予測閾値は、現行ブロックの隣接ブロックにおいて使用される閾値の平均値に等しい。

【0009】

第１の変形実施形態によれば、予測閾値は、現行ブロックの隣接ブロックにおいて使用される閾値の中央値に等しい。

【0010】

第２の変形実施形態によれば、予測閾値は、
少なくとも再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
現行ブロックの隣接領域の再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、複数の閾値の中から、予測閾値として選択するステップと、
によって求められる。

【0011】

別の実施態様によれば、現行閾値は、
少なくとも再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
現行ブロックの隣接領域の再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、複数の閾値の中から、現行閾値として選択するステップと、
によって求められる。

【0012】

有利なことに、現行ブロックの隣接領域の再構成画素と、対応する予測画素との間で計算される予測誤差は、現行ブロックの隣接領域の再構成画素毎に、現行ブロックの境界に対する再構成画素の距離を考慮に入れる。

【0013】

本発明の別の態様によれば、現行閾値が８×８のサイズの現行ブロックについて選択され、この選択した現行閾値に１より絶対に小さい係数αを乗算することによって、現行ブロックの４×４のサイズの各ブロックの各々について現行閾値が計算される。

【0014】

有利なことに、ウィンドウのサイズが、予測対象の画素の、現行ブロック内での位置に依存している。

【0015】

また、本発明は、画素からなる現行ブロックを空間予測によって復号する方法であって、
残差ブロックを復号するステップと、
現行ブロックの少なくとも画素をカバーするウィンドウ上に適用された変換から得られた係数を現行閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの画素毎に予測画素を求めるステップと、
復号された残差ブロックと予測画素によって形成される予測ブロックとをマージすることによって、現行ブロックを再構成するステップと、を含む方法に関する。
有利なことに、現行閾値は現行ブロックの隣接再構成画素から求められる。

【0016】

特定の実施態様によれば、現行閾値は、
少なくとも再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの隣接領域内の再構成画素毎に予測画素を求めるステップと、
隣接領域内の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
現行ブロックの隣接領域の再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、複数の閾値の中から、現行閾値として選択するステップと、
によって求められる。

【0017】

別の特定の実施態様によれば、本発明による復号方法は、
閾値の差分を復号するステップと、
現行ブロックの隣接再構成画素から予測閾値を求めるステップと、
差分と予測閾値との和を計算するステップと、
を更に含み、和が現行閾値である。

【0018】

有利なことに、予測閾値は、
少なくとも再構成画素をカバーするウィンドウ上に適用された変換から得られた係数を閾値によって閾値処理し、かつ、閾値処理した係数に逆変換を適用することによって、現行ブロックの隣接領域の再構成画素毎に予測画素を求めるステップと、
隣接領域の画素毎に予測画素を求めるステップを、複数の閾値のうちの各々の閾値を用いて繰り返すステップと、
現行ブロックの隣接領域の再構成画素と、対応する予測画素との間で計算される予測誤差が最小となる閾値を、複数の閾値の中から、予測閾値として選択するステップと、
によって求められる。

【図面の簡単な説明】

【0019】

本発明は、以下の添付図面を参照しつつ、本発明を決して制限しない各実施例と有益な実施形態によって、より良く理解され、実証されるであろう。

【図1】本発明による符号化方法を示す図である。

【図2】予測対象のブロックと、このブロックの予測に使用されるウィンドウとを含む画像部分を示す図である。

【図3】本発明による符号化方法のステップの詳細を示す図である。

【図4】本発明による符号化方法のステップの詳細を示す図である。

【図5】予測対象のブロックと、このブロックの予測に使用される別の各ウィンドウとを含む画像部分を示す図である。

【図6】予測対象のブロックと、このブロックの予測に使用される別の各ウィンドウとを含む画像部分を示す図である。

【図7】予測対象のブロックと、このブロックに隣接する因果ゾーンＺｃと、この因果ゾーンの画素の予測に使用するウィンドウとを含む画像部分を示す図である。

【図8】本発明による復号方法を示す図である。

【図9】本発明による符号化装置を例示する図である。

【図10】本発明による復号装置を示す図である。

【発明を実施するための形態】

【0020】

画像は、各々が画像データの少なくとも１つの項目に関連付けられた画素（ｐｉｘｅｌｓ）または像点（ｉｍａｇｅ ｐｏｉｎｔｓ）を含んでいる。画像データの項目は、例えば、ルミナンス・データの項目、あるいは、クロミナンス・データの項目である。

【0021】

「残差」という用語は、他のデータの抽出の結果得られたデータを意味する。この抽出は、一般的には、ソース画素から予測画素を減算することである。しかしながら、この抽出は、より一般的なものであり、特に、重み付けされた減算を含む。

【0022】

「再構成」という用語は、残差を予測データとマージした後に得られるデータ（例えば、画素、ブロック）を意味する。このマージは、一般的に、残差予測画素の合計である。しかしながら、このマージは、より一般的なものであり、特に、重み付けされた合計を含む。再構成ブロックは、再構成画素のブロックである。

【0023】

画像復号に関して、「再構成」という用語と「復号」という用語とが、同義語として、非常によく使用される。従って、「再構成ブロック」は、「復号ブロック」という用語の意味でもある。

【0024】

本発明は、現行ブロックと称される画素のブロックを空間予測によって符号化する方法に関する。これは、画像あるいは画像シーケンスの符号化に適用される。本発明に従う符号化方法は、２００６年３月発行のＩＥＥＥ会報第５巻第３版の５３９頁〜５７１頁の「画像処理」についてのＧｕｌｅｒｙｕｚ、Ｏ．Ｇ．氏の「Ｎｏｎｌｉｎｅａｒ ａｐｐｒｏｘｉｍａｔｉｏｎ ｂａｓｅｄ ｉｍａｇｅ ｒｅｃｏｖｅｒｙ ｕｓｉｎｇ ａｄａｐｔｉｖｅ ｓｐａｒｓｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎｓ ａｎｄ ｉｔｅｒａｔｅｄ ｄｅｎｏｉｓｉｎｇ（適応型分散再構成と反復ノイズ除去とによるノンリニア近似ベースの画像復元）」という表題の文献に記載された信号外挿方法に基づいている。元来、この外挿方法は、エラーをマスキングする目的で使用されていた。

【0025】

図１を参照して、本発明による画像の現行ブロックを符号化する方法を説明する。

【0026】

ステップ１０において、予測画素が、現行ブロックの各々の画素について求められる（決定される）。予測画素は、現行ブロックの予測ブロックを形成する。予測画素は、少なくとも予測対象の現行ブロックの画素をカバーしているウィンドウ上に適用された変換により得られる係数を、現行の閾値で閾値処理することによって得られる。このウィンドウは、変換のサポートに相当する。ここで使用される変換は、例えば、ＤＣＴである。しかしながら、本発明は、これに限定されない。離散フーリエ変換のような他の変換も適用できる。本発明によれば、現行閾値は、現行ブロックの隣接する再構成画素から求められ、あるいは、符号化される。現行ブロックの隣接する再構成画素から現行の閾値値を求め、あるいは、符号化する点において、符号化の効率が向上する。

【0027】

ステップ１２において、予測画素から形成された予測ブロックが現行ブロックから抽出されて、残差ブロックが生成される。

【0028】

ステップ１４において、残差ブロックがストリームＳに符号化される。例えば、残差ブロックは、例えばＤＣＴ又はウェーブレット変換によって量子化された係数ブロックに変換され、次いで、エントロピー符号化によって符号化される。別の実施形態によれば、残差ブロックは、ただ量子化だけされて、次いで、エントロピー符号化によって符号化される。

【0029】

図２及び図３を参照して、予測画素を求めるステップ１０について更に詳しく説明する。図２において、予測画素

【数1】

は、予測対象の現行ブロックＢの一番左上の画素に対応している。図２において、×印によって識別される画素は、既知の画素、即ち、再構成されたものである。画素

【数2】

の予測は、この画素の環境（周囲の状況）を表す値をこの画素に与えるために行われる。ウィンドウＦは、その初期の位置Ｆ_0,0において、少なくとも予測対象の画素

【数3】

をカバーする。ステップ１０における変換が適用されるのは、このウィンドウ上である。

【0030】

ステップ１００において、初期値が、画素

【数4】

に割り当てられる。簡単な例として、隣接する画素から得られる平均値が、画素

【数5】

に割り当てられる。この値は、

【数6】

として表される。別の実施形態によれば、画素ａ、ｂ及びｃのメジアン（中央値）が、画素

【数7】

に割り当てられる。更に別の実施形態によれば、ａ、ｂ及びｃのうちの１つの値が、画素

【数8】

に割り当てられる。他の実施形態によれば、画素

【数9】

の因果隣接領域内に位置する他の画素を考慮に入れて、画素

【数10】

の初期値を求める。現行画素の因果隣接領域は、現行画素の符号化（それぞれの復号）中に既に再構成されている現行画像の画素群を含む。

【0031】

ステップ１１０において、変換がウィンドウＦの各画素に適用される。その結果、これらの画素は係数に変換される。

【0032】

ステップ１２０において、係数は、変換された領域（ドメイン）で、閾値th_optにより閾値処理される。この閾値処理は、ノイズを除去して、有効な係数のみを保持する効果を有する。

【0033】

ステップ１３０において、ステップ１２０で適用された変換の逆変換を適用して、画素領域（画素ドメイン）に戻し、これによって、

【数11】

として表される新たな予測画素値を復元する。ナル値の

【数12】

より大きいインデックスは、ウィンドウＦの初期位置に対する、行及び列におけるウィンドウＦのナル・オフセットに対応している。

【0034】

図４及び図５を参照すると、図３を参照して説明したのと同じ方法がウィンドウＦのオフセットについて適用され、現行ブロックＢの他の画素についての予測画素が求められる。画素

【数13】

から画素

【数14】

が、反復的に予測される。画素

【数15】

の直ぐ右の現行ブロックの画素に対応する予測画素

【数16】

を求めるために、ウィンドウＦが、図３におけるウィンドウの位置Ｆ_0,0に対して、右に１画素だけオフセットされる。図５において、ａ、ｂ及びｃは、それぞれ、予測対象の画素

【数17】

の左側、上側及び対角線上に位置する、画素

【数18】

の隣接再構成画素であり、ａは、この場合、更に具体的には、前に内挿された画素

【数19】

の値に等しい。

【0035】

別の実施形態に従えば、位置Ｆ_0,0に在るウィンドウＦが、右に２画素だけオフセットされ、即ち、位置Ｆ_0,2に来る。この場合、２番目の反復（ｉｔｅｒａｔｉｏｎ）で、画素

【数20】

と画素

【数21】

とが予測される。更に一般的には、ウィンドウＦは、ｍ画素内ではｍ画素だけオフセットできる。予測があまり劣化しないように、ｍの値は小さいままであることが有利である。

【0036】

ステップ１００において、隣接画素からの平均値が

【数22】

に割り当てられる。例えば、値

【数23】

が割り当てられる。この値は、

【数24】

として表される。画素

【数25】

に関してステップ１００について前述した実施形態も適用できる。

【0037】

ステップ１１０において、変換が、ウィンドウＦ_0,1の各画素に適用される。その結果、これらの画素は係数に変換される。

【0038】

ステップ１２０において、係数は、変換された領域（ドメイン）で、閾値th_optにより閾値処理される。この閾値処理は、ノイズを除去して、有効な係数のみを保持する効果を有する。

【0039】

ステップ１３０において、ステップ１１０で適用された変換の逆変換を適用して、画素領域（画素ドメイン）に戻し、これによって、

【数26】

として表される新たな予測画素値を復元する。

【数27】

より大きいインデックスは、行における０と列における１のウィンドウＦのオフセットに対応している。図５に示されているように、画素

【数28】

は、位置Ｆ_0,1のウィンドウ内に含まれている。従って、予測画素

【数29】

の計算中に、新たな値が、画素

【数30】

についても計算される。実際、逆変換中に、値

【数31】

が画素

【数32】

に割り当てられる。この値

【数33】

は、ウィンドウＦがオフセットされていない（ウィンドウがＦ_0,0に在る）時の先行する反復において計算された値

【数34】

と異なり得る。画素

【数35】

について計算されたこれらの２つの値、即ち、ウィンドウＦのナル・オフセットについて先行する反復において得られた値

【数36】

と、行における０と列における１のオフセットについて現行の反復で得られる値

【数37】

とを考慮に入れるために、新たな値が予測画素

【数38】

に割り当てられる。この新たな値は、

【数39】

として表され、例えば、２つの値

【数40】

と

【数41】

との平均値、即ち、

【数42】

に等しい。

【0040】

本方法は、ブロックＢの全ての画素が予測されるまで繰り返される。この目的のため、ステップ１４０において、現行の画素が、予測対象のブロックの最後の画素であるか否かが確認される。最後の画素であるならば、予測ブロックの決定ステップは、終了する。そうでないならば、現行の行にまだ予測すべき画素がある場合はウィンドウＦを右に１列だけオフセットし、あるいは、ウィンドウＦを下の行にオフセットして、再度、その行の開始点に配置する。しかしながら、ウィンドウＦを、反復の都度、オフセットする仕方は、決まっていない。それは、予測対象のブロックから定まる走査順序によって決まる。これまでに参照した各図では、画素の走査は、左から右に画素毎に行い、そして、これを行毎に行っている。この走査は、唯一のものではなく、ジグザグ・タイプの走査も可能であり、また、その他のタイプ、例えば、１番目の列の１番目の行、その次に、２番目の列の２番目の行というような順の走査も可能である。

【0041】

ステップ１００から１４０が、ウィンドウの新しい位置について再び適用される。予測対象の新たな画素ｐ_sk,slについて、値

【数43】

が求められる。先行する反復中に予測値が既に計算されているウィンドウＦに含まれる現行ブロックの画素についても、新たな予測値が計算される。これらの画素について、新たな予測値は、画素

【数44】

を参照して上述したように、以下のように求められる。

【数45】

ここで、

【数46】

は、ウィンドウＦの位置F_sk，slに対応する反復中に予測対象のブロックの行ｋと列ｌにおいて予測される画素であり、
ｓｋとｓｌは、それぞれ、ウィンドウＦの行と列とについてのオフセットであり、

【数47】

は、ウィンドウＦの位置F_sk，slに至るまでの連続したオフセットによって再帰的に予測される位置（ｋ，ｌ）における予測画素の値である。

【0042】

別の実施形態によれば、重み付けされた和（合計）は、メジアン（中央値）関数

【数48】

あるいは、ヒストグラム・ピーク・タイプの関数によって置き換えられる。

【0043】

第１の実施形態によれば、閾値th_optは、因果ゾーンＺｃ、即ち、現行ブロックＢの隣接領域における再構成画素を含むが、必ずしもこのブロックに隣接していないゾーンから求められる。図７を参照して、この実施形態を説明する。図７において、×印は、再構成画素を表している。背景がグレーである×印は、因果ゾーンＺｃに属する画素を表している。このゾーンＺｃは、予測対象の現行ブロックについての閾値を求めるために使用される。この目的のため、図４と図５とを参照して説明した方法を、このゾーンＺｃの画素に適用することによって、これらの画素の各々について予測画素を求め、そして、これを幾つかの閾値th_iについて行う。従って、閾値th_iの各々について、エネルギー・レベルをゾーンＺｃ上で計算する。簡単な例として、このエネルギーは、次の式に従って計算される。

【数49】

ここで、
ｐは、当該ブロックに含まれている画素の位置を表し、
Ｙは、予測対象の現行ブロック内の画素の画像データの項目（例えば、ルミナンス及び／又はクロミナンス）の値であり、

【数50】

は、閾値th_iについて求められる予測値である。
閾値th_zcが、最小の予測エネルギーＳＳＥ_ｉを生成するゾーンとしてのゾーンＺｃについて求められる。

【0044】

別の実施形態によれば、このエネルギーは次のように計算される。

【数51】

【0045】

更に別の実施形態によれば、このエネルギーは次のように計算される。

【数52】

【0046】

更に別の実施形態によれば、予測対象のブロックの境界に対するＺｃの各画素の距離に応じて相対化されるＺｃの各画素の予測誤差を可能にする重み付け関数が導入される。従って、この重み付け関数の各値は、例えば、予測対象のブロックの中心に対する各画素の距離に応じて変化して以下のようになる。

【数53】

ここで、
・ｃは、標準化係数であり、

【数54】

・ｉ及びｊは、重み付けウィンドウのフレーム内の各重み付け係数の座標に対応しており、予測対象のブロックの中心が、４×４と８×８の寸法のブロックについて、それぞれ、（５.５，５.５）と（１１.５，１１.５）に在り、
・原点（０，０）が、左上である。
予測対象の現行ブロックについての閾値th_optは、th_zcに等しい。ゾーンＺｃは、特に、隣接画素の可用性（ａｖａｉｌａｂｉｌｉｔｙ）に従って、異なる形状を有することができる。同様に、ゾーンの厚さは、１画素を超えてもよい。

【0047】

第２の実施形態によれば、図４及び図５を参照して説明した方法を、相異なる閾値th_iを用いて繰り返し行い、予測ブロックと現行ブロックとの間で計算される予測誤差が最小となる閾値を求めることによって、現行ブロックについての閾値th_optが求められる。
従って、閾値th_iの各々について、エネルギー・レベルが計算される。簡単な例として、このエネルギーは次の式に従って計算される。

【数55】

ここで、
ｐは、当該ブロックに含まれている画素の位置を表し、
Ｙは、予測対象の現行ブロック内の画素の画像データの項目（例えば、ルミナンス及び／又はクロミナンス）の値であり、

【数56】

は、閾値th_iについて求められる予測値である。
閾値th_optは、最小の予測エネルギーＳＳＥ_ｉを生成する閾値である。

【0048】

別の実施形態によれば、このエネルギーは次のように計算される。

【数57】

【0049】

更に別の実施形態によれば、このエネルギーは次のように計算される。

【数58】

【0050】

この第２の実施形態によって求められた現行の閾値th_optの値は、ストリームＳに直接符号化されるか、あるいは、符号化コストを低減するために予測閾値th_predとの差分だけストリームＳに有利に符号化される。

【0051】

例えば、予測閾値th_predは、現行ブロックに隣接しており、かつ既に符号化されているブロックについて求められた閾値th_optの平均値に等しい。左側のブロック、上側のブロック、及び、左上のブロックが、考慮に入れられる。別の実施形態によれば、右上のブロックも考慮に入れられる。

【0052】

更に別の実施形態によれば、予測閾値th_predは、現行ブロックに隣接しており、かつ既に符号化されているブロックについて求められた閾値th_optのメジアン（中央値）に等しい。

【0053】

また更に別の実施形態によれば、予測閾値th_predは、th_zcに等しい。th_optが第１の実施形態によって求められる場合は、th_opt＝th_zcであり、この場合、当該閾値は、復号器側において、符号器側と同じやり方でＺｃの画素から決定され得るので、符号化されない。

【0054】

特定の実施形態によれば、８×８のサイズの現行ブロックは、この８×８のブロックについて現行閾値を求め、ｔｈ８×８として表される現行閾値を用いて、図４及び図５を参照して説明した方法を適用することによって予測することができ、あるいは、この８×８のブロックを４つの４×４のブロックに分割し、それぞれｔｈ４×４として表される各ブロックについての同じ現行閾値を用いて、図４及び図５を参照して説明した方法を、各々の４×４のブロックに別々に適用することによって予測することができる。このｔｈ４×４は、次の等式に従って、ｔｈ８×８から推定される。
ｔｈ４×４＝α＊ｔｈ８×８ （ここで、αは絶対に１より小さい。）

【0055】

本発明はまた、図８を参照して説明する復号方法にも関する。

【0056】

ステップ２０において、残差ブロックが、現行ブロックについて復号される。例えば、ストリームＳの一部分が係数に復号される。係数は、逆量子化され、次いで、必要ならば、符号器側で使用した変換の逆変換によって変換される。このようにして、残差ブロックが得られる。

【0057】

ステップ２２において、予測画素が、現行ブロックの各々の画素について求められる（決定される）。予測画素は、現行ブロックの予測ブロックを形成する。予測画素は、少なくとも予測対象の現行ブロックの画素をカバーしているウィンドウ上に適用された変換により得られる係数を、現行の閾値で閾値処理することによって得られる。ウィンドウは、変換のサポートに相当する。ここで使用される変換は、例えば、ＤＣＴである。しかしながら、本発明は、これに限定されない。離散フーリエ変換のような他の各変換も適用できる。

【0058】

ステップ２４において、現行ブロックが、予測ブロックを復号済みの残差ブロックとマージすることによって、再構成される。

【0059】

予測画素の決定ステップ２２は、符号化方法のステップ１０と同じである。しかしながら、復号器側では、閾値th_optは、それが符号器側で同じストリームＳに符号化された場合、そのストリームＳから復号されるか、あるいは、現行ブロックの隣接領域における再構成画素から直接求められる。

【0060】

第１の実施例によれば、th_optは、ストリームから、直接復号されるか、あるいは、この値の差分を符号化している場合、復号値を予測値th_predに加算することによって復号される。例えば、この予測閾値th_predは、現行ブロックに隣接しており、かつ既に符号化されているブロックについて求められた閾値th_optの平均値に等しい。例えば、左側のブロック、上側のブロック、及び、左上のブロックが、考慮に入れられる。別の実施形態によれば、右上のブロックも考慮に入れられる。

【0061】

更に別の実施形態によれば、予測閾値th_predは、現行ブロックに隣接しており、かつ既に符号化されているブロックについて求められた閾値th_optのメジアン（中央値）に等しい。

【0062】

更に別の実施形態によれば、予測閾値th_predはth_zcに等しく、ここでth_zcは、図７を参照して符号器側について説明したように、求められる。

【0063】

第２の実施形態によれば、閾値th_optは、図７を参照して符号器側について説明したのと同じやり方で、ゾーンＺｃ内の再構成画素から直接求められる。この場合、th_optは、th_zcに等しい。

【0064】

符号化方法及び復号方法に適用できる特定の実施形態によれば、ウィンドウＦのサイズは、図６に示されているように、予測対象の画素の、現行ブロック内での位置に依存する。この図では、位置Ｆ_0,0に在るウィンドウは、位置Ｆ_n-1,m-1に在るウィンドウよりもサイズが小さい。これは、予測ブロックの適合度を向上させるという利点を有している。例えば、現行ブロックが４×４のサイズである場合、現行ブロックの上側と左側の各境界、即ち、１番目の行と１番目の列に位置する画素については、ウィンドウのサイズは４×４であり、現行ブロックのその他の画素については、ウィンドウのサイズは８×８である。使用される１つ又は複数のウィンドウの寸法は、２の累乗に限定されない。実際、本発明は、幾つかの２^Ｎの倍数サンプルに適用される「ラピッド（高速）」変換として知られる変換の使用に限定されない。更に、使用される変換は、必ずしも、別個であるとは限らない。

【0065】

本発明は、また、図９を参照して説明する符号化装置１２と、図１０を参照して説明する復号装置１３とに関する。図９及び図１０において、図示された各モジュールは、機能ユニットであり、物理的に識別可能なユニットに相当する場合もあれば、そうでない場合もある。例えば、これらのモジュール、あるいは、その一部は、単一のコンポーネントにグループ化することができ、あるいは、同一のソフトウェアの機能を構成することもできる。逆に、一部のモジュールは、別個の物理的実体で構成されていてもよい。

【0066】

図９を参照すると、符号化装置１２は、１つ又は複数の画像を入力部にて受信する。符号化装置１２は、図１を参照して説明した本発明による符号化方法を実施できる。各々の画像は、画素ブロックに分割され、その画素の各々は画像データの少なくとも１つの項目に関連付けられている。符号化装置１２は、特に、空間予測で符号化を実施する。図９には、空間予測、即ち、イントラ符号化による符号化に関連する、符号化装置１２のモジュールのみが示されている。図示されていない、ビデオ符号器についての当業者に周知のその他のモジュールが、符号化の時間予測（例えば、動き推定、動き補償）を実施する。符号化装置１２は、特に、計算モジュール１２００を備えており、この計算モジュール１２００は、現行ブロックＢから予測ブロックＰｒを、例えば画素単位で減算することによって、残差ブロックＢｒｅｓを生成することで抽出できる。計算モジュール１２００は、本発明による符号化方法のステップ１２を実施できる。符号化装置１２は、更に、モジュール１２０２を備えており、このモジュール１２０２は、残差ブロックＢｒｅｓを変換し、次いで、量子化データに量子化する。この変換Ｔは、例えば、離散コサイン変換（即ち、ＤＣＴ）である。符号化装置１２は、更に、エントロピー符号化モジュール１２０４を備えており、このエントロピー符号化モジュール１２０４は、量子化データを符号化データのストリームＳに符号化できる。符号化装置１２は、更に、モジュール１２０２の逆の動作を行うモジュール１２０６を備えている。このモジュール１２０６は、逆量子化Ｑ^−１を行い、次いで、逆変換Ｔ^−１を行う。モジュール１２０６は、計算モジュール１２０８に接続されており、この計算モジュール１２０８は、例えば画素単位の加算によって、モジュール１２０６からのデータ・ブロックと予測ブロックＰｒとをマージして、再構成ブロックを生成し、この再構成ブロックはメモリ１２１０に記憶される。

【0067】

予測モジュール１２１６が、予測ブロックＰｒを求める。この予測モジュール１２１６は、本発明による符号化方法のステップ１０を実施できる。この符号化方法のステップ１４は、モジュール１２０２及び１２０４において実施される。

【0068】

図１０を参照すると、復号モジュール１３が、画像を表す符号化データのストリームＳを入力部にて受信する。ストリームＳは、例えば、符号化装置１２からチャネルを介して送信される。復号装置１３は、図８を参照して説明した本発明による復号方法を実施できる。復号装置１３は、復号データを生成できるエントロピー復号モジュール１３００を備えている。この復号データは、逆量子化とそれに続く逆変換とを実施できるモジュール１３０２に送信される。このモジュール１３０２は、ストリームＳを生成した符号化装置１２のモジュール１２０６と同じである。このモジュール１３０２は計算モジュール１３０４に接続されており、この計算モジュール１３０４は、例えば画素単位の加算によって、モジュール１３０２からのブロックと予測ブロックＰｒとをマージして、再構成現行ブロックＢｃを生成でき、この再構成現行ブロックＢｃはメモリ１３０６に記憶される。計算モジュール１３０４は、復号方法のステップ２４を実施できる。復号装置１３はまた、予測モジュール１３０８を備えている。この予測モジュール１３０８は、予測ブロックＰｒを求める。この予測モジュール１３０８は、本発明による復号方法のステップ２２を実施できる。復号方法のステップ２０は、モジュール１３００及び１３０２において実施される。

【0069】

当然であるが、本発明は、上述の各実施例に限定されない。特に、当業者であれば、上述の各実施例を変形して組み合わせることによって、それらの種々の利点から恩恵を受けるであろう。本発明は、使用した変換タイプ（例えば、ＤＣＴ、ウェーブレット、離散フーリエ変換等）に限定されない。同じく、画素の走査順序は、様々であってよい（例えば、ラスタ走査、ジグザグ等）。更に、本発明は、エネルギー・レベルの計算方法（例えば、ＳＳＥ、ＳＡＤ、Ｍａｘ等）によって全く限定されない。

【0070】

本発明は、一定の複数の画像あるいは画像シーケンスの符号化に適用される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】