特許 5931747 画像シーケンスのブロックの符号化および復元の方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5931747

(24)【登録日】2016年5月13日

(45)【発行日】2016年6月8日

(54)【発明の名称】画像シーケンスのブロックの符号化および復元の方法

(51)【国際特許分類】

   H04N 19/61 20140101AFI20160526BHJP

   H04N 19/80 20140101ALI20160526BHJP

   H04N 19/90 20140101ALI20160526BHJP

   H03M 7/36 20060101ALI20160526BHJP

【ＦＩ】

   H04N19/61

   H04N19/80

   H04N19/90

   H03M7/36

【請求項の数】14

【全頁数】23

(21)【出願番号】特願2012-552382(P2012-552382)

(86)(22)【出願日】2011年2月9日

(65)【公表番号】特表2013-520058(P2013-520058A)

(43)【公表日】2013年5月30日

(86)【国際出願番号】EP2011051896

(87)【国際公開番号】WO2011098488

(87)【国際公開日】20110818

【審査請求日】2014年2月10日

(31)【優先権主張番号】1050963

(32)【優先日】2010年2月11日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】オーレリー マーティン

(72)【発明者】

【氏名】ドミニク ソロー

(72)【発明者】

【氏名】エドワール フランソワ

(72)【発明者】

【氏名】ジェローム ヴィエロン

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特表２００７−５０１５５５（ＪＰ，Ａ）

【文献】 国際公開第２００８／０３６１１２（ＷＯ，Ａ１）

【文献】 Aurelie Martin(外3名)，ATOMIC DECOMPOSITION DEDICATED TO AVC AND SPATIAL SVC PREDICTION，Image Processing, 2008. ICIP 2008. 15th IEEE International Conference on，米国，IEEE，２００８年１０月１２日，p.2492-2495

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

Ｈ０３Ｍ３／００−１１／００

(57)【特許請求の範囲】

【請求項1】

画像のシーケンスの現在のブロックを符号化する符号化方法であって、以下のステップ、
前記現在のブロックについて予測ブロックを決定するステップと、
前記現在のブロック及び前記予測ブロックから、残差ブロックを決定するステップと、
前記残差ブロックを符号化するステップと
を含む方法において、
前記予測ブロックが以下のステップ、
少なくとも１つの動きベクトル及び少なくとも１つの参照画像から前記現在のブロックの最初の予測ブロックを決定するステップと、
前記現在のブロックの復元された隣接ブロックの画像データ及び前記現在のブロックの前記最初の予測ブロックのデータを含むベクトルＹｃｐに原子分解法を適用するステップと、
前記原子分解法の適用により分解されたベクトルから前記現在のブロックに対応するデータを抽出し、及び、該抽出されたデータを前記予測ブロックに再編成するステップと、
にしたがって決定される、前記符号化方法。

【請求項2】

前記原子分解法を適用するステップが、
ａ）Ｒ_k-1と最も相関がある原子を原子の辞書において選択するステップであって、ここでＲ_k-1はベクトルＹ_cpとＡ_c^*Ｘ_k-1との間で計算された残差であり、Ｘ_k-1は繰返しｋ−１において決定されたベクトルであり、ｋが整数であり、Ａ_cは、各列が前記辞書の原子を表す行列である、前記ステップと、
ｂ）該選択された原子からＸ_k及びＲ_kを計算するステップと、
ｃ）ステップａ及びｂを、次の終止基準Ｎ（Ｙ_cp−Ａ_cＸ_k）≦ρまで繰り返すステップであって、ここでρは閾値であり、N（．）がノルムである、前記ステップと、
を含む、請求項１に記載の符号化方法。

【請求項3】

前記分解されたベクトルから前記現在のブロックに対応するデータを抽出することは、
ベクトル

【数1】

から前記予測ブロックを抽出するステップであって、ここで

【数2】

はベクトルＸ_kの１つである、前記ステップを含む、請求項２に記載の符号化方法。

【請求項4】

【数3】

であり、ここでＫは最後の前記繰返しのインデックスである、請求項３に記載の符号化方法。

【請求項5】

【数4】

が以下のステップ、
各繰返しでＸ_kを記憶するステップと、
記憶されたＸ_kの中から値Ｎ（Ｙ_p−Ａ_pＸ_k）が最小となるＸ_kを選択するステップであって、ここでＹ_pは前記現在のブロックに対応するＹ_cpの部分であり、Ａ_pは前記現在のブロックに対応する前記行列Ａ_cの部分である、前記ステップと、

【数5】

から前記予測ブロックを決定するステップであって、ここで

【数6】

は前のステップで選択されたＸ_kである、前記ステップと
にしたがって決定される、請求項３に記載の符号化方法。

【請求項6】

符号化データのストリームの形態における画像のシーケンスの現在のブロックを復元する復元方法であって、
符号化データの前記ストリームの一部を復号することによって残差ブロックを決定するステップと、
前記現在のブロックについて予測ブロックを決定するステップと、
前記残差ブロックと前記予測ブロックとから、前記現在のブロックを復元するステップと、
を含み、
前記予測ブロックが以下のステップ、
少なくとも１つの動きベクトル及び少なくとも１つの参照画像から前記現在のブロックの最初の予測ブロックを決定するステップと、
前記現在のブロックの復元された隣接ブロック及び前記現在のブロックの前記最初の予測ブロックのデータを含むベクトルＹｃｐに原子分解法を適用するステップと、
前記原子分解法の適用により分解されたベクトルから前記現在のブロックに対応するデータを抽出し、及び、該抽出したデータを前記予測ブロックに再編成するステップと、
にしたがって決定される、前記復元方法。

【請求項7】

前記原子分解法を適用するステップが、
ａ）Ｒ_k-1と最も相関がある原子を原子の辞書において選択するステップであって、ここでＲ_k-1はベクトルＹ_cpとＡ_c^*Ｘ_k-1との間で計算された残差であり、Ｘ_k-1は繰返しｋ−１において決定されたベクトルであり、ｋが整数であり、Ａ_cは、各列が前記辞書の原子を表す行列であるステップと、
ｂ）該選択された原子からＸ_k及びＲ_kを計算するステップと、
ｃ）ステップａ及びｂを、次の終止基準Ｎ（Ｙ_cp−Ａ_cＸ_k）≦ρまで繰り返すステップであって、ここでρは閾値であり、N（．）がノルムである、前記ステップと、
を含む、請求項６に記載の復元方法。

【請求項8】

前記分解されたベクトルから前記現在のブロックに対応するデータを抽出することは、
ベクトル

【数7】

から前記予測ブロックを抽出するステップであって、ここで

【数8】

はベクトルＸ_kの１つである、前記ステップを含む、請求項７に記載の復元方法。

【請求項9】

【数9】

であり、ここでＫは最後の前記繰返しのインデックスである、請求項８に記載の復元方法。

【請求項10】

【数10】

が以下のステップ、
各繰返しでＸ_kを記憶するステップと、
記憶されたＸ_kの中から値Ｎ（Ｙ_p−Ａ_pＸ_k）が最小となるＸ_kを選択するステップであって、ここでＹ_pは前記現在のブロックに対応するＹ_cpの部分であり、Ａｐは前記現在のブロックに対応する行列Ａｃの部分であるステップと、

【数11】

から前記予測ブロックを決定するステップであって、

【数12】

は前のステップで選択されたＸ_kである、前記ステップと
にしたがって決定される、請求項８に記載の復元方法。

【請求項11】

画像のシーケンスの現在のブロックを符号化する符号化デバイスであって、以下の手段、
前記現在のブロックについて予測ブロックを決定する手段と、
前記現在のブロック及び前記予測ブロックから残差ブロックを決定する手段と、
前記残差ブロックを符号化する手段と
を備えたデバイスにおいて、
前記現在のブロックについて予測ブロックを決定する前記手段は、
少なくとも１つの動きベクトル及び少なくとも１つの参照画像から前記現在のブロックの最初の予測ブロックを決定する手段と、
前記現在のブロックの復元された隣接ブロックの画像データ及び前記現在のブロックの前記最初の予測ブロックのデータを含むベクトルＹｃｐに原子分解法を適用する手段と、
前記原子分解法の適用により分解されたベクトルから前記現在のブロックに対応するデータを抽出し、及び、該抽出したデータを前記予測ブロックに再編成する手段と、
を含む、前記符号化デバイス。

【請求項12】

請求項１から５のいずれか１項に記載の符号化方法のステップを実行するように適合された、請求項１１に記載の符号化デバイス。

【請求項13】

符号化データのストリームの形態における画像のシーケンスの現在のブロックを復元する復号デバイスであって、
符号化データの前記ストリームの一部を復号することによって残差ブロックを決定する手段と、
前記現在のブロックについて予測ブロックを決定する手段と、
前記残差ブロック及び前記予測ブロックから前記現在のブロックを復元する手段と
を備えた復号デバイスにおいて、
前記現在のブロックについて前記予測ブロックを決定する前記手段は、
少なくとも１つの動きベクトル及び少なくとも１つの参照画像から前記現在のブロックの最初の予測ブロックを決定する手段と、
前記現在のブロックの復元された隣接ブロックの画像データ及び前記現在のブロックの前記最初の予測ブロックのデータを含むベクトルＹｃｐに原子分解法を適用する手段と、
前記原子分解法の適用により分解されたベクトルから前記現在のブロックに対応するデータを抽出し、及び、該抽出したデータを前記予測ブロックに再編成する手段と
を含む、前記復号デバイス。

【請求項14】

請求項６から１０のいずれか１項に記載の前記復元方法のステップを実行するように適合された、請求項１３に記載の復号デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化の一般分野に関する。

【0002】

本発明は、画像のシーケンスのブロックを符号化する方法、およびこのようなブロックを復元（reconstructing）するための対応する方法に関する。

【背景技術】

【0003】

図１を参照すると、いくつかの画像のシーケンスに属する現在の画像の画素からなる現在のブロックＢｃを空間予測または時間予測によって符号化することが当技術分野で知られている。この目的のために、符号化されるべき現在のブロックＢｃに対し、空間予測の場合では前に復元された現在のブロックに空間的に隣接する画素から、あるいは前に復元された現在の画像以外の、参照画像と呼ばれる画像の画素から予測ブロックＢｐを決定することが当技術分野で知られている。

【0004】

ステップ１２を通じて、残差ブロックＢｒが、現在のブロックＢｃから予測ブロックＢｐを抽出することによって決定される。

【0005】

ステップ１４を通じて、残差ブロックはストリームＦ中で符号化される。この符号化のステップは、残差ブロックを係数のブロックに変換すること、これらの係数を量子化すること、およびストリームＦ中でそれらをエントロピー符号化することを一般に含む。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】T. K. Tan et al, "Intra prediction by template matching", ICIP conference, 2006

【発明の概要】

【発明が解決しようとする課題】

【0007】

時間予測の場合では、ブロックマッチング法などの動き推定方法により予測画素のブロックを決定することが当技術分野で知られている。しかし、このような予測ブロックは、復元された現在のブロックの隣接ブロックと比べて一般に不均質である。

【課題を解決するための手段】

【0008】

本発明の目的は、従来技術の不利な点の少なくとも１つを克服することである。この目的のために、本発明は以下のステップ、すなわち
現在のブロックについて予測ブロックを決定するステップと、
現在のブロックから予測ブロックを抽出することによって、残差ブロックを決定するステップと、
残差ブロックを符号化するステップと
を含む、画像のシーケンスの現在のブロックを符号化する方法に関連する。

【0009】

本発明によれば、現在のブロックの予測ブロックは、以下のステップ、すなわち
動きデータおよび前に符号化及び復元された少なくとも１つの参照画像から最初の予測ブロックを決定するステップと、
データＹｃｐのベクトルに原子分解法を適用するステップであって、データのベクトルが、前に符号化および復元された現在のブロックの隣接ブロックの画像データ、および最初の予測ブロックのデータを含むステップと、
分解されたベクトルから現在のブロックに対応するデータを抽出するステップであって、抽出したデータが予測ブロックを形成するステップと
にしたがって決定される。

【0010】

現在のブロックの時間予測は、結果として得られる予測ブロックが参照画像からの時間情報の項目と現在の画像からの空間情報の項目との両方を結合するので、改善される。結果として得られる予測ブロックは、空間環境、すなわち現在のブロックの、前に復元された隣接画素を考慮に入れることにより、より均質になる。

【0011】

本発明の特定の一態様によれば、符号化方法は、Ｎ（Ｙｃｐ−Ａ_cＸ）が最小になるベクトルＸ_kを以下のステップ、すなわち
ａ）Ｒ_k-1と最も相関がある原子ａｊ_kを選択するステップであって、Ｒ_k-1はベクトルＹ_cpとＡ_c^*Ｘ_k-1の間で計算された残差であり、ここでＸ_k-1は繰返しｋ−１において決定されたＸの値であり、ｋが整数であるステップと、
ｂ）選択された原子からＸ_kおよびＲ_kを計算するステップと、
ｃ）次の終止基準Ｎ（Ｙ_cp−Ａ_cＸ_k）≦ρまでステップａおよびｂを繰り返すステップであって、ここでρは閾値であるステップと、
ベクトル

【0012】

【数1】

【0013】

から予測ブロックを抽出するステップであって、ここで、

【0014】

【数2】

【0015】

はベクトルＸ_kの１つであるステップと
にしたがって決定することを含み、ここでＡｃは各列が原子ａｊを表す行列であり、Ｎ（．）はノルムである。

【0016】

本発明の特定の一特性によれば、

【0017】

【数3】

【0018】

であり、ここでＫは最後の繰返しのインデックスである。

【0019】

一変形形態によれば、

【0020】

【数4】

【0021】

は以下のステップ、すなわち
各繰返しＸ_ｋで記憶するステップと、
記憶されたＸ_ｋの中から値Ｎ（Ｙ_ｐ−Ａ_ｐＸ_ｋ）が最小となるＸ_ｋを選択するステップであって、ここでＹ_ｐは現在のブロックに対応するＹ_ｃｐの部分であり、Ａｐは現在のブロックに対応する行列Ａｃの部分であるステップと、

【0022】

【数5】

【0023】

から予測ブロックを決定するステップであって、ここで、

【0024】

【数6】

【0025】

は前のステップで選択されたＸ_ｋであるステップと
にしたがって決定される。

【0026】

本発明はまた、符号化データのストリームの形の画像のシーケンスの現在のブロックを復元する方法に関し、以下のステップ、すなわち
符号化データのストリームの一部を復号することによって残差ブロックを決定するステップと、
現在のブロックから予測ブロックを決定するステップと、
残差ブロックと前記予測ブロックを合成することによって現在のブロックを復元するステップと
を含む。

【0027】

本発明によれば、現在のブロックの予測ブロックは以下のステップ、すなわち
動きデータおよび前に符号化及び復元された少なくとも１つの参照画像から最初の予測ブロックを決定するステップと、
データＹｃｐのベクトルに原子分解法を適用するステップであって、データＹｃｐのベクトルが、前に符号化および復元された現在のブロックの隣接ブロックの画像データ、および最初の予測ブロックのデータを含むステップと、
分解されたベクトルから現在のブロックに対応するデータを抽出するステップであって、抽出したデータが前記予測ブロックを形成するステップと
にしたがって決定される。

【0028】

特定の一実施形態によれば、復元方法は、Ｎ（Ｙｃｐ−Ａ_cＸ）が最小になるベクトルＸ_kを以下のステップ、すなわち
ａ）Ｒ_k-1と最も相関がある原子ａｊ_kを選択するステップであって、ここでＲ_k-1はベクトルＹ_cpとＡ_c^*Ｘ_k-1の間で計算された残差であり、ここでＸ_k-1は繰返しｋ−１において決定されたＸの値であり、ｋが整数であるステップと、
ｂ）選択された原子からＸ_kおよびＲ_kを計算するステップと、
ｃ）次の終止基準Ｎ（Ｙ_cp−Ａ_cＸ_k）≦ρまでステップａおよびｂを繰り返すステップであって、ここでρは閾値であるステップと、
ベクトル

【0029】

【数7】

【0030】

から予測ブロックを抽出するステップであって、

【0031】

【数8】

【0032】

はベクトルＸ_kの１つであるステップと
にしたがって決定することを含み、ここでＡｃは各列が原子ａｊを表す行列であり、Ｎ（．）はノルムである。

【0033】

本発明の特定の一特性によれば、

【0034】

【数9】

【0035】

であり、ここでＫは最後の繰返しのインデックスである。

【0036】

一変形形態によれば、

【0037】

【数10】

【0038】

は以下のステップ、すなわち
各繰返しＸ_ｋで記憶するステップと、
記憶されたＸ_ｋの中から値Ｎ（Ｙ_ｐ−Ａ_ｐＸ_ｋ）が最小となるＸ_ｋを選択するステップであって、ここでＹ_ｐは現在のブロックに対応するＹ_ｃｐの部分であり、Ａｐは現在のブロックに対応する行列Ａｃの部分であるステップと、

【0039】

【数11】

【0040】

から予測ブロックを決定するステップであって、ここで、

【0041】

【数12】

【0042】

は前のステップで選択されたＸ_ｋであるステップと
にしたがって決定される。

【図面の簡単な説明】

【0043】

本発明は、添付の図に関して、全く限定的ではない諸実施形態および有利な実施によってよりよく理解および説明されよう。

【0044】

【図1】従来技術による符号化方法を示す図である。

【図2】従来技術による原子分解の方法を示す図である。

【図3】画像のブロックの群を示す図である。

【図4】本発明による符号化方法を示す図である。

【図5】本発明による復号化方法を示す図である。

【図6】本発明による符号化方法の特定の要素を示す図である。

【図7】本発明による符号化方法の特定の要素を示す図である。

【図8】本発明による符号化方法の特定の要素を示す図である。

【図9】本発明による復元の方法を示す図である。

【図10】本発明による符号化デバイスを示す図である。

【図11】本発明による復号デバイスを示す図である。

【図12】因果関係ゾーン（causal zone）のそれぞれ異なる形を示す図である。

【発明を実施するための形態】

【0045】

画像は、画像データの少なくとも１つの項目にそれぞれが関連付けられた画素または像点を含む。画像データの項目とは、例えば、輝度データの項目または彩度データの項目である。

【0046】

「残差」という語は、他のデータの抽出後に得られるデータを意味する。抽出とは一般に、ソース画素から予測画素を減算することである。しかし、抽出はもっと一般的であり、特に重み付け減算を含む。

【0047】

「復元」という語は、残差と予測データの合成後に得られるデータ（例えば画素、ブロック）を意味する。合成とは一般に、予測画素と残差の加算である。しかし、合成はもっと一般的であり、特に重み付け加算を含む。復元ブロックとは、復元画素のブロックである。

【0048】

画像復号に関しては、「復元」および「復号」という用語は、同義であるとして用いられることが非常に多い。したがって、「復号ブロック」という術語で「復元ブロック」も意味する。

【0049】

本発明による符号化の方法は、原子分解の方法（method for atomic decomposition）に基づく。信号Ｙから原子分解が得られるようにする様々な方法が存在する。これらの中で、最もよく知られているものの１つは、「マッチング探索（matching pursuit）」という用語で知られている。「直交マッチング探索」または「グローバル整合フィルタ」など、「マッチング探索」の変形形態が使用されることもあることに留意されたい。

【0050】

原子分解全般および「マッチング探索」の一般原理を以下で説明する。Ｙが次元Ｎのソースベクトル、Ａが次元Ｎ×Ｍの行列、ただしＭ≫Ｎである。Ａの列ａ_jは辞書（dictionary）の基底関数または原子（atom）であり、これらはソースベクトルＹを表すために使用される。ソース信号Ｙの原子分解の目的は、次元ＭのベクトルＸをＹ＝ＡＸとなるように決定することである。ベクトルＸには無数の解がある。簡潔な表現の目的は、Ｙ＝ＡＸのすべての解の中で簡潔であるもの、すなわち、ベクトルＸが低い数字のナル（null）でない係数だけを有する解を探すことである。厳密な解を探すことは、非常にコストがかかる組み合わせ法を必要とするので、実際にはあまりに複雑である。一般には、Ｎ（Ｙ−ＡＸ）≦ρを確証する簡潔な表現が代わりに求められる。ここでρは表現の簡潔さを制御する許容閾（tolerance threshold）であり、Ｎ（．）は例えば二乗ノルムＬ２である。当然、Ｎ（．）はノルムＬ２以外のノルムでもありうる。

【0051】

「マッチング探索」（ＭＰ）の方法では、このような準最適な解、すなわち厳密でない解が、繰返し手順を用いて得られるようになる。この方法では繰返しｋごとに、表現Ｘ_ｋ、ナルでない係数の番号を有する次元ベクトルＭを発生し、この番号は、一般に（同じ原子が２つの繰返しの間中に選択される場合を除いて）新しい繰返しｋごとに増える。図２を参照してこのＭＰ法を詳細に説明する。

【0052】

既知のデータは、ソース信号Ｙ、辞書Ａおよび閾ρである。初期化ステップ２０を通じて（繰返しｋ＝０）Ｘ₀＝０であり、残差エラーＲ₀の最初のベクトルが次式で計算される。
Ｒ₀＝Ｙ−ＡＸ₀＝Ｙ

【0053】

ステップ２２を通じて、ｋ番目の繰返しに対応して、現在の残差ベクトルＲ_k-1との最大の相関性を有する基底関数

【0054】

【数13】

【0055】

が選択される。ここで、

【0056】

【数14】

【0057】

である。

【0058】

ステップ２４を通じて、ベクトルＸ_kおよび残差ベクトルＲ_kが更新される。

【0059】

ベクトルＸ_ｋの係数

【0060】

【数15】

【0061】

が次式により計算される。

【0062】

【数16】

【0063】

残差ベクトルＲ_kは次式により更新される。

【0064】

【数17】

【0065】

計算されたばかりの係数

【0066】

【数18】

【0067】

がＸ_ｋ−１に加えられ、それによって新しい表現Ｘ_ｋが形成される。

【0068】

ステップ２６を通じて、終止基準が満たされているかどうかを見るための検査がある。Ｎ（Ｙ−ＡＸ_ｋ）≦ρであれば手順は終了され、そうでなければステップ２８を通じてｋが１だけインクリメントされ、ステップ２２で手順が再開する。最終ベクトルＡＸ_Ｋは、ソース信号Ｙの近似値になり、ここでＫは最後の繰返しのインデックスである。

【0069】

図３に、サイズｎ×ｎの画素のブロックが示されている。整数「ｎ」は、例えば４、８、１６などの異なる値を取りうる。灰色のブロック（ゾーンＰ）は予測されるべき現在のブロックを表し、斜線で影をつけたブロック（ゾーンＣ）は因果関係ゾーン（causal zone）を表し、白色のゾーン（ゾーンＮＣ）は非因果関係ゾーンを表す。因果関係ゾーンは、現在のブロックの前に復元された画素を含む。因果関係ゾーンの画定は、画像中のブロックを符号化する順序によって決まる。図３では、各ブロックは、「ラスタ走査」として知られる標準符号化順序に従って符号化されると想定されている。しかし、本発明はこの符号化順序に全く限定されない。本発明による符号化方法は、一直線に走査されるゾーンＬの画素から形成される観測ベクトルＹの原子分解を含み、ここでＬ＝Ｃ∪Ｐ∪ＮＣである。したがって、ベクトルＹは、サイズ９ｎ^２×１のベクトルになる。

【0070】

図４を参照して、本発明による符号化の方法を詳細に説明する。

【0071】

ステップ３０を通じて最初の予測ブロックＢｐ０が、例えば標準ブロックマッチング法により決定される。このブロックマッチングには、ブロックの参照画像における選択が含まれ、この選択により、この予測ブロックと予測されるべき現在のブロックとの間の計算される歪みが最小になる。このようなブロックＢｐ０は、参照画像のブロックであるか、あるいはそのようなブロックの補間バージョンである。このステップの最後で、隣接ブロックは、前に復元された現在のブロックに利用可能であり、この現在のブロックに対しては、図５に示されるように、現在のブロックのデータの第１の近似値を表す予測ブロックＢｐ０が利用可能である。

【0072】

ステップ３２を通じて、原子分解がサイズ５ｎ²×１のベクトルＹｃｐに適用され、このベクトルは、観測ゾーンすなわち隣接ブロック（図３のゾーンＣ）の画素の値と、予測されるべき現在のブロック（図３のゾーンＰ）のデータに取って代わった最初の予測ブロックＢｐ０の画素の値とをデータとして含む。前に復元されていない現在のブロックの他の隣接ブロック（図３のゾーンＮＣ）のデータはナルである。ゾーンＣ、ＮＣおよびＰが結合することにより、サイズ３ｎ×３ｎのゾーンＬを形成する。辞書Ａは、ゾーンＬ（３ｎ×３ｎ）と同じサイズの二次元基底関数を含み、これらの基底関数は、ある信号を基本信号に分解するための適正な特性を有すると想定されている。Ａに対してＤＣＴ（離散コサイン変換）またはＤＦＴ（離散フーリエ変換）など通常の変換カーネルを用いることが当然考えられうる。これらの特定の場合には、信号の周波数分解が操作される。ＤＦＴおよびＤＣＴそれぞれを伴う基底関数または原子の式は以下の通りである。

【0073】

【数19】

【0074】

および

【0075】

【数20】

【0076】

辞書Ａは、ゾーンＬを表すために最小限で９ｎ^２の原子を含まなければならない。それぞれのサイズが３ｎ×３ｎの９ｎ^２の二次元原子を２Ｄ行列中に含むことができるようにするために、原子はベクトル化されなければならない。すなわち、辞書Ａは、それぞれがサイズ９ｎ^２×１の原子を表す９ｎ^２列から構成される。したがって、辞書Ａは大きさが９ｎ^２×９ｎ^２になる。

【0077】

ＤＣＴ原子およびＤＦＴ原子の選択は制限事項ではない。実際、辞書は、画像中のあらゆるパターンタイプ（Ｇａｂｏｒ原子、異方性原子など）を表すことができる任意の基底関数により拡充することができる。原子の数、または再び行列Ａ中の列の数は、ベクトル化ゾーンＬのサイズ（すなわち９ｎ²）を最小値として有するが、理論的最大値は有さない。原子の量が多ければ多いほど、信号を回復する可能性が多くなる。

【0078】

有用な画素はゾーンＣおよびＰのものだけであり、他の画素はナルである。ＭＰ法に有効な予測支持体になるのは、この観測ベクトルＹ_ｃｐである。

【0079】

ステップ３４を通じて、ゾーンＰに対応するサイズｎ^２のベクトル

【0080】

【数21】

【0081】

は、図７に示されるように、

【0082】

【数22】

【0083】

から抽出される。抽出されたデータ

【0084】

【数23】

【0085】

は、ブロック形式に再編成される（ベクトル演算の反対の演算）。再編成されたデータは、現在のブロックの新しい予測ブロックＢｐを表す。この予測ブロックＢｐは、特に現在のブロックの空間環境に由来する理由により、Ｂｐ０よりも均質である。

【0086】

ステップ３６を通じて、残差ブロックＢｒは、現在のブロックＢ_Cから予測ブロックＢｐを抽出することによって、例えば画素ごとに減算することによって決定される。

【0087】

ステップ３８を通じて、残差ブロックが符号化される。この符号化ステップは、残差ブロックを係数のブロックに変換すること、これらの係数を量子化すること、およびストリームＦ中でそれらをエントロピー符号化することを一般に含む。一変形形態によれば、このステップは、残差を量子化すること、およびストリームＦ中でそれらをエントロピー符号化することを含みうる。

【0088】

一変形形態によれば、繰返し（ＭＰ法のステップ２４）の間中に決定されたシーケンスＸ_ｋのセットがメモリ中に記憶される。Ｘ_ｏｐｔはもはやＸ_Ｋと等しくなく、Ｋは最後の繰返しのインデックスであるが

【0089】

【数24】

【0090】

であり、

【0091】

【数25】

【0092】

である。ここで、Ａ_ｐは、予測されるべきゾーンＰと関連付けられたサイズｎ^２×９ｎ^２の行列であり、Ｙ_ｐは、予測されるべきゾーンＰと関連付けられたサイズｎ^２×１のベクトルである。

【0093】

ＡｐおよびＹｐが図８に示されている。この変形形態によりＸ_ｏｐｔが、ゾーンＣ∪Ｐの最良表現に必ずしも対応しないゾーンＰの最良表現であるとして決定されることが可能になる。データ

【0094】

【数26】

【0095】

は、ブロック形式で再編成される（ベクトル演算の反対の演算）。この変形形態によれば、係数ｋ_ｏｐｔもまたストリームＦ中で符号化される。実際、ベクトルＹ_ｐのデータは復号器には未知である。再編成されたデータは、現在のブロックの新しい予測ブロックＢｐを表す。

【0096】

標準的な符号化方法では、この符号化モードは、Ｂｐ０に対応する時間予測によって標準的な符号化モードに取って代わることができ、あるいはそれを補完することができ、符号化モード決定モジュールで試験されるこれら２つのモードと、最良のビットレート−歪みを示すモードとは妥協して保持される。

【0097】

図９は、本発明による現在のブロックを復元する方法を図示する。

【0098】

ステップ４０を通じて、現在のブロックに対して残差ブロックＢｒが復号される。例えば、ストリームＦの一部が係数に復号される。これらの係数は復号（dequantize）され、次に必要に応じて、ステップ１４の符号器側で使用される係数へと反転変換によって変換される。こうして残差ブロックが得られる。一変形形態によれば、反転変換ステップは、特に変換ステップがステップ１４の符号器側で適用されなかった場合に省略される。

【0099】

ステップ４２を通じて、最初の予測ブロックＢｐ０が、例えばストリームＦから復号された１つまたはいくつかの動きベクトルにより決定される。一変形形態によれば、最初の予測ブロックＢｐ０は、「テンプレートマッチング」技法によって決定される。このような技法が開示されている（例えば、非特許文献１参照）。

【0100】

このようなブロックＢｐ０は、参照画像のブロックであるか、またはこのようなブロックの補間バージョンである。このステップの終わりに、前に復元された現在のブロックの隣接ブロックが利用可能であり、現在のブロックに対して、図５に示された現在のブロックのデータの第１の近似値を表す予測ブロックＢｐ０が利用可能である。

【0101】

ステップ４４を通じて、原子分解がサイズ９ｎ²×１のベクトルＹに適用され、このベクトルＹは、観測ゾーンすなわち隣接ブロック（図３のゾーンＣ）の画素の値と、予測されるべき現在のブロック（図３のゾーンＰ）のデータに取って代わった最初の予測ブロックＢｐ０の画素の値と、前に復元されていない現在のブロックの他の隣接ブロック（図３のゾーンＮＣ）のデータを表すナル値とをデータとして含む。ゾーンＣ、ＮＣおよびＰが結合することにより、サイズ３ｎ×３ｎのゾーンＬを形成する。辞書Ａは、ゾーンＬ（３ｎ×３ｎ）と同じサイズの二次元基底関数を含み、これらの基底関数は、ある信号を基本信号に分解するための適正な特性を有すると想定されている。Ａに対してＤＣＴ（離散コサイン変換）またはＤＦＴ（離散フーリエ変換）など通常の変換カーネルを用いることが当然考えられうる。これらの特定の場合には、信号の周波数分解が演算される。ＤＦＴおよびＤＣＴそれぞれを伴う基底関数または原子の式は以下の通りである。

【0102】

【数27】

【0103】

【数28】

【0104】

辞書Ａは、ゾーンＬを表すために最小限で９ｎ^２の原子を含まなければならない。それぞれのサイズが３ｎ×３ｎの９ｎ^２の二次元原子を２Ｄ行列中に含むことができるようにするために、原子はベクトル化されなければならない。すなわち、辞書Ａは、それぞれがサイズ９ｎ^２×１の原子を表す９ｎ^２列から構成される。したがって、辞書Ａは大きさが９ｎ^２×９ｎ^２になる。

【0105】

ＤＣＴ原子およびＤＦＴ原子の選択は制限事項ではない。実際、辞書は、画像中のあらゆるパターンタイプ（Ｇａｂｏｒ原子、異方性原子など）を表すことができる任意の基底関数により拡充することができる。原子の数、または再び行列Ａ中の列の数は、ベクトル化ゾーンＬのサイズ（すなわち９ｎ²）を最小値として有するが、理論的最大値は有さない。原子の量が多ければ多いほど、信号を回復する可能性が多くなる。

【0106】

有用な画素はゾーンＣおよびＰのものだけであり、他の画素はナルである。因果関係ゾーンＣおよび最初の予測ブロックＢｐ０の画素だけを含有するベクトルである、５ｎ^２×１画素に等しい大きさのＹ_ｃｐに注意されたい。ＭＰ法に有効な予測支持体になるのは、この観測ベクトルＹ_ｃｐである。

【0107】

図６に示されているように、大きさ５ｎ^２×１であるＹ_ｃｐのデータ（Ｙのデータではない）を表すことができるように、行列Ａは、ゾーンＣおよびＰの外側のすべての画素に対応するその行を除去することによって修正される。実際には、これらすべての画素は未知であり、ゼロの値を有する。Ａ_ｃと表され、高さの面では圧縮された、サイズ５ｎ^２×９ｎ^２の行列がこうして得られる。マッチング探索法（matching pursuit method）または他の等価な方法が、問題Ｙ_ｃｐ＝Ａ_ｃＸの簡潔な解のセットの中で解を決定するのに用いられ、この解は、復元エラーを最小限にするＸ_ｏｐｔと表される。こうして、図２を参照して説明したステップ２０から２８は、Ｘ_ｏｐｔを決定するために、観測データとしてベクトルＹ_ｃｐ、辞書として行列Ａ_ｃを用いて、繰返し適用される。この方法は、終止基準Ｎ（Ｙ_ｃｐ−Ａ_ｃＸ_ｋ）≦ρが確証されるとすぐに終止する。すなわちＸ_ｏｐｔ＝Ｘ_Ｋであり、Ｋは最後の繰返しのインデックスである。最後のベクトル

【0108】

【数29】

【0109】

は、ベクトルＹの近似値である。

【0110】

ステップ４６を通じて、ゾーンＰに対応するサイズｎ^２のベクトル

【0111】

【数30】

【0112】

は、図７に示されるように、

【0113】

【数31】

【0114】

から抽出される。抽出されたデータ

【0115】

【数32】

【0116】

は、ブロック形式に再編成される（ベクトル演算の反対の演算）。再編成されたデータは、現在のブロックの新しい予測ブロックＢｐを表す。この予測ブロックＢｐは、特に現在のブロックの空間環境に由来する理由により、Ｂｐ０よりも均質である。

【0117】

ステップ４８を通じて、現在のブロックＢ_Cは、ステップ４６で決定された予測ブロックＢｐとステップ４０で復元された残差ブロックとを、例えば画素ごとに加算することによって合成して復元される。

【0118】

一変形形態によれば、インデックスＫ_ｏｐｔはストリームＦから復号される。Ｘ_ｏｐｔはもはやＸ_Ｋと等しくなく、Ｋは最後の繰返しのインデックスであるが、

【0119】

【数33】

【0120】

である。この変形形態によりＸ_ｏｐｔが、ゾーンＣ∪Ｐの最良表現に必ずしも対応しないゾーンＰの最良表現であるとして決定されることが可能になる。データ

【0121】

【数34】

【0122】

は、ブロック形式で再編成される（ベクトル演算の反対の演算）。再編成されたデータは、現在のブロックの新しい予測ブロックＢｐを表す。

【0123】

図１０は、符号化デバイス１２を図示する。符号化デバイス１２は、入力部で１つまたは複数の画像を受け取る。符号化デバイス１２は、図４を参照して説明した本発明による符号化方法を実施することができる。各画像は、画像データの少なくとも１つの項目にそれぞれが関連付けられた画素のブロックに分割される。符号化デバイス１２は、時間予測による符号化を特に実施する。時間予測による符号化、またはＩＮＴＥＲ符号化に関係がある符号化デバイス１２のモジュールだけが図９に示されている。当業者に知られている映像符号器の他のモジュールは示されていない（例えば、符号化モードの選択、空間予測）。符号化デバイス１２は、現在のブロックＢ_Cから予測ブロックＢｐを例えば画素ごとの減算によって抽出して残差ブロックＢｒを生成できる計算モジュール１２００を特に備える。計算モジュール１２００は、本発明による符号化方法のステップ３６を実施することができる。符号化デバイス１２は、残差ブロックＢｒを変換して次に量子化データに量子化できるモジュール１２０２をさらに備える。変換Ｔは、例えば離散コサイン変換（ＤＣＴ）である。符号化デバイス１２はまた、量子化データをストリームＦに符号化できるエントロピー符号化モジュール１２０４を備える。符号化デバイス１２はまた、モジュール１２０２の反対の動作を行うモジュール１２０６を備える。モジュール１２０６は、逆量子化Ｑ^-1を実行し、次に逆変換Ｔ^-1を実行する。モジュール１２０６は計算モジュール１２０８に接続され、計算モジュール１２０８は、例えば画素ごとに加算することによってモジュール１２０６からのデータのブロックと予測ブロックＢｐとを合成して、メモリ１２１０に記憶される復元ブロックを生成することができる。

【0124】

第１の予測モジュール１２１６は、最初の予測ブロックＢｐ０を決定する。第１の予測モジュール１２１６は、本発明による符号化方法のステップ３０を実施することができる。符号化デバイス１２は、第２の予測モジュール１２１８を備える。第２の予測モジュール１２１８は、既に復元されメモリ１２１０に記憶されたデータ、および最初の予測ブロックＢｐ０から予測ブロックＢｐを決定する。第２の予測モジュール１２１８は、本発明による符号化方法のステップ３２および３４を実施することができる。

【0125】

この符号化方法のステップ３８は、モジュール１２０２および１２０４で実施される。

【0126】

図１１は、復号デバイス１３を図示する。復号デバイス１３は、画像を表すストリームＦを入力部で受け取る。ストリームＦは、例えば、符号化デバイス１２からチャネルを介して伝送される。復号デバイス１３は、図９を参照して説明した本発明による復号方法を実施することができる。復号デバイス１３は、復号データを生成できるエントロピー復号モジュール１３００を備える。復号データは次に、逆量子化を実行し、次に逆変換を実行できるモジュール１３０２に伝送される。モジュール１３０２は、ストリームＦを生成した符号化デバイス１２のモジュール１２０６と同じである。モジュール１３０２は計算モジュール１３０４に接続され、計算モジュール１３０２は、例えば画素ごとに加算することによってモジュール１３０２からのブロックと予測ブロックＢｐとを合成して、メモリ１３０６に記憶される復元された現在のブロックＢｃを生成することができる。計算モジュール１３０４は、復元方法のステップ４８を実施することができる。復号デバイス１３は、予測モジュール１３０８を備える。予測モジュール１３０８は、最初の予測ブロックＢｐ０を決定する。予測モジュール１３０８は、本発明による復元方法のステップ４２を実施することができる。復号デバイス１３はまた、第２の予測モジュール１３１０を備える。第２の予測モジュール１３１０は、既に復元されメモリ１３０６に記憶されたデータ、および最初の予測ブロックＢｐ０から予測ブロックＢｐを決定する。第２の予測モジュール１３１０は、本発明による復元方法のステップ４４および４６を実施することができる。この復元方法のステップ４０は、モジュール１３００および１３０２において実施される。

【0127】

当然ながら、本発明は、上記の実施形態の諸例に限定されない。

【0128】

とりわけ、当業者は、上述の諸実施形態に任意の変形形態を適用し、またこれらを組み合わせて、それらの様々な利点から利益を得ることができる。実際、マッチング探索法以外の他の方法を使用してベクトルＸ_optを決定することができる。同様に、因果関係ゾーンの形も、図１２に示されるように変わりうる。この図では、考慮に入れられる因果関係ゾーンに斜線で影がつけられている。本発明は、説明のための例としてのみ示されているこれらの因果関係ゾーンの形に全く限定されない。この図では、ブロックは任意のサイズである。本発明による方法が画像内のブロックを走査する順序とは関係がないという意味において、因果関係ゾーンは、予測ブロックに対して任意の位置とすることができる。図５を参照して説明した実施形態では、最初の時間予測Ｂｐ０は、タイプＰ時間予測に対応する表示順序において現在の画像の前に位置している参照画像から導出される。本発明は、この予測タイプに限定されない。実際、予測ブロックＢＰ０は、表示順序において現在の画像の後に位置する参照画像からの予測により得ることができる。予測ブロックＢｐ０はまた、二方向予測または２回予測される予測から得ることもできる。
付記１
画像のシーケンスの現在のブロックを符号化する方法であって、以下のステップ、
前記現在のブロックから予測ブロックを決定するステップ（３０、３２、３４）と、
前記現在のブロックから前記予測ブロックを抽出することによって、残余ブロックを決定するステップ（３６）と、
前記残余ブロックを符号化するステップ（３８）と
を含む方法において、
前記現在のブロックからの前記予測ブロックが以下のステップ、
動きデータ及び前に符号化及び復元された少なくとも１つの参照画像から最初の予測ブロックを決定するステップ（３０）と、
データＹｃｐのベクトルに原子分解法を適用するステップ（３２）であって、データＹｃｐの前記ベクトルが、前に符号化及び復元された前記現在のブロックの隣接ブロックの画像データ、及び、前記最初の予測ブロックのデータを含むステップ（３２）と、
分解されたベクトルから前記現在のブロックに対応するデータを抽出するステップ（３４）であって、該抽出したデータが前記予測ブロックを形成するステップ（３４）と
にしたがって決定される、符号化の方法。
付記２
Ｎ（Ｙｃｐ−Ａ_cＸ）が最小になるベクトルＸ_kを以下のステップ、
ａ）Ｒ_k-1と最も相関がある原子ａｊ_kを選択するステップであって、ここでＲ_k-1はベクトルＹ_cpとＡ_c^*Ｘ_k-1の間で計算された残余であり、Ｘ_k-1は繰返しｋ−１において決定されたＸの値であり、ｋが整数であるステップと、
ｂ）該選択された原子からＸ_k及びＲ_kを計算するステップと、
ｃ）ステップａ及びｂを、次の終止基準Ｎ（Ｙ_cp−Ａ_cＸ_k）≦ρまで繰り返すステップであって、ここでρは閾値であるステップと、
ベクトル

【数35】

から前記予測ブロックを抽出するステップであって、ここで、

【数36】

はベクトルＸ_kの１つであるステップと
にしたがって決定することを含み、ここでＡｃは各列が原子ａｊを表す行列であり、Ｎ（．）は標準である、付記１に記載の符号化の方法。
付記３

【数37】

であり、ここでＫは最後の繰返しのインデックスである、付記２に記載の符号化の方法。
付記４

【数38】

が以下のステップ、
各繰返しＸ_kで記憶するステップと、
記憶されたＸ_kの中から値Ｎ（Ｙ_p−Ａ_pＸ_k）が最小となるＸ_kを選択するステップであって、ここでＹ_pは前記現在のブロックに対応するＹ_cpの部分であり、Ａｐは前記現在のブロックに対応する行列Ａｃの部分であるステップと、

【数39】

から前記予測ブロックを決定するステップであって、ここで、

【数40】

は前のステップで選択されたＸ_kであるステップと
にしたがって決定される、付記２に記載の符号化の方法。
付記５
符号化データのストリームの形の画像のシーケンスの現在のブロックを復元する方法であって、
符号化データの前記ストリームの一部を復号することによって残余ブロックを決定するステップ（４０）と、
前記現在のブロックから予測ブロックを決定するステップ（４２、４４、４６）と、
前記残余ブロックと前記予測ブロックを合成することによって前記現在のブロックを復元するステップ（４８）と
を含む方法において、
前記現在のブロックからの前記予測ブロックが以下のステップ、
動きデータ及び前に符号化及び復元された少なくとも１つの参照画像から最初の予測ブロックを決定するステップ（４２）と、
データＹｃｐのベクトルに原子分解法を適用するステップ（４４）であって、データＹｃｐの前記ベクトルは、前に復元された前記現在のブロックの隣接ブロックの画像データ、及び、前記最初の予測ブロックのデータを含むステップ（４４）と、
分解されたベクトルから前記現在のブロックに対応するデータを抽出するステップ（４６）であって、該抽出したデータが前記予測ブロックを形成するステップ（４６）と
にしたがって決定される、復元の方法。
付記６
Ｎ（Ｙｃｐ−Ａ_cＸ）が最小になるベクトルＸ_kを以下のステップ、
ａ）Ｒ_k-1と最も相関がある原子ａｊ_kを選択するステップであって、ここでＲ_k-1はベクトルＹ_cpとＡ_c^*Ｘ_k-1の間で計算された残余であり、Ｘ_k-1は繰返しｋ−１において決定されたＸの値であり、ｋが整数であるステップと、
ｂ）該選択された原子からＸ_k及びＲ_kを計算するステップと、
ｃ）ステップａ及びｂを、次の終止基準Ｎ（Ｙ_cp−Ａ_cＸ_k）≦ρまで繰り返すステップであって、ここでρは閾値であるステップと、
ベクトル

【数41】

から前記予測ブロックを抽出するステップであって、ここで、

【数42】

はベクトルＸ_kの１つであるステップと
にしたがって決定することを含み、ここでＡｃは各列が原子ａｊを表す行列であり、Ｎ（．）は標準である、付記５に記載の復元の方法。
付記７

【数43】

であり、ここでＫは最後の繰返しのインデックスである、付記６に記載の復元の方法。
付記８

【数44】

が以下のステップ、
各繰返しＸ_kで記憶するステップと、
記憶されたＸ_kの中から値Ｎ（Ｙ_p−Ａ_pＸ_k）が最小となるＸ_kを選択するステップであって、ここでＹ_pは前記現在のブロックに対応するＹ_cpの部分であり、Ａｐは前記現在のブロックに対応する行列Ａｃの部分であるステップと、

【数45】

から前記予測ブロックを決定するステップであって、

【数46】

は前のステップで選択されたＸ_kであるステップと
にしたがって決定される、付記６に記載の復元の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】