特許 6348742 画像間予測方法およびデバイス並びに対応する符号化方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6348742

(24)【登録日】2018年6月8日

(45)【発行日】2018年6月27日

(54)【発明の名称】画像間予測方法およびデバイス並びに対応する符号化方法および装置

(51)【国際特許分類】

   H04N 19/109 20140101AFI20180618BHJP

   H04N 19/136 20140101ALI20180618BHJP

   H04N 19/176 20140101ALI20180618BHJP

   H04N 19/189 20140101ALI20180618BHJP

【ＦＩ】

   H04N19/109

   H04N19/136

   H04N19/176

   H04N19/189

【請求項の数】10

【外国語出願】

【全頁数】16

(21)【出願番号】特願2014-56511(P2014-56511)

(22)【出願日】2014年3月19日

(65)【公開番号】特開2014-183595(P2014-183595A)

(43)【公開日】2014年9月29日

【審査請求日】2017年3月16日

(31)【優先権主張番号】1352412

(32)【優先日】2013年3月19日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】サファ シュルギー

(72)【発明者】

【氏名】アラン マーティン

(72)【発明者】

【氏名】ドミニク ソロー

(72)【発明者】

【氏名】フィリップ ギヨテル

(72)【発明者】

【氏名】クリスティーヌ ギルモ

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特開２００９−２６７７１０（ＪＰ，Ａ）

【文献】 特表２０１１−５１７２２７（ＪＰ，Ａ）

【文献】 国際公開第２００９／１３１０７５（ＷＯ，Ａ１）

【文献】 T. Guionnet (INRIA) INRIA Rennes Bretagne Atlantique Campus de Beaulieu 35042 Rennes Cedex France，Intra prediction based on weighted template matching predictors (WTM)[online]， JCTVC-G JCTVC-G598，インターネット＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G598-v4.zip＞

【文献】 小林 充 Mitsuru Kobayashi，画像符号化シンポジウム 第２０回シンポジウム資料 The Proceedings of the 20th Picture Coding Symposium of Japan

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

候補パッチのセットからの辞書のパッチに属するピクセルブロックの重み付き和を使用して、画像のピクセルブロックを予測する方法であって、それぞれのパッチが画像のピクセルブロックと、このピクセルブロックの因果的近傍とで形成される、方法において、
候補パッチのサブセットが、前記候補パッチのセットから得られ、前記辞書が、第１のパッチと呼ばれる、前記候補パッチのサブセットに属するパッチと、第２のパッチと呼ばれる、前記候補パッチのセットに属する少なくとも１つの他のパッチとで形成される、前記方法。

【請求項2】

前記第１のパッチが、その近傍と、予想しようとするブロックを含むパッチの近傍との間で計算される距離を最小化するパッチである、請求項１に記載の方法。

【請求項3】

前記辞書のそれぞれの第２のパッチは、該辞書の、前記第２のパッチと前記第１のパッチとの間で計算される距離を最小化するパッチである、請求項１または２に記載の方法。

【請求項4】

前記サブセットのそれぞれの候補パッチは、その近傍と、予測しようとするブロックを含むパッチの近傍との間で計算される距離を最小化する、請求項１から３の一項に記載の方法。

【請求項5】

予測しようとするブロックの因果的近傍の予測が、前記辞書のパッチの近傍の重み付き線形結合を使用して求められ、前記予測を最適化する重み付けパラメータが選択され、
画像のピクセルブロックが、辞書のブロックのピクセルの重み付き線形結合を使用して予測され、前記線形結合の重み付けパラメータは、予測しようとするブロックの因果的近
傍の予測中に選択されるものである、請求項１から４の一項に記載の方法。

【請求項6】

辞書の第１のパッチの画像における位置が、予測しようとするブロックとその因果的近傍とで形成されるパッチから定義される変位情報のアイテムによって与えられる、請求項１から５の一項に記載の方法。

【請求項7】

画像シーケンス中に予測ブロックが画像ピクセルブロックから計算される、画像シーケンスを符号化および／または復号する方法であって、
前記予測ブロックが、請求項１から６の一項に記載の方法によって計算される、前記方法。

【請求項8】

候補パッチのセットからの辞書のパッチに属するピクセルブロックの重み付き和を使用して、前記ブロックを予測するように構成された画像のピクセルブロックを予測するデバイスであって、それぞれのパッチが画像のピクセルブロックと、このピクセルブロックの因果的近傍とで形成される、デバイスにおいて、さらに、
前記候補パッチのセットから候補パッチのサブセットを得る手段と、
前記候補パッチのサブセットのパッチと、前記候補パッチのセットの少なくとも１つの他のパッチとから、少なくとも１つの辞書を形成する手段と、
請求項１から６の一項に記載の方法を実現するように構成された手段と
を含む、前記デバイス。

【請求項9】

予測しようとするピクセルブロックの予測がそこから始まる、前記辞書の第１のパッチの位置を識別する情報のアイテムを送信および／または受信する手段も備える、請求項８に記載のデバイス。

【請求項10】

画像シーケンスを符号化および／または復号する装置であって、請求項８または９に記載のデバイスと、請求項７に記載の方法を実現するように構成された手段とを備える、前記装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化の一般的分野に関し、より具体的には、画像間予測の一般的分野に関する。

【背景技術】

【0002】

画像間予測は、ビデオの高い圧縮率を得るために、そのビデオの連続する画像間に存在する時間的冗長性を利用することにある。

【0003】

画像間予測の原理は、現在画像を、ブロックまたはマクロブロックに分割することにある。次いで、符号器が、ビデオの別の（以前または将来の）画像内に類似のブロックを発見する。この別の画像は、通常、参照画像と呼ばれる。次いで、符号器は、予測しようとするブロックから、参照画像（複数を含む）において発見されたブロックの位置を定義する動きベクトルを符号化する。次いで、符号器は、これらの２つのブロック間の差を計算し、予測誤差を符号化する。次いで、この動きベクトルおよび予測誤差が復号器に伝送され、これによって復号器はブロックを再構築することができる。

【0004】

この種の方法を使用する多数のビデオ符号化／復号方式が知られている。例えば、ＭＰＥＧ−２（例えば、非特許文献１参照），ＭＰＥＧ−４／ＡＶＣ（例えば、非特許文献２参照）またはＨＥＶＣ（例えば、非特許文献３参照）規格。

【0005】

ブロックを予測することに対してブロック（または、より一般的にはゾーン）の定義は、符号化の有効さに対して決定的である。実際に、現在ブロックと予測ブロックとのコンテンツが非常に異なる場合には、予測誤差が大きくなり、このことは、この予測誤差を符号化するためにかなり多数のビットを要することになる。

【0006】

したがって、予測しようとするブロックから、コンテンツの点において、遠く離れた予測ゾーンを選択するリスクを最小化することが必要である。

【0007】

さらに、送信機と受信機との間の伝送のコンテキストでは、予測された画像を再構築するリモート復号器によって必要とされるシンタックス要素を符号化するコストは相対的に高い。例えば、ＭＰＥＧ−４／ＡＶＣ規格の場合に、参照画像は２つのリストにまとめてグループ化される。すなわち、予測しようとするブロックがそれに属する画像に対して時間的に前の（復号または再構築された）画像をまとめてグループ化するもの、および時間的に後の（復号または再構築された）画像をまとめてグループ化するものである。以下では、時間的に前、および／または後の画像が言及されるときには、これらの画像は復号、および再構築されていることを意味している。すなわち、参照画像のブロックを表わすために、画像の２つのリストのうちの一方を表わす情報のアイテム、このリストにおける（参照）画像のインデックスを示す情報のアイテム、および参照画像におけるブロックの座標を示す情報の最後のアイテムを、復号器に伝送する必要がある。

【0008】

時間的予測を使用する符号化方法の場合に、復号器に伝送される情報を符号化するコストを最小化するために、本発明者らは、それぞれのパッチが画像のピクセルブロックとこのピクセルブロックの因果的近傍（ｃａｕｓａｌ ｎｅｉｇｈｂｏｕｒｈｏｏｄ）とで形成されている、候補パッチのセットからの辞書のパッチに属するピクセルブロックの重み付き和（ｗｅｉｇｈｔｅｄ ｓｕｍ）を使用して、画像のピクセルブロックを予測することを提案している（例えば、非特許文献４参照）。

【0009】

より具体的には、この方法は、コンテンツの点において、予測しようとするピクセルブロックと、このブロックの因果的近傍とで形成されたパッチに近い、第１のパッチと呼ばれる、候補パッチと、コンテンツの点において、第１のパッチと近い、第２のパッチと呼ばれる、少なくとも１つの他のパッチとから辞書を定義することにある。次いで、予測しようとするピクセルブロックの因果的近傍の予測が、この辞書のパッチの近傍の重み付き線形結合（ｗｅｉｇｈｔｅｄ ｌｉｎｅａｒ ｃｏｍｂｉｎａｔｉｏｎ）を使用して求められ、次いで、この予測を最適化する重み付けパラメータが選択され、次いで、画像のピクセルブロックが、辞書のブロックのピクセルの重み付き線形結合を使用して予測され、前記線形結合の重み付けパラメータは、近傍予測の間に求められた最適なものである。

【0010】

この方法は、重み付けパラメータが、このブロックに対する予測エラーに直接ではなく、予測しようとするブロックのまわりに位置するゾーン（近傍）に対する予測誤差を最小化し、したがって画像のコンテンツの連続性に有利となるように定義されているので、ブロックに対する予測誤差が低減されるので有利である。

【0011】

さらに、復号器に伝送される情報は、復号器によって知られると、第１のパッチを一義的に定義する情報のアイテムに制限され、したがって、復号器は、この辞書（パッチ）はすべて、画像の再構築された部分に属するので、符号器のそれと同一の方法で、辞書を定義することができる。したがって、復号器は、符号器側でブロックの予測のために使用される重み付けパラメータを計算して、したがって符号器によって得られるのと類似の方法で、予測ブロックを得ることができる。

【0012】

理解できるように、この方法は、ＭＰＥＧ−４／ＡＶＣなどの規格のものに対して、これらの規格では復号器に伝送する必要のあるシンタックス要素を伝送する必要がなくなるので、符号化のコストを減少させる。

【0013】

予測しようとするピクセルブロックで形成されたパッチに対して、第１のパッチを一義的に定義する情報のアイテム、およびこのブロックの因果要因である近傍だけを、伝送しなくてはならない。この情報のアイテムは、通常、動きベクトルであり、この動きベクトルは、サーチウィンドウに属する候補パッチのすべてをまとめてグループ化するテーブルのインデックスによって表わされる。候補パッチのコンテンツの変化を最大化するためにサーチウィンドウのサイズは大きくなくてはならないので、このインデックスのダイナミックレンジは、候補パッチの数が大きいので、比較的大きな数の符号化ビットを必要とする。

【先行技術文献】

【非特許文献】

【0014】

【非特許文献1】ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ００／Ｏｃｔｏｂｅｒ ２０００，Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｕｄｉｏ

【非特許文献2】Ｔ．Ｗｉｅｇａｎｄ，Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ，Ｇ．Ｂｊｏｎｔｅｇａａｒｄ，ａｎｄ Ａ．Ｌｕｔｈｒａ，“Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈ．２６４／ＡＶＣ”，Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｌＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ，Ｖｏ１３，７，５６０−５７６，Ｊｕｌｙ ２００３

【非特許文献3】ＩＴＵ−Ｔ Ｑ．６／ＳＧ ａｎｄ ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１）

【非特許文献4】Ｓ．Ｃｈｅｒｉｇｕｉ，Ｃ Ｇｕｉｌｌｅｍｏｔ，Ｄ．Ｔｈｏｒｅａｕ，Ｐ．Ｇｕｉｌｌｏｔｅｌ，“Ｍａｐ−Ａｉｄｅｄ Ｌｏｃａｌｌｙ Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ ｍｅｔｈｏｄｓ ｆｏｒ ｉｍａｇｅ ｐｒｅｄｉｃｔｉｏｎ” ｐｒｏｃｅｅｄｉｎｇ ｐ２９０９−２０１２，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ），２０１２

【発明の概要】

【0015】

本発明の目的は、従来技術の短所の少なくとも１つを克服するとともに、導入部に記述したような時間的予測方法において使用される辞書の第１のパッチを定義する情報を符号化するコストを顕著に最小化することである。

【0016】

このため、本発明は、候補パッチのセットから、辞書のパッチに属するピクセルブロックの重み付き和を使用する、画像のピクセルブロックを予測する方法に関し、それぞれのパッチが画像のピクセルブロックと、このピクセルブロックの因果的近傍とから形成される。この方法は、候補パッチのサブセットが、候補パッチのセットから得られ、辞書が、第１のパッチと呼ばれる、候補パッチのサブセットのパッチと、第２のパッチと呼ばれる、前記候補パッチのセットの少なくとも１つの他のパッチと形成されることを特徴とする。

【0017】

この辞書の他のパッチを選択するのに使用される候補パッチのセットの数と比較して、低減された数の候補パッチの中から辞書の第１のパッチを選択することにより、この第１のパッチが候補パッチのセットの中から選択されるときの標準的な方法において得られる符号化コストと比較して、低減された符号化コストを得ることが可能になる。

【0018】

本方法の変形形態によれば、第１のパッチは、その近傍が、コンテンツの点において、予測しようとするブロックを含むパッチの近傍に近いパッチであり、好ましくは先述のものと組み合わされる、別の変形形態によれば、辞書のそれぞれの第２のパッチは、コンテンツの点において、この辞書の第１のパッチに近い。

【0019】

実施形態によれば、前記サブセットのそれぞれの候補パッチの近傍は、コンテンツの点において、予測しようとするブロックを含むパッチの近傍に近い。

【0020】

実施形態によれば、１または複数の画像に対して定義されたサーチウィンドウに属するパッチだけが、候補パッチとして考慮される。

【0021】

本発明の別の態様によれば、本発明は、予測ブロックがその間に画像ピクセルブロックから計算される、画像シーケンスを符号化および／または復号する方法に関する。この符号化および／または復号する方法は、予測ブロックが上記方法によって計算されることを特徴とする。

【0022】

本発明の別の態様によれば、本発明は、候補パッチのセットからの辞書のパッチに属するピクセルブロックの重み付き和を使用して、前記ブロックを予測するように構成された、画像のピクセルブロックを予測するデバイスに関する。それぞれのパッチは、画像のピクセルブロックと、このピクセルブロックの因果的近傍とで形成され、デバイスはまた、
−前記候補パッチのセットから候補パッチのサブセットを得る手段と、
−前記候補パッチのサブセットのパッチと、前記候補パッチのセットの少なくとも１つの他のパッチとから、少なくとも１つの辞書を形成する手段と、
−上記の方法のうちの１つを実現するように構成された手段と
を含むことを特徴とする。

【0023】

本発明の別の態様によれば、本発明は、上記のデバイスによって伝送または受信されることを意図した信号のフレームに関する。このフレームは、それが、予測しようとするピクセルブロックの予測がそこから始まる、辞書の第１のパッチの位置を識別する、情報のアイテムを搬送することを特徴とする。

【0024】

デバイスの実施形態によれば、本発明は、信号のフレームが上述のものである信号を送信および／または受信する手段も備えることを特徴とする、上記のデバイスに関する。

【0025】

本発明の別の態様によれば、本発明は、上記のデバイスを備えることを特徴とする、画像シーケンスを符号化および／または復号する装置に関する。

【図面の簡単な説明】

【0026】

本発明は、添付の図面を参照して、非限定の実施形態および有利な実現形態を用いることによって、より正確に理解され、かつ説明される。

【図1】図１は、因果的近傍を定義する例を示す図である。

【図2】本発明による、画像のピクセルブロックを予測する方法のステップを示す図である。

【図3】辞書のパッチが同じ画像に属する場合を示す図である。

【図4】辞書のパッチがすべて同じ画像に属するとは限らない場合を示す図である。

【図5】辞書が第１のパッチから定義される場合を示す図である。

【図6】辞書のパッチがすべて同じ画像に属するとは限らない場合を示す図である。

【図7】本発明を実現するデバイスのアーキテクチャの例を概略的に示す図である。

【発明を実施するための形態】

【0027】

以下では、Ｘ_ｋで示される、パッチという用語を用いて、ブロックＢ_ｋのピクセルおよびこのブロックＢ_ｋの近傍Ｖ_ｋのピクセルのグループ化を表わす。近傍Ｖ_ｋは、このブロックＢ_ｋの因果要因であり、予測しようとするピクセルブロックＢの回りに位置する近傍Ｖのそれと同一の形態を有する。ピクセルブロックに対する近傍の因果性（ｃａｕｓａｌｉｔｙ）は、このブロックの予測の前に、ピクセル値が既知であることを示す。以下では、予測しようとするピクセルブロックＢのピクセルと、近傍Ｖのピクセルとのグループ化を表わすのに、パッチＸも使用される。

【0028】

図１は、因果的近傍を定義する例を示す。この例によれば、例えば、予測しようとするピクセルブロックＢの左および上に位置する３つのブロックにより近傍Ｖが形成される。近傍は、Ｎ値のベクトルであり、各値は、この近傍に属するピクセルの値に対応する。本発明は、この近傍の定義に決して制限はされることはなく、そうではなく、因果的近傍の任意の定義、いわば、予測しようとする現在ブロックを復号する以前の復号器において入手可能な任意の近傍に拡張される。

【0029】

図２は、画像シーケンスの画像のピクセルブロックを予測する方法のステップの図を示す。

【0030】

この方法によれば、現在画像Ｉ_ＣのピクセルブロックＢは、候補パッチのセットＰＳから、辞書のパッチに属するピクセルブロックの重み付き和を用いて予測される。

【0031】

この方法によれば、候補パッチのセットＰＳは、１または複数の画像にわたり定義されるサーチウィンドウＳＷに属する少なくとも１つの候補パッチＸ_ｋで形成される（ステップ１）。このサーチウィンドウＳＷは、空間領域の形態における単一の画像上で定義することができるが、いわば、時間的に連続するか、またはそうではない画像シーケンスのいくつかの画像にわたって定義することができる時間的特性を有することもできる。

【0032】

例えば、このサーチウィンドウＳＷは、図１において、一方では、（予想しようとするピクセルブロックがそれに属する）画像Ｉ_ｃに対して時間的に前の画像Ｉ_ｃ−１のゾーンにより、パッチＸ（その共通に配置されたパッチが、この画像において破線で示される）を中心とするゾーンによって、他方では、画像Ｉ_ｃより時間的に後の、別の画像Ｉ_ｃ＋１のゾーンによって、定義される。この例によって、サーチウィンドウＳＷは、１または複数のゾーンで構成することができ、各ゾーンを、このパッチＸの共通に配置されたパッチの周りで、場合によってはそれを中心として、定義することができること、およびこれらのゾーンは、予測しようとするブロックがそれに属する画像の前および／または後の、異なる画像内に位置することができることが理解できる。

【0033】

この方法によれば、候補パッチのサブセットＳＰＳが、候補パッチのセットＰＳから取得される（ステップ２）。

【0034】

実施形態によれば、候補パッチのサブセットＳＰＳのパッチＸ_ｋは、候補パッチのセットＰＳの候補パッチの中から無作為に選択される。

【0035】

別の実施形態によれば、候補パッチのサブセットＳＰＳの各パッチＸ_ｋは、その近傍Ｖ_ｋが、コンテンツの点において、パッチＸの近傍Ｖに近いように選択される。

【0036】

数学用語では、候補パッチのサブセットＳＰＳのパッチＸ_ｋは、式（１）：

【0037】

【数1】

【0038】

を満たす。

【0039】

すなわち、候補パッチのサブセットＳＰＳは、式（１）によって与えられるユークリッドノルム（Ｅｕｃｌｉｄｅａｎ ｎｏｒｍ）を最小化する、Ｎ個の候補パッチをまとめてグループ化する。ユークリッドノルム以外の距離を、本発明の範囲から出ることなく、使用することができる。

【0040】

数字Ｎは、サーチウィンドウＳＷの候補パッチの合計数よりもずっと小さい整数である。しかしながら、これらのＮ個のパッチの１つを参照するインデックスのダイナミックレンジが、過剰な符号化コストにつながるほど大きすぎないことを確実にしながら、良好な予測を得るために、候補パッチのコンテンツにおける十分な変化を有するのに十分に大きくなくてはならない、この数字Ｎを求めるために、妥協が行われる。

【0041】

この方法によれば、少なくとも１つの辞書Ｄ^ｌ（ｌ≧１）が、候補パッチのサブセットＳＰＳの、第１のパッチと呼ばれる、パッチＸ_０、および候補パッチのセットＰＳの、第２のパッチと呼ばれる、少なくとも１つの他のパッチＸ_ｋ（１≦ｋ＜Ｋ）から形成される。

【0042】

一変形形態によれば、それぞれの辞書Ｄ^ｌは、候補パッチのサブセットＳＰＳのものの中から無作為に選択されたパッチと、候補パッチのセットＰＳのものの中から無作為に選択された少なくとも１つのパッチとをまとめてグループ化する。

【0043】

一変形形態によれば、辞書Ｄ^ｌの、第１のパッチと呼ばれる、第１のパッチＸ_０は、候補パッチのサブセットＳＰＳのものの中から選択され、つまり、この第１のパッチは、その近傍が、コンテンツの点において、近傍Ｖに近くなるように、選択される。

【0044】

一変形形態によれば、好ましくは先行のものと組み合わされ、辞書Ｄ^ｌのそれぞれの第２のパッチＸ_ｋが、候補パッチのセットＰＳのものの中から選択され、それによって、それは、コンテンツの点において、この辞書Ｄ^ｌの第１のパッチＸ_０に近い。

【0045】

近傍間またはパッチ間のコンテンツの近接度（ｐｒｏｘｉｍｉｔｙ）は、それが、予測しようとするブロックの予測から生じる残留誤差のブロックのダイナミックレンジを制限するので、符号化の点において有利である。このコンテンツの近接度は、これらの近傍またはこれらのパッチのピクセルの値の間で計算された距離によって定量化される。この距離は、例えば、これらの２つの近傍またはパッチのピクセル間の絶対距離の和である。しかしながら、本発明は、特定の距離の使用に制限されない。

【0046】

辞書の数Ｌおよび辞書当たりのパッチの数は、アプリオリにわかっている値である。

【0047】

一変形形態によれば、各辞書におけるパッチの数Ｋは、すべての辞書に対して共通である。

【0048】

一変形形態によれば、数Ｋは、予測しようとするブロックに応じて可変である。

【0049】

この場合に、この数Ｋは、それぞれの予測しようとするブロックに対して最適化することができる。したがって、送信機／受信機の間での伝送のコンテキストで、それぞれの予測しようとするブロックに対して、この数を受信機に伝送することが必要である。

【0050】

この方法によれば、ブロックＢは、辞書Ｄ^ｌのパッチに属するピクセルブロックの重み付き和を使用して、予測される（ステップ３）。

【0051】

この目的では、それぞれの辞書Ｄ^ｌに対して、予測しようとするブロックＢの因果的近傍Ｖの予測は、この辞書のパッチＸ_ｋの近傍Ｖ_ｋの重み付き線形結合を使用して求められ、予測を最適化する重み付けパラメータが選択される。

【0052】

数学用語では、辞書Ｄ^ｌのパッチＸ_ｋ（０≦ｋ＜Ｋ）の近傍Ｖ_ｋの重み付き線形結合を使用する、予測しようとするブロックＢの因果的近傍Ｖの予測は、重み付けパラメータＷ_ｍ、但しｍ∈｛０；Ｋ−１｝、を求めることにあり、このパラメータは、この辞書Ｄ^ｌのパッチの近傍Ｖ_ｋのピクセルの重み付き値と、近傍Ｖのピクセルの値の間の距離を最小化する。

【0053】

実施形態によれば、この距離は、ユークリッド空間において最小化によって表わされ、最小二乗の意味で、拘束条件

【0054】

【数2】

【0055】

の下で式（２）

【0056】

【数3】

【0057】

で表わされ、ここでＡ^ｌは、辞書Ｄ^ｌのパッチのＫ個の近傍Ｖ_ｋのピクセルの値をまとめてグループ化する、次元ＭｘＫのマトリックスであり、各近傍のＭ個のピクセル値は、まとめてグループ化されて、このマトリックスの列を形成する。

【0058】

Ｋ個の重み付けパラメータは、このように、実際には式（３）：

【0059】

【数4】

【0060】

によって最適化され、ここでＣＯ_ｌは、マトリックスＡ^ｌのピクセルの値の（近傍Ｖを参照する）局所共分散マトリックスであり、Ｉは単位列ベクトルである。

【0061】

したがって、Ｋ個の最適重み付けパラメータ

【0062】

【数5】

【0063】

が、辞書Ｄ^ｌのＫ個の近傍Ｖ_ｋの線形結合を使用して、近傍Ｖを予測するために、取得される。

【0064】

実施形態によれば、Ｌ個の辞書Ｄ^ｌ、但しｌ∈｛０；Ｌ−１｝、が考慮されて、重み付けパラメータ

【0065】

【数6】

【0066】

がこれらの辞書のそれぞれに対して求められて、ブロックＢを予測するのに使用される重み付けパラメータＷは、基準に従って、予測しようとするピクセルブロックに、最も近い予測を提供するものである。

【0067】

実施形態によれば、この基準は、（符号化および復号の後に）再構築された予測ブロックと、予測しようとするブロックの間の二乗誤差である。

【0068】

数学用語では、したがって、最適重み付けパラメータＷは、式（４）：

【0069】

【数7】

【0070】

によって、拘束条件

【0071】

【数8】

【0072】

の下で、与えられるものである。

【0073】

別の実施形態によれば、使用される基準は、特にビデオ圧縮のコンテキストに適する、レート歪基準（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｃｒｉｔｅｒｉｏｎ）である。

【0074】

数学用語では、最適重み付けパラメータＷは、式（５）：

【0075】

【数9】

【0076】

によって与えられるものであり、ここでＳＳＥ^ｌは、最小二乗の意味において、予測しようとするピクセルブロックと再構築された予測ブロック（復号ブロック）の間の再構築誤差の尺度であり、Ｒ^ｌはブロック（予測誤差およびその他のシンタックス要素）を符号化するコストであり、λはラグランジアンである。

【0077】

単一の辞書が使用される場合の方法によれば、ブロックＢは、辞書Ｄ^ｌのパッチＸ_ｋのブロックＢ_ｋのピクセルの重み付き線形結合を使用して予測され、重み付けパラメータ

【0078】

【数10】

【0079】

は、式（３）において先に求められたものである。

【0080】

いくつかの辞書が使用される場合には、ブロックＢは、パッチＸ_ｋのブロックＢ_ｋのピクセルの重み付き線形結合を使用して予測される。予測しようとするブロックを予測するのに使用される重み付けパラメータは、式（４）によって与えられるパラメータＷであり、ブロックＢの予測をそこから開始する辞書は、したがって、使用されたこれらの重み付けパラメータに対応するものである。

【0081】

数学用語では、ブロックＢの予測

【0082】

【数11】

【0083】

は、式（６）：

【0084】

【数12】

【0085】

によって与えられ、ここでＡは、Ｋ個のブロックＢ_ｋのピクセルＰ個の値をまとめてグループ化する、次元Ｐ×Ｋのマトリックスであり、Ｗは選択された重み付けパラメータである。

【0086】

送信機と受信機器の間の伝送のコンテキストにおいて、使用されるパラメータの数が復号器に先にわかっている場合には、および単一の辞書が、近傍に基づいてのみ構築されている場合には、ブロックＢを予測するために、受信機（復号器）に伝送される特定の情報はない。実際に、一方では、予測によって使用される近傍が因果要因であり、このことにより受信機がマトリックスＡを再構築するパッチのブロックを発見することが可能となるので、また他方で、近傍Ｖの予測を実現することによって、予測方法は、特定の情報なしに受信機によって実現することが可能であり、この場合に得られるＫ個の重み付けパラメータは、この場合には送信機（符号器）によって実現される近傍を予測するサブステップ中に得られるもの（Ｗ）と同一である。

【0087】

このように、この予測方法を実現する符号化方法は、例えば、Ｈ．２６４／ＡＶＣに使用されるものなどの、画像間符号化の従来の技法と比較して、大幅な符号化ゲインをもたらすことを理解することができる。

【0088】

いくつかの辞書が使用される場合には、符号器によって選択された辞書の第１のパッチを識別する情報の特定のアイテムは、予測しようとするブロックを再構築するために、復号器に対して既知でなければならない。このために、信号が伝送されて、予測しようとするピクセルブロックの予測をそこから開始する、辞書の第１のパッチの位置を識別する情報の特定のアイテムを搬送する。

【0089】

実施形態によれば、辞書Ｄ^ｌの第１のパッチＸ_０の画像の位置は、パッチＸから定義される変位情報

【0090】

【数13】

【0091】

のアイテムによって与えられる。

【0092】

変位情報

【0093】

【数14】

【0094】

のアイテムは、実施形態によれば、既知のブロックマッチング方法によって得ることができ、この方法は、このブロックマッチング方法において、パッチをブロックとして考慮することによって、パッチＸに対して第１のパッチの変位を求めることを可能にする。

【0095】

変位情報のアイテムは、この復号器が、どれが使用された第１のパッチかを判定することができるように、復号器に伝送されなくてはならない。復号器は、上述したものに類似する動作を実現することによって、辞書のその他のパッチを判定することができるので、それらを判定するためにその他の情報を伝送する必要はない。

【0096】

したがって、いくつかの辞書を使用して、この予測方法を実現する符号化方法はまた、例えばＨ．２６４／ＡＶＣにおいて使用されるもののような画像間符号化の従来の技法と比較して、大幅な符号化ゲインをもたらすことが理解できる。

【0097】

図３で示される、実施形態によれば、ｋ∈｛０；Ｋ−１｝の場合に、辞書Ｄ^ｌのＫ個のパッチＸ_ｋは、現在画像Ｉ_ｃ以外の同一画像Ｉ_ｆ内にすべて位置している。画像Ｉ_ｆは、これらの２つの画像が同一画像シーケンスに属するときには、画像Ｉ_ｃに対して時間的に前または後にすることができる。

【0098】

図４で示される、実施形態によれば、ｋ∈｛０；Ｋ−１｝の場合に、辞書Ｄ^ｌのＫ個のパッチＸ_ｋは、異なる画像内に位置する。図４の例によれば、辞書Ｄ^ｌは、現在画像Ｉ_ｃより時間的に前の画像Ｉ_ｃ−１内に（Ｋ−１）個のパッチＸ_１、．．．、Ｘ_Ｋ−１、および現在画像Ｉ_ｃの時間的に後の画像Ｉ_ｃ＋１内にパッチＸ_０を含む。

【0099】

この実施形態は、したがって異なる画像に属することができる、同一辞書内にあるパッチの可能性を増大させることができるので、有利である。これによって、この方法は、同じビデオの画像間の時間的冗長性の恩恵を受けるので、予測しようとするブロックに対する予測誤差をさらに低減することが可能になる。

【0100】

図３および４に示される、これら２つの実施形態は、辞書の定義を決して制限するものではない。それらは、予測しようとするブロックがそれに属するもの以外の、１または複数の画像に位置するパッチによって辞書を形成することができることを示すために与えられている。

【0101】

図５は、それぞれ第１のパッチから、Ｌ個の辞書が定義されている場合を示す。このように、Ｌ個の第１のパッチ

【0102】

【数15】

【0103】

但し、ｌ∈｛０；Ｌ−１｝、がパッチＸの変位から（またはより正確には、実質的に画像Ｉ_ｆにおけるそれと同位置に配置されたパッチＸ^ｌから）得られることがわかる。

【0104】

各変位は、ベクトル

【0105】

【数16】

【0106】

の形態で表わされる。

【0107】

図６は、辞書パッチのすべてが、同じ画像Ｉ_ｆに属するとは限らない場合を示す。画像Ｉ_ｃ＋１は、この現在画像の復号中に現在画像Ｉ_ｃに時間的に先行しないことを注記することができる。この例によれば、辞書Ｄ_０は、画像Ｉ_ｃ＋１に属する第１のパッチ

【0108】

【数17】

【0109】

と画像Ｉ_ｃ＋１にすべて属するとは限らないパッチとで形成される。例えば、パッチ

【0110】

【数18】

【0111】

は、画像Ｉ_ｃー２に属する。同様に、辞書Ｄ_Ｌ−１は、画像Ｉ_ｃ−２に属する第１のパッチ

【0112】

【数19】

【0113】

および画像Ｉ_ｃ−２にすべて属するとは限らないパッチとで形成される。例えば、パッチ

【0114】

【数20】

【0115】

は、画像Ｉ_ｃ−１に属する。

【0116】

これらの例を介して、２つのパッチのコンテンツの近接度を定量化する距離は、必ずしも同じ画像に属するとは限らないパッチ間の類似性を定量化するように定義できるので、それは最も広い意味で理解すべきであることが理解できる。

【0117】

図７は、図１から６に関して記述された本発明を実現するように構成された手段を含む、デバイスのアーキテクチャの例を示す。

【0118】

デバイス７００は、ディジタルアドレスおよびデータバス７０１によって相互接続された、以下の要素を備える：
−計算ユニット７０３（中央処理ユニットとも呼ばれる）；
−メモリ７０５；
−デバイス７００と、接続７０２を介して接続されたその他のリモートデバイスとの相互接続のための、ネットワークインターフェイス７０４。

【0119】

計算ユニット７０３は、（場合によっては専用の）マイクロプロセッサ、（場合よってはやはり専用の）マイクロコントローラ、などによって実現することができる。メモリ７０５は、揮発性および／または不揮発性形態、例えばＲＡＭ（ランダムアクセスメモリ）、ハードディスク、ＥＰＲＯＭ（消去可能プログラマブルＲＯＭ）、その他として実現することができる。

【0120】

手段７０３、７０５、および場合によっては７０４は、互いに協働して、それぞれのパッチが画像のピクセルブロックとこのピクセルブロックの因果的近傍とで形成されている、候補パッチのセットからの辞書のパッチに属するピクセルブロックの重み付き和を使用して、ピクセルブロックを予測する。

【0121】

手段７０３、７０５および場合によっては７０４はまた、互いに協働して、候補パッチのセットから候補パッチのサブセットを取得し、候補パッチのサブセットのパッチ、および候補パッチのセットの少なくとも１つの他のパッチから、少なくとも１つの辞書を形成する。

【0122】

デバイスの手段は、図１から６に関係して記述した方法を実現するように構成されている。

【0123】

デバイス７００の実施形態によれば、手段７０４は信号を送信および／または受信し、その信号のフレームが、予測しようとするピクセルブロックの予測がそこから始まる、辞書の第１のパッチの位置を識別する、情報のアイテムを搬送するように構成されている。

【0124】

本発明はまた、予測ブロックが参照画像ブロックからその間に計算される、画像シーケンスを符号化および／または復号する方法にも関する。この方法は、予測ブロックが、図１から６に関して記述された方法に従って、計算されることを特徴としている。

【0125】

本発明はまた、画像シーケンスを符号化および／または復号する装置であって、図７に関して記述されたデバイスを含むことを特徴とする装置にも関する。

【0126】

図７において、示されているモジュールは、物理的に区別可能な単位に対応させることができるか、またはできない機能単位である。例えば、これらのモジュールまたはそれらの一部は、単一の構成要素または回路にまとめてグループ化するか、または同一ソフトウェアの機能を構成することができる。反対に、一部のモジュールは、別個の物理的エンティティで構成してもよい。本発明に適合する画像間予測デバイスは、純粋なハードウェア実施形態、例えば、専用構成要素（例えば、ＡＳＩＣ（特定用途集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＶＬＳＩ（超大規模集積回路））、またはデバイスに統合された、いくつかの電子構成要素の形態、またはハードウェア要素とソフトウェア要素の混合物の形態でも実現される。
［付記１］
候補パッチのセット（ＰＳ）からの辞書（Ｄ^ｌ）のパッチに属するピクセルブロックの重み付き和を使用して、画像のピクセルブロックを予測する方法であって、それぞれのパッチが画像のピクセルブロックと、このピクセルブロックの因果的近傍とで形成される、方法において、
候補パッチのサブセット（ＳＰＳ）が、前記候補パッチのセット（ＰＳ）から得られ、前記辞書（Ｄ^ｌ）が、第１のパッチと呼ばれる、前記候補パッチのサブセット（ＳＰＳ）に属するパッチと、第２のパッチと呼ばれる、前記候補パッチのセット（ＰＳ）に属する少なくとも１つの他のパッチとで形成される、前記方法。
［付記２］
前記第１のパッチが、その近傍と、予想しようとするブロックを含むパッチの近傍との間で計算される距離を最小化するパッチである、付記１に記載の方法。
［付記３］
前記辞書のそれぞれの第２のパッチは、該辞書の、前記第２のパッチと前記第１のパッチとの間で計算される距離を最小化するパッチである、付記１または２に記載の方法。
［付記４］
前記サブセットのそれぞれの候補パッチは、その近傍と、予測しようとするブロックを含むパッチの近傍との間で計算される距離を最小化する、付記１から３の一項に記載の方法。
［付記５］
予測しようとするブロックの因果的近傍の予測が、前記辞書のパッチの近傍の重み付き線形結合を使用して求められ、前記予測を最適化する重み付けパラメータが選択され、
画像のピクセルブロックが、辞書のブロックのピクセルの重み付き線形結合を使用して予測され、前記線形結合の重み付けパラメータは、予測しようとするブロックの因果的近傍の予測中に選択されるものである、付記１から４の一項に記載の方法。
［付記６］
辞書の第１のパッチの画像における位置が、予測しようとするブロックとその因果性近傍とで形成されるパッチから定義される変位情報のアイテムによって与えられる、付記１から５の一項に記載の方法。
［付記７］
画像シーケンス中に予測ブロックが画像ピクセルブロックから計算される、画像シーケンスを符号化および／または復号する方法であって、
前記予測ブロックが、付記１から６の一項に記載の方法によって計算される、前記方法。
［付記８］
候補パッチのセットからの辞書のパッチに属するピクセルブロックの重み付き和を使用して、前記ブロックを予測するように構成された画像のピクセルブロックを予測するデバイスであって、それぞれのパッチが画像のピクセルブロックと、このピクセルブロックの因果的近傍とで形成される、デバイスにおいて、さらに、
前記候補パッチのセットから候補パッチのサブセットを得る手段と、
前記候補パッチのサブセットのパッチと、前記候補パッチのセットの少なくとも１つの他のパッチとから、少なくとも１つの辞書を形成する手段と、
付記１から６の一項に記載の方法を実現するように構成された手段と
を含む、前記デバイス。
［付記９］
付記８に記載のデバイスによって送信または受信されることを意図した信号のフレームであって、
予測しようとするピクセルブロックの予測がそこから始まる、前記辞書の第１のパッチの位置を識別する情報のアイテムを搬送する、前記フレーム。
［付記１０］
信号を送信および／または受信する手段も備え、前記信号のフレームが付記９のものと一致する、付記８に記載のデバイス。
［付記１１］
画像シーケンスを符号化および／または復号する装置であって、付記８または１０に記載のデバイスと、付記７に記載の方法を実現するように構成された手段とを備える、前記装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】