特許 6309010 画像間予測の方法及びデバイス並びに対応する符号化方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6309010

(24)【登録日】2018年3月23日

(45)【発行日】2018年4月11日

(54)【発明の名称】画像間予測の方法及びデバイス並びに対応する符号化方法及び装置

(51)【国際特許分類】

   H04N 19/105 20140101AFI20180402BHJP

   H04N 19/147 20140101ALI20180402BHJP

   H04N 19/176 20140101ALI20180402BHJP

【ＦＩ】

   H04N19/105

   H04N19/147

   H04N19/176

【請求項の数】17

【全頁数】17

(21)【出願番号】特願2015-533563(P2015-533563)

(86)(22)【出願日】2013年9月25日

(65)【公表番号】特表2015-530841(P2015-530841A)

(43)【公表日】2015年10月15日

(86)【国際出願番号】EP2013069903

(87)【国際公開番号】WO2014048946

(87)【国際公開日】20140403

【審査請求日】2016年9月14日

(31)【優先権主張番号】1259011

(32)【優先日】2012年9月26日

(33)【優先権主張国】FR

(31)【優先権主張番号】1261403

(32)【優先日】2012年11月29日

(33)【優先権主張国】FR

【前置審査】

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】トロ，ドミニク

(72)【発明者】

【氏名】シュルギー，サファ

(72)【発明者】

【氏名】マルタン，アラン

(72)【発明者】

【氏名】ギヨテル，フィリップ

(72)【発明者】

【氏名】ギュイモ，クリスティーヌ

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２００８−２８９００５（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０３３９６８（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１２／０１７７１１５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／０１８０５３８（ＵＳ，Ａ１）

【文献】 Mehmet Turkan and Christine Guillemot，Image Prediction Based on Neighbor-Embedding Methods，IEEE Transactions on Image Processing，IEEE，２０１２年 ４月，Vol.21, No. 4，pp.1885 - 1898

【文献】 Safa Cherigui et al.，Map-Aided Locally Linear Embedding methods for image prediction，19th IEEE International Conference on Image Processing (ICIP 2012)，IEEE，２０１２年 ９月，pp.2909 - 2912

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

画像のピクセルブロックを予測する方法であって、
予測されるブロックが属する画像以外の他の画像に属し、ブロック及び該ブロックと因果関係を示す近傍によって夫々形成される少なくとも１つのパッチから、候補パッチの組を形成する候補パッチ検索ステップと、
ブロック予測ステップと
を有し、
前記ブロック予測ステップは、
ディクショナリごとに、前記予測されるブロックから及びその近傍から形成されるパッチのピクセル値との距離が最小限であるピクセル値を有する、前記候補パッチの組の中の第１のパッチと、前記第１のパッチのピクセル値との距離が最小限であるピクセル値を有する、前記候補パッチの組の中の他のパッチとが決定され、当該ディクショナリが前記第１のパッチ及び前記他のパッチを含むディクショナリ定義サブステップと、
ディクショナリごとに、当該ディクショナリのパッチの近傍の加重線形結合を用いて前記予測されるブロックの因果的近傍の予測が決定され、該予測を最適化する重み付けパラメータが選択される近傍予測サブステップと、
画像のピクセルブロックがディクショナリのパッチのブロックのピクセルの加重線形結合によって予測され、該線形結合では前記近傍予測サブステップの間に決定された前記重み付けパラメータが使用されるブロック予測サブステップと
を有する方法。

【請求項2】

前記候補パッチの組の中の各パッチは、その近傍が、前記予測されるブロックを含むパッチの近傍に対する距離が最小限であるものである、
請求項１に記載の方法。

【請求項3】

前記候補パッチ検索ステップの間、前記他の画像の夫々について、所定の数の候補パッチが考慮される、
請求項１又は２に記載の方法。

【請求項4】

１又はそれ以上の画像にわたって定義される所定区間に属するパッチのみが候補パッチと見なされる、
請求項１乃至３のうちいずれか一項に記載の方法。

【請求項5】

前記所定区間は、第１のパッチの周囲にある少なくとも１つのサブ区間によって定義される、
請求項４に記載の方法。

【請求項6】

画像におけるディクショナリの前記第１のパッチの位置は、前記予測されるブロック及びその近傍から形成されるパッチから定義される変位情報によって与えられる、
請求項１乃至５のうちいずれか一項に記載の方法。

【請求項7】

前記近傍予測サブステップの間、複数のディクショナリが考慮され、重み付けパラメータが前記複数のディクショナリの夫々について決定され、前記ブロックを予測するのに使用される重み付けパラメータは、前記予測されるブロックに対して基準という意味において最も近い予測を提供するものであり、特定のインデックスが、前記予測が生成されるディクショナリを指定するよう設定される、
請求項１乃至６のうちいずれか一項に記載の方法。

【請求項8】

予測ブロックがリファレンス画像ブロックから計算される画像シーケンスを符号化及び／又は復号化する方法であって、
請求項１乃至７のうちいずれか一項に記載の方法に従って前記予測ブロックが計算される
ことを特徴する方法。

【請求項9】

予測されるブロックが属する画像以外の他の画像に属し、ブロック及び該ブロックと因果関係を示す近傍によって夫々形成される少なくとも１つのパッチから、候補パッチの組が形成されるよう候補パッチを検索し、
ブロックを予測する
よう構成されるプロセッサを有し、
前記プロセッサは、
ディクショナリごとに、前記予測されるブロックから及びその近傍から形成されるパッチのピクセル値との距離が最小限であるピクセル値を有する、前記候補パッチの組の中の第１のパッチと、前記第１のパッチのピクセル値との距離が最小限であるピクセル値を有する、前記候補パッチの組の中の他のパッチとが決定され、当該ディクショナリが前記第１のパッチ及び前記他のパッチを含むディクショナリ定義サブステップと、
ディクショナリごとに、当該ディクショナリのパッチの近傍の加重線形結合を用いて前記予測されるブロックの因果的近傍の予測が決定され、該予測を最適化する重み付けパラメータが選択される近傍予測サブステップと、
画像のピクセルブロックがディクショナリのパッチのブロックのピクセルの加重線形結合によって予測され、該線形結合では前記近傍予測サブステップの間に決定された前記重み付けパラメータが使用されるブロック予測サブステップと
によって、ブロックを予測するよう構成される
ことを特徴とする、画像のピクセルブロックを予測するデバイス。

【請求項10】

前記プロセッサは更に、前記候補パッチの組の中の各パッチが、その近傍が、前記予測されるブロックを含むパッチの近傍に対する距離が最小限であるものであるように構成される、
請求項９に記載のデバイス。

【請求項11】

前記プロセッサは更に、前記候補パッチを検索する間、前記他の画像の夫々について、所定の数の候補パッチが考慮されるように構成される、
請求項９又は１０に記載のデバイス。

【請求項12】

１又はそれ以上の画像にわたって定義される所定区間に属するパッチのみが候補パッチと見なされる、
請求項９乃至１１のうちいずれか一項に記載のデバイス。

【請求項13】

前記所定区間は、第１のパッチの周囲にある少なくとも１つのサブ区間によって定義される、
請求項１２に記載のデバイス。

【請求項14】

画像におけるディクショナリの前記第１のパッチの位置は、前記予測されるブロック及びその近傍から形成されるパッチから定義される変位情報によって与えられる、
請求項９乃至１３のうちいずれか一項に記載のデバイス。

【請求項15】

前記近傍予測サブステップの間、複数のディクショナリが考慮され、重み付けパラメータが前記複数のディクショナリの夫々について決定され、前記ブロックを予測するのに使用される重み付けパラメータは、前記予測されるブロックに対して基準という意味において最も近い予測を提供するものであり、特定のインデックスが、前記予測が生成されるディクショナリを指定するよう設定される、
請求項９乃至１４のうちいずれか一項に記載のデバイス。

【請求項16】

予測ブロックがリファレンス画像ブロックから計算される画像シーケンスを符号化及び／又は復号化するデバイスであって、
請求項１乃至７のうちいずれか一項に記載の方法に従って前記予測ブロックが計算される
ことを特徴するデバイス。

【請求項17】

請求項９又は１６に記載されるデバイスを有する
ことを特徴する、画像シーケンスを符号化及び／又は復号化する装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化の全般的な分野に係り、より具体的には、画像間予測の分野に係る。

【背景技術】

【0002】

画像間予測は、映像の高い圧縮率を得るために、映像の中の連続した画像の間に存在する時間的な冗長性を利用することにある。

【0003】

画像間予測の原理は、現在の画像をブロック又はマクロブロックに分割することにある。次いで、コーダ（符号器）は、映像の中の他の（前の又は将来の）画像において類似したブロックを見つける。この、他の画像は、通常、リファレンス画像と呼ばれる。次いで、コーダは、予測されるブロックから上記のリファレンス画像において見つけられたブロックの位置を定義する動きベクトルを符号化する。次いで、コーダは、それら２つのブロックの間の差を求め、予測誤差を符号化する。動きベクトル及び予測誤差は、次いで、デコーダ（復号器）へ送られる。デコーダは、このようにして、ブロックを再構成することができる。

【0004】

このような方法を用いる非常に多くの映像符号化／復号化スキームが知られている。次のもの、すなわち、標準ＭＰＥＧ−２（ISO/IEC JTC1/SC29/WG11 MPEG00/ ２０００年１０月，Coding of moving pictures and audio）、ＭＰＥＧ−４／ＡＶＣ（T. Wiegand, G. J. Sullivan, G. Bjontegaard, and A. Luthra，”Overview of the H.264/AVC” Circuits and Systems for Video Technology，IEEE Transactions，Vol.13(7)，560-576，２００３年７月）、又はイベントＨＥＶＣ（ITU-T Q.6/SG and ISO/IEC Moving Picture Experts Group（ISO/IEC JTC1/SC29/WG11））がとりわけ引用され得る。

【0005】

ブロックを予測するためのブロック（又はより一般的には区間）の定義は、符号化の有効性の決め手となる。実際に、現在のブロック及び予測ブロックのコンテンツが極めて異なる場合は、予測誤差は大きくなり、この予測誤差を符号化するビットの数は大きくなり得る。

【0006】

従って、予測されるブロックからコンテンツに関して遠く離れた予測区間を選択する危険性を最小限とすることが必要である。

【0007】

加えて、送信器と受信器との間の伝送に関連して、予測される画像を再構成するために遠隔のデコーダによって必要とされるシンタックス要素を符号化するための費用は、比較的高い。例えば、ＭＥＰＧ−４／ＡＶＣ標準の場合において、リファレンス画像は、２つのリストにおいてグループを作られる。すなわち、予測されるブロックが属する画像よりも時間的に先んじる（復号化又は再構成される）画像のグルーピング、及び時間的に後に起こる（復号化又は再構成される）画像のグルーピングである。以降、時間的に先行する及び／又は後に起こる画像が参照される場合に、それらの画像は符号化及び再構成されることが暗に示される。よって、リファレンス画像のブロックを指定するよう、画像の２つのリストのうちの一方を指定する情報の項目と、その指定されたリストにおける（リファレンス）画像のインデックスを示す情報の項目と、リファレンス画像におけるブロックの座標を示す情報の最後の項目とをデコーダへ送信することが必要である。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、先行技術の欠点のうちの少なくとも１つを解消すること、とりわけ、画像符号化方法の効率を改善することである。

【課題を解決するための手段】

【0009】

上記の目的のために、本発明は、画像のピクセルのブロックを予測する方法であって、
予測されるブロックの因果的近傍を定義するステップと、
前記予測されるブロックが属する画像以外の他の画像に属し、ブロック及び該ブロックと因果関係を示す近傍によって夫々形成される少なくとも１つのパッチから、候補パッチの組が形成される候補パッチ検索ステップと、
少なくとも、前記候補パッチの組の中の少なくとも１つのパッチのブロックから、ブロックが予測されるブロック予測ステップと
を有する方法に係る。

【0010】

従って、当該方法は、例えば、標準ＭＥＰＧ−４／ＡＶＣに関するもののような、デコーダへ送信する必要があるシンタックスの要素を減らす。

【0011】

実施形態に従って、前記ブロック予測ステップの間、ブロックは、前記予測されるブロックにコンテンツに関して近い、前記候補パッチの組の中のパッチのブロックから予測される。

【0012】

他の実施形態に従って、前記ブロック予測ステップは、
少なくとも１つのディクショナリが前記候補パッチの組の中の少なくとも１つのパッチから形成されるディクショナリ定義サブステップと、
ディクショナリごとに、そのディクショナリのパッチの近傍の加重線形結合を用いて前記予測されるブロックの因果的近傍の予測が決定され、該予測を最適化する重み付けパラメータが選択される近傍予測サブステップと、
ディクショナリのパッチのブロックのピクセルの加重線形結合によって前記画像のピクセルブロックが予測され、該加重線形結合の重み付けパラメータが前記近傍予測サブステップの間に決定された最適条件であるブロック予測サブステップと
を有する。

【0013】

この実施形態に従って、ブロック予測は、ディクショナリに属するブロックの線形結合によって決定される。この線形結合の重み付けパラメータは、距離という意味で、予測されるブロックの因果的近傍の最良の予測を可能にするパラメータである。従って、ブロックの予測誤差は、重み付けパラメータが、直接に、予測されるブロックの予測誤差ではなく、この予測されるブロックの周囲に位置する区間（近傍）の予測誤差を最小限として、画像のコンテンツの連続性に有利に働くよう定義される場合に、低減される。

【0014】

加えて、近傍が因果関係を示す場合に、デコーダは、コーダ側のブロックの予測のために使用された重み付けパラメータを計算することができる。これは、それらの重み付けパラメータの送信が起こらないようにし、よって、符号化効率を高める。

【0015】

本発明はまた、上記の方法を実施する符号化／復号化方法と、そのようなプロセスを実施する手段を備えた画像シーケンス符号化／復号化装置とに係る。それはまた、上記のデバイス及び／又は符号化及び／又は復号化装置の動作に作用する情報の特定の項目を搬送するとして特別であるフレームを含む信号に係る。

【図面の簡単な説明】

【0016】

【図1】本発明に従って、画像のピクセルブロックを予測する方法のステップの図を示す。

【図2】因果的近傍を定義する例を与える。

【図3】当該方法のブロック予測ステップの実施形態を示す。

【図4】当該方法のブロック予測ステップの他の実施形態を示す。

【図5】ディクショナリのパッチが同じ画像に属する場合を示す。

【図6】ディクショナリのパッチが全て同じ画像に属するとは限らない場合を示す。

【図7】ディクショナリが第１のパッチから定義される場合を示す。

【図8】ディクショナリのパッチが全て同じ画像に属するとは限らない場合を示す。

【図9】本発明を実施するデバイスのアーキテクチャの例を図式的に示す。

【発明を実施するための形態】

【0017】

本発明は、添付の図面を参照して、制限されない実施形態及び有利な実施を用いて説明され、より良く理解されるであろう。

【0018】

図１は、本発明に従って、画像のピクセルブロックを予測する方法のステップの図を示す。

【0019】

方法は、現在の画像Ｉ_ｃの中の予測されるブロックＢの因果的近傍Ｖを定義するステップ１を有する。

【0020】

図２は、因果的近傍を定義する例を与える。この例に従って、近傍Ｖは、例えば、予測されるピクセルブロックＢの左及び上に位置する３つのブロックから、形成される。近傍は、Ｎ個の値から成るベクトルであり、夫々の値は、当該近傍に属するピクセルの値に対応する。本発明は、決してこのような近傍の定義に制限されず、代わりに、因果的近傍のあらゆる定義にまで、つまり、予測される現在のブロックを復号化する前にデコーダで利用可能なあらゆる近傍にまで及ぶ。

【0021】

以降、Ｘ_ｋによって表される、語パッチは、ブロックＢ_ｋのピクセル及びこのブロックＢ_ｋの近傍Ｖ_ｋのピクセルのグルーピングを指定するために使用される。近傍Ｖ_ｋは、このブロックＢ_ｋと因果関係を示し、予測されるブロックＢの周囲に位置する近傍Ｖと同じ形状を有する。ピクセルブロックに対する近傍の因果関係は、ピクセル値がこのブロックの予測より前に知られていることを示す。パッチＸはまた、以降で、予測されるピクセルブロックＢのピクセル及び近傍Ｖのピクセルのグルーピングを指定するために使用される。

【0022】

図１に戻ると、方法は、予測されるブロックが属する画像以外の他の画像に属する少なくとも１つのパッチＸ_ｋによって候補パッチの組ＰＳが形成される候補パッチ検索ステップ２を更に有する。方法は、ブロックＢが、少なくとも、先に形成された候補パッチの組ＰＳの中の少なくとも１つのパッチのブロックから、予測されるブロック予測ステップ３を更に有する。

【0023】

実施形態に従って、候補パッチのサブセットＳＰＳの中の各パッチＸ_ｋは、その近傍Ｖ_ｋが、コンテンツに関して、パッチＸの近傍Ｖに近いように、選択される。

【0024】

数学的意味では、候補パッチの組の中のパッチＸ_ｋは、式（１）を満足するようなものである：

【0025】

【数1】

従って、組ＰＳは、式（１）において与えられるユークリッドノルムを最小とするＮ個の候補パッチを含む。本発明の適用範囲から離れることなしに、ユークリッドノルム以外の他の距離が使用されてよい。

【0026】

実施形態に従って、候補パッチ検索ステップの間、上記の他の画像の夫々について、所定数の候補パッチが考慮される。

【0027】

この実施形態は、画像ごとの候補パッチの数及び画像の数を制限することによって、近傍（及びブロック）予測ステップの計算複雑性が、画像において又は連続した画像においてしばしば存在するコンテンツの一様性を保ちながら大いに低減される点で、有利である。

【0028】

変形例に従って、単一の候補パッチがこのようにして画像ごとに選択される。

【0029】

実施形態に従って、１又はそれ以上の画像にわたって定義される所定区間ＳＷに属するパッチのみが候補パッチと見なされる。

【0030】

変形例に従って、所定区間（又はサブ区間と呼ばれるその一部分）は、パッチの周囲に定義される。

【0031】

従って、所定区間ＳＷは、空間的な範囲の形で単一の画像にわたって定義され得るが、時間的な性質も有することができる。つまり、この所定区間ＳＷは、時間的に連続であってもなくてもよい画像シーケンスの中の複数の画像にわたって定義される。

【0032】

例えば、ＳＷと表されるこの区間は、図２において、一方では、パッチＸ（その共在するパッチは点線により示される。）を中心とした、画像Ｉ_ｃ（予測されるブロックが属する画像）よりも時間的に先んじる画像Ｉ_ｃ−１のサブ区間によって、他方で、画像Ｉ_ｃよりも時間的に後に起こる他の画像Ｉ_ｃ＋１のサブ区間によって、定義される。この例によれば、所定区間ＳＷは、各サブ区間がこのパッチＸの同一場所にあるパッチの周囲に定義され、場合によりそれを中心とすることができる１又はそれ以上のサブ区間から構成され得、それらの区間は、予測されるブロックが属する画像より前及び／又は後の別の画像に位置することができることが理解され得る。

【0033】

図３に示される実施形態に従って、ブロック予測ステップ３の間に、ブロックＢは、予測されるブロックにコンテンツに関して近い、候補パッチの組の中のパッチのブロックＢ_ｏｐｔから予測される。

【0034】

数学的意味では、予測されるブロックＢのこのような予測は、組ＰＳの中からパッチを決定することにあり、決定されるパッチは、このパッチのブロックＢ_ｋのピクセルの値とブロックＢのピクセルの値との間の差を最小限とするものである（ブロックマッチング）。

【0035】

この実施形態は、組ＰＳにおけるブロックＢ_ｏｐｔ又はそれが属するパッチのインデックスの符号化の費用が、標準的な符号化及び／又は復号化システムのシンタックス要素の符号化費用に対して低減される点で、特に有利である。

【0036】

実施形態に従って、この距離は、式（２）によって表される、最小二乗という意味での最小化によって、ユークリッド空間において表される：

【0037】

【数2】

この実施形態に従って、予測ブロックＢ_ｏｐｔが属するパッチを指定する情報の項目（インデックス）は、遠隔のデコーダによって認知されなければならない。実際に、かかるデコーダは、候補パッチの組ＰＳを再構成することができ、この情報から、このブロックＢ_ｏｐｔが属するこの組の中のパッチが何であるかを見つけることができる。この目的のために、このパッチのこの指定情報のキャリア信号は、この予測ブロックを使用することを目的としているデコーダへ送信される。

【0038】

図４に示される実施形態に従って、ブロック予測ステップ３は、Ｌ個のディクショナリＤ^ｌが形成されるディクショナリ定義サブステップ３１を有する（Ｌは１以上である。）。各ディクショナリは、候補パッチの組ＰＳの中の少なくとも１つのパッチから形成される。

【0039】

ディクショナリの数Ｌ及びディクショナリごとのパッチの数は、推測的に知られる値である。

【0040】

変形例に従って、夫々のディクショナリにおけるパッチの数Ｋは、全てのディクショナリに共通である。

【0041】

変形例に従って、数Ｋは、予測されるブロックに応じて可変である。

【0042】

この場合において、この数Ｋは、予測されるブロックごとに最適化され得る。次いで、送信器と受信器との間の伝送に関連して、予測されるブロックごとに受信器へこの数を送信する必要がある。

【0043】

ディクショナリは、候補パッチの組ＰＳの中のパッチからランダムに選択されたパッチを含むことができる。

【0044】

ブロック予測ステップ３は、近傍予測サブステップ３２を更に有する。このサブステップの間、夫々のディクショナリＤ^ｌについて、このディクショナリの中のパッチＸ_ｋの近傍Ｖ_ｋの加重線形結合を用いて、予測されるブロックＢの因果的近傍Ｖの予測が決定される。予測を最適化する重み付けパラメータが選択される。

【0045】

数学的意味では、ディクショナリＤ^ｌの中のパッチＸ_ｋの近傍Ｖ_ｋの加重線形結合を用いた、予測されるブロックＢの因果的近傍Ｖの予測は、ｍ∈｛０；Ｋ−１｝として、このディクショナリＤ^ｌの中のパッチの近傍Ｖ_ｋのピクセルの加重値と、近傍Ｖのピクセルの値との間の距離を最小とする重み付けパラメータＷ_ｍを決定することにある。

【0046】

実施形態に従って、この距離は、式（３）によって表される、最小二乗という意味での最小化によって、ユークリッド空間において表される：

【0047】

【数3】

この式において、Ａ^ｌは、ディクショナリＤ^ｌの中のパッチのＫ個の近傍Ｖ_ｋのピクセルの値をグループ化するＭ×Ｋ次元の行列であり、各近傍のＭ個のピクセル値が、この行列の列を形成するためにグループ化される。

【0048】

Ｋ個の重み付けパラメータは、このようにして、実際には式（４）によって、最適化される：

【0049】

【数4】

この式において、ＣＯ_ｌは、行列Ａ^ｌのピクセルの値の（近傍Ｖを参照して）局所共分散行列であり、Ｉは、単位列ベクトルである。

【0050】

Ｋ個の最適な重み付けパラメータＷ_ｏｐｔ^ｌは、従って、ディクショナリＤ^ｌのＫ個の近傍Ｖ_ｋの線形結合を用いて近傍Ｖを予測するために、求められる。

【0051】

実施形態に従って、近傍予測ステップの間、ｌ∈｛０；Ｌ−１｝としてＬ個のディクショナリＤ_ｌが考慮されて、重み付けパラメータＷ_ｏｐｔ^ｌがそれらのディクショナリの夫々について決定されており、ブロックＢを予測するのに使用される重み付けパラメータＷは、その予測されるブロックに対して、基準という意味において、最も近い予測を提供するものである。

【0052】

実施形態に従って、この基準は、再構成された予測されるブロック（符号化及び復号化の後）と、予測されるブロックとの間の二乗誤差である。

【0053】

数学的意味では、最適な重み付けパラメータＷは、その場合に、式（５）によって与えられるものである：

【0054】

【数5】

他の実施形態に従って、使用される基準は、映像圧縮に関して特定に適切であるレート歪み判定基準である。

【0055】

数学的意味では、最適な重み付けパラメータＷは、その場合に、式（６）によって与えられるものである：

【0056】

【数6】

この式において、ＳＳＥ^ｌは、予測されるブロックと再構成された予測されるブロック（復号化されたブロック）との間の再構成誤差の最小二乗という意味での指標であり、Ｒ^ｌは、ブロックを符号化する費用であり（予測誤差及び他のシンタックス要素）、λは、ラグランジュである。

【0057】

加えて、ブロック予測ステップは、ディクショナリＤ^ｌの中のパッチＸ_ｋのブロックＢ_ｋのピクセルの加重線形結合によってブロックＢが予測されるブロック予測サブステップ３３を有する。なお、重み付けパラメータ（複数のディクショナリが形成される場合にＷ、又は単一のディクショナリの場合にＷ_ｏｐｔ^ｌ）は、予測されるブロックの因果的近傍の予測ステップの間に決定されたパラメータである。

【0058】

数学的意味では、ブロックＢの予測
［外１］

は、式（７）によって与えられる：

【0059】

【数7】

この式においてＡは、Ｋ個のブロックＢ_ｋのピクセルのＰ個の値をグループ化するＰ×Ｋ次元の行列であり、Ｗは、重み付けパラメータである。

【0060】

送信器と受信器との間の伝送に関連して、使用されるパラメータの数がデコーダによって予め知られている場合において、且つ、もっぱら近傍に基づき構成された単一のディクショナリの場合において、ブロックを予測するために、特定の情報が受信器（デコーダ）へ送信される必要はない。実際に、予測方法は、一方では、予測によって使用される近傍が因果関係を有し、それにより受信器が行列Ａを再構成するためにパッチのブロックを見つけることが可能となるとして、他方で、近傍Ｖの予測を実施することで、特定の情報なしで受信によって実施され得る。後者の場合に求められるＫ個の重み付けパラメータは、送信器（コーダ）によってこの場合に実施される近傍予測サブステップの間に求められるパラメータ（Ｗ）と同じである。

【0061】

よって、この予測方法を実施する符号化方法は、例えばＨ．２６４／ＡＶＣで使用されるもののような、画像間符号化の従来の技術と比較して、有意な符号化利得を提供することが理解され得る。

【0062】

複数のディクショナリの場合に対応するこの実施形態の変形例に従って、使用されるディクショナリを特定する情報の具体的な項目は、予測されるブロックを再構成するためにデコーダによって認知されなければならない。この目的のために、信号は、予測されるブロックの予測が起こるディクショナリを特定する情報の具体的な項目を搬送する。この信号は、このディクショナリを使用するよう構成されるデコーダによって受信されるよう設計される。

【0063】

図５によって示される実施形態に従って、ｋ∈｛０；Ｋ−１｝としてディクショナリＤ^ｌのＫ個のパッチＸ_ｋは全て、現在の画像Ｉ_ｃ以外の他の同じ画像Ｉ_ｆに位置する。画像Ｉ_ｆは、その画像Ｉ_ｆ及び現在の画像Ｉ_ｃが同じ画像シーケンスに属する場合に、画像Ｉ_ｃよりも時間的に前又は後であることができる。

【0064】

図６によって示される実施形態に従って、ｋ∈｛０；Ｋ−１｝としてディクショナリＤ^ｌのＫ個のパッチＸ_ｋは、異なる画像に位置する。図６の例に従って、ディクショナリＤ^ｌは、現在の画像Ｉ_ｃよりも時間的に先んじる画像Ｉ_ｃ−１にある（Ｋ−１）個のパッチＸ_１，・・・，Ｘ_Ｋ−１と、現在の画像Ｉ_ｃよりも時間的に後に起こる画像Ｉ_ｃ＋１におけるパッチＸ_０とを有する。

【0065】

この実施形態は、同じディクショナリ内のパッチがこのようにして異なる画像に属することができる可能性を高めることを可能にする点で、有利である。これは、当該方法がその場合に同じ映像の画像間の時間的な冗長性から恩恵を受けるので、予測されるブロックの予測誤差を更に低減することを可能にする。

【0066】

図５及び６によって示されるそれら２つの実施形態は、ディクショナリの定義を決して制限しない。それらは、ディクショナリが、予測されるブロックが属する画像以外の他の１又はそれ以上の画像に位置するパッチによって形成され得ることを示すために、与えられている。

【0067】

実施形態に従って、ディクショナリ定義ステップの間、定義するディクショナリＤ^ｌごとに、一方では、パッチＸにコンテンツに関して近い、組ＰＳのパッチの中の第１のパッチＸ_０と、他方では、この第１のパッチＸ_０にコンテンツに関して夫々近い、組ＰＳのパッチの中の（Ｋ−１）個のパッチＸ_ｋとが、決定される。よって、ディクショナリＤ^ｌは、第１のパッチＸ_０及び（Ｋ−１）個のパッチＸ_ｋを含む。

【0068】

２つのパッチのコンテンツの近似は、それらのパッチのピクセルの値の間で計算される距離によって定量化される。この距離は、例えば、それら２つのパッチのピクセルの間の絶対距離の和である。

【0069】

実施形態に従って、所定区間ＳＷは、第１のパッチの周囲にある少なくとも１つのサブ区間によって定義される。それは、例えば、この第１のパッチを中心として展開され得る。

【0070】

この変形例は、それが画像においてしばしば存在するコンテンツの一様性を保ちながら近傍予測ステップの計算複雑性を低減する点で、有利である。

【0071】

実施形態に従って、画像（予測されるブロックが属する画像以外）におけるディクショナリＤ^ｌの第１のパッチＸ_０の位置は、パッチＸから定義される変位情報
［外２］

（以降、“ベクトルｄ_ｌ”と称する）の項目によって与えられる。

【0072】

変位情報ベクトルｄ_ｌは、実施形態に従って、パッチＸに関して夫々の第１のパッチの変位を決定することができるブロックマッチング方法によって取得され得る。このブロックマッチング方法は、これがブロック予測ステップ３の実施形態において記載されるとして、ブロックが、もはやパッチの中のブロックのピクセルのみならず、それらのパッチの全ピクセルから形成されると考えることによって、図３に関して記載されたものと同様である。

【0073】

送信器と受信器との間の伝送に関連して、変位情報の項目は、どの第１のパッチが使用されたかをデコーダが決定することができるように、デコーダへ送信されなければならない。ディクショナリの中の他の（Ｋ−１）個のパッチを決定するために他の情報を送信することは、デコーダが上述されたのと同様の動作を実施することでそれらを決定することができるので、不要である。

【0074】

図７は、Ｌ個のディクショナリが夫々第１のパッチから定義された場合を示す。このように、ｌ∈｛０；Ｌ−１｝として、Ｌ個の第１のパッチＸ_０^ｌの夫々は、パッチＸの変位から（又はより正確には、画像Ｉ_ｆにおけるその共在するパッチＸ′から）取得されることが分かる。

【0075】

夫々の変位は、ベクトルｄ_ｌの形で表される。

【0076】

図８は、ディクショナリのパッチが全て同じ画像Ｉ_ｆに属するとは限らない場合を示す。画像Ｉ_ｃ＋１は、現在の画像Ｉ_ｃの符号化の間、この現在の画像に時間的に先行しない。この例に従って、ディクショナリＤ_０は、画像Ｉ_ｃ＋１に属する第１のパッチＸ_０^０と、全てが画像Ｉ_ｃ＋１に属するとは限らないパッチとから形成される。例えば、パッチＸ_Ｋ−１^０は画像Ｉ_ｃ−２に属する。同様に、ディクショナリＤ_Ｌ−１は、画像Ｉ_ｃ−２に属する第１のパッチＸ_０^Ｌ−１と、全てが画像Ｉ_ｃ−２に属するとは限らないパッチとから形成される。例えば、パッチＸ_２^Ｌ−１は画像Ｉ_ｃ−１に属する。

【0077】

それらの例によれば、２つのパッチのコンテンツの近似を定量化する距離は、それが必ずしも同じ画像に属するわけではないパッチ間の類似性を定量するよう定義され得るという最も広い意味において理解されるべきあることが理解され得る。

【0078】

図９は、図１乃至８に関して記載された本発明を実施するよう構成される手段を有するデバイスのアーキテクチャの例を示す。

【0079】

デバイス９００は、デジタルアドレス及びデータバス９０１によって相互接続されている次の要素を有する：
−計算ユニット９０３（中央演算処理装置（ＣＰＵ）と呼ばれる。）、
−メモリ９０５、
−デバイス９００と、接続９０２を介して接続される他の遠隔のデバイスとの間の相互接続のためのネットワークインタフェース９０４。

【0080】

計算ユニット９０３は、（場合により専用の）マイクロプロセッサ、（場合により専用の）マイクロコントローラ、等によって実施され得る。メモリ９０５は、例えばＲＡＭ（Random Access Memory）、ハードディスク、ＥＰＲＯＭ（Erasable Programmable ROM）、等の揮発性及び／又は不揮発性の形で実施され得る。

【0081】

手段９０３、９０５、及び場合により９０４は、予測されるブロックの因果的近傍を定義し、予測されるブロックが属する画像以外の他の画像に属する少なくとも１つのパッチであって、ブロック及びこのブロックと因果関係を示す近傍によって夫々形成される前記少なくとも１つのパッチから形成される候補パッチの組を探すよう互いと協働する。

【0082】

手段９０３、９０５、及び場合により９０４は、少なくとも、候補パッチの組の中の少なくとも１つのパッチのブロックから、ブロックを予測するよう互いと協働する。

【0083】

デバイスの手段は、実施形態に従って、図１乃至８に関して記載された方法を実施するよう構成される。

【0084】

デバイス９００の実施形態に従って、手段９０４は、特定のフレームを含む信号を送信及び／又は受信するよう構成される。実際に、デバイス９００の予測手段が、図３に関して記載された近傍予測ステップを実施するよう構成される場合において、この信号のフレームは、予測されるブロックの予測ブロックが属するパッチを指定する情報の項目を搬送し、そして、予測手段が図４に関して記載された近傍予測ステップを実施するよう構成される場合に対応する変形例に従って、この信号のフレームは、予測されるブロックの予測が起こるディクショナリを特定する情報の具体的な項目を搬送する。予測手段が、ディクショナリが、とりわけ第１のパッチから、形成されるディクショナリ定義サブステップを実施するよう構成される場合に対応する他の変形例に従って、この信号のフレームは、画像におけるこの第１のパッチの位置に関する、予測されるブロックから及びその近傍から形成されるパッチから定義される変位情報の項目を搬送する。

【0085】

本発明はまた、予測ブロックがリファレンス画像の画像ブロックから計算される、画像シーケンスを符号化及び／又は復号化する方法に係る。当該方法は、予測ブロックが図１乃至８に関して記載された方法に従って計算されることを特徴とする。

【0086】

本発明はまた、図９に関して記載されたデバイスを有することを特徴とする、画像シーケンス符号化及び／又は復号化する装置に係る。

【0087】

図９において、図示されているモジュールは、物理的に区別可能なユニットに対応してもしなくてもよい機能ユニットである。例えば、それらのモジュール又はそれらのうちの一部は、単一のコンポーネント又は回路にまとめられるか、あるいは、同じソフトウェアの機能を構成することができる。一方、一部のモジュールは、別個の物理エンティティから構成されてよい。本発明に適応する画像間予測デバイスは、純粋にハードウェア実施形態に従って、例えば、専用のコンポーネントの形において（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）又はＶＬＳＩ（Very Large Scale Integration）の形において）、又はデバイスに組み込まれた複数の電子部品の形で、あるいは、ハードウェア要素及びソフトウェア要素の混合の形において、実施される。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
画像のピクセルブロックを予測する方法であって、
予測されるブロックが属する画像以外の他の画像に属し、ブロック及び該ブロックと因果関係を示す近傍によって夫々形成される少なくとも１つのパッチから、候補パッチの組を形成する候補パッチ検索ステップと、
ブロック予測ステップと
を有し、
前記ブロック予測ステップは、
ディクショナリごとに、前記予測されるブロックから及びその近傍から形成されるパッチにコンテンツに関して近い、前記候補パッチの組の中の第１のパッチと、前記第１のパッチにコンテンツに関して夫々近い、前記候補パッチの組の中の他のパッチとが決定され、当該ディクショナリが前記第１のパッチ及び前記他のパッチを含むディクショナリ定義サブステップと、
ディクショナリごとに、当該ディクショナリのパッチの近傍の加重線形結合を用いて前記予測されるブロックの因果的近傍の予測が決定され、該予測を最適化する重み付けパラメータが選択される近傍予測サブステップと、
画像のピクセルブロックがディクショナリのパッチのブロックのピクセルの加重線形結合によって予測され、該線形結合の重み付けパラメータが前記近傍予測サブステップの間に決定された最適条件であるブロック予測サブステップと
を有する方法。
（付記２）
前記候補パッチの組の中の各パッチは、その近傍が、前記予測されるブロックを含むパッチの近傍にコンテンツに関して近いものである、
付記１に記載の方法。
（付記３）
前記候補パッチ検索ステップの間、前記他の画像の夫々について、所定の数の候補パッチが考慮される、
付記１又は２に記載の方法。
（付記４）
１又はそれ以上の画像にわたって定義される所定区間に属するパッチのみが候補パッチと見なされる、
付記１乃至３のうちいずれか一つに記載の方法。
（付記５）
前記所定区間は、第１のパッチの周囲にある少なくとも１つのサブ区間によって定義される、
付記４に記載の方法。
（付記６）
画像におけるディクショナリの前記第１のパッチの位置は、前記予測されるブロック及びその近傍から形成されるパッチから定義される変位情報の項目によって与えられる、
付記１乃至５のうちいずれか一つに記載の方法。
（付記７）
前記近傍予測サブステップの間、複数のディクショナリが考慮され、重み付けパラメータが前記複数のディクショナリの夫々について決定され、前記ブロックを予測するのに使用される重み付けパラメータは、前記予測されるブロックに対して基準という意味において最も近い予測を提供するものであり、前記予測が生成されるディクショナリは情報の特定の項目によって特定される、
付記１乃至６のうちいずれか一つに記載の方法。
（付記８）
予測ブロックがリファレンス画像ブロックから計算される画像シーケンスを符号化及び／又は復号化する方法であって、
付記１乃至７のうちいずれか一つに記載の方法に従って前記予測ブロックが計算される
ことを特徴する方法。
（付記９）
予測されるブロックが属する画像以外の他の画像に属し、ブロック及び該ブロックと因果関係を示す近傍によって夫々形成される少なくとも１つのパッチから、候補パッチの組が形成されるよう候補パッチを検索し、
ブロックを予測する
よう構成されるプロセッサを有し、
前記プロセッサは、
ディクショナリごとに、前記予測されるブロックから及びその近傍から形成されるパッチにコンテンツに関して近い、前記候補パッチの組の中の第１のパッチと、前記第１のパッチにコンテンツに関して夫々近い、前記候補パッチの組の中の他のパッチとが決定され、当該ディクショナリが前記第１のパッチ及び前記他のパッチを含むディクショナリ定義サブステップと、
ディクショナリごとに、当該ディクショナリのパッチの近傍の加重線形結合を用いて前記予測されるブロックの因果的近傍の予測が決定され、該予測を最適化する重み付けパラメータが選択される近傍予測サブステップと、
画像のピクセルブロックがディクショナリのパッチのブロックのピクセルの加重線形結合によって予測され、該線形結合の重み付けパラメータが前記近傍予測サブステップの間に決定された最適条件であるブロック予測サブステップと
によって、ブロックを予測するよう構成される
ことを特徴とする、画像のピクセルブロックを予測するデバイス。
（付記１０）
前記プロセッサは更に、前記候補パッチの組の中の各パッチが、その近傍が、前記予測されるブロックを含むパッチの近傍にコンテンツに関して近いものであるように構成される、
付記９に記載のデバイス。
（付記１１）
前記プロセッサは更に、前記候補パッチを検索する間、前記他の画像の夫々について、所定の数の候補パッチが考慮されるように構成される、
付記９又は１０に記載のデバイス。
（付記１２）
１又はそれ以上の画像にわたって定義される所定区間に属するパッチのみが候補パッチと見なされる、
付記９乃至１１のうちいずれか一つに記載のデバイス。
（付記１３）
前記所定区間は、第１のパッチの周囲にある少なくとも１つのサブ区間によって定義される、
付記１２に記載のデバイス。
（付記１４）
画像におけるディクショナリの前記第１のパッチの位置は、前記予測されるブロック及びその近傍から形成されるパッチから定義される変位情報の項目によって与えられる、
付記９乃至１３のうちいずれか一つに記載のデバイス。
（付記１５）
前記近傍予測サブステップの間、複数のディクショナリが考慮され、重み付けパラメータが前記複数のディクショナリの夫々について決定され、前記ブロックを予測するのに使用される重み付けパラメータは、前記予測されるブロックに対して基準という意味において最も近い予測を提供するものであり、前記予測が生成されるディクショナリは情報の特定の項目によって特定される、
付記９乃至１４のうちいずれか一つに記載のデバイス。
（付記１６）
予測ブロックがリファレンス画像ブロックから計算される画像シーケンスを符号化及び／又は復号化するデバイスであって、
付記１乃至７のうちいずれか一つに記載の方法に従って前記予測ブロックが計算される
ことを特徴するデバイス。
（付記１７）
付記９に記載されるデバイスによって送信又は受信される信号であって、
当該信号は、画像におけるディクショナリの第１のパッチの位置に対する変位情報の項目を搬送し、該変位情報は、予測されるブロックから及びその近傍から形成されるパッチから定義される
ことを特徴とする信号。
（付記１８）
付記９又は１６に記載されるデバイスを有する
ことを特徴する、画像シーケンスを符号化及び／又は復号化する装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】