特表 2022-506991 予測関数を用いた差分パルス符号変調による画像符号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-17

(54)【発明の名称】予測関数を用いた差分パルス符号変調による画像符号化

(51)【国際特許分類】

   H04N 19/94 20140101AFI20220107BHJP

   H04N 19/46 20140101ALI20220107BHJP

【ＦＩ】

H04N19/94

H04N19/46

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021525170

(86)(22)【出願日】2019-11-06

(85)【翻訳文提出日】2021-07-06

(86)【国際出願番号】 EP2019080374

(87)【国際公開番号】W WO2020094706

(87)【国際公開日】2020-05-14

(31)【優先権主張番号】1860360

(32)【優先日】2018-11-09

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521196970

【氏名又は名称】フォンダシオン ベー－コム

【氏名又は名称原語表記】ＦＯＮＤＡＴＩＯＮ Ｂ－ＣＯＭ

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【識別番号】100107319

【弁理士】

【氏名又は名称】松島 鉄男

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【識別番号】100180231

【弁理士】

【氏名又は名称】水島 亜希子

(74)【代理人】

【識別番号】100096769

【弁理士】

【氏名又は名称】有原 幸一

(72)【発明者】

【氏名】アンリ，フェリックス

(72)【発明者】

【氏名】クレール，ゴードン

(72)【発明者】

【氏名】フィリップ，ピエリック

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MC18

5C159MD04

5C159MD08

5C159PP16

5C159RC11

5C159RC14

5C159UA02

5C159UA05

(57)【要約】

本発明は、符号化されたデータのストリーム内の少なくとも１つの符号化された画像を復号する方法に関する。当該画像は要素のブロックに分割されている。当該復号方法は、前記ストリームから、いわゆる予測関数を表す情報を得ることと、ここで、前記予測関数は、予測関数の所定のリストに属しており、差分パルス符号変調を使用し、既に処理された近傍要素から、前記予測関数を使用して、前記要素のブロックの１つにある少なくとも１つの要素を復号することと、を含む。
【選択図】図１６

【特許請求の範囲】

【請求項1】

符号化されたデータストリーム内の少なくとも１つの符号化された画像を復号する方法であって、前記画像は要素のブロックに分割されており、
前記ストリームから、いわゆる予測関数を表す情報を得ることと、ここで、前記予測関数は、予測関数の所定のリストに属しており、
差分パルス符号変調を使用し、既に処理された近傍要素から、前記予測関数を使用して、前記要素のブロックの１つにある少なくとも１つの要素を復号することと、
を含む、方法。

【請求項2】

前記予測関数が前記予測関数の所定のリストに属さない場合、前記情報は得られない、請求項１に記載の方法。

【請求項3】

前記予測関数の所定のリストは、以下の予測関数、すなわち、
水平方向予測関数、
垂直方向予測関数、又は、
ＪＰＥＧ－ＬＳ予測関数、
のうちの少なくとも１つを含む、請求項１又は２に記載の方法。

【請求項4】

前記予測関数の所定のリストは、以下の予測関数、すなわち、
水平方向予測関数、
垂直方向予測関数、
を含む、請求項１又は２に記載の方法。

【請求項5】

前記既に処理された近傍要素は、前記画像の前記ブロックの先に復号されている要素である、請求項１～４のいずれか１項に記載の方法。

【請求項6】

要素のブロックに分割された少なくとも１つの画像を符号化する方法であって、
予測関数を得ることと、ここで、前記予測関数は、予測関数の所定のリストに属しており、
符号化されたデータストリーム内に、前記予測関数を表す符号化された情報を挿入することと、
差分パルス符号変調を使用し、既に処理された近傍要素から、前記予測関数を使用して、前記要素のブロックの１つにある少なくとも１つの要素を符号化することと、
を含む、方法。

【請求項7】

前記予測関数が予測関数の所定のリストに属さない場合、前記符号化された情報は挿入されない、請求項６に記載の方法。

【請求項8】

前記予測関数の所定のリストは、以下の予測関数、すなわち、
水平方向予測関数、
垂直方向予測関数、又は、
ＪＰＥＧ－ＬＳ予測関数、
のうちの少なくとも１つを含む、請求項６又は７に記載の方法。

【請求項9】

前記予測関数の所定のリストは、以下の予測関数、すなわち、
水平方向予測関数、
垂直方向予測関数、
を含む、請求項６又は７に記載の方法。

【請求項10】

前記既に処理された近傍要素は、前記画像の前記ブロックの先に符号化されている要素である、請求項６～９のいずれか１項に記載の方法。

【請求項11】

符号化されたデータストリーム内の少なくとも１つの符号化された画像を復号するデバイスであって、前記画像は要素のブロックに分割されており、
前記ストリームから、いわゆる予測関数を表す情報を得ることと、ここで、前記予測関数は、予測関数の所定のリストに属しており、
差分パルス符号変調を使用し、既に処理された近傍要素から、前記予測関数を使用して、前記要素のブロックの１つにある少なくとも１つの要素を復号することと、
を行うように専用化又は構成されたコンピューティングマシンを含む、デバイス。

【請求項12】

要素のブロックに分割された少なくとも１つの画像を符号化するデバイスであって、
予測関数を得ることと、ここで、前記予測関数は、予測関数の所定のリストに属しており、
符号化されたデータストリーム内に、前記予測関数を表す符号化された情報を挿入することと、
差分パルス符号変調を使用し、既に処理された近傍要素から、前記予測関数を使用して、前記要素のブロックの１つにある少なくとも１つの要素を符号化することと、
を行うように専用化又は構成されたコンピューティングマシンを含む、デバイス。

【請求項13】

少なくとも１つの画像を表す符号化されたデータを搬送する信号であって、画像は、要素のブロックに分割され、前記符号化されたデータは、請求項６に記載の符号化方法によって得られており、前記符号化されたデータは、前記符号化方法によって選択されるとともに予測関数の所定のリストに属し、請求項１に記載の復号方法によって得られることが意図される予測関数を表す少なくとも１つの情報を含み、前記要素のブロックの１つにある少なくとも１つの現在の要素は、差分パルス符号変調を使用し、既に処理された近傍要素から、前記予測関数を使用して復号される、信号。

【請求項14】

コンピュータプログラム製品（Ｐｇ，Ｐｇ’）であって、プロセッサによって実行されると、請求項１～１０のいずれか１項に記載の方法を実施するためのプログラムコード命令を含む、コンピュータプログラム製品。

【請求項15】

請求項１４に記載のコンピュータプログラム製品（Ｐｇ，Ｐｇ’）を含む、コンピュータ可読データを記録する媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の分野は、画像又は画像のシーケンス、特にビデオストリームの符号化及び復号に関する。

【0002】

より詳細には、本発明は、ブロック単位の画像の表現を使用する、画像又は画像のシーケンスの圧縮に関する。

【0003】

特に、本発明は、現行の又は将来開発される符号化器（ＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＥＶＣ等及びＶＶＣ並びにそれらの修正物）、及び対応する復号器において実施される画像又はビデオの符号化に適用することができる。

【背景技術】

【0004】

デジタル画像及び画像のシーケンスは莫大な量のメモリ空間を占有するため、これらの画像を伝送するときには、この伝送のために使用されるネットワーク上の輻輳問題を回避するために、これらの画像を圧縮することが必要となる。実際、このネットワーク上の使用可能なレートは、一般に制限されている。

【0005】

ビデオデータを圧縮する数多くの技術が既知である。これらの中で、ＨＥＶＣ（非特許文献１）圧縮標準規格は、同じ画像（イントラ予測（intra prediction））又は前後の画像（インター予測（inter prediction））に属する他のピクセルに関して現在の画像のピクセルを予測することを提案している。

【0006】

より具体的には、イントラ予測は、一画像内の空間的冗長性を利用する。このために、画像は、要素又はピクセルのブロックに分割される。ピクセルのブロックは、次に、その画像内のブロックをスキャンする順序に従って、現在の画像内において先に符号化／復号されているブロックに対応する、既に再構築された情報を使用して予測される。

【0007】

その上、従来では、現在のブロックの符号化は、予測ブロックと呼ばれる現在のブロックの予測、及び現在のブロックと予測ブロックとの間の差分に対応する予測残差すなわち「残差ブロック」を使用して実行される。得られた残差ブロックは、次に、例えばＤＣＴ（離散コサイン変換）タイプ変換を使用して変換される。その後、変換された残差ブロックの係数が量子化され、次に、エントロピー符号化によって符号化されて復号器に伝送され、復号器は、この残差ブロックを予測ブロックに加算することによって現在のブロックを再構築することができる。

【0008】

復号は、画像単位で、そして画像ごとにブロック単位で行われる。ブロックごとに、ストリームの対応する要素が読み取られる。残差ブロックの係数の逆量子化及び逆変換が実行される。次に、ブロックの予測が計算されて予測ブロックが得られ、現在のブロックが、予測（予測ブロック）を復号された残差ブロックに加算することによって再構築される。

【0009】

ＤＰＣＭ（「差分パルス符号変調（Differential Pulse Code Modulation）」の省略記載）と呼ばれるブロックの要素を予測する技術も既知であり、これは、一画像の一ピクセルの値を、その近傍のピクセルのうちの１つ又はいくつかのピクセルの値から予測するものである。例えば、この技術は、ＪＰＥＧ－ＬＳ（「Lossless Joint Photographic Expert Group」の省略記載）標準規格に適用され、文書ISO/OEC 14495-1:1999 ITU-T Rec. T.87, in 1998に記載されている。

【0010】

図１を参照して、画像Ｉの要素又はピクセルＸについて検討する。この要素は、画像Ｉの行ｌｉｎ及び列ｃｏｌに位置する。このブロックの要素は、画像のいわゆる「辞書式（lexicographic）」スキャン順序に従って、すなわち、１つの行の左から右へ、その後、行単位で上から下へと処理される。ピクセルＸは、３つの既に復号された近傍ピクセルによって囲まれており、これらの近傍ピクセルは、同じ行でピクセルＸの左に位置するピクセルＸＡ、同じ列でピクセルＸの上方に位置するピクセルＸＢ、及び、ピクセルＸの上方かつ左の対角線上に位置するピクセルＸＣである。

【0011】

Ｘの値の予測は、Ｐ（Ｘ）と称される。ＪＰＥＧ－ＬＳ標準規格によれば、Ｐ（Ｘ）は以下のように計算される。
Ｐ（Ｘ）＝ｆ（ＸＡ，ＸＢ，ＸＣ） ここで、ｆは、所定の関数であり、これは、以降で近傍関数（neighbouring function）と称されることになる。

【0012】

関数ｆの一例が以下で示される。
ｆ（Ａ，Ｂ，Ｃ）＝ｍｉｎ（Ａ，Ｂ） Ｃ≧ｍａｘ（Ａ，Ｂ）の場合
ｍａｘ（Ａ，Ｂ） Ｃ≦ｍｉｎ（Ａ，Ｂ）の場合
Ａ＋Ｂ－Ｃ それ以外の場合

【0013】

この関数ｆは、ＪＰＥＧ－ＬＳ標準規格において使用される関数である。

【0014】

この予測Ｐ（Ｘ）が計算されると、元の予測残差Ｒ（Ｘ）が、Ｘの元の値からピクセルＸの予測を減算することによって決定される。
Ｒ（Ｘ）＝Ｘ－Ｐ（Ｘ）

【0015】

ＪＰＥＧ－ＬＳによって規定されるような画像ロス（image loss）を伴わない符号化の事例では、この残差Ｒ（Ｘ）は、その統計的特性を利用するエントロピー符号化器によって符号化され、その後復号器に伝送される。

【0016】

画像ロスを伴う符号化の事例では、残差Ｒ（Ｘ）は、通常、例えばユーザによって設定される量子化ステップで均一スカラ量子化器を使用して量子化される。
ＲＱ（Ｘ）＝ＮＩ（Ｒ（Ｘ）／ｄ）
ここで、ＮＩ（「最近傍整数（Nearest Integer）」の省略記載）は、最も近い整数を決定する関数である。この関数は、等価の場合には最小の最近傍整数を選択する。

【0017】

量子化された残差ＲＱ（Ｘ）は、当業者に既知であるハフマン（Huffman）符号化又は算術符号化等のエントロピー符号化技術を使用して事前に圧縮され、その後復号器に伝送される。符号化器側では、現在のピクセルが後の時点で処理されるピクセルに対する予測子として機能し得るように、現在のピクセルＸの復号された値Ｄ（Ｘ）が再構築される。現在のピクセルＤ（Ｘ）の復号されたバージョンは、以下のように表現することができる。
Ｄ（Ｘ）＝Ｐ（Ｘ）＋ＲＱ（Ｘ）．ｄ

【0018】

復号器は、同じ式を適用して、符号化器によって伝送された符号化されたデータを搬送する信号のサンプルを再構築する。

【0019】

ＪＰＥＧ－ＬＳ関数以外の予測関数によって決定される、ピクセルＸの近傍ピクセルＸＡ、ＸＢ及びＸＣ以外のピクセルは、復号された形式において利用可能である限り、これらのピクセルを使用してピクセルＸを予測することができることに留意すべきである。同様に、当業者に既知の任意の量子化器を使用することが可能である。

【0020】

ＤＰＣＭタイプの予測が画像に適用される場合、いくつかのピクセルＸは、関数ｆによって定義されるような予測子を有しないことに留意すべきである。これは、前述の例では、画像のピクセルのうちの第１行のピクセル及び第１列のピクセルの事例である。既知の解決策は、０～２５５の範囲を取り得る信号の場合には１２８のように、信号のダイナミクスの中央値等のデフォルト値をＸＡ、ＸＢ又はＸＣに割り当てることから構成される。

【0021】

２０１６年２月に特許文献１で公開された文書から、このＤＰＣＭ予測技術の、ブロックベース符号化方式への適応も既知である。したがって、画像のブロックＢ（例えば、８×８ピクセルサイズ）内で、辞書式順序でピクセルがスキャンされ、前述されたようにＤＰＣＭ予測が適用される。典型的には、ピクセルＸの予測の計算において使用されるピクセルＸＡ、ＸＢ又はＸＣが現在のブロックの外にある場合、近傍ブロックに由来する復号されたピクセルの値、例えば、図１Ｂにおいて示されるようなＸＣ’、ＸＢ’又はＸＣ’’、ＸＢ’’の値が使用される。

【0022】

本発明者らによって実施されるブロックレベルにおけるＤＰＣＭ技術の実験により、ビデオの圧縮、特に、合成コンテンツ等のいくつかのタイプのコンテンツに対する圧縮における効果が明らかにされた。

【先行技術文献】

【特許文献】

【0023】

【特許文献1】米国特許第９２５３５０８号

【非特許文献】

【0024】

【非特許文献1】「High Efficiency Video Coding, Coding Tools and Specification」Matthias Wien, Signals and Communication Technology, 2015

【発明の概要】

【発明が解決しようとする課題】

【0025】

それにもかかわらず、１つのブロックにおいてピクセルを予測する、より効果的な技術が必要とされている。

【課題を解決するための手段】

【0026】

少なくとも１つの実施の形態によれば、本発明は、符号化されたデータストリーム内の少なくとも１つの符号化された画像を復号する方法に関し、前記画像は要素のブロックに分割され、
ストリームから、いわゆる予測関数を表す情報を得ることと、ここで、この予測関数は、予測関数の所定のリストに属しており、
差分パルス符号変調を使用し、既に処理された近傍要素から、前記予測関数を使用して、前記要素のブロックの１つにある少なくとも１つの要素を復号することと、
を含む。

【0027】

本発明は、極めて新しい手法に基づいており、この手法は、復号器側で、所定のリスト内で、例えば画像又は現在のブロックに最適なものとして符号化器によって選択された予測関数を得ることから構成される。復号器は、符号化された情報を利用して、現在のブロックに対して使用すべき予測関数を得る。

【0028】

このようにして、予測の品質が改善され、ストリームにおいて符号化される残差は小さいサイズを有する。有利には、復号された情報は、例えば、復号器に既知の所定のリストにおける予測関数のランクの形式とすることができる。

【0029】

本発明の一態様によれば、予測関数が予測関数の所定のリストに属さない場合、前記情報は得られない。

【0030】

別の態様によれば、予測関数の所定のリストは、以下の予測関数、すなわち、
水平方向予測関数、
垂直方向予測関数、又は、
ＪＰＥＧ－ＬＳ予測関数、
のうちの少なくとも１つを含む。

【0031】

本発明のまた別の態様によれば、予測関数の所定のリストは、以下の予測関数、すなわち、
水平方向予測関数、
垂直方向予測関数、
を含む。

【0032】

本発明のまた別の態様によれば、前記既に処理された近傍要素は、前記画像のブロックの先に復号されている要素である。

【0033】

これに相関して、本発明は、要素のブロックに分割された少なくとも１つの画像を符号化する方法にも関し、
予測関数を得ることと、ここで、この予測関数は、予測関数の所定のリストに属することと、
符号化されたデータストリーム内に、前記予測関数を表す符号化された情報を挿入することと、
差分パルス符号変調を使用し、既に処理された近傍要素から、前記予測関数を使用して、前記要素のブロックの１つにある少なくとも１つの要素を符号化することと、
を含む。

【0034】

有利には、符号化器側で、選択された予測関数を表す情報は、復号器が現在のブロックを処理するときにこの予測関数を考慮に入れることができるように、復号器に伝送されるように符号化される。

【0035】

例えば、符号化された情報は、復号器に既知の所定のリストにおける予測関数のランクの形式とすることができる。

【0036】

本発明の一態様によれば、予測関数が予測関数の所定のリストに属さない場合、前記符号化された情報は挿入されない。

【0037】

本発明の別の態様によれば、予測関数の所定のリストは、以下の予測関数、すなわち、
水平方向予測関数、
垂直方向予測関数、又は、
ＪＰＥＧ－ＬＳ予測関数、
のうちの少なくとも１つを含む。

【0038】

本発明のまた別の態様によれば、予測関数の所定のリストは、以下の予測関数、すなわち、
水平方向予測関数、
垂直方向予測関数、
を含む。

【0039】

本発明の別の態様によれば、前記既に処理された近傍要素は、前記画像のブロックの先に符号化されている要素である。

【0040】

本発明は、本明細書の上記で定義された特定の実施の形態のうちのいずれかの１つによる符号化又は復号方法を実施するように適応された少なくとも１つの画像を符号化又は復号するデバイスにも関する。当然、このデバイスは、本発明による符号化方法、又は復号方法に関する種々の特徴を含むことができる。したがって、このデバイスの特徴及び利点は、符号化方法、又は復号方法の特徴及び利点と同じであり、更には詳述されない。

【0041】

１つの実施の形態によれば、本発明は、少なくとも１つの画像を表す符号化されたデータを搬送する信号にも関し、画像は、要素のブロックに分割されており、前記符号化されたデータは、本発明による符号化方法によって得られており、前記符号化されたデータは、符号化方法によって選択されるとともに予測関数の所定のリストに属し、本発明による復号方法によって得られることが意図される予測関数を表す少なくとも１つの情報を含み、前記要素のブロックの１つにある少なくとも１つの現在の要素は、差分パルス符号変調を使用し、既に処理された近傍要素から、前記予測関数を使用して復号される。

【0042】

特定の実施の形態によれば、本発明は、プロセッサによって実行されると、前述された特定の実施の形態のいずれか１つによる、少なくとも１つの画像を符号化又は復号する方法の実施のための命令を含む１つ又はいくつかのコンピュータプログラムにも関する。そのようなプログラムは、任意のプログラミング言語を使用するとともに、ソースコード、オブジェクトコード、若しくはソースコードとオブジェクトコードとの間の中間コードの形式、例えば、部分的にコンパイルされた形式、又は他の任意の所望の形式とすることができる。プログラムは、通信ネットワークからダウンロードし、及び／又は、コンピュータ可読媒体上に記録することができる。

【0043】

本発明は、本明細書の上記で言及されたようなコンピュータプログラムの命令を含むコンピュータ可読記録媒体又は情報媒体も包含する。上記で言及された記録媒体は、プログラムを記憶することが可能である任意のエンティティ又はデバイスからなることができる。例えば、媒体は、記憶手段、例えば、ＲＯＭ、例としてＣＤ ＲＯＭ若しくは微小電子回路のＲＯＭ、又は磁気記録手段、例としてＵＳＢフラッシュディスク若しくはハードディスクを含むことができる。

【0044】

加えて、記録媒体は、伝送可能媒体、例えば、無線又は他の手段によって電気ケーブル又は光学ケーブルを介して搬送することができる電気信号又は光学信号に対応することができる。特に、本発明によるプログラムは、インターネットタイプネットワーク上でダウンロードすることができる。

【0045】

代替的には、記録媒体は、プログラムが内部に埋め込まれる集積回路に対応することができ、この回路は、検討される方法を実行するか、その実行において使用されるように適応される。

【0046】

本発明の他の目的、特徴及び利点は、図面を参照して、単に例示の非限定的な例として提供される以下の説明を読むとより明確になる。

【図面の簡単な説明】

【0047】

【図1A-1B】従来技術による、一画像、及び一画像の一ブロックに適用されるＤＰＣＭ予測技術を示す図である。

【図2】本発明の一実施形態による、一画像の一ブロックを処理する主要ステップを概略的に記述する図である。

【図3A-3C】本発明の一実施形態による、垂直予測関数を使用してブロックの要素を分割及び予測する例を示す図である。

【図3D-3F】本発明の一実施形態による、水平予測関数を使用してブロックの要素を分割及び予測する例を示す図である。

【図4A-4D】本発明に従って実施される種々の分割及び予測関数についてブロックの複数の要素を処理する順序を示す図である。

【図5A-5C】ＪＰＥＧ－ＬＳ予測関数及び対角分割を実施する、本発明の一変形例を示す図である。

【図6A-6E】ＪＰＥＧ－ＬＳ予測関数を用いて図５Ａ～図５Ｃの対角エリアを予測するのに使用される置換値の種々の例を示す図である。

【図7A-7B】３つ以上のエリアへのブロックの分割の例を示す図である。

【図8A-8G】一ブロックの一要素又は一ブロックの一エリアの処理に必要とされるマシンサイクル数を提示する図である。

【図9】直列モードにおける、本発明の一実施形態による符号化又は復号方法のステップを記述する図である。

【図10】並列モードにおける、本発明の一実施形態による符号化又は復号方法のステップを記述する図である。

【図11】本発明の一実施形態による、一ブロック内で分割された一エリアを符号化するステップを詳述する図である。

【図12】本発明の一実施形態による、一ブロック内で分割された一エリアを復号するステップを詳述する図である。

【図13】本発明の一変形例による、直列モードにおける符号化又は復号方法のステップを記述する図である。

【図14】本発明の一変形例による、並列モードにおける符号化又は復号方法のステップを記述する図である。

【図15】本発明の別の実施形態による、少なくとも１つの画像をそれぞれ符号化又は復号する方法のステップを記述する図である。

【図16】本発明の別の実施形態による、少なくとも１つの画像をそれぞれ符号化又は復号する方法のステップを記述する図である。

【図17A-17B】本発明の変形例のうちのいずれか１つによる符号化又は復号方法を実施するために適応された符号化又は復号デバイスのハードウェア構造の例を概略的に示す図である。

【図18】本発明の変形例のうちのいずれか１つによる符号化又は復号方法を実施するために適応された符号化又は復号デバイスのハードウェア構造の例を概略的に示す図である。

【発明を実施するための形態】

【0048】

１ 一般原理
本発明は、符号化又は復号すべきある画像のブロックの予測に関し、特に、前述したＤＰＣＭ技術に従った予測に関する。この技術によれば、現在のブロックにあるいくつかの要素が、このブロックの他の要素から予測される。

【0049】

本発明は、符号化器が、関数の所定のリスト内で現在のブロックに適用するのに最良の予測関数を選択し、当該最良の予測関数を復号器に伝送することを可能にすることによって、この技術を改善することを目的とする。

【0050】

２ 図１５及び図１６の実施形態の詳細な説明
本発明の一実施形態によれば、差分パルス符号変調（ＤＰＣＭ）を使用して、いくつかの要素のブロックに分割された少なくとも１つの画像を符号化する方法が提供される。

【0051】

本発明のこの他の態様の一般的な特徴によれば、符号化方法は、符号化されたデータストリーム（ビットストリーム）における、要素のブロックにある少なくとも１つの要素を別の要素から得ることを可能にするいわゆる予測関数を表す符号化された情報の挿入を含み、当該符号化された情報は、予測関数が予測関数の所定のリストに属する場合に挿入される。

【0052】

予測関数が予測関数の所定のリストに属さない事例では、上記符号化された情報は、挿入されない。

【0053】

好ましくは、予測関数の所定のリストは、以下の予測関数、すなわち、
－ 水平方向予測関数、
－ 垂直方向予測関数、又は、
－ ＪＰＥＧ－ＬＳ予測関数、
のうちの少なくとも１つを含む。

【0054】

好ましくは、上記要素は、画像の上記ブロックの先に符号化されている要素である。

【0055】

この方法の一実施形態が図１５によって示されている。符号化すべき画像Ｉについて検討する。この画像は、複数のブロックに分割される。Ｃ１５０において、符号化すべきブロックＢが選択される。Ｃ１５１において、利用可能な関数のリストから、ブロックＢの要素を予測するために当該ブロックＢに適用すべき予測関数が得られる。例えば、リストは、水平予測関数、垂直予測関数及びＪＰＥＧ－ＬＳ予測関数、又はこれらの関数のうちの２つのみを含む。当然、本発明は、この例に限定されず、リストは、前述された関数以外の予測関数を含んでもよい。例えば、リスト内に含まれる予測関数は、誘導されるレート歪みコストを関数ごとに計算することによってテストされる。選択される予測関数ｆは、最低レート歪みコストに関連付けられた関数である。

【0056】

Ｃ１５２において、得られた予測関数ｆを表す情報が符号化され、ストリーム又はファイルＢＳ内に挿入される。

【0057】

Ｃ１５３において、ブロックＢ内で少なくとも１つの要素又はピクセルｘが選択される。現在のエリアのピクセルについてスキャン順序が定義される。このスキャン順序は、それ自体は既知であり、所定のものである。特に、このスキャン順序は、現在のピクセルの予測のために使用され、復号された形式において利用可能である（したがって、先に処理されている）ピクセルによって決定される。したがって、従来のスキャン順序は、辞書式順序であり、これは、前述した局所的な予測関数の場合に機能する。

【0058】

この選択された要素Ｘ（現在の要素と呼ぶ）について、Ｃ１５４において、予測関数ｆを適用することにより、既に処理された少なくとも１つの近傍予測子要素から値Ｐ（Ｘ）が予測される。

【0059】

Ｃ１５５において、予測残差の値がＲ（Ｘ）＝Ｘ－Ｐ（Ｘ）を計算することによって得られる。その後、Ｃ１５６において、例えばそれ自体は既知であるスカラ量子化を使用して、値Ｒ（Ｘ）が量子化される。量子化された値Ｑ（Ｒ（Ｘ））が得られる。

【0060】

Ｃ１５７において、ハフマン符号化器又は算術符号化器等の既知の手段を使用して、量子化された残差Ｑ（Ｒ（Ｘ））が符号化され、得られた符号化されたデータは、ストリーム又はファイルＢＳ内に挿入される。

【0061】

Ｃ１５８において、現在の要素Ｘの復号された値Ｄ（Ｘ）は、逆演算を実行することによって計算される。この値は、ブロックＢ、又は画像の次の要素の予測のために利用できるように、メモリＭ’に記憶される。

【0062】

先のステップにおいて使用された量子化器に関連付けられた逆量子化器がＱＩと称される場合、Ｘの復号された値Ｄ（Ｘ）は、Ｄ（Ｘ）＝Ｐ（Ｘ）＋ＱＩ（Ｑ（Ｒ（Ｘ）））である。

【0063】

ステップＣ１５９では、現在の要素ＸがエリアＺｉ内で処理すべき最後の要素であるか否かをチェックする。最後の要素である場合、Ｃ１６０において、処理すべきブロックが依然として存在するか否かをチェックする。その場合、処理は終了する。そうではない場合、以前のステップが繰り返される。

【0064】

本発明の別の態様によれば、差分パルス符号変調（ＤＰＣＭ）を使用して、符号化されたデータストリーム内の少なくとも１つの符号化された画像を復号する方法が提供される。当該画像は、要素のブロックに分割される。本発明の当該別の態様の一般的な特徴によれば、復号方法は、ストリームから、要素のブロックの１つにある少なくとも１つの要素を別の要素から得ることを可能にするいわゆる予測関数を表す情報を得ることを含み、当該予測関数は予測関数の所定のリストに属する。

【0065】

予測関数が予測関数の所定のリストに属さない事例では、上記情報は得られない。

【0066】

好ましくは、予測関数の所定のリストは、以下の予測関数、すなわち、
－ 水平方向予測関数、
－ 垂直方向予測関数、又は、
－ ＪＰＥＧ－ＬＳ予測関数、
のうちの少なくとも１つを含む。

【0067】

好ましくは、上記要素は、画像の上記ブロックの先に復号されている要素である。

【0068】

この方法の一実施形態が図１６によって示されている。符号化されたデータストリーム又は圧縮ファイルＢＳについて検討する。この符号化されたデータは、復号すべき画像Ｉを表す。Ｄ１６０において、画像Ｉ内で処理すべきブロックＢが選択され、ブロックＢに適用すべき予測関数を表す情報ＩＣｆがストリームにおいて読み取られる。Ｄ１６１において、情報ＩＣｆが復号され、Ｄ１６２において予測関数ｆが得られる。Ｄ１６３において、ブロックＢ内で要素又はピクセルＸが選択される。

【0069】

この選択された要素Ｘ（現在の要素と呼ぶ）について、Ｄ１６４において、ＤＰＣＭ技術に従って、予測関数ｆを適用することにより、既に処理された少なくとも１つの近傍予測子要素から値Ｐ（Ｘ）が予測される。

【0070】

Ｄ１６５において、符号化されたデータにおいて量子化された残差Ｑ（Ｒ（Ｘ））が読み取られ、これは、Ｄ１６６において、符号化器側で実施された手段の逆である既知の手段を使用して復号される。

【0071】

Ｄ１６７において、予測残差の逆量子化された値Ｒ（Ｘ）が計算される。符号化器において使用された量子化器に関連付けられた逆量子化器がＱＩと称される場合、Ｒ（Ｘ）の逆量子化された値は、ＱＩ（Ｑ（Ｒ（Ｘ）））である。

【0072】

Ｄ１６８において、現在の要素Ｘの復号された値Ｄ（Ｘ）は、逆量子化された残差に予測された値を加算することによって計算される。Ｄ（Ｘ）＝Ｐ（Ｘ）＋ＱＩ（Ｑ（Ｒ（Ｘ）））。

【0073】

ステップＤ１６９では、現在の要素がブロックＢ内で処理すべき最後の要素であるか否かをチェックする。最後の要素である場合、Ｄ１７０において、画像Ｉ内で処理すべきブロックが依然として存在するか否かをチェックする。その場合、処理は終了する。そうではない場合、以前のステップが繰り返される。

【0074】

本発明のこの態様の利点は、現在のブロックに最も良好に適合する予測関数を選択することにあり、これにより、予測の品質を改善すること、したがって、符号化すべき残差を削減することが可能になる。

【0075】

３ 現在のブロックの複数のエリアへの分割及び得られたエリアの予測
本発明の別の実施形態によれば、符号化又は復号すべき画像の現在のブロックは、いくつかの独立して復号可能なエリアに分割される。或るエリアの現在の要素が、当該現在の要素を予測するために別のエリア内に位置する要素を必要とする場合、当該現在の要素は、置換値を使用する。例えば、この値は所定のものであり、メモリに読み込まれるか、又は、現在のブロックについて符号化器によって決定され、現在のブロック、若しくは、以前に符号化又は復号されたブロックの要素の値、好ましくは、ブロックの中で現在のブロックに最も近いブロックの要素の値を表す符号化されたデータにおいて復号器によって読み取られる。

【0076】

まず、本発明による、一ブロックのいくつかのエリアへの分割及び得られたエリアの予測の実施態様の実施形態、次に、そのようなエリア単位の予測を使用する本発明による符号化方法及び復号方法を提示する。

【0077】

現在のブロックを複数のエリアに分割すること、及び得られたエリアを互いに独立して予測することの実施態様の変形例を、図２～図８を参照して以降で提示する。

【0078】

図２を参照して、本発明による、符号化又は復号すべき画像のブロックＢを符号化又は復号する方法によって実施されるステップについて説明する。

【0079】

Ｅ１において、ブロックＢは、いくつかのエリアＺ１、Ｚ２．．．ＺＮ（Ｎは２以上の整数）に分割される。本発明によれば、Ｅ１においてブロックＢに適用される分割（split）又は分割モード（splitting mode）は、符号化／復号コンテキストに従って、すなわち、例えば、複数のブロック及び一ブロック内の複数の要素がスキャンされる順序、又は、ブロックの要素を予測するモード等の、符号化器／復号器の動作制約に従って選択されることに留意すべきであり、これにより、要素がスキャンされるときにブロックの要素の予測子要素（複数の場合もある）が利用可能であることを確実にするようにする。分割モードは、所定のものとして符号化器及び復号器に既知とすることもできるし、本発明の一実施形態によれば、圧縮されたストリーム又はファイルにおいて伝送される符号化された情報に従って決定することもできる。以下で変形例について説明する。

【0080】

以下、図３Ａ～図３Ｆ及び図５Ａ～図５Ｃを参照して、分割の例を提示する。

【0081】

Ｅ２において、エリアＺｉ（ｉは、１～Ｎに含まれる整数）が、以下のように予測される。

【0082】

Ｅ２１において、エリアＺｉ内の少なくとも１つの要素又はピクセルＸが選択され、この要素の少なくとも１つの成分の値が検討される。例えば、これは、ビデオ処理において一般的な、色空間のＹＣｂＣｒ表現モデルにおけるその要素の輝度値Ｙからなる。当然、本発明は、この例に限定されず、色空間の別の表現モデルの任意の成分に適用される。

【0083】

以下の説明では、ブロックＢの要素が辞書式順序においてスキャンされることが検討される。当然、本発明は、このスキャン順序に限定されず、例えば当業者には既知のジグザグスキャン等の、他の任意のスキャン順序においても適用される。

【0084】

オプションのステップＥ２２において、現在のブロックＢに適用すべき予測関数ｆが得られる。

【0085】

この要素Ｘについて、その後、Ｅ２３において、得られた予測関数ｆ又は所定の予測関数を適用することによって、予測子要素が選択される。この予測関数ｆは、既に処理された、すなわち符号化又は復号された近傍要素のうちの少なくとも１つから要素Ｘの値を予測する。

【0086】

以下の説明において、近傍要素とは、広義において必ずしも現在の要素に隣接している必要はなく、現在の要素に近いブロックＢの一要素であると理解されるべきである。

【0087】

自身の左Ａ近傍、右Ｂ近傍、及び対角線上の左上Ｃ近傍のうちの１つから現在の要素Ｘの値を予測する、いわゆるＪＰＥＧ－ＬＳ又はｆ（Ａ，Ｂ，Ｃ）予測関数の例が、図１を参照して説明されている。

【0088】

予測関数の他の例が以下で示されている。
－ ｆ（Ａ，Ｂ，Ｃ）＝ＸＡ
－ ｆ（Ａ，Ｂ，Ｃ）＝ＸＢ
－ ｆ（Ａ，Ｂ，Ｃ）＝ＸＡ＋ＸＢ－ＸＣ
－ ｆ（Ａ，Ｂ，Ｃ）＝０．３３ＸＡ＋０．３３ＸＢ＋０．３４ＸＣ

【0089】

以下、図３Ａ～図３Ｆを参照して、これらの例のうちのいくつかについて説明する。そのような予測関数は、１つ又はいくつかの予測子要素を使用することができる。

【0090】

Ｅ２４において、使用される予測関数ｆによって指定される予測子要素のそれぞれについて、当該予測子要素が現在のエリアＺｉに属するか否かをチェックする。

【0091】

予測子要素が現在のエリアＺｉに属する場合、Ｅ２５において、予測子要素（複数の場合もある）の値から現在の要素Ｘの予測された値Ｐ（Ｘ）を得るために予測関数が適用される。

【0092】

そうではない場合、Ｅ２６において、現在のエリアＺｉの外部にある予測子要素について置換値ＶＲが得られる。実施態様のいくつかの変形例について検討することができ、その中で、以下のものについて網羅的に言及することができる。
－ 所定の値、例えば、要素Ｘについて可能な値のダイナミクスの平均に等しい値をメモリに読み込む。要素Ｘが範囲［０，２５５］内で自身の輝度値を取り得る場合、置換値ＶＲは、１２８に設定される。
－ 現在のブロックＢに固有である置換値、例えばブロックの要素の強度の平均値等を得る。この場合、この値は、符号化器側で計算され、符号化され、符号化されたデータにおいて復号器に伝送され、復号器は、符号化されたデータを読み取ることによってこの値を得る。
－ 予測子要素を、以前に符号化又は復号された近傍ブロック内に位置する別の予測子要素に置き換える。この選択肢の実施態様の例については、図３Ｂ、図３Ｅ及び図６Ａ～図６Ｄを参照して以下で説明する。

【0093】

現在のエリアＺｉ外に位置する予測子要素のそれぞれについて置換値が得られると、Ｅ２５において、現在の要素Ｘの値Ｐ（Ｘ）が予測される。

【0094】

Ｅ２７において、予測すべきブロックの要素が依然として存在するか否かをチェックする。予測すべきブロックの要素が依然として存在する場合、少なくとも１つの要素Ｘを選択するステップＥ２１に戻る。そうではない場合、Ｅ２８において処理が終了する。

【0095】

３．１ 実施態様の第１の例：垂直予測
ここで、図３Ａ～図３Ｃを参照して、垂直予測と呼ばれる予測関数を使用する本発明の実施態様の第１の例について検討する。この関数は、単一の予測子要素、すなわち、現在の要素Ｘの真上に位置する要素Ｂのみを利用する。要素Ｘ又はＸ（ｌｉｎ，ｃｏｌ）が行ｌｉｎ及び列ｃｏｌに位置すると考える場合、予測子要素Ｂは、行ｌｉｎ－１かつ同じ列ｃｏｌに位置する。図３Ａ～図３Ｃにおいて、例として、高さＨ＝８の要素及び幅Ｗ＝４を有するブロックＢが表されており、ブロックＢは、同じ寸法、すなわち、高さＷ／２＝４及び幅Ｗ＝４を有する２つのエリアＺ１及びＺ２に分割される。エリアＺ１は、エリアＺ２の上方に位置し、これらのエリアは、水平線分の形式である境界Ｆｒによって分離される。数学的な観点では、エリア１は、ブロックＢの要素のうちの、ｌｉｎ＜５の関係を満たす行番号ｌｉｎを有する、境界Ｆｒの上方に位置する全ての要素を含む。ひいては、エリアＺ２は、要素のうちの、この水平線の下方に位置する、行番号がｌｉｎ≧５の関係を満たす全ての要素を含む。

【0096】

まず、エリアＺ１について検討する。図３Ｂに示されるように、ブロックＢの左上隅からの第１行ｌｉｎ＝１の要素に関して、垂直予測関数は、Ｚ１に属するのではなく、ブロックＢの上方に位置するブロックの最後の行に属する予測子要素Ｂ’を指定する。

【0097】

この事例では、置換値を得るために、以前に列挙された選択肢のうちの１つに従ってステップＥ２５が行われる。特に、ステップＥ２５は、既知の方法で、垂直予測関数によって指定される前のブロックの要素ＸＢ’の値を使用することができる。実際には、このブロックは既に処理されているので、要素ＸＢ’の復号された値が利用可能である。

【0098】

他の行の場合、垂直予測は、Ｚ１に属する予測子要素を指定する。エリアＺ１の要素の予測は、従来のＤＰＣＭ技術に従って行われる。

【0099】

ここで、第２のエリアＺ２について検討する。図３Ｃに示されるように、この第２のエリアの第１行の要素は、第１のエリアＺ１内に位置する垂直予測子を利用する。しかし、本発明は、これらの２つのエリア間の処理の独立性を保証するように、これらの予測子要素の使用を防止する。

【0100】

この事例では、置換値を得るために、以前に列挙された選択肢のうちの１つに従ってステップＥ２５が行われる。特に、本発明は、現在のブロックの上方に位置する近傍ブロックＢ_Ｓ内で予測子要素を探索することを提案する。有利には、要素ＸＢから置き換わるように選択される予測子要素は、現在の要素Ｘと同じ列に位置し、かつ、現在のブロックに最も近く、２つのエリアＺ１及びＺ２の間の境界Ｆｒに隣接する行ｌｉｎ＝４に位置する要素ＸＢ’’（ｌｉｎ＝４，ｃｏｌ）である。当然、本発明は、この例に限定されない。近傍ブロックの既に処理されている他の任意の要素を、禁止された予測子要素から置き換えるのに使用することができるが、最も近くかつ同じ方向に従って位置する予測子要素の選択が、良好な品質の予測を提供する可能性がより高い。

【0101】

エリア２の次の複数の行の要素に関して、ステップＥ２２は、Ｚ２に属する予測子要素を指定する。予測は、従来の方法に従ってＥ２４において行われる。

【0102】

２つのエリアＺ１及びＺ２の間の予測における全ての依存性を防止することによって、本発明は、それらの処理の並列化を可能にする。図４Ａでは、予測が垂直予測関数を実施する場合、現在のブロックＢの要素の処理の順序が辞書式スキャン順序で割り当てられる。さらに、２つのエリアＺ１及びＺ２のそれぞれについて、第１の処理時間すなわち第１の反復中に第１行の要素を予測することができ、第２の反復中に第２行の要素を予測することができ、以下同様であることが示されている。したがって、この方法において、寸法Ｈ＝８及びＷ＝４を有するブロックについて、本発明の実施態様を使用しない場合ではブロック全体のために８回の反復を要するところ、４回の反復、又は言い換えれば４マシンサイクルで、ブロックの全体を予測するのに十分である。

【0103】

図４Ｂでは、４×４ブロックが、等しい寸法を有する２つのエリアＺ１及びＺ２に分割され、水平境界Ｆｒによって分離される、本発明の実施態様の別の例が提示されている。ブロック全体を処理するのに４マシンサイクルが必要であるが、一方、各エリアは２マシンサイクルを必要とする。

【0104】

３．２ 実施態様の第２の例：水平予測
ここで、図３Ｄ～図３Ｆを参照して、水平予測と呼ばれる予測関数を使用する本発明の実施態様の第２の例について検討する。この関数は、単一の予測子要素、すなわち、同じ行の現在の要素Ｘの左隣に位置する要素ＸＡのみを利用する。

【0105】

要素Ｘ又はＸ（ｌｉｎ，ｃｏｌ）が行ｌｉｎ及び列ｃｏｌに位置することを検討する場合、予測子要素ＸＡは、行ｌｉｎかつ列ｃｏｌ－１に位置する。

【0106】

図３Ｄ～図３Ｆにおいて、例として、高さＨ＝４の要素及び幅Ｗ＝８を有するブロックＢが表されており、ブロックＢは、高さＨ＝４及び幅Ｗ／２＝４をそれぞれ有する同じ寸法を有する２つのエリアＺ１及びＺ２に分割される。エリアＺ１は、エリアＺ２の隣に位置し、これらのエリアは、垂直線分の形式である境界Ｆｒによって分離される。数学的な観点では、エリア１は、ブロックＢの要素のうちの、関係ｃｏｌ＜５を満たす行番号ｃｏｌを有する、境界Ｆｒの左に位置する全ての要素を含む。ひいては、エリアＺ２は、要素のうちの、この対角線の右に位置する、すなわち、行番号が関係ｃｏｌ≧５を満たす要素のうちの全てを含む。

【0107】

まず、エリアＺ１について検討する。図３Ｄに示されるように、ブロックＢの左上隅からの第１行ｃｏｌ＝１の要素に関して、水平予測関数は、Ｚ１に属するのではなく、ブロックＢの左に位置するブロックの最後の列に属する予測子要素Ｘ_Ａを指定する。

【0108】

この事例では、置換値を得るために、以前に列挙された選択肢のうちの１つに従ってステップＥ２５が行われる。特に、ステップＥ２５は、既知の方法で、水平予測関数によって指定される前のブロックの要素Ｘ_Ａのこの値を使用することができる。実際には、このブロックは既に処理されているので、要素Ｘ_Ａの復号された値が利用可能である。

【0109】

ブロックＢの次の複数の列について、水平予測は、ｃｏｌ＝２から開始して、Ｚ１に属する予測子要素を指定する。エリアＺ１の要素の予測は、従来のＤＰＣＭ技術に従って行われる。

【0110】

ここで、第２のエリアＺ２について検討する。図３Ｅに示されるように、この第２のエリアの第１列の要素は、第１のエリアＺ１内に位置する水平予測子を利用する。しかし、本発明は、これらの２つのエリア間の処理の独立性を保証するように、これらの予測子要素の使用を防止する。

【0111】

この事例では、置換値を得るために、以前に列挙された選択肢のうちの１つに従ってステップＥ２５が行われる。特に、本発明は、現在のブロックの左に位置する近傍ブロックＢ_Ｇ内で予測子要素を探索することを提案する。有利には、要素ＸＡから置き換わるように選択される予測子要素は、現在の要素Ｘと同じ行に位置し、かつ、２つのエリアＺ１及びＺ２の間の境界Ｆｒに隣接する、ブロックＢ_Ｇの最右列ｃｏｌ＝４内に位置する要素ＸＡ’（ｌｉｎ，ｃｏｌ＝４）である。

【0112】

当然、本発明は、この例に限定されない。近傍ブロックの既に処理されている他の任意の要素を、禁止された予測子要素から置き換わるのに使用することができるが、最も近くかつ同じ方向に従って位置する予測子要素の選択が、良好な品質の予測を提供する可能性がより高い。

【0113】

エリア２の次の複数の行の要素に関して、ステップＥ２２は、Ｚ２に属する予測子要素を指定する。予測は、従来の方法に従ってＥ２４において行われる。

【0114】

２つのエリアＺ１及びＺ２の間の予測における全ての依存性を防止することによって、本発明は、それらの処理の並列化を可能にする。図４Ｃでは、予測が水平予測関数を実施する場合、現在のブロックＢの要素の処理の順序が辞書式スキャン順序で割り当てられる。２つのエリアＺ１及びＺ２のそれぞれについて、第１の処理時間すなわち第１の反復中に第１行の要素を予測することができ、第２の反復中に第２行の要素を予測することができ、以下同様であることが示されている。したがって、この方法において、寸法Ｈ＝４及びＷ＝８を有するブロックについて、本発明の実施態様を使用しない場合ではブロック全体のために８回の反復を要するところ、４回の反復、又は、言い換えれば４マシンサイクルで、ブロックの全体を予測するのに十分である。

【0115】

図４Ｄでは、４×４ブロックが、等しい寸法を有する２つのエリアＺ１及びＺ２に分割され、垂直境界Ｆｒによって分離される、本発明の実施態様の別の例が提示されている。ブロック全体を処理するのに４マシンサイクルが必要であるが、一方、各エリアは２マシンサイクルを必要とする。

【0116】

３．３ 実施態様の第３の例：ＪＰＥＧ－ＬＳ予測
ここで、図１Ａ及び図１Ｂと、高さＨ＝８及び幅Ｗ＝８を有するブロックＢとを参照して既述されたいわゆるＪＰＥＧ－ＬＳ予測関数について検討する。図５Ａによって示される本発明の実施態様の例によれば、ブロックＢは、対角線境界Ｆｒによって分離された２つのエリアＺ１及びＺ２に分割される。０から開始して付番される行ｌｉｎ及び列ｃｏｌに位置するピクセルをＸ（ｌｉｎ，ｃｏｌ）と呼ぶことにする。数学的な観点では、エリアＺ１は、ブロックＢの要素のうちの、自身の座標が不等式ｌｉｎ＋ｃｏｌ＜５を満たす要素に対応する、対角線Ｆｒの上方に位置する全ての要素を含む。エリアＺ２は、要素のうちの、ｌｉｎ＋ｃｏｌ≧５である要素に対応する、この対角線境界の下方に位置する全ての要素を含む。

【0117】

エリアＺ１の要素は、従来の方法で予測される。現在の要素ＸについてＪＰＥＧ－ＬＳ予測関数によって指定された予測子要素Ｘ_Ａ、Ｘ_Ｂ又はＸ_Ｃが以前に処理された近傍ブロック内にある場合、その予測子要素の値が、要素Ｘの予測のために使用される。

【0118】

ここでエリアＺ２について検討する。図６Ａ～図６Ｅに示されるように、境界Ｆｒに隣接する要素は、第１のエリアＺ１内に位置する予測子を利用する。しかし、本発明は、これらの２つのエリア間の処理の独立性を保証するように、これらの予測子要素の使用を防止する。この事例では、置換値を得るために、以前に列挙された選択肢のうちの１つに従ってステップＥ２５が行われる。特に、本発明は、現在のブロックの同じ行の左に位置する近傍ブロックＢ_Ｇ内で予測子要素Ｘ_Ａ’を探索することを提案する。有利には、要素Ｘ_Ａから置き換わるように選択される予測子要素は、現在の要素Ｘと同じ行に位置し、かつ、ブロックＢ_Ｇの最右列ｃｏｌ＝４内に位置する要素Ｘ_Ａ’と、上側の近傍ブロックＢ_Ｓ内において、Ｘと同じ列に位置し、かつ、Ｂに最も近い行ｌｉｎ＝８に位置する予測子要素Ｘ_Ｂ’とである。図６Ｃ及び図６Ｄによって示されるように予測子要素Ｘ_ＣがエリアＺ１内にある場合、置換予測子要素は、例えば、左側近傍ブロックＢ_Ｇ内の、予測関数によって指定される予測子要素と同じ行のＸ_Ｃ’、又は、上側近傍ブロックＢ_Ｓ内の同じ列に従ったＸＣ’とすることができる。

【0119】

当然、本発明は、この例に限定されない。近傍ブロックの既に処理されている他の任意の要素を、禁止された予測子要素から置き換わるのに使用することができるが、最も近くかつ同じ方向に従って位置する予測子要素の選択が、良好な品質の予測を提供する可能性がより高い。

【0120】

しかしながら、エリア外に予測子要素を有しないエリアＺ２のピクセルは、従来の方法で予測される。

【0121】

図５Ｂを参照すると、この事例では、エリアＺ１及びＺ２を並列して処理することが可能になること、及び、各エリア内で、同じ反復中に同じ対角線の要素の全てを処理することが更に可能であることが分かる。１１マシンサイクルを必要とするであろう４×８ブロックについて、本発明は、６マシンサイクルのみで行うことを可能にする。同様に、図５Ｃによって示されているように、７マシンサイクルを必要とするであろう４×４ブロックについて、本発明は、４マシンサイクルのみで行うことを可能にする。

【0122】

３．４ 現在のブロックのＮ個のエリアへの分割（Ｎは、２よりも大きい整数）
一ブロックを、３つ以上の独立して復号可能なエリアに分割すること、例えば、垂直予測についての図７Ａ及びＪＰＥＧ－ＬＳ予測についての図７Ｂによって示されるように４つのエリアＺ１～Ｚ４に分割することも可能である。符号化器又は復号器が十分な数のプロセッサを有することを仮定すると、ブロックＢを処理するのに必要とされるサイクルの数が更に一層削減される。提示される例では、エリアは、同じ寸法か、又は同じ程度の大きさの寸法のいずれかを有し、これにより、必要とされるサイクルの数を更に一層削減することが可能になる。

【0123】

３．５ 予測すべきブロックの寸法
通常、一画像又は一画像シーケンスをブロック単位で符号化する技術は、一画像を種々のサイズを有する複数のブロックに分割する。例えば、利用可能なブロック寸法は、４×４、４×８、８×４、８×８及び１６×１６である。

【0124】

一画像を処理するのに必要とされる最大数のマシンサイクルを誘発するブロック分割は、小サイズのブロックへの分割である。実際には、図８Ａ～図８Ｃによって示されるように、１６×１６ブロックは、１要素当たり０．１２マシンサイクル、すなわち当該ブロックについて３１サイクルを必要とし、８×８ブロックは、１要素当たり０．２３サイクルを必要とし、４×４ブロックは、１要素当たり０．４４サイクルを必要とする。

【0125】

ここで再び、ＪＰＥＧ－ＬＳ予測関数及び１６×１６ピクセルサイズ画像の例について検討する。この画像が１６×１６ピクセルサイズの１つの単一ブロックに「分割」される場合、かつ、本発明において提案される技術が適用されない場合、必要とされるサイクルの数は３１であることを確認した。逆に、このブロックが１６個の４×４サイズブロックに分割され、そのそれぞれが７サイクルを必要とする場合、画像全体の処理は、１６×７＝１１２サイクルを必要とする。

【0126】

したがって、小ブロックを処理するためのサイクルの数を削減することが必須である。実際には、ハードウェア復号器は、符号化されたデータストリームにおいて生じる「ワーストケース」、すなわち、最小サイズを有する複数のブロックに分割された画像のデータストリームを、リアルタイムで処理するように設計される。

【0127】

図８Ｄ～図８Ｇを参照すると、現在のブロックの２つのエリアへの分割を用いる本発明の実施態様により、処理コストを１要素当たり０．２５サイクル未満に削減することが可能になることが分かる。

【0128】

４ 画像を符号化又は復号する方法
図９～図１４は、本発明の種々の変形例による、少なくとも１つの画像を符号化又は復号する方法を提示している。これらの変形例は、図２～図８を参照して説明された本発明による一ブロックの処理の主要ステップを実施する。

【0129】

４．１ 直列符号化又は復号方法
図９は、直列モードすなわち順次モードに従って画像を符号化又は復号する方法のステップを提示している。例えば、そのような符号化／復号方法は、図１３を参照して説明されるような符号化／復号デバイスによって実施される。以下の説明では、符号化方法の入力において提供される符号化すべき画像Ｉ_１、Ｉ_２、．．．、Ｉ_Ｎのシーケンス、又は復号方法の入力において提供される符号化されたデータストリーム／ファイルについて検討する。当然、本発明は、静止画像の符号化／復号にも適用される。

【0130】

既知の方法では、画像Ｉ_１、Ｉ_２、．．．、Ｉ_Ｎのシーケンスの符号化は、事前に確立されるとともに復号器に既知である符号化順序に従って画像単位で行われる。例えば、画像は、時間順序Ｉ_１、Ｉ_２、．．．、Ｉ_Ｎで、又は別の順序、例えばＩ_１、Ｉ_３、Ｉ_２、．．．、Ｉ_Ｎに従って、符号化することができる。

【0131】

図示されていないステップにおいて、画像Ｉ_１、Ｉ_２、．．．、Ｉ_Ｎのシーケンスのうち符号化すべき画像Ｉ_ｋは、最大サイズを有する複数のブロックに分割される。最大サイズを有する各ブロックは、より小さいブロックに再び分割することができる。例えば、最大サイズを有する一ブロックは、３２×３２ピクセルサイズを有する。そのような最大サイズを有するブロックは、正方形又は長方形のサブブロック、例えば、１６×１６、８×８、４×４、１６×８、８×１６．．．サイズを有するサブブロックに分割することができる。

【0132】

復号器側で、符号化されたデータを読み取るステップは、実行された分割に関する情報を得ることを可能にする。

【0133】

ステップＣ０において、画像Ｉ_ｋの符号化／復号すべきブロックＢ（現在のブロックと呼ぶ）が、符号化器及び復号器に既知の、画像Ｉ_ｋの所定のスキャン順序、例えば、辞書式順序に従って選択される。

【0134】

ステップＣ１では、現在のブロックＢが本発明のＤＰＣＭ技術に従って処理されるべきか、又は、例えばＨＥＶＣ標準規格において記載されるような従来のイントラ又はインター予測モード等の別の予測モードに従って処理されるべきかをチェックする。既知の方法では、テストは、モードのそれぞれに従って現在のブロックのレート歪みコストを比較することと、最低コストを得るモードを選択することとから構成される場合がある。インジケータ（フラグ）等の、選択された予測モードに関する情報が符号化される。

【0135】

復号器側で、上記情報は、現在のブロックが従来のモード（ＨＥＶＣ標準規格において記載されているようなイントラ又はインター復号）に従って復号されるべきか、又は本発明のＤＰＣＭモードに従って復号されるべきかを判断するために、圧縮ファイル又は符号化されたデータストリームにおいて読み取られる。

【0136】

識別されたモードが従来の予測モードである事例では、次のステップは、当業者に既知である従来のモードにおける符号化（又は復号）のステップＣ２である。これについては、更には説明しない。

【0137】

そうではなく、得られた予測モードが本発明によるＤＰＣＭモードである場合、次のステップは、現在のブロックの分割を得るステップＣ３である。このステップでは、現在のブロックは、セクション３において説明された本発明の変形例のうちの１つに従っていくつかのエリアに分割される。セクション３．３において説明された第１の例によれば、現在のブロックＢは、次のように定義される２つのエリアＺ１及びＺ２に分割される。
ブロックＢの要素Ｘ（ｌｉｎ，ｃｏｌ）は、ｌｉｎ＋ｃｏｌ＜Ｈ＋１（Ｈは行の数）である場合、第１のエリアＺ１に属する。そうではない場合、ピクセルは、第２のエリアＺ２に属する。エリアＺ１及びＺ２は、対角線境界Ｆｒによって分離される。

【0138】

セクション３．１において記載された第２の例によれば、ブロックＢは、２つのエリアＺ１及びＺ２に分割され、要素Ｘ（ｌｉｎ，ｃｏｌ）は、ｌｉｎ＜Ｈ＋１（Ｈは行の数）である場合に第１のエリアに属するようになっている。そうではない場合、要素は、第２のエリアに属する。

【0139】

Ｃ４において、第１のエリアＺ１が現在のエリアとして選択される。ブロックＢの複数のエリアを処理する順序は、これらが互いに独立して符号化可能／復号可能である限り、任意であることに留意されたい。

【0140】

エリアＺ１を符号化するステップＣ５について、図１１を参照して以下で説明する。エリアＺ１を復号するステップＤ５について、図１２を参照して以下で説明する。

【0141】

Ｃ６において、符号化すべきエリアＺｉが依然として存在するか否かをチェックする。検討される例では、Ｚ２が依然として存在する。したがって、ステップＣ４に戻って、エリアＺ２を選択する。その後、Ｚ２は、適切である場合、Ｃ５／Ｄ５において符号化又は復号される。Ｃ６において、最後のエリアであるか否かのテストが行われる。

【0142】

次のステップＣ７は、処理すべきブロックが依然として存在するか否かをチェックする。依然として存在する場合、新たな現在のブロックを選択するステップＣ０に戻る。そうではない場合、処理は、Ｃ８において終了する。

【0143】

４．２ 並列符号化又は復号方法
図１０は、並列モードによる、画像を符号化又は復号する方法のステップを提示している。

【0144】

一ブロックを選択するステップＣ０、予測モードをチェックするステップＣ１、従来の符号化／復号のステップＣ２及び複数のエリアに分割するステップＣ３は変わらないままである。

【0145】

処理すべきエリアを選択するステップＣ４は、符号化器／復号器内で利用可能であるコンピューティングマシン又は処理ユニット間でエリアを分配するステップＣ４’に置き換えられる。図１０の例では、１つのエリアＺｉが各処理ユニットＵＴｉに割り当てられるように、現在のブロックのＮ個のエリアを処理するＮ個の処理ユニットがある。この並列化は、現在のブロックの他のエリアと独立して１つのエリアの予測を実行する本発明によって可能になる。

【0146】

当然、本発明は、この例に限定されず、処理すべきエリアの数よりも少ない数の処理ユニットを含む符号化器又は復号器にも適用される。この事例では、Ｃ６において、処理すべきブロックのエリアが依然として存在するか否かをチェックする。依然として存在する場合、方法は、処理ユニット間でエリアを分配するステップＣ４’に戻る。そうではない場合、次のステップは、最後のブロックをチェックするステップＣ７である。処理すべきブロックが依然として存在する場合、ステップＣ０に戻り、そうではない場合、方法は、Ｃ８において終了する。

【0147】

４．３ 現在のブロックのエリアの符号化
本発明の一実施形態による現在のブロックのエリアＺｉを符号化するステップＣ５が、ここで、図１１を参照して詳述される。

【0148】

Ｃ５１において、エリアＺｉ内で少なくとも１つの要素又はピクセルｘが選択される。現在のエリアのピクセルについてスキャン順序が定義される。このスキャン順序は、それ自体は既知であり、所定のものである。特に、このスキャン順序は、現在のピクセルの予測のために使用され、復号された形式において利用可能である（したがって、先に処理されている）ピクセルによって決定される。したがって、従来のスキャン順序は、辞書式順序であり、これは、前述された局所的な予測関数の場合に機能する。

【0149】

この選択された要素Ｘ（現在の要素と呼ぶ）について、Ｃ５２において、セクション３において前述されたように、予測関数ｆを適用することにより、既に処理された少なくとも１つの近傍予測子要素から値Ｐ（Ｘ）が予測される。

【0150】

Ｃ５３において、予測残差の値Ｒ（Ｘ）＝Ｘ－Ｐ（Ｘ）が計算される。その後、Ｃ５４において、例えばそれ自体は既知であるスカラ量子化を使用して、値Ｒ（Ｘ）が量子化される。量子化された値Ｑ（Ｒ（Ｘ））が得られる。

【0151】

Ｃ５５において、ハフマン符号化器又は算術符号化器等の既知の手段を使用して、量子化された残差Ｑ（Ｒ（Ｘ））が符号化され、得られた符号化されたデータは、ストリーム又はファイル内に挿入される。

【0152】

Ｃ５６において、現在の要素Ｘの復号された値Ｄ（Ｘ）は、逆演算を実行することによって計算される。この値は、現在のエリア、又は画像の次の要素の予測のために利用できるように、メモリに記憶される。

【0153】

前のステップにおいて使用された量子化器に関連付けられた逆量子化器がＱＩと称される場合、Ｘの復号された値Ｄ（Ｘ）は、Ｄ（Ｘ）＝Ｐ（Ｘ）＋ＱＩ（Ｑ（Ｒ（Ｘ）））である。

【0154】

ステップＣ５７では、現在の要素がエリアＺｉ内で処理すべき最後の要素であるか否かをチェックする。最後の要素である場合、処理は終了する。そうではない場合、次のステップは、符号化すべき要素を選択するステップＣ５１である。

【0155】

４．４ 現在のブロックのエリアの復号
ここで、本発明の一実施形態による現在のブロックのエリアＺｉを復号するステップＤ５が、図１２を参照して詳述される。

【0156】

Ｄ５１において、符号化についてセクション４．３において前述されたように、エリアＺｉ内で少なくとも１つの要素又はピクセルＸが選択される。

【0157】

現在の要素と呼ばれるこの選択された要素Ｘについて、Ｄ５２において、符号化についてセクション３において前述されたように、予測関数ｆを適用することにより、既に処理された少なくとも１つの近傍予測子要素から値Ｐ（Ｘ）が予測される。

【0158】

Ｄ５３において、符号化されたデータにおいて量子化された残差Ｑ（Ｒ（Ｘ））が読み取られ、これは、Ｄ５４において、符号化器側で実施された手段の逆である既知の手段を使用して復号される。

【0159】

Ｄ５５において、予測残差の逆量子化された値Ｒ（Ｘ）が計算される。符号化器において使用された量子化器に関連付けられた逆量子化器がＱＩと称される場合、Ｒ（Ｘ）の逆量子化された値は、ＱＩ（Ｑ（Ｒ（Ｘ）））である。

【0160】

Ｄ５６において、現在の要素Ｘの復号された値Ｄ（Ｘ）は、逆量子化された残差に予測された値を加算することによって計算される。Ｄ（Ｘ）＝Ｐ（Ｘ）＋ＱＩ（Ｑ（Ｒ（Ｘ）））。

【0161】

ステップＤ５７では、現在の要素がエリアＺｉ内で処理すべき最後の要素であるか否かをチェックする。最後の要素である場合、処理は、Ｄ５８において終了する。そうではない場合、次のステップは、復号すべき次の要素を選択するステップＤ５１である。

【0162】

４．５ 現在のブロックの符号化又は復号の変形例
ここで、図１３及び図１４を参照して、現在のブロックを符号化又は復号する一変形例について説明する。図１３は、直列モードに従ってこの変形例を実施する、画像を符号化又は復号する方法のステップを提示している。図１４は、並列モードに従ってこの変形例を実施する、画像を符号化又は復号する方法のステップを提示している。

【0163】

予測モードがＤＰＣＭモードである場合、追加のステップＣ１１では、利用可能な関数のリスト内で、現在のブロックの要素を予測するために当該現在のブロックの要素に適用すべき予測関数ｆを得る。例えば、このリストは、水平予測関数、垂直予測関数及びＪＰＥＧ－ＬＳ予測関数、又はこれらの関数のうちの２つのみを含む。当然、本発明は、この例に限定されず、リストは、前述された関数以外の予測関数を含んでもよい。

【0164】

符号化器側で、リスト内に含まれる予測関数が、例えば誘導されるレート歪みコストを関数ごとに計算することによってテストされる。選択される予測関数ｆは、最低レート歪みコストに関連付けられた関数である。次のステップＣ３及びＣ５又はＣ５１～Ｃ５Ｎは、この情報の知識を利用する。特に、現在のブロックを複数のエリアに分割するステップＣ３は、実行される分割を適応させるためにこの予測関数インジケーションを考慮に入れる。実際には、前述されたように、選択される各予測関数は、ブロックの特定の分割を調整し、これにより、現在のブロックを処理するのに必要とされるマシンサイクルの数を最低限に抑えることが可能になる。しかしながら、処理すべきエリアを選択するステップＣ４、又は利用可能な処理ユニットにわたって処理すべきエリアを分配するステップＣ４’は、予測関数ｆの選択とは独立している。なぜならば、本発明によれば、現在のブロック内で分割されたエリアは、互いに独立して符号化可能又は復号可能であるためである。符号化ステップＣ５も適応される。なぜならば、エリアのうちのそれぞれの予測は、選択された予測関数を用いて実行されるためである。

【0165】

有利には、選択された予測関数ｆは、符号化され、符号化されたデータストリーム／ファイル内に挿入される特定のインジケータの形式で復号器に伝送される。例えば、このインジケータは、リスト内の予測関数のランクの形式のものである。当然、このインジケータは、現在のブロックがＤＰＣＭモードにおいて符号化される場合にのみ挿入される。

【0166】

復号器側で、ステップＤ１１は、符号化されたデータストリーム又はファイル内の予測関数インジケータの読み取り及びその復号を含む。当然、そのようなインジケータは、ブロックがＤＰＣＭモードにおいて復号すべきである場合にのみ読み取られる。予測関数ｆは、復号された特定のインジケータから得られる。

【0167】

符号化器と同様の方法で、次のステップＤ３、及びＤ５又はＤ５１～Ｄ５Ｎは、現在のブロックにおけるそれらの処理を適応させるために得られた予測関数ｆを考慮に入れるが、一方でステップＤ４又はＤ４’は影響を受けない。

【0168】

５ 符号化デバイス及び復号デバイス
図１７Ａによって示される本発明の特定の実施形態によれば、符号化方法のステップは、コンピュータプログラム命令によって実施される。このために、符号化デバイス１００又は復号デバイス２００は、コンピュータの従来のアーキテクチャを有し、特に、メモリＭＥＭ１０１、２０１、例えば少なくとも１つのマイクロプロセッサＰ１を装備されるとともに、メモリＭＥＭに記憶されたコンピュータプログラムＰｇによって駆動される、処理ユニットＵＴ１０２、２０２を備える。コンピュータプログラムＰｇは、プロセッサによって実行されると、本明細書の上記で説明されたような符号化又は復号方法のステップを実施する命令を含む。

【0169】

初期化時、コンピュータプログラムＰｇのコード命令が、プロセッサによって実行される前に、例えばＲＡＭメモリにロードされる。特に、処理ユニットＵＴのプロセッサは、コンピュータプログラムＰｇの命令に従って、これらの種々の変形例において本明細書の上記で記載された符号化又は復号方法のステップを実施する。

【0170】

本発明の別の実施形態によれば、図１７Ｂによって示されるように、処理ユニットは、いくつかのプロセッサＰ１～ＰＮ（Ｎは２以上の整数）を備える。プログラムＰｇ’は、方法の実行が、図１０を参照してセクション４．２のいわゆる「並列」実施形態において説明されたように、プロセッサＰ１～ＰＮによって実行される場合に、本明細書の上記で説明されたような符号化又は復号方法のステップを実施する命令を含む。この実施形態によれば、「マスタ」プロセッサ、例えばＰ１は、符号化方法を実行し、Ｃ’４において、符号化／復号ステップＣ５１／Ｄ５１．．．Ｃ５Ｎ／Ｄ５Ｎが並列に実行されるように、利用可能なプロセッサにわたって複数のエリアの処理を分配する。有利には、デバイス１００、２００は、メモリＭに加えて、現在のエリアの要素の予測、それらの（逆）量子化された残差、それらの符号化／復号された値等を一時的に記憶するように適応されたいくつかのメモリＭＥＭ２～ＭＥＭＮを備える。

【0171】

図１８によって示される本発明の別の特定の実施形態によれば、本発明による符号化又は復号方法は、機能モジュールによって実施される。このために、デバイス１００、２００は、
－ ブロックを少なくとも２つのエリアに分割するモジュールＣＵＴと、
－ 少なくとも１つの上記エリアを処理するモジュールＰＲＯＣであって、処理は、所定のスキャン順序に従ったエリアの要素のスキャンを含み、スキャンされる現在の要素について、
○ 所定の近傍関数に従って以前に符号化又は復号された少なくとも１つの近傍予測子要素を選択すること（ＳＥＬ）と、
○ 現在の要素を予測すること（ＰＲＥＤ）であって、
・ 少なくとも１つの近傍予測子要素が上記エリアに属する場合、当該少なくとも１つの近傍予測子要素から、
・ 少なくとも１つの近傍予測子要素が上記エリアに属さない場合、少なくとも１つの置換値から、
現在の要素を予測して、予測された現在の要素にすることと、
を含む、モジュールＰＲＯＣと、
を更に含む。

【0172】

処理ユニットＵＴは、符号化又は復号方法のステップを実施するために、上記で説明された種々の機能モジュール及びメモリＭＥＭと協働する。

【0173】

上記で説明された種々の機能モジュールは、ハードウェア及び／又はソフトウェア形式とすることができる。ソフトウェア形式の場合、そのような機能モジュールは、１つ又はいくつかのプロセッサ、メモリ、及びコード命令が１つのプロセッサ／当該プロセッサによって実行されると、モジュールに対応する機能を実施するプログラムコード命令を含むことができる。ハードウェア形式の場合、そのような機能モジュールは、限定することなく、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、配線論理ユニット等の任意のタイプの適切な符号化回路によって実施することができる。

【0174】

これらのモジュールは、処理ユニットＵＴのプロセッサによって駆動される。

【0175】

有利には、機能モジュールＰＲＯＣは、本発明に従って現在のブロック内で分割されたエリアを並列に処理するように構成された、いくつかのプロセッサを含むことができる。

【0176】

有利には、デバイス１００及び／又はデバイス２００は、スマートフォン、タブレット、テレビジョンセット、パーソナルコンピュータ等の端末機器ＥＴ１０内に埋め込むことができる。その場合、デバイス１００、２００は、少なくとも端末ＥＴの以下のモジュールと協働するように構成される。
－ ビットストリームＴＢ又は圧縮ファイルＦＣが、それを通じて電気通信ネットワーク、例えば有線ネットワーク又は無線ネットワークにおいて伝送される、データ送信機／受信機モジュールＥ／Ｒ１、及び、
－ 符号化すべき画像若しくは画像のシーケンス、得られた符号化されたデータストリーム／ファイル又は復号された画像又は画像のシーケンスを記憶する（Ｍ）モジュールＭ。

【0177】

言及するまでもなく、本明細書の上記で説明された実施形態は、単に例示のために、非限定的な目的で提供されており、当業者であれば、本発明の範囲から逸脱することなく、多数の変更を容易に行うことができる。

【図1A-1B】

【図2】

【図3A-3C】

【図3D-3F】

【図4A-4D】

【図5A-5C】

【図6A-6E】

【図7A-7B】

【図8A-8G】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A-17B】

【図18】

【国際調査報告】