特表 2024-510095 重み付け画像予測、及びこのような重み付け予測を使用する画像符号化及び復号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-06

(54)【発明の名称】重み付け画像予測、及びこのような重み付け予測を使用する画像符号化及び復号化

(51)【国際特許分類】

   H04N 19/52 20140101AFI20240228BHJP

【ＦＩ】

H04N19/52

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023550089

(86)(22)【出願日】2022-02-15

(85)【翻訳文提出日】2023-08-24

(86)【国際出願番号】 FR2022050272

(87)【国際公開番号】W WO2022175625

(87)【国際公開日】2022-08-25

(31)【優先権主張番号】2101632

(32)【優先日】2021-02-19

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】591034154

【氏名又は名称】オランジュ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ピエリック・フィリップ

(72)【発明者】

【氏名】テオ・ラデュネ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA19

5C159MA21

5C159MC11

5C159PP04

5C159PP13

5C159RC11

5C159TA30

5C159TB10

5C159UA02

5C159UA05

(57)【要約】

本発明は、少なくとも一組の現在のピクセル（Ｂ_ｃ）がピクセル予測重み付け関数の支援により少なくとも一組の基準ピクセル（ＢＲ_０；ＢＲ_０，ＢＲ_１）に基づき予測される予測デバイスにより実施される少なくとも一組の現在ピクセル（Ｂ_ｃ）を予測する方法に関し、本方法は、少なくとも一組の現在のピクセル（Ｂ_ｃ）のピクセル予測重み付け関数が、少なくとも一組の基準ピクセル（ＢＲ_０；ＢＲ_０，ＢＲ_１）の解析（Ｐ_１）に基づき計算された少なくとも１つの重み付け値（Ｐ_２～Ｐ_３）に関連付けられることを特徴とする。

【特許請求の範囲】

【請求項1】

予測デバイスにより実施される、少なくとも１つの現在のピクセルセット（Ｂ_ｃ）を予測する方法であって、前記少なくとも１つの現在のピクセルセット（Ｂ_ｃ）は、ピクセル予測重み付け関数を使用することにより、既に復号化された基準画像に属する少なくとも１つの基準ピクセルセット（ＢＲ_０；ＢＲ_０，ＢＲ_１）に基づき予測される、方法において、前記少なくとも１つの現在のピクセルセット（Ｂ_ｃ）のための前記ピクセル予測重み付け関数は、少なくとも１つの基準ピクセルセット（ＢＲ_０；ＢＲ_０，ＢＲ_１）の解析（Ｐ１）に基づき計算された（Ｐ２～Ｐ３）少なくとも１つの重み付け値を含むことを特徴とする、方法。

【請求項2】

少なくとも１つの基準ピクセルセット（ＢＲ_０；ＢＲ_０，ＢＲ_１）の前記解析は、前記少なくとも１つの基準ピクセルセットの動き推定又はフィルタリングを実施する、請求項１に記載の予測方法。

【請求項3】

前記動き推定は、オプティカルフロー動き推定である、請求項２に記載の予測方法。

【請求項4】

前記予測重み付け関数は、前記少なくとも１つの現在のピクセルセットと少なくとも１つの基準ピクセルセットとの合同解析から生じる少なくとも１つの修正パラメータ（Ｕ’_ｑ）を使用することにより修正される、請求項１に記載の予測方法。

【請求項5】

少なくとも１つの現在のピクセルセットを予測するためのデバイスであって、既に復号化された基準画像に属する少なくとも１つの基準ピクセルセットに基づき前記少なくとも１つの現在のピクセルセットをピクセル予測重み付け関数を使用することにより予測するように構成されたプロセッサを含むデバイスにおいて、前記少なくとも１つの現在のピクセルセット（Ｂ_ｃ）のための前記ピクセル予測重み付け関数は少なくとも１つの基準ピクセルセットの解析に基づき計算された少なくとも１つの重み付け値を含むことを特徴とする、デバイス。

【請求項6】

ニューラルネットワーク（ＰＲＥＤ２）を使用することを特徴とする、請求項５に記載の予測デバイス。

【請求項7】

コンピュータ上で実行されると請求項１乃至４のいずれか一項に記載の予測方法を実施するためのプログラムコード命令を含む、コンピュータプログラム。

【請求項8】

請求項７に記載のコンピュータプログラムの命令を含む、コンピュータ可読情報媒体。

【請求項9】

符号化デバイス（ＣＯＤ１；ＣＯＤ２；ＣＯＤ３；ＣＯＤ３’）により実施される、少なくとも１つの現在のピクセルセットを復号化する方法であって、
－ 前記少なくとも１つの現在のピクセルセットと前記少なくとも１つの現在のピクセルセットの予測から生じる予測ピクセルセットとの差を表す信号を計算すること（Ｃ２）、
－ 前記信号を符号化すること（Ｃ３）、
を含む方法において、
前記予測ピクセルセットは、請求項１乃至４のいずれか一項に記載の予測方法を使用することにより取得される（Ｃ１）ことを特徴とする、方法。

【請求項10】

－ 前記予測重み付け関数の少なくとも１つの修正パラメータを符号化すること（Ｃ’３）、
－ 前記少なくとも１つの符号化された修正パラメータを画像デコーダへ送信すること（Ｃ’４）
を含む、請求項９に記載の符号化方法。

【請求項11】

少なくとも１つの現在のピクセルセットを復号化するためのデバイスであって、
－ 前記少なくとも１つの現在のピクセルセットと前記少なくとも１つの現在のピクセルセットの予測から生じる予測ピクセルセットとの差を表す信号を計算すること、
－ 前記信号を符号化すること、
を実施するように構成されるプロセッサを含むデバイスにおいて、
前記予測ピクセルセットは、請求項５又は請求項６に記載の予測デバイスを使用することにより取得されることを特徴とする、デバイス。

【請求項12】

復号化デバイスにより実施される、少なくとも１つの現在のピクセルセットを復号化する方法であって、
－ 前記少なくとも１つの現在のピクセルセットと前記少なくとも１つの現在のピクセルセットの予測から生じる予測ピクセルセットとの差を表す信号のデータ表現をデータ信号内で判断すること（Ｄ１）、
－ 前記判断されたデータ及び前記予測ピクセルセットから前記少なくとも１つの現在のピクセルセットを再構築すること（Ｄ４）、
を含む方法において、
前記復号化する方法は、前記予測ピクセルセットが請求項１乃至４のいずれか一項に記載の予測方法を使用することにより取得される（Ｄ３）ことを特徴とする、方法。

【請求項13】

－ 少なくとも１つの符号化パラメータを、前記データ信号又は別のデータ信号内で判断すること（Ｄ’２）であって、前記パラメータは前記予測重み付け関数の修正パラメータである、判断すること（Ｄ’２）、
－ 前記符号化された修正パラメータを復号化すること、
－ 修正された予測重み付け関数を、前記少なくとも１つの基準ピクセルセット及び前記少なくとも１つの復号化された修正パラメータの解析に基づき計算すること（Ｄ’３，Ｐ２～Ｐ３）
をさらに含む、請求項１２に記載の復号化方法。

【請求項14】

少なくとも１つの現在のピクセルセットを復号化するためのデバイスであって、
－ 前記少なくとも１つの現在のピクセルセットと前記少なくとも１つの現在のピクセルセットの予測から生じる予測ピクセルセットとの差を表す信号のデータ表現を、データ信号内で判断すること、
－ 前記判断されたデータ及び前記予測ピクセルセットから前記少なくとも１つの現在のピクセルセットを再構築すること
を実施するように構成されるプロセッサを含む、デバイスにおいて、
前記予測ピクセルセットは、請求項５又は請求項６に記載の予測デバイスを使用することにより取得されることを特徴とするデバイス。

【請求項15】

コンピュータ上で実行されると請求項９又は１０に記載の符号化方法又は請求項１２又は１３に記載の復号化方法を実施するためのプログラムコード命令を含む、コンピュータプログラム。

【請求項16】

請求項１５に記載のコンピュータプログラムの命令を含む、コンピュータ可読情報媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般的には画像処理の分野に関し、具体的にはディジタル画像及び一連のディジタル画像の符号化及び復号化に関する。

【0002】

ディジタル画像の符号化／復号化は特に、以下のものを含む少なくとも１つの映像系列から画像へ適用される：
－ 同一カメラからの及び時間的連続な画像（２Ｄ符号化／復号化）、
－ 様々な視野において配向された様々なカメラからの画像（３Ｄ符号化／復号化）、
－ 対応テクスチャ及び深さ成分（３Ｄ符号化／復号化）、
－ 等々。

【0003】

本発明は、２Ｄ又は３Ｄ画像の符号化／復号化に同様に適用される。

【0004】

本発明は、限定しないが特に、現在のＡＶＣ、ＨＥＶＣ及びＶＶＣ映像エンコーダ並びにそれらの拡張版（ＭＶＣ、３Ｄ－ＡＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）において実施される映像符号化及び対応復号化へ適用され得る。

【背景技術】

【0005】

現在の映像エンコーダ（ＭＰＥＧ、ＡＶＣ、ＨＥＶＣ、ＶＶＣ、ＡＶ１など）は、映像系列のブロック的表現を使用する。画像は、再帰的に再び分割されることができるブロックへ分割される。次に、各ブロックは画像内又は画像間予測により符号化される。従って、いくつかの画像は、当業者によく知られている動き補償を使用することにより、空間的予測（イントラ予測、ＩＢＣ（「ブロック内複製：Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ」）予測）により符号化され、他の画像もまた、１つ又は複数の符号化－復号化された基準画像に対する時間的予測（インター予測）により符号化される。

【0006】

現在符号化されているブロックに関連付けられた予測ブロックＢＰは、現在符号化されているブロックが属する画像（又は既に復号化された画像（従来は基準画像と呼ばれる））の少なくとも１つの基準ブロックＢＲ_０に直接関係付けられる。基準ブロックＢＲ_０と現在符号化されているブロックとを整合するために、基準ブロックＢＲ_０はそのピクセルの空間位置（ｘ，ｙ）毎に変位される。次に、動き補償された基準ブロックＢＣ_０が取得される。次に、予測ブロックＢＰと動き補償された基準ブロックＢＣ_０との間の関係が次のように表現される：
ＢＰ（ｘ，ｙ）＝（１－ｗ）＊ＢＣ_０（ｘ，ｙ）
ここでｗは、以下に説明される予測重み付けパラメータ（たいていは０であるが調整可能であり得る）である。

【0007】

例えば、現在符号化されているブロックが１つ又は２つの既に復号化された基準画像に属する２つの基準ブロックＢＲ_０、ＢＲ_１に対し予測される場合、２つの基準ブロックＢＲ_０、ＢＲ_１は、動き補償され、２つの動き補償された基準ブロックＢＣ_０、ＢＣ_１を生成し、これらは次に線形重み付けにより組み合わせられる。予測ブロックＢＰの各ピクセルは、２つの動き補償された基準ブロックＢＣ_０、ＢＣ_１のピクセルの重み付けの結果である。より正確には、例えば、予測が行毎に及び左から右へ実施されると：
－ 予測ブロックＢＰの左上における第１のピクセルは、動き補償された基準ブロックＢＣ_０の左上における第１のピクセル及び動き補償された基準ブロックＢＣ_１の左上における第１のピクセルの重み付けの結果である、
－ 予測ブロックＢＰの第１行上の第１のピクセルに隣接する第２のピクセルは、動き補償された基準ブロックＢＣ_０の第１行上の第１のピクセルに隣接する第２のピクセル及び動き補償された基準ブロックＢＣ_１の第１行上の第１のピクセルに隣接する第２のピクセルの重み付けの結果である、
－ 等々。
－ 予測ブロックＢＰの右下における最後のピクセルは、動き補償された基準ブロックＢＣ_０の右下における最後のピクセル及び動き補償された基準ブロックＢＣ_１の右下における最後のピクセルの重み付けの結果である。

【0008】

最も一般的な重み付けはハーフサムである。この目的を達成するために、予測ブロックＢＰは以下の関係に従って計算される：
ＢＰ（ｘ，ｙ）＝０．５＊ＢＣ_０（ｘ，ｙ）＋０．５＊ＢＣ_１（ｘ，ｙ）

【0009】

より手の込んだ重み付けが可能である。

【0010】

ＨＥＶＣ標準規格では、線形重み付けが現在符号化されている画像へ一様に適用される。現在符号化されている「画像」の副画像又はスライス毎の重み付けパラメータｗが、その中に固定され、デコーダへ信号伝達される。デフォルト設定では、現在符号化されているブロックの双方向予測の場合、平衡重み付け（０．５／０．５）が、ＰＰＳ（「ピクチャパラメータセット：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ」）情報内に明示的に指示されていないならば適用される。

【0011】

ＶＶＣ標準規格では、予測は、ＢＣＷ（「ＣＵレベル重み付けによる双方向予測：ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ ｌｅｖｅｌ ｗｅｉｇｈｔｓ」）ツールを使用することによりブロック毎に重み付けされる。予測ブロックＢＰは以下の関係に従って計算される：
ＢＰ（ｘ，ｙ）＝（１－ｗ）＊ＢＣ_０（ｘ，ｙ）＋ｗ＊ＢＣ_１（ｘ，ｙ）
ここで重み付けパラメータｗは、５つの値（０．５，０．６２５，０．３７５，１．２５，－０．２５）を取り得る。
適用される重み付けパラメータｗの最適値は、エンコーダにおいて判断され、各ブロックのデコーダへ信号伝達される。最適値は、使用される値ｗ＝０．５（すなわち、動き補償された基準ブロックＢＣ_０、ＢＣ_１に対する等しい重み付け）かどうかを指示する文脈要素により符号化される。そうでなければ、重み付けは４つの残りの値のうちの１つを指示するために２ビット上で信号伝達される。

【0012】

この原理はＡＶ１技術において採用される。

【0013】

「使用される映像標準規格に関係なく、重み付けパラメータｗは比較的少ない数の値に関連付けられており、これにより、適用される重み付け予測における精度の欠如に至る」ということに注意すべきである。さらに、上述の標準規格によるエンコーダは、選択された重み付けパラメータｗの値を系統的に符号化してデコーダへ送信する必要があり、これにより信号伝達費用を増加する。

【発明の概要】

【発明が解決しようとする課題】

【0014】

本発明の目的の１つは、有益には、重み付け予測に関係する信号伝達情報の費用を低減して、この予測の精度を従来技術から改善することにより、上述の従来技術の欠点を正すことである。

【課題を解決するための手段】

【0015】

この目的を達成するために、本発明の１つの主題は、予測デバイスにより実施される、少なくとも１つの現在のピクセルセットを予測する方法に関係し、前記少なくとも１つの現在のピクセルセットは、ピクセル予測重み付け関数を使用することにより少なくとも１つの基準ピクセルセットに基づき予測され、方法は、前記少なくとも１つの現在のピクセルセットのためのピクセル予測重み付け関数は、少なくとも１つの基準ピクセルセットの解析に基づき計算された少なくとも１つの重み付け値に関連付けられる、ということを特徴とする。

【0016】

本発明によるこのような予測方法は、有利には、現在のピクセルセットの予測の重み付けを推定するために１つ又は複数の基準ピクセルセット（換言すれば、予測の時点で既に復号されている１又は複数組のピクセル）だけに依存することを可能にする。この又はこれらの基準ピクセルセットは現在のピクセルセットの予測の時点で利用可能であるので、予測の重み付けの推定は、予測の１つ又は複数の重み付け値を近似又は量子化することを要求する従来技術において実施されるものより空間的により正確であるので改善される。

【0017】

一特定実施形態によると、予測重み付け関数は、前記少なくとも１つの現在のピクセルセットの解析から生じる少なくとも１つの修正パラメータを使用することにより修正される。

【0018】

このような実施形態は有利には、現在のピクセルセットが１つ又は複数の基準ピクセルセット内に存在しなかった要素／予測可能な要素を含む場合に、計算された予測重み付け関数へ補正を適用することを可能にする。

【0019】

本発明はまた、少なくとも１つの現在のピクセルセットを予測するためのデバイスであって、ピクセル予測重み付け関数を使用することにより、少なくとも１つの基準ピクセルセットに基づき前記少なくとも１つの現在のピクセルセットを予測するように構成されるプロセッサを含むデバイスに関する。

【0020】

このような予測デバイスは、前記少なくとも１つの現在のピクセルセットのピクセル予測重み付け関数が少なくとも１つの基準ピクセルセットの解析に基づき計算された少なくとも１つの重み付け値に関連付けられるということを特徴とする。

【0021】

一特定実施形態では、予測デバイスはニューラルネットワークである。

【0022】

ニューラルネットワークの使用は有利には、重み付け予測の品質を最適化することを可能にする。

【0023】

このような予測デバイスは特に、上述の予測方法を実施することができる。

【0024】

本発明はまた、少なくとも１つの現在のピクセルセットを復号化する方法であって符号化デバイスにより実施される方法に関する。本方法は以下のことを含む：
－ 前記少なくとも１つの現在のピクセルセットと前記少なくとも１つの現在のピクセルセットの予測から生じる予測ピクセルセットとの差を表す信号を計算すること、
－ この信号を符号化すること。

【0025】

このような符号化方法は、予測ピクセルセットが本発明による上述の予測方法を使用することにより取得されるということを特徴とする。

【0026】

このような符号化方法は、予測重み付け関数の１つ又は複数の予測重み付け値の符号化を要求しないという点で有利である。これは、この、又はこれらの予測重み付け値が現在のピクセルセットのデコーダへエンコーダにより送信される必要がなく、これにより、予測の改善された精度に関係する画像のより良い品質に賛成してエンコーダとデコーダとの間で送信される情報を信号伝達する費用を低減することを可能にする、ということを意味する。さらに、予測重み付け関数に関連付けられたいかなる重み付け値もデコーダへ送信されることを目的として近似又は量子化される必要がなく、これにより、この重み付け値を一組のピクセルが予測されるように連続にすることを可能にする。

【0027】

一特定実施形態によると、符号化方法は以下のことを含む：
－ 予測重み付け関数の少なくとも１つの修正パラメータを符号化すること、
－ 前記少なくとも１つの修正パラメータを画像デコーダへ送信すること。

【0028】

本発明はまた、少なくとも１つの現在のピクセルセットを復号化するための符号化デバイス又はエンコーダであって、以下のことを実施するように構成されたプロセッサを含む、符号化デバイス又はエンコーダに関する：
－ 前記少なくとも１つの現在のピクセルセットと前記少なくとも１つの現在のピクセルセットの予測から生じる予測ピクセルセットとの差を表す信号を計算すること、
－ 前記信号を符号化すること。

【0029】

このような符号化デバイスは、予測ピクセルセットが本発明による上述の予測デバイスを使用することにより取得される、ということを特徴とする。

【0030】

このような符号化デバイスは、特に上述の符号化方法を実施することができる。

【0031】

本発明はまた、復号化デバイスにより実施される少なくとも１つの現在のピクセルセットを復号化する方法に関し、本方法は以下のことを含む：
－ 前記少なくとも１つの現在のピクセルセットと前記少なくとも１つの現在のピクセルセットの予測から生じる予測ピクセルセットとの差を表す信号のデータ表現をデータ信号内で判断すること、
－ 判断されたデータ及び予測ピクセルセットから前記少なくとも１つの現在のピクセルセットを再構築すること。

【0032】

このような復号化方法は、予測ピクセルセットが本発明による上述の予測方法を使用することにより取得されるということを特徴とする。

【0033】

このような復号化方法の利点は、予測重み付け関数は、エンコーダから受信されたデータ信号からデコーダが特定情報を読み出す必要なく１つ又は複数の利用可能基準ピクセルセットに基づきデコーダにより自律的に計算される、という事実にある。さらに、上に既に説明したように、予測重み付け関数の少なくとも１つの重み付け値は、従来技術におけるケースと同様に、データ信号内で符号化も送信もされないので、近似又は量子化される必要なく連続にされ得る。

【0034】

一特定実施形態では、このような復号化方法はさらに、以下のことを含む：
－ 予測重み付け関数の少なくとも１つの修正パラメータをデータ信号又は別のデータ信号内で判断すること、
－ 修正された予測重み付け関数を、前記少なくとも１つの基準ピクセルセット及び前記少なくとも１つの判断された修正パラメータの解析に基づき計算すること。

【0035】

本発明はまた、プロセッサを含む少なくとも１つの現在のピクセルセットを復号化するための復号化デバイス又はデコーダに関し、プロセッサは以下のことを実施するように構成される：
－ 前記少なくとも１つの現在のピクセルセットと前記少なくとも１つの現在のピクセルセットの予測から生じる予測ピクセルセットとの差を表す信号のデータ表現をデータ信号内で判断すること、
－ 判断されたデータ及び予測ピクセルセットから前記少なくとも１つの現在のピクセルセットを再構築すること。

【0036】

このような復号化デバイスは、予測ピクセルセットが本発明による上述の予測デバイスを使用することにより取得されるということを特徴とする。

【0037】

このような復号化デバイスは、特に上述の復号化方法を実施することができる。

【0038】

本発明はまた、映像データ処理デバイスにより実施される、少なくとも１つの基準ピクセルセットから少なくとも一組のピクセルを構築する方法に関する。

【0039】

このような構築方法は、ピクセル予測重み付け関数（本発明の上述の予測方法において使用される予測関数など）を使用することにより一組のピクセルが構築されることを特徴とする。

【0040】

従って、本発明の予測重み付け関数は、予測残差を生成する又は生成しない画像予測の文脈だけに制限されず、１つ又は複数の既に復号化された基準画像に基づく内挿又は画像合成の場合に有利に使用され得る。

【0041】

本発明はまた、本発明による予測方法を実施するための命令を含むコンピュータプログラム、及びまた、本発明による予測方法を取り込む符号化又は復号化方法、又は、前記プログラムがプロセッサにより実行される場合には、上に説明された特定実施形態の任意の１つによる上述の構築方法に関する。

【0042】

このような命令は、上述の符号化方法を実施するエンコーダの、上述の復号化方法を実施するデコーダの、上述の構築方法を実施する映像処理デバイスの、上述の予測方法を実施する予測デバイスの非一時的記憶媒体内に恒久的に格納され得る。

【0043】

このプログラムは、任意のプログラミング言語を使用し得、ソースコード、オブジェクトコード、又はソースコードとオブジェクトコードとの間の中間コードの形式（部分的コンパイル形式など）、又は任意の他の望ましい形式のものであり得る。

【0044】

本発明はまた、上述のコンピュータプログラムの命令を含むコンピュータ可読記録媒体又は情報媒体を標的とする。

【0045】

記録媒体は、プログラムを格納することができる任意のエンティティ又はデバイスであり得る。例えば、媒体は、ＲＯＭ（例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、合成ＤＮＡ（デオキシリボ核酸）など、又は超小形電子回路ＲＯＭ）などの格納手段、そうでなければ磁気記録手段（例えばＵＳＢキー、ハードディスク）を含み得る。

【0046】

さらに、記録媒体は、電気ケーブル又は光ケーブルを介し、又は無線により、又は他の手段により運ばれ得る電気信号又は光信号などの送信可能媒体であり得る。本発明によるプログラムは特に、インターネットなどのネットワークからダウンロードされ得る。

【0047】

代替的に、記録媒体は、プログラムが取り込まれる集積回路であり得、集積回路は上述の予測方法、符号化方法、復号化方法又は構築方法を実行する又はその実行において使用されるように設計される。

【0048】

他の特徴及び利点は、図示例及び非限定的例並びに添付図面として与えられる本発明の特定実施形態を読むことから明白になる。

【図面の簡単な説明】

【0049】

【図1】本発明による画像予測方法の主工程を示す。

【図2A】本発明の第１の特定実施形態における図１の予測方法において使用されるタイプの予測を示す。

【図2B】本発明の第２の特定実施形態における図１の予測方法において使用されるタイプの予測を示す。

【図3A】第１の実施形態における図１の予測方法を実施する予測デバイスを示す。

【図3B】第２の実施形態における図１の予測方法を実施する予測デバイスを示す。

【図4】図３Ａの予測デバイスにより実施される予測方法のいくつかの工程をより詳細に示す。

【図5A】２つの基準ピクセルセットに対する現在のピクセルセットの予測版の第１の例示的変位を示す。

【図5B】２つの基準ピクセルセットに対する現在のピクセルセットの予測版の第２の例示的変位を示す。

【図5C】２つの基準ピクセルセットに対する現在のピクセルセットの予測版の第３の例示的変位を示す。

【図5D】本発明の一特定実施形態における図５Ａの変位のタイプの場合に実施される動き補償を示す。

【図5E】本発明の一特定実施形態における図５Ｄの動き補償の終わりに実施される重み付け予測を示す。

【図5F】本発明の一特定実施形態における図５Ｅの重み付け予測の終わりに実施される合計重み付けを示す。

【図5G】本発明の一特定実施形態における図５Ｆの合計重み付けの終わりに実施される補償重み付けを示す。

【図5H】本発明の一特定実施形態における図５Ｇに示す補償された重み付けからの現在のピクセルセットの予測版の取得を示す。

【図6】本発明の一特定実施形態における図１の予測方法を実施する画像符号化方法の主工程を示す。

【図7A】第１の実施形態における図６の符号化方法を実施するエンコーダを示す。

【図7B】第２の実施形態における図６の符号化方法を実施するエンコーダを示す。

【図8】本発明の一特定実施形態における図１の予測方法を実施する画像復号化方法の主工程を示す。

【図9A】第１の実施形態における図８の復号化方法を実施するデコーダを示す。

【図9B】第２の実施形態における図８の復号化方法を実施するデコーダを示す。

【図10】本発明の一特定実施形態における図１の予測方法の修正を実施する画像符号化方法の工程を示す。

【図11】本発明の一特定実施形態における図１０の符号化方法を実施するエンコーダを示す。

【図12】本発明の一特定実施形態における図１の予測方法の修正を実施する画像復号化方法の工程を示す。

【図13】本発明の一特定実施形態における図１２の復号化方法を実施するデコーダを示す。

【図14】本発明の別の特定実施形態における図１０の符号化方法を実施するエンコーダを示す。

【図15】本発明の別の特定実施形態における図１２の復号化方法を実施するデコーダを示す。

【発明を実施するための形態】

【0050】

画像予測方法の例示的実装形態
本発明の一般的原理
画像重み付け予測方法
例えばＡＶＣ、ＨＥＶＣ、ＶＶＣ標準規格及びそれらの拡張版（ＭＶＣ、３Ｄ－ＡＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）に準拠する任意のタイプの映像エンコーダ又はデコーダ、又は例えば畳み込みニューラルネットワーク（又はＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などにおいて実施されることができる２Ｄ又は３Ｄ画像予測方法の説明が以下に与えられる。

【0051】

図１を参照すると、本発明による予測方法は少なくとも１つの基準ピクセルセットＢＲ_０（すなわち、既に符号化及び復号されており従って予測の時点で利用可能である基準ピクセルセット）を使用する。本発明による予測方法の１つの特徴は、現在のピクセルセットＢ_ｃが予測の時点で利用可能でないので予測のために考慮されないということである。

【0052】

本発明の意味の範囲内で、現在のピクセルセットＢ_ｃは以下のことを意味すると理解される：
－ 元の現在画像；
－ 元の現在画像の一部又は一領域、及び
－ 標準化ＡＶＣ、ＨＥＶＣ又はＶＶＣエンコーダにおいて行われるものに準じたこの画像の分割から生じる現在画像のブロック。

【0053】

本発明によると、図２Ａに示すように、基準ピクセルセットＢＲ_０は現在のピクセルセットＢ_ｃを含む現在画像Ｉ_ｉに属し得る。この場合、現在のピクセルセットＢ_ｃは、イントラ予測（例えば、イントラ又はＩＢＣ（「ブロック内複製」））を使用することにより基準ピクセルセットＢＲ_０に対して予測される。

【0054】

当然、現在のピクセルセットＢ_ｃは、基準ピクセルセットＢＲ_０に対して、及び現在画像Ｉ_ｉに属する１つ又は複数の他の基準ピクセルセットに対して予測され得る。

【0055】

本発明によると、図２Ｂに示すように、基準ピクセルセットＢＲ_０は、時間的に現在画像Ｉ_ｉに先行する又はそれに続く既に符号化及び復号化された基準画像に属し得る。この場合、現在のピクセルセットＢ_ｃは、インター予測を使用することにより基準ピクセルセットＢＲ_０に対して予測される。示された例では、現在のピクセルセットＢ_ｃは、タイプＰ単方向インター予測を使用することにより基準ピクセルセットＢＲ_０に対して予測され得、基準ピクセルセットＢＲ_０は例えば直前画像ＩＲ_ｉ－１に属するが、当然ながら別の基準画像（例えば画像ＩＲ_ｉ－２又は符号化順序において画像ＩＲ_ｉ－２に先行する他の基準画像など）に属することができる。当然、１又は複数の他の基準ピクセルセットは、現在のピクセルセットＢ_ｃを予測するために基準ピクセルセットＢＲ_０と共に使用され得る。

【0056】

示された例では、現在のピクセルセットＢ_ｃはまた、現在画像Ｉ_ｉに先行する基準画像内に配置された基準ピクセルセットＢＲ_０に対して及び現在画像Ｉ_ｉに続く基準画像内に配置された少なくとも１つの他の基準ピクセルセットＢＲ_１に対して、タイプＢ双方向インター予測を使用することにより予測され得る。示された例では、基準ピクセルセットＢＲ_０は基準画像ＩＲ_ｉ－２内に配置され、基準ピクセルセットＢＲ_１は基準画像ＩＲ_ｉ＋１内に配置される。依然としてこのようなタイプＢインター予測の文脈内で、図２Ｂに示すように、現在のピクセルセットＢ_ｃは、現在画像Ｉ_ｉに先行する基準画像内にそれぞれ配置された２つの基準ピクセルセットＢＲ_０、ＢＲ_１に対して予測され得る。示された例では、基準ピクセルセットＢＲ_０は基準画像ＩＲ_ｉ－２内に配置され、基準ピクセルセットＢＲ_１は基準画像ＩＲ_ｉ－１内に配置される。

【0057】

当然、１つ又は複数の他の基準ピクセルセットが現在の予測ピクセルセットＢＰ_ｃを計算するために基準ピクセルセットＢＲ_０、ＢＲ_１と共に使用され得る。

【0058】

以下に提示される実施形態では、１つ又は複数の基準ピクセルセットＢＲ_０，ＢＲ_１などは予測される現在のピクセルセットＢ_ｃと同じ幾何学形状を有するということが仮定される。当然、予測の文脈に依存して、予測される現在のピクセルセットＢ_ｃのエリア以上のエリアをカバーするようにこの基準ピクセルセットのサイズを過大化することも可能である。

【0059】

図１を再び参照すると、本発明によるこのような予測方法は以下のことを含む：

【0060】

Ｐ１では、前記少なくとも１つの基準ピクセルセットＢＲ_０が解析される。このような解析は、予め変位された前記少なくとも１つの基準ピクセルセットＢＲ_０と、予測の時点で利用可能でない現在のピクセルセットＢ_ｃの予測版ＢＰ_ｃとの間のピクセルシフトの推定を含む動き推定を実施する。この動き推定は、従来の動き補償を実施し、その終わりに、動き補償された一組のピクセルＢＲＣ_０が取得される。この解析中、ＢＲＣ_０の方向へのＢＲ_０の変位を記述する変位ベクトルＶ_０などの変位情報が取得される。

【0061】

Ｐ２では、動き補償された一組のピクセルＢＲＣ_０の各ピクセルの重み付け値ｗ_０が、Ｐ１において行われた解析の結果に依存して計算される。

【0062】

Ｐ３では、動き補償された基準ピクセルセットＢＲＣ_０の考慮下でピクセルの各座標（ｘ，ｙ）の現在のピクセルセットＢ_ｃの予測版ＢＰ_ｃが次の関数に従って計算される：
ＢＰ_ｃ（ｘ，ｙ）＝ｗ_０（ｘ，ｙ）＊ＢＲＣ_０（ｘ，ｙ）

【0063】

２つの基準ピクセルセットＢＲ_０，ＢＲ_１が解析Ｐ１中に考慮され、これにより２つの動き補償された組のピクセルＢＲＣ_０、ＢＲＣ_１と対応変位ベクトルＶ_０（Ｖ_１）を生成すると、動き補償された一組のピクセルＢＲＣ_０及び動き補償された一組のピクセルＢＲＣ_１の２つの重み付け値ｗ_０、ｗ_１がそれぞれＰ２において計算される。次に、現在の予測ピクセルセットＢＰ_ｃが、動き補償された組のピクセルの考慮下でピクセルの座標（ｘ，ｙ）毎に以下関数に従ってＰ３において計算される：
ＢＰ_ｃ（ｘ，ｙ）＝ｗ_０（ｘ，ｙ）＊ＢＲＣ_０（ｘ，ｙ）＋ｗ_１（ｘ，ｙ）＊ＢＲＣ_１（ｘ，ｙ）

【0064】

次に、たった今上に説明された予測方法は予測される現在のピクセルセット（予測の時点では利用不能であると考えられる）毎に実施され得る。

【0065】

重み付け予測デバイスの例示的実装形態
図３Ａは、本発明の第１の実施形態による図１に示す予測方法を実施するために好適な予測デバイスＰＲＥＤ１を示す。

【0066】

この第１の実施形態によると、予測方法により行われる行為はコンピュータプログラム命令により実施される。この目的を達成するために、予測デバイスＰＲＥＤ１は、コンピュータの従来のアーキテクチャを有し、特にメモリＭＥＭ＿Ｐ１と、例えばプロセッサＰＲＯＣ＿Ｐ１を備えメモリＭＥＭ＿Ｐ１内に格納されたコンピュータプログラムＰＧ＿Ｐ１により駆動される処理ユニットＵＴ＿Ｐ１とを含む。コンピュータプログラムＰＧ＿Ｐ１は、プロセッサＰＲＯＣ＿Ｐ１により実行されると上述のような予測方法の行為を実施するための命令を含む。

【0067】

初期化時に、コンピュータプログラムＰＧ＿Ｐ１のコード命令は例えば、プロセッサＰＲＯＣ＿Ｐ１により実行される前にＲＡＭメモリ（示されない）内へロードされる。処理ユニットＵＴ＿Ｐ１のプロセッサＰＲＯＣ＿Ｐ１は、特に上に説明された予測方法の行為をコンピュータプログラムＰＧ＿Ｐ１の命令に従って実施する。

【0068】

予測デバイスは、１つ又は複数の基準ピクセルセットＢＲ_０，ＢＲ_１などを入力Ｅ＿Ｐ１において受信し、１及び／又は複数の対応重み付け値ｗ_０、ｗ_１などと共に１及び／又は複数の対応変位ベクトルＶ_０、Ｖ_１などを計算し、上述の予測ピクセルセットＢＰ_ｃを出力Ｓ＿Ｐ１において送出する。

【0069】

図３Ｂは、本発明の第２の実施形態による図１に示す予測方法を実施するために好適な予測デバイスＰＲＥＤ２を示す。

【0070】

この第２の実施形態によると、予測デバイスＰＲＥＤ２は、例えば畳み込みニューラルネットワーク、多層パーセプトロン、ＬＳＴＭ（「長短期記憶：Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ」）などのニューラルネットワーク（ＲＮＣ１で表される）であり、これは、以下のものを出力において送出するために、入力において受信された１つ又は複数の基準ピクセルセットＢＲ_０，ＢＲ_１などから図１の重み付け予測方法の工程Ｐ１～Ｐ２を実施する：
－ １つ又は複数のそれぞれの動きベクトルＶ_０、Ｖ_１など、及び
－ １つ又は複数のそれぞれの重み付け値ｗ_０、ｗ_１など。

【0071】

コンピュータＣＡＬは上述の関係に従って予測ピクセルセットＢＰ_ｃを計算するためにこの情報を入力において受信する：
ＢＰ_ｃ（ｘ，ｙ）＝ｗ_０（ｘ，ｙ）＊ＢＲＣ_０（ｘ，ｙ）＋ｗ_１（ｘ，ｙ）＊ＢＲＣ_１（ｘ，ｙ）

【0072】

それ自体周知のやり方で、畳み込みニューラルネットワークＲＮＣ１はフィルタリング、非線形演算、及びスケーリング演算の一連の層を行う。使用される各フィルタは畳み込みカーネルによりパラメータ化され、非線形性がパラメータ化される（ＲｅＬＵ、ｌｅａｋｙ ＲｅＬＵ、ＧＤＮ（「一般化分割正規化：ｇｅｎｅｒａｌｉｚｅｄ ｄｉｖｉｓｉｖｅ ｎｏｒｍａｌｉｚａｔｉｏｎ」）など）。ニューラルネットワークＲＮＣ１は例えば非特許文献Ｄ．Ｓｕｎ，ｅｔ ａｌ．，“ＰＷＣ－Ｎｅｔ：ＣＮＮｓ ｆｏｒ Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｕｓｉｎｇ Ｐｙｒａｍｉｄ，Ｗａｒｐｉｎｇ，ａｎｄ Ｃｏｓｔ Ｖｏｌｕｍｅ”ＣＶＰＲ ２０１８において説明されるタイプのものである。

【0073】

この場合、ニューラルネットワークＲＮＣ１は、次のことをするようにトレーニングされ得る：
－ 予測を行うために現在符号化されている現在画像へＢＲ_０、ＢＲ_１などから動きを補間するためにＶ_０、Ｖ_１などを推定すること；及び
－ 重み付け値ｗ_０、ｗ_１などを推定すること。

【0074】

この目的を達成するために、予備的局面において、ネットワークＲＮＣ１は演算Ｐ１を行うためにトレーニングされる。例えば、ネットワークＲＮＣ１は、近似される画像Ｉ_ｉと図１の重み付け予測の結果ＢＰ_ｃとの間の二乗平均平方根誤差を最小化するためにトレーニングされる。この工程の終わりに、Ｖ_０、Ｖ_１など及びｗ_０、ｗ_１などを表す潜在空間Ｕが取得される。

【0075】

ネットワークＲＮＣ１は、現在のピクセルセットＢ_ｃと共に複数の関連基準ピクセルセットＢＲ_０，ＢＲ_１などを提示することにより、及びＢ_ｃと上述の関係に従って計算された結果ＢＰ_ｃ（ｘ，ｙ）との間の平均二乗誤差を最小化するようにネットワークの重み付けを（例えば傾斜降下アルゴリズムを使用することにより）変更することにより、トレーニング局面中にトレーニングされる。

【0076】

この予備的トレーニング局面の終わりに、ネットワークＲＮＣ１は固定され、予測デバイスＰＲＥＤ２における使用に好適となる。

【0077】

従って、ネットワークＲＮＣ１は図１の重み付け予測の工程Ｐ１、Ｐ２を実施するために最適化される。

【0078】

予測デバイスＰＲＥＤ１により実施される重み付け予測方法の実施形態
次に、現在のピクセルセットの予測重み付けが図３Ａの予測デバイスＰＲＥＤ１において実施される一実施形態の説明が図４及び図５Ａ～図５Ｈを参照して与えられる。

【0079】

示された例では、２つの基準ピクセルセットＢＲ_０，ＢＲ_１が予測のために考慮される。

【0080】

この目的を達成するために、図４に示すように、少なくとも１つの基準ピクセルセットの解析Ｐ１は以下のことを含む：
Ｐ１０において、ＢＲ_０とＢＲ_１との間の動き推定が計算される。このような工程は従来の動き探索工程（例えば変位ベクトルの推定など）を介し行われる。

【0081】

図５Ａ～図５Ｃは、この工程Ｐ１０中に遭遇され得る２つの基準ピクセルセットＢＲ_０，ＢＲ_１に対する現在のピクセルセットＢ_ｃの予測版ＢＰ_ｃの３つの異なる例示的変位をそれぞれ示す。図５Ａ～図５Ｃの例では、基準ピクセルセットＢＲ_０とＢＲ_１との間の要素Ｅ（円により象徴化される）の変位は動きベクトルの場により表される。単純化のために、単一ベクトル（図５Ａ～図５ＣではＶ_０１で表され、点線で示される）が、示された例ではＢＲ_０からＢＲ_１への要素Ｅの動きを説明するために示される（画像の他の部分に関する動きは零であると考えられる）。しかし、例えばオプティカルフロー動き推定の場合のように基準ピクセルセットＢＲ_０～ＢＲ_１を表すピクセルの数と同数の動きベクトルが存在するということは言うまでもない。図５Ａ～図５Ｃに示さない別の例によると、ＢＲ_１からＢＲ_０への（反対方向）動きを説明するベクトルＶ_１０が計算される可能性がある。

【0082】

Ｐ１０、Ｐ１１（図４）において取得されたベクトルＶ_０１又はＶ_１０は、ＢＲ_０とＢＲ_１に対し予測される現在のピクセルセットＢ_ｃの変位を推定することを含む。この推定は図５Ａ～図５Ｃに示され、ここでは、要素Ｅの変位は、現在のピクセルセットＢ_ｃが配置された時刻であるＢＲ、ＢＲ_１が配置された時刻以外の時刻に推定される。Ｖ_０１又はＶ_１０の計算に関し同じ記法を使用することにより：
－ 単一ベクトルＶ_０（ＢＲ_０からＢ_ｃの予測位置への動きを説明する）がベクトルＶ_０１から計算される、
－ ＢＲ_１からＢ_ｃの予測位置への動きを説明する単一ベクトルＶ_１がベクトルＶ_０１から計算される。

【0083】

現在のピクセルセットＢ_ｃがＢＲ_０とＢＲ_１との間の時間的に中間に配置される、図５Ａの例では、現時点における要素Ｅの変位は、ＢＲ_０とＢＲ_１との間の変位の１／２（すなわちベクトルＶ_０１又はＶ_１０の１／２）に対応すると推定される。このような変位構成は、例えば図２Ｂと同じ表記法（ＢＲ_０が基準画像ＩＲ_ｉ－１に属し、ＢＲ_１は基準画像ＩＲ_ｉ＋１に属する）を採用する場合に遭遇される。

【0084】

現在のピクセルセットＢ_ｃがＢＲ_１よりＢＲ_０に時間的により近くに配置される、図５Ｂの例では、現時点における要素Ｅの変位はＢＲ_０とＢＲ_１との間の変位の１／２より短いと推定される。例えば、ＢＲ_０が基準画像ＩＲ_ｉ－１に属し、ＢＲ_１が基準画像ＩＲ_ｉ＋２に属するならば、現時点における要素Ｅの変位はＢＲ_０とＢＲ_１との間の変位の１／３（すなわちベクトルＶ_０１又はＶ_１０の１／３）に対応すると推定される。

【0085】

現在のピクセルセットＢ_ｃが時間的にＢＲ_０（基準画像ＩＲ_ｉ－２に属する）に、次にＢＲ_１（基準画像ＩＲ_ｉ－２に属する）の後に配置される、図５Ｃの例では、現時点における要素Ｅの変位はＢＲ_０とＢＲ_１との間の変位の２倍（すなわちベクトルＶ_０１又はＶ_１０の２倍）と推定される。

【0086】

図４及び図５Ｄを参照すると、Ｐ１２において、ＢＲ_０及びＢＲ_１はそれぞれ、Ｂ_ｃの２つの予測版（ＢＲＣ_０及びＢＲＣ_１で表される）をそれぞれ生成するためにベクトルＶ_０、Ｖ_１を使用することにより動き補償される。

【0087】

図５Ｄにおける図解により、ベクトルＶ_０、Ｖ_１は、現時点における要素Ｅの変位がＢＲ_０とＢＲ_１との間の変位の１／２（すなわちベクトルＶ_０１又はＶ_１０の１／２）に対応すると推定される例えば図５Ａに示される動き構成に従って取得されたと考えられる。

【0088】

図５Ｄは以下のことを示す：
－ 要素Ｅの補間された位置がベクトルＶ_０によるＢＲ_０の要素Ｅの動き補償から生じる一組のピクセルＥＲＣ_０を含む右動き補償された一組のピクセルＢＲＣ_０、及び
－ 要素Ｅの補間された位置がベクトルＶ_１によるＢＲ_１の要素Ｅの動き補償から生じる一組のピクセルＥＲＣ_１を含む左動き補償された一組のピクセルＢＲＣ_１。

【0089】

対照的に、ＥＲＣ_０の部分Ｚ_０及びＥＲＣ_１の部分Ｚ_１は、ＢＲ_０の要素Ｅ及びＢＲ_１の要素Ｅの背後に配置される未知コンテンツに対応するので未定義である。しかし、図５Ｄに見られ得るように、部分Ｚ_０はＥＲＣ_１内に定義され、部分Ｚ_１はＥＲＣ_０内に定義される。

【0090】

次に、予測重み付け値ｗ_０、ｗ_１の計算Ｐ２は以下のものを含む：
図４及び図５Ｅを参照すると、本発明による動き補償された基準ピクセルセットＢＲＣ_０、ＢＲＣ_１の効率的組み合わせを実現するために、Ｐ２０は２つの予測版ＢＲＣ_０及びＢＲＣ_１の中間重み付けｗ^ｉｎｔ _０（ｘ，ｙ）及びｗ^ｉｎｔ _１（ｘ，ｙ）をそれぞれピクセル毎に計算することを含む。このような計算は、ＢＲＣ_０及びＢＲＣ_１内にそれぞれ定義されないＢＲ_０の部分とＢＲ_１の部分とを分離することを可能にする。

【0091】

この目的を達成するために、図５Ｅに示すように、以下のことが提案される：
－ 白色で示される部分Ｚ_０及びＺ_１の各ピクセルの重み付け値をそれぞれ零へ割り当てること（すなわち、ｗ^ｉｎｔ _０（ｘ，ｙ）＝０及びｗ^ｉｎｔ _１（ｘ，ｙ）＝０）、
－ 図５Ｅにおける灰色に対応する動き補償された基準ピクセルセットＢＲＣ_０及びＢＲＣ_１の各定義されたピクセルの重み付け値を定数Ｋへ割り当てること（すなわちｗ^ｉｎｔ _０（ｘ，ｙ）＝Ｋ及びｗ^ｉｎｔ _１（ｘ，ｙ）＝Ｋ（例えばＫ＝０．５））。

【0092】

この操作の終わりに、取得されるものは、動き補償された基準ピクセルセットＢＲＣ_０及びＢＲＣ_１のそれぞれの中間重み付けであり、白色コンテンツはｗ^ｉｎｔ _０（ｘ，ｙ）＝０及びｗ^ｉｎｔ _１（ｘ，ｙ）＝０に対応し、灰色コンテンツｗ^ｉｎｔ _０（ｘ，ｙ）＝０．５及びｗ^ｉｎｔ _１（ｘ，ｙ）＝０．５に対応する。

【0093】

図４を参照すると、Ｐ２１は中間重み付けｗ^ｉｎｔ _０（ｘ，ｙ）とｗ^ｉｎｔ _１（ｘ，ｙ）との合計ｗ_ｓ（ｘ，ｙ）を計算することを含み、ここで

【数1】

【0094】

中間重み付けｗ^ｉｎｔ _０（ｘ，ｙ）とｗ^ｉｎｔ _１（ｘ，ｙ）との合計の計算は図５Ｆに示され、ここでは、黒色コンテンツはｗ_ｓ（ｘ，ｙ）＝１に対応し、灰色コンテンツはｗ_ｓ（ｘ，ｙ）＝０．５に対応する。

【0095】

次に、予測重み付け関数を計算することＰ３は以下のことを含む：
図４を参照すると、演算Ｐ３０中、動き補償された予測版ＢＲＣ_０及びＢＲＣ_１はそれぞれの重み付けｗ_０及びｗ_１により重み付けられる。次に、重み付け補償された予測版ＢＲＣＷ_０及びＢＲＣＷ_１が取得される。

【0096】

この目的を達成するために、以下の補償重み付けｗ_０（ｘ，ｙ）及びｗ_１（ｘ，ｙ）が、動き補償された基準ピクセルセットＢＲＣ_０、ＢＲＣ_１毎にそれぞれ計算される：

【数2】

及び

【数3】

【0097】

このような補償重み付けが図５Ｇに示される。白色コンテンツは、ｗ_０（ｘ，ｙ）＝０及びｗ_１（ｘ，ｙ）＝０である未定義領域Ｚ_０及びＺ_１に対応する。黒色コンテンツは、ｗ_０（ｘ，ｙ）＝１及びｗ_１（ｘ，ｙ）＝１である完全に定義された領域に対応する。灰色コンテンツは、ｗ_０（ｘ，ｙ）＝０．５及びｗ_１（ｘ，ｙ）＝０．５である背景及び要素Ｅに対応する。

【0098】

次に、予測版ＢＲＣ_０及びＢＲＣ_１は、動き補償され、それぞれの重み付けｗ_０及びｗ_１により重み付けられる。次に、重み付け補償された予測版ＢＲＣＷ_０及びＢＲＣＷ_１が取得される。

【0099】

図４及び図５Ｈを参照すると、演算Ｐ３１中、重み付け補償された予測版ＢＲＣＷ_０及びＢＲＣＷ_１が合計され、動き補償された予測ピクセルセットＢＰ_ｃを提供する。

【0100】

従って、これは、予測の時点にだけ（すなわち基準ピクセルセットＢＲ_０及びＢＲ_１上にだけ）存在する要素により判断された補償重み付けを含む動き補償を構築する。現在標準化された解と比較したこのような補償重み付けの１つの特定利点は次の点にある：ＢＲ_０及びＢＲ_１だけを使用する本発明による予測の時点で完全に知られたＢＲ_０及びＢＲ_１により、上述の閉塞（ｏｃｃｌｕｄｅｄ）領域Ｚ_０及びＺ_１が非常に良い空間精度により回復され得る、図５Ｄ～５Ｈに示すように予測中の閉塞解除（ｄｉｓｏｃｃｌｕｓｉｏｎ）を効果的に取り扱うことが可能である。

【0101】

予測重み付けは別の形式で提示され得る。例えば、単一重み付けｗが使用され得る。次に、ｗは動き補償された基準ピクセルセットＢＲＣ_０を重み付け、（１－ｗ）は動き補償された基準ピクセルセットＢＲＣ_１を重み付ける。

【0102】

ｗは、予め計算された重み付け値ｗ_０及びｗ_１から始まる上記実施形態に基づき、次式を行うことにより計算され得る：

【数4】

【0103】

予測方法が上に説明されたが、このような方法はまた、今説明した重み付け予測関数を使用することにより１つ又は複数の基準ピクセルセットＢＲ_０，ＢＲ_１などから一組のピクセルＢ_ｃを構築又は合成するために実施される可能性がある。例えばカメラ（３６０°ビデオ）により捕捉されない欠落した一組のピクセル又は一組のピクセルに対応する一組のピクセルＢ_ｃの予測方法は構築又は合成方法と呼ばれる可能性がある。この場合、厳密に言えば、予測デバイスＰＲＥＤ１及びＰＲＥＤ２はむしろ構築又は合成デバイスであると見做されることになる。従って、予測デバイスＰＲＥＤ１は所謂ビュー「合成」アルゴリズムを実施する可能性がある。例えば、ＶＳＲＳ（「Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｒｅｆｅｒｅｎｃｅ」）ソフトウェア、ＶＶＳ（「Ｖｅｒｓａｔｉｌｅ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｚｅｒ」）アルゴリズムがビュー合成アルゴリズムとして使用され得る。構築又は合成デバイスＰＲＥＤ２自体は上述のように、例えば畳み込みニューラルネットワーク、多層パーセプトロン、ＬＳＴＭ（「長短期記憶」）などのニューラルネットワークであり得る。

【0104】

画像符号化方法
一般的原理
図１を参照して説明した重み付け予測を実施する画像符号化方法の説明が図６を参照して以下に与えられる。

【0105】

このような符号化方法は以下のことを含む：
Ｃ１では、図１に示すその工程Ｐ１～Ｐ３の重み付け予測が実施され、現在の予測ピクセルセットＢＰ_ｃを生成する。

【0106】

以下の符号化工程は従来のものであり、ＡＶＣ、ＨＥＶＣ、ＶＶＣ符号化などに準拠する。従って：
－ Ｃ２では、現在のピクセルセットＢ_ｃとＣ１において取得された現在の予測ピクセルセットＢＰ_ｃとの差を表す信号のＢＥ_ｃが計算される；
－ Ｃ３では、この信号ＢＥ_ｃは、従来の符号化性能基準に対して符号化を最適化する（例えば歪み／データ速度費用などを最小化すること、又はそうでなければ、当業者によく知られた判断基準である最良効率／複雑性妥協点の選択の）場合には量子化又は符号化される。

【0107】

この操作の終わりに、量子化又は符号化された差信号ＢＥ_ｃ ^ｃｏｄが取得される。

【0108】

符号化Ｃ３中、複数の符号化可能性が探求され得、例えば、複数の予測重み付け値ｗ_０、ｗ_１などが、最良データ速度／歪み又は効率／複雑性妥協点を発見するために調査され得る。

【0109】

エンコーダは、送信することを選択し得る重み付け値と競争して、上に説明された予測方法に従って計算された重み付け値を置き得る。この目的を達成するために、エンコーダは、上記予測方法から取得された予測ＢＰ_ｃの品質を評価し得、例えば二乗平均平方根誤差を使用することにより予測誤差を測定し得る。この予測誤差は、現在の映像標準規格において使用される一組の対の所定重み付け値（ｗ_０，ｗ_１）から生じる予測誤差と比較され得る。この組は、例えばＨＥＶＣ（高効率ビデオ符号化：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準規格における（０．５，０．５）へ制限され得る、又は他の値（例えばＶＶＣ（「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」）標準規格のＢＣＷ（「Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ ｌｅｖｅｌ Ｗｅｉｇｈｔｓ」）ツールにおいて使用されるものなど）を含み得る。フラグが、上に説明された予測方法を使用するべきかどうか、又はＶＶＣ ＢＣＷツールを適用するべきかどうか、又はＨＥＶＣバランス型予測を適用するべきであるかどうかをデコーダに指示することになる。

【0110】

予測重み付け値ｗ_０、ｗ_１などを競争に入れることは、従来技術からの予測デバイスにおいて実施されるデフォルト予測重み付けと比較して、重み付け予測の精度を最適化するという利点を有する。実際、本発明の予測重み付けは、より精密な重み付け値を生成するが、信号が予測可能でない場合はより大きな歪みに至り得る。従来の予測重み付けは、空間的に余り正確でないが、送信されるデータ速度を犠牲にしてより低い歪みに至り得る。

【0111】

Ｃ４では、量子化又は符号化された差信号ＢＥ_ｃ ^ｃｏｄのデータは、デコーダへ送信されることができるトランスポートストリームＦに書き込まれる（本明細書において後で説明される）。

【0112】

対照的に、本発明によると、重み付けｗ_０及び／又は重み付けｗ_１は有利には、符号化もされないしデコーダへ送信もされない。

【0113】

当然、量子化又は符号化された差信号ＢＥ_ｃが零である場合（ＳＫＩＰ符号化モードの場合であり得る）、上述の工程Ｃ２及びＣ４は実施されない。

【0114】

エンコーダ例示的実装形態
図７Ａは、本発明の第１の実施形態による図６に示す符号化方法を実施するために好適なエンコーダＣＯＤ１を示す。エンコーダＣＯＤ１は予測デバイスＰＲＥＤ１を含む。

【0115】

この第１の実施形態によると、符号化方法により行われる行為はコンピュータプログラム命令により実施される。そのために、符号化デバイスＣＯＤ１はコンピュータの従来のアーキテクチャを有しており、特に、メモリＭＥＭ＿Ｃ１と、例えばプロセッサＰＲＯＣ＿Ｃ１を備えた処理ユニットＵＴ＿Ｃ１であってメモリＭＥＭ＿Ｃ１内に格納されたプログラムＰＧ＿Ｃ１をコンピュータにより駆動される処理ユニットＵＴ＿Ｃ１とを含む。コンピュータプログラムＰＧ＿Ｃ１は、プログラムがプロセッサＰＲＯＣ＿Ｃ１により実行されると上述の符号化方法の行為を実施するための命令を含む。

【0116】

初期化時に、コンピュータプログラムＰＧ＿Ｃ１のコード命令は例えば、プロセッサＰＲＯＣ＿Ｃ１により実行される前にＲＡＭメモリ（示されない）内へロードされる。処理ユニットＵＴ＿Ｃ１のプロセッサＰＲＯＣ＿Ｃ１は特に、上に説明された符号化方法の行為をコンピュータプログラムＰＧ＿Ｃ１の命令に従って実施する。

【0117】

エンコーダＣＯＤ１は、現在のピクセルセットＢ_ｃを入力Ｅ＿Ｃ１において受信し、好適な通信インターフェース（示されない）を使用することによりデコーダへ送信されるトランスポートストリームＦを出力Ｓ＿Ｃ１において送出する。

【0118】

図７Ｂは、本発明の第２の実施形態による図６に示す符号化方法を実施するために好適なエンコーダＣＯＤ２を示す。エンコーダＣＯＤ２は、畳み込みニューラルネットワークＲＮＣ２が続く上述の予測デバイスＰＲＥＤ２を含み、上述の予測デバイスＰＲＥＤ２は例えば、差信号ＢＥ_ｃを計算し、次にそれを符号化する、又は予測デバイスＰＲＥＤ２により生成された予測ピクセルセットＢＰ_ｃと共に現在のピクセルセットＢ_ｃを符号化する。このようなネットワークＲＮＣ２は例えば非特許文献Ｌａｄｕｎｅ“Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｍｏｄｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ Ｌｅａｒｎｉｎｇ－ｂａｓｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＥＥＥ ＭＭＳＰ ２０２０において説明されるタイプのものである。

【0119】

画像復号化方法
一般的原理
図１を参照して説明した重み付け予測を実施する画像復号化方法の説明が、図８を参照して以下に与えられる。

【0120】

このような復号化方法は、図６の画像符号化に対応する画像復号化を実施する。特に、重み付け予測とは別に、復号化方法は、ＡＶＣ、ＨＥＶＣ、ＶＶＣ復号化などに準拠する従来の復号ステップを実施する。

【0121】

復号化方法は以下のことを含む：
Ｄ１では、符号化された差信号ＢＥ_ｃ ^ｃｏｄのデータは受信されたトランスポートストリームＦから従来のやり方で抽出される。

【0122】

Ｄ２では、ＢＥ_ｃ ^ｃｏｄは従来のやり方で復号化される。この操作の終わりに、復号化された差信号ＢＥ_ｃ ^ｄｅｃが取得される。

【0123】

Ｄ３では、図１に示すその工程Ｐ１～Ｐ３における本発明による重み付け予測が実施され、現在の予測ピクセルセットＢＰ_ｃを生成する。

【0124】

Ｄ４では、再構築された現在のピクセルセットＢＤ_ｃが、Ｄ２において取得された復号化された差信号ＢＥ_ｃ ^ｄｅｃとＤ３において取得された予測ピクセルセットＢＰ_ｃとを組み合わせることにより計算される。

【0125】

それ自体周知のやり方で、再構築された現在のピクセルセットＢＤ_ｃは恐らく、再構成された信号に対して行われるループフィルタによるフィルタリング（当業者によく知られている）を受け得る。

【0126】

当然、上述の符号化方法中に計算された差信号ＢＥ_ｃが零である場合（ＳＫＩＰ符号化モードのケースであり得る）、上述の工程Ｄ１及びＤ２は実施されない。

【0127】

デコーダ例示的実装形態
図９Ａは、本発明の第１の実施形態による図８に示す復号化方法を実施するために好適なデコーダＤＥＣ１を示す。デコーダＤＥＣ１は予測デバイスＰＲＥＤ１を含む。

【0128】

この第１の実施形態によると、復号化方法により行われる行為はコンピュータプログラム命令により実施される。この目的を達成するために、デコーダＤＥＣ１は、コンピュータの従来のアーキテクチャを有しており、特に、メモリＭＥＭ＿Ｄ１と、例えばプロセッサＰＲＯＤ＿Ｄ１を備えた処理ユニットＵＴ＿Ｄ１であってメモリＭＥＭ＿Ｄ１内に格納されたプログラムＰＧ＿Ｄ１をコンピュータにより駆動される処理ユニットＵＴ＿Ｄ１とを含む。コンピュータプログラムＰＧ＿Ｄ１は、プログラムがプロセッサＰＲＯＣ＿Ｄ１により実行されると上述の復号化方法の行為を実施するための命令を含む。

【0129】

初期化時に、コンピュータプログラムＰＧ＿Ｄ１のコード命令は例えば、プロセッサＰＲＯＣ＿Ｄ１により実行される前にＲＡＭメモリ（示されない）内へロードされ得る。処理ユニットＵＴ＿Ｄ１のプロセッサＰＲＯＣ＿Ｄ１は特に、図８に関連して上に説明された復号化方法の行為をコンピュータプログラムＰＧ＿Ｄ１の命令に従って実施する。

【0130】

デコーダＤＥＣ１は、図７ＡのエンコーダＣＯＤ１により送信されたトランスポートストリームＦを入力Ｅ＿Ｄ１において受信し、現在の復号化された一組のピクセルＢＤ_ｃを出力Ｓ＿Ｄ１において送出する。

【0131】

図９Ｂは、本発明の第２の実施形態による図８に示す復号化方法を実施するために好適なデコーダＤＥＣ２を示す。デコーダＤＥＣ２は、畳み込みニューラルネットワークＲＮＣ３が続く上述の予測デバイスＰＲＥＤ２を含み、例えば、符号化された差信号ＢＥ_ｃ ^ｃｏｄを復号する又は符号化された差信号ＢＥ_ｃ ^ｃｏｄを予測デバイスＰＲＥＤ２により生成された予測ピクセルセットＢＰ_ｃと共に復号する。このようなネットワークＲＮＣ３は例えば非特許文献Ｌａｄｕｎｅ“Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｍｏｄｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ Ｌｅａｒｎｉｎｇ－ｂａｓｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＥＥＥ ＭＭＳＰ ２０２０に説明されたタイプのものである。

【0132】

画像重み付け予測方法の変形形態
エンコーダＣＯＤ３において実施される図１に示す重み付け予測方法の一変形形態の説明が図１０及び図１１を参照して次に与えられる。

【0133】

このような変形形態は、取得される予測の精度／品質が満足できない場合に図１の重み付け予測方法を改善することを目的とする。

【0134】

この目的を達成するために、エンコーダ側では、図１０に示すように、Ｃ’１において、前記少なくとも１つの基準ピクセルセットＢＲ_０は現在のピクセルセットＢ_ｃと共に解析される。例えば、２つの基準ピクセルセットＢＲ_０及びＢＲ_１がＢ_ｃと共に解析される。示された例では、ＢＲ_０は、時間的にＢ_ｃの前に配置され、ＢＲ_１は時間的にＢ_ｃの後に配置される。

【0135】

図１１に示すように、解析Ｃ’１は、非特許文献Ｌａｄｕｎｅ“Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｍｏｄｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ Ｌｅａｒｎｉｎｇ－ｂａｓｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＥＥＥ ＭＭＳＰ ２０２０に説明されるように、２つの基準ピクセルセットＢＲ_０及びＢＲ_１から並びに現在のピクセルセットＢ_ｃから、一定数の層（例えば畳み込みフィルタ（ＣＮＮ）を実施する層など）、続いて非線形及び間引きを実施する層を介した変換を生成する畳み込みニューラルネットワークＲＮＣ４を使用することにより実施される。

【0136】

工程Ｃ’１の終わりに、一組の潜在的変数が信号Ｕ’の形式で取得される。

【0137】

信号Ｕ’は、量子化器ＱＵＡＮＴ（例えば量子化パラメータにより制御される一様な又はベクトル量子化器）によりＣ’２において量子化される。次に、量子化信号Ｕ’_ｑが取得される。

【0138】

Ｃ’３において、量子化信号Ｕ’_ｑは、判断された統計量共にエントロピエンコーダＣＥ（例えば算術型の）を使用することにより符号化される。この統計量は例えば、統計の確率によりパラメータ化される（例えばラプラス則の分散及び平均（σ，μ）をモデル化することにより、又はそうでなければ、ＢａｌｌｅによりＩＣＬＲ ２０１８会議において開示された非特許文献“Ｖａｒｉａｔｉｏｎａｌ ｉｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ａ ｓｃａｌｅにおけるようにｈｙｐｅｒｐｒｉｏｒを考慮することにより）。次に、符号化された量子化信号Ｕ’_ｑ ^ｃｏｄが取得される。

【0139】

Ｃ’４において、符号化された量子化信号Ｕ’_ｑ ^ｃｏｄは、デコーダＤＥＣ３（図１３に示す）へ送信されるトランスポートストリームＦ’に書き込まれる。

【0140】

次に、デコーダＤＥＣ３において実施される図１に示す重み付け予測方法の一変形形態の説明が図１２及び１３を参照して与えられる。

【0141】

この目的を達成するために、デコーダ側では、図１２に示すように、Ｄ’１において、少なくとも１つの基準ピクセルセットＢＲ_０が解析される（示された例では２組の基準ピクセルＢＲ_０及びＢＲ_１）。このような解析はニューラルネットワークＲＮＣ１を使用することにより図１の工程Ｐ１において行われるものと同一である。この工程の終わりに、Ｖ_０、Ｖ_１など及びｗ_０、ｗ_１などを表す潜在空間Ｕが取得される。

【0142】

ストリームＦ’の受信に続いて、Ｄ’２において、エントロピー復号化が、図１１のエントロピエンコーダＣＥに対応するエントロピデコーダＤＥを使用することにより、（同じ判断された統計量（ラプラス法の分散及び平均（σ、μ）のモデル化など）を有する）符号化された量子化信号Ｕ’_ｑ ^ｃｏｄに対して行われる。復号化された量子化信号Ｕ’_ｑはこの操作の終わりに取得される。

【0143】

Ｄ’３において、復号化された量子化信号Ｕ’_ｑは、図１３のニューラルネットワークＲＮＣ１により取得された潜在空間Ｕであって基準ピクセルセットＢＲ_０及びＢＲ_１だけの解析を表す潜在空間Ｕと連結される。

【0144】

次に、ニューラルネットワークＲＮＣ１は、対応重み付け値ｗ_０、ｗ_１などと共に動き情報Ｖ_０、Ｖ_１などを推定するために、図１の工程Ｐ２と同様なやり方で様々な層を介しこの連結を処理する。

【0145】

図３Ｂに対応するやり方で、コンピュータＣＡＬは上述の関係に従って予測ピクセルセットＢＰ_ｃを計算するためにこの情報を入力において受信する。この工程は図１の工程Ｐ３と同一である。

【0146】

図３Ａ以下（ｅｔ ｓｅｑ）を参照して上に開示された実施形態では、２つの基準ピクセルセットＢＲ_０，ＢＲ_１が重み付け予測方法において使用される。

【0147】

これらの実施形態は、３つ以上の基準ピクセルセットへ拡張され得る。この目的を達成するために、図３Ｂを参照して説明されたニューラルネットワークＲＮＣ１は、予測ピクセルセットＢＰ_ｃ（ｘ，ｙ）を取得するために３つ以上の基準ピクセルセットＢＲ_０、ＢＲ_１、ＢＲ_２などからトレーニングされることになる。

【0148】

当然ながら、例えばただ１つの基準座標系が予測のために使用される場合（映像符号化モードにおけるタイプＰ予測の場合）には、低級重み付け予測モードが可能である。このような低級モードが、図１４、図１５を参照して示される。図１４の例は図１１のエンコーダＣＯＤ３と同様なエンコーダＣＯＤ３’を示す。エンコーダＣＯＤ３’は、単一基準ピクセルセット（図１４のＢＲ_０）からトレーニングされるそのニューラルネットワークＲＮＣ４’を通るエンコーダＣＯＤ３とは異なる。従って、ニューラルネットワークＲＮＣ４’は、単一基準ピクセルセットＢＲ_０と現在のピクセルセットＢ_ｃとから信号Ｕ’を生成する。図１０、図１１に関連して上に既に説明されたように、信号Ｕ’は量子化信号Ｕ’_ｑを取得するために量子化される。量子化信号Ｕ’_ｑはエントロピー的に符号化される。次に、符号化された量子化信号Ｕ’_ｑ ^ｃｏｄが取得される。符号化された量子化信号Ｕ’_ｑ ^ｃｏｄは、デコーダＤＥＣ３’（図１５に示す）へ送信されるトランスポートストリームＦ’へ書き込まれる。

【0149】

デコーダＤＥＣ３’は、示された例における単一基準ピクセルセットＢＲ_０を解析するそのニューラルネットワークＲＮＣ１’を通る図１３のデコーダＤＥＣ３とは異なる。この解析の終わりに、Ｖ_０及びｗ_０を表す潜在空間Ｕが取得される。図１２を参照して既に説明したように、ストリームＦ’の受信に続いて、符号化された量子化信号Ｕ’_ｑ ^ｃｏｄがエントロピー的に復号され、復号化された量子化信号Ｕ’_ｑを生成する。復号化された量子化信号Ｕ’_ｑは、ニューラルネットワークＲＮＣ１’により取得された潜在空間Ｕと連結される。次に、ニューラルネットワークＲＮＣ１’は、単一対応重み付け値ｗ_０と共に単一の動き情報Ｖ_０を推定するためにこの連結を処理する。コンピュータＣＡＬは、ＢＲ_１が考慮されていなく従って動き補償されていなかったので、ＢＲＣ_１＝０との上述の関係に従って予測ピクセルセットＢＰ_ｃを従来のやり方で計算するためにこの情報を入力において受信する。同様に、ｗ_１（ｘ，ｙ）＝０。

【0150】

これは、図１の工程Ｐ３の終わりに取得されコンピュータＣＡＬの出力において送出される予測ピクセルセットＢＰ_ｃが次式であるということを意味する：
ＢＰ_ｃ（ｘ，ｙ）＝ｗ_０（ｘ，ｙ）＊ＢＲＣ_０（ｘ，ｙ）＋０＊０＝ｗ_０（ｘ，ｙ）＊ＢＲＣ_０（ｘ，ｙ）

【符号の説明】

【0151】

ＢＲ_０、ＢＲ_１、ＢＲ_２ 基準ピクセルセット
Ｖ_０，Ｖ_１ 対応変位ベクトル

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図5G】

【図5H】

【図6】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】