特表 2024-510094 画像符号化モードを決定するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-06

(54)【発明の名称】画像符号化モードを決定するための方法

(51)【国際特許分類】

   H04N 19/103 20140101AFI20240228BHJP

   H04N 19/136 20140101ALI20240228BHJP

   H04N 19/182 20140101ALI20240228BHJP

【ＦＩ】

H04N19/103

H04N19/136

H04N19/182

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023550088

(86)(22)【出願日】2022-02-15

(85)【翻訳文提出日】2023-08-24

(86)【国際出願番号】 FR2022050274

(87)【国際公開番号】W WO2022175626

(87)【国際公開日】2022-08-25

(31)【優先権主張番号】2101633

(32)【優先日】2021-02-19

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】591034154

【氏名又は名称】オランジュ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ピエリック・フィリップ

(72)【発明者】

【氏名】テオ・ラデュネ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MC11

5C159ME01

5C159TA17

5C159TB10

5C159TC02

5C159TC11

5C159UA02

5C159UA05

(57)【要約】

本発明は、少なくとも１つの現在のピクセルセットの符号化又は復号化のために、少なくとも２つの符号化又は復号化モードから、少なくとも１つの符号化（ＭＣ_ｃ）又は復号化（ＭＤ_ｃ）モードを決定するための方法に関する。そのような決定は、少なくとも１つの符号化又は復号化モードが、少なくとも１つの参照ピクセルセット（ＢＲ_０）の解析（Ｐ１）から決定される（Ｐ２）ことを特徴とする。

【特許請求の範囲】

【請求項1】

少なくとも１つの現在のピクセルセットの符号化及び復号化のそれぞれのために、少なくとも２つの符号化モード及び復号化モードのそれぞれの中から、少なくとも１つの符号化モード（ＭＣ_ｃ）及び復号化モード（ＭＤ_ｃ）のそれぞれを決定するための方法であって、前記少なくとも１つの符号化モード及び復号化モードのそれぞれが、既に復号化済みの参照画像に属する少なくとも１つの参照ピクセルセット（ＢＲ_０）の解析（Ｐ１）に基づいて決定される（Ｐ２）ことを特徴とする、方法。

【請求項2】

少なくとも１つの参照ピクセルセット（ＢＲ_０；ＢＲ_０、ＢＲ_１）の前記解析が、前記少なくとも１つの参照ピクセルセットの動き推定又はフィルタリングを実施する、請求項１に記載の決定方法。

【請求項3】

前記動き推定が、オプティカルフロー動き推定である、請求項２に記載の決定方法。

【請求項4】

前記少なくとも２つのモードの中からの単一のモードが、前記現在のピクセルセットの少なくとも１つのピクセルに対して決定され、１つ又は他のモードの前記決定が、前記セットの前記少なくとも１つのピクセルから少なくとも１つの他のピクセルまで様々である、請求項１に記載の決定方法。

【請求項5】

前記少なくとも２つのモードが、前記現在のピクセルセットの少なくとも１つのピクセルに対して組合せで決定される、請求項１に記載の決定方法。

【請求項6】

前記少なくとも１つのモードの前記決定が、前記現在のピクセルセットと少なくとも１つの参照ピクセルセットとの共同解析から得られる修正パラメータ（Ｕ’_ｑ）によって修正される、請求項１～５のいずれか一項に記載の決定方法。

【請求項7】

少なくとも１つの符号化モード及び復号化モードのそれぞれを決定するためのデバイス（ＤＥＭＯＤ１；ＤＥＭＯＤ２）であって、少なくとも１つの現在のピクセルセットの符号化及び復号化のそれぞれのために、少なくとも２つの符号化モード及び復号化モードのそれぞれの中から、少なくとも１つの符号化モード及び復号化モードのそれぞれを決定するように構成されたプロセッサを含む、デバイスにおいて、
前記少なくとも１つの符号化モード及び復号化モードのそれぞれが、既に復号化済みの参照画像に属する少なくとも１つの参照ピクセルセットの解析に基づいて決定されることを特徴とする、デバイス。

【請求項8】

ニューラルネットワーク（ＤＥＭＯＤ２）を使用することを特徴とする、請求項７に記載の決定デバイス。

【請求項9】

コンピュータ上で実行された際に、請求項１～６のいずれか一項に記載の決定方法を実施するためのプログラムコード命令を含む、コンピュータプログラム。

【請求項10】

請求項９に記載のコンピュータプログラムの命令を含む、コンピュータ可読情報媒体。

【請求項11】

符号化デバイスによって実施される、少なくとも１つの現在のピクセルセットを符号化するための方法であって、前記現在のピクセルセットが、少なくとも１つの符号化モードの決定に基づいて符号化される（Ｃ１～Ｃ４；Ｃ’１～Ｃ’１５）、方法において、
前記少なくとも１つの符号化モードが、請求項１～６のいずれか一項に記載の決定方法に従って決定されることを特徴とする、方法。

【請求項12】

少なくとも１つの現在のピクセルセットを符号化するためのデバイス（ＣＯＤ１；ＣＯＤ２；ＣＯＤ３）であって、少なくとも１つの符号化モードの決定に基づいて前記現在のピクセルセットを符号化するように構成されたプロセッサを含む、符号化するためのデバイスにおいて、
前記符号化するためのデバイスが、請求項７又は請求項８に記載の少なくとも１つの符号化モードを決定するためのデバイスを含むことを特徴とする、デバイス。

【請求項13】

復号化デバイスによって実施される、少なくとも１つの現在のピクセルセットを復号化するための方法であって、前記現在のピクセルセットが、少なくとも１つの復号化モードの決定に基づいて復号化される（Ｄ１～Ｄ５；Ｄ’１～Ｄ’９）、方法において、
前記少なくとも１つの復号化モードが、請求項１～６のいずれか一項に記載の決定方法に従って決定されることを特徴とする、方法。

【請求項14】

少なくとも１つの現在のピクセルセットを復号化するためのデバイス（ＤＥＣ１；ＤＥＣ２；ＤＥＣ３）であって、少なくとも１つの復号化モードの決定に基づいて前記現在のピクセルセットを復号化するように構成されたプロセッサを含む、復号化するためのデバイスにおいて、
請求項７又は請求項８に記載の少なくとも１つの復号化モードを決定するためのデバイスを含むことを特徴とする、デバイス。

【請求項15】

コンピュータ上で実行されると請求項１１に記載の符号化方法又は請求項１３に記載の復号化方法を実施するためのプログラムコード命令を含む、コンピュータプログラム。

【請求項16】

請求項１５に記載のコンピュータプログラムの命令を含む、コンピュータ可読情報媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般的には画像処理の分野に関し、具体的にはディジタル画像及び一連のディジタル画像の符号化及び復号化に関する。

【0002】

ディジタル画像の符号化／復号化は特に、以下のものを含む少なくとも１つの映像系列から画像へ適用される：
－ 同一カメラからの及び時間的連続な画像（２Ｄ符号化／復号化）、
－ 様々な視野において配向された様々なカメラからの画像（３Ｄ符号化／復号化）、
－ 対応テクスチャ及び深さ成分（３Ｄ符号化／復号化）、
－ 等々。

【0003】

本発明は、２Ｄ又は３Ｄ画像の符号化／復号化に同様に適用される。

【0004】

本発明は、限定しないが特に、現在のＡＶＣ、ＨＥＶＣ及びＶＶＣ映像エンコーダ並びにそれらの拡張版（ＭＶＣ、３Ｄ－ＡＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）において実施される映像符号化及び対応復号化へ適用され得る。

【背景技術】

【0005】

現在の映像エンコーダ（ＭＰＥＧ、ＡＶＣ、ＨＥＶＣ、ＶＶＣ、ＡＶ１など）は、映像系列のブロック的表現を使用する。画像は、再帰的に再び分割されることができるブロックへ分割される。次に、例えば、イントラ、インター、スキップ、マージモードなどの特定の符号化モードを使用して、各ブロックが符号化される。いくつかの画像は、他の過去又は将来の画像を参照することなく、例えば、イントラ符号化モード、ＩＢＣ（「イントラブロックコピー」）符号化モードなどの符号化モードを使用して符号化される。他の画像は、当業者に周知の動き補償を使用して、１つ又は複数の符号化済みの／復号化済みの参照画像に関して符号化される。この時間符号化モードは、インター符号化モードと呼ばれる。

【0006】

オリジナルのブロックが予測によって減少したものに相当する残差ブロック（予測残差とも呼ばれる）は、各ブロックに対して符号化される。スキップ符号化モードの事例では、残差ブロックはゼロである。

【0007】

符号化予定の考慮中のブロックの場合、このブロックに対する複数のイントラ、インター、スキップ、マージなどの符号化モードは、最良の符号化モード（すなわち、例えば、データレート／歪みコストなどの既定の符号化性能基準に従って、考慮中のブロックの符号化を最適化するもの）を選択することを目的としてエンコーダ側で競合し、それらの符号化性能基準は、すなわち、オリジナルの画像と符号化された後にデコーダによって復号化される画像との間の歪みの尺度の比較、及び復号化命令の送信に必要なデータレートであり、さらには効率／複雑性における妥協でさえあるが、それらは当業者に周知の基準である。エンコーダは、デコーダがオリジナルのブロックを再構築できるように、最適な符号化モードに関連する符号化情報をデコーダに送信することに対する責任を有する。そのような情報は、ストリームにおいて、典型的にはバイナリ表現の形式で送信される。

【0008】

例えばピクセル間の位置の観点から、選択される符号化モードが正確であるほど残差のデータレートは低くなる。その一方で、より多くの情報（具体的には、形状の輪郭における）を送信する必要がある。

【0009】

復号化は、ストリームから読み取られた後に復号化される符号化情報に基づいて、また、デコーダ側で既に利用可能な（すなわち、前もって復号化されている）要素に基づいて、デコーダ側で行われる。

【0010】

既に利用可能なこれらの要素は、具体的には、
－ 現在復号化されている画像の要素（例えば、イントラ又はＩＢＣ復号化モードが参照される）、
－ 他の以前に復号化された画像からの要素（インター復号化モードが参照される）
である。

【0011】

これらの２つのタイプのイントラ及びインター符号化モードは、ＶＶＣ規格（「次世代映像符号化」）に従って組み合わせることができる。ＣＩＩＰ（「インター予測とイントラ予測の組合せ」）を参照されたい。

【0012】

これらの予測技法によれば、エンコーダは、実行する最適なモードタイプをデコーダに信号伝達しなければならない。この情報は、各ブロックに対して搬送される。それにより、大量の情報がストリームに挿入されるおそれがあり、これは、データレートを制限するために最小化すべきものである。その結果、多くの詳細を含みテクスチャ感の高い画像において特に、精度が不足し得る。

【0013】

この精度の不足により、所定のデータレートに対して再構築された画像の品質が制限される。

【発明の概要】

【発明が解決しようとする課題】

【0014】

本発明の目的の１つは、現在のピクセルセットの符号化のために決定された符号化モードに関連する情報の信号伝達のコストの低減を支持して、先行技術からの符号化モードの決定を改善することによって、前述の先行技術の欠点を補うことである。

【課題を解決するための手段】

【0015】

この目的のため、本発明の対象の１つは、少なくとも１つの現在のピクセルセットの符号化及び復号化のそれぞれのために、少なくとも２つの符号化モード及び復号化モードのそれぞれの中から、少なくとも１つの符号化モード及び復号化モードのそれぞれを決定するための方法に関する。そのような決定方法は、上記少なくとも１つの符号化モード及び復号化モードのそれぞれが、少なくとも１つの参照ピクセルセットの解析に基づいて決定されることを特徴とする。

【0016】

本発明による、少なくとも１つの符号化モード（及び復号化モードのそれぞれ）を決定するためのそのような方法は、有利には、少なくとも２つの可能な符号化モード（及び復号化モードのそれぞれ）の中から、現在のピクセルセットの各ピクセルに適用するための１つ及び／又は複数の符号化モード（及び復号化モードのそれぞれ）を決定するために、１つ又は複数の参照ピクセルセット（言い換えれば、現在のピクセルセットの符号化又は復号化の時点で既に復号化済みの１つ又は複数のピクセルセット）にのみ依拠することを可能にする。この又はこれらの参照ピクセルセットは現在のピクセルセットの符号化（及び復号化のそれぞれ）の時点で利用可能であるため、この／これらの参照ピクセルセットの精度は、先行技術におけるブロック単位で動作するエンコーダ（及びデコーダのそれぞれ）とは異なり、各ピクセル位置に対して完全に分かっている。それにより、ブロックごとの符号化性能基準の演算に基づくものである先行技術で実施されるものより直接的であり、空間的に正確であることを理由に、現在のピクセルセットの各ピクセルに適用するための１つ又は複数の符号化（及び復号化のそれぞれ）モードの決定が改善される。

【0017】

従って、現在のピクセルセットに適用するための符号化（及び復号化のそれぞれ）モードは、より正確であり、画像の局所的なプロパティに、より良好に適応する。

【0018】

これにより、再構築された画像の品質が改善される。

【0019】

特定の一実施形態によれば、少なくとも２つのモードの中からの単一の符号化モード及び復号化モードのそれぞれは、現在のピクセルセットの少なくとも１つのピクセルに対して決定され、１つ又は他のモードの決定は、上記セットの上記少なくとも１つのピクセルから少なくとも１つの他のピクセルまで様々である。

【0020】

そのような実施形態は、有利には、高いピクセル精度で、先行技術からの符号化又は復号化モード（例えば、イントラ、スキップ、インターなど）の再利用を可能にする。

【0021】

別の特定の実施形態によれば、少なくとも２つの符号化モード及び復号化モードのそれぞれは、現在のピクセルセットの少なくとも１つのピクセルに対して組合せで決定される。

【0022】

そのような実施形態は、有利には、全く同じピクセルの符号化及び復号化のそれぞれのために、少なくとも２つの符号化モード（スキップ、イントラ、インターなど）（及び復号化モードのそれぞれ）を組み合わせられるようにすることが可能である。また、この実施形態は、ブロック効果のような不連続性を生み出すことなく、１つの符号化モード及び復号化モードのそれぞれから他のモードに徐々に変更できるようにすることも可能である。

【0023】

さらなる別の特定の実施形態によれば、上記少なくとも１つの符号化モード及び復号化モードのそれぞれの決定は、現在のピクセルセットの解析から得られる修正パラメータによって修正される。

【0024】

そのような実施形態は、有利には、１つ又は複数の参照ピクセルセットにおいて存在しなかった／予想できなかった要素を現在のピクセルセットが含む際は、上記少なくとも１つの符号化又は復号化モードの決定に補正を適用できるようにすることが可能である。

【0025】

様々な前述の実施形態又は実装形態の特徴は、互いに独立して又は組み合わせて、上記で定義される決定方法に追加することができる。

【0026】

また、本発明は、少なくとも１つの符号化モード及び復号化モードのそれぞれを決定するためのデバイスであって、少なくとも１つの現在のピクセルセットの符号化及び復号化のそれぞれのために、少なくとも２つの符号化モード及び復号化モードのそれぞれの中から、少なくとも１つの符号化モード及び復号化モードのそれぞれを決定するように構成されたプロセッサを含む、デバイスにも関する。

【0027】

そのような決定デバイスは、上記少なくとも１つの符号化モード及び復号化モードのそれぞれが、少なくとも１つの参照ピクセルセットの解析に基づいて決定されることを特徴とする。

【0028】

特定の一実施形態では、決定デバイスは、ニューラルネットワークである。

【0029】

ニューラルネットワークの使用により、有利には、上記少なくとも１つの符号化モード及び復号化モードのそれぞれの決定の精度を最適化することが可能になる。

【0030】

そのような決定デバイスは、具体的には、前述の決定方法を実施することができる。

【0031】

また、本発明は、符号化デバイスによって実施される、少なくとも１つの現在のピクセルセットを符号化するための方法であって、現在のピクセルセットが、少なくとも１つの符号化モードの決定に基づいて符号化される、方法にも関する。

【0032】

そのような符号化方法は、上記少なくとも１つの符号化モードが、本発明による前述の決定方法に従って決定されることを特徴とする。

【0033】

そのような符号化方法は、現在のピクセルセットを符号化するために使用される１つ及び／又は複数の符号化モードを示す１つ又は複数のインデックスの符号化を必要としないという点で、有利である。これは、現在のピクセルセットに対するこの又はこれらのモードインデックスをエンコーダがデコーダに送信する必要はないことを意味し、それにより、符号化モードの精選に関連して、画像の再構築におけるより良い品質を支持して、エンコーダとデコーダとの間で送信される情報の信号伝達のコストを低減することができる。

【0034】

また、本発明は、少なくとも１つの現在のピクセルセットを符号化するための符号化デバイス又はエンコーダであって、少なくとも１つの符号化モードの決定に基づいて現在のピクセルセットを符号化するように構成されたプロセッサを含む、符号化デバイス又はエンコーダにも関する。

【0035】

そのような符号化デバイスは、本発明による、少なくとも１つの符号化モードを決定するための前述のデバイスを含むことを特徴とする。

【0036】

そのような符号化デバイスは、具体的には、本発明による前述の符号化方法を実施することができる。

【0037】

また、本発明は、復号化デバイスによって実施される、少なくとも１つの現在のピクセルセットを復号化するための方法であって、現在のピクセルセットが、少なくとも１つの復号化モードの決定に基づいて復号化される、方法にも関する。

【0038】

そのような復号化方法は、上記少なくとも１つの復号化モードが、本発明による前述の決定方法に従って決定されることを特徴とする。

【0039】

そのような復号化方法の利点は、デコーダが、エンコーダから受信するデータ信号から特定の情報を読み取る必要なく、現在のピクセルセットを復号化するための少なくとも１つの復号化モードの決定が、１つ又は複数の利用可能な参照ピクセルセットに基づいて、デコーダによって自律的に実施されるという事実にある。

【0040】

また、本発明は、少なくとも１つの現在のピクセルセットを復号化するための復号化デバイス又はデコーダであって、少なくとも１つの復号化モードの決定に基づいて現在のピクセルセットを復号化するように構成されたプロセッサを含む、復号化デバイス又はデコーダにも関する。

【0041】

そのような復号化デバイスは、本発明による、少なくとも１つの復号化モードを決定するための前述のデバイスを含むことを特徴とする。

【0042】

そのような復号化デバイスは、具体的には、本発明による前述の復号化方法を実施することができる。

【0043】

また、本発明は、命令を含むコンピュータプログラムであって、上記プログラムが、プロセッサによって実行されると、上記で説明される特定の実施形態のいずれか１つに従って、本発明による決定方法及び同様に本発明による決定方法を組み込む符号化又は復号化方法を実施するための、コンピュータプログラムにも関する。

【0044】

そのような命令は、前述の決定方法を実施する決定デバイス、前述の符号化方法を実施するエンコーダ、前述の復号化方法を実施するデコーダの非一時的な記憶媒体に永続的に格納することができる。

【0045】

このプログラムは、任意のプログラミング言語を使用し得、ソースコード、オブジェクトコード、又はソースコードとオブジェクトコードとの間の中間コードの形式（部分的コンパイル形式など）、又は任意の他の望ましい形式のものであり得る。

【0046】

本発明はまた、上述のコンピュータプログラムの命令を含むコンピュータ可読記録媒体又は情報媒体を標的とする。

【0047】

記録媒体は、プログラムを格納することができる任意のエンティティ又はデバイスであり得る。例えば、媒体は、ＲＯＭ（例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、合成ＤＮＡ（デオキシリボ核酸）など、又は超小形電子回路ＲＯＭ）などの格納手段、そうでなければ磁気記録手段（例えばＵＳＢキー、ハードディスク）を含み得る。

【0048】

さらに、記録媒体は、電気ケーブル又は光ケーブルを介し、又は無線により、又は他の手段により運ばれ得る電気信号又は光信号などの送信可能媒体であり得る。本発明によるプログラムは特に、インターネットなどのネットワークからダウンロードされ得る。

【0049】

代替的に、記録媒体は、プログラムが取り込まれる集積回路であり得、集積回路は、本発明による上述の決定方法、符号化方法、又は復号化方法を実行する又はその実行において使用されるように設計される。

【0050】

他の特徴及び利点は、図示例及び非限定的例並びに添付図面として与えられる本発明の特定実施形態を読むことから明白になる。

【図面の簡単な説明】

【0051】

【図1】本発明による、少なくとも１つの符号化又は復号化モードを決定するための方法の主なステップを示す。

【図2A】本発明の第１の特定の実施形態における、図１の決定方法で解析される参照ピクセルセットのタイプの１つを示す。

【図2B】本発明の第２の特定の実施形態における、図１の決定方法で解析される参照ピクセルセットの別のタイプを示す。

【図3A】第１の実施形態における、図１の決定方法を実施する決定デバイスを示す。

【図3B】第２の実施形態における、図１の決定方法を実施する決定デバイスを示す。

【図4】図３Ｂの決定デバイスを訓練するための方法を概略的に示す。

【図5A】２つの基準ピクセルセットに対する現在のピクセルセットの予測版の第１の例示的変位を示す。

【図5B】２つの基準ピクセルセットに対する現在のピクセルセットの予測版の第２の例示的変位を示す。

【図5C】２つの基準ピクセルセットに対する現在のピクセルセットの予測版の第３の例示的変位を示す。

【図5D】本発明の一特定実施形態における図５Ａの変位のタイプの場合に実施される動き補償を示す。

【図5E】本発明の特定の一実施形態における、図５Ｄの動き補償の終了時に実施される、少なくとも１つの符号化モード及び復号化モードのそれぞれの決定を示す。

【図6】図３Ａの決定デバイスによって実施される決定方法の特定のステップをさらに詳細に示す。

【図7】本発明の特定の一実施形態における、図１の少なくとも１つの符号化モードを決定するための方法を実施する画像符号化方法の主なステップを示す。

【図8A】第１の実施形態における、図７の符号化方法を実施するエンコーダを示す。

【図8B】第２の実施形態における、図７の符号化方法を実施するエンコーダを示す。

【図9】本発明の特定の一実施形態における、図１の少なくとも１つの復号化モードを決定するための方法を実施する画像復号化方法の主なステップを示す。

【図10A】第１の実施形態における図９の復号化方法を実施するデコーダを示す。

【図10B】第２の実施形態における図９の復号化方法を実施するデコーダを示す。

【図11】本発明の一特定実施形態における、図１の符号化モードを決定するための方法の修正を実施する画像符号化方法の工程を示す。

【図12】本発明の一特定実施形態における図１１の符号化方法を実施するエンコーダを示す。

【図13】本発明の一特定実施形態における、図１の復号化モードを決定するための方法の修正を実施する画像復号化方法の工程を示す。

【図14】本発明の一特定実施形態における図１３の復号化方法を実施するデコーダを示す。

【発明を実施するための形態】

【0052】

少なくとも１つの符号化又は復号化モードを決定するための方法の例示的な実装形態
発明の一般原理
少なくとも１つの符号化又は復号化モードを決定するための方法
以下では、２Ｄ又は３Ｄ画像の符号化及び復号化のそれぞれを視野に入れて、少なくとも１つの符号化又は復号化モードを決定するための方法の説明を提供し、上記決定方法は、例えば、ＡＶＣ、ＨＥＶＣ、ＶＶＣ規格及びそれらの拡張版（ＭＶＣ、３Ｄ－ＡＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣなど）又は同様のものに準拠するものなど、いかなるタイプの映像エンコーダ又はデコーダにおいても実施することができる（例えば、畳み込みニューラルネットワーク（又はＣＮＮ）など）。

【0053】

図１を参照すると、本発明による、少なくとも１つの符号化又は復号化モードを決定するための方法は、少なくとも１つの参照ピクセルセットＢＲ_０を使用するが、参照ピクセルセットＢＲ_０とは、すなわち、既に符号化済み及び復号化済みであり、従って、Ｎ個のピクセルｐ_１、ｐ_２、…、ｐ_Ｎ（Ｎ≧１）を含む現在のピクセルセットＢ_ｃの符号化及び復号化のそれぞれを行うために使用することを意図する上記少なくとも１つの符号化又は復号化モードを決定する時点で利用可能なものである。

【0054】

本発明の意味の範囲内では、現在のピクセルセットＢ_ｃは、
－ オリジナルの現在の画像、
－ オリジナルの現在の画像の部分又は領域、
－ 標準化されたＡＶＣ、ＨＥＶＣ又はＶＶＣエンコーダにおいて行われているものに沿ってこの画像のパーティション化から得られる現在の画像のブロック
を意味するものとして理解される。

【0055】

本発明によれば、図２Ａに示されるように、参照ピクセルセットＢＲ_０は、現在のピクセルセットＢ_ｃを含む現在の画像Ｉ_ｉに属し得る。この事例では、現在のピクセルセットＢ_ｃに対する少なくとも１つの符号化モードＭＣ_ｃ（及び復号化モードＭＤ_ｃのそれぞれ）は、この参照ピクセルセットＢＲ_０に関して決定される。

【0056】

当然ながら、上記少なくとも１つの符号化モードＭＣ_ｃ（及び復号化モードＭＤ_ｃのそれぞれ）は、現在の画像Ｉ_ｉに属する参照ピクセルセットＢＲ_０に関して及び１つ又は複数の他の参照ピクセルセットに関して決定することができる。

【0057】

本発明によれば、図２Ｂに示されるように、参照ピクセルセットＢＲ_０は、現在の画像Ｉ_ｉに時間的に先行するか又はそれに続く、既に符号化済みの及び復号化済みの参照画像に属し得る。この事例では、現在のピクセルセットＢ_ｃに対する符号化モードＭＣ_ｃ（及び復号化モードＭＤ_ｃのそれぞれ）は、参照ピクセルセットＢＲ_０に関して決定される。示される例では、現在のピクセルセットＢ_ｃに対する符号化モードＭＣ_ｃ（及び復号化モードＭＤ_ｃのそれぞれ）は、参照ピクセルセットＢＲ_０に関して演算することができ、参照ピクセルセットＢＲ_０は、例えば、直前の画像ＩＲ_ｉ－１に属するが、当然ながら、例えば、画像ＩＲ_ｉ＋１、又は、符号化順番において現在の画像Ｉ_ｉに先行する他の参照画像（すなわち、現在の画像Ｉ_ｉの前の既に符号化済みの及び復号化済みの画像）など、別の参照画像に属することも可能である。示される例では、現在のピクセルセットＢ_ｃに対する符号化モードＭＣ_ｃ（及び復号化モードＭＤ_ｃのそれぞれ）は、現在の画像Ｉ_ｉに先行する参照画像に位置する参照ピクセルセットＢＲ_０に関して及び現在の画像Ｉ_ｉに続く参照画像に位置する少なくとも１つの他の参照ピクセルセットＢＲ_１に関して演算することもできる。示される例では、参照ピクセルセットＢＲ_０は、参照画像ＩＲ_ｉ－２に位置し、参照ピクセルセットＢＲ_１は、参照画像ＩＲ_ｉ＋１に位置する。参照画像に位置する参照ピクセルセットに関する少なくとも１つの符号化又は復号化モードのそのような決定のさらなる文脈では、図２Ｂに示されるように、現在のピクセルセットＢ_ｃに対する符号化モードＭＣ_ｃ（及び復号化モードＭＤ_ｃのそれぞれ）は、２つの参照ピクセルセットＢＲ_０、ＢＲ_１に関して演算することができ、その各々は、現在の画像Ｉ_ｉに先行する参照画像に位置する。示される例では、参照ピクセルセットＢＲ_０は、参照画像ＩＲ_ｉ－２に位置し、参照ピクセルセットＢＲ_１は、参照画像ＩＲ_ｉ－１に位置する。

【0058】

当然ながら、現在のピクセルセットＢ_ｃに対する上記少なくとも１つの現在の符号化モードＭＣ_ｃ（及び復号化モードＭＤ_ｃのそれぞれ）を演算するために、参照ピクセルセットＢＲ_０及びＢＲ_１と共に、１つ又は複数の他の参照ピクセルセットを使用することができる。

【0059】

図１を再び参照すると、本発明によるそのような決定方法は、以下を含む。

【0060】

Ｐ１では、現在のピクセルセットＢ_ｃの少なくとも１つの現在のピクセルｐ_ｃ（１≦ｃ≦Ｎ）に対して、上記少なくとも１つの参照ピクセルセットＢＲ_０が解析される。そのようなステップは、具体的には、ＢＲ_０の位置、ある参照画像から別の参照画像へのＢＲ_０の変位、ＢＲ_０の変位の間にオクルージョン領域が生じるかどうかなどを解析することを含む。

【0061】

Ｐ２では、ＢＲ_０の解析に基づいて、考慮中の少なくとも２つの符号化モードＭＣ_１、ＭＣ_２及び復号化モードＭＤ_１、ＭＤ_２のそれぞれの中から、符号化モードＭＣ_ｃ及び復号化モードＭＤ_ｃのそれぞれが選択される。

【0062】

モードＭＣ_１及びＭＤ_１のそれぞれは、例えば、インターモードである。モードＭＣ_２及びＭＤ_２のそれぞれは、例えば、イントラモードである。その代替として、モードＭＣ_１及びＭＤ_１のそれぞれは、例えば、インターモードであり、モードＭＣ_２及びＭＤ_２のそれぞれは、例えば、スキップモードである。

【0063】

ステップＰ２の終了時には、符号化モードＭＣ_ｃ及び復号化モードＭＤ_ｃのそれぞれが上記少なくとも１つの現在のピクセルｐ_ｃに対して決定される。

【0064】

次に、現在のピクセルセットＢ_ｃのＮ個のピクセルの各々に対して、Ｐ１～Ｐ２のステップが繰り返される。

【0065】

当然ながら、たった今説明した決定方法において、２つを超える符号化モード及び復号化モードのそれぞれを考慮することができる。例えば、決定の間、以下の３つの符号化又は復号化モードを考慮することができる：
－ モードＭＣ_１／ＭＤ_１はインターである、
－ モードＭＣ_２／ＭＤ_２はイントラである、
－ モードＭＣ_３／ＭＤ_３はスキップである。

【0066】

ステップＰ２の変形形態として、上記少なくとも１つの現在のピクセルｐ_ｃの符号化／復号化を行うために、少なくとも２つの符号化／復号化モードを組合せで決定することができる。例えば、Ｂ_ｃの符号化／復号化を行うために、モードＭＣ_１／ＭＤ_１＝インターとＭＣ_２／ＭＤ_２＝イントラの組合せを決定することができる。別の例によれば、Ｂ_ｃの符号化／復号化を行うために、モードＭＣ_１／ＭＤ_１＝インターとＭＣ_３／ＭＤ_３＝スキップの組合せを決定することができる。

【0067】

少なくとも１つの符号化又は復号化モードを決定するためのデバイスの例示的な実装形態
図３Ａは、本発明の第１の実施形態による、図１に示される決定方法の実施に適した少なくとも１つの符号化又は復号化モードを決定するためのデバイスＤＭＯＤ１を示す。

【0068】

この第１の実施形態によると、決定方法により行われる行為はコンピュータプログラム命令により実施される。この目的を達成するために、予測デバイスＤＭＯＤ１は、コンピュータの従来のアーキテクチャを有し、特にメモリＭＥＭ＿ＤＭ１と、例えばプロセッサＰＲＯＣ＿ＤＭ１を備えメモリＭＥＭ＿ＤＭ１内に格納されたコンピュータプログラムＰＧ＿ＤＭ１により駆動される処理ユニットＵＴ＿ＤＭ１とを含む。コンピュータプログラムＰＧ＿ＤＭ１は、プロセッサＰＲＯＣ＿ＤＭ１により実行されると上述のような決定方法の行為を実施するための命令を含む。

【0069】

初期化時に、コンピュータプログラムＰＧ＿ＤＭ１のコード命令は例えば、プロセッサＰＲＯＣ＿ＤＭ１により実行される前にＲＡＭメモリ（示されない）内へロードされる。処理ユニットＵＴ＿ＤＭ１のプロセッサＰＲＯＣ＿ＤＭ１は、特に上に説明された決定方法の行為をコンピュータプログラムＰＧ＿ＤＭ１の命令に従って実施する。

【0070】

決定デバイスは、入力Ｅ＿ＤＭ１において、１つ又は複数の参照ピクセルセットＢＲ_０、ＢＲ_１などを受信し、利用可能な様々な符号化モードＭＣ_１、ＭＣ_２及び復号化モードＭＤ_１、ＭＤ_２のそれぞれを評価し、出力Ｓ＿ＤＭ１において、現在のピクセルセットＢ_ｃの符号化又は復号化のそれぞれにおいて使用するために、符号化モードＭＣ_ｃ又は復号化モードＭＤ_ｃを伝達する。

【0071】

図３Ｂは、本発明の第２の実施形態による、図１に示される決定方法の実施に適した少なくとも１つの符号化又は復号化モードを決定するためのデバイスＤＭＯＤ２を示す。

【0072】

この第２の実施形態によれば、決定デバイスＤＭＯＤ２は、例えば、畳み込みニューラルネットワーク、多層パーセプトロン、ＬＳＴＭ（「長・短期記憶」）など、ＲＮＣ１として示されるニューラルネットワークであり、現在のピクセルセットＢ_ｃの各ピクセルに対する符号化モードＭＣ_ｃ又は復号化モードＭＤ_ｃを出力側で伝達するために、入力側で受信した１つ又は複数の参照ピクセルセットＢＲ_０、ＢＲ_１などから、図１の決定方法のＰ１－Ｐ２のステップを共同で実施する。

【0073】

それ自体が知られている方法では、畳み込みニューラルネットワークＲＮＣ１は、一連の層のフィルタリング、非線形性及びスケーリング動作を行う。使用される各フィルタが畳み込みカーネルによってパラメータ化され、非線形性がパラメータ化される（ＲｅＬＵ、ｌｅａｋｙ ＲｅＬＵ、ＧＤＮ（「一般化分割正規化」）など）。ニューラルネットワークＲＮＣ１は、例えば、Ｄ．Ｓｕｎ，ｅｔ ａｌ．，“ＰＷＣ－Ｎｅｔ：ＣＮＮｓ ｆｏｒ Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｕｓｉｎｇ Ｐｙｒａｍｉｄ，Ｗａｒｐｉｎｇ，ａｎｄ Ｃｏｓｔ Ｖｏｌｕｍｅ”ＣＶＰＲ ２０１８という文献において説明されるタイプのものである。

【0074】

この事例では、ニューラルネットワークＲＮＣ１は、図４に示される方法で訓練することができる。

【0075】

この目的のため、ニューラルネットワークＲＮＣ１は、
－ 場合により、ＢＲ_０、ＢＲ_１などから現在符号化されている又は復号化されている現在のピクセルセットＢ_ｃへのそれぞれの動きを補間して予測ピクセルセットＢＰ_ｃを得るために、１つ又は複数の変位ベクトルＶ_０、Ｖ_１などを推定すること
－ 少なくとも２つの符号化モード及び復号化モードのそれぞれの中から、符号化モードＭＣ_ｃ及び復号化モードＭＤ_ｃのそれぞれを推定すること
を狙いとして訓練することができる。

【0076】

符号化モードＭＣ_ｃ及び復号化モードＭＤ_ｃのそれぞれは、少なくとも２つの値０又は１を取り、それは、例えば、
－ インターモードとスキップモード、
－ イントラモードとスキップモード、
－ インターモードとイントラモード、
－ その他
のそれぞれを表す。

【0077】

予備段階では、ネットワークＲＮＣ１は、図１からの動作Ｐ１－Ｐ２を行うために訓練される。例えば、ネットワークＲＮＣ１は、符号化予定の現在のピクセルセットＢ_ｃと、選択された少なくとも１つの符号化モードＭＣ_ｃ（及び復号化モードＭＤ_ｃのそれぞれ）を適用した後に得られるピクセルセットＢＳ_ｃとの間の二乗平均平方根誤差を最小化するために訓練され、それは、
－ スキップモードに等しい動き補償を通じて得られた現在の予測ピクセルセットＢＰ_ｃ、
－ 並びに、現在の予測ピクセルセットＢＰ_ｃ及びＢ_ｃの現在のピクセルの値と現在の予測ピクセルセットＢＰ_ｃのピクセルの値との差の残差信号特性（この残差信号は、量子化パラメータＱＰによって量子化され、次に、符号化される）を使用して得られたか又は得られなかった、再構築された現在のピクセルセットＢＤ_ｃ
から行われるものである。

【0078】

ネットワークＲＮＣ１は、訓練段階の間に、現在のピクセルセットＢ_ｃと共に多数の関連の参照ピクセルセットＢＲ_０、ＢＲ_１などを提示することによって、次に、符号化モードＭＣ_ｃ（及び復号化モードＭＤ_ｃのそれぞれ）の選択に応じて、Ｂ_ｃのピクセルと結果ＢＳ_ｃのピクセルとの間の平均二乗誤差を最小化するために、例えば、勾配降下アルゴリズムを使用して、ネットワークの重みを変更することによって、訓練される。

【0079】

この予備訓練段階の終了時には、ネットワークＲＮＣ１は、固定され、モード決定デバイスＤＭＯＤ２における使用に適したものになっている。

【0080】

決定デバイスＤＥＭＯＤ１によって実施される、少なくとも１つの符号化／復号化モードを決定するための方法の実施形態
ここでは、図６及び図５Ａ～図５Ｅを参照して、図３Ａの決定デバイスＤＥＭＯＤ１において現在のピクセルセットに対する少なくとも１つの符号化又は復号化モードが決定される一実施形態の説明を提供する。

【0081】

示される例では、少なくとも１つの符号化又は復号化モードを決定するために、２つの参照ピクセルセットＢＲ_０及びＢＲ_１が考慮される。

【0082】

この目的を達成するために、図６に示すように、少なくとも１つの基準ピクセルセットの解析Ｐ１は以下のことを含む：
Ｐ１０において、ＢＲ_０とＢＲ_１との間の動き推定が計算される。このような工程は従来の動き探索工程（例えば変位ベクトルの推定など）を介し行われる。

【0083】

図５Ａ～５Ｃは、この工程Ｐ１０中に遭遇され得る２つの基準ピクセルセットＢＲ_０，ＢＲ_１に対する現在のピクセルセットＢ_ｃの予測版ＢＰ_ｃの３つの異なる例示的変位をそれぞれ示す。図５Ａ～図５Ｃの例では、基準ピクセルセットＢＲ_０とＢＲ_１との間の要素Ｅ（円により象徴化される）の変位は動きベクトルの場により表される。単純化のために、単一ベクトル（図５Ａ～図５ＣではＶ_０１で表され、点線で示される）が、示された例ではＢＲ_０からＢＲ_１への要素Ｅの動きを説明するために示される（画像の他の部分に関する動きは零であると考えられる）。しかし、例えばオプティカルフロー動き推定の場合のように基準ピクセルセットＢＲ_０～ＢＲ_１を表すピクセルの数と同数の動きベクトルが存在するということは言うまでもない。図５Ａ～図５Ｃに示さない別の例によると、ＢＲ_１からＢＲ_０への（反対方向）動きを説明するベクトルＶ_１０が計算される可能性がある。

【0084】

Ｐ１０、Ｐ１１（図６）において取得されたベクトルＶ_０１又はＶ_１０は、ＢＲ_０とＢＲ_１に対し予測される現在のピクセルセットＢ_ｃの変位を推定することを含む。この推定は図５Ａ～図５Ｃに示され、ここでは、要素Ｅの変位は、現在のピクセルセットＢ_ｃが配置された時刻であるＢＲ、ＢＲ_１が配置された時刻の以外の時刻に推定される。Ｖ_０１又はＶ_１０の計算に関し同じ記法を使用することにより：
－ 単一ベクトルＶ_０（ＢＲ_０からＢ_ｃの予測位置への動きを説明する）がベクトルＶ_０１から計算される、
－ ＢＲ_１からＢ_ｃの予測位置への動きを説明する単一ベクトルＶ_１がベクトルＶ_０１から計算される。

【0085】

現在のピクセルセットＢ_ｃがＢＲ_０とＢＲ_１との間の時間的中間に配置される、図５Ａの例では、現時点における要素Ｅの変位は、ＢＲ_０とＢＲ_１との間の変位の１／２（すなわちベクトルＶ_０１又はＶ_１０の１／２）に対応すると推定される。このような変位構成は、例えば図２Ｂと同じ表記法（ＢＲ_０が基準画像ＩＲ_ｉ－１に属し、ＢＲ_１は基準画像ＩＲ_ｉ＋１に属する）を採用する場合に遭遇される。

【0086】

現在のピクセルセットＢ_ｃがＢＲ_１よりＢＲ_０に時間的により近くに配置される、図５Ｂの例では、現時点における要素Ｅの変位はＢＲ_０とＢＲ_１との間の変位の１／２より短いと推定される。例えば、ＢＲ_０が基準画像ＩＲ_ｉ－１に属し、ＢＲ_１が基準画像ＩＲ_ｉ＋２に属すれば、現時点における要素Ｅの変位はＢＲ_０とＢＲ_１との間の変位の１／３（すなわちベクトルＶ_０１又はＶ_１０の１／３）に対応すると推定される。

【0087】

現在のピクセルセットＢ_ｃが時間的にＢＲ_０（基準画像ＩＲ_ｉ－２に属する）に、次にＢＲ_１（基準画像ＩＲ_ｉ－２に属する）の後に配置される、図５Ｃの例では、現時点における要素Ｅの変位はＢＲ_０とＢＲ_１との間の変位の２倍（すなわちベクトルＶ_０１又はＶ_１０の２倍）と推定される。

【0088】

図６及び図５Ｄを参照すると、Ｐ１２において、ＢＲ_０及びＢＲ_１はそれぞれ、Ｂ_ｃの２つの予測版（ＢＲＣ_０及びＢＲＣ_１で表される）をそれぞれ生成するためにベクトルＶ_０、Ｖ_１を使用することにより動き補償される。

【0089】

図５Ｄにおける図解により、ベクトルＶ_０、Ｖ_１は、現時点における要素Ｅの変位がＢＲ_０とＢＲ_１との間の変位の１／２（すなわちベクトルＶ_０１又はＶ_１０の１／２）に対応すると推定される例えば図５Ａに示される動き構成に従って取得されたと考えられる。

【0090】

図５Ｄは以下のことを示す：
－ 要素Ｅの補間された位置がベクトルＶ_０によるＢＲ_０の要素Ｅの動き補償から生じるピクセルセットＥＲＣ_０を含む右動き補償されたピクセルセットＢＲＣ_０、及び
－ 要素Ｅの補間された位置がベクトルＶ_１によるＢＲ_１の要素Ｅの動き補償から生じるピクセルセットＥＲＣ_１を含む左動き補償されたピクセルセットＢＲＣ_１。

【0091】

対照的に、ＥＲＣ_０の部分Ｚ_０及びＥＲＣ_１の部分Ｚ_１は、ＢＲ_０の要素Ｅ及びＢＲ_１の要素Ｅの背後に配置される未知コンテンツに対応するので未定義である。しかし、図５Ｄに見られ得るように、部分Ｚ_０はＥＲＣ_１内に定義され、部分Ｚ_１はＥＲＣ_０内に定義される。

【0092】

図６及び図５Ｅを参照すると、現在のピクセルセットＢ_ｃの各ピクセルに対する少なくとも２つの符号化モードＭＣ_１、ＭＣ_２又は復号化モードＭＤ_１、ＭＤ_２のうちの１つの選択Ｐ２の説明が提供されている。図５Ｅは、現在のピクセルセットＢ_ｃの予測位置を示し、その予測位置は、要素Ｅの予測位置及び未定義部分Ｚ_０、Ｚ_１を示す。

【0093】

Ｚ_０及びＺ_１の位置（ｘ，ｙ）に位置するピクセルが未知であることにより、それらは、Ｐ２０において、第１の符号化モードＭＣ_１（ｘ，ｙ）＝インター及び復号化モードＭＤ_１（ｘ，ｙ）＝インターのそれぞれと関連付けられる。

【0094】

要素Ｅの予測位置（ｘ，ｙ）及びバックグラウンドＡＰ（ハッチングによって表される）の予測位置（ｘ，ｙ）に位置するピクセルは、これらのピクセルが参照ピクセルセットＢＲ_０、ＢＲ_１の各々において要素Ｅのピクセル及びバックグラウンドＡＰのピクセルとコヒーレントであるという点で、既知である。このため、Ｐ２０では、これらのピクセルは、例えば、第２の符号化モードＭＣ_２（ｘ，ｙ）＝スキップ及び復号化モードＭＤ_２（ｘ，ｙ）＝スキップのそれぞれと関連付けられる。

【0095】

Ｐ２１では、第１の符号化モードＭＣ_１（ｘ，ｙ）＝インター及び復号化モードＭＤ_１（ｘ，ｙ）＝インターのそれぞれは、任意の値（例えば、１）を取り、第２の符号化モードＭＣ_２（ｘ，ｙ）＝スキップ及び復号化モードＭＤ_２（ｘ，ｙ）＝スキップのそれぞれは、ＭＣ_１（ｘ，ｙ）／ＭＤ_１（ｘ，ｙ）のものとは異なる任意の値（例えば、０）を取る。

【0096】

ステップＰ２１の終了時には、符号化モードＭＣ_ｃ及び復号化モードＭＤ_ｃのそれぞれが決定され、現在のピクセルセットＢ_ｃの考慮中のピクセルに応じて、２つの異なる値０又は１を取る。

【0097】

変形形態として、
－ Ｚ_０及びＺ_１の位置に位置するピクセルは、Ｐ２０において、第１の符号化モードＭＣ_１（ｘ，ｙ）＝イントラ及び復号化モードＭＤ_１（ｘ，ｙ）＝イントラのそれぞれと関連付けられ、
－ 要素Ｅの予測位置に位置するピクセルは、Ｐ２０において、第２の符号化モードＭＣ_２（ｘ，ｙ）＝インター及び復号化モードＭＤ_２（ｘ，ｙ）＝インターのそれぞれと関連付けられ、
－ バックグラウンドＡＰに位置するピクセルは、Ｐ２０において、第３の符号化モードＭＣ_３（ｘ，ｙ）＝スキップ及び復号化モードＭＤ_３（ｘ，ｙ）＝スキップのそれぞれと関連付けられる。

【0098】

Ｐ２１では、
－ 第１の符号化モードＭＣ_１（ｘ，ｙ）＝イントラ及び復号化モードＭＤ_１（ｘ，ｙ）＝イントラのそれぞれは、任意の値（例えば、１）を取り、
－ 第２の符号化モードＭＣ_２（ｘ，ｙ）＝インター及び復号化モードＭＤ_２（ｘ，ｙ）＝インターのそれぞれは、ＭＣ_１（ｘ，ｙ）／ＭＤ_１（ｘ，ｙ）とは異なる任意の値（例えば、０）を取り、
－ 第３の符号化モードＭＣ_３（ｘ，ｙ）＝スキップ及び復号化モードＭＤ_３（ｘ，ｙ）＝スキップのそれぞれは、ＭＣ_１（ｘ，ｙ）／ＭＤ_１（ｘ，ｙ）ともＭＣ_２（ｘ，ｙ）／ＭＤ_２（ｘ，ｙ）とも異なる任意の値（例えば、２）を取る。

【0099】

ステップＰ２１の終了時には、符号化モードＭＣ_ｃ及び復号化モードＭＤ_ｃのそれぞれが決定され、現在のピクセルセットＢ_ｃの考慮中のピクセルに応じて、３つの異なる値０、１又は２を取る。

【0100】

画像符号化方法
一般原理
以下では、図７を参照して、図１を参照して説明した少なくとも１つの符号化モードＭＣ_ｃの決定を実施する画像符号化方法の説明を提供する。

【0101】

そのような符号化方法は、以下を含む。

【0102】

Ｃ１では、図１に示されるそのＰ１－Ｐ２のステップにおける、少なくとも１つの符号化モードＭＣ_ｃの決定が実施され、現在のピクセルセットＢ_ｃのＮ個のピクセルの各々に対する現在の符号化モードＭＣ_ｃが生成される。

【0103】

Ｃ２では、どの符号化モードがＢ_ｃのどのサブピクセルセットＳＥ_１、ＳＥ_２、ＳＥ_３などと関連付けられているかを決定するために、テストが行われる。

【0104】

Ｃ２０では、Ｂ_ｃの符号化のために符号化モードＭＣ_ｃ＝イントラが決定されたかどうかを決定するために、テストが行われる。

【0105】

応答が肯定（図７のＹ）の場合は、Ｃ３０において、サブピクセルセットＳＥ_１がイントラモードで符号化される。このステップの終了時には、従来方式で、使用されるイントラモードのインデックスが付けられて、残差ピクセルの符号化済みのサブセットＳＥＲ_１ ^ｃｏｄが生成される。

【0106】

応答が否定（図７のＮ）の場合は、Ｃ２１において、Ｂ_ｃの符号化のために符号化モードＭＣ_ｃ＝インターが決定されたかどうかを決定するために、テストが行われる。

【0107】

応答が肯定（図７のＹ）の場合は、Ｃ３１において、サブピクセルセットＳＥ_２がインターモードで符号化される。このステップの終了時には、インターモードでのこの符号化の間に使用された動きベクトルＶ_２ ^ｃｏｄと共に、残差ピクセルの符号化済みのサブセットＳＥＲ_２ ^ｃｏｄが生成される。

【0108】

応答が否定（図７のＮ）の場合は、Ｃ２２において、Ｂ_ｃの符号化のために符号化モードＭＣ_ｃ＝スキップが決定されたかどうかを決定するために、テストが行われる。

【0109】

応答が肯定（図７のＹ）の場合は、Ｃ３２において、サブピクセルセットＳＥ_３がスキップモードで符号化される。このステップの終了時には、符号化済みの動きベクトルＶ_３ ^ｃｏｄが生成される。このモードに対し、残差の演算及び符号化は行われない。第１の実施形態では、Ｖ_３ ^ｃｏｄ＝Ｖ_２ ^ｃｏｄである。第２の実施形態では、Ｖ_３ ^ｃｏｄ≠Ｖ_２ ^ｃｏｄである。

【0110】

応答が否定（図７のＮ）の場合は、Ｂ_ｃのピクセルのすべてに符号化モードＭＣ_ｃが割り当てられるまで、Ｂ_ｃの符号化のために別の符号化モードＭＣ_ｃが決定されたかどうかに関する決定が続く。

【0111】

Ｃ４では、デコーダに送信できるように、符号化済みの動きベクトルＶ_２ ^ｃｏｄ及びＶ_３ ^ｃｏｄが、又は、Ｖ_３ ^ｃｏｄ＝Ｖ_２ ^ｃｏｄの事例では、Ｖ_３ ^ｃｏｄのみが、残差ピクセルの符号化済みのサブセットＳＥＲ_１ ^ｃｏｄ及びＳＥＲ_２ ^ｃｏｄからのデータと共に、トランスポートストリームＦに書き込まれるが、デコーダについては、後の説明において説明する。書き込まれるこれらのデータは、Ｂ_ｃ ^ｃｏｄとして示される符号化済みの現在のピクセルセットＢ_ｃに相当する。

【0112】

本発明によれば、そのような１つ又は複数の符号化モードは、有利には、符号化も、デコーダへの送信も行われない。

【0113】

サブピクセルセットＳＥ_１（ＳＥ_２及びＳＥ_３のそれぞれ）は、Ｂ_ｃの少なくとも１つのピクセル、Ｂ_ｃのピクセルの少なくとも１つの領域又はＢ_ｃ全体に相当し得る。

【0114】

実施されるイントラ、インター及び／又はスキップ符号化動作は、従来方式であり、ＡＶＣ、ＨＥＶＣ、ＶＶＣ符号化又は同様のものに準拠する。

【0115】

たった今説明した符号化は、当然ながら、言及した３つの異なる符号化モード又は２つのみの異なる符号化モードの中から、ましてや、３つ以上の異なる符号化モードの中からでさえ、単一の符号化モードをＢ_ｃに適用することができる。

【0116】

エンコーダ例示的実装形態
図８Ａは、本発明の第１の実施形態による図７に示す符号化方法を実施するために好適なエンコーダＣＯＤ１を示す。エンコーダＣＯＤ１は決定デバイスＤＥＭＯＤ１を含む。

【0117】

この第１の実施形態によると、符号化方法により行われる行為はコンピュータプログラム命令により実施される。そのために、符号化デバイスＣＯＤ１はコンピュータの従来のアーキテクチャを有しており、特に、メモリＭＥＭ＿Ｃ１と、例えばプロセッサＰＲＯＣ＿Ｃ１を備えた処理ユニットＵＴ＿Ｃ１であってメモリＭＥＭ＿Ｃ１内に格納されたプログラムＰＧ＿Ｃ１をコンピュータにより駆動される処理ユニットＵＴ＿Ｃ１とを含む。コンピュータプログラムＰＧ＿Ｃ１は、プログラムがプロセッサＰＲＯＣ＿Ｃ１により実行されると上述の符号化方法の行為を実施するための命令を含む。

【0118】

初期化時に、コンピュータプログラムＰＧ＿Ｃ１のコード命令は例えば、プロセッサＰＲＯＣ＿Ｃ１により実行される前にＲＡＭメモリ（示されない）内へロードされる。処理ユニットＵＴ＿Ｃ１のプロセッサＰＲＯＣ＿Ｃ１は特に、上に説明された符号化方法の行為をコンピュータプログラムＰＧ＿Ｃ１の命令に従って実施する。

【0119】

エンコーダＣＯＤ１は、現在のピクセルセットＢ_ｃを入力Ｅ＿Ｃ１において受信し、好適な通信インターフェース（示されない）を使用することによりデコーダへ送信されるトランスポートストリームＦを出力Ｓ＿Ｃ１において送出する。

【0120】

図８Ｂは、本発明の第２の実施形態による、図７に示される符号化方法の実施に適したエンコーダＣＯＤ２を示す。エンコーダＣＯＤ２は、前述の決定デバイスＤＥＭＯＤ２を含み、その次に、決定デバイスＤＥＭＯＤ２によって決定された１つ及び／又は複数の符号化モードＭＣ_ｃと併せて現在のピクセルセットＢ_ｃを符号化する畳み込みニューラルネットワークＲＮＣ２を含む。そのようなネットワークＲＮＣ２は、例えば、Ｌａｄｕｎｅ“Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｍｏｄｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ Ｌｅａｒｎｉｎｇ－ｂａｓｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＥＥＥ ＭＭＳＰ ２０２０という文献において説明されるタイプのものである。

【0121】

画像復号化方法
一般原理
以下では、図９を参照して、図１を参照して説明されるような少なくとも１つの復号化モードＭＤ_ｃの決定を実施する画像復号化方法の説明を提供する。

【0122】

そのような復号化方法は、図７の画像符号化に対応する画像復号化を実施する。具体的には、上記少なくとも１つの復号化モードＭＤ_ｃの決定は別として、復号化方法は、ＡＶＣ、ＨＥＶＣ、ＶＶＣ復号化又は同様のものに準拠する従来の復号化ステップを実施する。

【0123】

復号化方法は、以下を含む。

【0124】

Ｄ１では、受信されたトランスポートストリームＦから、従来方式で、Ｂ_ｃと関連付けられた符号化済みのデータが抽出され、データは、示される例では、
－ 残差ピクセルの符号化済みのサブセットＳＥＲ_１ ^ｃｏｄ及びそのイントラモードインデックス（実施されたのが図７のイントラ符号化Ｃ３０である場合）
－ 残差ピクセルの符号化済みのサブセットＳＥＲ_２ ^ｃｏｄ、及び、場合により、Ｖ_２ ^ｃｏｄ≠Ｖ_３ ^ｃｏｄの事例では、符号化済みの動きベクトルＶ_２ ^ｃｏｄ（実施されたのが図７のインター符号化Ｃ３１である場合）
－ 符号化済みの動きベクトルＶ_３ ^ｃｏｄ（実施されたのが図７のスキップ符号化Ｃ３２である場合）
である。

【0125】

これらのデータは、符号化済みの現在のピクセルセットＢ_ｃ ^ｃｏｄに相当する。

【0126】

Ｄ２では、図１に示されるそのＰ１－Ｐ２のステップにおける、少なくとも１つの復号化モードＭＤ_ｃの決定が実施され、符号化済みの現在のピクセルセットＢ_ｃ ^ｃｏｄのＮ個のピクセルの各々に対する現在の復号化モードＭＤ_ｃが生成される。

【0127】

Ｄ３では、どの復号化モードがＢ_ｃのどの符号化済みのサブピクセルセットＳＥ_１ ^ｃｏｄ、ＳＥ_２ ^ｃｏｄ、ＳＥ_３ ^ｃｏｄなどと関連付けられているかを決定するために、テストが行われる。

【0128】

Ｄ３０では、Ｂ_ｃ ^ｃｏｄの復号化のために復号化モードＭＤ_ｃ＝イントラが決定されたかどうかを決定するために、テストが行われる。

【0129】

応答が肯定（図９のＹ）の場合は、Ｄ４０において、サブピクセルセットＳＥ_１がイントラモードで復号化される。このステップの終了時には、復号化済みのサブピクセルセットＳＥ_１ ^ｄｅｃが生成される。

【0130】

応答が否定（図９のＮ）の場合は、Ｄ３１において、Ｂ_ｃ ^ｃｏｄの復号化のために復号化モードＭＤ_ｃ＝インターが決定されたかどうかを決定するために、テストが行われる。

【0131】

応答が肯定（図９のＹ）の場合は、Ｄ４１において、Ｖ_２ ^ｃｏｄ≠Ｖ_３ ^ｃｏｄの場合は、Ｖ_２ ^ｃｏｄの復号化から得られる動きベクトルＶ_２ ^ｄｅｃを使用して、及び、Ｖ_２ ^ｃｏｄ＝Ｖ_３ ^ｃｏｄの場合は、Ｖ_３ ^ｃｏｄの復号化から得られる動きベクトルＶ_３ ^ｄｅｃを使用して、サブピクセルセットＳＥ_２がインターモードで復号化される。このステップの終了時には、復号化済みのサブピクセルセットＳＥ_２ ^ｄｅｃが生成される。

【0132】

応答が否定（図９のＮ）の場合は、Ｄ３２において、Ｂ_ｃ ^ｃｏｄの復号化のために復号化モードＭＤ_ｃ＝スキップが決定されたかどうかを決定するために、テストが行われる。

【0133】

応答が肯定（図９のＹ）の場合は、Ｄ４２において、サブピクセルセットＳＥ_３がスキップモードで復号化される。このステップの終了時には、復号化済みの動きベクトルＶ_３ ^ｄｅｃを使用して復号化済みのサブピクセルセットＳＥ_３ ^ｄｅｃが生成される。

【0134】

応答が否定（図９のＮ）の場合は、Ｂ_ｃの符号化済みのピクセルのすべてに復号化モードＭＤ_ｃが割り当てられるまで、Ｂ_ｃの復号化のために別の復号化モードＭＤ_ｃが決定されたかどうかに関する決定が続く。

【0135】

Ｄ５では、復号化済みのサブピクセルセットＳＥ_１ ^ｄｅｃ、ＳＥ_２ ^ｄｅｃ、ＳＥ_３ ^ｄｅｃが連結される。ステップＤ５の終了時には、再構築された現在のピクセルセットＢ_ｃ ^ｄｅｃが生成される。

【0136】

本発明によれば、そのような１つ又は複数の復号化モードは、有利には、デコーダ側で自律的に決定される。

【0137】

実施されるイントラ、インター及び／又はスキップ復号化動作は、従来方式であり、ＡＶＣ、ＨＥＶＣ、ＶＶＣ符号化又は同様のものに準拠する。

【0138】

今説明した復号化は、当然ながら、言及した３つの異なる復号化モード又は２つのみの異なる復号化モードの中から、ましてや、３つ以上の異なる復号化モードの中からでさえ、単一の復号化モードを考慮中の符号化済みのピクセルセット（ここでは、Ｂ_ｃ ^ｃｏｄ）に適用することができる。１つ又は複数の復号化モードの適用は、考慮中の１つの符号化済みのピクセルセットから別の符号化済みのピクセルセットまで様々である。

【0139】

それ自体が知られている方法では、再構築された現在のピクセルセットＢ_ｃ ^ｄｅｃは、場合により、当業者に周知のループフィルタによるフィルタリングが行われ得る。

【0140】

デコーダ例示的実装形態
図１０Ａは、本発明の第１の実施形態による図９に示す復号化方法を実施するために好適なデコーダＤＥＣ１を示す。デコーダＤＥＣ１は決定デバイスＤＥＭＯＤ１を含む。

【0141】

この第１の実施形態によると、復号化方法により行われる行為はコンピュータプログラム命令により実施される。この目的を達成するために、デコーダＤＥＣ１は、コンピュータの従来のアーキテクチャを有しており、特に、メモリＭＥＭ＿Ｄ１と、例えばプロセッサＰＲＯＤ＿Ｄ１を備えた処理ユニットＵＴ＿Ｄ１であってメモリＭＥＭ＿Ｄ１内に格納されたプログラムＰＧ＿Ｄ１をコンピュータにより駆動される処理ユニットＵＴ＿Ｄ１とを含む。コンピュータプログラムＰＧ＿Ｄ１は、プログラムがプロセッサＰＲＯＣ＿Ｄ１により実行されると上述の復号化方法の行為を実施するための命令を含む。

【0142】

初期化時に、コンピュータプログラムＰＧ＿Ｄ１のコード命令は例えば、プロセッサＰＲＯＣ＿Ｄ１により実行される前にＲＡＭメモリ（示されない）内へロードされ得る。処理ユニットＵＴ＿Ｄ１のプロセッサＰＲＯＣ＿Ｄ１は特に、図９に関連して上に説明された復号化方法の行為をコンピュータプログラムＰＧ＿Ｄ１の命令に従って実施する。

【0143】

デコーダＤＥＣ１は、図８ＡのエンコーダＣＯＤ１により送信されたトランスポートストリームＦを入力Ｅ＿Ｄ１において受信し、現在の復号化されたピクセルセットＢ_ｃ ^ｄｅｃを出力Ｓ＿Ｄ１において送出する。

【0144】

図１０Ｂは、本発明の第２の実施形態による、図９に示される復号化方法の実施に適したデコーダＤＥＣ２を示す。デコーダＤＥＣ２は、前述の決定デバイスＤＥＭＯＤ２を含み、その次に、例えば、決定デバイスＤＥＭＯＤ２によって生成された復号化モードＭＤ_ｃと併せて現在の符号化済みのピクセルセットＢ_ｃ ^ｃｏｄを復号化する畳み込みニューラルネットワークＲＮＣ３を含む。そのようなネットワークＲＮＣ３は、例えば、Ｌａｄｕｎｅ“Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｍｏｄｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ Ｌｅａｒｎｉｎｇ－ｂａｓｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＥＥＥ ＭＭＳＰ ２０２０という文献において説明されるタイプのものである。

【0145】

少なくとも１つの符号化又は復号化モードを決定するための方法の変形形態
ここでは、図１１及び図１２を参照して、図１に示されるような少なくとも１つの符号化モードを決定するための方法の一変形形態の説明を提供する。そのような変形形態は、エンコーダＣＯＤ３において実施される。

【0146】

そのような変形形態は、得られた符号化又は復号化モードの精度／品質が十分ではない際における、図１の少なくとも１つの符号化又は復号化モードの決定の改善を目的とする。

【0147】

この目的を達成するために、エンコーダ側では、図１１に示すように、Ｃ’１において、前記少なくとも１つの基準ピクセルセットＢＲ_０は現在のピクセルセットＢ_ｃと共に解析される。例えば、２つの基準ピクセルセットＢＲ_０及びＢＲ_１がＢ_ｃと共に解析される。示された例では、ＢＲ_０は、時間的にＢ_ｃの前に配置され、ＢＲ_１は時間的にＢ_ｃの後に配置される。

【0148】

図１２に示すように、解析Ｃ’１は、非特許文献Ｌａｄｕｎｅ“Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｍｏｄｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ Ｌｅａｒｎｉｎｇ－ｂａｓｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＥＥＥ ＭＭＳＰ ２０２０に説明されるように、２つの基準ピクセルセットＢＲ_０及びＢＲ_１から並びに現在のピクセルセットＢ_ｃから、一定数の層（例えば畳み込みフィルタ（ＣＮＮ）を実施する層など）、続いて非線形及び間引きを実施する層を介した変換を生成する畳み込みニューラルネットワークＲＮＣ４を使用することにより実施される。

【0149】

工程Ｃ’１の終わりに、一組の潜在的変数が信号Ｕ’の形式で取得される。

【0150】

信号Ｕ’は、量子化器ＱＵＡＮＴ１（例えば量子化パラメータにより制御される一様な又はベクトル量子化器）によりＣ’２において量子化される。次に、量子化信号Ｕ’_ｑが取得される。

【0151】

Ｃ’３において、量子化信号Ｕ’_ｑは、判断された統計量共にエントロピエンコーダＣＥ１（例えば算術型の）を使用することにより符号化される。この統計量は例えば、統計の確率によりパラメータ化される（例えばラプラス則の分散及び平均（σ，μ）をモデル化することにより、又はそうでなければ、ＢａｌｌｅによりＩＣＬＲ ２０１８会議において開示された非特許文献“Ｖａｒｉａｔｉｏｎａｌ ｉｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ａ ｓｃａｌｅ ｈｙｐｅｒｐｒｉｏｒ”におけるようにｈｙｐｅｒｐｒｉｏｒを考慮することにより）。次に、符号化された量子化信号Ｕ’_ｑ ^ｃｏｄが取得される。

【0152】

Ｃ’４において、符号化された量子化信号Ｕ’_ｑ ^ｃｏｄは、デコーダＤＥＣ３（図１４に示す）へ送信されるトランスポートストリームＦ’に書き込まれる。

【0153】

示される例では、符号化済みの量子化された信号Ｕ’_ｑ ^ｃｏｄに含まれるデータは、図１を参照して上記で説明されるように決定されるような符号化モードＭＣ_ｃと関連付けられた情報を表す。ここで説明される実施形態では、ＭＣ_ｃは、スキップ符号化モードの使用を示すために、０に設定され、インター符号化モードの使用を示すために、１に設定される。

【0154】

この目的のため、ネットワークＲＮＣ４は、ＭＣ_ｃの０と１との間の値の重み付けの連続性を提供するために訓練されている。

【0155】

符号化の間、エンコーダＣＯＤ３は、Ｃ’１０において、参照ピクセルセットＢＲ_０、ＢＲ_１及び動きベクトルＶ_０、Ｖ_１を使用する動き補償を実行することによって、符号化予定のピクセルセットＢ_ｃを予測する。ベクトルＶ_０、Ｖ_１は、Ｌａｄｕｎｅ“Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｍｏｄｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ Ｌｅａｒｎｉｎｇ－ｂａｓｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＥＥＥ ＭＭＳＰ ２０２０において説明されるような「ＭＯＦＮＥｔ」ニューラルネットワークから導き出すことができる。これにより、ＢＰ_ｃ（ｘ，ｙ）と呼ばれるＢ_ｃの予測が得られる。予測Ｃ’１０は、ニューラルネットワークＲＮＣ４１を使用して実施される。

【0156】

Ｃ’１１では、図１２に示される乗算器ＭＵ１を使用して、Ｂ_ｃ及びＢＰ_ｃ（ｘ，ｙ）に０と１との間のモード値Ｍ_ｃ（ｘ，ｙ）がピクセル単位で乗じられる。この動作の終了時には、Ｃ’１２において、ニューラルネットワークＲＮＣ４２を通過した後のこれらの２つの重み付け入力を表す信号Ｕ”が得られる。Ｃ’１３では、量子化器ＱＵＡＮＴ２によって信号Ｕ”が量子化され、量子化された信号Ｕ”_ｑが生成される。次に、量子化された信号Ｕ”_ｑは、Ｃ’１４において、エントロピエンコーダＣＥ２によって符号化され、符号化済みの量子化された信号Ｕ”_ｑ ^ｃｏｄが生成される。ステップＣ’１３及びＣ’１４は、符号化済みの量子化された信号Ｕ”_ｑ ^ｃｏｄを生成するために、前述の参考文献によるニューラルネットワークに基づいてエンコーダにおいて実施される。

【0157】

Ｃ’１５では、符号化済みの量子化された信号Ｕ”_ｑ ^ｃｏｄがトランスポートストリームＦ”に書き込まれ、図１４に示されるようなデコーダＤＥＣ３に送信される。

【0158】

次に、デコーダＤＥＣ３において実施される図１に示す復号化モードを決定するための方法の一変形形態の説明が図１３及び図１４を参照して与えられる。

【0159】

この目的を達成するために、デコーダ側では、図１３に示すように、Ｄ’１において、少なくとも１つの基準ピクセルセットＢＲ_０が解析される（示された例では２組の基準ピクセルＢＲ_０及びＢＲ_１）。このような解析はニューラルネットワークＲＮＣ１を使用することにより図１の工程Ｐ１において行われるものと同一である。この工程の終わりに、Ｖ_０、Ｖ_１など及びＭＤ_ｃなどを表す潜在空間Ｕが取得される。

【0160】

ストリームＦ’の受信に続いて、Ｄ’２において、エントロピー復号化が、図１２のエントロピエンコーダＣＥ１に対応するエントロピデコーダＤＥ１を使用することにより、（同じ判断された統計量（ラプラス法の分散及び平均（σ、μ）のモデル化など）を有する）符号化された量子化信号Ｕ’_ｑ ^ｃｏｄに対して行われる。復号化された量子化信号Ｕ’_ｑはこの操作の終わりに取得される。

【0161】

Ｄ’３において、復号化された量子化信号Ｕ’_ｑは、図１４のニューラルネットワークＲＮＣ１により取得された潜在空間Ｕであって基準ピクセルセットＢＲ_０及びＢＲ_１だけの解析を表す潜在空間Ｕと連結される。

【0162】

次に、ニューラルネットワークＲＮＣ１は、Ｄ’４において、再構築のために符号化済みの現在のピクセルセットＢ_ｃ ^ｃｏｄに適用される復号化モードＭＤ_ｃの０と１の連続性の値と共に、動き情報Ｖ_０、Ｖ_１などを推定するために、図１のステップＰ２と同じ方法で、様々な層を通じて、この連結を処理する。

【0163】

ここで説明される実施形態では、図１１の符号化方法で決定及び使用された符号化モードＭＣ_ｃに従って、ＭＤ_ｃは、スキップ復号化モードの使用を示すために、０に設定され、インター復号化モードの使用を示すために、１に設定される。

【0164】

前述のタイプのニューラルネットワークＲＮＣ５は、現在のピクセルセットを再構築して、再構築されたピクセルセットＢ_ｃ ^ｄｅｃを生成するために、入力側でこの情報を受信する。そのようなネットワークＲＮＣ５は、例えば、Ｌａｄｕｎｅ“Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｍｏｄｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ Ｌｅａｒｎｉｎｇ－ｂａｓｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＥＥＥ ＭＭＳＰ ２０２０という文献において説明されるタイプのものである。この目的のため、ニューラルネットワークＲＮＣ５は、ニューラルネットワークＲＮＣ５０を含み、ニューラルネットワークＲＮＣ５０は、Ｄ’５において、ネットワークＲＮＣ１によって伝達される動き情報Ｖ_０、Ｖ_１などから及び参照ピクセルセットＢＲ_０、ＢＲ_１などから現在の予測ピクセルセットＢＰ_ｃ（ｘ，ｙ）を演算する。

【0165】

Ｄ’６では、図１４に示される乗算器ＭＵ２において、ＢＰ_ｃ（ｘ，ｙ）に（１－ＭＤ_ｃ（ｘ，ｙ））がピクセルごとに乗じられる。この動作の終了時には、復号化モードＭＤ_ｃ＝スキップで復号化されたＢ_ｃのピクセルを表す信号ＳＩＧ_１が得られる。

【0166】

Ｄ’７では、図１４に示される乗算器ＭＵ３において、ＢＰ_ｃ（ｘ，ｙ）にＭＤ_ｃ（ｘ，ｙ）がピクセルごとに乗じられる。

【0167】

続けて図１３及び図１４を参照すると、ニューラルネットワークＲＮＣ５は、ニューラルネットワークＲＮＣ５１も含み、ニューラルネットワークＲＮＣ５１は、Ｃ’１４においてエンコーダＣＯＤ３によって生成されたフローＦ”（図１１及び図１２を参照）の受信に続いて、Ｄ’８において、図１２のエンコーダＣＯＤ３によって実施されるような符号化モードＭＣ_ｃによって重み付けされた予測から生じたピクセル残差に相当する符号化済みの量子化された信号Ｕ”_ｑ ^ｃｏｄをエントロピー復号化する。そのような復号化は、Ｄ’７で実施された乗算の結果を使用する。

【0168】

ステップＤ’８の終了時には、復号化モードＭＤ_ｃ＝インターで復号化されたＢ_ｃのピクセルを表す信号ＳＩＧ_２が生成される。

【0169】

Ｄ’９では、加算器ＡＤにおいて、信号ＳＩＧ１と信号ＳＩＧ２が加えられ、Ｂ_ｃ全体の再構築されたピクセルを含む再構築された現在のピクセルセットＢ_ｃ ^ｄｅｃが生成される。

【0170】

従って、ＭＤ_ｃ（ｘ，ｙ）がゼロに近い場合は、予測ＢＰ_ｃ（ｘ，ｙ）が優勢である。

【0171】

それに対して、ＭＤ_ｃ（ｘ，ｙ）が１に近い場合は、ＢＰ_ｃ（ｘ，ｙ）に加えて搬送された差信号ＳＩＧ_２を使用して、再構築された信号Ｂ_ｃ ^ｄｅｃが形成される。

【0172】

図３Ａ以降を参照して上記で開示されている実施形態では、少なくとも１つの符号化モードを決定するための方法において、２つの参照ピクセルセットＢＲ_０、ＢＲ_１が使用される。

【0173】

これらの実施形態は、３つ以上の参照ピクセルセットに拡大することができる。この目的のため、図３Ｂを参照して説明されるニューラルネットワークＲＮＣ１は、符号化モードＭＣ_ｃ又は復号化モードＭＤ_ｃを得るために、３つの参照ピクセルセットＢＲ_０、ＢＲ_１、ＢＲ_２又はそれ以上から訓練される。

【符号の説明】

【0174】

ＢＲ_０、ＢＲ_１、ＢＲ_２ 参照ピクセルセット
Ｖ_０、Ｖ_１ 変位ベクトル

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【国際調査報告】