特表 2024-507568 テンプレートマッチングを使用する動きベクトル差による代替マージモード

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-20

(54)【発明の名称】テンプレートマッチングを使用する動きベクトル差による代替マージモード

(51)【国際特許分類】

   H04N 19/513 20140101AFI20240213BHJP

   H04N 19/523 20140101ALI20240213BHJP

【ＦＩ】

H04N19/513

H04N19/523

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023551656

(86)(22)【出願日】2022-09-21

(85)【翻訳文提出日】2023-08-24

(86)【国際出願番号】 US2022076788

(87)【国際公開番号】W WO2023059983

(87)【国際公開日】2023-04-13

(31)【優先権主張番号】63/252,579

(32)【優先日】2021-10-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/946,498

(32)【優先日】2022-09-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】チェン，リン－フェイ

(72)【発明者】

【氏名】リー，シャン

(72)【発明者】

【氏名】リウ，シャン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159NN16

5C159NN21

(57)【要約】

本開示の態様は、ビデオ復号のための方法、機器、及び非一時的コンピュータ可読記憶媒体を提供する。機器は、コーディングされたビットストリーム内の現在ブロックの予測情報を復号するよう構成される処理回路を含む。予測情報は、テンプレートマッチング（TM）モードを有する動きベクトル差によるマージモード（MMVD）、及び現在ブロックの動きベクトル差（MVD）情報を示す。処理回路は、MVD情報に基づき１つ以上のMVD候補を決定できる。処理回路は、TMを実行して、１つ以上のMVD候補に基づき、現在ブロックの現在テンプレートと現在ブロックの参照ブロックの参照テンプレートとの間の一致するMVDを検索できる。処理回路は、動きベクトル予測子（MVP）と一致するMVDの和である動きベクトル（MV）に基づき、現在ブロックを再構成できる。

【特許請求の範囲】

【請求項1】

ビデオデコーダにおけるビデオ復号の方法であって、
コーディングされたビットストリームにおける現在ブロックの予測情報を復号するステップであって、前記予測情報は、テンプレートマッチング（TM）モードによる動きベクトル差（MMVD）を有するマージモードと、前記現在ブロックの動きベクトル差（MVD）情報と、を示す、ステップと、
前記MVD情報に基づいて１つ以上のMVD候補を決定するステップと、
TMを実行して、前記１つ以上のMVD候補に基づいて、前記現在ブロックの現在テンプレートと前記現在ブロックの参照ブロックの参照テンプレートとの間で一致するMVDを検索するステップと、
動きベクトル予測子（MVP）と前記一致するMVDの和である動きベクトル（MV）に基づいて前記現在ブロックを再構成するステップと、
を含む方法。

【請求項2】

前記１つ以上のMVD候補が１つのMVD候補であり、
前記MVD情報は、前記１つのMVD候補の大きさを示す距離情報と、前記１つのMVD候補の方向を示す方向情報と、を含み、
前記１つ以上のMVD候補を決定するステップは、前記１つのMVD候補の大きさと前記１つのMVD候補の方向に基づいて前記１つのMVD候補を決定するステップを含み、
前記TMを実行するステップは、前記１つのMVD候補の周囲で前記TMを実行するステップを含む、請求項１に記載の方法。

【請求項3】

前記コーディングされたビットストリームは、さらに、TMフラグを含み、前記TMフラグは前記TMが前記現在ブロックに対して有効であることを示す、請求項２に記載の方法。

【請求項4】

前記距離情報は複数の距離のうちの距離を指す距離インデックスを含み、前記距離は前記１つのMVD候補の大きさであり、前記複数の距離は前記TMの検索範囲に基づく、請求項３に記載の方法。

【請求項5】

前記TMの前記検索範囲は、水平方向と垂直方向の[-L，＋L]の範囲であり、Lは正の整数であり、前記複数の距離の中の最小距離はL又はL/２に等しい、請求項４に記載の方法。

【請求項6】

前記距離情報は複数の距離のうちの距離を指す距離インデックスを含み、前記距離は前記１つのMVD候補の大きさであり、前記複数の距離は等差数列になっている、請求項３に記載の方法。

【請求項7】

前記１つ以上のMVD候補が、同じ方向を持つ複数のMVD候補を含み、
前記MVD情報は、前記複数のMVD候補の方向を示す方向情報を含み、
前記１つ以上のMVD候補を決定するステップは、前記複数のMVD候補の方向と複数の距離に基づいて前記複数のMVD候補を決定するステップであって、前記複数のMVD候補は前記複数の距離に基づいて順序付けられる、ステップを含み、
前記TMを実行するステップは、
前記複数のMVD候補の各々について、前記TMを各々のMVD候補に適用してTMコストと、各々のMVD候補に対応する対応する更新されたMVD候補と、を得るステップと、
前記TMコストと前記対応する更新されたMVD候補に基づいて前記一致するMVDを決定するステップと、
を含む、請求項１に記載の方法。

【請求項8】

前記MVD情報が距離インデックスを含み、
前記TMを実行するステップは、
前記複数のMVD候補の前記TMコストに応じて前記複数のMVD候補を並べ替えるステップと、
前記一致したMVDを、並べ替えられた前記複数のMVD候補の前記距離インデックスによって示される前記MVD候補に対応する更新されたMVD候補であると決定するステップと、
を含む、請求項７に記載の方法。

【請求項9】

前記TMを実行するステップは、前記一致したMVDを、前記複数のMVD候補の前記TMコストの最小TMコストに対応する前記更新されたMVD候補であると決定するステップを含む、請求項７に記載の方法。

【請求項10】

前記１つ以上のMVD候補が、同じ大きさを持つ複数のMVD候補を含み、
前記MVD情報は、前記複数のMVD候補の大きさを示す距離情報を含み、
前記１つ以上のMVD候補を決定するステップは、前記複数のMVD候補の大きさと複数の方向に基づいて前記複数のMVD候補を決定するステップであって、前記複数のMVD候補は前記複数の方向に従い順序付けられる、ステップを含み、
前記TMを実行するステップは、
前記複数のMVD候補の各々について、前記TMを各々のMVD候補に適用してTMコストと、各々のMVD候補に対応する対応する更新されたMVD候補と、を得るステップと、
前記TMコストと前記対応する更新されたMVD候補に基づいて前記一致するMVDを決定するステップと、
を含む、請求項１に記載の方法。

【請求項11】

前記MVD情報が方向インデックスを含み、
前記TMを実行するステップは、
前記複数のMVD候補の前記TMコストに応じて前記複数のMVD候補を並べ替えるステップと、
前記一致したMVDを、並べ替えられた前記複数のMVD候補の前記方向インデックスによって示される前記MVD候補に対応する更新されたMVD候補であると決定するステップと、
を含む、請求項１０に記載の方法。

【請求項12】

前記TMを実行するステップは、前記一致したMVDを、前記複数のMVD候補の前記TMコストのうちの最小TMコストに対応する前記更新されたMVD候補であると決定するステップを含む、請求項１０に記載の方法。

【請求項13】

ビデオ復号のための機器であって、処理回路を含み、前記処理回路は、
コーディングされたビットストリームにおける現在ブロックの予測情報を復号し、前記予測情報は、テンプレートマッチング（TM）モードによる動きベクトル差（MMVD）を有するマージモードと、前記現在ブロックの動きベクトル差（MVD）情報と、を示し、
前記MVD情報に基づいて１つ以上のMVD候補を決定し、
TMを実行して、前記１つ以上のMVD候補に基づいて、前記現在ブロックの現在テンプレートと前記現在ブロックの参照ブロックの参照テンプレートとの間で一致するMVDを検索し、
動きベクトル予測子（MVP）と前記一致するMVDの和である動きベクトル（MV）に基づいて前記現在ブロックを再構成する、
よう構成される、機器。

【請求項14】

前記１つ以上のMVD候補が１つのMVD候補であり、
前記MVD情報は、前記１つのMVD候補の大きさを示す距離情報と、前記１つのMVD候補の方向を示す方向情報と、を含み、
前記処理回路は、
前記１つのMVD候補の大きさと前記１つのMVD候補の方向に基づいて前記１つのMVD候補を決定し、
前記１つのMVD候補の周囲で前記TMを実行する、
よう構成される、請求項１３に記載の機器。

【請求項15】

前記コーディングされたビットストリームは、さらに、TMフラグを含み、前記TMフラグは前記TMが前記現在ブロックに対して有効であることを示す、請求項１４に記載の機器。

【請求項16】

前記１つ以上のMVD候補が、同じ方向を持つ複数のMVD候補を含み、
前記MVD情報は、前記複数のMVD候補の方向を示す方向情報を含み、
前記処理回路は、
前記複数のMVD候補の方向と複数の距離に基づいて前記複数のMVD候補を決定し、前記複数のMVD候補は前記複数の距離に基づいて順序付けられ、
前記複数のMVD候補の各々について、前記TMを各々のMVD候補に適用してTMコストと、各々のMVD候補に対応する対応する更新されたMVD候補と、を得て、
前記TMコストと前記対応する更新されたMVD候補に基づいて前記一致するMVDを決定する、
よう構成される、請求項１３に記載の機器。

【請求項17】

前記MVD情報が距離インデックスを含み、
前記処理回路は、
前記複数のMVD候補の前記TMコストに応じて前記複数のMVD候補を並べ替え、
前記一致したMVDを、並べ替えられた前記複数のMVD候補の前記距離インデックスによって示される前記MVD候補に対応する更新されたMVD候補であると決定する、
よう構成される、請求項１６に記載の機器。

【請求項18】

前記１つ以上のMVD候補が、同じ大きさを持つ複数のMVD候補を含み、
前記MVD情報は、前記複数のMVD候補の大きさを示す距離情報を含み、
前記処理回路は、
前記複数のMVD候補の大きさと複数の方向に基づいて前記複数のMVD候補を決定し、前記複数のMVD候補は前記複数の方向に従い順序付けられ、
前記複数のMVD候補の各々について、前記TMを各々のMVD候補に適用してTMコストと、各々のMVD候補に対応する対応する更新されたMVD候補と、を得て、
前記TMコストと前記対応する更新されたMVD候補に基づいて前記一致するMVDを決定する、
よう構成される、請求項１３に記載の機器。

【請求項19】

前記MVD情報が方向インデックスを含み、
前記処理回路は、
前記複数のMVD候補の前記TMコストに応じて前記複数のMVD候補を並べ替え、
前記一致したMVDを、並べ替えられた前記複数のMVD候補の前記方向インデックスによって示される前記MVD候補に対応する更新されたMVD候補であると決定する、
よう構成される、請求項１８に記載の機器。

【請求項20】

プログラムを格納している非一時的コンピュータ可読記憶媒体であって、前記プログラムは、
コーディングされたビットストリームにおける現在ブロックの予測情報を復号するステップであって、前記予測情報は、テンプレートマッチング（TM）モードによる動きベクトル差（MMVD）を有するマージモードと、前記現在ブロックの動きベクトル差（MVD）情報と、を示す、ステップと、
前記MVD情報に基づいて１つ以上のMVD候補を決定するステップと、
TMを実行して、前記１つ以上のMVD候補に基づいて、前記現在ブロックの現在テンプレートと前記現在ブロックの参照ブロックの参照テンプレートとの間で一致するMVDを検索するステップと、
動きベクトル予測子（MVP）と前記一致するMVDの和である動きベクトル（MV）に基づいて前記現在ブロックを再構成するステップと、
を実行するために少なくとも１つのプロセッサにより実行可能である、非一時的コンピュータ可読記憶媒体。

【請求項21】

ビデオエンコーダにおけるビデオ符号化の方法であって、
動きベクトル差によるマージモード（MMVD）を使用して現在ブロックの１つ以上の動きベクトル差（MVD）候補を決定するステップであって、MMVDモードとテンプレートマッチング（TM）モードが現在ブロックを符号化するために使用される、ステップと、
TMを１つ以上のMVD候補に適用することにより、前記現在ブロックのMVDを決定するステップと、
動きベクトル予測子（MVP）と決定したMVDの和である動きベクトル（MV）に基づき、前記現在ブロックを符号化するステップと、
前記現在ブロックの予測情報をビットストリームに符号化するステップであって、前記予測情報は、前記現在ブロックのMMVDとTMモードとMVD情報を示す、ステップと、
を含む方法。

【請求項22】

ビデオ符号化のための機器であって、処理回路を含み、前記処理回路は、
動きベクトル差によるマージモード（MMVD）を使用して現在ブロックの１つ以上の動きベクトル差（MVD）候補を決定し、MMVDモードとテンプレートマッチング（TM）モードが現在ブロックを符号化するために使用され、
TMを１つ以上のMVD候補に適用することにより、前記現在ブロックのMVDを決定し、
動きベクトル予測子（MVP）と決定したMVDの和である動きベクトル（MV）に基づき、前記現在ブロックを符号化し、
前記現在ブロックの予測情報をビットストリームに符号化し、前記予測情報は、前記現在ブロックのMMVDとTMモードとMVD情報を示す、
よう構成される、機器。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
本願は、米国仮特許出願番号第６３／２５２，５７９号、「Alternative Merge Mode with MVD （MMVD） By Using Template-Matching」、２０２１年１０月５日出願、の優先権の利益を主張する米国特許出願番号第１７／９４６，４９８号、「ALTERNATIVE MERGE MODE WITH MOTION VECTOR DIFFERENCE BY USING TEMPLATE-MATCHING」、２０２２年９月１６日出願の優先権の利益を主張する。前述の出願の開示は、それらの全体が参照によりここに組み込まれる。

【0002】

［技術分野］
本開示は、概して、ビデオコーディングに関連する実施形態を記載する。

【背景技術】

【0003】

ここに提供される背景の説明は、本開示のコンテキストの概要を提示するためである。現在名前の挙げられた発明者の研究は、この背景の章に記載された研究の範囲で、出願時に従来技術として見なされない可能性のある記載の態様と同様に、本開示に対する従来技術として明示的に又は暗示的にも認められるものではない。

【0004】

非圧縮デジタル画像及び／又はビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば１９２０×１０８０個のルミナンスサンプル及び関連するクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒６０ピクチャ又は６０Hｚの固定又は可変ピクチャレート（略式にフレームレートとしても知られている）を有し得る。非圧縮画像及び／又はビデオは、特定のビットレート要件を有する。例えば、８ビット／サンプルの１０８０ｐ６０ ４：２：０ビデオ（６０Hzフレームレートで１９２０×１０８０ルミナンスサンプル解像度）は、１．５Gbit/sに近い帯域幅を必要とする。１時間のこのようなビデオは６００GByteより多くの記憶空間を必要とする。

【0005】

画像及び／又はビデオコーディング及び復号の１つの目的は、圧縮を通じて、入力画像及び／又はビデオ信号の中の冗長性の削減であり得る。圧縮は、幾つかの場合には大きさで２桁以上も、前述の帯域幅及び／又は記憶空間要件を軽減するのを助けることができる。本願明細書の記載は、ビデオ符号化／復号を説明のための例として使用するが、本開示の精神から逸脱することなく同様の方法で同じ技術が画像符号化／復号に適用できる。無損失圧縮又は損失圧縮の両方、及びそれらの組み合わせが利用できる。無損失圧縮は、元の信号の正確なコピーが圧縮された元の信号から再構成可能である技術を表す。損失圧縮を用いると、再構成された信号は、元の信号と同一ではないが、元の信号と再構成された信号との間の歪みは、意図される用途のために有用な再構成された信号を生成するのに十分に小さい。ビデオの場合には、損失圧縮が広く利用される。耐えうる歪みの量は、アプリケーションに依存し、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン配信アプリケーションのユーザよりも高い歪みに耐え得る。達成可能な圧縮比は、許容可能／耐性歪みが高いほど、高い圧縮比を生じ得ることを反映できる。

【0006】

ビデオエンコーダ及びデコーダは、例えば動き補償、変換処理、量子化、及びエントロピーコーディングを含む幾つかの広い分類からの技術を利用できる。

【0007】

ビデオコーデック技術は、イントラ符号化として知られる技術を含むことができる。イントラコーディングでは、サンプル値は、前に再構成された参照ピクチャからのサンプル又は他のデータを参照することなく、表現される。幾つかのビデオコーデックでは、ピクチャは、サンプルのブロックに空間的に細分化される。サンプルの全部のブロックがイントラモードでコーディングされるとき、そのピクチャはイントラピクチャであり得る。イントラピクチャ、及び独立したデコーダリフレッシュピクチャのようなそれらの派生物は、デコーダ状態をリセットするために使用でき、従って、コーディングビデオビットストリーム及びビデオセッションの中の第１ピクチャとして、又は静止画像として使用できる。イントラブロックのサンプルは変換されることができ、変換係数は、エントロピーコーディングの前に量子化できる。イントラ予測は、変換前のドメインにおけるサンプル値を最小化する技術であり得る。幾つかの場合には、変換後のDC値が小さいほど、及びAC係数が小さいほど、エントロピーコーディングの後にブロックを表現するために所与の量子化ステップサイズで必要なビット数が少ない。

【0008】

例えば、MPEG－２世代のコーディング技術で使用される伝統的なイントラコーディングは、イントラ予測を使用しない。しかしながら、幾つかの新しいビデオ圧縮技術は、例えば、データブロックの符号化及び／又は復号の間に取得される周囲のサンプルデータ及び／又はメタデータに基づき予測を実行しようとする。このような技術は、以後、「イントラ予測」技術と呼ばれる。少なくとも幾つかの場合には、イントラ予測は、参照ピクチャからではなく、再構成中の現在ピクチャからの参照データのみを使用する。

【0009】

多くの異なる形式のイントラ予測が存在し得る。１つより多くのこのような技術が所与のビデオコーディング技術において使用できるとき、使用される特定の技術は、特定の技術を使用する特定のイントラ予測モードとしてコーディングすることができる。特定のケースでは、イントラ予測モードはサブモード及び／又はパラメータを持つことができ、サブモード及び／又はパラメータは個別にコーディングすることも、使用されている予測モードを定義するモードコードワードに含めることもできる。所与のモード、サブモード、及び／又はパラメータの組合せのためにどのコードワードを使用すべきかは、イントラ予測を通じてコーディング効率の向上に影響を与えることができ、従って、コードワードをビットストリームに変換するためにエントロピーコーディング技術を使用できる。

【0010】

特定のイントラ予測モードが、H.２６４により導入され、H.２６５で改良され、共同探索モデル（joint exploration model （JEM））、バーサタイルビデオコーディング（versatile video coding （VVC））、及びベンチマークセット（benchmark set （BMS））のような更に新しいコーディング技術において改良された。予測ブロックは、既に利用可能なサンプルの近隣サンプル値を用いて形成されることができる。近隣サンプルのサンプル値は、方向に従い予測ブロックにコピーされる。使用中の方向の参照は、ビットストリーム内に符号化でき、又はそれ自体が予測されてよい。

【0011】

図１Aを参照すると、右下に示され、H.２６５で定義された３３個の可能な予測方向（３５個のイントラモードのうちの３３個の角度モードに対応する）から分かる９個の予測方向の部分集合が示される。矢印が集中する点（１０１）は、予測中のサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が１つ以上のサンプルから、水平から４５度の角度で右上へと予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が１つ以上のサンプルから、水平から２２．５度の角度でサンプル（１０１）の左下へと予測されることを示す。

【0012】

更に図１Aを参照すると、左上に、（太い破線で示される）４×４個のサンプルの正方形ブロック（１０４）が示される。正方形ブロック（１０４）は、１６個のサンプルを含み、各サンプルは「S」、そのＹ次元の位置（例えば、行インデックス）、及びそのＸ次元の位置（例えば、列インデックス）でラベル付けされる。例えば、サンプルS２１は、Y次元の（上から）２番目のサンプル、且つX次元の（左から）１番目のサンプルである。同様に、サンプルS４４は、Y及びXの両方の次元で、ブロック（１０４）内の４番目のサンプルである。ブロックが４×４サンプルのサイズであるとき、S４４は右下にある。更に、同様の番号付け方式に従う参照サンプルが示される。参照サンプルは、R、ブロック（１０４）に対するそのY位置（例えば、行インデックス）及びX位置（列インデックス）によりラベル付けされる。Ｈ．２６４及びＨ．２６５の両方で、予測サンプルは、再構成中のブロックの近隣にあり、従って、負の値は使用される必要がない。

【0013】

イントラピクチャ予測は、シグナリングされた予測方向により示されるとき、近隣サンプルから参照サンプル値をコピーすることにより、動作できる。例えば、コーディングビデオビットストリームは、このブロックについて、矢印（１０２）と一致する予測方向を示すシグナリングを含む。つまり、サンプルは、水平から４５度の角度で右上へと予測される。この場合、サンプルS４１、S３２、S２３、及びS１４は、同じ参照サンプルR０５から予測される。サンプルS４４は、次に、参照サンプルR０８から予測される。

【0014】

特定の場合には、参照サンプルを計算するために、特に方向が４５度により均等に分割できないとき、複数の参照サンプルの値が、例えば補間を通じて結合されてよい。

【0015】

可能な方向の数は，ビデオ符号化技術が発展するにつれ、増加してきた。Ｈ．２６４（２００３年）では、９個の異なる方向が提示されることができた。それはH．２６５（２００３年）には３３に増加した。現在は、JEM/VVC/BMSは最大で６５個の方向をサポートできる。最も可能性の高い方向を識別するために実験が行われ、あまり可能性の高くない方向の特定のペナルティを受け入れながら、これらの可能性の高い方向を少数のビットで表現するために、エントロピーコーディングにおいて特定の技術が使用されている。更に、方向自体は、近隣の既に復号されたブロックにおける近隣の方向から予測できることがある。

【0016】

図１Bは、時間に渡り予測方向の数が増大することを説明するために、JEMに従う６５個のイントラ予測方向を示す図（１１０）を示す。

【0017】

コーディングされたビデオビットストリーム内の方向を表すイントラ予測方向ビットのマッピングは、ビデオコーディング技術によって異なる場合がある。そのようなマッピングは、例えば、単純な直接マッピングから、コードワード、ほとんどの可能性のあるモードを含む複雑な適応スキーム、及び同様の技術にまで及ぶ可能性がある。しかしながら、殆どの場合に、ビデオコンテンツにおいて統計的に生じる可能性が、特定の他の方向よりあまり高くない特定の方向が存在し得る。ビデオ圧縮の目標は、冗長性の削減であるので、これらのあまり可能性の高くない方向は、良好に動作するビデオコーディング技術では、より可能性の高い方向より多数のビットにより表されるだろう。

【0018】

画像及び／又はビデオコーディング及び復号は、動き補償を伴うインターピクチャ予測を用いて実行できる。動き補償は、損失圧縮技術であり、前に再構成されたピクチャ又はその部分（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以後、ＭＶ）により示される方向に空間的にシフトされた後に、新しく再構成されたピクチャ又はピクチャ部分の予測のために使用される技術に関連し得る。幾つかの場合には、参照ピクチャは、現在再構成中のピクチャと同じであり得る。MVは、２つの次元X及びY、又は第３次元が使用中の参照ピクチャの指示である３つの次元を有することができる（後者は、間接的に時間次元であり得る）。

【0019】

幾つかのビデオ圧縮技術では、サンプルデータの特定領域に適用可能なMVは他のMVから、例えば再構成中の領域に空間的に隣接するサンプルデータの別の領域に関連し且つ復号順序の中で当該MVに先行するMVから、予測できる。そうすることは、結果として、ＭＶを符号化するために必要なデータ量を削減でき、それにより、冗長性を除去し圧縮を向上する。ＭＶ予測は、例えばカメラから得られた入力ビデオ信号（自然なビデオ（natural video）として知られる）を符号化するとき、単一のＭＶが適用可能な領域より大きな領域が同様の方向に動き、したがって、幾つかの場合には近隣領域のＭＶから導出した同様の動きベクトルを用いて予測可能である、統計的可能性がある。これは、周囲のMVから予測したMVと同様の又は同じ、所与の領域について見付かったMVをもたらす。また、これは、エントロピーコーディングの後に、MVを直接コーディングする場合に使用され得るより少ない数のビットで提示され得る。幾つかの場合には、MV予測は、元の信号（つまり、サンプルストリーム）から得た信号（つまり、MV）の無損失圧縮の一例であり得る。他の場合には、MV予測自体は、例えば幾つかの周囲のMVから予測子を計算するとき、誤りを丸め込むので、損失になり得る。

【0020】

種々のＭＶ予測メカニズムは、Ｈ．２６５／ＨＥＶＣ（ITU-T Rec. H.２６５, "High Efficiency Video Coding", December ２０１６）に記載されている。Ｈ．２６５の提供する多くのＭＶ予測メカニズムの中から、以下では、図２を参照して、「空間マージ（spatial merge）」と呼ばれる技術ｗ説明する。

【0021】

図２を参照すると、現在ブロック（２０１）は、動き探索処理の間に、空間的にシフトされたものと同じサイズの前のブロックから予測可能であるとしてエンコーダにより見付けられたサンプルを含む。MVを直接コーディングする代わりに、MVは、１つ以上の参照ピクチャに関連付けられたメタデータから、例えば（復号順で）最近の参照ピクチャから、A０、A１、及びB０、B１、B２（各々２０２～２０６）５個の周囲のサンプルのうちのいずれか１つに関連付けられたMVを用いて導出できる。H.２６５では、MV予測は、近隣ブロックの使用するのと同じ参照ピクチャからの予測子を使用できる。

【発明の概要】

【0022】

開示の態様は、ビデオ符号化及び／又は復号のための方法及び機器を提供する。幾つかの例では、ビデオ復号のための機器は処理回路を含む。処理回路は、コーディングされたビットストリーム内の現在ブロックの予測情報を復号するよう構成される。予測情報は、テンプレートマッチング（TM）モードを有する動きベクトル差によるマージモード（MMVD）、及び現在ブロックの動きベクトル差（MVD）情報を示すことができる。処理回路は、MVD情報に基づき１つ以上のMVD候補を決定できる。処理回路は、TMを実行して、１つ以上のMVD候補に基づき、現在ブロックの現在テンプレートと現在ブロックの参照ブロックの参照テンプレートとの間の一致するMVDを検索できる。処理回路は、動きベクトル予測子（MVP）と一致するMVDの和である動きベクトル（MV）に基づき、現在ブロックを再構成する。

【0023】

実施形態では、１つ以上のMVD候補は１つのMVD候補である。MVD情報には、１つのMVD候補の大きさを示す距離情報と、１つのMVD候補の方向を示す方向情報が含まれる。処理回路は、１つのMVD候補の大きさと１つのMVD候補の方向に基づいて１つのMVD候補を決定し、１つのMVD候補の周囲でTMを実行する。例えば、コーディングされたビットストリームは、さらに、TMフラグを含み、TMフラグはTMが現在ブロックに対して有効であることを示す。距離情報には、距離が１つのMVD候補の大きさである複数の距離のうちの１つの距離を指す距離インデックスが含まれる。複数の距離はTMの検索範囲に基づいている。例えば、TMの検索範囲は、水平方向及び垂直方向で[-L、＋L]の範囲内にあり、ここでLは正の整数である。複数の距離のうち最小の距離は、L又はL/２に等しくすることができる。

【0024】

例では、距離情報には、距離が１つのMVD候補の大きさである複数の距離のうちの１つの距離を指す距離インデックスが含まれる。複数の距離は等差数列になっている。

【0025】

実施形態では、１つ以上のMVD候補は、同じ方向を持つ複数のMVD候補を含む。MVD情報は、複数のMVD候補の方向を示す方向情報を含む。処理回路は、複数のMVD候補の方向と複数の距離に基づいて、複数のMVD候補を決定する。複数のMVD候補は、複数の距離に基づいて順序付けることができる。処理回路は、複数のMVD候補の各々について、TMを各々のMVD候補に適用し、TMコストと、各々のMVD候補に対応する対応する更新されたMVD候補を得ることができる。処理回路は、TMコストと対応する更新されたMVD候補に基づいて、一致するMVDを決定することができる。

【0026】

例では、MVD情報に距離インデックスが含まれている。処理回路は、複数のMVD候補のTMコストに応じて複数のMVD候補を並べ替え、一致したMVDを、並べ替えられた複数のMVD候補の距離インデックスによって示されるMVD候補に対応する更新されたMVD候補であると決定するよう構成される。

【0027】

例では、処理回路は、一致したMVDを、複数のMVD候補のTMコストの最小TMコストに対応する更新されたMVD候補であると決定する。

【0028】

実施形態では、１つ以上のMVD候補は、同じ大きさを持つ複数のMVD候補を含み、MVD情報は、複数のMVD候補の大きさを示す距離情報を含む。処理回路は、複数のMVD候補の大きさと、複数の方向に基づいて、複数のMVD候補を決定する。複数のMVD候補は、複数の方向に従って順序付けられる。処理回路は、複数のMVD候補の各々について、TMを各々のMVD候補に適用し、TMコストと、各々のMVD候補に対応する対応する更新されたMVD候補を得ることができる。処理回路は、TMコストと対応する更新されたMVD候補に基づいて、一致するMVDを決定することができる。

【0029】

例では、MVD情報には方向インデックスが含まれている。処理回路は、複数のMVD候補のTMコストに応じて複数のMVD候補を並べ替え、一致したMVDを、並べ替えられた複数のMVD候補の方向インデックスによって示されるMVD候補に対応する更新されたMVD候補であると決定するよう構成される。

【0030】

例では、処理回路は、一致したMVDを、複数のMVD候補のTMコストの最小TMコストに対応する更新されたMVD候補であると決定する。

【0031】

本開示の態様は、ビデオ復号の方法を実行するために少なくとも１つのプロセッサにより実行可能なプログラムを格納している非一時的コンピュータ可読記憶媒体も提供する。

【図面の簡単な説明】

【0032】

開示の主題の更なる特徴、特性、及び種々の利点は、以下の詳細な説明及び添付の図面から一層明らかになるだろう。

【図1A】イントラ予測モードの例示的な部分集合の概略図である。

【図1B】例示的なイントラ予測方向の図である。

【0033】

【図2】現在ブロック（２０１）と周囲サンプルの例を示す。

【0034】

【図3】通信システム（３００）の例示的なブロック図の概略図である。

【0035】

【図4】通信システム（４００）の例示的なブロック図の概略図である。

【0036】

【図5】デコーダの例示的なブロック図の概略図である。

【0037】

【図6】エンコーダの例示的なブロック図の概略図である。

【0038】

【図7】例示的なエンコーダのブロック図を示す。

【0039】

【図8】例示的なデコーダのブロック図を示す。

【0040】

【図9】例示的な空間的マージ候補の位置を示す。

【0041】

【図10】空間的マージ候補の冗長性チェックのために考慮される例示的な候補ペアを示す。

【0042】

【図11】時間的マージ候補のための例示的な動きベクトルのスケーリングを示す。

【0043】

【図12】時間的マージ候補のための例示的な候補位置を示す。

【0044】

【図13】テンプレートマッチングの例を示す

【0045】

【図14】例示的な符号化処理の概略を示すフローチャートを示す。

【0046】

【図15】例示的な復号処理の概略を示すフローチャートを示す。

【0047】

【図16】一実施形態による、コンピュータシステムの概略図である。

【発明を実施するための形態】

【0048】

図３は、通信システム（３００）の例示的なブロック図を示す。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信できる複数の端末装置を含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された端末装置（３１０）及び（３２０）の第１ペアを含む。図３の例では、端末装置（３１０）及び（３２０）の第１ペアは、データの単方向伝送を実行する。例えば、端末装置（３１０）は、ネットワーク（３５０）を介して他の端末装置（３２０）への送信のために、ビデオデータ（端末装置（３１０）によりキャプチャされたビデオピクチャのストリーム）を符号化する。符号化ビデオデータは、１つ以上のコーディングビデオビットストリームの形式で、送信できる。端末装置（３２０）は、ネットワーク（３５０）からコーディングビデオデータを受信し、コーディングビデオデータを復号してビデオピクチャを復元し、復元したビデオデータに従いビデオピクチャを表示してよい。単方向データ伝送は、メディアサービングアプリケーション等で共通であってよい。

【0049】

別の例では、通信システム（３００）は、例えばビデオ会議の間に符号化ビデオデータの双方向伝送を実行する端末装置（３３０）及び（３４０）の第２ペアを含む。データの双方向伝送では、端末装置（３３０）及び（３４０）は、ネットワーク（３５０）を介して端末装置（３３０）及び（３４０）への送信のために、ビデオデータ（例えば、端末装置によりキャプチャされたビデオピクチャのストリーム）を符号化してよい。端末装置（３３０）及び（３４０）のうちの各端末装置は、端末装置（３３０）及び（３４０）のうちの他方の端末装置により送信されたコーディングビデオデータを受信してよく、コーディングビデオデータを復号してビデオピクチャを復元してよく、復元したビデオデータに従い、アクセス可能なディスプレイ装置においてビデオピクチャを表示してよい。

【0050】

図３の例では、端末装置（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして各々示されるが、本開示の原理はこれらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤ、及び／又は専用ビデオ会議設備による適用がある。ネットワーク（３５０）は、端末装置（３１０）、（３２０）、（３３０）、及び（３４０）の間で符号化ビデオデータを運ぶ任意の数のネットワークを表し、例えば有線（ワイヤード）及び／又は無線通信ネットワークを含む。通信ネットワーク（３５０）は、回線交換及び／又はパケット交換チャネルでデータを交換してよい。代表的なネットワークは、電子通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／又はインターネットを含む。本発明の議論の目的で、ネットワーク（３５０）のアーキテクチャ及びトポロジは、以下で特に断りの無い限り、本開示の動作にとって重要でないことがある。

【0051】

図４は、開示の主題の適用の一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダを示す。開示の主題は、例えばビデオ会議、デジタルＴＶ、ストリーミングサービス、CD、DVD、メモリスティック、等を含むデジタル媒体への圧縮ビデオの格納、他のビデオ可能アプリケーション、等に等しく適用可能である。

【0052】

ストリーミングシステムは、例えば非圧縮のビデオピクチャストリーム（４０２）を生成するビデオソース（４０１）を含み得るキャプチャサブシステム（４１３）を含んでよい。一例では、ビデオピクチャストリーム（４０２）は、デジタルカメラにより取り込まれたサンプルを含む。ビデオピクチャストリーム（４０２）は、符号化ビデオデータ（４０４）（又はコーディングビデオビットストリーム）と比べたとき、高データ容量を強調するために太線で示され、ビデオソース（４０１）と結合されたビデオエンコーダ（４０３）を含む電子装置（４２０）により処理され得る。ビデオエンコーダ（４０３）は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含み、以下に詳述するように開示の主題の態様を可能にし又は実装することができる。符号化ビデオデータ（４０４）（又は符号化ビデオビットストリーム）は、ビデオピクチャストリーム（４０２）と比べたとき、低データ容量を強調するために細線で示され、将来の使用のためにストリーミングサーバ（４０５）に格納され得る。図４のクライアントサブシステム（４０６）及び（４０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（４０５）にアクセスして、符号化ビデオデータ（４０４）のコピー（４０７）及び（４０９）を読み出すことができる。クライアントサブシステム（４０６）は、例えば電子装置（４３０）内にビデオデコーダ（４１０）を含み得る。ビデオデコーダ（４１０）は、符号化ビデオデータの入力コピー（４０７）を復号し、ディスプレイ（４１２）（例えばディスプレイスクリーン）又は他のレンダリング装置（図示しない）上でレンダリングできる出力ビデオピクチャストリーム（４１１）を生成する。幾つかのストリーミングシステムでは、符号化ビデオデータ（４０４）、（４０７）、及び（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮標準に従い符号化され得る。これらの規格の例は、ITU-T Recommendation H.２６５を含む。一例では、策定中のビデオコーディング規格は、略式にVVC（Versatile Video Coding）として知られている。開示の主題は、VVCの文脈で使用されてよい。

【0053】

電子装置（４２０）及び（４３０）は他のコンポーネント（図示しない）を含み得ることに留意する。例えば、電子装置（４２０）は、ビデオデコーダ（図示しない）を含むことができ、電子装置（４３０）もビデオエンコーダ（図示しない）を含むことができる。

【0054】

図５は、ビデオデコーダ（５１０）の例示的なブロック図を示す。ビデオデコーダ（５１０）は、電子装置（５３０）に含まれ得る。電子装置（５３０）は、受信機（５３１）（例えば、受信回路）を含み得る。ビデオデコーダ（５１０）は、図４の例では、ビデオデコーダ（４１０）の代わりに使用できる。

【0055】

受信機（５３１）は、ビデオデコーダ（５１０）によって復号される１つ以上のコーディングされたビデオシーケンスを受信することができる。実施形態では、一度に１つのコーディングされたビデオシーケンスを受信し、各コーディングされたビデオシーケンスの復号は、他のコーディングされたビデオシーケンスの復号から独立している。コーディングビデオシーケンスは、符号化ビデオデータを格納する記憶装置へのハードウェア／ソフトウェアリンクであってよいチャネル（５０１）から受信されてよい。受信機（５３１）は、他のデータ、例えば、各々の使用エンティティ（図示しない）へと転送され得るコーディング音声データ及び／又は補助データストリームと共に、符号化ビデオデータを受信してよい。受信機（５３１）は、他のデータからコーディングビデオシーケンスを分離してよい。ネットワークジッタを除去するために、バッファメモリ（５１５）は、受信機（５３１）とエントロピーデコーダ／パーサ（５２０）（以後、「パーサ（５２０）」）との間に結合されてよい。特定の適用では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の一部である。他に、ビデオデコーダ（５１０）（図示しない）の外部にあり得る。更に他では、例えばネットワークジッタを除去するために、ビデオデコーダ（５１０）の外部に、例えば再生（playout）タイミングを処理するために、ビデオデコーダ（５１０）の内部にある別のバッファメモリ（５１５）に加えて、バッファメモリ（図示しない）が存在し得る。受信機（５３１）が、十分な帯域幅の記憶／転送装置から制御可能に、又はアイソクロナス（isosynchronous）ネットワークから、データを受信しているとき、バッファメモリ（５１５）は、必要なくてよく又は小さくできる。インターネットのようなベストエフォート型パケットネットワークで使用するために、バッファメモリ（５１５）が必要とされてよく、比較的大きくなり、有利なことに適応型サイズであり、少なくとも部分的にオペレーティングシステム又はビデオデコーダ（５１０）の外部の同様の要素（図示しない）に実装されてよい。

【0056】

ビデオデコーダ（５１０）は、コーディングビデオシーケンスからシンボル（５２１）を再構成するために、パーサ（５２０）を含んでよい。これらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報、及び場合によっては図５に示したように電子装置（５３０）の統合部分ではないが電子装置（５３０）に結合され得るレンダー装置（５１２）（例えば、ディスプレイスクリーン）のようなレンダリング装置を制御するための情報を含む。レンダリング装置のための制御情報は、SEI（Supplemental Enhancement Information）メッセージ又はVUI（Video Usability Information）パラメータセットフラグメント（図示しない）の形式であってよい。パーサ（５２０）は、受信されたコーディングビデオシーケンスをパース／エントロピー復号してよい。コーディングビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト依存性を有する又は有しない算術的コーディング、等を含む、種々の原理に従うことができる。パーサ（５２０）は、コーディングビデオシーケンスから、ビデオデコーダの中のピクセルのサブグループのうちの少なくとも１つについて、該グループに対応する少なくとも１つのパラメータに基づき、サブグループパラメータのセットを抽出してよい。サブグループは、GOP（Groups of Picture）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（Coding Units：CU）、ブロック、変換ユニット（Transform Units：TU）、予測ユニット（Prediction Units：PU）、等を含み得る。パーサ（５２０）は、符号化ビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル、等のような情報も抽出してよい。

【0057】

パーサ（５２０）は、バッファメモリ（５１５）から受信したビデオシーケンスに対してエントロピー復号／パース動作を実行して、シンボル（５２１）を生成してよい。

【0058】

シンボル（５２１）の再構成は、コーディングビデオピクチャ又はその部分の種類（例えば、インター及びイントラピクチャ、インター及びイントラブロック）及び他の要因に依存して、複数の異なるユニットを含み得る。どのユニットがどのように含まれるかは、コーディングされたビデオシーケンスからパーサ（５２０）によりパースされたグループ制御情報により制御できる。パーサ（５２０）と以下の複数のユニットとの間のこのようなサブグループ制御情報のフローは、明確さのために示されない。

【0059】

既に言及した機能ブロックを超えて、ビデオデコーダ（５１０）は、後述のように、多数の機能ユニットに概念的に細分化できる。商用的制約の下で動作する実際の実装では、これらのユニットの多くは、互いに密に相互作用し、少なくとも部分的に互いに統合され得る。しかしながら、開示の主題を説明する目的で、機能ユニットへの以下の概念的細分化は適切である。

【0060】

第１ユニットは、スケーラ／逆変換ユニット５５１である。スケーラ／逆変換ユニット（５５１）は、量子化済み変換係数、及び、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクス、等を含む制御情報を、パーサ（５２０）からのシンボル（５２１）として受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力され得るサンプル値を含むブロックを出力できる。

【0061】

幾つかの場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラコーディングされたブロックに関連し得る。イントラコーディングされたブロックは、前に再構成されたピクチャからの予測情報を使用しないが現在ピクチャの前に再構成された部分からの予測情報を使用可能なブロックである。このような予測情報は、イントラピクチャ予測ユニット（５５２）により提供できる。幾つかの場合には、イントラピクチャ予測ユニット（５５２）は、再構成中のブロックと同じサイズ及び形状のブロックを、現在ピクチャバッファ（５５８）からフェッチした周囲の既に再構成された情報を用いて、生成する。現在ピクチャバッファ（５５８）は、例えば、再構成された現在ピクチャを部分的に及び／又は再構成された現在ピクチャを完全にバッファリングする。アグリゲータ（５５５）は、幾つかの場合には、サンプル毎に、イントラ予測ユニット（５５２）の生成した予測情報を、スケーラ／逆変換ユニット（５５１）により提供された出力サンプル情報に追加する。

【0062】

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、場合によっては動き補償された、ブロックに関連し得る。このような場合には、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測ために使用されるサンプルをフェッチできる。ブロックに関連するシンボル（５２１）に従いフェッチしたサンプルを動き補償した後に、これらのサンプルは、アグリゲータ（５５５）により、出力サンプル情報を生成するために、スケーラ／逆変換ユニット（５５１）の出力に追加され得る（この場合、残差サンプル又は残差信号と呼ばれる）。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えばＸ、Ｙ及び参照ピクチャコンポーネントを有し得るシンボル（５２１）の形式で、動き補償予測ユニット（５５３）の利用可能な動きベクトルにより制御できる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるとき参照ピクチャメモリ（５５７）からフェッチされたサンプル値の補間、動きベクトル予測メカニズム、等を含み得る。

【0063】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において種々のループフィルタリング技術を受け得る。ビデオ圧縮技術には、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（５２０）からシンボル（５２１）としてループフィルタユニット（５５６）が使用できるようにするインループフィルタ技術を含めることができる。ビデオ圧縮は、以前に再構成されループフィルタリングされたサンプル値に応答するだけでなく、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（復号順で）前の部分の復号中に取得されたメタ情報に応答することもできる。

【0064】

ループフィルタユニット（５５６）の出力は、レンダー装置（５１２）へと出力でき及び将来のインターピクチャ予測で使用するために参照ピクチャメモリ（５５７）に格納され得るサンプルストリームであり得る。

【0065】

特定のコーディングピクチャは、一旦完全に再構成されると、将来の予測のための参照ピクチャとして使用できる。例えば、現在ピクチャに対応するコーディングピクチャが完全に再構成され、コーディングピクチャが（例えばパーサ（５２０）により）参照ピクチャとして識別されると、現在ピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の一部になることができ、後続のコーディングピクチャの再構成を開始する前に、新鮮な現在ピクチャバッファを再割り当てできる。

【0066】

ビデオデコーダ（５１０）は、ITU-T Rec．H．２６５のような規格又は所定のビデオ圧縮技術に従い復号動作を実行してよい。コーディングビデオシーケンスがビデオ圧縮技術又は規格、及びビデオ圧縮技術又は規格において文書化されたプロファイルの両方に従うという意味で、コーディングビデオシーケンスは、使用中のビデオ圧縮技術又は規格により指定されたシンタックスに従ってよい。具体的に、プロファイルは、ビデオ圧縮技術又は標準において利用可能な全部のツールから、プロファイルの下でのみ使用可能なツールとして、特定のツールを選択できる。また、遵守のために必要なことは、コーディングビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルにより定められる限界の範囲内であることであり得る。幾つかの場合には、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えばメガサンプル／秒で測定される）、最大参照ピクチャサイズ、等を制限する。レベルにより設定される限界は、幾つかの場合には、HRD（Hypothetical Reference Decoder）仕様及びコーディングビデオシーケンスの中でシグナリングされるHRDバッファ管理のためのメタデータを通じて更に制限され得る。

【0067】

実施形態では、受信機（５３１）は、符号化ビデオと共に追加（冗長）データを受信してよい。追加データは、コーディングビデオシーケンスの部分として含まれてよい。追加データは、データを正しく復号するため及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（５１０）により使用されてよい。追加データは、例えば、時間的、空間的、又は信号雑音比（SNR）の拡張レイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、等の形式であり得る。

【0068】

図６は、ビデオエンコーダ（６０３）の例示的なブロック図を示す。ビデオエンコーダ（６０３）は、電子装置（６２０）に含まれる。電子装置（６２０）は、送信機（６４０）（例えば、送信回路）を含む。ビデオエンコーダ（６０３）は、図４の例では、ビデオエンコーダ（４０３）の代わりに使用できる。

【0069】

ビデオエンコーダ（６０３）は、ビデオサンプルを、ビデオエンコーダ（６０３）によりコーディングされるべきビデオ画像をキャプチャし得るビデオソース（６０１）（図６の例では、電子装置（６２０）の部分ではない）から受信してよい。別の例では、ビデオソース（６０１）は、電子装置（６２０）の一部である。

【0070】

ビデオソース（６０１）は、ビデオエンコーダ（６０３）によりコーディングされるべきソースビデオシーケンスを、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えば、BT.６０１ Y CrCB, RGB、．．．）、及び任意の適切なサンプリング構造（例えば、YCrCb ４:２:０、YCrCb ４:４:４）のデジタルビデオサンプルストリームの形式で、提供してよい。メディア提供システムでは、ビデオソース（６０１）は、前に準備されたビデオを格納する記憶装置であってよい。ビデオ会議システムでは、ビデオソース（６０１）は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラであってよい。ビデオデータは、続けて閲覧されると動きを与える複数の個別ピクチャとして提供されてよい。ピクチャ自体は、ピクセルの空間的配列として組織化されてよい。各ピクセルは、使用中のサンプリング構造、色空間、等に依存して、１つ以上のサンプルを含み得る。当業者は、ピクセルとサンプルとの間の関係を直ちに理解できる。以下の説明はサンプルに焦点を当てる。

【0071】

実施形態によると、ビデオエンコーダ（６０３）は、ソースビデオシーケンスのピクチャを、コーディングビデオシーケンス（６４３）へと、リアルタイムに又は要求される任意の他の時間制約の下でコーディングし圧縮してよい。適切なコーディング速度の実施は、制御部（６５０）の１つの機能である。幾つかの実施形態では、制御部（６５０）は、後述する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。結合は、明確さのために図示されない。制御部（６５０）により設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、ＧＯＰ（group of pictures）レイアウト、最大動きベクトル探索範囲、等を含み得る。制御部（６５０）は、特定のシステム設計に最適化されたビデオエンコーダ（６０３）に関連する他の適切な機能を有するよう構成され得る。

【0072】

幾つかの実施形態では、ビデオエンコーダ（６０３）は、コーディングループの中で動作するよう構成される。非常に簡略化された説明として、一例では、コーディングループは、ソースコーダ（６３０）（例えば、シンボルストリームのようなシンボルを、コーディングされるべき入力ピクチャ及び参照ピクチャに基づき生成することを担う）、及びビデオエンコーダ（６０３）に内蔵された（ローカル）デコーダ（６３３）を含み得る。デコーダ（６３３）は、（リモート）デコーダが作成するのと同様の方法でサンプルデータを作成するためにシンボルを再構成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号が、デコーダ位置（ローカル又はリモート）と独立にビット正確な結果をもたらすとき、参照ピクチャメモリ（６３４）の内容も、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分が、復号中に予測を用いるときデコーダが「見る」のと正確に同じサンプル値を、参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理（及び、例えばチャネルエラーのために同期生が維持できない場合には、結果として生じるドリフト）は、幾つかの関連技術で同様に使用される。

【0073】

「ローカル」デコーダ（６３３）の動作は、図５と関連して以上に詳述したビデオデコーダ（５１０）のような「リモート」デコーダのものと同じであり得る。簡単に一時的に図５も参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ（６４５）及びパーサ（５２０）による符号化ビデオシーケンスへのシンボルの符号化／復号が無損失であり得るので、バッファメモリ（５１５）を含むビデオデコーダ（５１０）のエントロピー復号部分、及びパーサ（５２０）は、ローカルデコーダ（６３３）に完全に実装されなくてよい。

【0074】

実施形態では、デコーダに存在する解析/エントロピー復号を除くデコーダ技術は、対応するエンコーダに、同一又は実質的に同一の機能形態で存在する。したがって、記載された開示の主題は、デコーダ動作に焦点を当てる。エンコーダ技術の説明は、それらが包括的に説明されるデコーダ技術の逆であるので、省略できる。特定の領域において、より詳細な説明が、以下に提供される。

【0075】

動作中、幾つかの例では、ソースコーダ（６３０）は、動き補償された予測符号化を実行してよい。これは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の前の符号化ピクチャを参照して予測的に入力ピクチャを符号化する。この方法では、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測基準として選択されてよい参照ピクチャのピクセルブロックとの間の差分をコーディングする。

【0076】

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）により生成されたシンボルに基づき、参照ピクチャとして指定されてよいピクチャのコーディングビデオデータを復号してよい。コーディングエンジン（６３２）の動作は、有利なことに、損失処理であってよい。コーディングビデオデータがビデオデコーダ（図６に図示されない）において復号され得るとき、再構成ビデオシーケンスは、標準的に、幾つかのエラーを有するソースビデオシーケンスの複製であってよい。ローカルビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダにより実行され得る復号処理を複製し、参照ピクチャメモリ（６３４）に格納されるべき再構成参照ピクチャを生じ得る。このように、ビデオエンコーダ（６０３）は、（伝送誤りが無ければ）遠端ビデオデコーダにより取得される再構成参照ピクチャと共通の内容を有する再構成参照ピクチャのコピーを格納してよい。

【0077】

予測器（６３５）は、コーディングエンジン（６３２）のために予測探索を実行してよい。つまり、符号化されるべき新しいピクチャについて、予測器（６３５）は、新しいピクチャのための適切な予測基準として機能し得る（候補参照ピクセルブロックのような）サンプルデータ又は参照ピクチャ動きベクトル、ブロック形状、等のような特定のメタデータについて、参照ピクチャメモリ（６３４）を検索してよい。予測器（６３５）は、適切な予測基準を見付けるために、サンプルブロック－ピクセルブロック毎に動作してよい。幾つかの例では、予測器（６３５）により取得された検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に格納された複数の参照ピクチャから引き出された予測基準を有してよい。

【0078】

制御部（６５０）は、例えば、ビデオデータの符号化のために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理してよい。

【0079】

全ての前述の機能ユニットの出力は、エントロピーコーダ（６４５）におけるエントロピーコーディングを受けてよい。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術的コーディング、等のような技術に従いシンボルに無損失圧縮を適用することにより、種々の機能ユニットにより生成されたシンボルを、コーディングビデオシーケンスへと変換する。

【0080】

送信機（６４０）は、符号化ビデオデータを格納し得る記憶装置へのハードウェア／ソフトウェアリンクであってよい通信チャネル（６６０）を介する伝送のために準備するために、エントロピーコーダ（６４５）により生成された符号化ビデオシーケンスをバッファリングしてよい。送信機（６４０）は、ビデオエンコーダ（６０３）からのコーディングビデオデータを、送信されるべき他のデータ、例えばコーディング音声データ及び／又は補助データストリーム（図示されないソース）とマージしてよい。

【0081】

制御部（６５０）は、ビデオエンコーダ（６０３）の動作を管理してよい。コーディング中、制御部（６５０）は、各々のピクチャに適用され得るコーディング技術に影響し得る特定のコーディングピクチャタイプを、各コーディングピクチャに割り当ててよい。例えば、ピクチャは、多くの場合、以下のピクチャタイプのうちの１つとして割り当てられてよい。

【0082】

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の任意の他のピクチャを使用せずにコーディング及び復号され得るピクチャであってよい。幾つかのビデオコーデックは、例えばIDR（Independent Decoder Refresh）ピクチャを含む異なる種類のイントラピクチャを許容する。当業者は、Iピクチャの変形、及びそれらの個々の適用及び特徴を認識する。

【0083】

予測ピクチャ（Pピクチャ）は、殆どの場合、各ブロックのサンプル値を予測するために１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いてコーディング及び復号され得るピクチャであってよい。

【0084】

双方向予測ピクチャ（Bピクチャ、Bi-directionally Predictive Picture （B Picture））は、各ブロックのサンプル値を予測するために最大で２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いてコーディング及び復号され得るピクチャであってよい。同様に、マルチ予測ピクチャは、単一のブロックの再構成のために、２つより多くの参照ピクチャ及び関連付けられたメタデータを使用できる。

【0085】

ソースピクチャは、一般に、複数のサンプルブロック（例えば、各々４×４、８×８、４×８、又は１６×１６個のサンプルのブロック）に空間的に細分化され、ブロック毎にコーディングされてよい。ブロックは、ブロックの各々のピクチャに適用されるコーディング割り当てにより決定される他の（既にコーディングされた）ブロックへの参照により予測的にコーディングされてよい。例えば、Iピクチャのブロックは、非予測的にコーディングされてよく、又はそれらは同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてよい（空間予測又はイントラ予測）。Pピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的にコーディングされてよい。Bピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的にコーディングされてよい。

【0086】

ビデオエンコーダ（６０３）は、ITU-T Rec．H．２６５のような所定のビデオコーディング技術又は規格に従いコーディング動作を実行してよい。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスの中の時間的及び空間的冗長性を利用する予測コーディング動作を含む種々の圧縮動作を実行してよい。コーディングビデオデータは、従って、使用されているビデオコーディング技術又は規格により指定されたシンタックスに従ってよい。

【0087】

一実施形態では、送信機（６４０）は、符号化ビデオと共に追加データを送信してよい。ソースコーダ（６３０）は、このようなデータをコーディングビデオシーケンスの部分として含んでよい。追加データは、時間／空間／SNR拡張レイヤ、冗長ピクチャ及びスライスのような他の形式の冗長データ、SEIメッセージ、VUIパラメータセットフラグメント、等を含んでよい。

【0088】

ビデオは、時系列の中の複数のソースピクチャ（ビデオピクチャ）としてキャプチャされてよい。イントラピクチャ予測（イントラ予測と省略されることがある）は、所与のピクチャの中の空間的相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を利用する。一例では、符号化／復号中の特定のピクチャは、現在ピクチャと呼ばれ、ブロックにパーティションされる。現在ピクチャの中のブロックが、ビデオの中の前に符号化され且つ未だバッファリングされている参照ピクチャの中の参照ブロックと同様であるとき、現在ピクチャの中のブロックは、動きベクトルと呼ばれるベクトルにより符号化できる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用中である場合には、参照ピクチャを識別する第３次元を有することができる。

【0089】

幾つかの実施形態では、双予測（bi-prediction）技術が、インターピクチャ予測で使用できる。双予測技術によると、両方とも復号順序でビデオの中の現在ピクチャより前にある（が、各々表示順序で過去及び未来にあってよい）第１参照ピクチャ及び第２参照ピクチャのような２つの参照ピクチャが使用される。現在ピクチャ内のブロックは、第１参照ピクチャ内の第１参照ブロックを指す第１動きベクトル、及び第２参照ピクチャ内の第２参照ブロックを指す第２動きベクトルによりコーディングできる。ブロックは、第１参照ブロック及び第２参照ブロックの結合により予測できる。

【0090】

さらに、コーディング効率を向上するために、インターピクチャ予測においてマージモード技術が使用できる。

【0091】

本開示の幾つかの実施形態によると、インターピクチャ予測及びイントラピクチャ予測のような予測は、ブロックのユニットの中で実行される。例えば、HEVC規格によると、ビデオピクチャシーケンスの中のピクチャは、圧縮のためにコーディングツリーユニット（coding tree unit：CTU）にパーティションされる。ピクチャ内のCTUは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルのような、同じサイズを有する。通常、CTUは、３個のコーディングツリーブロック（coding tree blocks：CTB）、つまり１個のルマCTB及び２個のクロマCTB、を含む。各ＣＴＵは、１又は複数の符号化ユニット（coding unit：CU）に再帰的に４分木分割できる。例えば、６４×６４ピクセルのCTUは、６４×６４ピクセルの１個のCU、又は３２×３２ピクセルの４個のCU、又は１６×１６ピクセルの１６個のCUに分割できる。一例では、各CUは、インター予測タイプ又はイントラ予測タイプのようなCUの予測タイプを決定するために分析される。CUは、時間的及び／又は空間的予測性に依存して、１つ以上の予測ユニット（prediction unit：PU）に分割される。通常、各PUは、ルマ予測ブロック（prediction block：PB）、及び２個のクロマPBを含む。一実施形態では、コーディング（符号化／復号）における予測演算が、予測ブロックのユニットの中で実行される。ルマ予測ブロックを予測ブロックの一例として用いると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル、等のようなピクセルについて値（例えば、ルマ値）のマトリクスを含む。

【0092】

図７は、ビデオエンコーダ（７０３）の例示的な図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャシーケンスの中の現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックをコーディングビデオシーケンスの部分であるコーディングピクチャに符号化するよう構成される。一例では、ビデオエンコーダ（７０３）は、図４の例では、ビデオエンコーダ（４０３）の代わりに使用される。

【0093】

ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、８×８サンプル等の予測ブロックのような、処理ブロックのサンプル値のマトリクスを受信する。ビデオエンコーダ（７０３）は、例えばレート歪み最適化を用いて、処理ブロックがイントラモード、インターモード、又は双予測モードを用いて最適にコーディングされるかを決定する。処理ブロックはイントラモードでコーディングされるとき、ビデオエンコーダ（７０３）は、処理ブロックをコーディングピクチャへと符号化するために、イントラ予測技術を使用してよい。処理ブロックがインターモード又は双予測モードでコーディングされるとき、ビデオエンコーダ（７０３）は、処理ブロックをコーディングピクチャへと符号化するために、各々インター予測又は双予測技術を使用してよい。特定のビデオコーディング技術では、マージモードは、予測器の外部のコーディング動きベクトル成分の利益無しに、動きベクトルが１つ以上の動きベクトル予測器から導出されるインターピクチャ予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するために、モード決定モジュール（図示しない）のような他のコンポーネントを含む。

【0094】

図７の例では、ビデオエンコーダ（７０３）は、図７に示したように一緒に結合されたインターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算器（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、一般制御部（７２１）、及びエントロピーエンコーダ（７２５）を含む。

【0095】

インターエンコーダ（７３０）は、現在ブロック（例えば、処理中のブロック）のサンプルを受信し、ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャ及び後のピクチャの中のブロック）と比較し、インター予測情報（例えば、インター符号化技術による冗長情報の説明、動きベクトル、マージモード情報）を生成し、任意の適切な技術を用いてインター予測情報に基づきインター予測結果（例えば、予測ブロック）を計算するよう構成される。幾つかの例では、参照ピクチャは、符号化ビデオ情報に基づき復号された、復号参照ピクチャである。

【0096】

イントラエンコーダ（７２２）は、現在ブロック（例えば、処理中のブロック）のサンプルを受信し、幾つかの場合には、ブロックをサンプルピクチャ内の既にコーディングされたブロックと比較し、変換後に量子化済み係数を生成し、幾つかの場合にはイントラ予測情報（例えば、１つ以上のイントラ符号化技術によるイントラ予測方向情報）も生成するよう構成される。一例では、イントラエンコーダ（７２２）は、イントラ予測情報及び同じピクチャ内の参照ブロックに基づき、イントラ予測結果（例えば、予測したブロック）も計算する。

【0097】

一般制御部（７２１）は、一般制御データを決定し、一般制御データに基づきビデオエンコーダ（７０３）の他のコンポーネントを制御するよう構成される。一例では、一般制御部（７２１）は、ブロックのモードを決定し、モードに基づき、制御信号をスイッチ（７２６）に提供する。例えば、モードがイントラモードであるとき、一般制御部（７２１）は、残差計算器（７２３）による使用のためにイントラモード結果を選択するようスイッチ（７２６）を制御し、イントラ予測情報を選択してビットストリーム内にイントラ予測情報を含めるよう、エントロピーエンコーダ（７２５）を制御し、モードがインターモードであるとき、一般制御部（７２１）は、残差計算器（７２３）による使用のためにインター予測結果を選択するようスイッチ（７２６）を制御し、インター予測情報を選択してビットストリーム内にインター予測情報を含めるよう、エントロピーエンコーダ（７２５）を制御する。

【0098】

残差計算器（７２３）は、受信したブロックとイントラエンコーダ（７２２）又はインターエンコーダ（７３０）からの選択された予測結果との間の差（残差データ）を計算するよう構成される。残差エンコーダ（７２４）は、残差データに基づき動作して、残差データを符号化し、変換係数を生成するよう構成される。一例では、残差エンコーダ（７２４）は、残差データを空間ドメインから周波数ドメインへと変換し、変換係数を生成するよう構成される。変換係数は、次に、量子化変換係数を得るために、量子化処理を受ける。種々の実施形態では、ビデオエンコーダ（７０３）も残差デコーダ（７２８）を含む。残差デコーダ（７２８）は、逆変換を実行し、復号残差データを生成するよう構成される。復号残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）により適切に使用できる。例えば、インターエンコーダ（７３０）は、復号残差データ及びインター予測情報に基づき復号ブロックを生成でき、イントラエンコーダ（７２２）は、復号残差データ及びイントラ予測情報に基づき復号ブロックを生成できる。復号ブロックは、復号ピクチャを生成するために適切に処理され、復号ピクチャは、幾つかの例ではメモリ回路（図示しない）にバッファリングされ、参照ピクチャとして使用できる。

【0099】

エントロピーエンコーダ（７２５）は、符号化ブロックを含めるために、ビットストリームをフォーマットするよう構成される。エントロピーエンコーダ（７２５）は、HEVC規格のような適切な規格に従うビットストリーム内の種々の情報を含むよう構成される。一例では、エントロピーエンコーダ（７２５）は、ビットストリームに、一般制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報を含めるよう構成される。開示の主題によると、インターモード又は双予測モードのいずれかのマージサブモードでブロックをコーディングするとき、残差情報は存在しないことに留意する。

【0100】

図８は、ビデオデコーダ（８１０）の例示的な図を示す。ビデオデコーダ（８１０）は、コーディングビデオシーケンスの部分であるコーディングピクチャを受信し、コーディングピクチャを復号して再構成ピクチャを生成するよう構成される。一例では、ビデオデコーダ（８１０）は、図４の例では、ビデオデコーダ（４１０）の代わりに使用される。

【0101】

図８の例では、ビデオデコーダ（８１０）は、図８に示したように一緒に結合されたエントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、イントラデコーダ（８７２）を含む。

【0102】

エントロピーデコーダ（８７１）は、コーディングピクチャから、コーディングピクチャの生成されたシンタックス要素を表す特定のシンボルを再構成するよう構成され得る。このようなシンボルは、例えば、ブロックのコーディングされたモード（例えば、イントラモード、インターモード、双方向モード、マージサブモード又は別のサブモードの後者の２つ）、各々イントラデコーダ（８７２）又はインターデコーダ（８８０）による予測のために使用される特定のサンプル又はメタデータを特定できる予測情報（例えば、イントラ予測情報又はインター予測情報）を含み得る。シンボルには、例えば量子化された変換係数などの形式で残差情報を含めることもできる。一例では、予測モードがインター又は双方向予測モードであるとき、インター予測情報がインターデコーダ（８８０）に提供され、予測タイプがイントラ予測タイプであるとき、イントラ予測情報がイントラデコーダ（８７２）に提供される。残差情報は、逆量子化され、残差デコーダ（８７３）に提供される。

【0103】

インターデコーダ（８８０）は、インター予測情報を受信し、インター予測情報に基づきインター予測結果を生成するよう構成される。

【0104】

イントラデコーダ（８７２）は、イントラ予測情報を受信し、イントラ予測情報に基づき予測結果を生成するよう構成される。

【0105】

残差デコーダ（８７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して、残差情報を周波数ドメイン情報から空間ドメインへと変換するよう構成される。残差デコーダ（８７３）は、（量子化器パラメータ（Quantizer Parameter：QP）を含むための）特定の制御情報も要求してよい。この情報は、エントロピーデコーダ（８７１）により提供されてよい（これは低容量制御情報のみなので、データ経路は示されない）。

【0106】

再構成モジュール（８７４）は、空間ドメインで、残差デコーダ（８７３）による出力としての残差情報と（場合によりインター又はイントラ予測モジュールによる出力としての）予測結果とを結合して、再構成ピクチャの部分であり得る、一方で再構成ビデオの部分であり得る、再構成ブロックを形成するよう構成される。デブロッキング動作などのような他の適切な動作が、視覚的品質を向上するために実行できる。

【0107】

ビデオエンコーダ（４０３）、（６０３）、及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、任意の適切な技術を用いて実装できることに留意する。一実施形態では、ビデオエンコーダ（４０３）、（６０３）、及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、１つ以上の集積回路を用いて実装できる。別の実施形態では、ビデオエンコーダ（４０３）、（６０３）、及び（６０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装できる。

【0108】

VVCでは、様々なインター予測モードを使用できる。インター予測CUの場合、動きパラメータには、MV、１つ以上の参照ピクチャインデックス、参照ピクチャリスト使用インデックス、及びインター予測されたサンプルの生成に使用される特定のコーディング機能の追加情報を含めることができる。動きパラメータは、明示的又は暗示的に通知できる。CUがスキップモードでコーディングされている場合、CUはPUと関連付けることができ、有意な残差係数、コーディングされた動きベクトルデルタ又はMV差（例えば、MVD）又は参照ピクチャインデックスを持たないことができる。マージモードは、現在CUの動きパラメータが、空間的及び/又は時間的候補、及びオプションでVVCで導入されたような追加情報を含む近隣CUから取得される場合に、指定できる。マージモードは、スキップモードだけでなく、インター予測されたCUにも適用できる。例では、マージモードの代替手段は、動きパラメータの明示的な送信であり、ここで、MV、各参照ピクチャリストの対応する参照ピクチャインデックス、及び参照ピクチャリスト使用フラグとその他の情報は、CUごとに明示的にシグナリングされる。

【0109】

VVCなどの実施形態では、VVCテストモデル（VVC Test model （VTM））参照ソフトウェアには、拡張マージ予測、マージ動きベクトル差（merge motion vector difference （MMVD））モード、対称MVDシグナリングを使用した適応動きベクトル予測（adaptive motion vector prediction （AMVP））モード、アフィン動き補償予測、サブブロックベースの時間的動きベクトル予測（subblock-based temporal motion vector prediction （SbTMVP））、適応動きベクトル解像度（adaptive motion vector resolution （AMVR））、動きフィールドストレージ（１/１６ルマサンプルMVストレージと８x８動きフィールド圧縮）、CUレベルの重みを使用した双予測（bi-prediction with CU-level weights （BCW））、双方向オプティカルフロー（bi-directional optical flow （BDOF））、オプティカルフローを使用した予測の精緻化（prediction refinement using optical flow （PROF））、デコーダ側の動きベクトルの精緻化（decoder side motion vector refinement （DMVR））、インター及びイントラの結合予測（combined inter and intra prediction （CIIP））、幾何学的パーティションモード（geometric partitioning mode （GPM））などを含む１つ以上の精緻化されたインター予測コーディングツールが含まれている。以下では、インター予測と関連する方法について詳しく説明する。

【0110】

幾つかの例では、拡張マージ予測を使用できる。例えば、VTM４では、このようなマージ候補リストは、以下の５個のタイプの候補、順に：空間的な近隣CUからの空間的MVP、同一位置のCUからの時間的MVP、FIFO（first-in-first-out）テーブルからの履歴に基づくMVP、ペア毎の平均MVP、ゼロMVP、を含むことにより構成される。

【0111】

マージ候補リストのサイズは、スライスヘッダでシグナリングできる。例では、マージ候補リストの最大許容サイズは、VTM４では６である。マージモードでコーディングされたCUごとに、トランケートされた単項二値化（TU）を使用して、最適なマージ候補のインデックス（例えば、マージインデックス）を符号化できる。マージインデックスの第１ビンはコンテキスト（例えば、コンテキスト適応型二項算術符号化（context-adaptive binary arithmetic coding （CABAC））でコーディングでき、バイパスコーディングを他のビンに使用できる。

【0112】

マージ候補の各カテゴリの生成プロセスの幾つかの例を次に示する。実施例では、空間候補は次のように導出される。VVCでの空間的マージ候補の導出は、HEVCでの導出と同じことができる。例では、図９に示された位置にある候補の中から最大４つのマージ候補が選択される。図９は、本開示の実施形態による空間的マージ候補の位置を示す。図９を参照すると、導出の順序はB１、A１、B０、A０、B２となる。位置B２は、位置A０、B０、B１、及びA１のCUが使用できない（例えば、CUが別のスライス又は別のタイルに属しているため）、又はイントラコーディングされている場合にのみ考慮される。位置A１の候補が追加された後、残りの候補の追加は冗長性チェックの対象となり、これは同じ動き情報を持つ候補が候補リストから除外されることを保証し、したがってコーディング効率が向上する。

【0113】

計算量を減らすために、すべての可能な候補ペアが前述の冗長性チェックで考慮されるわけではない。代わりに、図１０の矢印でリンクされたペアのみが考慮され、冗長性チェックに使用される対応する候補が同じ動き情報を持たない場合にのみ候補リストに候補が追加される。図１０は、本開示の一実施形態による空間的マージ候補の冗長性チェックのために考慮される候補ペアを示す。図１０を参照すると、各々の矢印にリンクされたペアには、A１とB１、A１とA０、A１とB２、B１とB０、B１とB２が含まれる。これにより、位置B１、A０、及び／又はB２の候補と位置A１の候補を、位置B０及び／又はB２の候補と位置B１の候補を比較することができる。

【0114】

実施例では、時間的候補は次のように導出される。例では、１つの時間的マージ候補のみが候補リストに追加される。図１１は、時間的マージ候補のための例示的な動きベクトルのスケーリングを示す。現在ピクチャ（１１０１）における現在CU（１１１１）の時間的マージ候補を導出するために、スケーリングされたMV（１１２１）（例えば、図１１の点線で示す）は、同一位置の参照ピクチャ（１１０４）に属する同一位置のCU（１１１２）に基づいて導出することができる。同一位置のCU（１１１２）を導出するために使用される参照ピクチャリストは、スライスヘッダで明示的にシグナリングすることができる。時間的マージ候補に対するスケーリングされたMV（１１２１）は、図１１の点線で示すように得ることができる。スケーリングされたMV（１１２１）は、ピクチャオーダカウント（picture order count （POC））距離tb及びtdを使用して、同一場所にあるCU（１１１２）のMVからスケーリングすることができる。POC距離tbは、現在ピクチャ（１１０１）の現在参照ピクチャ（１１０２）と現在ピクチャ（１１０１）とのPOC差として定義することができる。POC距離tdは、同一位置のピクチャ（１１０３）の同一位置の参照ピクチャ（１１０４）と同一位置のピクチャ（１１０３）とのPOC差として定義することができる。時間的マージ候補の参照ピクチャインデックスを０に設定することができる。

【0115】

図１２は、現在CUの時間的マージ候補のための例示的な候補位置（例えば、C０とC１）を示す。時間的マージ候補の位置は、候補位置C０とC１の間で選択することができる。候補位置C０は、現在CUの同一位置のCU（１２１０）の右下角に位置する。候補位置C１は、現在CU（１２１０）の同一位置のCU（１２１０）の中心に位置する（１２１０）。候補位置C０のCUが使用できない場合、イントラコーディングされている場合、又はCTUの現在の行の外側にある場合、候補位置C１を使用して時間的マージ候補が導出される。それ以外の場合、例えば、候補位置C０のCUが使用可能であり、イントラコーディングされ、CTUの現在の行では、候補位置C０を使用して時間的マージ候補が導出される。

【0116】

MVDを有するマージモード（MMVD）は、VVCなどのビデオ/画像コーディングで使用できる。MMVDモードでは、暗示的に導出された動き情報を使用してCUのサンプルを予測できる。例えばスキップフラグ又はマージフラグをシグナリングした後に、MMVDマージフラグをシグナリングして、CUにMMVDモードを使用するかどうかを指定できる。

【0117】

マージモードに加えて、MMVDモードでは、MVPとMVD（又は動きオフセット）の合計であるMVが精緻化されるように、MV差（MVD）をコーディングできる。MMVDモードでは、導出したマージされた動き情報として事前定義されたMVDを提供することで、マージモードとAMVPモードの概念を組み合わせることができる。MMVDモードでは、マージ候補リストの第１２つの候補のうちの１つをベースとして選択できる（MVベース又はMV開始点とも呼ばれる）。例えば、マージ候補フラグ（例えば、シグナリングされている）は、候補マージリストの第１２つの候補のうちの１つを示す。

【0118】

MVベースが選択された後、MVベースに対してMVDを示すシグナリングされたMVD情報などの追加情報によってMVベースを精緻化することができる。方向と距離で表されるMVDは、MVベースの精緻化としてコーディング（例えば、符号化）できる。追加情報には、MVDの距離（マグニチュードとも呼ばれる）を指定するために使用される距離インデックスと、MVDの方向を示すために使用される方向インデックスを含めることができる。

【0119】

MVDでは、複数の距離（オフセットとも呼ばれる）（例えば、表１に設定された各距離に８個の距離エントリ）を設計できる。表１に、第１距離セットと第２距離セットを含む２つの距離セットの例を示し、各々の距離セットにおける距離インデックスと複数の距離の関係の例を示す。第１距離セットは整数ペル（full-pel）MMVDがオフのときに使用でき、MMVDによって事前に定義されたオフセットの範囲は１/４ルマサンプルから３２ルマサンプルまでとすることができる。整数ペルMMVDがオフのとき、事前に定義されたオフセットはルマサンプルの割合（例えば、１/４ピクセル又は１/２ピクセル）などの整数ではない値を持つことができる。第２距離セットはフ整数ペル（full-pel）MMVDがオンのときに使用でき、MMVDによって事前に定義されたオフセットの範囲は１ルマサンプルから１２８ルマサンプルまでとすることができる。例では、整数ペルMMVDがオンのとき、事前に定義されたオフセットは１つ以上のルマサンプルなどの整数値のみを持つ。

【0120】

エンコーダは、例えばピクチャレベルで表１から距離セットを選択できる。選択された距離セット内の複数の距離のうちのどの距離が適用されるかを示すために、MVDに対して距離インデックスをシグナリングできる。
［表１］MMVDモードにおける距離インデックスと複数の距離（ルマサンプル単位）の関係の例

【表1】

【0121】

例では、MVDには複数の方向（例えば、０度、９０度、１８０度、２７０度のような４方向）が許容される。方向インデックスは、複数の方向（例えば、４方向）のうちどれがMVDの方向として選択されたかを示すためにシグナリングできる。

【0122】

表２は、４つの方向と方向インデックスの関係の例を示している。表２を参照すると、方向指数００はx軸の正方向を示し、方向指数０１はx軸の負方向を示し、方向指数１０はy軸の正方向を示し、方向指数１１はy軸の負方向を示している。
［表２］MMVDの方向と方向インデックスの関係の例を示している。

【表2】

【0123】

テンプレートマッチング（TM）技術は、ビデオ/画像コーディングに使用できる。VVC規格の圧縮効率をさらに向上させるために、例えば、TMを使用してMVを精緻化できる。例では、TMはデコーダ側で使用される。TMモードでは、MVは、再構成する現在ピクチャ内のブロック（例えば、現在ブロック）のテンプレート（例えば、現在テンプレート）を構成し、現在ピクチャ内のブロックのテンプレートと参照ピクチャ内の複数のテンプレート（例えば、複数の参照テンプレート）との最も近い一致を決定することで、精緻化できる。実施形態では、現在ピクチャ内のブロックのテンプレートは、ブロックの左近隣の再構成されたサンプルと、ブロックの上の近隣の再構成されたサンプルを含むことができる。TMは、VVCを超えるビデオ/画像コーディングで使用できる。

【0124】

図１３は、テンプレートマッチング（１３００）の例を示す。TMを使用して、現在ピクチャ（１３１０）の現在CU（１３０１）のテンプレート（１３２１）と、参照ピクチャ（１３１１）の複数のテンプレートのうちの１つのテンプレート（例えば、複数のテンプレートのうちの１つがテンプレート（１３２５）である）の最も近い一致を決定することで、現在のCU（１３０１）の動き情報を導出できる。現在のCU（１３０１）のテンプレート（１３２１）は、任意の適切な形状と適切なサイズを持つことができる。

【0125】

実施例では、現在CU（１３０１）のテンプレート（１３２１）は、上のテンプレート（１３２２）と左のテンプレート（１３２３）を含む。上のテンプレート（１３２２）と左のテンプレート（１３２３）の各々は、任意の適切な形状と適切なサイズを持つことができる。

【0126】

上のテンプレート（１３２２）は、現在CU（１３０１）の１つ以上の上の近隣ブロック内のサンプルを含むことができる。例では、上のテンプレート（１３２２）は、現在CU（１３０１）の１つ以上の上の近隣ブロック内の４行のサンプルを含むことができる。左のテンプレート（１３２３）は、現在CU（１３０１）の１つ以上の左近隣ブロック内のサンプルを含むことができる。例では、左のテンプレート（１３２３）は、現在CU（１３０１）の１つ以上の左近隣ブロック内の４列のサンプルを含むことができる。

【0127】

参照ピクチャ（１３１１）の複数のテンプレートの各々（例えば、テンプレート（１３２５））が、現在ピクチャ（１３１０）のテンプレート（１３２１）に対応する。実施形態では、初期MV（１３０２）は、現在CU（１３０１）から参照ピクチャ（１３１１）の参照ブロック（１３０３）を指す。参照ピクチャ（１３１１）の複数のテンプレートの各々（例えば、テンプレート（１３２５））と、現在ピクチャ（１３１０）のテンプレート（１３２１）が、同一の形状及び同一のサイズを有することができる。例えば、テンプレート（１３２５）には、参照ピクチャ（１３１１）の上テンプレート（１３２６）と、参照ピクチャ（１３１１）の左テンプレート（１３２７）が含まれている。上テンプレート（１３２６）は、参照ブロック（１３０３）の１つ以上の上の近隣ブロック内のサンプルを含むことができる。左のテンプレート（１３２７）は、参照ブロック（１３０３）の１つ以上の左近隣ブロック内のサンプルを含むことができる。

【0128】

TMコストは、テンプレート（１３２１）とテンプレート（１３２５）に基づいて決定できる。TMコストは、テンプレート（１３２１）とテンプレート（１３２５）との間の一致を示すことができる。検索範囲（１３１５）内の現在CU（１３０１）の初期MV（１３０２）の周囲の検索に基づいて、最適化されたMVを決定できる。検索範囲（１３１５）は、任意の適切な形状と任意の適切な数の参照サンプルを持つことができる。例では、参照ピクチャ（１３１１）の検索範囲（１３１５）には、[-L、L]-pel範囲が含まれる。ここで、Lは、８（例えば、８サンプル）などの正の整数である。例えば、検索範囲（１３１５）に基づいて差（例えば、[０，１１]）が決定され、初期MV（１３０２）と差（例えば、[０，１]）の加算によって中間MVが決定される。中間MVに基づいて、中間参照ブロックと参照ピクチャ（１３１１）内の対応するテンプレートを決定できる。TMコストは、テンプレート（１３２１）と参照ピクチャ（１３１１）の中間テンプレート（１３１１）に基づいて決定できる。TMコストは、検索範囲（１３１５）に基づいて決定される差（例えば、初期MV（１３０２）に対応する［０，０］、［０，１］等）に対応することができる。例えば、最小のTMコストに対応する差を選択し、最小のTMコストに対応する差と初期MV（１３０２）を和が最適化MVとなる。

【0129】

TMは適宜変更できる。例では、探索ステップサイズはAMVRモードによって決定される。例では、TMは、バイラテラルマッチングプロセスなどの他のコーディング方法とカスケード（例えば、一緒に使われる）することができる。

【0130】

例では、TMは、AMVPモードのMVP候補及び/又はマージモードのマージ候補の動き情報を精緻化するために使用される。

【0131】

開示は、TMがMMVDモードを改善するために使用されるMMVDモードに関連する態様を含む。TMは、MMVDモードでMVD候補のMV情報を精緻化するために利用することができる。TMは、MMVDモードで方向情報（例えば、方向インデックス）及び/又は距離情報（例えば距離インデックス）を導出するために利用することができる。

【0132】

例では、現在ピクチャの現在ブロックはMMVDモードでコーディングされる。現在ブロックのMVのMVPは、候補リスト（例えば、マージ候補リスト）と、候補リストの中でどの候補（例えば、マージ候補）がMVPとして使用されているかを示す情報（例えば、インデックス又はフラグ）に基づいて決定される場合がある。例えば、上記のようにフラグをマージ候補フラグにすることができる。解析された１つ以上のMVD候補は、例えば、現在ブロックのMVD情報に基づいて、MMVDモードを使用して決定することができる。

【0133】

開示の実施形態によれば、TMをMMVDモードと共に適用して、現在ブロックのMVのMVD（TM一致MVD（TM matched MVD）とも呼ばれる）を決定する。TM一致MVDを決定するために、MMVDモードで決定された１つ以上のパースされたMVD候補の周囲でTM検索手順を実行することができる。例では、現在ピクチャの現在ブロックの現在テンプレートと、TM一致MVDに対応する参照ピクチャの参照ブロックの参照テンプレートは、現在ピクチャと参照ピクチャ（例えば、現在ピクチャの現在ブロックの現在テンプレートと、参照ピクチャの各々の参照ブロックの参照テンプレート）の間のテンプレートペアの中でTMコストが最小（又は最も近い一致）である。現在ブロックのMVは、例えば、MVPとTM一致MVDを加算することによって、MVPとTM一致MVDに基づいて決定することができる。

【0134】

実施形態では、単一のMVD候補が、MMVDモードを用いて決定される。TMはMVD候補の周りで実行され、TM一致MVDを決定する。単一のMVD候補は、現在ブロックのMVD情報に基づいて決定することができる。MVD情報は、距離インデックス及び/又は方向インデックスを示すことができる。任意の適切な距離セット及び/又は任意の適切な方向セットをMMVDモードで使用することができる。どの距離セット及び/又はどの方向セットを使用して単一のMVD候補を決定するかは、事前に定義するか、又はMVD情報を含む予測情報で示すこともできる。例では、MVD情報は、表１の第１距離セットが使用され、距離インデックスが１であり、方向インデックスが００であることを示す。したがって、MVD候補は１/２のルマサンプルの大きさと、正のx軸と同じ方向を持つ。

【0135】

実施形態では、複数のMVD候補が、MMVDモードを用いて決定される。複数のMVD候補の各々の周りでTMを実行し、TMコストと、対応する更新されたMVD候補とを得ることができる。TM一致MVDは、TMコストと、対応する更新されたMVD候補とに基づいて、決定することができる。

【0136】

実施形態では、MMVDモードが使用されるときにTM手順が有効かどうかを示すTMフラグがシグナリングされる。TMフラグは、シーケンスパラメータセット（SPS）レベル、ピクチャパラメータセット（PPS）レベル、ピクチャレベル（例えば、ピクチャヘッダ（PH）内で）、スライスレベル、ブロックレベルなどでシグナリングされる。TMフラグがTMがMMVDモードで有効であることを示している場合、TMを適用してTM一致MVDを決定できる。その他の場合、TMフラグがTMがMMVDモードで有効ではないことを示している場合、TM一致MVDを決定するためにTMを適用しない。

【0137】

実施形態では、MMVDモードで使用される距離セットは、TMが現在ブロックに対して有効であるかどうかによって異なる。例えば、TMフラグがTM手順が有効であることを示している場合、表１に示されている第１距離セットと第２距離セットとは異なる距離セットがMMVDモードで使用される。

【0138】

例では、TMがMMVDモードに対して有効になっている場合、MMVDモードのMVD候補に使用可能な距離セットは、第１距離セットの１/４ルマサンプルの代わりに４ルマサンプル、又は第２距離セットの１ルマサンプルど、より大きな距離から開始される。距離セットはTMの検索範囲に基づくことができる。例えば、TMモードの検索範囲は、水平方向及び垂直方向で[-L、＋L]の範囲内にあり、ここでLは正の数である。図１３に戻ると、Lが８のとき、検索範囲は[-８、８]である。距離セットの最小距離は、MMVDモードのTM手順の検索範囲に依存できる。例では、距離セットの最小距離は、距離インデックスが０であることに対応する。距離インデックス０の距離値（例えば、最短距離）が変更されると、それに応じて距離セットが変更される。表３は、MMVDモードにおける距離インデックスと複数の距離（ルマサンプル単位）の関係の例を示す。
［表３］MMVDモードにおける距離インデックスと複数の距離（ルマサンプル単位）の関係の例

【表3】

【0139】

例として、距離インデックス０に対応する距離値（例えば、距離セットにおける最小距離）は、Lと等しくなる。ここで、MMVDモードのTM手順の検索範囲は、[-L、＋L]の範囲である。例えば、TM検索範囲が[－８、＋８、]-pelの範囲にある場合、距離値は８ルマサンプルとなる。

【0140】

例として、距離インデックス０に対応する距離値（例えば、距離セットにおける最小距離）は、L／２のようなLの分数である。ここで、MMVDモードのTM手順の検索範囲は、[-L、＋L]の範囲である。例えば、TM検索範囲が[－８、４、]-pelの範囲にある場合、距離値は８ルマサンプルとなる。

【0141】

例では、距離セットの距離の値は等差数列になる。例えば、距離の値は、各々距離インデックス０～７に対応する８、１６、２４、３２、４０、４８、５６、及び６４である。別の例では、距離の値は、各々距離インデックス０～７に対応する４、１２、２０、２８、３６、４４、５２、及び６０である。

【0142】

上述のように、任意の適切な距離セットをMMVDモードで使用することができる。MMVDモードで使用される距離セットには、任意の適切な数の距離及び/又は任意の適切な距離の値を含めることができる。

【0143】

上述のように、複数のMVD候補が、MMVDモードを用いて決定できる。複数のMVD候補の各々の周りでTMを実行し、TMコストと、対応する更新されたMVD候補とを得ることができる。TM一致MVDは、TMコストと、対応する更新されたMVD候補とに基づいて、決定することができる。

【0144】

実施形態では、１つ以上の方向インデックス、距離ステップ、及び/又は１つ以上の距離インデックスをTMコストに基づいて導出又はランク付け（例えば、並べ替え）することができる。

【0145】

実施形態では、複数のMVD候補は同じ方向を持つ。複数のMVD候補の方向が、MMVDモードでパースできる。例えば、MVD情報は、（例えば、方向インデックスにより）複数のMVD候補の方向を示す。複数のMVD候補の大きさ（又は距離）は、表１及び表３に示すように、距離セットに基づいて決定できる。一例では、複数のMVD候補の大きさは、各々距離セットの中の距離である。方向をパースした後、パースされた方向に沿った複数のMVD候補にTM手順を適用して、対応するTMコストと各々の更新されたMVD候補を決定できる。TM手順の検索範囲は、前述のように[-L、L]の範囲内など、任意の適切な検索範囲にすることができる。検索ステップサイズは、任意の適切なステップサイズにすることができる。例では、検索範囲はパースされた方向のような特定の方向に限定される。複数のMVD候補は、TMコストの昇順でソートされるなど、TMコストに基づいてランク付け（例えば、並べ替え）できる。例では、MVD情報は、距離インデックスのような距離情報を示す。例では、距離インデックスがシグナリングされる。TM一致MVDは、複数の並べ替えられたMVD候補の距離インデックスが示すMVD候補に対応する更新されたMVD候補であると決定できる。例では、距離インデックスはシグナリングされず、TM一致MVDは、複数の並べ替えられたMVD候補の中で最も小さいTMコストに対応する更新されたMVD候補であると決定される。

【0146】

例えば、複数のMVD候補の方向は、方向インデックス００で示される正のx軸である。複数のMVD候補の数は８である。複数のMVD候補は、表３に示すように、各々大きさ４、８、１６、３２、６４,１２８,２５６、５１２ルマサンプルを持っている。TM以前は、距離インデックスと対応する距離の関係は表３で示されており、例えば、距離インデックス０は４ルマサンプルの距離値に対応している。複数のMVD候補の各々にTM手順を適用し、表４に示すような、TMコストと、各々の更新されたMVD候補とを決定する。
［表４］複数のMVD候補、TMコスト、及び対応する更新されたMVD候補との例示的な関係

【表4】

【0147】

表４の第１列は、複数のMVD候補を示している。複数のMVD候補（例えば、MVD候補０～７）は、正のx軸という同じ方向を持っている。MVD候補０～７の大きさ又は距離は、各々４、８、１６、３２、６４、１２８、２５６、及び５１２ルマサンプルである。MVD候補０～７のTMコストは、各々TMコスト０～７である。対応するMVD候補０～７の更新されたMVD候補は、各々更新されたMVD候補０～７である。更新されたMVD候補（例えば、更新されたMVD候補０）の大きさは、対応するMVD候補（例えば、MVD候補０）の大きさと異なる又は同じであることも可能である。更新されたMVD候補（例えば、更新されたMVD候補０）の方向は、対応するMVD候補（例えば、MVD候補０）の方向と異なる又は同じであることも可能である。

【0148】

例として、表４のTMコストを昇順に並べると、TMコスト３、TMコスト４、TMコスト６、TMコスト０、TMコスト１、TMコスト２、TMコスト７、TMコスト５となる。TMコスト３はTMコストの中で最も小さい。表５に、表４に示すMVD候補、更新されたMVD候補、TMコストの関係を示す。図５の行は、図４の行と異なる。表５では、TMコストに基づいて行が並べ替えられている。
［表５］並べ替えられたMVD候補と更新されたMVD候補

【表5】

【0149】

複数のMVD候補は、TMコストの昇順でソートされるなど、TMコストに基づいてランク付け（例えば、並べ替え）できる。表６は、TMコストと対応する距離インデックスに基づいてランク付けされた（例えば、並べ替えられた）MVD候補を示している。
［表６］並べ替えられたMVD候補

【表6】

【0150】

距離インデックスが０の場合、距離インデックス０で示されるMVD候補は、表６の第１候補のように、大きさ３２ルマサンプルと＋x軸の方向を持つ候補である。表４又は表５に示すように、複数のMVD候補、TMコスト、及び対応する更新されたMVD候補の関係に基づいて、MVD候補に対応する更新されたMVD候補（例えば、大きさ：３２、方向：＋x軸）が、更新されたMVD候補３として導出される。これにより、TM一致MVDは、更新されたMVD候補３として決定される。MVD候補（例えば、大きさ：３２、方向：＋x軸）と更新されたMVD候補３の両方が、TMコスト３に対応する。

【0151】

実施形態では、距離インデックスはシグナリングされない。方向情報（例えば、方向インデックス）と距離ステップ情報（例えば、MMVDモードで使用される距離セットを示す）がシグナリングされる。例では、TM一致MVDは、複数のMVD候補のTMコストのうち最小TMコスト（例えば、TMコスト３）に対応する更新されたMVD候補（例えば、更新されたMVD候補３）であると決定される。例として、パースされた方向に沿った複数のMVD候補は、前述のように対応するTMコストに基づいてランク付けされる（例えば、並べ替えられる）。表６を参照すると、距離インデックスはシグナリングされない。最小のTMコストはTMコスト３である。TMコスト３は更新されたMVD候補３に対応するため、TM一致MVDは更新されたMVD候補３である。

【0152】

実施形態では、複数のMVD候補は同じ距離（又は大きさ）を有する。複数のMVD候補の距離はMMVDモードでパースできる。例えば、MVD情報は、（例えば、距離インデックスにより）複数のMVD候補の距離を示す。複数のMVD候補の方向は、表２に示すように、方向セットに基づいて決定できる。例では、表２に示すように、複数のMVD候補の方向は４つの方向である。複数のMVD候補にTM手順を適用して、対応するTMコストと各々の更新されたMVD候補を決定できる。TM手順の検索範囲は、前述のように[-L、L]の範囲内など、任意の適切な検索範囲にすることができる。検索ステップサイズは、任意の適切なステップサイズにすることができる。複数のMVD候補は、TMコストの昇順でソートされるなど、TMコストに基づいてランク付け（例えば、並べ替え）できる。例では、MVD情報は、方向インデックスのような方向情報を示す。例では、方向インデックスがシグナリングされる。TM一致MVDは、複数の並べ替えられたMVD候補の方向インデックスが示すMVD候補に対応する更新されたMVD候補であると決定できる。

【0153】

例えば、複数のMVD候補の距離は、表１の第１距離セットを指す距離インデックス５が示す８ルマサンプルである。複数のMVD候補の数は４である。複数のMVD候補は、表２に示すように、各々＋x軸、－x軸、＋y軸、－y軸の方向を持つ。TM以前は、方向インデックスと対応する方向の関係は表２で示されており、例えば、方向インデックス００は４ルマサンプルの＋x軸の方向に対応している。複数のMVD候補の各々にTM手順を適用し、表７に示すような、TMコストと、各々の更新されたMVD候補とを決定する。
［表７］複数のMVD候補、TMコスト、及び対応する更新されたMVD候補との例示的な関係

【表7】

【0154】

表７の第１列は、複数のMVD候補を示している。複数のMVD候補（例えば、MVD候補A～D）は、８ルマサンプルという同じ距離を持っている。MVD候補A～Dの方向は各々＋x軸、－x軸、＋y軸、－y軸である。MVD候補A～DのTMコストは各々TMコストA～Dである。対応するMVD候補A～Dの更新されたMVD候補は、各々更新されたMVD候補A～Dである。更新されたMVD候補（例えば、更新されたMVD候補A）の大きさは、対応するMVD候補（例えば、MVD候補A）の大きさと異なる又は同じであることも可能である。更新されたMVD候補（例えば、更新されたMVD候補A）の方向は、対応するMVD候補（例えば、MVD候補A）の方向と異なる又は同じであることも可能である。

【0155】

例として、表７のTMコストを昇順に並べると、TMコストB、TMコストC、TMコストD、TMコストAとなる。TMコストBはTMコストの中で最も小さい。表８に、表７に示すMVD候補、更新されたMVD候補、TMコストの関係を示す。図８の行は、図７の行と異なる。表８では、TMコストに基づいて行が並べ替えられている。
［表８］並べ替えられたMVD候補と更新されたMVD候補

【表8】

【0156】

複数のMVD候補は、TMコストの昇順でソートされるなど、TMコストに基づいてランク付け（例えば、並べ替え）できる。表９は、TMコストと対応する距離インデックスに基づいてランク付けされた（例えば、並べ替えられた）MVD候補を示している。
［表９］並べ替えられたMVD候補

【表9】

【0157】

方向インデックスが０の場合、方向インデックス０で示されるMVD候補は、表９の第１候補のように、大きさ８ルマサンプルと－x軸の方向を持つ候補である。表７又は表８に示すように、複数のMVD候補、TMコスト、及び対応する更新されたMVD候補の関係に基づいて、MVD候補に対応する更新されたMVD候補（例えば、大きさ：８、方向：－x軸）が、更新されたMVD候補Bとして導出される。これにより、TM一致MVDは、更新されたMVD候補Bであると決定される。MVD候補（例えば、大きさ：８、方向：－x軸）と更新されたMVD候補Bの両方が、TMコストBに対応する。

【0158】

実施形態では、方向インデックスはシグナリングされない。例では、TM一致MVDは、複数のMVD候補のTMコストのうち最小TMコスト（例えば、TMコストB）に対応する更新されたMVD候補（例えば、更新されたMVD候補B）であると決定される。例として、同じ方向を持つ複数のMVD候補は、前述のように対応するTMコストに基づいてランク付けされる（例えば、並べ替えられる）。最小のTMコストはTMコストBである。TMコストBは更新されたMVD候補Bに対応するため、TM一致MVDは更新されたMVD候補Bである。

【0159】

図１４は、本開示の一実施形態による、符号化処理（１４００）の概要を示すフローチャートを示す。種々の実施形態では、処理（１４００）は、端末装置（３１０）、（３２０）、（３３０）及び（３４０）内の処理回路、ビデオエンコーダ（例えば、（４０３）、（６０３）、（７０３））の機能を実行する処理回路、のような処理回路により実行される。幾つかの実施形態では、処理（１４００）は、ソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路が処理（１４００）を実行する。処理は（S１４０１）で開始、し、（S１４１０）に進む。

【0160】

（S１４１０）で、現在ブロックの１つ以上の動きベクトル差（MVD）候補を、動きベクトル差によるマージモード（MMVD）を使用して決定することができる。MMVDモードとテンプレートマッチング（TM）モードを一緒に使用して、現在ブロックを符号化する。

【0161】

（S１４２０）で、１つ以上のMVD候補にTMを適用することにより、現在ブロックのMVDを決定することができる。

【0162】

実施形態では、１つ以上のMVD候補は１つのMVD候補である。MVDは、開示に記載されているように、１つのMVD候補にTMを適用することによって決定することができる。

【0163】

実施形態では、１つ以上のMVD候補は、同じ方向を持つ複数のMVD候補を含む。複数のMVD候補は、各々複数の距離を持つことができる。例では、複数のMVD候補は、複数の距離に基づいて順序付けられる。複数のMVD候補の各々についてTMを適用し、TMコストと、各々の更新されたMVD候補とを得ることができる。MVDは、TMコストと、対応する更新されたMVD候補とに基づいて、決定することができる。

【0164】

例では、複数のMVD候補のTMコストに応じて、複数のMVD候補がランク付けされる（例えば、並べ替えられる）。MVDは、対応するTMコストに基づいて、更新されたMVD候補であると決定される。

【0165】

例では、MVDは、複数のMVD候補のTMコストのうち最小TMコストに対応する更新されたMVD候補であると決定される。

【0166】

実施形態では、１つ以上のMVD候補は、同じ大きさを持つ複数のMVD候補を含む。複数のMVD候補は、各々複数の方向を持つことができる。例では、複数のMVD候補は、複数の方向に従い順序付けられる。複数のMVD候補の各々にTMを適用し、TMコストと、対応する更新されたMVD候補とを得ることができる。MVDは、TMコストと、対応する更新されたMVD候補とに基づいて、決定することができる。

【0167】

例では、MVDは、複数のMVD候補のTMコストのうち最小TMコストに対応する更新されたMVD候補であると決定される。

【0168】

（S１４３０）で、動きベクトル予測子（MVP）と決定されたMVDの和である動きベクトル（MV）に基づき、現在ブロックを再構成する。

【0169】

（S１４４０）で、現在ブロックの予測情報をビットストリームに符号化できる。予測情報は、MMVDとTMモードが現在ブロックに一緒に適用されることを示すことができる。予測情報は、現在ブロックのMVD情報を示すことができる。

【0170】

例では、符号化された現在ブロックと符号化された予測情報は、ビットストリームで送信される。

【0171】

処理（１４００）は（S１４９９）に進み終了する。

【0172】

処理（１４００）は様々なシナリオに適切に適応させることができ、それに応じて処理（１４００）のステップを調整することができる。処理（１４００）の１つ以上のステップは、適応、省略、反復、及び/又は組み合わせが可能である。任意の適切な順序を使用して、処理（１４００）を実装することができる。追加のステップを追加できる。

【0173】

例では、TMフラグが符号化され、TMが現在ブロックに対して有効であることを示す。符号化されたビットストリームにはTMフラグを含めることができる。

【0174】

実施形態では、複数の距離は表１及び表３に記載された距離セット、又は表１及び表３に記載された距離セットのサブセットである。複数の距離の値や、距離セットの値は、TMの検索範囲に基づくことができる。例えば、TMの検索範囲は、水平方向及び垂直方向で[-L、＋L]の範囲内にあり、ここでLは正の整数である。複数の距離のうち最小の距離は、L又はL/２に等しい。例では、複数の距離は等差数列になっている。

【0175】

（S１４２０）で説明した実施形態では、複数のMVD候補は、同じ方向又は同じ大きさを持つことができる。幾つかの例では、複数のMVD候補は、異なる方向及び異なる大きさを持つことができる。複数のMVD候補の各々にTMを適用し、TMコストと、対応する更新されたMVD候補とを得ることができる。MVDは、TMコストと、対応する更新されたMVD候補とに基づいて、決定することができる。実施形態では、更新されたMVD候補は、対応するTMコストに基づいてランク付けされる。例では、MVDは、複数のMVD候補のTMコストのうち最小TMコストに対応する更新されたMVD候補であると決定される。

【0176】

上述のように、MVDは、TMコストと、対応する更新されたMVD候補とに基づいて、決定することができる。例では、複数のMVD候補のTMコストに応じて、複数のMVD候補がランク付けされる（例えば、並べ替えられる）。MVDは、対応するTMコストに基づいて、更新されたMVD候補であると決定される。インデックス（例えば、距離インデックス又は方向インデックス）をビットストリームに符号化して、更新されたMVD候補に対応するMVD候補を示すことができ、これが決定されたMVDである。

【0177】

図１５は、本開示の一実施形態による、復号処理（１５００）の概要を示すフローチャートを示す。種々の実施形態では、処理（１５００）は、端末装置（３１０）、（３２０）、（３３０）及び（３４０）内の処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路、ビデオエンコーダ（６０３）の機能を実行する処理回路、等のような処理回路により実行される。幾つかの実施形態では、処理（１５００）は、ソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路が処理（１５００）を実行する。処理は（S１５０１）で開始、し、（S１５１０）に進む。

【0178】

（S１５１０）で、コーディングされたビットストリーム内の現在ブロックの予測情報を復号できる。予測情報は、テンプレートマッチング（TM）モードを有する動きベクトル差によるマージモード（MMVD）が現在ブロックに適用されることを示すことができる。予測情報は、現在ブロックの動きベクトル差（MVD）情報を示すことができる。

【0179】

例えば、コーディングされたビットストリームは、さらにTMフラグを含み、TMフラグはTMが現在ブロックに対して有効であることを示す。

【0180】

（S１５２０）で、１つ以上のMVD候補は、MVD情報に基づき決定できる。

【0181】

（S１５３０）で、１つ以上のMVD候補にTMを適用することにより、現在ブロックのMVD（例えば、TM一致MVD）を決定することができる。実施形態では、TMを実行して、１つ以上のMVD候補に基づき、現在ブロックの現在テンプレートと現在ブロックの参照ブロックの参照テンプレートとの間の一致するMVDを検索する。例では、１つ以上のMVD候補はMVD候補であり、TMは、一致するMVDのMVD候補の周囲を検索するために実行される。例では、１つ以上のMVD候補は複数のMVD候補であり、TMは、一致するMVDの複数のMVD候補の中で検索するために実行される。例えば、TMを実行して、一致するMVDについて、複数のMVD候補の各々の周囲を検索する。

【0182】

実施形態では、１つ以上のMVD候補は１つのMVD候補である。MVD情報には、１つのMVD候補の大きさを示す距離情報と、１つのMVD候補の方向を示す方向情報が含まれる。１つのMVD候補は、MMVDモードを使用して、１つのMVD候補の大きさと１つのMVD候補の方向に基づいて決定される。MVDは、開示に記載されているように、１つのMVD候補にTMを適用することによって決定することができる。例えば、一致するMVDは、１つのMVD候補の周囲でTMを実行することによって決定できる。

【0183】

実施形態では、１つ以上のMVD候補は、同じ方向を持つ複数のMVD候補を含む。MVD情報は、複数のMVD候補の方向を示す方向情報を含む。複数のMVD候補の方向と複数の距離に基づいて、複数のMVD候補を決定することができる。例では、複数のMVD候補は、複数の距離に基づいて順序付けられる。複数のMVD候補の各々についてTMを適用し、TMコストと、各々の更新されたMVD候補とを得ることができる。一致するMVDは、TMコストと、対応する更新されたMVD候補とに基づいて、決定することができる。

【0184】

例では、MVD情報に距離インデックスが含まれている。複数のMVD候補のTMコストに応じて、複数のMVD候補がランク付けできる（例えば、並べ替えられる）。一致するMVDは、複数の並べ替えられたMVD候補の距離インデックスが示すMVD候補に対応する更新されたMVD候補であると決定できる。

【0185】

例では、距離インデックスはシグナリングされない。一致するMVDは、複数のMVD候補のTMコストのうち最小TMコストに対応する更新されたMVD候補であると決定される。

【0186】

実施形態では、１つ以上のMVD候補は、同じ大きさを持つ複数のMVD候補を含む。MVD情報は、複数のMVD候補の大きさを示す距離情報を含む。複数のMVD候補の大きさと複数の方向に基づいて、複数のMVD候補を決定することができる。例では、複数のMVD候補は、複数の方向に従い順序付けられる。複数のMVD候補の各々にTMを適用し、TMコストと、対応する更新されたMVD候補とを得ることができる。一致するMVDは、TMコストと、対応する更新されたMVD候補とに基づいて、決定することができる。

【0187】

例では、MVD情報には方向インデックスが含まれている。複数のMVD候補のTMコストに応じて、複数のMVD候補を並べ替えることができる。一致するMVDは、複数の並べ替えられたMVD候補の方向インデックスが示すMVD候補に対応する更新されたMVD候補であると決定できる。

【0188】

例では、方向インデックスはシグナリングされない。一致するMVDは、複数のMVD候補のTMコストのうち最小TMコストに対応する更新されたMVD候補であると決定される。

【0189】

代替として、１つ以上のMVD候補が複数のMVD候補を含む場合、TMを複数のMVD候補に適用して各々のTMコストを得ることができる。例えば、複数のMVD候補の間でTMを実行する。一致するMVDは、TMコスト、及び対応するMVD候補に基づき、決定することができる。例では、一致するMVDは、複数の並べ替えられたMVD候補の中の距離インデックスにより示されるMVD候補であると決定される。例では、距離インデックスはシグナリングされず、一致するMVDは、複数のMVD候補のTM一致MVDコストのうちの最も小さいTMコストに対応するMVD候補であると決定される。

【0190】

（S１５４０）で、現在ブロックは、動きベクトル予測子（MVP）と決定されたMVD（例えば、一致するMVD）の和である動きベクトル（MV）に基づき再構成される。

【0191】

処理（１５００）は（S１５９９）に進み終了する。

【0192】

処理（１５００）は様々なシナリオに適切に適応させることができ、それに応じて処理（１５００）のステップを調整することができる。処理（１５００）の１つ以上のステップは、適応、省略、反復、及び/又は組み合わせが可能である。任意の適切な順序を使用して、処理（１５００）を実装することができる。追加のステップを追加できる。

【0193】

実施形態では、距離情報は、複数の距離のうちの距離を指す距離インデックスを含む。例えば、複数の距離は表１及び表３に記載された距離セット、又は表１及び表３に記載された距離セットのサブセットである。距離は、１つのMVD候補の大きさである。複数の距離の値は、TMの検索範囲に基づくことができる。例えば、TMの検索範囲は、水平方向及び垂直方向で[-L、＋L]の範囲内にあり、ここでLは正の整数である。複数の距離のうち最小の距離は、L又はL/２に等しい。例では、複数の距離は等差数列になっている。

【0194】

（S１５３０）で説明した実施形態では、複数のMVD候補は、同じ方向又は同じ大きさを持つことができる。幾つかの例では、複数のMVD候補は、異なる方向及び異なる大きさを持つことができる。例では、複数のMVD候補は、MVD情報に基づいて、例えばMMVDモードを使用して決定される。複数のMVD候補の各々にTMを適用し、TMコストと、対応する更新されたMVD候補とを得ることができる。一致するMVDは、TMコストと、対応する更新されたMVD候補とに基づいて、決定することができる。実施形態では、更新されたMVD候補は、対応するTMコストに基づいてランク付けされる。例では、インデックスはシグナリングされ、一致するMVDは、複数のランク付けされた（例えば、並べ替えられた）MVD候補の中のインデックスにより指されたMVD候補に対応する更新されたMVD候補であると決定される。例では、一致するMVDは、複数のMVD候補のTMコストのうち最小TMコストに対応する更新されたMVD候補であると決定される。

【0195】

本開示の実施形態は、別個に使用され又は任意の順序で結合されてよい。さらに、方法（又は実施形態）、エンコーダ、及びデコーダの各々は、処理回路（例えば、１つ以上のプロセッサ、又は１つ以上の集積回路）によって実装されてもよい。一例では、１つ以上のプロセッサは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する。

【0196】

上述の技術は、コンピュータ可読命令を用いてコンピュータソフトウェアとして実装でき、１つ以上のコンピュータ可読媒体に物理的に格納でる。例えば、図１６は、本開示の主題の特定の実施形態を実装するのに適するコンピュータシステム（１６００）を示す。

【0197】

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク等のメカニズムにより処理されて、１つ以上のコンピュータ中央処理ユニット（CPU）、グラフィック処理ユニット（GPU）、等により直接又はインタープリット、マイクロコード実行、等を通じて実行可能な命令を含むコードを生成し得る、任意の適切な機械コード又はコンピュータ言語を用いてコーディングできる。

【0198】

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、等を含む種々のコンピュータ又はそのコンポーネントで実行できる。

【0199】

コンピュータシステム（１６００）の図１６に示すコンポーネントは、本来例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に対するようないかなる限定も示唆しない。更に、コンポーネントの構成も、コンピュータシステム（１６００）の例示的な実施形態に示されたコンポーネントのうちのいずれか又は組み合わせに関連する任意の依存性又は要件を有すると解釈されるべきではない。

【0200】

コンピュータシステム（１６００）は、特定のヒューマンインタフェース入力装置を含んでよい。このようなヒューマンインタフェース入力装置は、例えば感覚入力（例えば、キーストローク、スワイプ、データグラブ動作）、音声入力（例えば、音声、クラッピング）、視覚的入力（例えば、ジェスチャ）、嗅覚入力（示されない）を通じた１人以上の人間のユーザによる入力に応答してよい。ヒューマンインタフェース装置は、必ずしも人間による意識的入力に直接関連する必要のない特定の媒体、例えば音声（例えば、会話、音楽、環境音）、画像（例えば、スキャンされた画像、デジタルカメラから取得された写真画像）、ビデオ（例えば、２次元ビデオ、３次元ビデオ、立体ビデオを含む）をキャプチャするためにも使用できる。

【0201】

入力ヒューマンインタフェース装置は、キーボード（１６０１）、マウス（１６０２）、トラックパッド（１６０３）、タッチスクリーン（１６１０）、データグラブ（図示しない）、ジョイスティック（１６０５）、マイクロフォン（１６０６）、スキャナ（１６０７）、カメラ（１６０８）、のうちの１つ以上を含んでよい（そのうちの１つのみが示される）。

【0202】

コンピュータシステム（１６００）は、特定のヒューマンインタフェース出力装置も含んでよい。このようなヒューマンインタフェース出力装置は、例えば感覚出力、音声、光、及び匂い／味を通じて１人以上の人間のユーザの感覚を刺激してよい。このようなヒューマンインタフェース出力装置は、感覚出力装置を含んでよい（例えば、タッチスクリーン（１６１０）、データグラブ（図示しない）、又はジョイスティック（１６０５（による感覚フィードバック、しかし入力装置として機能しない感覚フィードバック装置も存在し得る）、音声出力装置（例えば、スピーカ（１６０９）、ヘッドフォン（図示しない）、視覚的出力装置（例えば、スクリーン（１６１０）、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含み、各々タッチスクリーン入力能力を有し又は有さず、各々感覚フィードバック能力を有し又は有さず、これらのうちの幾つかは例えば立体出力、仮想現実眼鏡（図示しない）、ホログラフィックディスプレイ、及び発煙剤タンク（図示しない）、及びプリンタ（図示しない）のような手段を通じて２次元視覚出力又は３次元以上の出力を出力可能であってよい））。

【0203】

コンピュータシステム（１６００）は、人間のアクセス可能な記憶装置、及び、例えばCD/DVD等の媒体（１６２１）を備えるCD/DVD ROM/RW（１６２０）を含む光学媒体、サムドライブ（１６２２）、取り外し可能ハードドライブ又は固体ドライブ（１６２３）、テープ及びフロッピディスク（図示しない）のようなレガシー磁気媒体、セキュリティドングル（図示しない）等のような専用ROM/ASIC/PLDに基づく装置のような関連する媒体も含み得る。

【0204】

当業者は、本開示の主題と関連して使用される用語「コンピュータ可読媒体」が伝送媒体、搬送波、又は他の一時的信号を包含しないことも理解すべきである。

【0205】

コンピュータシステム（１６００）は、１つ以上の通信ネットワーク（１６５５）へのインタフェース（１６５４）も含み得る。ネットワークは、例えば無線、有線、光であり得る。ネットワークへは、更に、ローカル、広域、都市域、車両及び産業、リアルタイム、耐遅延性、等であり得る。ネットワークの例は、イーサネットのようなローカルエリアネットワーク、無線LAN、GSM、３Ｇ、４Ｇ、５Ｇ、LTE等を含むセルラネットワーク、ケーブルTV、衛星TV、地上波放送TVを含むTV有線又は無線広域デジタルネットワーク、CANBusを含む車両及び産業、等を含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺機器バス（１６４９）（例えば、コンピュータシステム（１６００）のUSBポート）に取り付けられる外部ネットワークインタフェースを必要とする。他のものは、一般に、後述するようなシステムバスへの取り付けによりコンピュータシステム（１６００）のコアに統合される（例えば、イーサネットインタフェースをPCコンピュータシステムへ、又はセルラネットワークインタフェースをスマートフォンコンピュータシステムへ）。これらのネットワークを用いて、コンピュータシステム（１６００）は、他のエンティティと通信できる。このような通信は、単方向受信のみ（例えば、放送TV）、単方向送信のみ（例えば、特定のCANbus装置へのCANbus）、又は例えばローカル又は広域デジタルネットワークを用いて他のコンピュータシステムへの双方向であり得る。特定のプロトコル及びプロトコルスタックが、上述のネットワーク及びネットワークインタフェースの各々で使用され得る。

【0206】

前述のヒューマンインタフェース装置、人間のアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム（１６００）のコア（１６４０）に取り付け可能である。

【0207】

コア（１６４０）は、１つ以上の中央処理ユニット（CPU）（１６４１）、グラフィック処理ユニット（GPU）（１６４２）、FPGAの形式の専用プログラマブル処理ユニット（１６４３）、特定タスクのためのハードウェアアクセラレータ（１６４４）、グラフィックアダプタ（１６５０）、等を含み得る。これらの装置は、読み出し専用メモリ（ROM）（１６４５）、ランダムアクセスメモリ（１６４６）、内部のユーザアクセス不可能なハードドライブ、SSD、等のような内蔵大容量記憶装置（１６４７）と共に、システムバス（１６４８）を通じて接続されてよい。幾つかのコンピュータシステムでは、追加CPU、GPU、等による拡張を可能にするために、システムバス（１６４８）は、１つ以上の物理プラグの形式でアクセス可能である。周辺機器は、コアのシステムバス（１６４８）に直接に、又は周辺機器バス（１６４９）を通じて、取り付け可能である。例では、スクリーン（１６１０）は、グラフィックアダプタ（１６５０）に接続できる。周辺機器バスのアーキテクチャは、PCI、USB等を含む。

【0208】

CPU（１６４１）、GPU（１６４２）、FPGA（１６４３）、及びアクセラレータ（１６４４）は、結合されて前述のコンピュータコードを生成可能な特定の命令を実行できる。該コンピュータコードは、ROM（１６４５）又はRAM（１６４６）に格納できる。一時的データはRAM（１６４６）に格納でき、一方で、永久的データは例えば内蔵大容量記憶装置（１６４７）に格納できる。メモリ装置のうちのいずれかへの高速記憶及び読み出しは、CPU（１６４１）、GPU（１６４２）、大容量記憶装置（１６４７）、ROM（１６４５）、RAM（１６４６）等のうちの１つ以上に密接に関連付けられ得るキャッシュメモリの使用を通じて可能にできる。

【0209】

コンピュータ可読媒体は、種々のコンピュータにより実施される動作を実行するためのコンピュータコードを有し得る。媒体及びコンピュータコードは、本開示の目的のために特別に設計され構成されたものであり得、又は、コンピュータソフトウェア分野の当業者によく知られ利用可能な種類のものであり得る。

【0210】

例として及び限定ではなく、アーキテクチャを有するコンピュータシステム（１６００）、及び具体的にはコア（１６４０）は、プロセッサ（CPU、GPU、FPGA、アクセラレータ、等を含む）が１つ以上の有形コンピュータ可読媒体内に具現化されたソフトウェアを実行した結果として、機能を提供できる。このようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（１６４７）又はROM（１６４５）のような非一時的特性のコア（１６４０）の特定の記憶装置、及び上述のようなユーザアクセス可能な大容量記憶装置と関連付けられた媒体であり得る。本開示の種々の実施形態を実装するソフトウェアは、このような装置に格納されコア（１６４０）により実行できる。コンピュータ可読媒体は、特定の必要に従い、１つ以上のメモリ装置又はチップを含み得る。ソフトウェアは、コア（１６４０）及び具体的にはその中のプロセッサ（CPU、GPU、FPGA、等を含む）に、ソフトウェアにより定義された処理に従うＲＡＭ（１６４６）に格納されたデータ構造の定義及び該データ構造の変更を含む、ここに記載した特定の処理又は特定の処理の特定の部分を実行させることができる。追加又は代替として、コンピュータシステムは、ここに記載の特定の処理又は特定の処理の特定の部分を実行するためにソフトウェアと一緒に又はそれに代わって動作可能な論理ハードワイヤド又は他の回路内の実装（例えば、アクセラレータ（１６４４））の結果として機能を提供できる。ソフトウェアへの言及は、ロジックを含み、適切な場合にはその逆も同様である。コンピュータ可読媒体への言及は、適切な場合には、実行のためにソフトウェアを格納する（集積回路（IC）のような）回路、実行のためにロジックを実装する回路、又はそれらの両方を含み得る。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを含む。
付録Ａ：用語集
JEM：joint exploration model
VVC：versatile video coding
BMS：benchmark set
MV：Motion Vector
HEVC：High Efficiency Video Coding
SEI：Supplementary Enhancement Information
VUI：Video Usability Information
GOPs：Groups of Pictures
TUs：Transform Units,
PUs：Prediction Units
CTUs：Coding Tree Units
CTBs：Coding Tree Blocks
PBs：Prediction Blocks
HRD：Hypothetical Reference Decoder
SNR：Signal Noise Ratio
CPUs：Central Processing Units
GPUs：Graphics Processing Units
CRT：Cathode Ray Tube
LCD：Liquid-Crystal Display
OLED：Organic Light-Emitting Diode
CD：Compact Disc
DVD：Digital Video Disc
ROM：Read-Only Memory
RAM：Random Access Memory
ASIC：Application-Specific Integrated Circuit
PLD：Programmable Logic Device
LAN：Local Area Network
GSM：Global System for Mobile communications
LTE：Long-Term Evolution
CANBus：Controller Area Network Bus
USB：Universal Serial Bus
PCI：Peripheral Component Interconnect
FPGA：Field Programmable Gate Areas
SSD：solid-state drive
IC：Integrated Circuit
CU：Coding Unit
R-D：Rate-Distortion

【0211】

本開示は、幾つかの例示的な実施形態を記載したが、代替、置換、及び種々の代用の均等物が存在し、それらは本開示の範囲に包含される。当業者に明らかなことに、ここに明示的に示され又は説明されないが、本開示の原理を実施し、従って、本開示の精神及び範囲に含まれる多数のシステム及び方法を考案可能である。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【国際調査報告】