特表 2025-500284 インター予測におけるデコーダ側の動きベクトルリストの修正の方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-09

(54)【発明の名称】インター予測におけるデコーダ側の動きベクトルリストの修正の方法及び装置

(51)【国際特許分類】

   H04N 19/513 20140101AFI20241226BHJP

   H04N 19/46 20140101ALI20241226BHJP

   H04N 19/577 20140101ALI20241226BHJP

【ＦＩ】

H04N19/513 200

H04N19/46

H04N19/577

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024536314

(86)(22)【出願日】2022-12-29

(85)【翻訳文提出日】2024-06-17

(86)【国際出願番号】 KR2022021608

(87)【国際公開番号】W WO2023132564

(87)【国際公開日】2023-07-13

(31)【優先権主張番号】10-2022-0003247

(32)【優先日】2022-01-10

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0187975

(32)【優先日】2022-12-28

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】591251636

【氏名又は名称】現代自動車株式会社

【氏名又は名称原語表記】ＨＹＵＮＤＡＩ ＭＯＴＯＲ ＣＯＭＰＡＮＹ

【住所又は居所原語表記】１２， Ｈｅｏｌｌｅｕｎｇ－ｒｏ， Ｓｅｏｃｈｏ－ｇｕ， Ｓｅｏｕｌ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(71)【出願人】

【識別番号】500518050

【氏名又は名称】起亞株式会社

【氏名又は名称原語表記】ＫＩＡ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】１２， Ｈｅｏｌｌｅｕｎｇ－ｒｏ， Ｓｅｏｃｈｏ－ｇｕ， Ｓｅｏｕｌ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(71)【出願人】

【識別番号】518357128

【氏名又は名称】イファ ユニバーシティ－インダストリー コラボレーション ファウンデーション

【氏名又は名称原語表記】ＥＷＨＡ ＵＮＩＶＥＲＳＩＴＹ － ＩＮＤＵＳＴＲＹ ＣＯＬＬＡＢＯＲＡＴＩＯＮ ＦＯＵＮＤＡＴＩＯＮ

【住所又は居所原語表記】５２， Ｅｗｈａｙｅｏｄａｅ－ｇｉｌ Ｓｅｏｄａｅｍｕｎ－ｇｕ Ｓｅｏｕｌ ０３７６０， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100127465

【弁理士】

【氏名又は名称】堀田 幸裕

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100124372

【弁理士】

【氏名又は名称】山ノ井 傑

(72)【発明者】

【氏名】カン、ジェウォン

(72)【発明者】

【氏名】リー、チョンキョン

(72)【発明者】

【氏名】ホ、ジン

(72)【発明者】

【氏名】パク、スンウク

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MC11

5C159ME01

5C159PP04

5C159RC11

5C159TA30

5C159TB08

5C159TC02

5C159TC42

5C159TD05

5C159TD15

5C159UA02

5C159UA05

(57)【要約】

インター予測でデコーダ側動きベクトルリスト修正方法に関する開示として、本実施例は、インター予測のマージモード及びＡＭＶＰ（Advanced Motion Vector Prediction）モードにおいて、テンプレートマッチング方法又は双方向マッチング方法に基づいてデコーダ側で動きベクトルリストに対して候補を追加、プルーニング（pruning）、及び並べ替えのうちの１つ以上を遂行するビデオコーディング方法及び装置を提供する。

【特許請求の範囲】

【請求項1】

映像復号化装置が遂行する、現在ブロックをインター予測する方法において、
ビットストリームから候補インデックスを復号化するステップであって、前記候補インデックスは候補リスト内の複数の候補のうちの１つを指示し、各候補は双方向予測の動きベクトルペアを表す、ステップと、
前記現在ブロックの周辺情報を用いて前記候補リストを生成するステップと、
ＭＢＭ（Multi-pass Bilateral Matching）の多重パス及びＭＢＭ費用に基づいて前記候補リストを修正するステップであって、前記多重パスのうち、１番目のパスは前記現在ブロック、２番目のパスは前記現在ブロック内のサブブロック、及び３番目のパスは前記サブブロックよりも小さいサイズの下位ブロックに対し、前記ＭＢＭ費用に基づいて動きベクトルペアを探索し、前記ＭＢＭ費用は、各パスに対して前記探索された動きベクトルペアが指示する２つのブロック間の差に依存する、ステップと、
前記候補インデックスを用いて前記修正された候補リストから前記現在ブロックの動きベクトルペアを抽出するステップと、
前記抽出された動きベクトルペアを用いて前記現在ブロックの予測ブロックを生成するステップと、
を含むことを特徴とする、方法。

【請求項2】

前記修正するステップは、
前記多重パスを用い、前記各候補に対して前記ＭＢＭ費用を最小にする改善動きベクトルペアを生成することを特徴とする、請求項１に記載の方法。

【請求項3】

前記修正するステップは、
前記候補リストが一般マージ候補リストである場合、前記１番目のパス又は２番目のパスを用いて前記改善動きベクトルペアを生成し、前記候補リストがサブブロック基盤候補リストである場合、前記１番目のパス又は２番目のパス以外に、前記３番目のパスを用いて前記改善動きベクトルペアを生成することを特徴とする、請求項２に記載の方法。

【請求項4】

前記修正するステップは、
前記改善動きベクトルペアを前記候補リスト内の固定された位置に追加することを特徴とする、請求項２に記載の方法。

【請求項5】

前記修正するステップは、
前記改善動きベクトルペアと対応候補との間のＭＢＭ費用差を計算して代替又は削除を遂行することを特徴とする、請求項２に記載の方法。

【請求項6】

前記代替は、
前記改善動きベクトルペアが前記対応候補よりも前記ＭＢＭ費用の側面で良い場合、前記候補リストで前記対応候補を前記改善動きベクトルペアと交替することを特徴とする、請求項５に記載の方法。

【請求項7】

前記削除は、
前記候補の改善動きベクトルペアが追加された候補リストに対し、前記ＭＢＭ費用の側面で最良の候補を前記候補リストのサイズだけ残し、残りの候補を除去することを特徴とする、請求項５に記載の方法。

【請求項8】

前記修正するステップは、
前記ＭＢＭ費用に基づいて前記候補リスト内の候補を昇順に並べ替えることを特徴とする、請求項１に記載の方法。

【請求項9】

前記修正するステップは、
前記候補リストが一般マージ候補リストである場合、予め設定された条件を考慮し、前記改善動きベクトルペアを前記候補リストの特定の順位に追加することを特徴とする、請求項２に記載の方法。

【請求項10】

前記修正するステップは、
前記特定の順位の以前候補と前記改善動きベクトルペアとの間のＭＢＭ費用差を計算した後、前記ＭＢＭ費用差が予め設定された閾値以上である場合、前記改善動きベクトルペアを前記特定の順位に位置させ、前記ＭＢＭ費用差が前記予め設定された閾値よりも小さい場合、前記特定の順位の次の順位に対して前記予め設定された条件を再び考慮することを特徴とする、請求項９に記載の方法。

【請求項11】

前記修正するステップは、
前記候補リストが一般マージ候補リストである場合、前記改善動きベクトルペアをＨＭＶＰ（History-based Motion Vector Predictor）テーブルに追加することを特徴とする、請求項２に記載の方法。

【請求項12】

前記修正するステップは、
前記候補リストが一般マージ候補リストである場合、前記ＭＢＭ費用に基づいてＨＭＶＰテーブル内の動きベクトルペアを並べ替えることを特徴とする、請求項１に記載の方法。

【請求項13】

前記修正するステップは、
前記候補リストが幾何学的分割モード（geometric partitioning mode）候補リストである場合、一般マージ候補リスト内の動き情報に対して前記ＭＢＭ費用に基づいて優先順位を付与することによって前記候補リストを構成することを特徴とする、請求項１に記載の方法。

【請求項14】

前記修正するステップは
前記候補リストがアフィンマージ候補リストである場合、組合せアフィン候補決定時に、前記現在ブロックの周辺ブロックの可用な動きベクトルを前記ＭＢＭ費用に基づいて並べ替えた後、優先順位によって前記組合せアフィン候補を構成する制御点動きベクトル（control point motion vectors）を決定することを特徴とする、請求項１に記載の方法。

【請求項15】

前記修正するステップは、
前記候補リストがアフィンマージ候補リストである場合、
前記候補インデックスを用いて前記候補リストから前記現在ブロックの動きベクトルペアを抽出するステップと、
前記現在ブロックの動きベクトルペアに対して前記１番目のパスを用いて前記ＭＢＭ費用を最小にする改善動きベクトルペアを生成するステップであって、前記改善動きベクトルペアは前記現在ブロックの動きベクトルペア及び改善値で構成される、ステップと、
前記現在ブロックの周辺ブロックから制御点動きベクトルを選択するステップと、
前記制御点動きベクトルに前記改善値を加算するステップと、
を含むことを特徴とする、請求項１に記載の方法。

【請求項16】

映像符号化装置が遂行する、現在ブロックをインター予測する方法において、
前記現在ブロックの周辺情報を用いて前記候補リストを生成するステップと、
候補インデックスを決定するステップであって、前記候補インデックスは候補リスト内の複数の候補のうちの１つを指示し、各候補は双方向予測の動きベクトルペアを表す、ステップと、
ＭＢＭ（Multi-pass Bilateral Matching）の多重パス及びＭＢＭ費用に基づいて前記候補リストを修正するステップであって、前記多重パスのうち、１番目のパスは前記現在ブロック、２番目のパスは前記現在ブロック内のサブブロック、及び３番目のパスは、前記サブブロックよりも小さいサイズの下位ブロックに対し、前記ＭＢＭ費用に基づいて動きベクトルペアを探索し、前記ＭＢＭ費用は、各パスに対して前記探索された動きベクトルペアが指示する２つのブロック間の差に依存する、ステップと、
前記候補インデックスを用いて前記修正された候補リストから前記現在ブロックの動きベクトルペアを抽出するステップと、
前記抽出された動きベクトルペアを用いて前記現在ブロックの予測ブロックを生成するステップと、
前記候補インデックスを符号化するステップと、
を含むことを特徴とする、方法

【請求項17】

映像符号化方法によって生成されたビットストリームを保存する、コンピュータの読み取り可能な記録媒体であって、前記映像符号化方法は、
現在ブロックの周辺情報を用いて前記候補リストを生成するステップと、
候補インデックスを決定するステップであって、前記候補インデックスは候補リスト内の複数の候補のうちの１つを指示し、各候補は双方向予測の動きベクトルペアを表す、ステップと、
ＭＢＭ（Multi-pass Bilateral Matching）の多重パス及びＭＢＭ費用に基づいて前記候補リストを修正するステップであって、前記多重パスのうち、１番目のパスは前記現在ブロック、２番目のパスは前記現在ブロック内のサブブロック、及び３番目のパスは、前記サブブロックよりも小さいサイズの下位ブロックに対し、前記ＭＢＭ費用に基づいて動きベクトルペアを探索し、前記ＭＢＭ費用は、各パスに対して前記探索された動きベクトルペアが指示する２つのブロック間の差に依存する、ステップと、
前記候補インデックスを用いて前記修正された候補リストから前記現在ブロックの動きベクトルペアを抽出するステップと、
前記抽出された動きベクトルペアを用いて前記現在ブロックの予測ブロックを生成するステップと、
前記候補インデックスを符号化するステップと、
を含むことを特徴とする、記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、インター予測におけるデコーダ側の動きベクトルリストの修正方法に関する。

【背景技術】

【0002】

以下に記述される内容は、単に本発明に関連される背景情報のみを提供するだけで従来技術を構成するものではない。

【0003】

ビデオデータは音声データや静止画データなどに比べて多くのデータ量を有するため、圧縮のための処理なしにそれ自体を保存又は伝送するためにはメモリを含む多くのハードウェアリソースが必要となる。

【0004】

したがって、通常、ビデオデータを保存又は伝送するときに、符号化器を使用してビデオデータを圧縮して保存又は伝送し、復号化器では圧縮されたビデオデータを受信して圧縮を解除して再生する。このようなビデオ圧縮技術としては、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ（High Efficiency Video Coding）などをはじめ、ＨＥＶＣに比べて約３０％以上の符号化効率を向上させたＶＶＣ（Versatile Video Coding）が存在する。

【0005】

しかしながら、映像のサイズ及び解像度、フレームレートが徐々に増加しており、それに応じて符号化すべきデータ量も増加しているため、既存の圧縮技術よりも符号化効率が良く、画質改善効果も高い新たな圧縮技術が求められている。特に、インター予測で、ビデオ符号化効率を向上させて画質を改善するために、動きベクトルリストの効率的な運用が考慮される必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示は、インター予測のマージモード及びＡＭＶＰ（Advanced Motion Vector Prediction）モードにおいて、テンプレートマッチング方法又は双方向マッチング方法に基づいてデコーダ側で動きベクトルリストに対して候補を追加、プルーニング（pruning）及び並べ替えのうちの１つ以上を遂行するビデオコーディング方法及び装置を提供することに目的がある。

【課題を解決するための手段】

【0007】

本開示の実施例によると、映像復号化装置が遂行する、現在ブロックをインター予測する方法において、ビットストリームから候補インデックスを復号化するステップであって、前記候補インデックスは候補リスト内の複数の候補のうちの１つを指示し、各候補は双方向予測の動きベクトルペアを表す、ステップと、前記現在ブロックの周辺情報を用いて前記候補リストを生成するステップと、ＭＢＭ（Multi-pass Bilateral Matching）の多重パス及びＭＢＭ費用に基づいて前記候補リストを修正するステップであって、前記多重パスのうち、１番目のパスは前記現在ブロック、２番目のパスは前記現在ブロック内のサブブロック、及び３番目のパスは前記サブブロックよりも小さいサイズの下位ブロックに対し、前記ＭＢＭ費用に基づいて動きベクトルペアを探索し、前記ＭＢＭ費用は、各パスに対して前記探索された動きベクトルペアが指示する２つのブロック間の差に依存する、ステップと、前記候補インデックスを用いて前記修正された候補リストから前記現在ブロックの動きベクトルペアを抽出するステップと、前記抽出された動きベクトルペアを用いて前記現在ブロックの予測ブロックを生成するステップと、を含むことを特徴とする、方法を提供する。

【0008】

本開示の他の実施例によると、映像符号化装置が遂行する現在ブロックをインター予測する方法において、前記現在ブロックの周辺情報を用いて前記候補リストを生成するステップと、候補インデックスを決定するステップであって、前記候補インデックスは候補リスト内の複数の候補のうちの１つを指示し、各候補は双方向予測の動きベクトルペアを表す、ステップと、ＭＢＭ（Multi-pass Bilateral Matching）の多重パス及びＭＢＭ費用に基づいて前記候補リストを修正するステップであって、前記多重パスのうち、１番目のパスは前記現在ブロック、２番目のパスは前記現在ブロック内のサブブロック、及び３番目のパスは、前記サブブロックよりも小さいサイズの下位ブロックに対し、前記ＭＢＭ費用に基づいて動きベクトルペアを探索し、前記ＭＢＭ費用は、各パスに対して前記探索された動きベクトルペアが指示する２つのブロック間の差に依存する、ステップと、前記候補インデックスを用いて前記修正された候補リストから前記現在ブロックの動きベクトルペアを抽出するステップと、前記抽出された動きベクトルペアを用いて前記現在ブロックの予測ブロックを生成するステップと、前記候補インデックスを符号化するステップと、を含むことを特徴とする、方法を提供する。

【0009】

本開示の他の実施例によると、映像符号化方法によって生成されたビットストリームを保存する、コンピュータの読み取り可能な記録媒体であって、前記映像符号化方法は、現在ブロックの周辺情報を用いて前記候補リストを生成するステップと、候補インデックスを決定するステップであって、前記候補インデックスは候補リスト内の複数の候補のうちの１つを指示し、各候補は双方向予測の動きベクトルペアを表す、ステップと、ＭＢＭ（Multi-pass Bilateral Matching）の多重パス及びＭＢＭ費用に基づいて前記候補リストを修正するステップであって、前記多重パスのうち、１番目のパスは前記現在ブロック、２番目のパスは前記現在ブロック内のサブブロック、及び３番目のパスは、前記サブブロックよりも小さいサイズの下位ブロックに対し、前記ＭＢＭ費用に基づいて動きベクトルペアを探索し、前記ＭＢＭ費用は、各パスに対して前記探索された動きベクトルペアが指示する２つのブロック間の差に依存する、ステップと、前記候補インデックスを用いて前記修正された候補リストから前記現在ブロックの動きベクトルペアを抽出するステップと、前記抽出された動きベクトルペアを用いて前記現在ブロックの予測ブロックを生成するステップと、前記候補インデックスを符号化するステップと、を含むことを特徴とする、記録媒体を提供する。

【発明の効果】

【0010】

以上説明したように、本実施例によると、インター予測のマージモード及びＡＭＶＰモードにおいて、テンプレートマッチング方法又は双方向マッチング方法に基づいてデコーダ側で動きベクトルリストに対して候補を追加、プルーニング、及び並び替えのうちの１つ以上を遂行するビデオコーディング方法及び装置を提供することにより、ビデオ符号化効率を向上させてビデオ画質を改善することが可能となる効果がある。

【図面の簡単な説明】

【0011】

【図1】図１は、本開示の技術を具現できる映像符号化装置に関する例示的なブロック図である。

【図2】図２は、ＱＴＢＴＴＴ構造を用いてブロックを分割する方法を説明するための図である。

【図3a】図３ａは、広角イントラ予測モードを含む複数のイントラ予測モードを示す図である。

【図3b】図３ｂは、広角イントラ予測モードを含む複数のイントラ予測モードを示す図である。

【図4】図４は、現在ブロックの周辺ブロックに関する例示図である。

【図5】図５は、本開示の技術を具現できる映像復号化装置の例示的なブロック図である。

【図6a】図６ａは、本開示の一実施例に係るアフィン動き予測を説明するための例示図である。

【図6b】図６ｂは、本開示の一実施例に係るアフィン動き予測を説明するための例示図である。

【図7】図７は、アフィン動き予測のための組合せアフィンマージ候補を誘導する方法を説明するための例示図である。

【図8】図８は、本開示の一実施例に係る、アフィンＡＭＶＰモードでアフィンＡＭＶＰ候補を探索する過程を示すフローチャートである。

【図9】図９は、本開示の一実施例に係る、幾何学的分割モードでサポートされる三角分割類型を示す例示図である。

【図10】図１０は、本開示の一実施例に係る、幾何学的分割モードで用いられる加重値を示す例示図である。

【図11】図１１は、本開示の一実施例に係る、ＧＰＭ候補リストを示す例示図である。

【図12】図１２は、本開示の一実施例に係る、イントラ予測におけるテンプレートマッチングを示す例示図である。

【図13】図１３は、本開示の一実施例に係る、双方向予測におけるテンプレートマッチングを示す例示図である。

【図14】図１４は、本開示の一実施例に係る、双方向マッチングＡＭＶＰ － ＭＥＲＧＥモードを示す例示図である。

【図15】図１５は、本開示の一実施例に係る、動き情報候補リストを誘導するための周辺ブロックを示す例示図である。

【図16】図１６は、本開示の一実施例に係る、空間的候補を誘導するための周辺ブロックを示す例示図である。

【図17】図１７は、本開示の一実施例に係る、継承アフィンＡＭＶＰ候補の並べ替えを含む、アフィンＡＭＶＰ候補を探索する過程を示すフローチャートである。

【図18】図１８は、本開示の一実施例に係る、映像符号化装置が現在ブロックをインター予測する方法を示すフローチャートである。

【図19】図１９は、本開示の一実施例に係る、映像復号化装置が現在ブロックをインター予測する方法を示すフローチャートである。

【図20】図２０は、本開示の他の実施例に係る、映像符号化装置が現在ブロックをインター予測する方法を示すフローチャートである。

【図21】図２１は、本開示の他の実施例に係る、映像復号化装置が現在ブロックをインター予測する方法を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施例を例示的な図面を参照して詳しく説明する。各図面の構成要素に参照符号を付加するにあたり、同一の構成要素に対しては、たとえ他の図面に表示されても可能な限り同一の符号を有するようにしていることに留意されたい。なお、本実施例を説明するにあたり、関連された公知の構成又は機能についての具体的な説明が本実施例の要旨を曖昧にすると判断される場合には、その詳しい説明は省く。

【0013】

図１は、本開示の技術を具現することができる映像符号化装置についての例示的なブロック図である。以下では、図１の図示を参照して映像符号化装置とこの装置の下位構成について説明する。

【0014】

映像符号化装置は、ピクチャ分割部１１０、予測部１２０、減算器１３０、変換部１４０、量子化部１４５、並べ替え部１５０、エントロピー符号化部１５５、 逆量子化部１６０、逆変換部１６５、加算器１７０、ループフィルタ部１８０、及びメモリ１９０を含むように構成される。

【0015】

映像符号化装置の各構成要素は、ハードウェア又はソフトウェアで具現されてもよく、ハードウェア及びソフトウェアの組み合わせで具現されてもよい。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。

【0016】

１つの映像（ビデオ）は、複数のピクチャを含む１つ以上のシーケンスで構成される。各ピクチャは複数の領域に分割され、各領域ごとに符号化が遂行される。例えば、１つのピクチャは、１つ以上のタイル（Tile）又は／及びスライス（Slice）に分割される。ここで、１つ以上のタイルをタイルグループ（Tile Group）として定義する。各タイル又は／及びスライスは、１つ以上のＣＴＵ（Coding Tree Unit）に分割される。そして、各ＣＴＵはツリー構造によって１つ以上のＣＵ（Coding Unit）に分割される。各ＣＵに適用される情報はＣＵのシンタックスとして符号化され、１つのＣＴＵに含まれるＣＵに共通に適用される情報はＣＴＵのシンタックスとして符号化される。さらに、１つのスライス内のすべてのブロックに共通に適用される情報はスライスヘッダのシンタックスとして符号化され、１つ以上のピクチャを構成するすべてのブロックに適用される情報はピクチャパラメータセット（ＰＰＳ、Picture Parameter Set）あるいはピクチャ ヘッダに符号化される。さらに、複数のピクチャが共通に参照する情報は、シーケンスパラメータセット（ＳＰＳ、Sequence Parameter Set）に符号化される。そして、１つ以上のＳＰＳが共通に参照する情報は、ビデオパラメータセット（ＶＰＳ、Video Parameter Set）に符号化される。さらに、１つのタイル又はタイルグループに共通に適用される情報は、タイル又はタイルグループヘッダのシンタックスとして符号化されてもよい。ＳＰＳ、ＰＰＳ、スライスヘッダ、タイル又はタイルグループヘッダに含まれるシンタックスは、上位水準（high level）のシンタックスと称する。

【0017】

ピクチャ分割部１１０は、ＣＴＵ（Coding Tree Unit）のサイズを決定する。ＣＴＵのサイズに関する情報（CTU size）は、ＳＰＳ又はＰＰＳのシンタックスとして符号化されて映像復号化装置に伝達される。

【0018】

ピクチャ分割部１１０は、映像を構成する各ピクチャ（picture）を予め決定されたサイズを有する複数のＣＴＵ（Coding Tree Unit）に分割した以降に、ツリー構造（tree structure）を用いてＣＴＵを繰り返し（recursively）分割する。ツリー構造におけるリーフノード（leaf node）が符号化の基本単位であるＣＵ（coding unit）となる。

【0019】

ツリー構造では、上位ノード（あるいは親ノード）が同じサイズの４つの下位ノード（あるいは子ノード）に分割されるクワッドツリー（Quad Tree、ＱＴ）、又は上位ノードが２つの下位ノードに分割されるバイナリツリー（Binary Tree、ＢＴ）、又は上位ノードが１：２：１の比率で３つの下位ノードに分割されるターナリーツリー（Ternary Tree、TT）、又はこれらのＱＴ構造、ＢＴ構造、及びＴＴ構造のうちの２つ以上を混用した構造である。例えば、ＱＴＢＴ（Quad Tree plus Binary Tree）構造が用いられてもよく、あるいはＱＴＢＴＴＴ（Quad Tree plus Binary Tree Ternary Tree）構造が用いられてもよい。ここで、ＢＴＴＴを合わせてＭＴＴ（Multiple-Type Tree）と称される。

【0020】

図２は、ＱＴＢＴＴＴ構造を用いてブロックを分割する方法を説明するための図である。

【0021】

図２に図示されたように、ＣＴＵは最初にＱＴ構造に分割される。クワッドツリー分割は、分割ブロック（splitting block）のサイズがＱＴで許容されるリーフノードの最小ブロックサイズＭｉｎＱＴＳｉｚｅに到達するまで繰り返される。ＱＴ構造の各ノードが下位レイヤの４つのノードに分割されるか否かを指し示す第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇは、エントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。ＱＴのリーフノードがＢＴで許容されるルートノードの最大ブロックサイズＭａｘＢＴＳｉｚｅよりも大きくない場合、ＢＴ構造又はＴＴ構造のうちのいずれか１つ以上にさらに分割される。ＢＴ構造及び／又はＴＴ構造では、複数の分割方向が存在する。例えば、該当ノードのブロックが横に分割される方向と縦に分割される方向の２つが存在する。図２に示すように、ＭＴＴ分割が開始されると、ノードが分割されたか否かを指し示す第２のフラグｍｔｔ_ｓｐｌｉｔ_ｆｌａｇと、分割されたら追加的に分割方向（verticalあるいはhorizontal）を示すフラグ及び／又は分割タイプ（BinaryあるいはTernary）を示すフラグがエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。

【0022】

代替的に、各ノードが下位レイヤの４つのノードに分割されるか否かを指し示す第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを符号化する前に、そのノードが分割されるか否かを指し示すＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇが符号化されてもよい。ＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇ値が分割されていないことを指し示す場合、該当ノードのブロックが分割ツリー構造におけるリーフノード（leaf node）となり、符号化の基本単位であるＣＵ（coding unit）となる。ＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇ値が分割されることを指し示す場合、映像符号化装置は、上述した方式で第１のフラグから符号化を開始する。

【0023】

ツリー構造の他の例示としてＱＴＢＴが使用される場合、該当ノードのブロックを同一サイズの２つのブロックに横に分割するタイプ（すなわち、symmetric horizontal splitting）と縦に分割するタイプ（すなわち、symmetric vertical splitting）の２つが存在する。ＢＴ構造の各ノードが下位レイヤのブロックに分割されるか否かを指し示す分割フラグｓｐｌｉｔ_ｆｌａｇ及び、分割されるタイプを指し示す分割タイプ情報がエントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。一方、該当ノードのブロックを互いに非対称形態の２つのブロックに分割するタイプが追加でさらに存在してもよい。非対称形態には、該当ノードのブロックを１：３のサイズ比率を有する２つの長方形ブロックに分割する形態が含まれてもよく、あるいは該当ノードのブロックを対角線方向に分割する形態が含まれてもよい。

【0024】

ＣＵは、ＣＴＵからのＱＴＢＴ又はＱＴＢＴＴＴ分割に応じて様々なサイズを有する。以下では、符号化又は復号しようとするＣＵ（すなわち、ＱＴＢＴＴＴのリーフノード）に該当するブロックを「現在ブロック」と称する。ＱＴＢＴＴＴ分割の採用に応じ、現在ブロックの形状は正方形だけでなく長方形であってもよい。

【0025】

予測部１２０は、現在ブロックを予測して予測ブロックを生成する。予測部１２０は、イントラ予測部１２２とインター予測部１２４を含む。

【0026】

一般に、ピクチャ内の現在ブロックはそれぞれ予測的にコーディングされる。一般に、現在ブロックの予測は（現在ブロックを含むピクチャからのデータを使用する）イントラ予測技術又は（現在ブロックを含むピクチャ以前にコーディングされたピクチャからのデータを使用する）インター予測技術を使用して遂行される。インター予測は、一方向予測と双方向予測の両方を含む。

【0027】

イントラ予測部１２２は、現在ブロックが含まれた現在ピクチャ内で現在ブロックの周辺に位置するピクセル（参照ピクセル）を用いて現在ブロック内のピクセルを予測する。予測方向によって複数のイントラ予測モードが存在する。例えば、図３ａに見られるように、複数のイントラ予測モードは、プラナー（planar）モードとＤＣモードを含む２つの非方向性モードと６５個の方向性モードを含む。各予測モードによって使用する周辺ピクセルと演算式が異なるように定義される。

【0028】

長方形形状の現在ブロックに対する効率的な方向性予測のために、図３ｂに破線の矢印で図示された方向性モード（６７～８０番、－１～－１４番イントラ予測モード）が追加で使用される。これらは、「広角イントラ予測モード（wide angle intra-prediction modes）」と称される。図３ｂで矢印は、予測に使用される対応する参照サンプルを指すものであり、予測方向を示すものではない。予測方向は、矢印が指す方向と反対である。広角イントラ予測モードは、現在ブロックが長方形のときに追加のビット伝送なしに特定の方向性モードを反対方向で予測を遂行するモードである。このとき、広角イントラ予測モードのうちから、長方形の現在ブロックの幅と高さの比率により、現在ブロックに利用可能な一部の広角イントラ予測モードが決定される。例えば、４５度より小さい角度を有する広角イントラ予測モード（６７～８０番イントラ予測モード）は、現在ブロックが、高さが幅より小さい長方形の形態であるときに利用可能であり、－１３５度より大きい角度を有する広角イントラ予測モード（-１～-１４番イントラ予測モード）は、現在ブロックが、幅が高さよりも大きい長方形の形態であるときに利用可能である。

【0029】

イントラ予測部１２２は、現在ブロックを符号化するのに使用するイントラ予測モードを決定する。一部の例で、イントラ予測部１２２は、色々なイントラ予測モードを使用して現在ブロックをエンコーディングし、テストされたモードから使用する適切なイントラ予測モードを選択してもよい。例えば、イントラ予測部１２２は、色々にテストされたイントラ予測モードに対するビットレート歪み（rate-distortion）分析を用いてビットレート歪み値を計算し、テストされたモードの中で最善のビットレート歪み特徴を有するイントラ予測モードを選択してもよい。

【0030】

イントラ予測部１２２は、複数のイントラ予測モードの中から1つのイントラ予測モードを選択し、選択されたイントラ予測モードによって決定される周辺ピクセル（参照ピクセル）と演算式を用いて現在ブロックを予測する。選択されたイントラ予測モードに関する情報は、エントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。

【0031】

インター予測部１２４は、動き補償プロセスを用いて現在ブロックに対する予測ブロックを生成する。インター予測部１２４は、現在ピクチャより先に符号化及び復号化された参照ピクチャ内で現在ブロックと最も類似したブロックを探索し、その探索されたブロックを用いて現在ブロックに対する予測ブロックを生成する。そして、現在ピクチャ内の現在ブロックと参照ピクチャ内の予測ブロックとの間の変位（displacement）に該当する動きベクトル（Motion Vector：ＭＶ）を生成する。一般に、動き推定はルマ（luma）成分に対して遂行され、ルマ成分に基づいて計算された動きベクトルはルマ成分及びクロマ成分の両方に対して使用される。現在ブロックを予測するために使用された参照ピクチャに関する情報及び、動きベクトルに関する情報を含む動き情報は、エントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。

【0032】

インター予測部１２４は、予測の正確性を高めるために、参照ピクチャ又は参照ブロックに対する補間を遂行してもよい。すなわち、連続する２つの整数サンプル間のサブサンプルは、その２つの整数サンプルを含む連続された複数の整数サンプルにフィルタ係数を適用して補間される。補間された参照ピクチャに対して現在ブロックと最も類似したブロックを検索するステップを遂行すると、動きベクトルは整数サンプル単位の精度（precision）ではなく小数単位の精度まで表現される。動きベクトルの精度又は解像度（resolution）は、符号化しようとする対象領域、例えばスライス、タイル、ＣＴＵ、ＣＵなどの単位ごとに異なるように設定される。このような適応的動きベクトル解像度（Adaptive Motion Vector Resolution：ＡＭＶＲ）が適用される場合、各対象領域に適用する動きベクトル解像度に関する情報は、対象領域ごとにシグナリングされなければならない。例えば、対象領域がＣＵである場合、各ＣＵごとに適用された動きベクトル解像度に関する情報がシグナリングされる。動きベクトル解像度に関する情報は、後述する差分動きベクトルの精度を示す情報である。

【0033】

一方、インター予測部１２４は、双方向予測（bi-prediction）を用いてインター予測を遂行する。双方向予測の場合、２つの参照ピクチャと、各参照ピクチャ内で現在ブロックと最も類似したブロック位置を表す２つの動きベクトルが用いられる。インター予測部１２４は、参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０）及び参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１）からそれぞれ第１の参照ピクチャ及び第２の参照ピクチャを選択し、各参照ピクチャ内で現在ブロックと類似したブロックを探索して第１の参照ブロックと第２の参照ブロックを生成する。そして、第１の参照ブロックと第２の参照ブロックを平均又は加重平均して現在ブロックに対する予測ブロックを生成する。そして、現在ブロックを予測するために使用した２つの参照ピクチャに関する情報及び、２つの動きベクトルに関する情報を含む動き情報を符号化部１５０に伝達する。ここで、参照ピクチャリスト０は、予め復元されたピクチャのうち、ディスプレイ順序で現在ピクチャ以前のピクチャで構成され、参照ピクチャリスト１は、予め復元されたピクチャのうち、ディスプレイ順序で現在ピクチャ以降のピクチャで構成される。しかしながら、必ずしもこれに限定されるわけではなく、ディスプレイ順序上で現在ピクチャ以降の既復元のピクチャが参照ピクチャリスト０に追加でさらに含まれてもよく、逆に現在ピクチャ以前の既復元のピクチャが参照ピクチャリスト１に追加でさらに含まれてもよい。

【0034】

動き情報を符号化するのに必要とされるビット量を最小化するために多様な方法が用いられる。

【0035】

例えば、現在ブロックの参照ピクチャと動きベクトルが、周辺ブロックの参照ピクチャ及び動きベクトルと同一の場合には、その周辺ブロックを識別できる情報を符号化することで、現在ブロックの動き情報を映像復号化装置に伝達することができる。この方法を「マージモード（merge mode）」とする。

【0036】

マージモードで、インター予測部１２４は、現在ブロックの周辺ブロックから予め決定された個数のマージ候補ブロック（以下、「マージ候補」という）を選択する。

【0037】

マージ候補を誘導するための周辺ブロックとしては、図４に示されたように、現在ピクチャ内で現在ブロックに隣接する左側ブロックＡ０、左下段ブロックＡ１、上段ブロックＢ０、右上段ブロックＢ１、及び左上段ブロックＡ２のうちの全部又は一部が使用される。さらに、現在ブロックが位置する現在ピクチャではなく、参照ピクチャ（現在ブロックを予測するために使用された参照ピクチャと同一であってもよいし異なってもよい）内に位置するブロックがマージ候補として使用されてもよい。例えば、参照ピクチャ内で現在ブロックと同一の位置にあるブロック（co-located block）又はその同一の位置のブロックに隣接するブロックがマージ候補として追加でさらに使用される。以上で記述された方法によって選定されたマージ候補の個数が予め設定された個数より小さいと、０ベクトルをマージ候補に追加する。

【0038】

インター予測部１２４は、このような周辺ブロックを用いて予め決定された個数のマージ候補を含むマージリストを構成する。マージリストに含まれたマージ候補の中から現在ブロックの動き情報として使用するマージ候補を選択し、選択された候補を識別するためのマージインデックス情報を生成する。生成されたマージインデックス情報は、符号化部１５０によって符号化されて映像復号化装置に伝達される。

【0039】

マージスキップ（merge skip）モードはマージモードの特別な場合であり、量子化を遂行した後、エントロピー符号化のための変換係数が全て零（zero）に近いとき、残差信号の伝送なしに周辺ブロック選択情報のみを伝送する。マージスキップモードを用いることで、動きの少ない映像、静止画、スクリーンコンテンツ映像などで相対的に高い符号化効率を達成することができる。

【0040】

以下、マージモードとマージスキップモードを総称し、マージ／スキップモードで表す。

【0041】

動き情報を符号化するためのまた別の方法は、ＡＭＶＰ（Advanced Motion Vector Prediction）モードである。

【0042】

ＡＭＶＰモードで、インター予測部１２４は、現在ブロックの周辺ブロックを用いて現在ブロックの動きベクトルに対する予測動きベクトル候補を誘導する。予測動きベクトル候補を誘導するために使用される周辺ブロックとしては、図４に図示された現在ピクチャ内で現在ブロックに隣接する左側ブロックＡ０、左下段ブロックＡ１、上段ブロックＢ０、右上段ブロックＢ１、及び左上段ブロックＡ２のうち、全部又は一部が用いられる。さらに、現在ブロックが位置する現在ピクチャではなく、参照ピクチャ（現在ブロックを予測するために使用された参照ピクチャと同じであってもよく異なってもよい）内に位置するブロックが、予測動きベクトル候補を誘導するために使用される周辺ブロックとして使用されてもよい。例えば、参照ピクチャ内で現在ブロックと同じ位置にあるブロック（collocated block）、又はその同じ位置のブロックに隣接するブロックが使用される。以上で記述された方法によって動きベクトル候補の個数が予め設定された個数より小さいと、０ベクトルを動きベクトル候補に追加する。

【0043】

インター予測部１２４は、この周辺ブロックの動きベクトルを用いて予測動きベクトル候補を誘導し、予測動きベクトル候補を用いて現在ブロックの動きベクトルに対する予測動きベクトルを決定する。そして、現在ブロックの動きベクトルから予測動きベクトルを減算して差分動きベクトルを算出する。

【0044】

予測動きベクトルは、予測動きベクトル候補に予め定義された関数（例えば、中央値、平均値演算など）を適用して求める。この場合、映像復号化装置も予め定義された関数を知っている。また、予測動きベクトル候補を誘導するために使用する周辺ブロックは既に符号化及び復号化が完了されたブロックであるため、映像復号化装置もその周辺ブロックの動きベクトルも既に知っている。したがって、映像符号化装置は、予測動きベクトル候補を識別するための情報を符号化する必要がない。したがって、この場合には、差分動きベクトルに関する情報と、現在ブロックを予測するために使用した参照ピクチャに関する情報が符号化される。

【0045】

一方、予測動きベクトルは、予測動きベクトル候補のうちのいずれか1つを選択する方式で決定されてもよい。この場合には、差分動きベクトルに関する情報及び現在ブロックを予測するために使用した参照ピクチャに関する情報と共に、選択された予測動きベクトル候補を識別するための情報が追加で符号化される。

【0046】

減算器１３０は、現在ブロックからイントラ予測部１２２又はインター予測部１２４によって生成された予測ブロックを減算して残差ブロックを生成する。

【0047】

変換部１４０は、空間領域のピクセル値を有する残差ブロック内の残差信号を周波数ドメインの変換係数に変換する。変換部１４０は、残差ブロックの全体サイズを変換単位として使用して残差ブロック内の残差信号を変換してもよく、あるいは残差ブロックを複数個のサブブロックに分割してそのサブブロックを変換単位として使用して変換してもよい。あるいは、変換領域及び、非変換領域である２つのサブブロックに区分し、変換領域サブブロックのみを変換単位として使用して残差信号を変換してもよい。ここで、変換領域サブブロックは、横軸（又は縦軸）基準１：１のサイズ比率を有する２つの長方形ブロックのうちの１つである。この場合、サブブロックのみを変換したことを指し示すフラグｃｕ_ｓｂｔ_ｆｌａｇ、方向性（vertical/horizontal）情報ｃｕ_ｓｂｔ_ｈｏｒｉｚｏｎｔａｌ_ｆｌａｇ、及び／又は位置情報ｃｕ_ｓｂｔ_ｐｏｓ_ｆｌａｇがエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。また、変換領域サブブロックのサイズは、横軸（あるいは縦軸）基準１：３のサイズ比率を有し、このような場合、該当分割を区分するフラグｃｕ_ｓｂｔ_ｑｕａｄ_ｆｌａｇが追加的にエントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。

【0048】

一方、変換部１４０は、残差ブロックに対して横方向と縦方向に個別に変換を遂行する。変換のために、様々なタイプの変換関数又は変換行列が用いられる。例えば、横方向変換と縦方向変換のための変換関数の対をＭＴＳ（Multiple Transform Set）と定義する。変換部１４０は、ＭＴＳのうち、変換効率が最も良い１つの変換関数対を選択し、横及び縦方向にそれぞれ残差ブロックを変換する。ＭＴＳのうちから選択された変換関数対に関する情報ｍｔｓ_ｉｄｘは、エントロピー符号化部１５５によって符号化されて映像復号化装置にシグナリングされる。

【0049】

量子化部１４５は、変換部１４０から出力される変換係数を、量子化パラメータを用いて量子化し、量子化された変換係数をエントロピー符号化部１５５に出力する。量子化部１４５は、任意のブロックあるいはフレームに対し、変換なしに、関連された残差ブロックを直ちに量子化してもよい。量子化部１４５は、変換ブロック内の変換係数の位置に応じて互いに異なる量子化係数（スケーリング値）を適用してもよい。二次元に配置された量子化された変換係数に適用される量子化行列は符号化されて映像復号化装置にシグナリングされる。

【0050】

並べ替え部１５０は、量子化された残差値に対して係数値の並べ替えを遂行する。

【0051】

並べ替え部１５０は、係数走査（coefficient scanning）を用いて２次元の係数アレイを１次元の係数シーケンスに変更する。例えば、並べ替え部１５０では、千鳥状スキャン（zig-zag scan）又は対角線スキャン（diagonal scan）を用いてＤＣ係数から高周波数領域の係数までスキャンして１次元の係数シーケンスを出力する。変換単位のサイズ及びイントラ予測モードによって千鳥状スキャンの代わりに２次元の係数アレイを列方向にスキャンする垂直スキャン、２次元のブロック形態係数を行方向にスキャンする水平スキャンが使用されてもよい。すなわち、変換単位のサイズ及びイントラ予測モードによって千鳥状スキャン、対角線スキャン、垂直方向スキャン、及び水平方向スキャンのうちから使用されるスキャン方法が決定されてもよい。

【0052】

エントロピー符号化部１５５は、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Code）、指数ゴロム（Exponential Golomb）などの様々な符号化方式を用い、並べ替え部１５０から出力された１次元の量子化された変換係数のシーケンスを符号化することによってビットストリームを生成する。

【0053】

また、エントロピー符号化部１５５は、ブロック分割に関連されたＣＴＵサイズ、ＣＵ分割フラグ、ＱＴ分割フラグ、ＭＴＴ分割タイプ、ＭＴＴ分割方向などの情報を符号化し、映像復号化装置が映像符号化装置と同様にブロックを分割できるようにする。また、エントロピー符号化部１５５は、現在ブロックがイントラ予測によって符号化されたか、それともインター予測によって符号化されたかの如何を指し示す予測タイプに関する情報を符号化し、予測タイプによってイントラ予測情報（すなわち、イントラ予測モードに関する情報）又はインター予測情報（動き情報の符号化モード（マージモード又はＡＭＶＰモード）、マージモードの場合はマージインデックス、ＡＭＶＰモードの場合は参照ピクチャインデックス及び差分動きベクトルに関する情報）を符号化する。また、エントロピー符号化部１５５は、量子化に関連された情報、すなわち量子化パラメータに関する情報及び量子化行列に関する情報を符号化する。

【0054】

逆量子化部１６０は量子化部１４５から出力される量子化された変換係数を逆量子化して変換係数を生成する。逆変換部１６５は、逆量子化部１６０から出力される変換係数を周波数ドメインから空間ドメインに変換して残差ブロックを復元する。

【0055】

加算部１７０は、復元された残差ブロックと予測部１２０によって生成された予測ブロックを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、次の順序のブロックをイントラ予測するときに参照ピクセルとして使用される。

【0056】

ループ（loop）フィルタ部１８０は、ブロックベースの予測及び変換／量子化によって発生するブロッキングアーチファクト（blocking artifacts）、リンギングアーチファクト（ringing artifacts）、ぼかしアーチファクト（blurring artifacts）等を減らすために復元されたピクセルに対するフィルタリングを遂行する。フィルタ部１８０は、インループ（in-loop）フィルタとしてデブロックフィルタ１８２、ＳＡＯ（Sample Adaptive Offset）フィルタ１８４、及びＡＬＦ（Adaptive Loop Filter）１８６の全部又は一部を含む。

【0057】

デブロックフィルタ１８２は、ブロック単位の符号化／復号化によって発生するブロッキング現象（blocking artifact）を除去するために復元されたブロック間の境界をフィルタリングし、ＳＡＯフィルタ１８４及びａｌｆ１８６は、 デブロックフィルタリングされた映像に対して追加のフィルタリングを遂行する。ＳＡＯフィルタ１８４及びａｌｆ１８６は、損失符号化（lossy coding）によって発生する復元されたピクセルと元本ピクセルとの間の差を補償するために使用されるフィルタである。ＳＡＯフィルタ１８４は、ＣＴＵ単位でオフセットを適用することで、主観的な画質だけでなく符号化効率も向上させる。これに比べ、ＡＬＦ１８６はブロック単位のフィルタリングを遂行し、該当ブロックのエッジ及び変化量の程度を区分して異なるフィルタを適用して歪みを補償する。ＡＬＦに使用されるフィルタ係数に関する情報は符号化されて映像復号化装置にシグナリングされる。

【0058】

デブロックフィルタ１８２、ＳＡＯフィルタ１８４、及びＡＬＦ１８６を介してフィルタリングされた復元ブロックはメモリ１９０に保存される。あるピクチャ内のすべてのブロックが復元されると、復元されたピクチャは、後に符号化しようとするピクチャ内のブロックをインター予測するための参照ピクチャとして使用される。

【0059】

図５は、本開示の技術を具現することができる映像復号化装置の例示的なブロック図である。以下では、図５を参照して映像復号化装置とこの装置の下位構成について説明することにする。

【0060】

映像復号化装置は、エントロピー復号化部５１０、並べ替え部５１５、逆量子化部５２０、逆変換部５３０、予測部５４０、加算器５５０、ループフィルタ部５６０、及びメモリ５７０を含むように構成される。

【0061】

図１の映像符号化装置と同様に、映像復号化装置の各構成要素はハードウェア又はソフトウェアで具現されてもよく、ハードウェア及びソフトウェアの組み合わせで具現されてもよい。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。

【0062】

エントロピー復号化部５１０は、映像符号化装置によって生成されたビットストリームを復号化してブロック分割に関連された情報を抽出することで、復号化しようとする現在ブロックを決定し、現在ブロックを復元するために必要な予測情報と、残差信号に関する情報などを抽出する。

【0063】

エントロピー復号化部５１０は、ＳＰＳ（Sequence Parameter Set）又はＰＰＳ（Picture Parameter Set）からＣＴＵサイズに関する情報を抽出してＣＴＵのサイズを決定し、ピクチャを決定されたサイズのＣＴＵに分割する。そして、ＣＴＵをツリー構造の最上位レイヤ、すなわちルートノードとして決定し、ＣＴＵに関する分割情報を抽出することで、ツリー構造を用いてＣＴＵを分割する。

【0064】

例えば、ＱＴＢＴＴＴ構造を用いてＣＴＵを分割する場合、まずＱＴの分割に関連された第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを抽出して各ノードを下位レイヤの４つのノードに分割する。そして、ＱＴのリーフノードに該当するノードに対しては、ＭＴＴの分割に関連された第２のフラグＭＴＴ_ｓｐｌｉｔ_ｆｌａｇ及び分割方向（vertical/horizontal）及び／又は分割タイプ（binary/ternary）情報を抽出して該当リーフノードをＭＴＴ構造に分割する。これにより、ＱＴのリーフノード以下の各ノードをＢＴ又はＴＴ構造に繰り返し（recursively）分割する。

【0065】

また他の例として、ＱＴＢＴＴＴ構造を用いてＣＴＵを分割する場合、まずＣＵの分割可否を指し示すＣＵ分割フラグｓｐｌｉｔ_ｃｕ_ｆｌａｇを抽出し、該当ブロックが分割された場合、第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを抽出してもよい。分割の過程で、各ノードは、０回以上の繰り返しのＱＴ分割後に０回以上の繰り返しのＭＴＴ分割が発生する。例えば、ＣＴＵはすぐにＭＴＴ分割が発生してもよく、逆に複数回のＱＴ分割のみが発生してもよい。

【0066】

別の例として、ＱＴＢＴ構造を用いてＣＴＵを分割する場合、ＱＴの分割に関連された第１のフラグＱＴ_ｓｐｌｉｔ_ｆｌａｇを抽出して各ノードを下位レイヤの４つのノードに分割する。そして、ＱＴのリーフノードに該当するノードに対しては、ＢＴでさらに分割されるか否かを指し示す分割フラグｓｐｌｉｔ_ｆｌａｇ及び分割方向情報を抽出する。

【0067】

一方、エントロピー復号化部５１０は、ツリー構造の分割を用いて復号化しようとする現在ブロックを決定すると、現在ブロックがイントラ予測されたかそれともインター予測されたかを指し示す予測タイプに関する情報を抽出する。予測タイプ情報がイントラ予測を指し示す場合、エントロピー復号化部５１０は、現在ブロックのイントラ予測情報（イントラ予測モード）に関するシンタックス要素を抽出する。予測タイプ情報がインター予測を指し示す場合、エントロピー復号化部５１０は、インター予測情報に関するシンタックス要素、すなわち、動きベクトル及び、その動きベクトルが参照する参照ピクチャを表す情報を抽出する。

【0068】

また、エントロピー復号化部５１０は、量子化関連の情報、及び残差信号に関する情報として現在ブロックの量子化された変換係数に関する情報を抽出する。

【0069】

並べ替え部５１５は、映像符号化装置によって遂行された係数走査順序の逆順で、エントロピー復号化部５１０でエントロピー復号化された１次元の量子化された変換係数のシーケンスを再び２次元の係数アレイ（すなわち、ブロック）に変更することができる。

【0070】

逆量子化部５２０は、量子化された変換係数を逆量子化し、量子化パラメータを用いて量子化された変換係数を逆量子化する。逆量子化部５２０は、二次元に配列された量子化された変換係数に対して互いに異なる量子化係数（スケーリング値）を適用してもよい。逆量子化部５２０は、映像符号化装置から量子化係数（スケーリング値）の行列を量子化された変換係数の２次元アレイに適用して逆量子化を遂行する。

【0071】

逆変換部５３０は、逆量子化された変換係数を周波数ドメインから空間ドメインに逆変換して残差信号を復元することで、現在ブロックに対する残差ブロックを生成する。

【0072】

また、逆変換部５３０は、変換ブロックの一部領域（サブブロック）のみ逆変換する場合、変換ブロックのサブブロックのみを変換したことを指し示すフラグｃｕ_ｓｂｔ_ｆｌａｇ、サブブロックの方向性（vertical/horizontal）情報ｃｕ_ｓｂｔ_ｈｏｒｉｚｏｎｔａｌ_ｆｌａｇ及び／又はサブブロックの位置情報ｃｕ_ｓｂｔ_ｐｏｓ_ｆｌａｇを抽出し、該当サブブロックの変換係数を周波数ドメインから空間ドメインに逆変換することによって残差信号を復元し、逆変換されない領域に対しては残差信号で「０」値を満たすことによって現在ブロックに対する最終残差ブロックを生成する。

【0073】

また、ＭＴＳが適用された場合、逆変換部５３０は、映像符号化装置からシグナリングされたＭＴＳ情報ｍｔｓ_ｉｄｘを用いて横及び縦方向にそれぞれ適用する変換関数又は変換行列を決定し、決定された変換関数を用いて横及び縦方向に変換ブロック内の変換係数に対して逆変換を遂行する。

【0074】

予測部５４０は、イントラ予測部５４２及びインター予測部５４４を含む。イントラ予測部５４２は、現在ブロックの予測タイプがイントラ予測であるときに活性化され、インター予測部５４４は、現在ブロックの予測タイプがインター予測であるときに活性化される。

【0075】

イントラ予測部５４２は、エントロピー復号化部５１０から抽出されたイントラ予測モードに対するシンタックス要素から複数のイントラ予測モードのうちの現在ブロックのイントラ予測モードを決定し、イントラ予測モードに応じて現在ブロック周囲の参照ピクセルを用いて現在ブロックを予測する。

【0076】

インター予測部５４４は、エントロピー復号化部５１０から抽出されたインター予測モードに対するシンタックス要素を用いて現在ブロックの動きベクトルと、その動きベクトルが参照する参照ピクチャを決定し、動きベクトルと参照ピクチャを用いて現在ブロックを予測する。

【0077】

加算器５５０は、逆変換部から出力される残差ブロックと、インター予測部又はイントラ予測部から出力される予測ブロックを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、後で復号化するブロックをイントラ予測するときの参照ピクセルとして活用される。

【0078】

ループフィルタ部５６０は、インループフィルタとしてデブロックフィルタ５６２、ＳＡＯフィルタ５６４及びＡＬＦ５６６を含む。デブロックフィルタ５６２は、ブロック単位の復号化に因って発生するブロッキング現象（blocking artifact）を除去するために、復元されたブロック間の境界をデブロックフィルタリングする。ＳＡＯフィルタ５６４及びＡＬＦ５６６は、損失符号化（lossy coding）に因って発生する復元されたピクセルと元本ピクセルとの間の差を補償するために、デブロックフィルタリング以降の復元されたブロックに対して追加のフィルタリングを遂行する。ＡＬＦのフィルタ係数は、ビットストリームから復号したフィルタ係数に関する情報を用いて決定される。

【0079】

デブロックフィルタ５６２、ＳＡＯフィルタ５６４、及びＡＬＦ５６６を介してフィルタリングされた復元ブロックはメモリ５７０に保存される。あるピクチャ内のすべてのブロックが復元されると、復元されたピクチャは、後で符号化しようとするピクチャ内のブロックをインター予測するための参照ピクチャとして使用される。

【0080】

本実施例は、以上で説明したような映像（ビデオ）の符号化及び復号化に関する。より詳しくは、インター予測のマージモード及びＡＭＶＰ（Advanced Motion Vector Prediction）モードにおいて、テンプレートマッチング方法又は双方向マッチング方法に基づいてデコーダ側で動きベクトルリストに対して候補を追加、プルーニング（pruning）及び並べ替えのうちの１つ以上を遂行するビデオコーディング方法及び装置を提供する。

【0081】

以下の実施例は、映像符号化装置（video encoding device）内のインター予測部１２４によって遂行される。また、映像復号化装置（video decoding device）内のインター予測部５４４によって遂行される。

【0082】

映像符号化装置は、現在ブロックの符号化において、ビットレート歪曲最適化の側面から本実施例に関連されたシグナリング情報を生成する。映像符号化装置は、エントロピー符号化部１５５を用いてこれを符号化した後、映像復号化装置に伝送する。映像復号化装置は、エントロピー復号化部５１０を用いてビットストリームから現在ブロックの復号化に関連されたシグナリング情報を復号化する。

【0083】

以下の説明で、「対象ブロック」という用語は、現在ブロック又はコーディングユニット（ＣＵ，Coding Unit）と同じ意味で使用されてもよく、又はコーディングユニットの一部の領域を意味してもよい。

【0084】

また、１つのフラグの値が真であることは、フラグが１に設定される場合を示す。また、１つのフラグの値が偽であることは、フラグが０に設定される場合を示す。

【0085】

I. イントラブロックコピー (Intra Block Copy, ＩＢＣ)
ＩＢＣは、ブロックベクトルを用いて同一フレーム内の参照ブロックをコピーして現在ブロックの予測ブロックを生成することにより、現在ブロックのイントラ予測を遂行する。

【0086】

映像符号化装置は、ブロックマッチング（block matching）を遂行して最適なブロックベクトルを導出する。ここで、ブロックベクトルは、現在ブロックから参照ブロックまでの変位（displacement）を表す。映像符号化装置は、符号化効率を高めるために、ブロックベクトルをそのまま伝送せずに、ブロックベクトル予測子（Block Vector Predictor，ＢＶＰ）とブロックベクトル差分（Block Vector Difference，ＢＶＤ）に分割し、これらを符号化した後、映像復号化装置に伝送する。

【0087】

以下、ＢＶＤの空間解像度とブロックベクトルの空間解像度は同一であると看做す。

【0088】

ブロックベクトルを用いるという側面で、ＩＢＣはインター予測の特徴を有する。したがって、ＩＢＣはＩＢＣマージ／スキップモード及びＩＢＣ ＡＭＶＰモードに区分される。

【0089】

ＩＢＣマージ／スキップモードの場合、まず映像符号化装置はＩＢＣマージリスト（merge list）を構成する。符号化効率最適化の側面から、映像符号化装置は、ＩＢＣマージリストに含まれる候補のうちの１つのブロックベクトルを選択した後、それをブロックベクトル予測子（ＢＶＰ）として使用する。映像符号化装置は、選択されたブロックベクトルを指示するマージインデックスを決定する。しかし、映像符号化装置はＢＶＤを生成しない。映像符号化装置は、マージインデックスを符号化して映像復号化装置に伝送する。ＩＢＣマージリストは、映像符号化装置と映像復号化装置によって同じ方法で構成される。映像復号化装置は、マージインデックスを復号化した後、マージインデックスを用いてＩＢＣマージリストからブロックベクトルを生成する。

【0090】

映像符号化装置は、ＩＢＣスキップモードの場合、ＩＢＣマージモードと同じブロックベクトルの伝送方法を用いるが、現在ブロックと予測ブロックとの間の差に該当する残差ブロックを伝送しない。

【0091】

ＩＢＣ ＡＭＶＰモードの場合、符号化効率最適化の側面から、映像符号化装置は動きベクトルを決定し、ＩＢＣ ＡＭＶＰリストを構成する。映像復号化装置は、ＩＢＣ ＡＭＶＰリストに含まれる候補ブロックベクトルのうちの１つをＢＶＰとして指示する候補インデックスを決定する。映像符号化装置は、ＢＶＰと動きベクトルとの間の差であるＢＶＤを算定する。その後、映像符号化装置は、候補インデックス及びＢＶＤを符号化して映像復号化装置に伝送する。

【0092】

一方、映像復号化装置は、候補インデックス及びＢＶＤを復号化する。映像復号化装置は、ＩＢＣ ＡＭＶＰリストから候補インデックスが指示するＢＶＰを獲得した後、ＢＶＰとＢＶＤを加算して動きベクトルを復元する。

【0093】

以下のインター予測技術は、符号化効率を向上させ、インター予測の精度を向上させるために使用される。このような技術は、映像符号化装置内のインター予測部１２４によって遂行されるが、前述したように映像復号化装置内のインター予測部５４４によっても遂行される。

【0094】

II-１. マージ／スキップモード、ＭＭＶＤ、ＡＭＶＰモード及びＡＭＶＲ
マージ／スキップモードは、一般マージ（regular merge）モード、ＭＭＶＤ（Merge mode with Motion Vector Difference）モード、ＣＩＩＰ（Combined Inter and Intra Prediction）モード、幾何学的分割モード（Geometric Partitioning Mode，ＧＰＭ）、及びサブブロックマージ（subblock merge）モードを含む。このとき、サブブロックマージモードはＳｂＴＭＶＰ（Subblock-based Temporal Motion Vector Prediction）とアフィンマージモードに区分される。

【0095】

一方、ＡＭＶＰ（Advanced Motion Vector Prediction）モードは、一般ＡＭＶＰ（regular AMVP）モード、ＳＭＶＤ（Symmetric MVD）モード、及びアフィンＡＭＶＰモードを含む。

【0096】

以下、一般マージ／スキップモードで動き情報のマージ候補リストを構成する方法を説明する。マージ／スキップモードをサポートするために、映像符号化装置内インター予測部１２４は、予め設定された個数（例えば、６つ）のマージ候補を選定してマージ候補リストを構成する。

【0097】

インター予測部１２４は、空間的（spatial）マージ候補を探索する。インター予測部１２４は、図４に例示されたような周辺ブロックから空間的マージ候補を探索する。空間的マージ候補は最大４個まで選定される。空間的マージ候補はＳＭＶＰ（Spatial MVP）とも称される。

【0098】

インター予測部１２４は、時間的（temporal）マージ候補を探索する。インター予測部１２４は、対象ブロックが位置する現在ピクチャではなく、参照ピクチャ（現在ブロックを予測するために使用される参照ピクチャと同じでもよく異なってもよい）内の現在ブロックと同じ位置にあるブロック（co-located block）を時間的マージ候補として追加する。時間的マージ候補は１個が選定される。時間的マージ候補は、ＴＭＶＰ（Temporal MVP）とも称される。

【0099】

インター予測部１２４は、ＨＭＶＰ（History-based Motion Vector Predictor）候補を探索する。インター予測部１２４は、以前ｈ（ここで、ｈは自然数）個のＣＵの動きベクトルをテーブルに保存した後、マージ候補として用いる。テーブルのサイズは６であり、ＦＩＦＯ（First-in First Out）方式に従って以前ＣＵの動きベクトルを保存する。これは、ＨＭＶＰ候補が最大６個までテーブルに保存されることを示す。インター予測部１２４は、テーブルに保存されたＨＭＶＰ候補のうち、最近の動きベクトルをマージ候補として設定する。

【0100】

インター予測部１２４は、ＰＡＭＶＰ（Pairwise Average MVP）候補を探索する。インター予測部１２４は、マージ候補リストで、１番目の候補と２番目の候補の動きベクトル平均をマージ候補に設定する。

【0101】

前述した探索過程を全て遂行してもマージ候補リストを満たすことができない場合（すなわち、予め設定された個数を充足できない場合）、インター予測部１２４は、ゼロ（zero）動きベクトルをマージ候補として追加する。

【0102】

符号化効率最適化の側面から、インター予測部１２４は、マージ候補リスト内の１つの候補を指示するマージインデックスを決定する。インター予測部１２４は、マージインデックスを用いてマージ候補リストから動きベクトル予測子（ＭＶＰ、Motion Vector Predictor）を誘導した後、ＭＶＰを現在ブロックの動きベクトルとして決定する。また、映像符号化装置は、マージインデックスを映像復号化装置にシグナリングする。

【0103】

映像符号化装置は、スキップモードの場合、マージモードと同じ動きベクトルの伝送方法を用いるが、現在ブロックと予測ブロックとの間の差に該当する残差ブロックを伝送しない。

【0104】

前述したマージ候補リストを構成する方法は、映像復号化装置内のインター予測部５４４によって同様に遂行される。映像復号化装置はマージインデックスを復号化する。インター予測部５４４は、マージインデックスを用いてマージ候補リストからＭＶＰを誘導した後、ＭＶＰを現在ブロックの動きベクトルとして決定する。

【0105】

一方、ＭＭＶＤ技術を用いる場合、インター予測部１２４は、マージインデックスを用いてマージ候補リストからＭＶＰを誘導する。例えば、マージ候補リストの１番目又は２番目の候補がＭＶＰとして用いられる。また、符号化効率最適化の側面から、インター予測部１２４は、サイズインデックス（magnitude index）及び方向インデックス（distance index）を決定する。インター予測部１２４は、サイズインデックス及び方向インデックスを用いて動きベクトル差分（Motion Vector Difference，ＭＶＤ）を誘導した後、ＭＶＤとＭＶＰを合算して現在ブロックの動きベクトルを復元する。さらに、映像符号化装置は、マージインデックス、サイズインデックス、及び方向インデックスを映像復号化装置にシグナリングする。

【0106】

前述したＭＭＶＤ技術は、映像復号化装置内のインター予測部５４４によって同様に遂行される。映像復号化装置は、マージインデックス、サイズインデックス、及び方向インデックスを復号化する。インター予測部５４４は、マージ候補リストを構成した後、マージインデックスを用いてマージ候補リストからＭＶＰを誘導する。インター予測部５４４は、サイズインデックス及び方向インデックスを用いてＭＶＤを誘導した後、ＭＶＤとＭＶＰを合算して現在ブロックの動きベクトルを復元する。

【0107】

以下、インター予測のＡＭＶＰモードで動き情報の候補リストを構成する方法を説明する。ＡＭＶＰモードをサポートするために、映像符号化装置内インター予測部１２４は、予め設定された個数（例えば、２個）の候補を選定して候補リストを構成する。

【0108】

インター予測部１２４は、空間的候補を探索する。インター予測部１２４は、図４に例示されたような周辺ブロックから空間的候補を探索する。空間的候補は最大２個まで選定される。

【0109】

インター予測部１２４は、時間的候補を探索する。映像符号化装置は、対象ブロックが位置する現在ピクチャではなく、参照ピクチャ（現在ブロックを予測するために使用される参照ピクチャと同じであってもよく異なってもよい）内の現在ブロックと同じ位置にあるブロックを時間的候補として追加する。時間的候補は１個が選定される。

【0110】

前述した探索過程を全て遂行しても候補リストを満たすことができない場合（すなわち、予め設定された個数を充足できない場合）、インター予測部１２４は、ゼロ動きベクトルを候補として追加する。

【0111】

符号化効率最適化の側面から、インター予測部１２４は、候補リスト内の１つの候補を指示する候補インデックスを決定する。インター予測部１２４は、候補インデックスを用いて候補リストからＭＶＰを誘導する。また、符号化効率最適化の側面から、インター予測部１２４は、動きベクトルを決定した後、動きベクトルからＭＶＰを減算してＭＶＤを算定する。映像符号化装置は、候補インデックス及びＭＶＤを映像復号化装置にシグナリングする。

【0112】

前述したＡＭＶＰ候補リストを構成する方法は、映像復号化装置内のインター予測部５４４によって同様に遂行される。映像復号化装置は、候補インデックス及びＭＶＤを復号化する。インター予測部５４４は、候補インデックスを用いて候補リストからＭＶＰを誘導する。インター予測部５４４は、ＭＶＤとＭＶＰを合算して現在ブロックの動きベクトルを復元する。

【0113】

一方、映像符号化装置は、ＭＶＤと共にＭＶＤの空間解像度を決定する情報を伝送する。ＡＭＶＲ技術が使用する場合、映像符号化装置はビットレート歪曲最適化の側面からＭＶＤの適応的空間解像度を決定する。このとき、ＭＶＤの空間解像度と動きベクトルの空間解像度は同一である。

【0114】

映像符号化装置は、ＡＭＶＲ技術を用いる場合、ａｍｖｒ_ｆｌａｇとａｍｖｒ_ｐｒｅｃｉｓｉｏｎ_ｉｄｘを映像復号化装置に信号することにより、ＭＶＤの空間解像度を知らせる。即ち、ａｍｖｒ_ｆｌａｇが０と信号されると、映像復号化装置は、ＭＶＤを１／４－ｐｅｌ空間解像度に設定する。一方、ａｍｖｒ_ｆｌａｇが０でないと、映像復号化装置はａｍｖｒ_ｐｒｅｃｉｓｉｏｎ_ｉｄｘによってＭＶＤの空間解像度を決定する。このとき、ＡＭＶＲが適用される予測方法によって選択可能なＭＶＤの空間解像度が変わり得る。ＡＭＶＲが適用可能な予測方法は、一般ＡＭＶＰモード、アフィン（affine）ＡＭＶＰモード、ＩＢＣ ＡＭＶＰモードなどである。

【0115】

II-２. アフィンマージモード及びアフィンＡＭＶＰモード
インター予測は、並進運動（translation motion）モデルを反映する動き予測である。すなわち、水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）への動きを予測する技法である。しかしながら、実際には、並進運動以外に、回転（rotation）、ズームイン（zoom-in）、又はズームアウト（zoom-out）などの様々な形態の動きが存在する。アフィン動き予測（affine motion prediction）は、このような様々な形態の動きを反映する。

【0116】

図６ａ及び図６ｂは、本開示の一実施例に係る、アフィン動き予測を説明するための例示図である。

【0117】

アフィン動き予測のための２つのタイプのモデルが存在する。１つは、図６ａの例示のように、現在符号化しようとする対象ブロックの左上耳（top-left corner）と右上耳（top-right corner）の２個の制御点動きベクトル（Control Point Motion Vectors，ＣＰＭＶｓ）、すなわち、４個のパラメータを用いるモデルである。もう１つは、図６ｂの例示のように、対象ブロックの左上耳、右上耳、左下耳（bottom-left corner）の３個の制御点動きベクトル、すなわち６個のパラメータを用いるモデルである。

【0118】

４パラメータアフィンモデルは、式１に示すように表現される。対象ブロック内のサンプル位置（ｘ，ｙ）における動きは、式１に示すように演算される。ここで、対象ブロックの左上段サンプルの位置は（０，０）と仮定される。

【0119】

【数1】

【0120】

また、６パラメータアフィンモデルは、式２に示すように表現される。対象ブロック内のサンプル位置（ｘ，ｙ）における動きは、式２に示すように演算される。

【0121】

【数2】

【0122】

ここで、（ＭＶ_０ｘ，ＭＶ_０y）は左上耳制御点動きベクトルであり、（ＭＶ_１x，ＭＶ_１y）は右上耳制御点動きベクトルであり、（ｍｖ_２x，ｍｖ_２y）は左下耳制御点動きベクトルである。Ｗは対象ブロックの横の長さであり、Ｈは対象ブロックの縦の長さである。

【0123】

アフィン動き予測は、対象ブロック内の各サンプルごとに式１又は式２によって演算された動きベクトルを用いて遂行される。代案的に、演算の複雑度を減らすために、例えば対象ブロックを４×４サイズのサブブロックに分割した後、サブブロック単位で遂行されてもよい。

【0124】

動きベクトル（ｍｖ_ｘ，ｍｖ_ｙ）は、１／１６サンプル精度（precision）を有するように設定される。この場合、式１又は２によって算出された動きベクトル（ｍｖ_ｘ，ｍｖ_ｙ）は、１／１６サンプル単位に丸められる。

【0125】

映像符号化装置は、イントラ予測、インター予測（並進動き予測）、アフィン動き予測などを遂行し、ＲＤ（rate-distortion）コスト（cost）を演算して最適な予測方法を選択する。アフィン動き予測を遂行するために、映像符号化装置のインター予測部１２４は、２つのタイプのモデルのうち、どのタイプを使用するかを決定し、決定されたタイプによって２個又は３個の制御点を決定する。インター予測部１２４は、制御点動きベクトルを用いて対象ブロック内のサブブロックのそれぞれに対する動きベクトル（ｍｖ_ｘ，ｍｖ_ｙ）を演算する。そして、各サブブロックの動きベクトル（ｍｖ_ｘ，ｍｖ_ｙ）を用いてサブブロック単位で、参照ピクチャ内で動き補償を遂行することで、対象ブロック内の各サブブロックに対する予測ブロックを生成する。

【0126】

映像符号化装置は、対象ブロックにアフィン動き予測が適用されたか否かを示すフラグ、アフィンモデルのタイプを示すタイプ情報、及び各制御点の動きベクトルを示す動き情報等を含むアフィン関連シンタックス要素を符号化して映像復号化装置に伝達する。タイプ情報と制御点の動き情報は、アフィン動き予測が遂行される場合にシグナリングされ、制御点の動きベクトルはタイプ情報によって決定された個数だけシグナリングされる。

【0127】

映像復号化装置は、シグナリングされたシンタックスを用いてアフィンモデルのタイプと制御点動きベクトル（control point motion vectors）を決定し、式１又は式２を用いて対象ブロック内の各４×４サブブロックに対して動きベクトル （ｍｖ_ｘ，ｍｖ_ｙ）を演算する。もし、対象ブロックのアフィン動きベクトルに対する動きベクトル解像度情報がシグナリングされた場合、動きベクトル（ｍｖ_ｘ，ｍｖ_ｙ）は丸めなどの演算を用いて動きベクトル解像度情報によって識別される精度で修正される。

【0128】

映像復号化装置は、各サブブロックに対する動きベクトル（ｍｖ_ｘ，ｍｖ_ｙ）を用いて参照ピクチャ内で動き補償を遂行することで、各サブブロックに対する予測ブロックを生成する。

【0129】

制御点動きベクトルを符号化するために必要とされるビット量を減らすために、前述したところのように一般的なインター予測（並進動き予測）の方式が適用される。

【0130】

一例として、アフィンマージモードの場合、映像符号化装置のインター予測部１２４は、予め定義された個数（例えば、５個）のアフィンマージ候補リストを構成する。まず、映像符号化装置のインター予測部１２４は、対象ブロックの周辺ブロックから継承（inherited）アフィンマージ候補を誘導する。例えば、図４に図示された対象ブロックの周辺サンプルＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２から予め定義された個数の継承アフィンマージ候補を誘導することで、マージ候補リストを生成する。候補リストに含まれる継承アフィンマージ候補のそれぞれは、２個又は３個のＣＰＭＶｓの組合せに対応する。

【0131】

インター予測部１２４は、対象ブロックの周辺ブロックのうち、アフィンモードで予測された周辺ブロックの制御点動きベクトルから継承アフィンマージ候補を誘導する。一部の実施例で、アフィンモードで予測された周辺ブロックから誘導されるマージ候補の個数は制限される。例えば、インター予測部１２４は、Ａ０とＡ１のうちの１つ、そしてＢ０、Ｂ１、及びＢ２のうちの１つ、合計２個の継承アフィンマージ候補をアフィンモードで予測された周辺ブロックから誘導する。優先順位は、Ａ０、Ａ１の順序、そしてＢ０、Ｂ１、Ｂ２の順序である。

【0132】

一方、マージ候補の総個数が３個以上である場合、インター予測部１２４は、周辺ブロックの並進動きベクトル（translational motion vector）から不足する個数だけの組合せ（constructed）アフィンマージ候補を誘導する。

【0133】

図７は、アフィン動き予測のための組合せアフィンマージ候補を誘導する方法を説明するための例示図である。

【0134】

インター予測部１２４は、周辺ブロックグループ｛Ｂ２、Ｂ３、Ａ２｝、周辺ブロックグループ｛Ｂ１、Ｂ０｝、周辺ブロックグループ｛Ａ１、Ａ０｝からそれぞれ１つずつの制御点動きベクトルＣＰＭＶ１、ＣＰＭＶ２、ＣＰＭＶ３を誘導する。１つの例示として、各周辺ブロックグループ内での優先順位は、Ｂ２、Ｂ３、Ａ２の順序、Ｂ１、Ｂ０の順序、そしてＡ１、Ａ０の順序である。さらに、参照ピクチャ内の同一位置ブロック（collocated block）Ｔからもう1つの制御点動きベクトルＣＰＭＶ４を誘導する。インター予測部１２４は、４個の制御点動きベクトルのうちから２個又は３個の制御点動きベクトルを組合せて不足する個数だけの組合せアフィンマージ候補を生成する。組合せの優先順位は下の通りである。各グループ内の要素は、左上耳、右上耳、左下耳制御点動きベクトルの順に並べられている。

【0135】

{ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３}、{ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４}、{ＣＰＭＶ１，ＣＰＭＶ３，ＣＰＭＶ４}、
{ＣＰＭＶ２，ＣＰＭＶ３，ＣＰＭＶ４}、{ＣＰＭＶ１，ＣＰＭＶ２}、{ＣＰＭＶ１，ＣＰＭＶ３}

【0136】

継承アフィンマージ候補及び組合せアフィンマージ候補を用いてマージ候補リストを埋めることができない場合、インター予測部１２４は、ゼロ動きベクトルを候補として追加する。

【0137】

インター予測部１２４は、符号化効率最適化の側面からマージ候補リストからマージ候補を選択し、これを指示するマージインデックスを決定する。インター予測部１２４は、選択されたマージ候補を用いて対象ブロックに対するアフィン動き予測を遂行する。マージ候補が２個の制御点動きベクトルからなる場合、４パラメータモデルを用いてアフィン動き予測を遂行する。一方、マージ候補が３個の制御点動きベクトルで構成された場合、６パラメータモデルを用いてアフィン動き予測を遂行する。映像符号化装置は、マージインデックスを符号化して映像復号化装置にシグナリングする。

【0138】

映像復号化装置はマージインデックスを復号化する。映像復号化装置のインター予測部５４４は、映像符号化装置と同一の方式でマージ候補リストを構成し、マージインデックスによって指示されるマージ候補に対応する制御点動きベクトルを用いてアフィン動き予測を遂行する。

【0139】

別の例として、アフィンＡＭＶＰモードの場合、符号化効率最適化の側面から映像符号化装置のインター予測部１２４は、対象ブロックに対してアフィンモデルのタイプとそれによる実際の制御点動きベクトルを決定する。映像符号化装置のインター予測部１２４は、各制御点に対して実際の制御点動きベクトルと各制御点のＭＶＰとの間の差であるＭＶＤを算定した後、各制御点のＭＶＤを符号化する。各制御点のＭＶＰを誘導するために、インター予測部１２４は、予め定義された個数（例えば、２個）のアフィンＡＭＶＰ候補リストを構成する。対象ブロックが４パラメータタイプの場合、リストに含まれる候補はそれぞれ２個の制御点動きベクトルのペアからなる。一方、対象ブロックが６パラメータタイプの場合、リストに含まれる候補はそれぞれ３個の制御点動きベクトルのペアからなる。

【0140】

以下、図８の例示を用い、アフィンＡＭＶＰモードで候補リストを構成する方法を説明する。アフィンＡＭＶＰ候補リストは、前述したアフィンマージ候補リストを構成する方法と同様に誘導される。

【0141】

図８は、本開示の一実施例に係る、アフィンＡＭＶＰモードでアフィンＡＭＶＰ候補を探索する過程を示すフローチャートである。

【0142】

インター予測部１２４は、継承アフィンＡＭＶＰ候補の参照ピクチャと現在ブロックの参照ピクチャが同じであるか否かを確認する（Ｓ８００）。ここで、継承アフィンＡＭＶＰ候補は、前述したアフィンマージモードでのように、図４に図示された対象ブロックの周辺ブロックＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２のうち、アフィンモードで予測されたブロックである。

【0143】

継承アフィンＡＭＶＰ候補の参照ピクチャと現在ブロックの参照ピクチャが同じである場合、インター予測部１２４は、該当される継承アフィンＡＭＶＰ候補を追加する（Ｓ８０２）。

【0144】

継承アフィンＡＭＶＰ候補の参照ピクチャと現在ブロックの参照ピクチャが同一でない場合、インター予測部１２４は、組合せアフィンＡＭＶＰ候補の全てのＣＰＭＶｓの参照ピクチャと現在ブロックの参照ピクチャが同一であるか否かを確認する（Ｓ８０４）。ここで、組合せアフィンＡＭＶＰ候補の全てのＣＰＭＶｓは、前述したアフィンマージモードでのように、図７に図示された周辺サンプルの動きベクトルから誘導される。

【0145】

組合せアフィンＡＭＶＰ候補の全てのＣＰＭＶの参照ピクチャと現在ブロックの参照ピクチャが同じである場合、インター予測部１２４は、該当される組合せアフィンＡＭＶＰ候補を追加する（Ｓ８０６）。

【0146】

このとき、対象ブロックのアフィンモデルタイプが考慮されなければならない。映像符号化装置は、対象ブロックのアフィンモデルタイプが４パラメータタイプの場合、周辺ブロックのアフィンモデルを用いて２個の制御点動きベクトル（対象ブロックの左上耳及び右上耳制御点動きベクトル）を誘導する。対象ブロックのアフィンモデルタイプが６パラメータタイプの場合、周辺ブロックのアフィンモデルを用いて３個の制御点動きベクトル（対象ブロックの左上耳、右上耳及び左下耳制御点動きベクトル）を誘導する。

【0147】

全てのＣＰＭＶｓの参照ピクチャと現在ブロックの参照ピクチャが同一でない場合、インター予測部１２４は、アフィンＡＭＶＰ候補として並進動きベクトルを追加する（Ｓ８０８）。並進動きベクトルは、ＭＶ_０、ＭＶ_１、ｍｖ_２の順序で現在ブロックのＣＰＭＶを予測するために用いられる。

【0148】

上の処理（Ｓ８００ないしＳ８０８）を全て遂行しても候補リストを埋めることができない場合（すなわち、予め設定された個数を充足できない場合）、インター予測部１２４は、ゼロ動きベクトルをアフィンＡＭＶＰ候補として追加する（Ｓ８１０）。

【0149】

インター予測部１２４は、アフィンＡＭＶＰリストから１つの候補を選択し、選択された候補を指示する候補インデックスを決定する。このとき、選択された候補の各制御点動きベクトルが各制御点のＭＶＰに該当する。符号化効率インター予測部１２４は、対象ブロックの各制御点に対して実際の制御点動きベクトルを決定した後、実際の制御点動きベクトルと制御点のＭＶＰとの間のＭＶＤを算定する。映像符号化装置は、対象ブロックのアフィンモデルタイプ、候補インデックス、及び各制御点のＭＶＤを符号化して映像復号化装置にシグナリングする。

【0150】

映像復号化装置は、アフィンモデルタイプ、候補インデックス及び各制御点のＭＶＤを復号化する。映像復号化装置のインター予測部５４４は、映像符号化装置と同じ方式でアフィンＡＭＶＰリストを生成し、アフィンＡＭＶＰリスト内で候補インデックスによって指示される候補を選択する。映像復号化装置のインター予測部５４４は、選択された候補の各制御点のＭＶＰに対応するＭＶＤを加算して各制御点の動きベクトルを復元する。インター予測部５４４は、復元された制御点動きベクトルを用いてアフィン動き予測を遂行する。

【0151】

II-３. 幾何学的分割モード(Geometric Partitioning Mode, ＧＰＭ)
図９は、本開示の一実施例に係る、幾何学的分割モードでサポートされる三角分割類型を示す例示図である。

【0152】

ＧＰＭで、インター予測部１２４は、現在ブロックが分割された三角ブロックに基づいてインター予測を遂行する。ＧＰＭは、図９の例示のように、２つの三角分割類型をサポートする。各三角分割類型で２個の三角領域に対し、インター予測部１２４は、異なる動き情報（すなわち、動きベクトル）を用いてインター予測を遂行する。

【0153】

インター予測部１２４は、分割領域間の境界における不連続性を最小化するために、各領域の予測信号を加重合して最終予測信号を生成する。最終予測信号の生成に用いられる加重値は、図１０のように例示される。図１０の例示で、Ｐ_１は右上段三角ブロックの動き情報に基づく現在ブロックの予測子であり、Ｐ_２は左下段三角ブロックの動き情報に基づく現在ブロックの予測子を表す。

【0154】

図１１は、本開示の一実施例に係る、ＧＰＭ候補リストを示す例示図である。

【0155】

ＧＰＭ候補リストを構成する際の各分割領域の動き情報は、図１１に例示されたように、一般マージ候補リストから誘導される。マージ候補リストのうち、インデックスが偶数の場合、Ｌ０（１番目の参照リスト）に存在する動き情報が選択され、奇数の場合にはＬ１（２番目の参照リスト）に存在する動き情報が選択される。

【0156】

II-４. テンプレートマッチング
図１２は、本開示の一実施例に係る、イントラ予測におけるテンプレートマッチングを示す例示図である。

【0157】

テンプレートマッチング（Template Matching，ＴＭ）モードで、映像符号化装置内イントラ予測部１２２は、図１２の例示のように、現在フレームの復元された領域でテンプレートを用いて最適な参照ブロックを探索し、最適な参照ブロックを予測ブロックとして適用する。Ｌ字型テンプレートが現在テンプレートとどの程度一致するかを計算して現在テンプレートと最も類似した類似テンプレートを検索し、類似テンプレートに対応するブロックを予測ブロックとして使用する。テンプレートの検索範囲は事前に設定され、予め設定された検索範囲に基づいて現在ブロックの予測が遂行される。

【0158】

一方、テンプレートマッチング基盤マージ候補の並べ替え（adaptive reordering of merge candidates with template matching，ＡＲＭＣ）技法は、前述したテンプレートマッチングに基づいてインター予測のマージ候補を適応的に並べ替える。マージ候補の並べ替え方式は、一般マージモード、テンプレートマッチングマージモード、又はアフィンマージモード（ＳｂＴＭＶＰ候補を除く）に適用される。

【0159】

例えば、テンプレートマッチングマージモードの場合、映像符号化装置内インター予測部１２４は、マージ候補リストを構成してマージ候補をサイズが５の下位グループに分割した後、各下位グループに対してマージ候補をテンプレートマッチング費用（以下、ＴＭ費用）に応じて昇順に（すなわち、費用が増加する順に）並べ替える。ＴＭ費用は、現在ブロックのテンプレートサンプルと対応する参照サンプルとの間の絶対差分値の和（sum of absolute differences，ＳＡＤ）、又は差分値の二乗和（Sum of Squared Error，ＳＳＥ）として定義される。

【0160】

一方、マージ候補が双方向予測を使用する場合、インター予測部１２４は、図１３に図示されたように、マージ候補テンプレートの参照サンプルを双方向予測によって誘導する。

【0161】

II-５. ＤＭＶＲ及び多重パスデコーダ側の動きベクトルの改善
デコーダ側動きベクトル改善（Decoder-side Motion Vector Refinement，ＤＭＶＲ）は、双方向マッチング（Bilateral Matching，ＢＭ）技術を用いて双方向予測の動きベクトル（ＭＶ０及びＭＶ１）を微細に調節することで、デコーダ側で動きベクトルを改善する方法である。以下、双方向予測の動きベクトルは動きベクトルペア（pair）と互換的に用いられる。

【0162】

画像符号化装置は、双方向予測において、参照リストＬ０及びＬ１の参照ピクチャから生成した初期動きベクトルの周囲で精製された（refined）動きベクトルを検索する。ここで、初期動きベクトルは、双方向予測の２個の動きベクトルＭＶ０及びＭＶ１を意味する。ＢＭ技術では、Ｌ０及びＬ１の参照ピクチャ内の２個の候補ブロック間の歪曲であるＢＭ費用が算定される。このとき、ＢＭ費用として２個の候補ブロック間のＳＡＤ、又はＳＳＥが算定される。映像符号化装置は、式３に示すように、最小ＢＭ費用を有する動きベクトル候補を精製された動きベクトルとして生成する。

【0163】

【数3】

【0164】

ここで、ＭＶ_ｏｆｆｓｅｔは、動きベクトル精製の進行に伴う初期動きベクトルに適用されるオフセット（offset）であり、候補動きベクトルと初期動きベクトルとの差である。そのようなオフセットは、整数サンプル単位の整数オフセット（integer offset）、及び副画素（sub-pixel又はsub-pel）サンプル単位の副画素オフセットの和で形成される。式３に示すように、２つの動きベクトルの候補のオフセットに対してミラーリング規則（(mirroring rule）に従う。

【0165】

一方、多重パスデコーダ側の動きベクトル改善（Multi-pass decoder-side motion vector refinement）は、ＢＭ技術を用いてデコーダ側から多重パスに動きベクトルを改善する方法である。以下、ＢＭ技術を用いる多重パスデコーダ側動きベクトルの改善を多重パス双方向マッチング（Multi-pass Bilateral Matching，ＭＢＭ）と称する。

【0166】

映像符号化装置は、ＭＢＭの多重パスのうち、１番目のパスで、ＣＵ単位で動きベクトルを探索し、２番目のパスでＣＵ内の各１６×１６サブブロックに対して動きベクトルを探索する。映像符号化装置は、３番目のパスでＢＤＯＦ（Bi-directional Optical Flow）を適用して各８×８の下位ブロックに対して動きベクトルを探索する。そのような探索によって改善された動きベクトルは空間及び時間動きベクトルの予測のために保存される。ここで、ＢＤＯＦは、映像を構成するサンプル又は客体が一定の速度で移動してサンプル値の変化がほとんどないという仮定を基盤に、双方向動き予測を用いて予測されたサンプルの動きを追加で補償する技術である。

【0167】

多重パスデコーダ側の動きベクトル改善は、具体的には次のような過程を遂行する。

【0168】

１番目のパスで、映像符号化装置は、参照リストＬ０及びＬ１の参照ピクチャから生成した双方向予測の動きベクトル（ＭＶ０及びＭＶ１）を初期値として用い、その周囲で改善された動きベクトル（ＭＶ０_ｐａｓｓ１及び ＭＶ１_ｐａｓｓ１)を生成する。このとき、改善された動きベクトルは、Ｌ０及びＬ１の２つの参照ブロックに対して最小ＢＭ費用に基づき、式４のように生成される。

【0169】

【数4】

【0170】

ここで、ｄｅｌｔａＭＶは初期値の周囲で整数サンプルの精度を有し、初期ＭＶの周囲で３×３の正方形検索パターンによって探索される。

【0171】

２番目のパスで、映像符号化装置は１６×１６サブブロックに対してＢＭを適用する。映像符号化装置は、各サブブロックに対し、１番目のパスで参照リストＬ０とＬ１から獲得したＭＶ０_ｐａｓｓ１とＭＶ１_ｐａｓｓ１の周囲で動きベクトルを改善してＭＶ０_ｐａｓｓ２及びＭＶ１_ｐａｓｓ２を生成する。このとき、整数サンプル精度で動きベクトルが探索される。その後、映像符号化装置は、ＤＭＶＲ技術によるサブサンプル単位改善過程を用い、式５のようにｄｅｌｔａＭＶ（ｓｂＩｄｘ２）を生成する。

【0172】

【数5】

【0173】

ここで、ｓｂＩｄｘ２は１６×１６サブブロックのインデックスを表す。

【0174】

３番目のパスで、映像符号化装置は８×８サブブロックにＢＤＯＦを適用して最終動きベクトルを導出する。映像符号化装置は、各８×８サブブロックに対し、２番目のパスで獲得した動きベクトルにＢＤＯＦを適用する。３番目のパスで生成された最終動きベクトルであるＭＶ０_ｐａｓｓ３及びＭＶ１_ｐａｓｓ３は、式６のように表現される。

【0175】

【数6】

【0176】

ここで、ｓｂＩｄｘ３は８×８サブブロックのインデックスを表し、ｂｉｏＭＶはＢＤＯＦ適用による補正値を表す。

【0177】

以下、各パスに対し、ＭＢＭ費用は、探索された動きベクトルが指示する２つのブロック間のブロックマッチング費用を表す。また、ｄｅｌｔａＭＶ、ｄｅｌｔａＭＶ(ｓｂＩｄｘ２)及びｂｉｏＭＶを通称して改善動きベクトルの改善値、又は「改善値」として表す。さらに、１番目のパスの初期動きベクトルに対し、改善値は、ｄｅｌｔａＭＶ、ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）、及びｂｉｏＭＶの全体又は一部の和を表す。

【0178】

II-６. 双方向マッチングＡＭＶＰ－ＭＥＲＧＥモード
図１４は、本開示の一実施例に係る、双方向マッチングＡＭＶＰ－ＭＥＲＧＥモードを示す例示図である。

【0179】

双方向マッチングＡＭＶＰ－ＭＥＲＧＥモード（ＢＭ ＡＭＶＰ－ＭＥＲＧＥモード）で、映像符号化装置は、ＬＸ（Ｘ＝０ or １）方向の参照ピクチャに対して一方向のＡＭＶＰモードが選択された場合、時間上で等距離に位置する反対方向の参照ピクチャに対してマージ候補の動きベクトルを改善する。改善時に、双方向マッチング技術が用いられる。

【0180】

映像符号化装置は、双方向マッチング基盤動きベクトルの改善のために、ＬＸ方向のＡＭＶＰベクトルとＬ１－Ｘ方向のマージ候補動きベクトルを初期値として多重パスデコーダ側動きベクトルの改善を適用して改善された動きベクトルを生成する。このとき、ＡＭＶＰ動きベクトルは、マージ候補動きベクトルが改善されるだけ変更される。例えば、ＡＭＶＰ動きベクトル改善値がＭＶＤ０である場合、マージ候補動きベクトルの改善値ＭＶＤ１は－ＭＶＤ０になる。

【0181】

III. 動きベクトルリスト内候補の追加、プルーニング、及び並べ替え
以下、本開示に係る実現例は、映像符号化装置を中心に記述されるが、映像復号化装置にも適用される。

【0182】

以下、動きベクトルリストは候補を含む。実現例１及び実現例３で、各候補は双方向予測の動きベクトル（ＭＶ０及びＭＶ１）、すなわち動きベクトルペアである。実現例２で、各候補は、動き情報として動きベクトルペア又は一方向予測の動きベクトルを含む。

【0183】

＜実現例１＞ＭＢＭを用いるマージ及びＡＭＶＰ候補リストの修正方法
映像符号化装置は、ＭＢＭを用いて次のようにマージ候補リスト及びＡＭＶＰ候補リストを修正（modify）する。

【0184】

まず、映像符号化装置は、ＭＢＭの３段階多重パスを用いて各候補動きベクトルペアを改善する。このとき、映像符号化装置は、３番目のパスで生成された最終動きベクトルを用いることができるが、各段階別動きベクトルを選択的にＡＭＶＰ候補リスト又はマージ候補リストに追加することができる。例えば、一般マージモードの場合、ＣＵ単位で生成された１番目のパスの改善動きベクトル又は１６×１６単位のサブブロックで生成された２番目のパスの改善された動きベクトルが候補リストに追加される。

【0185】

ＤＭＶＲモードが適用される場合、１番目のパスの改善動きベクトルが用いられる。

【0186】

さらに、ＤＭＶＲモード及びアフィンマージモードが適用される場合、１番目のパスで生成された改善動きベクトルの改善値（ｄｅｌｔａＭＶ）がアフィンマージ候補リスト内の各組合せアフィン候補のすべてのＣＰＭＶｓに加算される。

【0187】

さらに、サブブロック基盤マージモードやアフィン基盤の動きベクトル候補のようにサブブロック単位で候補を決定する場合、１番目のパス及び２番目のパス以外にも、３番目のパスの改善された動きベクトルが候補リストに追加される。

【0188】

一方、ＡＭＶＲが適用される場合、映像符号化装置は、ａｍｖｒ_ｐｒｅｃｉｓｉｏｎ_ｉｄｘによる最小ルマサンプル単位より大きい、又は同じ動きベクトルのみを追加する。このために、該当ＣＵに対してＭＢＭの多重パスが適応的に選択される。

【0189】

一例として、映像符号化装置は、ＭＢＭを用いてＡＭＶＰ候補リストに対して次のように候補追加、リスト並べ替え、リストプルーニング（pruning）などを遂行する。

【0190】

前述したように、映像符号化装置は、ＭＢＭの３段階多重パスを用いて既存の動きベクトルペアＭＶ０、ＭＶ１を改善することで、改善された動きベクトルＭＶ０_ｐａｓｓＮ、ＭＶ１_ｐａｓｓＮを生成する。ここで、既存の動きベクトルペアは、ＡＭＶＰ候補リストに含まれる候補として双方向予測の動きベクトルを表す。既存の動きベクトルペアＭＶ０、ＭＶ１に対し、映像符号化装置は、１つの改善された動きベクトルペアＭＶ０_ｐａｓｓＮ、ＭＶ１_ｐａｓｓＮを生成するが、必ずしもこれに限定されない。すなわち、多重パスの適用によって既存の動きベクトルペアに対し、１つ以上の改善された動きベクトルペアが生成される。

【0191】

候補追加のために、映像符号化装置は、改善された動きベクトルＭＶ０_ｐａｓｓＮ、ＭＶ１_ｐａｓｓＮを既存のＡＭＶＰ候補リストに追加する。リストに追加するとき、改善された動きベクトルは固定された位置に追加される。例えば、改善された動きベクトルはリストの最後に位置する。あるいは、改善された動きベクトルはリストの最優先順位に位置する。

【0192】

さらに、ＡＭＶＰ候補リストのプルーニングのために、映像符号化装置は、リストで既存の動きベクトルを改善された動きベクトルに代替又は削除する。このとき、改善された動きベクトルと既存の動きベクトルとの間の費用の差を計算して代替又は削除の如何が選択される。ここで、費用はＭＢＭ費用を表す。

【0193】

代替は、改善された動きベクトルが既存の動きベクトルよりも費用の側面でよい場合、リストで既存の動きベクトルを改善された動きベクトルに交替することである。削除は、改善された動きベクトルが既存の動きベクトルよりも費用の側面で良くない場合、改善された動きベクトルをリストに追加しないことである。あるいは、削除は、候補の改善された動きベクトルペアが追加された候補リストに対し、ＭＢＭ費用の側面から最良の候補をリストのサイズだけ残し、残りの候補を除去することを意味する。このとき、既存の動きベクトルペアに対してｄｅｌｔａＭＶを０と仮定した後、ＭＢＭ費用が算定される。

【0194】

さらに、リストの並べ替えのために、映像符号化装置は、ＭＢＭ費用に基づいてＡＭＶＰ候補リストの動きベクトル候補を並べ替える。例えば、ＭＢＭ費用に基づいて候補が昇順に整列されることで、候補の優先順位が決定される。さらに、映像符号化装置は、候補が追加又はプルーニングされたＡＭＶＰ候補リストに対し、ＭＢＭ費用に基づいて候補を並べ替える。

【0195】

別の例として、映像符号化装置は、ＭＢＭを用いて一般マージ候補リストに対して次のように候補追加、リスト並べ替え、リストプルーニングなどを遂行する。

【0196】

前述したように、映像符号化装置は、ＭＢＭの３段階多重パスを用いて既存の動きベクトルペアＭＶ０、ＭＶ１を改善することで改善された動きベクトルＭＶ０_ｐａｓｓＮ、ＭＶ１_ｐａｓｓＮを生成する。ここで、既存の動きベクトルペアは、マージ候補リストに含まれる候補として双方向予測の動きベクトルを表す。

【0197】

候補追加のために、映像符号化装置は、改善された動きベクトルＭＶ０_ｐａｓｓＮ、ＭＶ１_ｐａｓｓＮを既存のマージ候補リストに追加する。リストに追加するとき、改善された動きベクトルは固定された位置に追加される。例えば、改善された動きベクトルはリストの最後に位置してもよく、最優先順位に位置してもよい。

【0198】

あるいは、映像符号化装置は、予め設定された条件を考慮し、改善された動きベクトルをマージ候補リストの特定の順位に追加する。映像符号化装置は、リスト内候補に対してＭＢＭ費用を計算してその多様性（diversity）を考慮する。例えば、映像符号化装置は、特定順位の以前候補と改善された動きベクトルとの間の費用差を計算した後、それを予め設定された閾値と比較する。特定の順位が最優先順位である場合、最優先順位の候補と改善された動きベクトルとの間の費用差が計算される。映像符号化装置は、計算された費用差が閾値以上である場合、改善された動きベクトルを特定の順位に位置させる。一方、計算された費用差が閾値よりも小さい場合、映像符号化装置は、改善された動きベクトルが以前の候補と重複性があると判断し、特定の順位の次の順位に対して前述した過程を繰り返す。

【0199】

ここで、閾値は量子化パラメータに基づいて設定される。例えば、閾値は、ビットレート－歪曲最適化に使用するラグランジュパラメータ（Lagrangian parameter）に設定される。

【0200】

さらに、マージ候補リストのプルーニングのために、映像符号化装置は、リストで既存の動きベクトルを改善された動きベクトルに代替又は削除する。このとき、改善された動きベクトルと既存の動きベクトルとの間の費用差を計算して代替又は削除の如何が選択される。ここで、費用はＭＢＭ費用を表す。

【0201】

代替は、改善された動きベクトルが既存の動きベクトルよりも費用の側面でよい場合、リストで既存の動きベクトルを改善された動きベクトルに交替することである。削除は、改善された動きベクトルが既存の動きベクトルよりも費用の側面で良くない場合、改善された動きベクトルをリストに追加しないことである。あるいは、削除は、候補の改善された動きベクトルペアが追加された候補リストに対し、ＭＢＭ費用の側面から最良の候補をリストのサイズだけ残し、残りの候補を除去することを意味する。このとき、既存の動きベクトルに対してｄｅｌｔａＭＶを０と仮定した後、ＭＢＭ費用が算定される。

【0202】

あるいは、リストの並べ替えのために、映像符号化装置は、ＭＢＭ費用に基づいてマージ候補リストの動きベクトル候補を並べ替える。例えば、ＭＢＭ費用に基づいて候補が昇順に整列されることによって候補の優先順位が決定される。さらに、映像符号化装置は、候補が追加又はプルーニングされたマージ候補リストに対し、ＭＢＭ費用に基づいて候補を並べ替える。

【0203】

一方、映像符号化装置は、符号化された動きベクトルをＨＭＶＰテーブルに保存するとき、ＴＭ、ＢＭ、又はＭＢＭによって改善された動きベクトルを追加する。また、既存のＨＭＶＰテーブルはＦＩＦＯ形式にアップデートされるが、本実現例ではＴＭ費用又はＭＢＭ費用に基づいてＨＭＶＰテーブル内の動きベクトルが並べ替えられる。

【0204】

また、映像符号化装置は、次のようにＧＰＭ候補リストを並べ替える。

【0205】

既存の方法では、ＧＰＭ候補リストを構成するとき、現在ブロックが斜線に分割された２つの領域に対して各領域の動き情報は一般マージモード候補リストから誘導される。すなわち、インデックスが偶数／奇数であるかによってＬ０／Ｌ１にある動き情報を用いて候補リストが構成される。本実施例で、映像符号化装置は、このような構成方法の代わりに、マージモード候補リスト内の動き情報に対してＭＢＭ費用に基づいて優先順位を付与することで候補リストを構成することができる。この場合、ＭＢＭ費用は、２つの領域の動き情報（すなわち、動きベクトル）に基づいて算定される。

【0206】

あるいは、２つの領域に対してそれぞれ動き情報を選択するために、映像符号化装置は、ＴＭ費用が最も小さい参照ブロックを選択する。各参照ブロックの一方向の動き情報は、図１５の例示のように、現在ブロックの周辺ブロックから誘導された動き情報候補リストから選択される。符号化効率を向上させるために、映像符号化装置は、ＴＭ費用を基盤にして動き情報に優先順位を付与することで候補リストを構成することができる。

【0207】

既存のＧＰＭでは、図９の例示のように左上側から右下側の斜線又は右上側から左下側の斜線を用いる２つの分割方法によってブロックが分割される。本実施例に係るテンプレートマッチングでは、現在ブロックに隣接するピクセルが存在する左上側から右下側の斜線を用いる分割方法のみが考慮される。

【0208】

映像符号化装置は、ＧＰＭに対し、並べ替え方法の使用如何を指示するフラグをシグナリングする。

【0209】

あるいは、映像符号化装置は、ＧＰＭの動き情報候補リストを構成する際にＴＭ／ＢＭ基盤方法を用いる。このとき、現在ブロックのテンプレートは、一般的なＴＭ／ＢＭ方法によって上段と左側参照サンプルを用いるが、参照ブロックのテンプレートは、現在ブロックの境界に隣接するサブブロックから派生された動きベクトルのそれぞれが指示する位置のサンプルを用いる。ＧＰＭのテンプレートマッチング探索過程で、映像符号化装置は、２個の三角分割領域のうちの1つの三角分割領域の動き情報を維持したまま他の三角分割領域に対してマッチング検索を遂行する。映像符号化装置は、すべての一般マージモード候補に対して前述したテンプレートマッチング探索過程を繰り返す。

【0210】

また別の例として、映像符号化装置はＭＢＭを用いてアフィンマージ／ＡＭＶＰ候補リストを並べ替える。

【0211】

アフィンモード過程で、映像符号化装置は、継承アフィン候補と組合せアフィン候補等で候補リストを構成する。このとき、ＭＢＭ方法に基づいてリスト内の候補間の優先順位が決定される。

【0212】

映像符号化装置は、組合せアフィン候補決定時に、図７の例示のように周辺ブロックＢ２→Ｂ３→Ａ２順に動きベクトルの存在如何を確認して１番目の可用動きベクトルをＣＰＭＶ１に設定する。このとき、映像符号化装置は、ＭＢＭ費用に基づいて可用の動きベクトルを並べ替えた後、優先順位によってＣＰＭＶ１を決定する。同様に、映像符号化装置は、Ｂ１→Ｂ０順に動きベクトルを確認してＣＰＭＶ２を設定し、Ａ１→Ａ０順に動きベクトルを確認してＣＰＭＶ３に設定し、ＭＢＭ費用に基づいてＣＰＭＶｓ（ＣＰＭＶ２及びＣＰＭＶ３）を決定する。できる。

【0213】

アフィンマージモードの場合、映像符号化装置は、現在ブロックに対してＭＢＭの１番目のパスを用いて改善動きベクトルを生成した後、リスト内の各組合せアフィン候補の全てのＣＰＭＶｓに改善動きベクトルの改善値ｄｅｌｔａＭＶを加算する。このとき、１番目のパスを適用するための初期値としては、現在ブロックの動きベクトルペアが用いられる。

【0214】

あるいは、アフィンマージモードの場合、映像符号化装置は、現在ブロックに対してＭＢＭの１番目のパスを用いて改善動きベクトルを生成した後、周辺ブロックから選択されたＣＰＭＶｓに改善動きベクトルの改善値ｄｅｌｔａＭＶを加算する。

【0215】

映像符号化装置は、組合せアフィン候補決定時に、図７の例示のように候補ブロックＢ２→Ｂ３→Ａ２順に動きベクトルの存在如何を確認して１番目の可用動きベクトルをＣＰＭＶ１に設定する。同様に、映像符号化装置は、Ｂ１→Ｂ０順に動きベクトルを確認してＣＰＭＶ２を設定し、Ａ１→Ａ０順に動きベクトルを確認してＣＰＭＶ３に設定する。このとき、映像符号化装置は固定されたＣＰＭＶｓを使用するのではなく、現在ブロックの周辺ブロックの動きベクトルを用いてアフィンパラメータを推定する回帰モデルを計算し、該当モデルから現在ブロックの修正されたＣＰＭＶｓを再び計算する。映像符号化装置は、現在ブロックに対してＭＢＭの１番目のパスを用いて改善動きベクトルを生成した後、修正されたＣＰＭＶｓに改善動きベクトルの改善値ｄｅｌｔａＭＶを加算する。

【0216】

＜実現例２＞ ＴＭを用いたマージ及びＡＭＶＰ候補リストの修正方法
映像符号化装置は、ＡＭＶＰ／マージリスト内の各候補に対してテンプレートマッチングを遂行してテンプレート費用を計算する。その後、映像符号化装置は、ＴＭ費用が小さい順でリストを並べ替える。

【0217】

一例として、映像符号化装置は、テンプレートマッチングを基盤にして一般ＡＭＶＰ候補リスト内の候補を並べ替える。

【0218】

映像符号化装置は、空間的候補と時間的候補にＨＭＶＰ候補を追加して最大２個の予測候補を含むようにＡＭＶＰ候補リストを構成する。その後、映像符号化装置は、ＴＭ費用を用いて候補の順序を並べ替える。あるいは、映像符号化装置は、リスト内候補選択時にＴＭ費用を基準に候補を選択する。

【0219】

映像符号化装置は、左側と上段ブロックを参照してそれぞれ１つずつ最大２個の候補を空間的候補として用いる。映像符号化装置は、図１６の例示のように左側に位置するＡ_ｍ及びＡ_ｍ＋１のうちの１つを候補として選択し、上段に位置するＢ_－１、Ｂ_ｎ及びＢ_ｎ＋１のうちの1つを候補として選択する。以降、映像符号化装置は、ビットレート歪曲最適化に通じて符号化を進行する。本実現例で、映像符号化装置は、左側及び上段で候補を決定する際に、ＴＭ費用に基づいて候補を決定する。

【0220】

別の例として、映像符号化装置は、テンプレートマッチングを基盤にしてアフィンＡＭＶＰ／マージ候補を並べ替える。

【0221】

アフィンモード過程で、映像符号化装置は、継承アフィン候補、組合せアフィン候補などを含むようにアフィンＡＭＶＰ候補リストを構成する。このとき、映像符号化装置は、ＴＭを用いて候補間の優先順位を決定する。

【0222】

映像符号化装置は、組合せアフィン候補決定時に、図７の例示のように候補ブロックＢ２→Ｂ３→Ａ２順に動きベクトルの存在如何を確認して１番目の可用動きベクトルをＣＰＭＶ１に設定する。このとき、映像符号化装置は、ＴＭ費用に基づいて動きベクトルを並べ替えた後、優先順位によってＣＰＭＶ１を決定する。同様に、映像符号化装置は、Ｂ１→Ｂ０順に動きベクトルを確認してＣＰＭＶ２を設定し、Ａ１→Ａ０順に動きベクトルを確認してＣＰＭＶ３に設定し、ＴＭ費用に基づいてＣＰＭＶｓを決定する。

【0223】

継承アフィン候補や組合せアフィン候補が１つ以上であれば、それぞれはサブグループに分割される。以降、映像符号化装置は、サブグループ内で、テンプレートマッチング基盤で優先順位を決定することで、リストを並べ替える。

【0224】

図１７は、本開示の一実施例に係る、継承アフィンＡＭＶＰ候補の並べ替えを含む、アフィンＡＭＶＰ候補を探索する過程を示すフローチャートである。

【0225】

図１７の例示で、映像符号化装置は、継承アフィンＡＭＶＰ候補を含むサブグループに対してテンプレートマッチング基盤で優先順位を決定することで、サブグループ内の継承アフィンＡＭＶＰ候補を並べ替える（Ｓ１７０３）。図１７の例示で残りのステップは図８の例示と同じであるので、詳しい技術を省略する。

【0226】

また別の例として、映像符号化装置は、ＴＭ ＡＭＶＰ／ＴＭマージ候補リスト内の候補を並べ替える。

【0227】

映像符号化装置は、ＴＭ ＡＭＶＰ／ＴＭマージリスト内の各候補に対してテンプレートマッチングを遂行し、ＴＭ費用を計算する。その後、映像符号化装置は、ＴＭ費用が小さい順でリスト内の候補を並べ替える。

【0228】

映像符号化装置は、ＴＭを用いて既存の動き情報を改善することで改善動き情報を生成する。ここで、既存の動き情報は、候補リストに含まれる一方向予測の動きベクトル又は双方向予測の動きベクトルペアＭＶ０、ＭＶ１を示す。

【0229】

ＴＭを用いて候補動き情報を改善する場合、映像符号化装置は現在ブロックの形状を反映してＴＭ費用を計算する。例えば、ブロックが横方向に長い場合はテンプレートの上段サンプルが用いられ、縦方向に長い場合は左側サンプルが用いられる。

【0230】

ＴＭを用いて改善動き情報を生成するとき、映像符号化装置は、ＴＭ費用が予め設定された閾値より大きい場合、改善動き情報をリストに追加しない。このとき、閾値は、１番目の候補のＴＭ費用を考慮して算定する。例えば、１番目の候補のＴＭ費用にＮ（例えば、Ｎ＝５）を乗算して閾値が設定される。

【0231】

また別の例として、映像符号化装置は、ＴＭを基盤にして一般マージ候補リストに対して次のように候補追加、リスト並べ替え、リストプルーニングなどを遂行する。以下、動き情報は、一方向予測の動きベクトル又は双方向予測の動きベクトルペアＭＶ０、ＭＶ１を示す。

【0232】

まず、映像符号化装置は、ＴＭを用いて既存の動き情報を改善することで、改善された動き情報を生成する。

【0233】

候補追加のために、映像符号化装置は、改善された動き情報を既存のマージ候補リストに追加する。リストに追加するとき、改善された動き情報は固定された位置に追加される。例えば、改善された動き情報はリストの最後に位置したり、リストの最優先順位に位置したりする。

【0234】

あるいは、映像符号化装置は、予め設定された条件を考慮し、改善された動き情報をマージ候補リストの特定の順位に追加する。映像符号化装置は、リスト内の候補に対してＴＭ費用を計算し、その多様性を考慮する。例えば、映像符号化装置は、特定の順位の以前候補と改善された動き情報との間の費用差を計算した後、それを予め設定された閾値と比較する。特定の順位が最優先順位である場合、最優先順位の候補と改善された動き情報との間の費用差が計算される。映像符号化装置は、計算された費用差が閾値以上である場合、改善された動き情報を特定の順位に位置させる。一方、計算された費用差が閾値より小さい場合、映像符号化装置は、改善された動き情報が先行する候補と重複性があると判断し、特定順位の次の順位に対して前述した過程を繰り返す。

【0235】

ここで、閾値は量子化パラメータに基づいて設定される。例えば、閾値は、ビットレート－歪曲最適化に使用するラグランジュパラメータに設定される。

【0236】

さらに、マージ候補リストのプルーニングのために、映像符号化装置は、リストで既存の動き情報を改善された動き情報に代替又は削除する。このとき、改善された動き情報と既存の動き情報との間の費用差を計算して代替又は削除の如何が選択される。ここで、費用はＴＭ費用を表す。

【0237】

代替は、改善された動き情報が既存の動き情報よりも費用の側面で良い場合、リストで既存の動き情報を改善された動き情報に交替することである。削除は、改善された動き情報が既存の動き情報よりも費用の側面で良くない場合、改善された動き情報をリストに追加しないことである。あるいは、削除は、改善された動き情報までを含むリスト候補に対し、ＴＭ費用の側面から最良の候補をリストのサイズだけ残し、残りの候補を除去することを意味する。このとき、既存の動き情報に対してｄｅｌｔａＭＶを０と仮定した後、ＴＭ費用が算定される。

【0238】

あるいは、リストの並べ替えのために、映像符号化装置は、ＴＭ費用に基づいてマージ候補リストの動きベクトル候補を並べ替える。例えば、ＴＭ費用に基づいて候補が昇順に整列されることで、候補の優先順位が決定される。

【0239】

＜実現例３＞ ＢＭ ＡＭＶＰ－ＭＥＲＧＥモードで候補リストを修正する方法
以下、ＢＭ ＡＭＶＰ－ＭＥＲＧＥモードで動きベクトル候補を追加し、候補リストを並べ替える方法を記述する。

【0240】

ＢＭ ＡＭＶＰ－ＭＥＲＧＥモードによるＬ０方向とＬ１方向の動きベクトルをそれぞれＭＶ０_ｐａｓｓＮとＭＶ１_ｐａｓｓＮと称する。ＭＶ０_ｐａｓｓＮとＭＶ１_ｐａｓｓＮは、ＭＢＭの多重パスのうちのいずれか1つの過程によって生成された改善された動きベクトルである。

【0241】

映像符号化装置は、既存のＡＭＶＰ／マージ候補のうち、ＭＶ０とＭＶ１を代替してＭＶ０_ｐａｓｓＮとＭＶ１_ｐａｓｓＮを用いる。例えば、ＨＭＶＰ候補の場合、代替された動きベクトルは、現在ブロック以外にも、以降ブロックの動きベクトルの予測のために使用される。

【0242】

映像符号化装置は、既存のＡＭＶＰ／マージ候補のうち、ＭＶ０とＭＶ１にＭＶ０_ｐａｓｓＮとＭＶ１_ｐａｓｓＮを追加して使用する。例えば、ＨＭＶＰ候補の場合、追加された動きベクトルは、現在ブロック以外にも以降ブロックの動きベクトルの予測のために使用される。

【0243】

代替又は追加の後、映像符号化装置はリスト内の候補の順位を並べ替える。例えば、映像符号化装置は、ＭＶ０_ｐａｓｓＮとＭＶ１_ｐａｓｓＮを最も高い順位に置く。あるいは、ＢＭ、ＭＢＭ、又はＴＭに基づいて候補の順位が適応的に配置される。

【0244】

映像符号化装置は、ＭＶ０_ｐａｓｓＮとＭＶ１_ｐａｓｓＮをＨＭＶＰに保存して使用する。映像符号化装置は、ＭＶ０_ｐａｓｓＮとＭＶ１_ｐａｓｓＮを既存のＨＭＶＰに保存する方式以外に別途保存し、次のブロックの動きベクトル予測に用いる。

【0245】

映像符号化装置は、ＭＶ０_ｐａｓｓＮとＭＶ１_ｐａｓｓＮをそれぞれＬ０とＬ１方向の予測に候補動きベクトルとして用いるが、逆にＬ１とＬ０方向の予測に候補動きベクトルとして用いる。このとき、候補動きベクトルの符号が反対に変更される。例えば、Ｌ１方向には－ＭＶ０_ｐａｓｓＮを使用し、Ｌ０方向には－ＭＶ１_ｐａｓｓＮが使用される。このような方式は、前述したすべての場合に対応して適用される。

【0246】

ＭＶ０_ｐａｓｓＮとＭＶ１_ｐａｓｓＮは、元のＬ０とＬ１方向の候補動きベクトルであるＭＶ０とＭＶ１で改善された動きベクトルであるが、ＭＶ０_ｐａｓｓＮはＭＶ０と同じ値であるか、又はＭＶ１_ｐａｓｓＮはＭＶ１と同じ値である。このような値は、前述したすべての場合に対応して適用される。

【0247】

映像符号化装置は、予測ユニット（Prediction Unit、ＰＵ）単位の追加フラグを用いて前述した実施例の使用可否を決定する。

【0248】

以下、図１８及び図１９に図示により、ＭＢＭの多重パス及びＭＢＭ費用に基づいて映像符号化装置又は映像復号化装置が現在ブロックをインター予測する方法を記述する。

【0249】

図１８は、本開示の一実施例に係る、映像符号化装置が現在ブロックをインター予測する方法を示すフローチャートである。

【0250】

映像符号化装置は候補インデックスを決定する（Ｓ１８００）。ここで、候補インデックスは候補リスト内の複数の候補のうちの１つを指示し、各候補は双方向予測の動きベクトルペアを表す。

【0251】

マージモードの場合、候補リストは、一般マージ候補リスト、ＧＰＭ候補リスト、又はアフィンマージ候補リストである。ＡＭＶＰモードの場合、候補リストは一般ＡＭＶＰ候補リスト又はアフィンＡＭＶＰ候補リストである。

【0252】

映像符号化装置は、現在ブロックの周辺情報を用いて候補リストを生成する（Ｓ１８０２）。

【0253】

映像符号化装置は、ＭＢＭの多重パス及びＭＢＭ費用に基づいて候補リストを修正する（Ｓ１８０４）。ここで、多重パスのうちの１番目のパスは現在ブロック、２番目のパスは現在ブロック内のサブブロック、及び３番目のパスはサブブロックより小さいサイズの下位ブロックに対し、ＭＢＭ費用に基づいて動きベクトルペアを探索する。ＭＢＭ費用は、各パスに対して探索された動きベクトルペアが指示する２つのブロック間の差に依存する。

【0254】

映像符号化装置は、多重パスを用い、各候補に対してＭＢＭ費用を最小にする改善された動きベクトルペアを生成する。映像符号化装置は、生成された改善動きベクトルペアを候補リストに追加する。映像符号化装置は、改善動きベクトルペアと対応候補との間のＭＢＭ費用差を計算し、前述したように代替又は削除を遂行する。あるいは、映像符号化装置は、ＭＢＭ費用に基づいて候補リスト内の候補を昇順に並べ替える。

【0255】

映像符号化装置は、候補インデックスを用いて修正された候補リストから現在ブロックの動きベクトルペアを抽出する（Ｓ１８０６）。

【0256】

映像符号化装置は、抽出された動きベクトルペアを用いて現在ブロックの予測ブロックを生成する（Ｓ１８０８）。

【0257】

映像符号化装置は候補インデックスを符号化する（Ｓ１８１０）。

【0258】

図１９は、本開示の一実施例に係る、映像復号化装置が現在ブロックをインター予測する方法を示すフローチャートである。

【0259】

映像復号化装置は、ビットストリームから候補インデックスを復号化する（Ｓ１９００）。ここで、候補インデックスは候補リスト内の複数の候補のうちの１つを指示し、各候補は双方向予測の動きベクトルペアを表す。

【0260】

マージモードの場合、候補リストは、一般マージ候補リスト、ＧＰＭ候補リスト、又はアフィンマージ候補リストである。ＡＭＶＰモードの場合、候補リストは一般ＡＭＶＰ候補リスト又はアフィンＡＭＶＰ候補リストである。

【0261】

映像復号化装置は、現在ブロックの周辺情報を用いて候補リストを生成する（Ｓ１９０２）。

【0262】

映像復号化装置は、ＭＢＭの多重パス及びＭＢＭ費用に基づいて候補リストを修正する（Ｓ１９０４）。ここで、多重パスのうちの１番目のパスは現在ブロック、２番目のパスは現在ブロック内のサブブロック、及び３番目のパスはサブブロックより小さいサイズの下位ブロックに対し、ＭＢＭ費用に基づいて動きベクトルペアを探索する。ＭＢＭ費用は、各パスに対して探索された動きベクトルペアが指示する２つのブロック間の差に依存する。

【0263】

映像復号化装置は、多重パスを用い、各候補に対してＭＢＭ費用を最小にする改善動きベクトルペアを生成する。映像復号化装置は、生成された改善動きベクトルペアを候補リストに追加する。映像復号化装置は、改善動きベクトルペアと対応候補との間のＭＢＭ費用差を計算し、前述したように代替又は削除を遂行する。あるいは、映像復号化装置は、ＭＢＭ費用に基づいて候補リスト内の候補を昇順に並べ替える。

【0264】

映像復号化装置は、候補インデックスを用いて修正された候補リストから現在ブロックの動きベクトルペアを抽出する（Ｓ１９０６）。

【0265】

映像復号化装置は、抽出された動きベクトルペアを用いて現在ブロックの予測ブロックを生成する（Ｓ１９０８）。

【0266】

以下、図２０及び図２１に図示により、ＴＭ及びＴＭ費用に基づいて映像符号化装置と映像復号化装置が現在ブロックをインター予測する方法を記述する。

【0267】

図２０は、本開示の他の実施例に係る、映像符号化装置が現在ブロックをインター予測する方法を示すフローチャートである。

【0268】

映像符号化装置は候補インデックスを決定する（Ｓ２０００）。ここで、候補インデックスは候補リスト内の複数の候補のうちの１つを指示し、各候補は、動き情報として双方向予測の動きベクトルペア又は一方向予測の動きベクトルを含む。

【0269】

マージモードの場合、候補リストは、一般マージ候補リスト、ＧＰＭ候補リスト、ＴＭマージ候補リスト、又はアフィンマージ候補リストである。ＡＭＶＰモードの場合、候補リストは、一般ＡＭＶＰ候補リスト、ＴＭ ＡＭＶＰ候補リスト、又はアフィンＡＭＶＰ候補リストである。

【0270】

映像符号化装置は、現在ブロックの周辺情報を用いて候補リストを生成する（Ｓ２００２）。

【0271】

映像符号化装置は、ＴＭ及びＴＭ費用に基づいて候補リストを修正する（Ｓ２００４）。ここで、ＴＭは、既復元領域で現在ブロックのテンプレートに対応する類似テンプレートを探索する。ＴＭ費用は、現在ブロックのテンプレート内サンプルと類似テンプレート内サンプルとの間の差に依存する。

【0272】

映像符号化装置は、ＴＭ費用に基づいて候補リスト内の候補を昇順に並べ替える。

【0273】

一般マージ候補リストの場合、映像符号化装置は、ＴＭを用い、各候補に対してＴＭ費用を最小にする改善動き情報を生成する。映像符号化装置は、生成された改善動き情報を候補リストに追加する。映像符号化装置は、改善動き情報と対応候補との間のＴＭ費用差を計算し、前述したように代替又は削除を遂行する。

【0274】

映像符号化装置は、候補インデックスを用いて修正された候補リストから現在ブロックの動き情報を抽出する（Ｓ２００６）。

【0275】

映像符号化装置は、抽出された動き情報を用いて現在ブロックの予測ブロックを生成する（Ｓ２００８）。

【0276】

映像符号化装置は候補インデックスを符号化する（Ｓ２０１０）。

【0277】

図２１は、本開示の他の実施例に係る、映像復号化装置が現在ブロックをインター予測する方法を示すフローチャートである。

【0278】

映像復号化装置は、ビットストリームから候補インデックスを復号化する（Ｓ２１００）。ここで、候補インデックスは候補リスト内の複数の候補のうちの１つを指示し、各候補は動き情報として双方向予測の動きベクトルペア又は一方向予測の動きベクトルを含む。

【0279】

マージモードの場合、候補リストは、一般マージ候補リスト、ＧＰＭ候補リスト、ＴＭマージ候補リスト、又はアフィンマージ候補リストである。ＡＭＶＰモードの場合、候補リストは、一般ＡＭＶＰ候補リスト、ＴＭ ＡＭＶＰ候補リスト、又はアフィンＡＭＶＰ候補リストである。

【0280】

映像復号化装置は、現在ブロックの周辺情報を用いて候補リストを生成する（Ｓ２１０２）。

【0281】

映像復号化装置は、ＴＭ及びＴＭ費用に基づいて候補リストを修正する（Ｓ２１０４）。ここで、ＴＭは、既復元領域で現在ブロックのテンプレートに対応する類似テンプレートを探索する。ＴＭ費用は、現在ブロックのテンプレート内サンプルと類似テンプレート内サンプルとの間の差に依存する。

【0282】

映像復号化装置は、ＴＭ費用に基づいて候補リスト内の候補を昇順に並べ替える。

【0283】

一般マージ候補リストの場合、映像復号化装置はＴＭを用い、各候補に対してＴＭ費用を最小にする改善動き情報を生成する。映像復号化装置は、生成された改善動き情報を候補リストに追加する。映像復号化装置は、改善動き情報と対応候補との間のＴＭ費用差を計算し、前述したように代替又は削除を遂行する。

【0284】

映像復号化装置は、候補インデックスを用いて修正された候補リストから現在ブロックの動き情報を抽出する（Ｓ２１０６）。

【0285】

映像復号化装置は、抽出された動き情報を用いて現在ブロックの予測ブロックを生成する（Ｓ２１０８）。

【0286】

本明細書のフローチャート／タイミング図では、各過程を順次実行するものとして記載しているが、これは、本開示の一実施例の技術思想を例示的に説明したものにすぎない。言い換えれば、本開示の一実施例が属する技術分野にて通常の知識を有する者であれば、本開示の一実施例の本質的な特性から逸脱しない範囲でフローチャート／タイミング図に記載された順序を変更して実行するか、又は各過程のうちの１つ以上の過程を並列的に実行することで、様々に修正及び変形して適用可能であるので、フローチャート／タイミング図は時系列的な順序に限定されるものではない。

【0287】

以上の説明における例示的な実施例は、多くの他の方式で具現されることを理解されたい。１つ以上の例示で説明された機能あるいは方法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで具現される。本明細書で説明させた機能的コンポーネントは、それらの具現独立性を特に強調するために「…部（unit）」とラベル付けされることを理解されたい。

【0288】

一方、本実施例で説明された様々な機能あるいは方法は、１つ以上のプロセッサによって読み取られて実行される非一時的記録媒体に保存された命令語で具現されてもよい。非一時的記録媒体は、例えばコンピュータシステムによって読み取り可能な形態でデータが保存されるあらゆる種類の記録装置を含む。例えば、非一時的記録媒体は、ＥＰＲＯＭ（erasable programmable read only memory）、フラッシュドライブ、光学ドライブ、磁気ハードドライブ、ソリッドステートドライブ（ＳＳＤ）のような保存媒体を含む。

【0289】

以上の説明は、本実施例の技術思想を例示的に説明したものに過ぎず、本実施例が属する技術分野で通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能であろう。したがって、本実施例は、本実施例の技術思想を限定するものではなく説明するためのものであり、このような実施例によって本実施例の技術思想の範囲が限定されるものではない。本実施例の保護範囲は、特許請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は、本実施例の権利範囲に含まれるものと解釈されるべきである。

【0290】

CROSS-REFERENCE TO RELATED APPLICATION
２０２２年１月１０日付にて韓国に出願した特許出願番号第１０-２０２２-０００３２４７号、２０２２年１２月２８日付にて韓国に出願した特許出願番号第１０-２０２２-０１８７９７５号に対して優先権を主張し、そのすべての内容は参考文献として本特許出願に併合される。

【符号の説明】

【0291】

１２４ インター予測部
１５５ エントロピー符号化部
５１０ エントロピー復号化部
５４４ インター予測部

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6a】

【図6b】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【国際調査報告】