特表 2024-536200 ビデオ符号化における境界外条件を考慮した動き補償

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-04

(54)【発明の名称】ビデオ符号化における境界外条件を考慮した動き補償

(51)【国際特許分類】

   H04N 19/109 20140101AFI20240927BHJP

   H04N 19/176 20140101ALI20240927BHJP

   H04N 19/139 20140101ALI20240927BHJP

【ＦＩ】

H04N19/109

H04N19/176

H04N19/139

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024519468

(86)(22)【出願日】2022-10-31

(85)【翻訳文提出日】2024-03-28

(86)【国際出願番号】 US2022048484

(87)【国際公開番号】W WO2023076700

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】63/273,930

(32)【優先日】2021-10-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521248394

【氏名又は名称】ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100217940

【弁理士】

【氏名又は名称】三並 大悟

(72)【発明者】

【氏名】チェン、イー－ウェン

(72)【発明者】

【氏名】シウ、シャオユー

(72)【発明者】

【氏名】クオ、チョー－ウェイ

(72)【発明者】

【氏名】チュー、ホン－チェン

(72)【発明者】

【氏名】チェン、ウェイ

(72)【発明者】

【氏名】ヤン、ニン

(72)【発明者】

【氏名】ワン、シャンリン

(72)【発明者】

【氏名】ユイ、ビン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA14

5C159MA19

5C159MA21

5C159MC11

5C159ME01

5C159NN21

5C159PP04

5C159RC11

5C159TA30

5C159TB08

5C159TC33

5C159UA02

5C159UA05

(57)【要約】

ビデオ符号化方法、装置、および非一過性コンピュータ可読記憶媒体が提供される。１つの方法において、デコーダは、現在符号化ブロックのための第１の参照ピクチャおよび第２の参照ピクチャを導出する。デコーダは、第１の参照ピクチャからの動き補償プロセスを使用して、第１の参照ピクチャに関連付けられた第１の動きベクトルに基づいて第１の予測子サンプルを導出する。デコーダは、第２の参照ピクチャからの動き補償プロセスを使用して、第２の参照ピクチャに関連付けられた第２の動きベクトルに基づいて第２の予測子サンプルを導出する。デコーダは、第１の予測子サンプルまたは第２の予測子サンプルのうちの少なくとも１つおよび境界外（ＯＯＢ）条件に基づいて、現在符号化ブロック内の最終予測子サンプルを取得する。

【特許請求の範囲】

【請求項1】

デコーダによって、現在符号化ブロックのための第１の参照ピクチャおよび第２の参照ピクチャを導出することと、
前記デコーダによって、前記第１の参照ピクチャからの動き補償プロセスを使用して、前記第１の参照ピクチャに関連付けられた第１の動きベクトルに基づいて第１の予測子サンプルを導出することと、
前記デコーダによって、前記第２の参照ピクチャからの前記動き補償プロセスを使用して、前記第２の参照ピクチャに関連付けられた第２の動きベクトルに基づいて第２の予測子サンプルを導出することと、
前記デコーダによって、前記第１の予測子サンプルまたは前記第２の予測子サンプルのうちの少なくとも１つおよび境界外（ＯＯＢ）条件に基づいて、前記現在符号化ブロック内の最終予測子サンプルを取得することと、
を含む、ビデオ符号化方法。

【請求項2】

前記ＯＯＢ条件が、
前記第１の予測子サンプルがＯＯＢであるかどうか、および
前記第２の予測子サンプルがＯＯＢであるかどうか、
を含む、請求項１に記載のビデオ符号化方法。

【請求項3】

前記デコーダによって、前記第１の予測子サンプルがＯＯＢであるかどうかを決定することと、前記第２の予測子サンプルがＯＯＢであるかどうかを決定することによって、前記ＯＯＢ条件を取得することをさらに含む、請求項２に記載のビデオ符号化方法。

【請求項4】

前記第１の予測子サンプルがＯＯＢであり、前記第２の予測子サンプルがＯＯＢではないとの決定に応答して、前記第２の参照ピクチャの前記第２の予測子サンプルを前記現在符号化ブロックの前記最終予測子サンプルとして決定することをさらに含む、請求項３に記載のビデオ符号化方法。

【請求項5】

前記第１の予測子サンプルがＯＯＢではなく、前記第２の予測子サンプルがＯＯＢであるとの決定に応答して、前記第１の参照ピクチャの前記第１の予測子サンプルを前記現在符号化ブロックの前記最終予測子サンプルとして決定することをさらに含む、請求項３に記載のビデオ符号化方法。

【請求項6】

前記第１の予測子サンプルと前記第２の予測子サンプルがどちらもＯＯＢであるか、または前記第１の予測子サンプルと前記第２の予測子サンプルがどちらもＯＯＢではないとの決定に応答して、前記第１の予測子サンプルに第１の重みを割り当て、前記第２の予測子サンプルに第２の重みを割り当てることと、
前記第１の予測子サンプルおよび前記第２の予測子サンプルの加重平均に基づいて、前記現在符号化ブロックの前記最終予測子サンプルを決定することと、
をさらに含む、請求項３に記載のビデオ符号化方法。

【請求項7】

前記第１の予測子サンプルに割り当てられた前記第１の重みが、前記第２の予測子サンプルに割り当てられた前記第２の重みに等しく、前記現在符号化ブロックの前記最終予測子サンプルが、前記第１の予測子サンプルおよび前記第２の予測子サンプルの平均に基づいて決定される、請求項６に記載のビデオ符号化方法。

【請求項8】

前記現在符号化ブロックが符号化ユニットレベルの重みを用いた双予測（ＢＣＷ）モードとして符号化されているとの決定に応答して、前記第１の予測子サンプルと前記第２の予測子サンプルとを組み合わせて、前記ＢＣＷ重み付けに基づいて前記現在符号化ブロックの前記最終予測子サンプルを取得することをさらに含む、請求項６に記載のビデオ符号化方法。

【請求項9】

前記現在符号化ブロックに対して双方向オプティカルフロー（ＢＤＯＦ）が有効になっているとの決定に応答して、前記第１の予測子サンプルと前記第２の予測子サンプルとを組み合わせて、前記第１の予測子サンプルに割り当てられた前記第１の重み、前記第２の予測子サンプルに割り当てられた前記第２の重み、およびＢＤＯＦオフセットに基づいて、前記現在符号化ブロックの前記最終予測子サンプルを取得することをさらに含む、請求項６に記載のビデオ符号化方法。

【請求項10】

前記第１の予測子サンプルがＯＯＢであり、前記第２の予測子サンプルがＯＯＢではないとの決定に応答して、前記ＢＤＯＦオフセットを０と設定することと、
前記第１の予測子サンプルがＯＯＢではなく、前記第２の予測子サンプルがＯＯＢであるとの決定に応答して、前記ＢＤＯＦオフセットを０と設定することと
をさらに含む、請求項９に記載のビデオ符号化方法。

【請求項11】

前記第１の予測子サンプルおよび前記第２の予測子サンプルがＯＯＢであるかどうかを決定することが、
予測子サンプルの垂直方向に最も近い整数参照サンプルのうちの少なくとも１つがＯＯＢである、または前記予測子サンプルの水平方向に最も近い整数参照サンプルのうちの少なくとも１つがＯＯＢであるとの決定に応答して、前記予測子サンプルがＯＯＢであると決定することをさらに含む、請求項３に記載のビデオ符号化方法。

【請求項12】

前記第１の予測子サンプルおよび前記第２の予測子サンプルがＯＯＢであるかどうかを決定することが、
予測子サンプルの水平座標または垂直座標のうちの少なくとも１つが前記参照ピクチャの前記境界を距離しきい値分だけ超えているとの決定に応答すること
をさらに含む、請求項３に記載のビデオ符号化方法。

【請求項13】

前記距離しきい値が２分の１サンプルに等しい、請求項１２に記載のビデオ符号化方法。

【請求項14】

デコーダによって、現在符号化ブロックのための参照ピクチャの予測子サンプルが境界外（ＯＯＢ）であるかどうかを決定することと、
前記デコーダによって、前記予測子サンプルがＯＯＢであるとの決定に応答して、動き補償プロセスによって生成された２つ以上の予測子サンプルを組み合わせる際に前記予測子サンプルにゼロの追加の重み付けを割り当てて、前記現在符号化ブロックの最終予測子サンプルを取得することと、
前記デコーダによって、前記予測子サンプルがＯＯＢではないとの決定に応答して、前記動き補償プロセスによって生成された前記２つ以上の予測子サンプルを組み合わせる際に前記予測子サンプルにゼロ以外の追加の重み付けを割り当てて、前記現在符号化ブロックの前記最終予測子サンプルを取得することと、
を含む、ビデオ符号化方法。

【請求項15】

前記予測子サンプルを生成するために使用される前記整数参照サンプルに基づいて、前記予測子サンプルがＯＯＢであるかどうかを決定することが、
前記予測子サンプルを生成するために使用される前記整数参照サンプルのうちの少なくとも１つが参照ピクチャの外側に位置するとの決定に応答して、前記予測子サンプルがＯＯＢであると決定することと、
前記予測子サンプルを生成するために使用される前記整数参照サンプルのすべてが前記参照ピクチャ内に位置するとの決定に応答して、前記予測子サンプルがＯＯＢではないと決定することと、
をさらに含む、請求項１４に記載のビデオ符号化方法。

【請求項16】

第１の予測子サンプルがＯＯＢであり、第２の予測子サンプルがＯＯＢではないとの決定に応答して、前記第１の予測子サンプルに前記ゼロの追加の重み付けを割り当て、前記第２の予測子サンプルに追加の重み付け２を割り当てることと、
前記第１の予測子サンプルがＯＯＢではなく、前記第２の予測子サンプルがＯＯＢであるとの決定に応答して、前記第１の予測子サンプルに前記追加の重み付け２を割り当て、前記第２の予測子サンプルに前記ゼロの追加の重み付けを割り当てることと、
前記第１の予測子サンプルと前記第２の予測子サンプルがどちらもＯＯＢであるとの決定に応答して、前記第１の予測子サンプルおよび前記第２の予測子サンプルに前記追加の重み付け１を割り当てることと、
前記第１の予測子サンプルと前記第２の予測子サンプルがどちらもＯＯＢではないとの決定に応答して、前記第１の予測子サンプルおよび前記第２の予測子サンプルに前記追加の重み付け１を割り当てることと
をさらに含む、請求項１４に記載のビデオ符号化方法。

【請求項17】

前記現在符号化ブロックが符号化ユニットレベルの重みを用いた双予測（ＢＣＷ）モードとして符号化されているとの決定に応答して、ＢＣＷ重み付けおよび追加の重み付けを用いて、前記動き補償プロセスによって生成された第１の予測子サンプルと第２の予測子サンプルとを組み合わせることをさらに含む、請求項１４に記載のビデオ符号化方法。

【請求項18】

前記第１の予測子サンプルがＯＯＢであり、前記第２の予測子サンプルがＯＯＢではないとの決定に応答して、前記第１の予測子サンプルに前記ゼロの追加の重み付けを割り当て、前記第２の予測子サンプルに前記追加の重み付け８／ｗを割り当てることと、
前記第１の予測子サンプルがＯＯＢではなく、前記第２の予測子サンプルがＯＯＢであるとの決定に応答して、前記第１の予測子サンプルに前記追加の重み付け８／ｗを割り当て、前記第２の予測子サンプルに前記ゼロの追加の重み付けを割り当てることと、
前記第１の予測子サンプルと前記第２の予測子サンプルがどちらもＯＯＢであるとの決定に応答して、前記第１の予測子サンプルおよび前記第２の予測子サンプルに前記追加の重み付け１を割り当てることと、
前記第１の予測子サンプルと前記第２の予測子サンプルがどちらもＯＯＢではないとの決定に応答して、前記第１の予測子サンプルおよび前記第２の予測子サンプルに前記追加の重み付け１を割り当てることと、をさらに含み、
ｗが前記ＢＣＷ重み付けである、請求項１７に記載のビデオ符号化方法。

【請求項19】

現在符号化ブロックに対して双方向オプティカルフロー（ＢＤＯＦ）が有効になっているとの決定に応答して、追加の重み付けおよびＢＤＯＦオフセットを用いて、前記動き補償プロセスによって生成された第１の予測子サンプルと第２の予測子サンプルとを組み合わせることをさらに含む、請求項１４に記載のビデオ符号化方法。

【請求項20】

前記第１の予測子サンプルがＯＯＢであり、前記第２の予測子サンプルがＯＯＢではないとの決定に応答して、前記ＢＤＯＦオフセットを０と設定することと、
前記第１の予測子サンプルがＯＯＢではなく、前記第２の予測子サンプルがＯＯＢであるとの決定に応答して、前記ＢＤＯＦオフセットを０と設定することと、
をさらに含む、請求項１９に記載のビデオ符号化方法。

【請求項21】

前記予測子サンプルがＯＯＢであるかどうかを決定することが、
前記予測子サンプルの垂直方向に最も近い整数参照サンプルのうちの少なくとも１つがＯＯＢである、または前記予測子サンプルの水平方向に最も近い整数参照サンプルのうちの少なくとも１つがＯＯＢであるとの決定に応答して、前記予測子サンプルがＯＯＢであると決定することを含む、請求項１４に記載のビデオ符号化方法。

【請求項22】

前記予測子サンプルがＯＯＢであるかどうかを決定することが、
前記予測子サンプルの水平座標または垂直座標のうちの少なくとも１つが前記参照ピクチャの前記境界を距離しきい値分だけ超えているとの決定に応答すること、をさらに含む、請求項１４に記載のビデオ符号化方法。

【請求項23】

前記距離しきい値が２分の１サンプルに等しい、請求項２２に記載のビデオ符号化方法。

【請求項24】

デコーダによって、現在符号化ブロックのための参照ピクチャの予測子サンプルが境界外（ＯＯＢ）であるかどうかを、前記予測子サンプルを生成するために使用される整数参照サンプルに基づいて決定することと、
前記デコーダによって、前記予測子サンプルがＯＯＢであるとの決定に応答して、動き補償プロセスによって生成された２つ以上の予測子サンプルを組み合わせる際に前記予測子サンプルに第１の追加の重み付けを割り当てて、前記現在符号化ブロックの最終予測子サンプルを取得することと、
前記デコーダによって、前記予測子サンプルがＯＯＢではないとの決定に応答して、前記動き補償プロセスによって生成された前記２つ以上の予測子サンプルを組み合わせる際に前記予測子サンプルに第２の追加の重み付けを割り当てて、前記現在符号化ブロックの前記最終予測子サンプルを取得することと、
を含む、ビデオ符号化方法。

【請求項25】

前記２つ以上の予測子サンプルを組み合わせる際に、補間のためにＯＯＢ整数参照サンプルを使用して予測子サンプルにより少ない重みを割り当てることをさらに含み、前記重みが、前記ＯＯＢ整数参照サンプルの数に反比例して割り当てられる、請求項２４に記載のビデオ符号化方法。

【請求項26】

前記２つ以上の予測子サンプルを組み合わせる際に、補間のためにＯＯＢ整数参照サンプルを使用して予測子サンプルに重みを割り当てることをさらに含み、前記重みが、異なるレベルでビットストリームにおいて信号伝達される、請求項２４に記載のビデオ符号化方法。

【請求項27】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令を記憶するように構成されたメモリと、を備えるビデオ符号化装置であって、
前記１つまたは複数のプロセッサが、前記命令の実行時に、請求項１から２６のいずれかに記載の前記方法を実行するように構成される、ビデオ符号化装置。

【請求項28】

１つまたは複数のコンピュータプロセッサによって実行されたときに前記１つまたは複数のコンピュータプロセッサに請求項１から２６のいずれかに記載の方法を実行させるコンピュータ実行可能命令を記憶する、ビデオ符号化用の非一過性コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１０月３０日に出願された仮出願第６３／２７３，９３０号に基づき、当該仮出願に対する優先権を主張するものであり、当該仮出願の内容全体は、あらゆる目的で参照により本明細書に組み込まれる。
本開示は、ビデオの符号化および圧縮に関する。より詳細には、本開示は、ビデオ符号化におけるインター予測のための方法および装置に関する。

【背景技術】

【0002】

デジタルビデオは、デジタルテレビ、ラップトップコンピュータまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、スマートフォン、ビデオ電話会議デバイス、ビデオストリーミングデバイスなど、様々な電子デバイスによってサポートされている。電子デバイスは、通信ネットワークを介してデジタルビデオデータを送信および受信するか、もしくは他の方法で通信し、かつ／またはデジタルビデオデータを記憶デバイスに記憶する。通信ネットワークの帯域幅容量に制限があるため、また記憶デバイスのメモリリソースに制限があるため、ビデオデータが通信または記憶される前に１つまたは複数のビデオ符号化標準に従ってビデオデータを圧縮するためにビデオ符号化が使用される場合がある。例えば、ビデオ符号化標準は、多用途ビデオ符号化（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、共同サーチテスト・モデル（ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ Ｍｏｄｅｌ）、高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ／Ｈ．２６５）、高度ビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ／Ｈ．２６４）、動画像専門家グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）符号化などを含む。ビデオ符号化は、一般に、ビデオデータに固有の冗長性を活用する予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化は、ビデオ品質の低下を回避または最小化しながら、ビデオデータをより低いビットレートを使用する形式に圧縮することを目的としている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示の例は、イントラ予測を使用したビデオ符号化方法および装置を提供する。

【課題を解決するための手段】

【0004】

本開示の第１の態様によれば、ビデオ符号化方法が提供される。方法は、デコーダによって、現在符号化ブロックのための第１の参照ピクチャおよび第２の参照ピクチャを導出することと、デコーダによって、第１の参照ピクチャからの動き補償プロセスを使用して、第１の参照ピクチャに関連付けられた第１の動きベクトルに基づいて第１の予測子サンプルを導出することと、デコーダによって、第２の参照ピクチャからの動き補償プロセスを使用して、第２の参照ピクチャに関連付けられた第２の動きベクトルに基づいて第２の予測子サンプルを導出することと、デコーダによって、第１の予測子サンプルまたは第２の予測子サンプルのうちの少なくとも１つおよび境界外（ＯＯＢ）条件に基づいて、現在符号化ブロック内の最終予測子サンプルを取得することと、を含んでもよい。

【0005】

本開示の第２の態様によれば、ビデオ符号化方法が提供される。方法は、デコーダによって、現在符号化ブロックのための参照ピクチャの予測子サンプルが境界外（ＯＯＢ）であるかどうかを決定することと、デコーダによって、予測子サンプルがＯＯＢであるとの決定に応答して、動き補償プロセスによって生成された２つ以上の予測子サンプルを組み合わせる際に予測子サンプルにゼロの追加の重み付けを割り当てて、現在符号化ブロックの最終予測子サンプルを取得することと、デコーダによって、予測子サンプルがＯＯＢではないとの決定に応答して、動き補償プロセスによって生成された２つ以上の予測子サンプルを組み合わせる際に予測子サンプルにゼロ以外の追加の重み付けを割り当てて、現在符号化ブロックの最終予測子サンプルを取得することと、を含んでもよい。

【0006】

本開示の第２の態様によれば、ビデオ符号化方法が提供される。方法は、デコーダによって、現在符号化ブロックのための参照ピクチャの予測子サンプルが境界外（ＯＯＢ）であるかどうかを、予測子サンプルを生成するために使用される整数参照サンプルに基づいて決定することと、デコーダによって、予測子サンプルがＯＯＢであるとの決定に応答して、動き補償プロセスによって生成された２つ以上の予測子サンプルを組み合わせる際に予測子サンプルに第１の追加の重み付けを割り当てて、現在符号化ブロックの最終予測子サンプルを取得することと、デコーダによって、予測子サンプルがＯＯＢではないとの決定に応答して、動き補償プロセスによって生成された２つ以上の予測子サンプルを組み合わせる際に予測子サンプルに第２の追加の重み付けを割り当てて、現在符号化ブロックの最終予測子サンプルを取得することと、を含んでもよい。

【0007】

上記の概略的な説明および以下の詳細な説明は、単に例示的かつ説明的なものであり、本開示を限定することを意図したものではないことを理解されたい。

【0008】

本明細書に組み込まれ本明細書の一部を構成する添付図面は、本開示と一致する例を示し、説明とともに本開示の原理を説明する役割を果たす。

【図面の簡単な説明】

【0009】

【図1】本開示のいくつかの実装形態に係る、ビデオブロックを符号化および復号するための例示的なシステムを示すブロック図である。

【図2】本開示のいくつかの実装形態に係る、例示的なビデオエンコーダを示すブロック図である。

【図3】本開示のいくつかの実装形態に係る、例示的なビデオデコーダを示すブロック図である。

【図4A】本開示のいくつかの実装形態に係る、フレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4B】本開示のいくつかの実装形態に係る、フレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4C】本開示のいくつかの実装形態に係る、フレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4D】本開示のいくつかの実装形態に係る、フレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図4E】本開示のいくつかの実装形態に係る、フレームが異なるサイズおよび形状の複数のビデオブロックにどのように再帰的に区分されるかを示すブロック図である。

【図5】本開示のいくつかの実装形態に係る、空間マージ候補の位置の例を示す図である。

【図6】本開示のいくつかの実装形態に係る、空間マージ候補の冗長性チェックのために考慮される候補ペアの例を示す図である。

【図7】本開示のいくつかの実装形態に係る、時間マージ候補の例示的な動きベクトルスケーリングを示す図である。

【図8】本開示のいくつかの実装形態に係る、時間マージ候補の候補位置を示す図である。

【図9A】本開示のいくつかの実装形態に係る、ＭＭＶＤサーチ点の一例を示す図である。

【図9B】本開示のいくつかの実装形態に係る、ＭＭＶＤサーチ点の一例を示す図である。

【図10A】本開示のいくつかの実装形態に係る、制御点ベースのアフィン動きモデルの一例を示す図である。

【図10B】本開示のいくつかの実装形態に係る、制御点ベースのアフィン動きモデルの一例を示す図である。

【図11】本開示のいくつかの実装形態に係る、サブブロックごとのアフィンＭＶＦの一例を示す図である。

【図12】本開示のいくつかの実装形態に係る、継承されたアフィン動き予測子の場所を示す図である。

【図13】本開示のいくつかの実装形態に係る、構築されたアフィンマージモードの候補位置の場所を示す図である。

【図14】本開示のいくつかの実装形態に係る、サブブロックＭＶおよび画素の一例を示す図である。

【図15A】本開示のいくつかの実装形態に係る、ＡＴＶＭＰによって使用される空間的に隣接するブロックの例を示す図である。

【図15B】本開示のいくつかの実装形態に係る、ＳｂＴＭＶＰプロセスの一例を示す図である。

【図16】本開示のいくつかの実装形態に係る、ＢＤＯＦにおいて使用される拡張されたＣＵ領域の一例を示す図である。

【図17】本開示のいくつかの実装形態に係る、復号側動きベクトル精緻化の一例を示す図である。

【図18】本開示のいくつかの実装形態に係る、同一の角度によってグループ化されたＧＰＭ分裂の例を示す図である。

【図19】本開示のいくつかの実装形態に係る、幾何学的区分モードの単予測ＭＶ選択の一例を示す図である。

【図20】本開示のいくつかの実装形態に係る、ＣＩＩＰ重み導出において使用される上および左の隣接ブロックの例を示す図である。

【図21】本開示のいくつかの実装形態に係る、空間マージ候補を導出するために使用される空間的に隣接するブロックの一例を示す図である。

【図22】本開示のいくつかの実装形態に係る、初期ＭＶの周囲のサーチエリアに対して実行されるテンプレートマッチングの一例を示す図である。

【図23】本開示のいくつかの実装形態に係る、サーチエリア内のダイヤモンド領域の一例を示す図である。

【図24】本開示のいくつかの実装形態に係る、２分の１画素位相での補間フィルタおよびＶＶＣ補間フィルタの周波数応答を示す図である。

【図25】本開示のいくつかの実装形態に係る、テンプレートおよび参照ピクチャ内のテンプレートの参照サンプルの一例を示す図である。

【図26】本開示のいくつかの実装形態に係る、現在ブロックのサブブロックの動き情報を使用した、サブブロック動きを有するブロックのテンプレートおよびテンプレートの参照サンプルの一例を示す図である。

【図27】本開示のいくつかの実装形態に係る、動き補償のためのパディングされた参照ピクチャの一例を示す図である。

【図28】本開示のいくつかの実装形態に係る、分数補間の一例を示す図である。

【図29】本開示のいくつかの実装形態に係る、ユーザインターフェースと結合されたコンピューティング環境を示すブロック図である。

【図30】本開示のいくつかの実装形態に係る、ビデオ符号化プロセスを示すブロック図である。

【発明を実施するための形態】

【0010】

次に、例示的な実施形態を詳細に参照するが、その実施形態の例は添付の図面に示されている。以下の説明は添付の図面を参照しており、別段の記載がない限り、異なる図面における同じ番号は同じまたは類似の要素を表す。例示的な実施形態の以下の説明に記載される実装形態は、本開示に則したすべての実装形態を表すものではない。むしろ、その実装形態は、添付の特許請求の範囲に記載される本開示に関連する態様に則した装置および方法の単なる例である。

【0011】

本開示で使用される用語は、特定の実施形態を説明することのみを目的としており、本開示を限定するよう意図されたものではない。単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、本開示および添付の特許請求の範囲で使用されるとき、文脈上明らかに別段の指示がない限り複数形も含むよう意図されている。本明細書で使用される「および／または」という用語は、関連する列挙された項目の１つまたは複数の任意またはすべての可能な組合せを意味するように、またそれらを含むように意図されていることも理解されたい。

【0012】

本明細書において「第１の」、「第２の」、「第３の」などの用語は様々な情報を説明するために使用され得るが、これらの用語によってその情報が限定されるべきではないことを理解されたい。これらの用語は、情報の１つのカテゴリを別のカテゴリと区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１の情報は第２の情報と称されることがあり、同様に、第２の情報は第１の情報と称されることがある。「場合」という用語は、本明細書で使用されるとき、文脈に応じて「ときに」、「に際して」、または「判断に応じて」を意味すると理解され得る。

【0013】

ビデオデータを圧縮するために、様々なビデオ符号化技法が使用されることがある。ビデオ符号化は、１つまたは複数のビデオ符号化標準に従って実行される。例えば、今日では、よく知られたビデオ符号化標準は、多用途ビデオ符号化（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ２とも呼ばれる）、および高度ビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、Ｈ．２６４またはＭＰＥＧ－４ Ｐａｒｔ１０とも呼ばれる）を含み、これらは、ＩＳＯ／ＩＥＣ ＭＰＥＧおよびＩＴＵ－Ｔ ＶＥＣＧによって共同開発されている。ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）は、その以前の標準ＶＰ９の後継としてＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭ）によって開発された。デジタル・オーディオおよびデジタルビデオ圧縮標準を指すオーディオビデオ符号化（ＡＶＳ）は、中国のオーディオおよびビデオ符号化標準ワークグループによって開発された別のビデオ圧縮標準シリーズである。既存のビデオ符号化標準のほとんどは、有名なハイブリッドビデオ符号化フレームワークに基づいて、すなわち、ビデオ画像またはシーケンスに存在する冗長性を削減するためのブロックベースの予測方法（例えば、インター予測、イントラ予測）を使用して、また予測誤差のエネルギーをコンパクト化するための変換符号化を使用して、構築されている。ビデオ符号化技法の重要な目標は、ビデオ品質の低下を回避または最小化しながら、ビデオデータをより低いビットレートを使用する形式に圧縮することである。

【0014】

第１世代ＡＶＳ標準は、中国の国家標準「情報技術、高度オーディオビデオ符号化、Ｐａｒｔ２：ビデオ」（ＡＶＳ１として知られている）および「情報技術、高度オーディオビデオ符号化、Ｐａｒｔ１６：ラジオ・テレビ・ビデオ」（ＡＶＳ＋として知られている）を含む。これは、ＭＰＥＧ－２標準と比較して、同じ知覚品質で約５０％のビットレートの節約を実現することができる。ＡＶＳ１標準のビデオ部分は、２００６年２月に中国の国家標準として公布された。第２世代ＡＶＳ標準は、主に追加のＨＤ ＴＶプログラムの送信を目的とした一連の中国の国家標準「情報技術、効率的なマルチメディア符号化」（ＡＶＳ２として知られる）を含む。ＡＶＳ２の符号化効率はＡＶＳ＋の２倍である。２０１６年５月、ＡＶＳ２が中国の国家標準として発行された。一方、ＡＶＳ２標準のビデオ部分は、アプリケーションの国際標準の１つとして電気電子学会（ＩＥＥＥ）によって提起された。ＡＶＳ３標準は、最新の国際標準ＨＥＶＣの符号化効率を超えることを目的とした、ＵＨＤビデオアプリケーション向けの新世代ビデオ符号化標準の１つである。２０１９年３月、第６８回ＡＶＳ会議において、ＨＥＶＣ標準と比較して約３０％のビットレートの節約を実現するＡＶＳ３－Ｐ２ベースラインが完成した。現在、高性能モデル（ＨＰＭ）と呼ばれる１つの参照ソフトウェアがあり、ＡＶＳ３標準の参照実装を実証するためにＡＶＳグループによって維持されている。

【0015】

図１は、本開示のいくつかの実装形態に係る、ビデオブロックを並行して符号化および復号するための例示的なシステム１０を示すブロック図である。図１に示されるように、システム１０は、宛先デバイス１４によって後で復号されるビデオデータを生成および符号化するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップまたはラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップ・ボックス、デジタルテレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイスなどを含む、多種多様な電子デバイスのいずれかを含んでもよい。いくつかの実装形態では、ソースデバイス１２および宛先デバイス１４にはワイヤレス通信機能が装備されている。

【0016】

いくつかの実装形態では、宛先デバイス１４は、復号対象となる符号化されたビデオデータを、リンク１６を介して受信してもよい。リンク１６は、符号化されたビデオデータをソースデバイス１２から宛先デバイス１４に移動することが可能な任意のタイプの通信媒体またはデバイスを備えてもよい。一例において、リンク１６は、ソースデバイス１２が符号化されたビデオデータを宛先デバイス１４にリアルタイムで直接送信できるようにする通信媒体を備えてもよい。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信標準に従って変調され、宛先デバイス１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）スペクトルまたは１つもしくは複数の物理伝送線など、任意のワイヤレスまたはワイヤード通信媒体を含んでもよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成してもよい。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするのに有用であり得る任意の他の機器を含んでもよい。

【0017】

いくつかの他の実装形態では、符号化されたビデオデータは、出力インターフェース２２から記憶デバイス３２に送信されてもよい。その後、記憶デバイス３２内の符号化されたビデオデータは、入力インターフェース２８を介して宛先デバイス１４によってアクセスされてもよい。記憶デバイス３２は、ハード・ドライブ、ブルーレイディスク、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、分散されたまたはローカルにアクセスされる様々なデータ記憶媒体のいずれかを含んでもよい。さらなる例では、記憶デバイス３２は、ソースデバイス１２によって生成された符号化されたビデオデータを保持することができるファイルサーバまたは別の中間記憶デバイスに対応してもよい。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、記憶デバイス３２から、記憶されたビデオデータにアクセスしてもよい。ファイルサーバは、符号化されたビデオデータを記憶し、符号化されたビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのコンピュータであってもよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブサイト用）、ファイル転送プロトコル（ＦＴＰ：Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ、ネットワーク接続ストレージ（ＮＡＳ：Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、ワイヤレスチャネル（例えば、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）接続）、ワイヤード接続（例えば、デジタル加入者線（ＤＳＬ：Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ケーブル・モデムなど）、またはファイルサーバに記憶されている符号化されたビデオデータにアクセスするのに好適な両方の組合せを含む任意の標準データ接続を通じて、符号化されたビデオデータにアクセスしてもよい。記憶デバイス３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであってもよい。

【0018】

図１に示されるように、ソースデバイス１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。ビデオソース１８は、ビデオ捕捉デバイス、例えば、ビデオカメラ、以前に捕捉されたビデオを含むビデオアーカイブ、ビデオコンテンツ・プロバイダからビデオを受信するためのビデオフィード・インターフェース、および／もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、またはそのようなソースの組合せなどのソースを含んでもよい。一例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、カメラ電話またはビデオ電話を形成してもよい。しかしながら、本出願で説明される実装形態は、一般にビデオ符号化に適用可能であってもよく、ワイヤレスおよび／またはワイヤードアプリケーションに適用可能であってもよい。

【0019】

捕捉されたビデオ、事前に捕捉されたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化されてもよい。符号化されたビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信されてもよい。符号化されたビデオデータはまた（または代替として）、復号および／または再生のために宛先デバイス１４または他のデバイスによって後でアクセスするために、記憶デバイス３２に記憶されてもよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでもよい。

【0020】

宛先デバイス１４は、入力インターフェース２８、ビデオデコーダ３０、およびディスプレイデバイス３４を含む。入力インターフェース２８は、受信機および／またはモデムを含み、リンク１６を介して、符号化されたビデオデータを受信してもよい。リンク１６を介して通信されるまたは記憶デバイス３２上に提供される符号化されたビデオデータは、ビデオデータを復号する際にビデオデコーダ３０によって使用するための、ビデオエンコーダ２０によって生成される様々な構文要素を含んでもよい。このような構文要素は、通信媒体上で送信される、記憶媒体上に記憶される、またはファイルサーバ上に記憶される、符号化されたビデオデータ内に含まれてもよい。

【0021】

いくつかの実装形態では、宛先デバイス１４は、ディスプレイデバイス３４を含んでもよく、ディスプレイデバイス３４は、一体化されたディスプレイデバイス、および宛先デバイス１４と通信するように構成された外部ディスプレイデバイスであってもよい。ディスプレイデバイス３４は、復号されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、プラズマ・ディスプレイ、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを備えてもよい。

【0022】

ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ１０、ＡＶＣ、またはそのような標準の拡張などの独自の標準または業界標準に従って動作してもよい。本出願は特定のビデオ符号化／復号標準に限定されず、他のビデオ符号化／復号標準にも適用可能であることを理解されたい。ソースデバイス１２のビデオエンコーダ２０が、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化するように構成され得ることが一般に企図されている。同様に、宛先デバイス１４のビデオデコーダ３０が、これらの現在または将来の標準のいずれかに従ってビデオデータを復号するように構成され得ることも一般に企図されている。

【0023】

ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれかとして実装されてもよい。電子デバイスは、ソフトウェアにおいて部分的に実装される場合、ソフトウェア用の命令を好適な非一過性コンピュータ可読媒体に記憶し、１つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行して、本開示で開示されたビデオ符号化／復号動作を実施してもよい。ビデオエンコーダ２０およびビデオデコーダ３０のそれぞれは、１つもしくは複数のエンコーダまたはデコーダに含まれてもよく、そのいずれも、それぞれのデバイス内の組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ：ｃｏｍｂｉｎｅｄ ｅｎｃｏｄｅｒ／ｄｅｃｏｄｅｒ）の一部として統合されてもよい。

【0024】

図２は、本出願で説明されるいくつかの実装形態に係る、例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックのイントラ予測符号化およびインター予測符号化を実施してもよい。イントラ予測符号化は、空間予測に依存して、所与のビデオフレームまたはピクチャ内のビデオデータにおける空間的冗長性を削減または除去する。インター予測符号化は、時間予測に依存して、ビデオシーケンスの隣接するビデオフレームまたはピクチャ内のビデオデータにおける時間的冗長性を削減または除去する。「フレーム」という用語は、ビデオ符号化の分野では「画像」または「ピクチャ」という用語と同義語として使用される場合があることに留意されたい。

【0025】

図２に示されるように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理ユニット４１、復号化ピクチャバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）６４、加算器５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピー符号化ユニット５６を含む。予測処理ユニット４１はさらに、動き推定ユニット４２、動き補償ユニット４４、区分ユニット４５、イントラ予測処理ユニット４６、イントラブロックコピー（ＢＣ）ユニット４８を含む。いくつかの実装形態では、ビデオエンコーダ２０は、ビデオブロック再構成のための逆量子化ユニット５８、逆変換処理ユニット６０、および加算器６２も含む。ブロック境界をフィルタリングして、再構成されたビデオからブロック状アーチファクトを除去するために、加算器６２とＤＰＢ６４との間にデブロッキング・フィルタなどのループ内フィルタ６３が配置されてもよい。加算器６２の出力をフィルタリングするために、デブロッキング・フィルタに加えて、サンプル適応オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタおよび／または適応ループ内フィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒ）などの別のループ内フィルタも使用されてもよい。いくつかの例では、ループ内フィルタは省略されてもよく、復号されたビデオブロックは、加算器６２によってＤＰＢ６４に直接提供されてもよい。ビデオエンコーダ２０は、固定のもしくはプログラム可能なハードウェア・ユニットの形式をとってもよく、または、図示された固定のもしくはプログラム可能なハードウェア・ユニットの１つまたは複数に分割されてもよい。

【0026】

ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化されるビデオデータを記憶してもよい。ビデオデータメモリ４０内のビデオデータは、例えば、図１に示されたビデオソース１８から取得されてもよい。ＤＰＢ６４は、ビデオエンコーダ２０によって（例えば、イントラ予測符号化モードまたはインター予測符号化モードで）ビデオデータを符号化する際に使用する参照ビデオデータ（例えば、参照フレームまたは参照ピクチャ）を記憶するバッファである。ビデオデータメモリ４０およびＤＰＢ６４は、様々なメモリ・デバイスのいずれかによって形成されてもよい。様々な例において、ビデオデータメモリ４０は、ビデオエンコーダ２０の他の構成要素とオンチップであってもよく、または、それらの構成要素に対してオフチップであってもよい。

【0027】

図２に示されるように、予測処理ユニット４１内の区分ユニット４５は、ビデオデータを受信した後、ビデオデータをビデオブロックに区分する。この区分は、ビデオデータに関連付けられた４分木（ＱＴ：Ｑｕａｄ－Ｔｒｅｅ）構造などの予め定められた分裂構造に従ってビデオフレームをスライス、タイル（例えば、ビデオブロックのセット）、または他のより大きな符号化ユニット（ＣＵ）に区分することも含んでもよい。ビデオフレームは、サンプル値を有するサンプルの２次元配列または行列であるか、またはそれらとみなされてもよい。配列内のサンプルは、画素またはペルと呼ばれることもある。配列またはピクチャの水平方向および垂直方向（または軸）のサンプルの数が、ビデオフレームのサイズおよび／または解像度を定義する。ビデオフレームは、例えばＱＴ区分を使用することによって複数のビデオブロックに分割されてもよい。ビデオブロックもやはり、ビデオフレームよりも小さい寸法ではあるが、サンプル値を有するサンプルの２次元配列または行列であるか、またはそれらとみなされてもよい。ビデオブロックの水平方向および垂直方向（または軸）のサンプルの数が、ビデオブロックのサイズを定義する。ビデオブロックは、例えば、ＱＴ区分、２分木（ＢＴ：Ｂｉｎａｒｙ－Ｔｒｅｅ）区分、もしくは３分木（ＴＴ：Ｔｒｉｐｌｅ－Ｔｒｅｅ）区分、またはそれらの任意の組合せを反復的に使用することによって、（再びブロックを形成し得る）１つもしくは複数のブロック区分またはサブブロックにさらに区分されてもよい。本明細書で使用される「ブロック」または「ビデオブロック」という用語がフレームまたはピクチャの一部分、特に矩形（正方形または非正方形）部分であり得ることに留意されたい。例えば、ＨＥＶＣおよびＶＶＣを参照すルートブロックまたはビデオブロックは、符号化ツリーユニット（ＣＴＵ）、ＣＵ、予測ユニット（ＰＵ）、もしくは変換ユニット（ＴＵ）であるかもしくはそれらに対応してもよく、かつ／または、対応するブロック、例えば、符号化ツリーブロック（ＣＴＢ）、符号化ブロック（ＣＢ）、予測ブロック（ＰＢ）、もしくは変換ブロック（ＴＢ）、および／もしくはサブブロックであるかもしくはそれらに対応してもよい。

【0028】

予測処理ユニット４１は、誤差結果（例えば、符号化レートおよび歪みのレベル）に基づいて現在のビデオブロックに対して、複数のイントラ予測符号化モードのうちの１つ、または複数のインター予測符号化モードのうちの１つなど、複数の可能な予測符号化モードのうちの１つを選択してもよい。予測処理ユニット４１は、結果として得られるイントラ予測符号化ブロックまたはインター予測符号化ブロックを、加算器５０に提供して残差ブロックを生成し、加算器６２に提供して、後で参照フレームの一部として使用するために符号化ブロックを再構成してもよい。予測処理ユニット４１はまた、動きベクトル、イントラ・モード・インジケータ、区分情報、および他のそのような構文情報などの構文要素をエントロピー符号化ユニット５６に提供する。

【0029】

現在のビデオブロックにとって適切なイントラ予測符号化モードを選択するために、予測処理ユニット４１内のイントラ予測処理ユニット４６は、符号化対象となる現在ブロックと同じフレーム内の１つまたは複数の隣接ブロックに対する現在のビデオブロックのイントラ予測符号化を実行して、空間予測を提供してもよい。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、１つまたは複数の参照フレーム内の１つまたは複数の予測ブロックに対する現在のビデオブロックのインター予測符号化を実行して、時間予測を提供してもよい。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切な符号化モードを選択するために、複数の符号化パスを実行してもよい。

【0030】

いくつかの実装形態では、動き推定ユニット４２は、ビデオフレームのシーケンス内の所定のパターンに従って、参照ビデオフレーム内の予測ブロックに対する現在のビデオフレーム内のビデオブロックの変位を示す動きベクトルを生成することによって、現在のビデオフレームのインター予測モードを決定する。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在フレーム内で符号化されている現在ブロックに対する参照フレーム内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックの変位を示してもよい。所定のパターンは、シーケンス内のビデオフレームをＰフレームまたはＢフレームとして指定してもよい。イントラＢＣユニット４８は、インター予測のための動き推定ユニット４２による動きベクトルの決定と同様の方法で、イントラＢＣ符号化のためのベクトル、例えばブロックベクトルを決定してもよく、または、動き推定ユニット４２を利用してブロックベクトルを決定してもよい。

【0031】

ビデオブロックの予測ブロックは、差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）、または他の差分メトリックによって決定され得る画素差分の観点から、符号化対象となるビデオブロックと厳密に一致するとみなされる参照フレームのブロックもしくは参照ブロックであるか、またはそれらに対応してもよい。いくつかの実装形態では、ビデオエンコーダ２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数画素位置の値を算出してもよい。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置、１／８画素位置、または他の分数画素位置の値を補間してもよい。したがって、動き推定ユニット４２は、全体の画素位置および分数画素位置に対する動きサーチを実行し、分数画素精度を有する動きベクトルを出力してもよい。

【0032】

動き推定ユニット４２は、ビデオブロックの位置を第１の参照フレーム・リスト（リスト０）または第２の参照フレーム・リスト（リスト１）から選択された参照フレームの予測ブロックの位置と比較することによって、インター予測符号化フレーム内のビデオブロックの動きベクトルを算出し、参照フレーム・リストはそれぞれ、ＤＰＢ６４に記憶されている１つまたは複数の参照フレームを識別する。動き推定ユニット４２は、算出された動きベクトルを動き補償ユニット４４に送り、次いで、エントロピー符号化ユニット５６に送る。

【0033】

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを含んでもよい。動き補償ユニット４４は、現在のビデオブロックの動きベクトルを受信すると、参照フレーム・リストのうちの１つにおいて動きベクトルが指し示す予測ブロックの位置を特定し、その予測ブロックをＤＰＢ６４から取得し、その予測ブロックを加算器５０に転送してもよい。次いで、加算器５０は、符号化されている現在のビデオブロックの画素値から、動き補償ユニット４４によって提供される予測ブロックの画素値を減算することによって、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、ルマ差分成分もしくは彩度差分成分、またはその両方を含んでもよい。動き補償ユニット４４はまた、ビデオフレームのビデオブロックを復号する際にビデオデコーダ３０によって使用される、ビデオフレームのビデオブロックに関連付けられた構文要素を生成してもよい。構文要素は、例えば、予測ブロックを識別するために使用される動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書に記載の任意の他の構文情報を含んでもよい。動き推定ユニット４２および動き補償ユニット４４は高度に統合されてもよいが、概念的な目的のために別々に図示されていることに留意されたい。

【0034】

いくつかの実装形態では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４に関連して上記で説明された方法と同様の方法で、ベクトルを生成して予測ブロックをフェッチしてもよいが、予測ブロックは、符号化されている現在ブロックと同じフレーム内にあり、ベクトルは、動きベクトルではなくブロックベクトルと呼ばれる。具体的には、イントラＢＣユニット４８は、現在ブロックを符号化するために使用するイントラ予測モードを決定してもよい。いくつかの例では、イントラＢＣユニット４８は、例えば別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し、レート歪み分析を通じてそれらの性能をテストしてもよい。次に、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードの中から、使用する適切なイントラ予測モードを選択し、それに応じてイントラ・モード・インジケータを生成してもよい。例えば、イントラＢＣユニット４８は、テストされた様々なイントラ予測モードに対するレート歪み分析を使用してレート歪み値を算出し、テストされたモードの中から、最良のレート歪み特性を有するイントラ予測モードを、使用する適切なイントラ予測モードとして選択してもよい。レート歪み分析は、一般に、符号化ブロックと、符号化ブロックを作成するために符号化された元の符号化されていないブロックとの間の歪み（または誤差）の量、および、符号化ブロックを作成するために使用されたビットレート（すなわち、ビット数）を決定する。イントラＢＣユニット４８は、様々な符号化ブロックの歪みおよびレートから比率を算出して、どのイントラ予測モードがそのブロックに対して最良のレート歪み値を示すかを決定してもよい。

【0035】

他の例では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４を全体的または部分的に使用して、本明細書に記載の実装形態に係るイントラＢＣ予測のためのそのような機能を実行してもよい。いずれの事例においても、イントラブロックコピーの場合、予測ブロックは、ＳＡＤ、ＳＳＤ、または他の差分メトリックによって決定され得る画素差分の観点から、符号化対象となるブロックと厳密に一致するとみなされるブロックであってもよく、予測ブロックの識別は、サブ整数画素位置の値の算出を含んでもよい。

【0036】

予測ブロックがイントラ予測による同じフレームからのブロックであるか、インター予測による異なるフレームからのブロックであるかに関わらず、ビデオエンコーダ２０は、符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算することによって残差ビデオブロックを形成し、画素差分値を形成してもよい。残差ビデオブロックを形成する画素差分値は、ルマ成分差分と彩度成分差分との両方を含んでもよい。

【0037】

イントラ予測処理ユニット４６は、上記で説明されたように、動き推定ユニット４２および動き補償ユニット４４によって実行されるインター予測、またはイントラＢＣユニット４８によって実行されるイントラブロックコピー予測の代替として、現在のビデオブロックをイントラ予測してもよい。具体的には、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用するイントラ予測モードを決定してもよい。そのようにするために、イントラ予測処理ユニット４６は、例えば別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化してもよく、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット）は、テストされたイントラ予測モードから、使用する適切なイントラ予測モードを選択してもよい。イントラ予測処理ユニット４６は、ブロックに対して選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供してもよい。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報をビットストリームに符号化してもよい。

【0038】

予測処理ユニット４１がインター予測またはイントラ予測によって現在のビデオブロックの予測ブロックを決定した後、加算器５０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック内の残差ビデオデータは、１つまたは複数のＴＵに含まれてもよく、変換処理ユニット５２に提供される。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。

【0039】

変換処理ユニット５２は、結果として生じる変換係数を量子化ユニット５４に送ってもよい。量子化ユニット５４は、変換係数を量子化してビットレートをさらに低減する。量子化プロセスはまた、係数の一部またはすべてに関連付けられたビット深度を低減してもよい。量子化の程度は、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列の走査を実行してもよい。代替として、エントロピー符号化ユニット５６が走査を実行してもよい。

【0040】

量子化に続いて、エントロピー符号化ユニット５６は、例えば、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、構文ベースのコンテキスト適応型２値算術符号化（ＳＢＡＣ：Ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、確率間隔区分エントロピー（ＰＩＰＥ：Ｐｒｏｂａｂｉｌｉｔｙ Ｉｎｔｅｒｖａｌ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｅｎｔｒｏｐｙ）符号化、または別のエントロピー符号化方法論または技法を使用して、量子化された変換係数をビデオビットストリームにエントロピー符号化する。次いで、符号化されたビットストリームは、図１に示されるようにビデオデコーダ３０に送信されるか、または、後のビデオデコーダ３０への送信もしくはビデオデコーダ３０による取得のために、図１に示されるように記憶デバイス３２にアーカイブされてもよい。エントロピー符号化ユニット５６はまた、符号化されている現在のビデオフレームの動きベクトルおよび他の構文要素をエントロピー符号化してもよい。

【0041】

逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、他のビデオブロックの予測のための参照ブロックを生成するために画素領域において残差ビデオブロックを再構成する。上述されたように、動き補償ユニット４４は、ＤＰＢ６４に記憶されたフレームの１つまたは複数の参照ブロックから、動き補償された予測ブロックを生成してもよい。動き補償ユニット４４はまた、１つまたは複数の補間フィルタを予測ブロックに適用して、動き推定で使用するためのサブ整数画素値を算出してもよい。

【0042】

加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって作成された動き補償された予測ブロックに加算して、ＤＰＢ６４に記憶するための参照ブロックを作成する。次いで、参照ブロックは、イントラＢＣユニット４８、動き推定ユニット４２、および動き補償ユニット４４によって、後続のビデオフレーム内の別のビデオブロックをインター予測するための予測ブロックとして使用されてもよい。

【0043】

図３は、本出願のいくつかの実装形態に係る、例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０、およびＤＰＢ９２を含む。予測処理ユニット８１はさらに、動き補償ユニット８２、イントラ予測ユニット８４、およびイントラＢＣユニット８５を含む。ビデオデコーダ３０は、図２に関連してビデオエンコーダ２０に関して上記で説明された符号化プロセスとほぼ逆の復号プロセスを実行してもよい。例えば、動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルに基づいて予測データを生成してもよく、一方、イントラ予測ユニット８４は、エントロピー復号ユニット８０から受信されたイントラ予測モード・インジケータに基づいて予測データを生成してもよい。

【0044】

いくつかの例では、ビデオデコーダ３０のユニットは、本出願の実装形態を実行するようにタスクを課されてもよい。また、いくつかの例では、本開示の実装形態は、ビデオデコーダ３０のユニットのうちの１つまたは複数に分割されてもよい。例えば、イントラＢＣユニット８５は、単独で、または動き補償ユニット８２、イントラ予測ユニット８４、およびエントロピー復号ユニット８０などのビデオデコーダ３０の他のユニットと組み合わせて、本出願の実装形態を実行してもよい。いくつかの例では、ビデオデコーダ３０は、イントラＢＣユニット８５を含まなくてもよく、イントラＢＣユニット８５の機能は、動き補償ユニット８２などの予測処理ユニット８１の他の構成要素によって実行されてもよい。

【0045】

ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素によって復号される、符号化されたビデオビットストリームなどのビデオデータを記憶してもよい。ビデオデータメモリ７９に記憶されるビデオデータは、例えば、記憶デバイス３２から、カメラなどのローカルビデオソースから、ビデオデータのワイヤードもしくはワイヤレス・ネットワーク通信を介して、または物理的なデータ記憶媒体（例えば、フラッシュ・ドライブもしくはハード・ディスク）にアクセスすることによって取得されてもよい。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符号化されたビデオデータを記憶する符号化ピクチャバッファ（ＣＰＢ）を含んでもよい。ビデオデコーダ３０のＤＰＢ９２は、ビデオデコーダ３０によって（例えば、イントラ予測符号化モードまたはインター予測符号化モードで）ビデオデータを復号する際に使用する参照ビデオデータを記憶する。ビデオデータメモリ７９およびＤＰＢ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリ・デバイスを含むダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）などの様々なメモリ・デバイスのいずれかによって形成されてもよい。例示のために、図３では、ビデオデータメモリ７９およびＤＰＢ９２は、ビデオデコーダ３０の２つの別個の構成要素として描写されている。しかしながら、当業者には、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリ・デバイスまたは別個のメモリ・デバイスによって提供され得ることが明らかであろう。いくつかの例では、ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素とオンチップであってもよく、または、それらの構成要素に対してオフチップであってもよい。

【0046】

復号プロセス中、ビデオデコーダ３０は、符号化されたビデオフレームのビデオブロックおよび関連する構文要素を表す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレーム・レベルおよび／またはビデオブロック・レベルで構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号ユニット８０は、ビットストリームをエントロピー復号して、量子化された係数、動きベクトルまたはイントラ予測モード・インジケータ、および他の構文要素を生成する。次いで、エントロピー復号ユニット８０は、動きベクトルまたはイントラ予測モード・インジケータおよび他の構文要素を予測処理ユニット８１に転送する。

【0047】

ビデオフレームがイントラ予測符号化（Ｉ）フレームとしてまたは他のタイプのフレーム内のイントラ符号化予測ブロックに対して符号化されるとき、予測処理ユニット８１のイントラ予測ユニット８４は、信号伝達されたイントラ予測モード、および現在フレームの以前に復号されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックに対する予測データを生成してもよい。

【0048】

ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームとして符号化されるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックに対する１つまたは複数の予測ブロックを作成する。予測ブロックのそれぞれは、参照フレーム・リストのうちの１つの中の参照フレームから作成されてもよい。ビデオデコーダ３０は、ＤＰＢ９２に記憶された参照フレームに基づくデフォルトの構築技法を使用して、参照フレーム・リストであるリスト０およびリスト１を構築してもよい。

【0049】

いくつかの例では、ビデオブロックが本明細書に記載のイントラＢＣモードに従って符号化されるとき、予測処理ユニット８１のイントラＢＣユニット８５は、エントロピー復号ユニット８０から受信されたブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックの予測ブロックを作成する。予測ブロックは、ビデオエンコーダ２０によって定義された現在のビデオブロックと同じピクチャの再構成された領域内にあってもよい。

【0050】

動き補償ユニット８２および／またはイントラＢＣユニット８５は、動きベクトルおよび他の構文要素を解析することによって現在のビデオフレームのビデオブロックの予測情報を決定し、次いで、その予測情報を使用して、復号されている現在のビデオブロックの予測ブロックを作成する。例えば、動き補償ユニット８２は、受信された構文要素のいくつかを使用して、ビデオフレームのビデオブロックを符号化するために使用される予測モード（例えば、イントラ予測またはインター予測）、インター予測フレーム・タイプ（例えば、ＢまたはＰ）、フレームの参照フレーム・リストのうちの１つまたは複数に関する構築情報、フレームの各インター予測符号化ビデオブロックの動きベクトル、フレームの各インター予測符号化ビデオブロックのインター予測ステータス、および現在のビデオフレーム内のビデオブロックを復号するための他の情報を決定する。

【0051】

同様に、イントラＢＣユニット８５は、受信された構文要素のいくつか、例えばフラグを使用して、現在のビデオブロックがイントラＢＣモードを使用して予測されたこと、フレームのどのビデオブロックが再構成領域内にありＤＰＢ９２に記憶されるべきであるかに関する構築情報、フレームの各イントラＢＣ予測ビデオブロックのブロックベクトル、フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測ステータス、および現在のビデオフレーム内のビデオブロックを復号するための他の情報を決定してもよい。

【0052】

動き補償ユニット８２はまた、ビデオブロックの符号化中にビデオエンコーダ２０によって使用される補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間値を算出してもよい。この場合、動き補償ユニット８２は、受信された構文要素からビデオエンコーダ２０によって使用される補間フィルタを決定し、その補間フィルタを使用して予測ブロックを作成してもよい。

【0053】

逆量子化ユニット８６は、ビデオフレーム内のビデオブロックごとにビデオエンコーダ２０によって算出された同じ量子化パラメータを使用して、ビットストリーム内に提供されエントロピー復号ユニット８０によってエントロピー復号された量子化変換係数を逆量子化して、量子化度を決定する。逆変換処理ユニット８８は、画素領域内の残差ブロックを再構成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

【0054】

動き補償ユニット８２またはイントラＢＣユニット８５がベクトルおよび他の構文要素に基づいて現在のビデオブロックの予測ブロックを生成した後、加算器９０は、逆変換処理ユニット８８からの残差ブロックと動き補償ユニット８２およびイントラＢＣユニット８５によって生成された対応する予測ブロックとを加算することによって、現在のビデオブロックの復号されたビデオブロックを再構成する。復号されたビデオブロックをさらに処理するために、加算器９０とＤＰＢの間にデブロッキング・フィルタ、ＳＡＯフィルタ、および／またはＡＬＦなどのループ内フィルタ９１が配置されてもよい。いくつかの例では、ループ内フィルタ９１は省略されてもよく、復号されたビデオブロックは加算器９０によってＤＰＢ９２に直接提供されてもよい。次いで、所与のフレーム内の復号されたビデオブロックは、次のビデオブロックの後続の動き補償に使用される参照フレームを記憶するＤＰＢ９２に記憶される。ＤＰＢ９２またはＤＰＢ９２とは別個のメモリ・デバイスは、図１のディスプレイデバイス３４などのディスプレイデバイス上に後で提示するために、復号されたビデオを記憶してもよい。

【0055】

典型的なビデオ符号化プロセスでは、ビデオシーケンスは、典型的には、順序付けられたフレームまたはピクチャのセットを含む。各フレームは、ＳＬ、ＳＣｂ、およびＳＣｒで示される３つのサンプル配列を含んでもよい。ＳＬは、ルマサンプルの２次元配列である。ＳＣｂは、Ｃｂ彩度サンプルの２次元配列である。ＳＣｒは、Ｃｒ彩度サンプルの２次元配列である。他の例では、フレームは、単色であってもよく、したがってルマサンプルの２次元配列を１つだけ含む。

【0056】

図４Ａに示されるように、ビデオエンコーダ２０（または、より具体的には区分ユニット４５）は、最初にフレームを１組のＣＴＵに区分することによって、フレームの符号化された表現を生成する。ビデオフレームは、ラスタ走査順序で左から右および上から下に連続して順序付けされた整数個のＣＴＵを含んでもよい。各ＣＴＵは最も大きい論理符号化単位であり、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、および１６×１６のいずれか１つである同じサイズを有するように、ＣＴＵの幅および高さはシーケンスパラメータセットにおいてビデオエンコーダ２０によって信号伝達される。しかしながら、本出願が必ずしも特定のサイズに限定されるわけではないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、ルマサンプルの１つのＣＴＢと、彩度サンプルの２つの対応する符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。構文要素は、画素の符号化されたブロックの異なるタイプの単位の特性、ならびにインター予測またはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む、ビデオデコーダ３０においてビデオシーケンスがどのように再構成され得るかを記述する。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＴＵは、単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。符号化ツリーブロックは、サンプルのＮ×Ｎブロックであってもよい。

【0057】

より良好な性能を実現するために、ビデオエンコーダ２０は、ＣＴＵの符号化ツリーブロック上で２分木区分、３分木区分、４分木区分、またはそれらの組合せなどの木区分を再帰的に実行し、ＣＴＵをより小さいＣＵに分割してもよい。図４Ｃに描写されるように、６４×６４のＣＴＵ４００は、最初に、それぞれが３２×３２のブロックサイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵのうち、ＣＵ４１０およびＣＵ４２０はそれぞれ、ブロックサイズによって１６×１６の４つのＣＵに分割される。２つの１６×１６のＣＵ４３０およびＣＵ４４０はそれぞれ、ブロックサイズによって８×８の４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに描写されたＣＴＵ４００の区分プロセスの最終結果を示す４分木データ構造を描写しており、４分木の各葉ノードは、３２×３２から８×８までの範囲のそれぞれのサイズの１つのＣＵに対応する。図４Ｂに描写されたＣＴＵと同様に、各ＣＵは、ルマサンプルのＣＢと、同じサイズのフレームの彩度サンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文要素とを含んでもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文構造とを含んでもよい。図４Ｃおよび図４Ｄに描写された４分木区分は説明のみを目的としており、様々な局所特定に適応するために、１つのＣＴＵが４分木／３分木／２分木区分に基づいてＣＵに分裂されてもよいことに留意されたい。マルチタイプ木構造では、１つのＣＴＵは４分木構造によって区分され、各４分木葉ＣＵは２分木構造および３分木構造によってさらに区分されてもよい。図４Ｅに示されるように、幅Ｗおよび高さＨを有する符号化ブロックの５つの可能な区分タイプ、すなわち、４区分、水平２区分、垂直２区分、水平３区分、および垂直３区分がある。

【0058】

いくつかの実装形態では、ビデオエンコーダ２０は、ＣＵの符号化ブロックを１つまたは複数のＭ×ＮのＰＢにさらに区分してもよい。ＰＢは、インター予測またはイントラ予測の同じ予測が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵのＰＵは、ルマサンプルのＰＢと、彩度サンプルの２つの対応するＰＢと、ＰＢを予測するために使用される構文要素とを含んでもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＰＵは、単一のＰＢと、ＰＢを予測するために使用される構文構造とを含んでもよい。ビデオエンコーダ２０は、ＣＵの各ＰＵのルマ、Ｃｂ、およびＣｒのＰＢに対する予測ルマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成してもよい。

【0059】

ビデオエンコーダ２０は、イントラ予測またはインター予測を使用してＰＵの予測ブロックを生成してもよい。ビデオエンコーダ２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成してもよい。ビデオエンコーダ２０がインター予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレーム以外の１つまたは複数のフレームの復号されたサンプルに基づいてＰＵの予測ブロックを生成してもよい。

【0060】

ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵに対して予測ルマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成した後、ビデオエンコーダ２０は、ＣＵのルマ残差ブロック内の各サンプルがＣＵの予測ルマブロックのうちの１つ内のルマサンプルとＣＵの元のルマ符号化ブロック内の対応するサンプルとの間の差分を示すように、ＣＵの予測ルマブロックをその元のルマ符号化ブロックから減算することによってＣＵのルマ残差ブロックを生成してもよい。同様に、ビデオエンコーダ２０は、ＣＵのＣｂ残差ブロック内の各サンプルがＣＵの予測Ｃｂブロックのうちの１つ内のＣｂサンプルとＣＵの元のＣｂ符号化ブロック内の対応するサンプルとの間の差分を示すように、またＣＵのＣｒ残差ブロック内の各サンプルがＣＵの予測Ｃｒブロックのうちの１つ内のＣｒサンプルとＣＵの元のＣｒ符号化ブロック内の対応するサンプルとの間の差分を示し得るように、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成してもよい。

【0061】

さらに、図４Ｃに示されるように、ビデオエンコーダ２０は、４分木区分を使用して、ＣＵのルマ残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックをそれぞれ１つまたは複数のルマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解してもよい。変換ブロックは、同じ変換が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵのＴＵは、ルマサンプルの変換ブロックと、彩度サンプルの２つの対応する変換ブロックと、変換ブロック・サンプルを変換するために使用される構文要素とを含んでもよい。したがって、ＣＵの各ＴＵは、ルマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられてもよい。いくつかの例では、ＴＵに関連付けられたルマ変換ブロックは、ＣＵのルマ残差ブロックのサブブロックであってもよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってもよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってもよい。単色ピクチャまたは３つの別個の色平面を有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するために使用される構文構造とを含んでもよい。

【0062】

ビデオエンコーダ２０は、ＴＵのルマ変換ブロックに１つまたは複数の変換を適用して、ＴＵのルマ係数ブロックを生成してもよい。係数ブロックは変換係数の２次元配列であってもよい。変換係数はスカラ量であってもよい。ビデオエンコーダ２０は、ＴＵのＣｂ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｂ係数ブロックを生成してもよい。ビデオエンコーダ２０は、ＴＵのＣｒ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｒ係数ブロックを生成してもよい。

【0063】

ビデオエンコーダ２０は、係数ブロック（例えば、ルマ係数ブロック、Ｃｂ係数ブロック、またはＣｒ係数ブロック）を生成した後、係数ブロックを量子化してもよい。量子化は、一般に、変換係数を表現するために使用されるデータ量を可能性として削減してさらなる圧縮を実現するために、変換係数が量子化されるプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素をエントロピー符号化してもよい。例えば、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素に対してＣＡＢＡＣを実行してもよい。最後に、ビデオエンコーダ２０は、符号化されたフレームおよび関連データの表現を形成するビットのシーケンスを含むビットストリームを出力してもよく、ビットストリームは、記憶デバイス３２に保存されるか、または宛先デバイス１４に送信される。

【0064】

ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信した後、ビットストリームを解析してビットストリームから構文要素を取得してもよい。ビデオデコーダ３０は、ビットストリームから取得された構文要素に少なくとも部分的に基づいてビデオデータのフレームを再構成してもよい。ビデオデータを再構成するプロセスは、ビデオエンコーダ２０によって実行される符号化プロセスとほぼ逆である。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた係数ブロックに対して逆変換を実行して、現在ＣＵのＴＵに関連付けられた残差ブロックを再構成してもよい。ビデオデコーダ３０はまた、現在ＣＵのＰＵの予測ブロックのサンプルを現在ＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって、現在ＣＵの符号化ブロックを再構成する。ビデオデコーダ３０は、フレームの各ＣＵについて符号化ブロックを再構成した後、フレームを再構成してもよい。

【0065】

上述されたように、ビデオ符号化は、主に２つのモード、すなわちフレーム内予測（またはイントラ予測）およびフレーム間予測（またはインター予測）を使用してビデオ圧縮を実現する。ＩＢＣはフレーム内予測または第３のモードとみなされ得ることに留意されたい。参照ビデオブロックから現在のビデオブロックを予測するために動きベクトルを使用するので、２つのモードのうち、フレーム間予測の方がフレーム内予測よりも符号化効率に大きく寄与する。

【0066】

しかしながら、ビデオデータ捕捉技術が常に向上しており、ビデオデータの詳細を保持するためのビデオブロックサイズがより微細化されているため、現在フレームの動きベクトルを表現するために必要なデータ量も大幅に増加している。この課題を克服する方法の１つは、空間領域と時間領域との両方における隣接するＣＵのグループが予測目的のために類似するビデオデータを有するだけでなく、これらの隣接するＣＵ間の動きベクトルも類似しているという事実から恩恵を受けることである。したがって、空間的に隣接するＣＵおよび／または時間的に同じ場所にあるＣＵの動き情報を、それらの空間的相関および時間的相関を調査することによって現在ＣＵの動き情報（例えば、動きベクトル）の近似値として使用することが可能であり、これは、現在ＣＵの「動きベクトル予測子（ＭＶＰ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）」とも呼ばれる。

【0067】

図２に関連して上記で説明されたように動き推定ユニット４２によって決定された現在ＣＵの実際の動きベクトルをビデオビットストリームに符号化する代わりに、現在ＣＵの動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を作成するために、現在ＣＵの実際の動きベクトルから現在ＣＵの動きベクトル予測子が減算される。そうすることにより、動き推定ユニット４２によってフレームのＣＵごとに決定された動きベクトルをビデオビットストリームに符号化する必要がなくなり、ビデオビットストリーム内の動き情報を表現するために使用されるデータ量が大幅に削減される場合がある。

【0068】

符号ブロックのフレーム間予測中に参照フレーム内の予測ブロックを選ぶプロセスと同様に、現在ＣＵの空間的に隣接するＣＵおよび／または時間的に同じ位置にあるＣＵに関連付けられた潜在的な候補動きベクトルを使用して現在ＣＵの動きベクトル候補リスト（「マージリスト」とも呼ばれる）を構築し、次いで、動きベクトル候補リストから現在ＣＵの動きベクトル予測子として１つの要素を選択するために、ビデオエンコーダ２０とビデオデコーダ３０との両方によって一連の規則が採用される必要がある。そうすることにより、動きベクトル候補リスト自体をビデオエンコーダ２０からビデオデコーダ３０に送信する必要がなくなり、ビデオエンコーダ２０およびビデオデコーダ３０が現在ＣＵを符号化および復号するために動きベクトル候補リスト内の同じ動きベクトル予測子を使用するには、動きベクトル候補リスト内の選択された動きベクトル予測子のインデックスで十分である。

【0069】

各インター予測ＣＵについて、動きパラメータは、動きベクトル、参照ピクチャインデックスおよび参照ピクチャリスト使用インデックス、ならびにインター予測サンプル生成に使用されるＶＶＣの新しい符号化特徴に必要な追加情報から構成される。動作パラメータは、明示的または暗黙的な方法で信号伝達され得る。ＣＵがスキップ・モードで符号化される場合、ＣＵは、１つのＰＵに関連付けられ、重要な残差係数も、符号化された動きベクトル・デルタも、参照ピクチャインデックスも有していない。マージモードが指定され、それによって、空間的および時間的な候補とＶＶＣにおいて導入された追加のスケジュールとを含む現在ＣＵの動きパラメータが、隣接するＣＵから取得される。マージモードは、スキップ・モードだけでなく、任意のインター予測されたＣＵに適用され得る。マージモードの代替方法は、動きパラメータの明示的な送信であり、動きベクトル、各参照ピクチャリストの対応する参照ピクチャインデックス、参照ピクチャリスト使用フラグ、および他の必要とされる情報が、ＣＵごとに明示的に信号伝達される。

【0070】

さらに、ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）およびＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ１／ＳＣ２９／ＷＧ１１）は、現在のＶＶＣ標準の圧縮能力を大幅に超えた圧縮能力を有する将来のビデオ符号化技術の標準化の潜在的必要性について研究している。そのような将来の標準化アクションは、ＶＶＣの追加拡張またはまったく新しい標準の形式をとる可能性がある。これらのグループは、この分野の専門家によって提案された圧縮技術設計を評価するために、共同ビデオ調査チーム（ＪＶＥＴ）として知られる共同作業でこのサーチに共に取り組んでいる。最初の調査実験（ＥＥ）は、２０２１年１月６～１５日のＪＶＥＴ会議で確立されており、この調査ソフトウェアモデルは拡張圧縮モデル（ＥＣＭ）と名付けられ、ＥＣＭバージョン２（ＥＣＭ２）が２０２１年８月に公開されている。ＥＣＭ２で新たに開発されたインター予測方式は、次のセクションで詳細に説明される。

【0071】

以下のセクションは、ＶＶＣおよび開発中のＥＣＭモデルで指定されているそのインター予測方法の詳細を提供する。

【0072】

ＶＶＣにおける拡張マージ予測
ＶＶＣでは、次の５つのタイプの候補を順番に含めることによって、マージ候補リストが構築される。
１）．空間的に隣接するＣＵからの空間ＭＶＰ
２）．同一位置の（ｃｏｌｌｏｃａｔｅｄ）ＣＵからの時間ＭＶＰ
３）．ＦＩＦＯテーブルからの履歴ベースのＭＶＰ
４）．ペアごとの平均ＭＶＰ
５）．ゼロのＭＶ

【0073】

マージリストのサイズはシーケンスパラメータセット・ヘッダにおいて信号伝達され、マージリストの最大許容サイズは６である。マージモードの各ＣＵコードについて、最良のマージ候補のインデックスは、切り捨て単項２値化（ＴＵ：ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ）を使用して符号化される。マージインデックスの最初のビンはコンテキストを用いて符号化され、他のビンにはバイパス符号化が使用される。

【0074】

このセッションでは、マージ候補の各カテゴリの導出プロセスが提供される。ＨＥＶＣで行われているように、ＶＶＣも、特定のサイズのエリア内のすべてのＣＵのマージ候補リストの並行導出をサポートする。

【0075】

ＶＶＣにおける空間候補導出
ＶＶＣでの空間マージ候補の導出は、最初の２つのマージ候補の位置が交換されることを除いて、ＨＥＶＣでの導出と同じである。図５に描写された位置にある候補の中から最大４つのマージ候補が選択される。導出の順序は、Ｂ_０、Ａ_０、Ｂ_１、Ａ_１、およびＢ_２である。位置Ｂ_２は、位置Ｂ_０、Ａ_０、Ｂ_１、Ａ_１の１つまたは２つ以上のＣＵが利用できない場合（例えば、そのＣＵが別のスライスまたはタイルに属しているため）、またはイントラ符号化されている場合にのみ考慮される。位置Ａ_１の候補が追加された後、残りの候補の追加は、符号化効率が改善されるように、同じ動き情報を有する候補がリストから除外されることを保証する冗長性チェックの対象となる。計算複雑性を軽減するために、前述の冗長性チェックでは、すべての可能な候補ペアが考慮されるわけではない。代わりに、図６において矢印でリンクされたペアのみが考慮され、冗長性チェックに使用される対応する候補が同じ動き情報を有していない場合にのみ、候補がリストに追加される。

【0076】

ＶＶＣにおける時間候補導出
このステップでは、１つの候補だけがリストに追加される。特に、この時間マージ候補の導出では、スケーリングされた動きベクトルは、同一位置の参照ピクチャに属する同一位置のＣＵに基づいて導出される。同一位置のＣＵの導出に使用される参照ピクチャリストおよび参照インデックスは、スライス・ヘッダにおいて明示的に信号伝達される。時間マージ候補のスケーリングされた動きベクトルは、図７の点線によって示されるように得られ、この動きベクトルは、ＰＯＣ距離ｔｂおよびｔｄを使用して、同一位置のＣＵの動きベクトルからスケーリングされ、ここで、ｔｂは、現在ピクチャの参照ピクチャと現在ピクチャとの間のＰＯＣ差であると定義され、ｔｄは、配列ピクチャの参照ピクチャと配列ピクチャとの間のＰＯＣ差であると定義される。時間マージ候補の参照ピクチャインデックスはゼロに等しくなるように設定される。

【0077】

時間的候補の位置は、図８に描写されるように、候補Ｃ_０と候補Ｃ_１との間で選択される。位置Ｃ_０のＣＵが利用できない場合、イントラ符号化されている場合、またはＣＴＵの現在の行の外側にある場合、位置Ｃ_１が使用される。それ以外の場合、位置Ｃ_０が、時間マージ候補の導出に使用される。

【0078】

ＶＶＣにおける履歴ベースのマージ候補導出
履歴ベースのＭＶＰ（ＨＭＶＰ：ｈｉｓｔｏｒｙ－ｂａｓｅｄ ＭＶＰ）マージ候補は、空間ＭＶＰおよびＴＭＶＰの後にマージリストに追加される。この方法では、以前に符号化されたブロックの動き情報がテーブル内に記憶され、現在ＣＵのＭＶＰとして使用される。符号化／復号プロセス中、複数のＨＭＶＰ候補を有するテーブルが維持される。新しいＣＴＵ行が生じたとき、テーブルはリセットされる（空にされる）。非サブブロックのインター符号化されたＣＵが存在する場合は常に、関連する動き情報が、新しいＨＭＶＰ候補としてテーブルの最後のエントリに追加される。

【0079】

ＨＭＶＰテーブル・サイズＳは６に設定され、これは、最大５つの履歴ベースのＭＶＰ（ＨＭＶＰ）候補がテーブルに追加され得ることを示す。新しい動き候補をテーブルに挿入するとき、制約付き先入れ先出し（ＦＩＦＯ）規則が利用され、最初に、テーブル内に同一のＨＭＶＰがあるかどうかを見出すために、冗長性チェックが適用される。見出された場合、同一のＨＭＶＰがテーブルから削除され、その後のすべてのＨＭＶＰ候補が順方向に移動され、同一のＨＭＶＰはテーブルの最後のエントリに挿入される。

【0080】

ＨＭＶＰ候補は、マージ候補リスト構築プロセスにおいて使用されてもよい。テーブル内の最新のいくつかのＨＭＶＰ候補は、順番にチェックされ、候補リストのＴＭＶＰ候補の後に挿入される。冗長性チェックは、ＨＭＶＰ候補において空間マージ候補または時間マージ候補に適用される。

【0081】

冗長性チェック動作の回数を低減するために、次の簡素化が導入される。
１．テーブル内の最後の２つのエントリは、それぞれＡ１空間候補およびＢ１空間候補に対して冗長性チェックされる。
２．利用可能なマージ候補の総数が最大許容マージ候補から１を引いた数に達すると、ＨＭＶＰからのマージ候補リスト構築プロセスが終了する。

【0082】

ＶＶＣにおけるペアごとの平均マージ候補導出
ペアごとの平均候補は、最初の２つのマージ候補を使用して、既存のマージ候補リスト内の予め定められた候補ペアを平均することによって生成される。それぞれ、第１のマージ候補はｐ０Ｃａｎｄとして定義され、第２のマージ候補はｐ１Ｃａｎｄとして定義され得る。平均化された動きベクトルは、ｐ０Ｃａｎｄおよびｐ１Ｃａｎｄの動きベクトルの利用可能性に応じて、参照リストごとに個別に算出される。１つのリスト内で両方の動きベクトルが利用可能である場合、これら２つの動きベクトルは、それらが異なる参照ピクチャを指している場合でも平均化され、その参照ピクチャはｐ０Ｃａｎｄのうちの１つに設定され、１つの動きベクトルのみが利用可能である場合、その動きベクトルを直接使用し、利用可能な動きベクトルがない場合、このリストを無効にしておく。また、ｐ０Ｃａｎｄおよびｐ１Ｃａｎｄの２分の１画素補間フィルタインデックスが異なる場合、これは０に設定される。

【0083】

ペアごとの平均マージ候補が追加された後にマージリストが満たされていない場合、最大マージ候補数に達するまで、末尾にゼロのＭＶＰが挿入される。

【0084】

ＶＶＣにおける高精度（１／１６画素）動き補償および動きベクトルの記憶
ＶＶＣは、ＭＶ精度を１／１６ルマサンプルまで高めて、スローモーションビデオの予測効率を向上させる。このより高い動き正確度は、アフィンモードの場合など、局所的に変化する非並進動きを伴うビデオコンテンツに特に有用である。より高いＭＶ正確度の小数位置サンプル生成のために、ＨＥＶＣの８タップルマ補間フィルタおよび４タップ彩度補間フィルタは、ルマについては１６位相、彩度については３２位相に拡張されている。この拡張フィルタセットは、アフィンモードのＣＵを除くインター符号化されたＣＵのＭＣプロセスに適用される。アフィンモードの場合、計算複雑性の低減およびメモリ帯域幅の節約のために、１６位相を有する６タップルマ補間フィルタのセットが使用される。

【0085】

ＶＶＣでは、非アフィンＣＵの明示的に信号伝達される動きベクトルの最高精度は、４分の１ルマサンプルである。アフィンモードなどのいくつかのインター予測モードでは、動きベクトルは、１／１６ルマサンプル精度で信号伝達され得る。暗黙的に推論されたＭＶを有するすべてのインター符号化されたＣＵにおいて、ＭＶは１／１６ルマサンプル精度で導出され、動き補償予測は１／１６サンプル精度で実行される。内部動きフィールド（ｍｏｔｉｏｎ ｆｉｅｌｄ）の記憶に関しては、すべての動きベクトルが１／１６ルマサンプル精度で記憶される。

【0086】

ＴＭＶＰおよびＳｂＴＶＭＰによって使用される時間動きフィールドの記憶の場合、動きフィールド圧縮は、ＨＥＶＣでの１６×１６サイズの粒度とは対照的に、８×８サイズの粒度で実行される。

【0087】

ＶＶＣにおけるＭＶＤを用いたマージモード（ＭＭＶＤ）
暗黙的に導出された動き情報が現在ＣＵの予測サンプル生成に直接使用されるマージモードに加えて、動きベクトル差分を用いたマージモード（ＭＭＶＤ：ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）がＶＶＣに導入されている。通常のマージ・フラグを送信した直後に、ＣＵにＭＭＶＤモードが使用されるかどうかを指定するためのＭＭＶＤフラグが信号伝達される。

【0088】

ＭＭＶＤでは、マージ候補が選択された後、マージ候補は、信号伝達されたＭＶＤ情報によってさらに精緻化される。さらなる情報は、マージ候補フラグ、動きの大きさを指定するためのインデックス、および動き方向の指示のためのインデックスを含む。ＭＭＶＤモードでは、マージリスト内の最初の２つの候補のうち１つが、ＭＶ基底として使用するために選択される。第１のマージ候補と第２のマージ候補との間でどちらが使用されるかを指定するために、ｍｍｖｄ候補フラグが信号伝達される。

【0089】

距離インデックスは、動きの大きさの情報を指定し、開始点からの予め定められたオフセットを指示する。図９Ａおよび図９Ｂに示されるように、開始ＭＶの水平成分または垂直成分のいずれかにオフセットが追加される。表１に、距離インデックスと予め定められたオフセットとの関係が指定されている。

【0090】

【表1】

【0091】

方向インデックスは、開始点を基準としたＭＶＤの方向を表す。方向インデックスは、表２に示された４つの方向を表すことができる。ＭＶＤ符号の意味は、開始ＭＶの情報に応じて変化し得ることに留意されたい。開始ＭＶが予測ＭＶまたは双予測ＭＶであり、両方のリストが現在ピクチャの同じ側を指している場合（すなわち、２つの参照のＰＯＣが、両方とも現在ピクチャのＰＯＣより大きいか、または両方とも現在ピクチャのＰＯＣより小さい場合）、表２の符号は、開始ＭＶに追加されるＭＶオフセットの符号を指定する。開始ＭＶが双予測ＭＶであり、２つのＭＶが現在ピクチャの異なる側を指している場合（すなわち、一方の参照のＰＯＣが現在ピクチャのＰＯＣより大きく、他方の参照のＰＯＣが現在ピクチャのＰＯＣより小さい場合）、リスト０内のＰＯＣの差がリスト１内のＰＯＣの差より大きい場合、表２の符号は、リスト０の開始ＭＶのＭＶ成分に追加されるＭＶオフセットの符号を指定し、リスト１のＭＶの符号は反対の値を有する。それ以外の場合で、リスト１内のＰＯＣの差がリスト０内のＰＯＣの差より大きい場合、表２の符号は、リスト１の開始ＭＶのＭＶ成分に追加されるＭＶオフセットの符号を指定し、リスト０のＭＶの符号は反対の値を有する。

【0092】

ＭＶＤは、各方向におけるＰＯＣの差に従ってスケーリングされる。両方のリスト内のＰＯＣの差が同じである場合、スケーリングは必要ない。それ以外の場合で、リスト０内のＰＯＣの差がリスト１内のＰＯＣの差よりも大きい場合、リスト１のＭＶＤは、図７で説明されたように、Ｌ０のＰＯＣ差をｔｄとして、Ｌ１のＰＯＣ差をｔｂとして定義することによってスケーリングされる。Ｌ１のＰＯＣ差がＬ０より大きい場合、リスト０のＭＶＤも、同じ方法でスケーリングされる。開始ＭＶが単予測される場合、ＭＶＤは利用可能なＭＶに追加される。

【0093】

【表2】

【0094】

ＶＶＣにおける対称ＭＶＤ符号化
ＶＶＣでは、通常の単方向予測および双方向予測モードのＭＶＤ信号伝達の他に、双予測ＭＶＤ信号伝達のための対称ＭＶＤモードが適用される。対称ＭＶＤモードでは、リスト０とリスト１との両方の参照ピクチャインデックスとリスト１のＭＶＤとを含む動き情報は信号伝達されずに導出される。

【0095】

対称ＭＶＤモードの復号プロセスは次の通りである。
１．スライス・レベルでは、変数ＢｉＤｉｒＰｒｅｄＦｌａｇ、ＲｅｆＩｄｘＳｙｍＬ０、およびＲｅｆＩｄｘＳｙｍＬ１が次のように導出される。
－ ｍｖｄ＿ｌ１＿ｚｅｒｏ＿ｆｌａｇが１である場合、ＢｉＤｉｒＰｒｅｄＦｌａｇは０に等しくなるように設定される。
－ それ以外の場合で、リスト０内の最も近い参照ピクチャおよびリスト１内の最も近い参照ピクチャが、参照ピクチャの順方向と逆方向とのペア、または参照ピクチャの逆方向と順方向とのペアを形成する場合、ＢｉＤｉｒＰｒｅｄＦｌａｇは１に設定され、リスト０とリスト１との両方の参照ピクチャは、短期参照ピクチャである。それ以外の場合、ＢｉＤｉｒＰｒｅｄＦｌａｇは０に設定される。
２．ＣＵレベルでは、ＣＵが双予測符号化されており、ＢｉＤｉｒＰｒｅｄＦｌａｇが１に等しい場合、対称モードが使用されるかどうかを指示する対称モードフラグが明示的に信号伝達される。

【0096】

対称モードフラグが真の場合、ｍｖｐ＿ｌ０＿ｆｌａｇ、ｍｖｐ＿ｌ１＿ｆｌａｇ、およびＭＶＤ０のみが明示的に信号伝達される。リスト０およびリスト１の参照インデックスは、それぞれ参照ピクチャのペアに等しくなるように設定される。ＭＶＤ１は、（－ＭＶＤ０）に等しくなるように設定される。最終的な動きベクトルは、以下の式に示されている。

【数1】

【0097】

エンコーダでは、対称ＭＶＤ動き推定が、初期ＭＶ評価から始まる。初期ＭＶ候補のセットは、単予測サーチから得られたＭＶ、双予測サーチから得られたＭＶ、およびＡＭＶＰリストからのＭＶで構成される。レート歪みコストが最も低いものが、対称ＭＶＤ動きサーチの初期ＭＶとして選択される。

【0098】

ＶＶＣにおけるアフィン動き補償予測
ＨＥＶＣでは、動き補償予測（ＭＣＰ：ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）には並進動きモデルのみが適用される。一方、現実世界には、多くの種類の動き、例えば、拡大／縮小、回転、透視の動き、および他の不規則な動きが存在する。ＶＶＣでは、ブロックベースのアフィン変換動き補償予測が適用される。図１０Ａおよび図１０Ｂに示されるように、ブロックのアフィン動きフィールドは、図１０Ａに示されるような２つの制御点（４パラメータ）または図１０Ｂに示されるような３つの制御点動きベクトル（６パラメータ）の動き情報によって説明される。

【0099】

４パラメータアフィン動きモデルの場合、ブロック内のサンプル位置（ｘ，ｙ）における動きベクトルは、

【数2】

として導出される。

【0100】

６パラメータアフィン動きモデルの場合、ブロック内のサンプル位置（ｘ，ｙ）における動きベクトルは、

【数3】

として導出される。

【0101】

ここで、（ｍｖ_０ｘ，ｍｖ_０ｙ）は左上隅の制御点の動きベクトルであり、（ｍｖ_１ｘ，ｍｖ_１ｙ）は右上隅の制御点の動きベクトルであり、（ｍｖ_２ｘ，ｍｖ_２ｙ）は左下隅の制御点の動きベクトルである。

【0102】

動き補償予測を簡素化するために、ブロックベースのアフィン変換予測が適用される。各４×４ルマサブブロックの動きベクトルを導出するために、図１１に示されるような各サブブロックの中央サンプルの動きベクトルが、上記の方程式に従って算出され、１／１６の小数正確度に丸められる。次いで、導出された動きベクトルを用いて各サブブロックの予測を生成するために、動き補償補間フィルタが適用される。彩度成分のサブブロックサイズも４×４に設定される。４×４彩度サブブロックのＭＶは、同一位置の８×８ルマ領域内の左上と右下のルマサブブロックのＭＶの平均として算出される。

【0103】

並進動きインター予測の場合と同様に、アフィンマージモードおよびアフィンＡＭＶＰモードという２つのアフィン動きインター予測モードもある。

【0104】

アフィンマージ予測
ＡＦ＿ＭＥＲＧＥモードは、幅と高さとの両方が８以上であるＣＵに適用され得る。このモードでは、現在ＣＵのＣＰＭＶは、空間的に隣接するＣＵの動き情報に基づいて生成される。最大５つのＣＰＭＶＰ候補が存在する可能性があり、現在ＣＵに使用されるＣＰＭＶＰ候補を指示するためのインデックスが信号伝達される。アフィンマージ候補リストを形成するために、次の３つのタイプのＣＰＶＭ候補が使用される。
－ 隣接ＣＵのＣＰＭＶから外挿される、継承されたアフィンマージ候補
－ 隣接ＣＵの並進ＭＶを使用して導出される、構築されたアフィンマージ候補ＣＰＭＶＰ
－ ゼロのＭＶ

【0105】

ＶＶＣでは、最大２つの継承されたアフィン候補があり、これらは隣接ブロックのアフィン動きモデルから導出され、一方は左の隣接ＣＵから、もう一方は上の隣接ＣＵから導出される。候補ブロックが図１２に示されている。左の予測子の場合、走査順序はＡ０－＞Ａ１であり、上の予測子の場合、走査順序はＢ０－＞Ｂ１－＞Ｂ２である。各側から最初に継承された候補者のみが選択される。継承された２つの候補間でプルーニング・チェックは実行されない。隣接アフィンＣＵが識別されると、その制御点動きベクトルを使用して、現在ＣＵのアフィンマージリスト内のＣＰＭＶＰ候補が導出される。隣接する左下のブロックＡがアフィンモードで符号化される場合、ブロックＡを含むＣＵの左上隅、右上隅、および左下隅の動きベクトルｖ＿２、ｖ＿３、およびｖ＿４が取得される。ブロックＡが４パラメータアフィンモデルで符号化される場合、現在ＣＵの２つのＣＰＭＶはｖ＿２およびｖ＿３に従って算出される。ブロックＡが６パラメータアフィンモデルで符号化される場合、現在ＣＵの３つのＣＰＭＶは、ｖ＿２、ｖ＿３、ｖ＿４に従って算出される。

【0106】

構築されたアフィン候補とは、各制御点の隣接並進動き情報を組み合わせることによって候補が構築されることを意味する。制御点の動き情報は、図１３に示される指定された空間的隣接および時間的隣接から導出される。ＣＰＭＶｋ（ｋ＝１、２、３、４）は、ｋ番目の制御点を表す。ＣＰＭＶ１の場合、Ｂ２－＞Ｂ３－＞Ａ２のブロックがチェックされ、最初に使用可能なブロックのＭＶが使用される。ＣＰＭＶ２の場合、Ｂ１－＞Ｂ０のブロックがチェックされ、ＣＰＭＶ３の場合、Ａ１－＞Ａ０のブロックがチェックされる。ＴＭＶＰは、利用可能な場合はＣＰＭＶ４として使用される。

【0107】

４つの制御点のＭＶが取得された後、それらの動き情報に基づいてアフィンマージ候補が構築される。順番に構築するために、制御点ＭＶの次の組合せが使用される。
｛ＣＰＭＶ_１、ＣＰＭＶ_２、ＣＰＭＶ_３｝、｛ＣＰＭＶ_１、ＣＰＭＶ_２、ＣＰＭＶ_４｝、｛ＣＰＭＶ_１、ＣＰＭＶ_３、ＣＰＭＶ_４｝、｛ＣＰＭＶ_２、ＣＰＭＶ_３、ＣＰＭＶ_４｝、｛ＣＰＭＶ_１、ＣＰＭＶ_２｝、｛ＣＰＭＶ_１、ＣＰＭＶ_３｝

【0108】

３つのＣＰＭＶの組合せは、６パラメータアフィンマージ候補を構築し、２つのＣＰＭＶの組合せは４パラメータアフィンマージ候補を構築する。動きスケーリング・プロセスを回避するために、制御点の参照インデックスが異なる場合、関連する制御点ＭＶの組合せは破棄される。

【0109】

継承されたアフィンマージ候補および構築されたアフィンマージ候補がチェックされた後、リストがまだ満たされてない場合、リストの末尾にゼロのＭＶが挿入される。

【0110】

ＶＶＣにおけるアフィンＡＭＶＰ予測
アフィンＡＭＶＰモードは、幅と高さとの両方が１６以上であるＣＵに適用され得る。アフィンＡＭＶＰモードが使用されるかどうかを指示するために、ビットストリームにおいてＣＵレベルのアフィン・フラグが信号送信され、次いで、４パラメータアフィンであるか６パラメータアフィンかを指示するために、別のフラグが信号伝達される。このモードでは、現在ＣＵのＣＰＭＶとその予測子ＣＰＭＶＰとの差がビットストリームにおいて信号伝達される。アフィンＡＶＭＰ候補リストのサイズは２であり、この候補リストは、次の４つのタイプのＣＰＶＭ候補を順番に使用することによって生成される。
－ 隣接ＣＵのＣＰＭＶから外挿される、継承されたアフィンＡＭＶＰ候補
－ 隣接ＣＵの並進ＭＶを使用して導出される、構築されたアフィンＡＭＶＰ候補ＣＰＭＶＰ
－ 隣接ＣＵからの並進ＭＶ
－ ゼロのＭＶ

【0111】

継承されたアフィンＡＭＶＰ候補のチェック順序は、継承されたアフィンマージ候補のチェック順序と同じである。唯一の違いは、ＡＶＭＰ候補の場合、現在ブロック内と同じ参照ピクチャを有するアフィンＣＵのみが考慮されることである。継承されたアフィン動き予測子を候補リストに挿入するときに、プルーニングプロセスは適用されない。

【0112】

構築されたＡＭＶＰ候補は、図１３に示される指定された空間的隣接から導出される。アフィンマージ候補の構築で行われるのと同じチェック順序が使用される。さらに、隣接ブロックの参照ピクチャインデックスもチェックされる。インター符号化され、かつ現在ＣＵ内と同じ参照ピクチャを有する、チェック順序で最初のブロックが使用される。１つだけある。現在ＣＵが４パラメータアフィンモードで符号化され、ｍｖ_０とｍｖ_１との両方が利用可能である場合、それらはアフィンＡＭＶＰリスト内の１つの候補として追加される。現在ＣＵが６パラメータアフィンモードで符号化され、３つのＣＰＭＶがすべて利用可能である場合、それらはアフィンＡＭＶＰリスト内の１つの候補として追加される。それ以外の場合、構築されたＡＭＶＰ候補は利用不可として設定される。

【0113】

有効な継承されたアフィンＡＭＶＰ候補および構築されたＡＭＶＰ候補を挿入した後、アフィンＡＭＶＰリスト候補の数がまだ２未満である場合、利用可能なときには、現在ＣＵのすべての制御点ＭＶを予測するための並進ＭＶとしてｍｖ_０、ｍｖ_１、およびｍｖ_２が順番に追加される。最後に、アフィンＡＭＶＰリストがまだ満たされていない場合、そのアフィンＡＭＶＰリストを埋めるためにゼロのＭＶが使用される。

【0114】

ＶＶＣにおけるアフィンモードのオプティカルフローを用いた予測精緻化
サブブロックベースのアフィン動き補償は、画素ベースの動き補償と比較してメモリアクセス帯域幅を節約し、計算複雑性を軽減することができるが、予測正確性が不利益となる。動き補償のより細かい粒度を実現するために、オプティカルフローを用いた予測精緻化（ＰＲＯＦ：ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ）を使用して、動き補償のためのメモリアクセス帯域幅を増やすことなく、サブブロックベースのアフィン動き補償予測を精緻化する。ＶＶＣでは、サブブロックベースのアフィン動き補償が実行された後、オプティカルフロー方程式によって導出された差分を追加することによってルマ予測サンプルが精緻化される。ＰＲＯＦは、次の４つのステップとして説明される。

【0115】

ステップ１）サブブロック予測Ｉ（ｉ，ｊ）を生成するために、サブブロックベースのアフィン動き補償が実行される。

【0116】

ステップ２）サブブロック予測の空間勾配ｇ_ｘ（ｉ，ｊ）およびｇ_ｙ（ｉ，ｊ）は、３タップ・フィルタ［－１，０，１］を使用して各サンプル位置で算出される。勾配の算出は、ＢＤＯＦの勾配算出とまったく同じである。

【数4】

【数5】

【0117】

ＳＨＩＦＴ１は、勾配の精度を制御するために使用される。サブブロック（すなわち、４×４）予測は、勾配算出のために各側で１サンプルずつ拡張される。追加のメモリ帯域幅および追加の補間計算を回避するために、拡張境界上のその拡張サンプルは、参照ピクチャ内の最も近い整数画素位置からコピーされる。

【0118】

ステップ３）ルマ予測精緻化は、次のオプティカルフロー方程式、

【数6】

によって算出され、ここで、Δｖ（ｉ，ｊ）は、図１４に示されるように、ｖ（ｉ，ｊ）によって示される、サンプル位置（ｉ，ｊ）に対して計算されたサンプルＭＶと、サンプル（ｉ，ｊ）が属するサブブロックのサブブロックＭＶとの間の差分である。Δｖ（ｉ，ｊ）は１／３２ルマサンプル精度の単位で量子化される。

【0119】

アフィンモデルパラメータおよびサブブロックの中心に対するサンプル位置はサブブロックごとに変化しないので、Δｖ（ｉ，ｊ）は、最初のサブブロックに対して算出され、同じＣＵ内の他のサブブロックのために再利用され得る。ｄｘ（ｉ，ｊ）およびｄｙ（ｉ，ｊ）をサンプル位置（ｉ，ｊ）からサブブロック（ｘ_ＳＢ，ｙ_ＳＢ）の中心までの水平および垂直オフセットとすると、Δｖ（ｘ，ｙ）は、次の方程式

【数7】

【数8】

によって導出され得る。

【0120】

正確性を維持するために、サブブロック（ｘ_ＳＢ，ｙ_ＳＢ）の入力は、（（Ｗ_ＳＢ－１）／２，（Ｈ_ＳＢ－１）／２）として算出され、ここで、Ｗ_ＳＢおよびＨ_ＳＢはそれぞれ、サブブロックの幅および高さである。

【0121】

４パラメータアフィンモデルの場合、

【数9】

である。

【0122】

６パラメータアフィンモデルの場合、

【数10】

であり、ここで、（ｖ_０ｘ，ｖ_０ｙ）、（ｖ_１ｘ，ｖ_１ｙ）、（ｖ_２ｘ，ｖ_２ｙ）は、左上、右上、および左下の制御点の動きベクトルであり、ｗおよびｈは、ＣＵの幅および高さである。

【0123】

ステップ４）最後に、サブブロック予測Ｉ（ｉ，ｊ）にルマ予測精緻化ΔＩ（ｉ，ｊ）が加算される。最終的な予測Ｉ’は次の方程式として生成される。
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＋ΔＩ（ｉ，ｊ）

【0124】

アフィン符号化されたＣＵについての２つの事例において、ＰＲＯＦは適用されない。１）すべての制御点ＭＶが同じであり、それが、ＣＵが並進動きのみを有することを示している。２）大きなメモリアクセス帯域幅の要件を回避するために、サブブロックベースのアフィンＭＣがＣＵベースのＭＣに格下げされるので、アフィン動きパラメータは、指定された限度よりも大きい。

【0125】

ＰＲＯＦを用いたアフィン動き推定の符号化の複雑性を軽減するために、高速符号化方法が適用される。次の２つの状況では、アフィン動き推定段階においてＰＲＯＦは適用されない。ａ）このＣＵがルートブロックではなく、その親ブロックがアフィンモードをその最良のモードとして選択しない場合、現在ＣＵがアフィンモードを最良のモードとして選択する可能性が低いので、ＰＲＯＦは適用されない。ｂ）４つのアフィン・パラメータ（Ｃ、Ｄ、Ｅ、Ｆ）の大きさがすべて予め定められたしきい値より小さく、現在ピクチャが低遅延ピクチャではない場合、この事例ではＰＲＯＦによってもたらされる改善が小さいので、ＰＲＯＦは適用されない。このようにして、ＰＲＯＦを用いたアフィン動き推定が高速化され得る。

【0126】

ＶＶＣにおけるサブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）
ＶＶＣは、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）方法をサポートする。ＨＥＶＣにおける時間動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、配列ピクチャ内の動きフィールドを使用して、現在ピクチャ内のＣＵの動きベクトル予測およびマージモードを改善する。ＴＭＶＰによって使用されるのと同じ配列ピクチャがＳｂＴＶＭＰにも使用される。ＳｂＴＭＶＰは、次の２つの主な点でＴＭＶＰと異なる。

【0127】

－ ＴＭＶＰはＣＵレベルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。

【0128】

－ ＴＭＶＰは、配列ピクチャ内の配列ブロックから時間動きベクトルをフェッチするが（配列ブロックは、現在ＣＵに対して右下または中央のブロックである）、ＳｂＴＭＶＰは、配列ピクチャから時間動き情報をフェッチする前に動きシフトを適用し、動きシフトは、現在ＣＵの空間的に隣接するブロックのうちの１つからの動きベクトルから得られる。

【0129】

ＳｂＴＶＭＰプロセスが図１５Ａおよび図１５Ｂに示されている。ＳｂＴＭＶＰは、現在ＣＵ内のサブＣＵの動きベクトルを２つのステップで予測する。第１のステップでは、図１５Ａの空間的隣接Ａ１が検査される。Ａ１が、配列ピクチャを参照ピクチャとして使用する動きベクトルを有する場合、この動きベクトルが、適用される動きシフトとして選択される。そのような動きが識別されない場合、動きシフトは（０，０）に設定される。

【0130】

第２のステップでは、図１５Ｂに示されるように、配列ピクチャからサブＣＵレベルの動き情報（動きベクトルおよび参照インデックス）を取得するために、ステップ１で識別された動きシフトが適用される（すなわち、現在ブロックの座標に追加される）。図１５Ｂの例は、動きシフトがブロックＡ１の動きに設定されていると仮定している。次いで、各サブＣＵについて、配列ピクチャ内のその対応するブロックの動き情報（中央のサンプルをカバーする最小の動きグリッド）を使用して、サブＣＵの動き情報を導出する。同一位置のサブＣＵの動き情報が識別された後、この動き情報は、ＨＥＶＣのＴＭＶＰプロセスと同様の方法で現在のサブＣＵの動きベクトルおよび参照インデックスに変換され、時間動きベクトルの参照ピクチャを現在ＣＵのピクチャに位置合せするために、時間動きスケーリングが適用される。

【0131】

ＶＶＣでは、ＳｂＴＶＭＰ候補とアフィンマージ候補との両方を含む組み合わされたサブブロックベースのマージリストが、サブブロックベースのマージモードの信号伝達に使用される。ＳｂＴＶＭＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって有効／無効になる。ＳｂＴＭＶＰモードが有効になっている場合、サブブロックベースのマージ候補のリストの最初のエントリとしてＳｂＴＭＶＰ予測子が追加され、その後にアフィンマージ候補が追加される。サブブロックベースのマージリストのサイズはＳＰＳにおいて信号伝達され、サブブロックベースのマージリストの最大許容サイズは、ＶＶＣでは５である。

【0132】

ＳｂＴＭＶＰにおいて使用されるサブＣＵサイズは８×８に固定されており、アフィンマージモードと同様に、ＳｂＴＭＶＰモードは幅と高さとの両方が８以上であるＣＵにのみ適用される。

【0133】

追加のＳｂＴＭＶＰマージ候補の符号化ロジックは、他のマージ候補と同じであり、すなわち、ＰスライスまたはＢスライスの各ＣＵについて、ＳｂＴＭＶＰ候補を使用するかどうかを決定するために追加のＲＤチェックが実行される。

【0134】

ＶＶＣの適応動きベクトル解像度（ＡＭＶＲ）
ＨＥＶＣでは、スライス・ヘッダ内のｕｓｅ＿ｉｎｔｅｇｅｒ＿ｍｖ＿ｆｌａｇが０に等しい場合、（ＣＵの動きベクトルと予測された動きベクトルとの間）動きベクトル差分（ＭＶＤ）が、４分の１ルマサンプルの単位で信号伝達される。ＶＶＣでは、ＣＵレベルの適応動きベクトル解像度（ＡＭＶＲ）方式が導入されている。ＡＭＶＲは、ＣＵのＭＶＤを様々な精度で符号化することを可能にする。現在ＣＵのモード（通常のＡＭＶＰモードまたはアフィンＡＶＭＰモード）に応じて、現在ＣＵのＭＶＤは、次のように適応的に選択され得る。
－ 通常のＡＭＶＰモード：４分の１ルマサンプル、２分の１ルマサンプル、整数ルマサンプル、または４ルマサンプル
－ アフィンＡＭＶＰモード：４分の１ルマサンプル、整数ルマサンプル、または１／１６ルマサンプル

【0135】

現在ＣＵに少なくとも１つのゼロ以外のＭＶＤ成分がある場合、ＣＵレベルのＭＶＤ解像度指示が条件付きで信号伝達される。すべてのＭＶＤ成分（すなわち、参照リストＬ０および参照リストＬ１の水平ＭＶＤと垂直ＭＶＤとの両方）がゼロである場合、４分の１ルマサンプルＭＶＤ解像度が推論される。

【0136】

少なくとも１つのゼロ以外のＭＶＤ成分を有するＣＵの場合、そのＣＵに対して４分の１ルマサンプルＭＶＤ精度が使用されるかどうかを示すための第１のフラグが信号伝達される。第１のフラグが０である場合、それ以上の信号伝達は必要なく、現在ＣＵに対して４分の１ルマサンプルＭＶＤ精度が使用される。それ以外の場合、通常のＡＭＶＰ ＣＵに対して２分の１ルマサンプルまたは他のＭＶＤ精度（整数または４ルマサンプル）が使用されることを示すための第２のフラグが信号伝達される。２分の１ルマサンプルの場合、２分の１ルマサンプル位置に対して、デフォルトの８タップ補間フィルタの代わりに６タップ補間フィルタが使用される。それ以外の場合、通常のＡＭＶＰ ＣＵに対して整数ルマサンプルまたは４ルマサンプルＭＶＤ精度のどちらが使用されるかを示すための第３のフラグが信号伝達される。アフィンＡＭＶＰ ＣＵの場合、第２のフラグは、整数ルマサンプルまたは１／１６ルマサンプルＭＶＤ精度のどちらが使用されるかを示すために使用される。再構成されたＭＶが意図された精度（４分の１ルマサンプル、２分の１ルマサンプル、整数ルマサンプル、または４ルマサンプル）を有することを保証するために、ＣＵの動きベクトル予測子は、ＭＶＤとともに追加される前に、ＭＶＤの精度と同じ精度へと丸められてもよい。動きベクトル予測子は、ゼロに向けて丸められる（すなわち、負の動きベクトル予測子は正の無限大に向けて丸められ、正の動きベクトル予測子は負の無限大に向けて丸められる）。

【0137】

エンコーダは、ＲＤチェックを使用して現在ＣＵの動きベクトル解像度を決定する。ＭＶＤ解像度ごとにＣＵレベルのＲＤチェックを常に４回実行することを回避するために、ＶＴＭ１４では、４分の１ルマサンプル以外のＭＶＤ精度のＲＤチェックは条件付きでのみ呼び出される。通常のＡＶＭＰモードの場合、４分の１ルマサンプルＭＶＤ精度および整数ルマサンプルＭＶ精度のＲＤコストが最初に計算される。次いで、４ルマサンプルＭＶＤ精度のＲＤコストをさらにチェックする必要があるかどうかを決定するために、整数ルマサンプルＭＶＤ精度のＲＤコストが４分の１ルマサンプルＭＶＤ精度のＲＤコストと比較される。４分の１ルマサンプルＭＶＤ精度のＲＤコストが、整数ルマサンプルＭＶＤ精度のＲＤコストよりもはるかに小さい場合、４ルマサンプルＭＶＤ精度のＲＤチェックはスキップされる。次いで、整数ルマサンプルＭＶＤ精度のＲＤコストが、以前にテストされたＭＶＤ精度の最良のＲＤコストよりも大幅に大きい場合、２分の１ルマサンプルＭＶＤ精度のチェックはスキップされる。アフィンＡＭＶＰモードの場合、アフィンマージ／スキップ・モード、マージ／スキップ・モード、４分の１ルマサンプルＭＶＤ精度の通常のＡＭＶＰモード、および４分の１ルマサンプルＭＶＤ精度のアフィンＡＭＶＰモードのレート歪みコストをチェックした後にアフィンインターモードが選択されていない場合、１／１６ルマサンプルＭＶ精度および１画素ＭＶ精度のアフィンインターモードはチェックされない。さらに、４分の１ルマサンプルＭＶ精度のアフィンインターモードで取得されたアフィン・パラメータは、１／１６ルマサンプルおよび４分の１ルマサンプルＭＶ精度のアフィンインターモードの開始サーチ点として使用される。

【0138】

ＶＶＣにおけるＣＵレベルの重みを用いた双予測（ＢＣＷ：ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ）
ＨＥＶＣでは、２つの異なる参照ピクチャから得られた２つの予測信号を平均することによって、および／または２つの異なる動きベクトルを使用することによって、双予測信号が生成される。ＶＶＣでは、２つの予測信号の加重平均を可能にするように、双予測モードが単純な平均の範囲を超えて拡張される。

【数11】

【0139】

加重平均双予測では、５つの重みｗ∈｛－２，３，４，５，１０｝が許容される。各双予測ＣＵについて、重みｗは、次の２つの方法のうちの一方で決定される。１）非マージＣＵの場合、重みインデックスは、動きベクトル差分の後に信号伝達される。２）マージＣＵの場合、重みインデックスは、マージ候補インデックスに基づいて隣接ブロックから推論される。ＢＣＷは、２５６以上のルマサンプルを有する（すなわち、ＣＵ幅×ＣＵ高さが２５６以上である）ＣＵにのみ適用される。低遅延ピクチャの場合、５つの重みがすべて使用される。非低遅延ピクチャの場合、３つの重み（ｗ∈｛３，４，５｝）のみが使用される。

【0140】

－ エンコーダでは、エンコーダの複雑性を大幅に増加させることなく重みインデックスを見出すために、高速サーチアルゴリズムが適用される。これらのアルゴリズムは、次のように要約される。詳細については、ＶＴＭソフトウェアおよび文書ＪＶＥＴ－Ｌ０６４６を参照されたい。ＡＭＶＲと組み合わされるとき、現在ピクチャが低遅延ピクチャである場合は、１画素および４画素の動きベクトル精度について、不均等な重みは条件付きでのみチェックされる。

【0141】

－ アフィンと組み合わされるとき、アフィンモードが現在の最良のモードとして選択されている場合かつその場合に限り、不均等な重みに対してアフィンＭＥが実行されてもよい。

【0142】

－ 双予測の２つの参照ピクチャが同じであるとき、不均等な重みは条件付きでのみチェックされる。

【0143】

－ 現在ピクチャとその参照ピクチャとの間のＰＯＣ距離、符号化ＱＰ、および時間レベルに応じて、特定の条件が満たされる場合、不均等な重みはサーチされない。

【0144】

ＢＣＷ重みインデックスは、１つのコンテキスト符号化ビンとそれに続くバイパス符号化ビンを使用して符号化される。最初のコンテキスト符号化ビンは、均等な重みが使用されるかどうかを示し、不均等な重みが使用される場合、どの不均等な重みが使用されるかを示すためにバイパス符号化を使用して追加のビンが信号伝達される。

【0145】

重み付け予測（ＷＰ）は、Ｈ．２６４／ＡＶＣおよびＨＥＶＣ標準によってサポートされている、フェーディングを用いてビデオコンテンツを効率的に符号化するための符号化ツールである。ＷＰのサポートもＶＶＣ標準に追加された。ＷＰは、参照ピクチャリストＬ０およびＬ１のそれぞれにおける各参照ピクチャに対して、重み付けパラメータ（重みおよびオフセット）を信号伝達することを可能にする。次いで、動き補償中に、対応する参照ピクチャの重みおよびオフセットが適用される。ＷＰおよびＢＣＷは、様々なタイプのビデオコンテンツ用に設計されている。ＶＶＣデコーダ設計を複雑にし得るＷＰとＢＣＷとの間の相互作用を回避するために、ＣＵがＷＰを使用する場合、ＢＣＷ重みインデックスは信号伝達されず、ｗは４であると推論される（すなわち、均等な重みが適用される）。マージＣＵの場合、重みインデックスは、マージ候補インデックスに基づいて隣接ブロックから推論される。これは、通常のマージモードおよび継承されたアフィンマージモードとの両方に適用され得る。構築されたアフィンマージモードの場合、アフィン動き情報は、最大３ブロックの動き情報に基づいて構築される。構築されたアフィンマージモードを使用するＣＵのＢＣＷインデックスは、単純に最初の制御点ＭＶのＢＣＷインデックスに等しくなるように設定される。

【0146】

ＶＶＣでは、ＣＩＩＰおよびＢＣＷをＣＵに併用して適用することはできない。ＣＵがＣＩＩＰモードで符号化される場合、現在ＣＵのＢＣＷインデックスは、２、すなわち均等な重みに設定される。

【0147】

ＶＶＣにおける双方向オプティカルフロー（ＢＤＯＦ：ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）
ＶＶＣには、双方向オプティカルフロー（ＢＤＯＦ）ツールが含まれている。ＢＤＯＦは、以前はＢＩＯと呼ばれており、ＪＥＭに含まれていた。ＪＥＭバージョンと比較すると、ＶＶＣにおけるＢＤＯＦはより単純なバージョンであり、特に乗算の数および乗算器のサイズの点で、必要な計算が大幅に少ない。

【0148】

ＢＤＯＦは、ＣＵの双予測信号を４×４サブブロック・レベルで精緻化するために使用される。ＣＵが次の条件をすべて満たす場合、ＣＵにＢＤＯＦが適用される。
－ ＣＵが「真の」双予測モードを使用して符号化されている。すなわち、２つの参照ピクチャのうちの一方は表示順序で現在ピクチャより前にあり、他方は表示順序で現在ピクチャより後にある
－ ２つの参照ピクチャから現在ピクチャまでの距離（すなわち、ＰＯＣ差）が同じである
－ 両方の参照ピクチャが短期参照ピクチャである
－ ＣＵがアフィンモードまたはＳｂＴＭＶＰマージモードを使用して符号化されていない
－ ＣＵが６４を超えるルマサンプルを有する
－ ＣＵ高さとＣＵ幅との両方が８以上のルマサンプルである
－ ＢＣＷ重みインデックスが均等な重みを示している
－ 現在ＣＵに対してＷＰが有効ではない
－ 現在ＣＵに対してＣＩＩＰモードが使用されていない

【0149】

ＢＤＯＦはルマ成分にのみ適用される。その名前が示すように、ＢＤＯＦモードは、オブジェクトの動きが平滑であることを前提としたオプティカルフローの概念に基づいている。４×４サブブロックごとに、Ｌ０予測サンプルとＬ１予測サンプルとの間の差を最小化することによって、動き精緻化（ｖ_ｘ，ｖ_ｙ）が算出される。次いで、動き精緻化を使用して、４×４サブブロック内の双予測サンプル値を調整する。ＢＤＯＦプロセスでは次の手順が適用される。

【0150】

最初に、２つの予測信号の水平勾配および垂直勾配

（ｋ＝０、１）が、２つの隣接するサンプル間、すなわち、

【数12】

の差を直接算出することによって計算され、ここで、Ｉ^（ｋ）（ｉ，ｊ）は、リストｋ（ｋ＝０、１）内の予測信号の座標（ｉ，ｊ）におけるサンプル値であり、ｓｈｉｆｔ１は、ルマビット深度ｂｉｔＤｅｐｔｈに基づいて、ｓｈｉｆｔ１＝ｍａｘ（６，ｂｉｔＤｅｐｔｈ－６）として算出される。

【0151】

次いで、勾配Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_５、およびＳ_６の自己相関および相互相関が、

【数13】

として算出され、ここで、

【数14】

であり、ここで、Ωは、４×４サブブロックの周囲の６×６ウィンドウであり、値ｎ_ａおよび値ｎ_ｂはそれぞれｍｉｎ（１，ｂｉｔＤｅｐｔｈ－１１）およびｍｉｎ（４，ｂｉｔＤｅｐｔｈ－８）に等しくなるように設定される。

【0152】

次いで、以下の

【数15】

を使用した相互相関項および自己相関項を使用して、動き精緻化（ｖ_ｘ，ｖ_ｙ）が導出され、ここで、

である。

【0153】

動き精緻化および勾配に基づいて、４×４サブブロック内の各サンプルについて、次の調整が算出される。

【数16】

【0154】

最後に、双予測サンプルを次のように調整することによって、ＣＵのＢＤＯＦサンプルが算出される。

【数17】

【0155】

これらの値は、ＢＤＯＦプロセスの乗算器が１５ビットを超えず、ＢＤＯＦプロセスの中間パラメータの最大ビット幅が３２ビット以内に保たれるように選択される。

【0156】

勾配値を導出するには、現在ＣＵ境界の外側でリストｋ（ｋ＝０、１）内のいくつかの予測サンプルＩ^（ｋ）（ｉ，ｊ）が生成される必要がある。図１６に描写されるように、ＶＶＣにおけるＢＤＯＦは、ＣＵの境界の周囲で１つの拡張された行／列を使用する。境界外の予測サンプルを生成する計算複雑性を制御するために、補間なしで（座標上でｆｌｏｏｒ（）演算を使用して）近くの整数位置において参照サンプルを直接取得することによって、拡張されたエリア（白色の位置）内の予測サンプルが生成され、ＣＵ（灰色の位置）内の予測サンプルを生成するために、通常の８タップ動き補償補間フィルタが使用される。これらの拡張されたサンプル値は、勾配算出でのみ使用される。ＢＤＯＦプロセスの残りのステップでは、ＣＵ境界の外側にあるサンプル値および勾配値が必要な場合、それらは、それらの最も近い近傍からパディング（すなわち反復）される。

【0157】

ＣＵの幅および／または高さが１６ルマサンプルより大きい場合、ＣＵは、１６ルマサンプルに等しい幅および／または高さのサブブロックに分裂されてもよく、サブロック境界はＢＤＯＦプロセスでのＣＵ境界として扱われる。ＢＤＯＦプロセスの最大ユニット・サイズは１６×１６に限定される。サブブロックごとに、ＢＤＯＦプロセスはスキップされる可能性がある。初期のＬ０予測サンプルとＬ１予測サンプルとの間のＳＡＤがしきい値より小さい場合、ＢＤＯＦプロセスはサブブロックに適用されない。しきい値は（８＊Ｗ＊（Ｈ＞＞１）に等しくなるように設定され、ここで、Ｗはサブブロックの幅を示し、Ｈはサブブロックの高さを示す。ＳＡＤ算出のさらなる複雑性を回避するために、ＤＶＭＲプロセスにおいて算出された初期のＬ０予測サンプルとＬ１予測サンプルとの間のＳＡＤがここで再利用される。

【0158】

現在ブロックに対してＢＣＷが有効になっている場合、すなわち、ＢＣＷ重みインデックスが不均等な重みを示している場合、双方向オプティカルフローは無効になる。同様に、現在ブロックに対してＷＰが有効になっている場合、すなわち、２つの参照ピクチャのいずれかに対してｌｕｍａ＿ｗｅｉｇｈｔ＿ｌｘ＿ｆｌａｇが１である場合、ＢＤＯＦも無効になる。ＣＵが対称ＭＶＤモードまたはＣＩＩＰモードで符号化されている場合、ＢＤＯＦも無効になる。

【0159】

ＶＶＣにおけるデコーダ側動きベクトル精緻化（ＤＭＶＲ：ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）
マージモードのＭＶの正確度を高めるために、ＶＶＣにおいて、バイラテラル・マッチング（ＢＭ）ベースのデコーダ側動きベクトル精緻化が適用される。双予測動作では、参照ピクチャリストＬ０および参照ピクチャリストＬ１内の初期ＭＶの周囲の精緻化されたＭＶがサーチされる。ＢＭ法は、参照ピクチャリストＬ０およびリストＬ１内の２つの候補ブロック間の歪みを算出する。図１７に示されるように、初期ＭＶの周囲の各ＭＶ候補に基づく赤色のブロック間のＳＡＤが算出される。最も低いＳＡＤを有するＭＶ候補が、精緻化されたＭＶとなり、双予測信号を生成するために使用される。

【0160】

ＶＶＣでは、ＤＭＶＲの適用は制限されており、次のモードおよび特徴によって符号化されるＣＵにのみ適用される。
－ 双予測ＭＶを用いたＣＵレベルマージモード
－ 現在ピクチャに対して、一方の参照ピクチャは過去にあり、他方の参照ピクチャは未来にある
－ ２つの参照ピクチャから現在ピクチャまでの距離（すなわち、ＰＯＣ差）が同じである
－ 両方の参照ピクチャが短期参照ピクチャである
－ ＣＵが６４を超えるルマサンプルを有する
－ ＣＵ高さとＣＵ幅との両方が８以上のルマサンプルである
－ ＢＣＷ重みインデックスが均等な重みを示している
－ 現在ブロックに対してＷＰが有効ではない
－ 現在ブロックに対してＣＩＩＰモードが使用されていない

【0161】

ＤＭＶＲプロセスによって導出された精緻化されたＭＶは、インター予測サンプルを生成するために使用され、将来のピクチャ符号化のための時間動きベクトル予測にも使用される。元のＭＶはデブロック・プロセスにおいて使用され、将来のＣＵ符号化のための空間動きベクトル予測にも使用される。

【0162】

次の節では、ＤＭＶＲの追加機能が言及される。

【0163】

サーチ方式
ＤＶＭＲでは、サーチ点は初期ＭＶの周囲にあり、ＭＶオフセットはＭＶ差分のミラーリング規則に従う。言い換えれば、候補ＭＶペア（ＭＶ０，ＭＶ１）によって示される、ＤＭＶＲによってチェックされる任意の点は、次の２つの方程式に従う。

【数18】

【数19】

【0164】

ここで、ＭＶ＿ｏｆｆｓｅｔは、参照ピクチャのうちの１つにおける初期ＭＶと精緻化されたＭＶとの間の精緻化オフセットを表す。精緻化サーチ範囲は、初期ＭＶからの２つの整数ルマサンプルである。サーチは、整数サンプルオフセットサーチ段階および分数サンプル精緻化段階を含む。

【0165】

整数サンプルオフセットサーチには２５点の全サーチが適用される。最初に初期ＭＶペアのＳＡＤが算出される。初期ＭＶペアのＳＡＤがしきい値より小さい場合、ＤＭＶＲの整数サンプル段階は終了する。それ以外の場合、残りの２４点のＳＡＤが算出され、ラスタ走査順にチェックされる。最も小さいＳＡＤを有する点が、整数サンプルオフセットサーチ段階の出力として選択される。ＤＭＶＲ精緻化の不確実性による不利益を軽減するために、ＤＭＶＲプロセス中に元のＭＶを優先することが提案されている。初期ＭＶ候補によって参照される参照ブロック間のＳＡＤは、ＳＡＤ値の１／４だけ減少する。

【0166】

整数サンプルサーチの後に、分数サンプル精緻化が続く。算出複雑性を抑えるために、ＳＡＤ比較を用いた追加のサーチの代わりにパラメトリック誤差表面方程式（ｐａｒａｍｅｔｒｉｃ ｅｒｒｏｒ ｓｕｒｆａｃｅ ｅｑｕａｔｉｏｎ）を使用することによって、分数サンプル精緻化が導出される。分数サンプル精緻化は、整数サンプルサーチ段階の出力に基づいて条件付きで呼び出される。整数サンプルサーチ段階が、１回目の反復サーチまたは２回目の反復サーチのいずれかにおいて最も小さいＳＡＤを有する中心で終了すると、分数サンプル精緻化がさらに適用される。

【0167】

パラメトリック誤差表面ベースのサブ画素オフセット推定では、中心位置のコストと中心から隣接する４つの位置のコストを使用して、次の形式の２Ｄ放物型誤差表面方程式、

【数20】

を当てはめ、ここで、（ｘ_ｍｉｎ，ｙ_ｍｉｎ）はコストが最も少ない分数位置に対応し、Ｃは最小コスト値に対応する。５つのサーチ点のコスト値を使用することによって上記の方程式を解くことにより、（ｘ_ｍｉｎ，ｙ_ｍｉｎ）は、

【数21】

【数22】

として計算される。

【0168】

すべてのコスト値が正であり、最も小さい値がＥ（０，０）であるので、ｘ_ｍｉｎおよびｙ_ｍｉｎの値は－８と８との間に自動的に制限される。これは、ＶＶＣにおける１／１６画素ＭＶ正確度を用いた２分の１画素オフセットに対応する。計算された分数（ｘ_ｍｉｎ，ｙ_ｍｉｎ）が整数距離精緻化ＭＶに加算されて、サブ画素正確度の精緻化デルタＭＶが得られる。

【0169】

双線形補間およびサンプルパディング
ＶＶＣでは、ＭＶの解像度は１／１６ルマサンプルである。分数位置にあるサンプルは、８タップ補間フィルタを使用して補間される。ＤＭＶＲでは、サーチ点は、整数サンプルオフセットを有する初期分数画素ＭＶを囲んでおり、したがって、ＤＭＶＲサーチプロセスではこれらの分数位置のサンプルは補間される必要がある。算出複雑性を軽減するために、双線形補間フィルタを使用して、ＤＭＶＲでのサーチプロセス用の分数サンプルを生成する。別の重要な効果は、双線形フィルタを使用することによって、２サンプルのサーチ範囲により、ＤＶＭＲが通常の動き補償プロセスと比較してより多くの参照サンプルにアクセスしないことである。ＤＭＶＲサーチプロセスで精緻化されたＭＶが得られた後、最終的な予測を生成するために通常の８タップ補間フィルタが適用される。通常のＭＣプロセスに対してより多くの参照サンプルにアクセスしないようにするために、元のＭＶに基づく補間プロセスには必要ないが精緻化されたＭＶに基づく補間プロセスには必要なサンプルが、利用可能なサンプルからパディングされる。

【0170】

ＶＶＣにおける幾何学的区分モード（ＧＰＭ：ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ）
ＶＶＣでは、インター予測のために幾何学的区分モードがサポートされている。幾何学的区分モードは、マージモードの一種としてＣＵレベルのフラグを使用して信号伝達され、他のマージモードは、通常のマージモード、ＭＭＶＤモード、ＣＩＩＰモード、およびサブブロック・マージモードを含む。幾何学的区分モードにより、８×６４および６４×８を除く可能なＣＵサイズｗ×ｈ＝２^ｍ×２^ｎ、ｍ，ｎ∈｛３・・・６｝ごとに、合計６４個の区分がサポートされている。

【0171】

このモードが使用される場合、幾何学的に配置された直線によってＣＵが２つの部分に分裂される（図１８）。分裂線の位置は、特定の区分の角度およびオフセット・パラメータから数学的に導出される。ＣＵ内の幾何学的区分の各部分は、その独自の動きを使用してインター予測され、各区分について単予測（ｕｎｉ－ｐｒｅｄｉｃｔｉｏｎ）のみが許容され、すなわち、各部分は、１つの動きベクトルおよび１つの参照インデックスを有する。従来の双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）と同様に、各ＣＵに必要な動き補償予測が２つだけであることを保証するために、単予測動き制約が適用される。各区分の単予測動きは、３．４．１１．１で説明されているプロセスを使用して導出される。

【0172】

現在ＣＵに幾何学的区分モードが使用される場合、幾何学的区分の区分モード（角度およびオフセット）を示す幾何学的区分インデックスおよび２つのマージインデックス（各区分に１つ）がさらに信号伝達される。最大ＧＰＭ候補サイズの数は、ＳＰＳにおいて明示的に信号伝達され、ＧＰＭマージインデックスの構文２値化を指定する。幾何学的区分の各部分を予測した後、３．４．１１．２にあるように、適応重みを用いた混合処理を使用して、幾何学的区分のエッジに沿ったサンプル値が調整される。これは、ＣＵ全体の予測信号であり、他の予測モードと同様に、変換および量子化プロセスがＣＵ全体に適用されてもよい。最後に、幾何学的区分モードを使用して予測されたＣＵの動きフィールドは、３．４．１１．３にあるように記憶される。

【0173】

単予測候補リストの構築
単予測候補リストは、３．４．１の拡張マージ予測プロセスに従って構築されたマージ候補リストから直接導出される。ｎを、幾何学的単予測候補リスト内の単予測動きのインデックスとして表す。ｎ番目の拡張マージ候補のＬＸ動きベクトル（Ｘはｎのパリティに等しい）が、幾何学的区分モードのｎ番目の単予測動きベクトルとして使用される。図１９では、これらの動きベクトルは「×」でマークされている。ｎ番目の拡張マージ候補の対応するＬＸ動きベクトルが存在しない場合、同じ候補のＬ（１－Ｘ）動きベクトルが幾何学的区分モードの単予測動きベクトルとして代わりに使用される。

【0174】

ＶＶＣにおける組み合わされたインター予測およびイントラ予測（ＣＩＩＰ：ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）
ＶＶＣでは、ＣＵがマージモードで符号化されているとき、ＣＵが少なくとも６４ルマサンプルを含む場合（すなわち、ＣＵ幅×ＣＵ高さが６４以上である場合）、および、ＣＵ幅とＣＵ高さとの両方が１２８ルマサンプル未満である場合、組み合わされたインター／イントラ予測（ＣＩＩＰ）モードが現在ＣＵに適用されているかどうかを示すための追加のフラグが信号伝達される。その名前が示すように、ＣＩＩＰ予測は、インター予測信号とイントラ予測信号とを組み合わせる。ＣＩＩＰモードのインター予測信号Ｐ_{ｉｎｔｅｒ}は、通常のマージモードに適用されるのと同じインター予測プロセスを使用して導出され、イントラ予測信号Ｐ_{ｉｎｔｒａ}は、平面モードによる通常のイントラ予測プロセスに従って導出される。次いで、イントラ予測信号およびインター予測信号は、加重平均を使用して組み合わされ、重み値は、（図２０に描写された）上および左の隣接ブロックの符号化モードに応じて次のように算出される。
－ 上隣接が利用可能でありイントラ符号化されている場合、ｉｓＩｎｔｒａＴｏｐを１に設定し、それ以外の場合、ｉｓＩｎｔｒａＴｏｐを０に設定する
－ 左隣接が利用可能でありイントラ符号化されている場合、ｉｓＩｎｔｒａＬｅｆｔを１に設定し、それ以外の場合、ｉｓＩｎｔｒａＬｅｆｔを０に設定する
－ （ｉｓＩｎｔｒａＬｅｆｔ＋ｉｓＩｎｔｒａＴｏｐ）が２に等しい場合、ｗｔは３に設定される。
－ それ以外の場合で、（ｉｓＩｎｔｒａＬｅｆｔ＋ｉｓＩｎｔｒａＴｏｐ）が１に等しい場合、ｗｔは２に設定される
－ それ以外の場合、ｗｔを１に設定する

【0175】

ＣＩＩＰ予測は、次のように形成される。

【数23】

【0176】

ＶＶＣにおけるイントラブロックコピー（ＩＢＣ）
イントラブロックコピー（ＩＢＣ）は、ＳＣＣ上のＨＥＶＣ拡張において採用されているツールである。このＩＢＣが画面コンテンツ素材の符号化効率が大幅に向上することはよく知られている。ＩＢＣモードはブロック・レベル符号化モードとして実装されるので、各ＣＵに最適なブロックベクトル（または動きベクトル）を見出すために、エンコーダにおいてブロックマッチング（ＢＭ）が実行される。ここで、ブロックベクトルは、現在ブロックから、現在ピクチャ内で既に再構成されている参照ブロックへの変位を示すために使用される。ＩＢＣ符号化されたＣＵのルマブロックベクトルは整数精度である。彩度ブロックベクトルも整数精度に丸められる。ＡＭＶＲと組み合わされる場合、ＩＢＣモードは、１画素動きベクトル精度と４画素の動きベクトル精度とを切り替えることができる。ＩＢＣ符号化されたＣＵは、イントラ予測モードまたはインター予測モード以外の第３の予測モードとして扱われる。ＩＢＣモードは、幅と高さとの両方が６４ルマサンプル以下であるＣＵに適用可能である。

【0177】

エンコーダ側では、ＩＢＣに対してハッシュベースの動き推定が実行される。エンコーダは、幅または高さが１６ルマサンプル以下のブロックに対してＲＤチェックを実行する。非マージモードの場合、最初にハッシュベースのサーチを使用して、ブロックベクトルサーチが実行される。ハッシュサーチが有効な候補を返さない場合、ブロックマッチングベースの局所サーチが実行される。

【0178】

ハッシュベースのサーチでは、現在ブロックと参照ブロックとの間のハッシュキーマッチング（３２ビットＣＲＣ）が、許可されているすべてのブロックサイズに拡張される。現在ピクチャ内のすべての位置のハッシュキー算出は、４×４サブブロックに基づいている。より大きなサイズの現在ブロックの場合、すべての４×４サブブロックのすべてのハッシュキーが、対応する参照位置のハッシュキーと一致するとき、ハッシュキーは参照ブロックのハッシュキーと一致すると決定される。複数の参照ブロックのハッシュキーが現在ブロックのハッシュキーと一致することが判明した場合、一致した各参照のブロックベクトルコストが算出され、最小コストを有するものが選択される。

【0179】

ブロックマッチングサーチでは、サーチ範囲は以前のＣＴＵと現在のＣＴＵとの両方をカバーするように設定される。

【0180】

ＣＵレベルでは、ＩＢＣモードは、フラグによって信号伝達され、次のようにＩＢＣ ＡＭＶＰモードまたはＩＢＣスキップ／マージモードとして信号伝達される。

【0181】

ＩＢＣスキップ／マージモード：マージ候補インデックスは、隣接する候補ＩＢＣ符号化ブロックからのリスト内のどのブロックベクトルが現在ブロックを予測するために使用されるかを示すために使用される。マージリストは、空間候補、ＨＭＶＰ候補、およびペアごとの候補で構成される。

【0182】

ＩＢＣ ＡＭＶＰモード：ブロックベクトル差分は、動きベクトル差分と同じ方法で符号化される。ブロックベクトル予測方法は、（ＩＢＣ符号化の場合）左隣接からの候補および上隣接からの候補という２つの候補を予測子として使用する。いずれの隣接も利用できない場合、デフォルトのブロックベクトルが予測子として使用される。ブロックベクトル予測子インデックスを示すためのフラグが信号伝達される。

【0183】

ＩＢＣ参照領域
メモリ消費およびデコーダの複雑性を軽減するために、ＶＶＣにおけるＩＢＣは、現在のＣＴＵの領域および左ＣＴＵの一部の領域を含む、予め定められたエリアの再構成された部分のみを許可する。現在のＣＴＵ内の現在の符号化ＣＵの位置に応じて、以下が適用される。

【0184】

現在ブロックが現在のＣＴＵの左上６４×６４ブロックに該当する場合、現在ブロックは、現在のＣＴＵ内の既に再構成されたサンプルに加えて、ＣＰＲモードを使用して左ＣＴＵの右下６４×６４ブロック内の参照サンプルも参照することができる。現在ブロックは、ＣＰＲモードを使用して、左ＣＴＵの左下６４×６４ブロック内の参照サンプル、および左ＣＴＵの右上６４×６４ブロック内の参照サンプルも参照することができる。

【0185】

現在ブロックが現在のＣＴＵの右上６４×６４ブロックに該当する場合、現在のＣＴＵに対するルマ位置（０，６４）がまだ再構成されていないとき、現在ブロックは、現在のＣＴＵ内の既に再構成されたサンプルに加えて、ＣＰＲモードを使用して左ＣＴＵの左下６４×６４ブロックおよび右下６４×６４ブロック内の参照サンプルも参照することができる。それ以外の場合、現在ブロックは、左ＣＴＵの右下６４×６４ブロック内の参照サンプルも参照することができる。

【0186】

現在ブロックが現在のＣＴＵの左下６４×６４ブロックに該当する場合、現在のＣＴＵに対するルマ位置（６４，０）がまだ再構成されていないとき、現在ブロックは、現在のＣＴＵ内の既に再構成されたサンプルに加えて、ＣＰＲモードを使用して左ＣＴＵの右上６４×６４ブロックおよび右下６４×６４ブロックの参照サンプルも参照することができる。それ以外の場合、現在ブロックは、ＣＰＲモードを使用して左ＣＴＵの右下６４×６４ブロック内の参照サンプルも参照することがきる。

【0187】

現在ブロックが現在のＣＴＵの右下６４×６４ブロックに該当する場合、ＣＰＲモードを使用して、現在のＣＴＵ内で既に再構成されたサンプルのみを参照することができる。

【0188】

この制限は、ハードウェア実装にローカルのオンチップメモリを使用してＩＢＣモードを実装することを可能にする。

【0189】

ＥＣＭにおける局所照明補償（ＬＩＣ：ｌｏｃａｌ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）

【0190】

ＬＩＣは、現在ブロックとその予測ブロックとの間の局所照明変動を、現在ブロックテンプレートと参照ブロックテンプレートとの間の局所照明変動の関数としてモデル化するためのインター予測技法である。関数のパラメータは、スケールαおよびオフセットβによって表されることが可能であり、線形方程式、すなわち、照明の変化を補償するためのα＊ｐ［ｘ］＋βを形成し、ここで、ｐ［ｘ］は、参照ピクチャ上の位置ｘにあるＭＶによって指し示される参照サンプルである。αおよびβは現在ブロックテンプレートおよび参照ブロックテンプレートに基づいて導出され得るので、ＬＩＣの使用を示すためにＡＭＶＰモードについてＬＩＣフラグが信号伝達されることを除いて、αおよびβについて信号伝達オーバーヘッドは必要ない。

【0191】

ＪＶＥＴ－Ｏ００６６において提案された局所照明補償は、以下の修正を加えて単予測インターＣＵに使用される。
－ ＬＩＣパラメータ導出においてイントラ隣接サンプルが使用され得る。
－ ＬＩＣは、３２未満のルマサンプルを有するブロックに対して無効になる。
－ 非サブブロックモードとアフィンモードとの両方について、ＬＩＣパラメータ導出は、最初の左上１６×１６ユニットに対応する部分テンプレートブロックサンプルの代わりに、現在ＣＵに対応するテンプレートブロックサンプルに基づいて実行される。
－ 参照ブロックテンプレートのサンプルは、整数画素精度に丸めることなく、ブロックＭＶとともにＭＣを使用することによって生成される。

【0192】

ＥＣＭにおける非隣接空間候補
通常のマージ候補リスト内のＴＭＶＰの後に、ＪＶＥＴ－Ｌ０３９９におけるような非隣接空間マージ候補が挿入される。図２１には、空間マージ候補のパターンが示されている。非隣接空間候補と現在符号化ブロックとの間の距離は、現在符号化ブロックの幅および高さに基づいている。ライン・バッファ制限は適用されない。

【0193】

ＥＣＭにおけるテンプレートマッチング（ＴＭ）
テンプレートマッチング（ＴＭ）は、現在ピクチャ内のテンプレート（すなわち、現在ＣＵの上および／または左に隣接するブロック）と参照ピクチャ内のブロック（すなわち、テンプレートと同じサイズ）との間の最も近い一致を見出すことによって、現在ＣＵの動き情報を精緻化するためのデコーダ側ＭＶ導出方法である。図２２に示されるように、現在ＣＵの初期動きを中心として［－８，＋８］画素サーチ範囲内でより良好なＭＶがサーチされる。ＪＶＥＴ－Ｊ００２１におけるテンプレートマッチング方法は、次の修正、すなわち、サーチステップのサイズはＡＭＶＲモードに基づいて決定されるという修正、およびＴＭがマージモードでバイラテラルマッチングプロセスとカスケードされ得るという修正を伴って使用される。

【0194】

ＡＭＶＰモードでは、現在ブロックテンプレートと参照ブロックテンプレートとの間の最小誤差に達するＭＶＰ候補を選択するために、テンプレートマッチング・エラーに基づいてＭＶＰ候補が決定され、次いで、ＭＶ精緻化のために、この特定のＭＶＰ候補に対してのみＴＭが実行される。ＴＭは、反復ダイヤモンドサーチを使用して、［－８，＋８］画素サーチ範囲内の全画素ＭＶＤ精度（または４画素ＡＭＶＲモードの場合は４画素）から開始して、このＭＶＰ候補を精緻化する。ＡＭＶＰ候補は、表３で指定されているように、全画素ＭＶＤ精度（または４画素ＡＭＶＲモードの場合は４画素）のクロスサーチを使用し、続いてＡＭＶＲモードに応じて２分の１画素および４分の１画素ＭＶＤ精度を使用することによってさらに精緻化されてもよい。このサーチプロセスは、ＭＶＰ候補がＴＭプロセス後もＡＭＶＲモードで示されるのと同じＭＶ精度を維持することを保証する。

【0195】

【表3】

【0196】

マージモードでは、マージインデックスによって示されるマージ候補に対して同様のサーチ方法が適用される。表３が示すように、ＴＭは、マージされた動き情報に従って（ＡＭＶＲが２分の１画素モードの場合に使用される）代替補間フィルタが使用されるかどうかに応じて、１／８画素ＭＶＤ精度に至るまで実行するか、または２分の１画素ＭＶＤ精度を超える精度をスキップしてもよい。さらに、ＴＭモードが有効である場合、テンプレートマッチングは、有効条件チェックに従ってＢＭが有効化され得るか否かに応じて、ブロックベースのバイラテラル・マッチング（ＢＭ）方法とサブブロックベースのＢＭ方法との間の独立したプロセスまたは追加のＭＶ精緻化プロセスとして機能してもよい。

【0197】

ＥＣＭにおけるマルチパスデコーダ側動きベクトル精緻化
マルチパスデコーダ側動きベクトル精緻化が適用される。第１のパスでは、バイラテラル・マッチング（ＢＭ）は、符号化ブロックに適用される。第２のパスでは、ＢＭは、符号化ブロック内の各１６×１６サブブロックに適用される。第３のパスでは、双方向オプティカルフロー（ＢＤＯＦ）を適用することによって、各８×８サブブロック内のＭＶが精緻化される。精緻化されたＭＶは、空間動きベクトル予測と時間動きベクトル予測との両方のために記憶される。

【0198】

第１のパス － ブロックベースのバイラテラル・マッチングＭＶ精緻化
第１のパスでは、ＢＭを符号化ブロックに適用することによって、精緻化されたＭＶが導出される。デコーダ側動きベクトル精緻化（ＤＭＶＲ）と同様に、双予測動作において、参照ピクチャリストＬ０およびＬ１内の２つの初期ＭＶ（ＭＶ０およびＭＶ１）の周囲で、精緻化されたＭＶがサーチされる。Ｌ０およびＬ１内の２つの参照ブロック間の最小バイラテラルマッチングコストに基づいて、初期ＭＶの周囲で、精緻化されたＭＶ（ＭＶ０＿ｐａｓｓ１およびＭＶ１＿ｐａｓｓ１）が導出される。

【0199】

ＢＭは、局所サーチを実行して整数サンプル精度ｉｎｔＤｅｌｔａＭＶを導出する。局所サーチは、３×３の正方形のサーチパターンを適用して、水平方向のサーチ範囲［－ｓＨｏｒ，ｓＨｏｒ］、垂直方向のサーチ範囲［－ｓＶｅｒ，ｓＶｅｒ］をループし、ｓＨｏｒおよびｓＶｅｒの値はブロック次元によって決定され、ｓＨｏｒおよびｓＶｅｒの最大値は８である。

【0200】

バイラテラルマッチングコストは、ｂｉｌＣｏｓｔ＝ｍｖＤｉｓｔａｎｃｅＣｏｓｔ＋ｓａｄＣｏｓｔとして算出される。ブロックサイズｃｂＷ＊ｃｂＨが６４より大きいとき、参照ブロック間の歪みのＤＣ効果を除去するために、ＭＲＳＡＤコスト関数が適用される。３×３サーチパターンの中心点におけるｂｉｌＣｏｓｔが最小コストを有するとき、ｉｎｔＤｅｌｔａＭＶ局所サーチは終了する。それ以外の場合、現在の最小コストサーチ点は、３×３サーチパターンの新しい中心点になり、サーチ範囲の終端に到達するまで最小コストのサーチを継続する。

【0201】

最終的なｄｅｌｔａＭＶを導出するために、さらに既存の分数サンプル精緻化が適用される。次いで、第１のパス後の精緻化されたＭＶが、
－ ＭＶ０＿ｐａｓｓ１＝ＭＶ０＋ｄｅｌｔａＭＶ
－ ＭＶ１＿ｐａｓｓ１＝ＭＶ１－ｄｅｌｔａＭＶ
として導出される。

【0202】

第２のパス － サブブロックベースのバイラテラル・マッチングＭＶ精緻化
第２のパスでは、ＢＭを１６×１６グリッドのサブブロックに適用することによって、精緻化されたＭＶが導出される。サブブロックごとに、参照ピクチャリストＬ０およびＬ１内の、第１のパスで得られた２つのＭＶ（ＭＶ０＿ｐａｓｓ１およびＭＶ１＿ｐａｓｓ１）の周囲で、精緻化されたＭＶがサーチされる。精緻化されたＭＶ（ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）およびＭＶ１＿ｐａｓｓ２（ｓｂＩｄｘ２））は、Ｌ０およびＬ１内の２つの参照サブブロック間の最小バイラテラルマッチングコストに基づいて導出される。

【0203】

サブブロックごとに、ＢＭは、全サーチを実行して整数サンプル精度ｉｎｔＤｅｌｔａＭＶを導出する。全サーチは、水平方向のサーチ範囲［－ｓＨｏｒ，ｓＨｏｒ］および垂直方向のサーチ範囲［－ｓＶｅｒ，ｓＶｅｒ］を有し、ｓＨｏｒおよびｓＶｅｒの値はブロック次元によって決定され、ｓＨｏｒおよびｓＶｅｒの最大値は８である。

【0204】

バイラテラルマッチングコストは、２つの参照サブブロック間のＳＡＴＤコストにコスト係数を適用することによって、ｂｉｌＣｏｓｔ＝ｓａｔｄＣｏｓｔ＊ｃｏｓｔＦａｃｔｏｒとして算出される。サーチエリア（２＊ｓＨｏｒ＋１）＊（２＊ｓＶｅｒ＋１）は、図２３に示されるように、最大５つのダイヤモンド形状のサーチ領域に分割される。各サーチ領域には、各サーチ点と開始ＭＶとの間の距離（ｉｎｔＤｅｌｔａＭＶ）によって決定されるｃｏｓｔＦａｃｔｏｒが割り当てられ、各ダイヤモンド領域はサーチエリアの中心から順に処理される。各領域において、サーチ点は、領域の左上から開始して右下隅に向かってラスタ走査順序で処理される。現在のサーチ領域内の最小ｂｉｌＣｏｓｔが、ｓｂＷ＊ｓｂＨに等しいしきい値より小さい場合、整数画素全サーチは終了し、それ以外の場合、すべてのサーチ点が検査されるまで、整数画素全サーチは次のサーチ領域に進む。

【0205】

最終的なｄｅｌｔａＭＶ（ｓｂＩｄｘ２）を導出するために、さらに既存のＶＶＣ ＤＭＶＲ分数サンプル精緻化が適用される。第２のパスにおける精緻化されたＭＶは、
－ ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）＝ＭＶ０＿ｐａｓｓ１＋ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）
－ ＭＶ１＿ｐａｓｓ２（ｓｂＩｄｘ２）＝ＭＶ１＿ｐａｓｓ１－ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）
として導出される。

【0206】

第３のパス － サブブロックベースの双方向オプティカルフローＭＶ精緻化
第３のパスでは、ＢＤＯＦを８×８グリッド・サブブロックに適用することによって、精緻化されたＭＶが導出される。８×８サブブロックごとに、第２のパスの親サブブロックの精緻化されたＭＶから開始して、クリッピングなしでスケーリングされたＶｘおよびＶｙを導出するために、ＢＤＯＦ精緻化が適用される。導出されたｂｉｏＭｖ（Ｖｘ，Ｖｙ）は１／１６サンプル精度に丸められ、－３２と３２との間でクリップされる。

【0207】

第３のパスにおける精緻化されたＭＶ（ＭＶ０＿ｐａｓｓ３（ｓｂＩｄｘ３）およびＭＶ１＿ｐａｓｓ３（ｓｂＩｄｘ３））は、
－ ＭＶ０＿ｐａｓｓ３（ｓｂＩｄｘ３）＝ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）＋ｂｉｏＭｖ
－ ＭＶ１＿ｐａｓｓ３（ｓｂＩｄｘ３）＝ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）－ｂｉｏＭｖ
として導出される。

【0208】

ＥＣＭにおけるＯＢＭＣ
ＯＢＭＣが適用されると、ＪＶＥＴ－Ｌ０１０１で説明されているように、隣接ブロックの動き情報を重み付き予測とともに使用して、ＣＵの上および左の境界画素が精緻化される。

【0209】

ＯＢＭＣを適用しない条件は以下の通りである。
－ ＯＢＭＣがＳＰＳレベルで無効である場合
－ 現在ブロックがイントラ・モードまたはＩＢＣモードを有する場合
－ 現在ブロックがＬＩＣを適用する場合
－ 現在のルマブロック・エリアが３２以下の場合

【0210】

サブブロック境界ＯＢＭＣは、隣接サブブロックの動き情報を使用して上、左、下、および右のサブブロック境界画素に同じ混合を適用することによって実行される。これは、サブブロックベースの符号化ツール、
－ アフィンＡＭＶＰモード
－ アフィンマージモードおよびサブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）
－ サブブロックベースのバイラテラル・マッチング
に対して有効になる。

【0211】

ＥＣＭにおけるサンプルベースのＢＤＯＦ
サンプルベースのＢＤＯＦでは、ブロック単位で動き精緻化（Ｖｘ，Ｖｙ）を導出する代わりに、サンプルごとに導出が実行される。

【0212】

符号化ブロックは８×８のサブブロックに分割される。サブブロックごとに、２つの参照サブブロック間のＳＡＤをしきい値に照らしてチェックすることによって、ＢＤＯＦを適用するか否かが決定される。サブブロックにＢＤＯＦを適用すると決定された場合、サブブロック内のすべてのサンプルに対して、スライディング５×５ウィンドウが使用され、すべてのスライディング・ウィンドウに対して既存のＢＤＯＦプロセスが適用されて、ＶｘおよびＶｙが導出される。導出された動き精緻化（Ｖｘ，Ｖｙ）は、ウィンドウの中心サンプルの双予測サンプル値を調整するために適用される。

【0213】

ＥＣＭにおける補間
ＶＶＣにおいて使用される８タップ補間フィルタは、１２タップ・フィルタに置き換えられる。補間フィルタはｓｉｎｃ関数から導出され、ｓｉｎｃ関数の周波数応答は、ナイキスト周波数においてカットオフされ、コサイン・ウィンドウ関数によってクロップされる。表４は、１６位相すべてのフィルタ係数を示している。図２４は、補間フィルタの周波数応答をＶＶＣ補間フィルタと比較したものであり、すべて２分の１画素位相でのものである。

【0214】

【表4】

【0215】

ＥＣＭにおける多仮説予測（ＭＨＰ：ｍｕｌｔｉ－ｈｙｐｏｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ）

【0216】

多仮説インター予測モード（ＪＶＥＴ－Ｍ０４２５）では、従来の双予測信号に加えて、１つまたは複数の追加の動き補償予測信号が信号伝達される。結果として得られる全体的な予測信号は、サンプルごとに重み付けされた重ね合せによって取得される。双予測信号ｐ_ｂｉおよび第１の追加のインター予測信号／仮説ｈ_３を用いることにより、結果として得られる予測信号ｐ_３は以下のように取得される。
ｐ_３＝（１－α）ｐ_ｂｉ＋αｈ_３

【0217】

重み付け係数αは、次のマッピングに従って新しい構文要素ａｄｄ＿ｈｙｐ＿ｗｅｉｇｈｔ＿ｉｄｘによって指定される。

【0218】

上記と同様に、２つ以上の追加の予測信号が使用され得る。結果として得られる全体的な予測信号は、各追加の予測信号とともに反復して累積される。
ｐ_ｎ＋１＝（１－α_ｎ＋１）ｐ_ｎ＋α_ｎ＋１ｈ_ｎ＋１

【0219】

結果として得られる全体的な予測信号は、最後のｐ_ｎ（すなわち、最も大きいインデックスｎを有するｐ_ｎ）として取得される。このＥＥ内では、最大２つの追加の予測信号が使用され得る（すなわち、ｎは２に限定される）。

【0220】

追加の各予測仮説の動きパラメータは、参照インデックス、動きベクトル予測子インデックス、および動きベクトル差分を指定することによって明示的に、またはマージインデックスを指定することによって暗黙的に信号伝達される。別個の多仮説マージ・フラグが、これら２つの信号伝達モードを区別する。

【0221】

インターＡＭＶＰモードの場合、ＭＨＰは、双予測モードでＢＣＷにおける不均等な重みが選択されている場合にのみ適用される。

【0222】

ＭＨＰとＢＤＯＦとの組合せは可能であるが、ＢＤＯＦは、予測信号の双予測信号部分（すなわち、通常の最初の２つの仮説）にのみ適用される。

【0223】

ＥＣＭにおけるテンプレートマッチングを用いたマージ候補の適応型並べ替え（ＡＲＭＣ－ＴＭ：ａｄａｐｔｉｖｅ ｒｅｏｒｄｅｒｉｎｇ ｏｆ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅｓ ｗｉｔｈ ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）

【0224】

マージ候補は、テンプレートマッチング（ＴＭ）によって適応的に並べ替えられる。
この並べ替え方法は、通常のマージモード、テンプレートマッチング（ＴＭ）マージモード、およびアフィンマージモードに適用される（ＳｂＴＭＶＰ候補を除く）。ＴＭマージモードの場合、マージ候補は、精緻化プロセスの前に並べ替えられる。

【0225】

マージ候補リストが構築された後、マージ候補はいくつかのサブグループに分割される。通常のマージモードおよびＴＭマージモードの場合、サブグループサイズは５に設定される。アフィンマージモードの場合、サブグループサイズは３に設定される。各サブグループ内のマージ候補は、テンプレートマッチングに基づくコスト値に従って昇順に並べ替えられる。簡素化のため、最初ではなく最後のサブグループ内のマージ候補は並べ替えられない。

【0226】

マージ候補のテンプレートマッチングコストは、現在ブロックのテンプレートのサンプルとそれらの対応する参照サンプルとの間の差分絶対値和（ＳＡＤ）によって測定される。テンプレートは、現在ブロックに隣接する再構成されたサンプルのセットを含む。テンプレートの参照サンプルは、マージ候補の動き情報によって位置特定される。

【0227】

マージ候補が双方向予測を利用する場合、図２５に示されるように、マージ候補のテンプレートの参照サンプルも双予測によって生成される。

【0228】

サブブロックサイズがＷｓｕｂ×Ｈｓｕｂに等しいサブブロックベースのマージ候補の場合、上のテンプレートは、サイズＷｓｕｂ×１のいくつかのサブテンプレートを含み、左のテンプレートはサイズ１×Ｈｓｕｂのいくつかのサブテンプレートを含む。図２６に示されるように、現在ブロックの１行目および１列目のサブブロックの動き情報は、各サブテンプレートの参照サンプルを導出するために使用される。

【0229】

ＥＣＭにおけるマージ動きベクトル差分（ＭＭＶＤ）を用いた幾何的区分モード（ＧＰＭ）
ＶＶＣにおけるＧＰＭは、既存のＧＰＭ単方向ＭＶの上に動きベクトル精緻化を適用することによって拡張される。最初に、ＧＰＭ ＣＵに対してこのモードが使用されるかどうかを指定するためのフラグが信号伝達される。このモードが使用される場合、ＧＰＭ ＣＵの各幾何学的区分はさらに、ＭＶＤを信号伝達するか否かを決定することができる。幾何学的区分についてＭＶＤが信号伝達された場合、ＧＰＭマージ候補が選択された後、信号伝達されたＭＶＤ情報によって区分の動きがさらに精緻化される。他のすべての手順はＧＰＭと同じである。

【0230】

ＭＶＤは、ＭＭＶＤと同様に、距離と方向とのペアとして信号伝達される。ＭＭＶＤを用いたＧＰＭ（ＧＰＭ－ＭＭＶＤ）に関与する、９つの候補距離（１／４画素、１／２画素、１画素、２画素、３画素、４画素、６画素、８画素、１６画素）ならびに８つの候補方向（４つの水平／垂直方向および４つの斜め方向）が存在する。さらに、ｐｉｃ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、ＭＶＤは、ＭＭＶＤと同様に２だけ左シフトされる。

【0231】

ＥＣＭにおけるテンプレートマッチング（ＴＭ）を用いた幾何学的区分モード（ＧＰＭ）
ＧＰＭにテンプレートマッチングが適用される。ＣＵに対してＧＰＭモードが有効になっている場合、ＴＭが両方の幾何学的区分に適用されるかどうかを示すための、ＣＵレベルのフラグが信号伝達される。各幾何学的区分の動き情報は、ＴＭを使用して精緻化される。ＴＭが選ばれると、表５に示されるように、区分角度に従って左、上、または左および上の隣接サンプルを使用してテンプレートが構築される。次いで、次に、２分の１画素補間フィルタを無効にしたマージモードの同じサーチパターンを使用して、現在テンプレートと参照ピクチャ内のテンプレートとの間の差を最小化することによって、動きが精緻化される。

【0232】

【表5】

【0233】

ＧＰＭ候補リストは次のように構築される。

【0234】

１．通常のマージ候補リストから、インターリーブされたリスト０のＭＶ候補、およびリスト１のＭＶ候補が直接導出される。リスト０のＭＶ候補はリスト１のＭＶ候補よりも優先度が高い。冗長なＭＶ候補を削除するために、現在ＣＵサイズに基づいた適応的なしきい値を用いたプルーニング方法が適用される。

【0235】

２．通常のマージ候補リストからさらに、インターリーブされたリスト１のＭＶ候補、およびリスト０のＭＶ候補が直接導出される。リスト１のＭＶ候補はリスト０のＭＶ候補よりも優先度が高い。同様に、冗長なＭＶ候補を削除するために、適応的なしきい値を用いたプルーニング方法が適用される。

【0236】

３．ＧＰＭ候補リストが満たされるまで、ゼロのＭＶ候補がパディングされる。

【0237】

ＧＰＭ－ＭＭＶＤおよびＧＰＭ－ＴＭは１つのＧＰＭ ＣＵに対して排他的に有効になる。これは、最初にＧＰＭ－ＭＭＶＤ構文を信号伝達することによって行われる。２つのＧＰＭ－ＭＭＶＤ制御フラグが両方とも偽に等しい場合（すなわち、ＧＰＭ－ＭＭＶＤが２つのＧＰＭ区分に対して無効になっている場合）、テンプレートマッチングが２つのＧＰＭ区分に適用されるかどうかを示すためのＧＰＭ－ＴＭフラグが信号伝達される。それ以外の場合（少なくとも１つのＧＰＭ－ＭＭＶＤフラグが真に等しい場合）、ＧＰＭ－ＴＭフラグの値は偽であると推論される。

【0238】

【表6】

【0239】

ＨＥＶＣおよびＶＶＣなどの既存のビデオコーデックでは、インター・モード符号化ＣＵ（以下、インターＣＵと呼ぶ）の参照ブロックが部分的または全体的に参照ピクチャの外側に位置する場合がある。これは、反復的なパディング・プロセスが参照ピクチャに適用され、各参照ピクチャの周囲に参照画素が生成されるからである。

【0240】

ＶＶＣ仕様では、パディング・プロセスは、（表６に示されるように）整数参照サンプルのフェッチング・プロセスを変更することによって実装される。フェッチされるべき整数参照サンプルが参照ピクチャの外側に位置する場合は常に、参照ピクチャ内の最も近い整数参照サンプルが代わりに使用される。

【0241】

パディングされた参照ピクチャにより、インターＣＵが、図２７に示されるように部分的または全体的に参照ピクチャの外側に位置する参照ブロックを有していることが有効である。図２７では、現在ブロックのインター予測ブロックを生成するために双方向動き補償が実行される。この例では、リスト０の参照ブロックは部分的に境界外（ＯＯＢ）にあり、一方、リスト１の参照ブロックは全体的に参照ピクチャの内側にある。

【0242】

インター・ブロックが双方向予測または多方向予測される場合、最終的な予測子は、単純に、２つまたは複数の動き補償された予測ブロックの平均であり、ＢＷＣがさらに適用されると、リスト０およびリスト１のＭＣ予測子に異なる重みが適用されて、それぞれ最終的な予測子が生成される。しかしながら、境界外（ＯＯＢ）部分は単純に、参照ピクチャ内の境界画素によって生成される繰り返しパターンであるので、動き補償ブロックのＯＯＢ部分は予測効果が低くなる。しかし、既存のビデオコーデックでは、ＭＣブロックの効果の低いＯＯＢ部分は、インター予測において考慮されない。

【0243】

本開示では、ＭＣブロックのＯＯＢ部分の効果が低いことを考慮することによってインター予測を改善するためのいくつかの方法が提案される。さらに、「ブロック」は、本開示の概念を説明するために使用され、「ブロック」は、既存のコーデックで使用される任意の具体的な定義によって容易に置き換えられてもよい。例えば、「ブロック」は、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）、符号化ツリーユニット（ＣＴＵ）、符号化ブロック（ＣＢ）、予測ブロック（ＰＢ）、変換ブロック（ＴＢ）、符号化ツリー・ブロック（ＣＴＢ）、サブＣＵ、サブＰＵ、または既存のコーデックにおける明確に定義された任意の他の用語であってもよい。

【0244】

以下の方法は、単独でまたは組み合わせて適用されてもよい。

【0245】

本開示による一実施形態では、動き補償プロセスによって生成された２つ以上の予測ブロックを組み合わせるときに、追加の重み付けが予測子に適用され、追加の重み付けは、予測サンプルがＯＯＢであるか否かに基づいて導出される。基本的な概念は、２つの予測子ブロックの加重平均を実行するときに、ＯＯＢ予測子サンプルは効果が低いので、ＯＯＢ予測子サンプルにより少ない重みが与えられるということである。

【0246】

１つの方式では、双方向インター符号化ブロックの最終予測子サンプルは、次の方程式

を使用して予測子を加重平均することによって生成され、ここで、

は、動き補償プロセスにより、それぞれリスト０およびリスト１の参照ピクチャから導出された予測子サンプルであり、

は、ＯＯＢ条件によって導出された対応する予測子に関連付けられた重み付けであり、ｓｈｉｆｔは、平均係数であり、２つの予測子の平均の場合は１に設定され、ο_{ｏｆｆｓｅｔ}は、丸めオフセットであり、通常は１＜＜（ｓｈｉｆｔ－１）として設定される。

【0247】

図２８に示されるように、ブロックの予測子サンプルは、参照ピクチャから動き補償を実行することによって導出される。参照ブロックを位置特定するために、現在ブロックの動きベクトルが使用される。参照ブロックが整数参照サンプル間の分数位置に位置する場合は、予測サンプルを導出するために分数補間プロセスがさらに適用されることに留意されたい。ＶＶＣの８．５．６．３．２節「ルマサンプル補間フィルタリング・プロセス」において説明されているように、分数補間は、最初に、垂直方向に隣接する８つの整数サンプルにアクセスする垂直方向１次元補間を実行し、続いて、垂直方向に補間された水平方向に隣接する８つのサンプルにアクセスする水平方向１次元補間を実行する。ＥＣＭでは、ＶＶＣにおいて使用されていた８タップ補間フィルタがさらに１２タップのフィルタに置き換えられる。

【0248】

上記で説明された動き補償方式に基づいて、（補間プロセスを通じて）予測子サンプルを生成するために使用される整数参照サンプルのうちの少なくとも１つが参照ピクチャの外側に位置する場合、予測子サンプル

はＯＯＢとして定義される。

【0249】

重み付けは、以下のような方法を使用して導出されてもよい。

【0250】

【0251】

図３０は、本開示による符号化方法の一例を示す。ステップ３００１において、デコーダは、現在符号化ブロックのための第１の参照ピクチャおよび第２の参照ピクチャを導出する。ステップ３００２において、デコーダは、第１の参照ピクチャからの動き補償プロセスを使用して、第１の参照ピクチャに関連付けられた第１の動きベクトルに基づいて第１の予測子サンプルを導出する。ステップ３００３において、デコーダは、第２の参照ピクチャからの動き補償プロセスを使用して、第２の参照ピクチャに関連付けられた第２の動きベクトルに基づいて第２の予測子サンプルを導出する。ステップ３００４において、デコーダは、第１の予測子サンプルまたは第２の予測子サンプルのうちの少なくとも１つおよび境界外（ＯＯＢ）条件に基づいて、現在符号化ブロック内の最終予測子サンプルを取得する。この例示的な方法は、同様にエンコーダによって実行されてもよい。

【0252】

本開示の別の実施形態では、動き補償プロセスによって生成された２つの予測ブロックをＢＣＷ加重平均と組み合わせるＢＣＷモードとしてブロックが符号化されるとき、追加の重み付けが予測子に適用され、追加の重み付けは、予測子がＯＯＢであるか否かに基づいて導出される。１つの方式では、ＢＣＷ符号化ブロックの最終予測子サンプルは、次の方程式

を使用して予測子を加重平均することによって生成され、ここで、ｗはＢＣＷ重み付けであり、

は、動き補償プロセスにより、それぞれリスト０およびリスト１の参照ピクチャから導出された予測子サンプルであり、

は、ＯＯＢ条件によって導出された対応する予測子に関連付けられた重み付けであり、ｓｈｉｆｔは、平均化係数であり、ＢＣＷ重み付けを正規化するために３に設定され、ο_{ｏｆｆｓｅｔ}は、丸めオフセットであり、通常は１＜＜（ｓｈｉｆｔ－１）として設定される。

【0253】

【0254】

本開示の別の実施形態では、ブロックに対してＢＤＯＦが有効になると、追加の重み付けが予測子に適用され、追加の重み付けは、予測子がＯＯＢであるか否かに基づいて導出される。１つの方式では、ＢＤＯＦ有効ブロックの最終予測子サンプルは、次の方程式

を使用して予測子を加重平均することによって生成され、ここで、Ｂ_ｉ，ｊは各予測子サンプルのＢＤＯＦオフセットであり、

は、動き補償プロセスにより、それぞれリスト０およびリスト１の参照ピクチャから導出された予測子サンプルであり、

は、ＯＯＢ条件によって導出された対応する予測子に関連付けられた重み付けであり、ｓｈｉｆｔは、平均化係数であり、ＢＣＷ重み付けを正規化するために３に設定され、ο_{ｏｆｆｓｅｔ}は、丸めオフセットであり、通常は１＜＜（ｓｈｉｆｔ－１）として設定される。

【0255】

【0256】

本開示の別の実施形態では、ブロックに対してＢＤＯＦが有効になると、追加の重み付けが予測子に適用され、追加の重み付けは、予測子がＯＯＢであるか否かに基づいて導出される。１つの方式では、ＢＤＯＦ有効ブロックの最終予測子サンプルは、次の方程式

を使用して予測子を加重平均することによって生成され、ここで、Ｂ_ｉ，ｊは各予測子サンプルのＢＤＯＦオフセットであり、

は、動き補償プロセスにより、それぞれリスト０およびリスト１の参照ピクチャから導出された予測子サンプルであり、

は、ＯＯＢ条件によって導出された対応する予測子に関連付けられた重み付けであり、ｓｈｉｆｔは、平均化係数であり、ＢＣＷ重み付けを正規化するために３に設定され、ο_{ｏｆｆｓｅｔ}は、丸めオフセットであり、通常は１＜＜（ｓｈｉｆｔ－１）として設定される。

【0257】

【0258】

上記で説明された動き補償方式に基づいて、（補間プロセスを通じて）予測子サンプルを生成するために使用される整数参照サンプルのうちの少なくとも１つが参照ピクチャの外側に位置する場合、予測子サンプルはＯＯＢとして定義される。

【0259】

しかしながら、場合によっては、補間プロセスを通じて予測子サンプルを生成するために少数のＯＯＢ参照整数サンプルのみが使用され、この場合、この予測子サンプルは依然として効率的な予測を提供する可能性がある（例えば、８つの参照整数サンプルのうち２つだけがＯＯＢである）。したがって、ＯＯＢ決定の許容範囲を提供するために、予測サンプルがＯＯＢであるか否かを決定するための様々な方式が提案されている。

【0260】

本開示の別の実施形態では、垂直方向に最も近い整数参照サンプルのうちの少なくとも１つがＯＯＢであるか、または水平方向に最も近い整数参照サンプルのうちの少なくとも１つがＯＯＢである場合、予測子サンプルはＯＯＢと決定される。例えば、図２８に示されるように、予測子Ｐ＿０，０＾Ｌｘの水平方向に最も近い整数参照サンプルは、サンプルｄおよびｅである。

【0261】

本開示の別の実施形態では、予測子サンプルを生成するために使用される整数サンプルのうちの少なくともＮ個がＯＯＢである場合、予測子サンプルはＯＯＢと決定され、Ｎは任意の整数である。

【0262】

本開示の別の実施形態では、２つまたは複数の予測子ブロックの加重平均を実行するとき、補間を行うためにＯＯＢ整数参照サンプルを使用する予測子サンプルに、より少ない重みが与えられる。さらに、重みは、ＯＯＢ整数参照サンプルの数に反比例する。

【0263】

本開示の別の実施形態では、２つまたは複数の予測子ブロックの加重平均を実行するとき、補間を行うためにＯＯＢ整数参照サンプルを使用する予測子サンプルに、重みが与えられる。重みは、シーケンス・レベル（シーケンスパラメータセット）、ピクチャ・レベル（ピクチャ・パラメータ・セット）、スライス・レベル（スライス・ヘッダ）、またはブロック・レベルなどの異なるレベルでビットストリームにおいて信号伝達される。

【0264】

ＯＯＢ条件を考慮する提案されたＭＣ方式は、提案された実施形態における符号化方法に適用されることに限定されず、前のセクションで説明されたような、ＯＢＭＣ、ＩＢＣ、ＳＭＶＤ、ＤＭＶＲなどのすべてのインター・ツールにも適用され得ることに留意されたい。

【0265】

上記の方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を含む１つまたは複数の回路を含む装置を使用して実装されてもよい。装置は、上記で説明された方法を実行するために、他のハードウェア構成要素またはソフトウェア構成要素と組み合わせて回路を使用してもよい。上記で開示された各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数の回路を使用して少なくとも部分的に実装されてもよい。

【0266】

図２９は、ユーザインターフェース１６５０と結合されたコンピューティング環境１６１０を示す。コンピューティング環境１６１０は、データ処理サーバの一部であってもよい。コンピューティング環境１６１０は、プロセッサ１６２０、メモリ１６３０、および入出力（Ｉ／Ｏ）インターフェース１６４０を含む。

【0267】

プロセッサ１６２０は、典型的には、表示、データ取得、データ通信、および画像処理に関連する動作など、コンピューティング環境１６１０の全体的な動作を制御する。プロセッサ１６２０は、上記で説明された方法におけるステップのすべてまたは一部を実施するよう求める命令を実行するための１つまたは複数のプロセッサを含んでもよい。さらに、プロセッサ１６２０は、プロセッサ１６２０と他の構成要素との間の対話を容易にする１つまたは複数のモジュールを含んでもよい。プロセッサは、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、シングル・チップ・マシン、グラフィック処理ユニット（ＧＰＵ）などであってもよい。

【0268】

メモリ１６３０は、コンピューティング環境１６１０の動作をサポートするために様々なタイプのデータを記憶するように構成される。メモリ１６３０は、所定のソフトウェア１６３２を含んでもよい。そのようなデータの例は、コンピューティング環境１６１０上で動作される任意のアプリケーションまたは方法のための命令、ビデオデータセット、画像データなどを含む。メモリ１６３０は、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、任意のタイプの揮発性もしくは不揮発性メモリ・デバイスまたはそれらの組合せを使用することによって実装されてもよい。

【0269】

Ｉ／Ｏインターフェース１６４０は、プロセッサ１６２０と、キーボード、クリック・ホイール、ボタンなどの周辺インターフェース・モジュールとの間のインターフェースを提供する。ボタンは、ホーム・ボタン、走査開始ボタン、走査停止ボタンを含んでもよいが、これらに限定されない。Ｉ／Ｏインターフェース１６４０は、エンコーダおよびデコーダと結合されてもよい。

【0270】

一実施形態では、例えばメモリ１６３０内に、コンピューティング環境１６１０内のプロセッサ１６２０によって実行可能な、上記で説明された方法を実行するための複数のプログラムを含む非一過性コンピュータ可読記憶媒体も提供される。代替として、非一過性コンピュータ可読記憶媒体は、ビデオデータを復号する際にデコーダ（例えば、図３のビデオデコーダ３０）によって使用するために、例えば上記で説明された符号化方法を使用してエンコーダ（例えば、図２のビデオエンコーダ２０）によって生成された符号化されたビデオ情報（例えば、１つまたは複数の構文要素を含むビデオ情報）を含むビットストリームまたはデータストリームを記憶していてもよい。非一過性コンピュータ可読記憶媒体は、例えば、ＲＯＭ、ランダム・アクセス・メモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピー・ディスク、光データ記憶デバイスなどであってもよい。

【0271】

一実施形態では、１つまたは複数のプロセッサ（例えば、プロセッサ１６２０）と、１つまたは複数のプロセッサによって実行可能な複数のプログラムを記憶している非一過性コンピュータ可読記憶媒体またはメモリ１６３０とを備えるコンピューティング・デバイスも提供され、１つまたは複数のプロセッサは、複数のプログラムの実行時に、上記で説明された方法を実行するように構成される。

【0272】

一実施形態では、上記で説明された方法を実行するためにコンピューティング環境１６１０内のプロセッサ１６２０によって実行可能な、例えばメモリ１６３０内の複数のプログラムを含むコンピュータ・プログラム製品も提供される。例えば、コンピュータ・プログラム製品は、非一過性コンピュータ可読記憶媒体を含んでもよい。

【0273】

一実施形態では、コンピューティング環境１６１０は、上記の方法を実行するために、１つまたは複数のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、ＦＰＧＡ、ＧＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を用いて実装されてもよい。

【0274】

本開示の説明は、例示を目的として提示されたものであり、本開示を網羅することも限定することも意図されていない。前述の説明および関連する図面に提示された教示の恩恵を受ける当業者には、多くの修正、変形、および代替の実装形態が明らかであろう。

【0275】

特に明記されない限り、本開示による方法のステップの順序は、例示のみを意図されており、本開示による方法のステップは、上記で具体的に説明された順序に限定されず、実際の条件に従って変更されてもよい。さらに、本開示による方法のステップのうちの少なくとも１つは、実際の要件に従って調整、結合、または削除されてもよい。

【0276】

例は、本開示の原理を説明し、当業者が様々な実装形態について本開示を理解できるようにし、企図される特定の使用に適するように様々な修正を加えて基礎となる原理および様々な実装形態を最大限に活用するために、選択され説明されたものである。したがって、本開示の範囲が、開示された実装形態の特定の例に限定されるものではないこと、また修正および他の実装形態が本開示の範囲内に含まれるよう意図されていることが理解されるべきである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【手続補正書】

【提出日】2024-03-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

デコーダによって、現在符号化ブロックのための第１の参照ピクチャおよび第２の参照ピクチャを導出することと、
前記デコーダによって、前記第１の参照ピクチャからの動き補償プロセスを使用して、前記第１の参照ピクチャに関連付けられた第１の動きベクトルに基づいて第１の予測子サンプルを導出することと、
前記デコーダによって、前記第２の参照ピクチャからの前記動き補償プロセスを使用して、前記第２の参照ピクチャに関連付けられた第２の動きベクトルに基づいて第２の予測子サンプルを導出することと、
前記デコーダによって、前記第１の予測子サンプルまたは前記第２の予測子サンプルのうちの少なくとも１つおよび境界外（ＯＯＢ）条件に基づいて、前記現在符号化ブロック内の最終予測子サンプルを取得することと、
を含む、ビデオ符号化方法。

【請求項2】

前記ＯＯＢ条件が、
前記第１の予測子サンプルがＯＯＢであるかどうか、および
前記第２の予測子サンプルがＯＯＢであるかどうか、
を含む、請求項１に記載のビデオ符号化方法。

【請求項3】

前記デコーダによって、前記第１の予測子サンプルがＯＯＢであるかどうかを決定することと、前記第２の予測子サンプルがＯＯＢであるかどうかを決定することによって、前記ＯＯＢ条件を取得することをさらに含む、請求項２に記載のビデオ符号化方法。

【請求項4】

前記第１の予測子サンプルがＯＯＢであり、前記第２の予測子サンプルがＯＯＢではないとの決定に応答して、前記第２の参照ピクチャの前記第２の予測子サンプルを前記現在符号化ブロックの前記最終予測子サンプルとして決定することをさらに含む、請求項３に記載のビデオ符号化方法。

【請求項5】

前記第１の予測子サンプルがＯＯＢではなく、前記第２の予測子サンプルがＯＯＢであるとの決定に応答して、前記第１の参照ピクチャの前記第１の予測子サンプルを前記現在符号化ブロックの前記最終予測子サンプルとして決定することをさらに含む、請求項３に記載のビデオ符号化方法。

【請求項6】

前記第１の予測子サンプルと前記第２の予測子サンプルがどちらもＯＯＢであるか、または前記第１の予測子サンプルと前記第２の予測子サンプルがどちらもＯＯＢではないとの決定に応答して、前記第１の予測子サンプルに第１の重みを割り当て、前記第２の予測子サンプルに第２の重みを割り当てることと、
前記第１の予測子サンプルおよび前記第２の予測子サンプルの加重平均に基づいて、前記現在符号化ブロックの前記最終予測子サンプルを決定することと、
をさらに含む、請求項３に記載のビデオ符号化方法。

【請求項7】

前記第１の予測子サンプルに割り当てられた前記第１の重みが、前記第２の予測子サンプルに割り当てられた前記第２の重みに等しく、前記現在符号化ブロックの前記最終予測子サンプルが、前記第１の予測子サンプルおよび前記第２の予測子サンプルの平均に基づいて決定される、請求項６に記載のビデオ符号化方法。

【請求項8】

前記現在符号化ブロックが符号化ユニットレベルの重みを用いた双予測（ＢＣＷ）モードとして符号化されているとの決定に応答して、前記第１の予測子サンプルと前記第２の予測子サンプルとを組み合わせて、前記ＢＣＷ重み付けに基づいて前記現在符号化ブロックの前記最終予測子サンプルを取得することをさらに含む、請求項６に記載のビデオ符号化方法。

【請求項9】

前記現在符号化ブロックに対して双方向オプティカルフロー（ＢＤＯＦ）が有効になっているとの決定に応答して、前記第１の予測子サンプルと前記第２の予測子サンプルとを組み合わせて、前記第１の予測子サンプルに割り当てられた前記第１の重み、前記第２の予測子サンプルに割り当てられた前記第２の重み、およびＢＤＯＦオフセットに基づいて、前記現在符号化ブロックの前記最終予測子サンプルを取得することをさらに含む、請求項６に記載のビデオ符号化方法。

【請求項10】

前記第１の予測子サンプルがＯＯＢであり、前記第２の予測子サンプルがＯＯＢではないとの決定に応答して、前記ＢＤＯＦオフセットを０と設定することと、
前記第１の予測子サンプルがＯＯＢではなく、前記第２の予測子サンプルがＯＯＢであるとの決定に応答して、前記ＢＤＯＦオフセットを０と設定することと
をさらに含む、請求項９に記載のビデオ符号化方法。

【請求項11】

前記第１の予測子サンプルおよび前記第２の予測子サンプルがＯＯＢであるかどうかを決定することが、
予測子サンプルの垂直方向に最も近い整数参照サンプルのうちの少なくとも１つがＯＯＢである、または前記予測子サンプルの水平方向に最も近い整数参照サンプルのうちの少なくとも１つがＯＯＢであるとの決定に応答して、前記予測子サンプルがＯＯＢであると決定することをさらに含む、請求項３に記載のビデオ符号化方法。

【請求項12】

前記第１の予測子サンプルおよび前記第２の予測子サンプルがＯＯＢであるかどうかを決定することが、
予測子サンプルの水平座標または垂直座標のうちの少なくとも１つが前記参照ピクチャの前記境界を距離しきい値分だけ超えているとの決定に応答すること
をさらに含む、請求項３に記載のビデオ符号化方法。

【請求項13】

前記距離しきい値が２分の１サンプルに等しい、請求項１２に記載のビデオ符号化方法。

【請求項14】

デコーダによって、現在符号化ブロックのための参照ピクチャの予測子サンプルが境界外（ＯＯＢ）であるかどうかを決定することと、
前記デコーダによって、前記予測子サンプルがＯＯＢであるとの決定に応答して、動き補償プロセスによって生成された２つ以上の予測子サンプルを組み合わせる際に前記予測子サンプルにゼロの追加の重み付けを割り当てて、前記現在符号化ブロックの最終予測子サンプルを取得することと、
前記デコーダによって、前記予測子サンプルがＯＯＢではないとの決定に応答して、前記動き補償プロセスによって生成された前記２つ以上の予測子サンプルを組み合わせる際に前記予測子サンプルにゼロ以外の追加の重み付けを割り当てて、前記現在符号化ブロックの前記最終予測子サンプルを取得することと、
を含む、ビデオ符号化方法。

【請求項15】

前記予測子サンプルを生成するために使用される前記整数参照サンプルに基づいて、前記予測子サンプルがＯＯＢであるかどうかを決定することが、
前記予測子サンプルを生成するために使用される前記整数参照サンプルのうちの少なくとも１つが参照ピクチャの外側に位置するとの決定に応答して、前記予測子サンプルがＯＯＢであると決定することと、
前記予測子サンプルを生成するために使用される前記整数参照サンプルのすべてが前記参照ピクチャ内に位置するとの決定に応答して、前記予測子サンプルがＯＯＢではないと決定することと、
をさらに含む、請求項１４に記載のビデオ符号化方法。

【請求項16】

デコーダによって、現在符号化ブロックのための参照ピクチャの予測子サンプルが境界外（ＯＯＢ）であるかどうかを、前記予測子サンプルを生成するために使用される整数参照サンプルに基づいて決定することと、
前記デコーダによって、前記予測子サンプルがＯＯＢであるとの決定に応答して、動き補償プロセスによって生成された２つ以上の予測子サンプルを組み合わせる際に前記予測子サンプルに第１の追加の重み付けを割り当てて、前記現在符号化ブロックの最終予測子サンプルを取得することと、
前記デコーダによって、前記予測子サンプルがＯＯＢではないとの決定に応答して、前記動き補償プロセスによって生成された前記２つ以上の予測子サンプルを組み合わせる際に前記予測子サンプルに第２の追加の重み付けを割り当てて、前記現在符号化ブロックの前記最終予測子サンプルを取得することと、
を含む、ビデオ符号化方法。

【請求項17】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行可能な命令を記憶するように構成されたメモリと、を備えるビデオ符号化装置であって、
前記１つまたは複数のプロセッサが、前記命令の実行時に、請求項１から１６のいずれかに記載の前記方法を実行するように構成される、ビデオ符号化装置。

【請求項18】

請求項１から１６のいずれかに記載の方法によって復号されるビットストリームを記憶する、ビデオ符号化用の非一過性コンピュータ可読記憶媒体。

【請求項19】

請求項１から１６のいずれかに記載の方法によって復号されるビットストリームを受信する方法。

【請求項20】

１つまたは複数のプロセッサを有するコンピューティングデバイスによって実行され、非一過性コンピュータ可読記憶媒体に記憶されるコンピュータプログラムであって、前記コンピュータプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティングデバイスに請求項１から１６のいずれかに記載の方法を実行させる、コンピュータプログラム。

【国際調査報告】