特表 2024-514113 ビデオコーディングのためのテンプレートマッチングベースのアフィン予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-28

(54)【発明の名称】ビデオコーディングのためのテンプレートマッチングベースのアフィン予測

(51)【国際特許分類】

   H04N 19/54 20140101AFI20240321BHJP

   H04N 19/53 20140101ALI20240321BHJP

【ＦＩ】

H04N19/54

H04N19/53

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023561191

(86)(22)【出願日】2022-04-08

(85)【翻訳文提出日】2023-10-04

(86)【国際出願番号】 US2022024024

(87)【国際公開番号】W WO2022221140

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】63/173,861

(32)【優先日】2021-04-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/173,949

(32)【優先日】2021-04-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/715,571

(32)【優先日】2022-04-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】チェン、チュン－チー

(72)【発明者】

【氏名】ファン、ハン

(72)【発明者】

【氏名】ジャン、ジー

(72)【発明者】

【氏名】チャン、ヤオ－ジェン

(72)【発明者】

【氏名】ジャン、ヤン

(72)【発明者】

【氏名】セレジン、バディム

(72)【発明者】

【氏名】カルチェビチ、マルタ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159NN10

5C159NN16

5C159NN32

5C159PP04

5C159RC11

5C159TA30

5C159TB08

5C159TC42

5C159UA02

5C159UA05

(57)【要約】

ビデオデコーダは、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別することと、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定することと、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定することと、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを行うように構成され得る。
【選択図】図１５

【特許請求の範囲】

【請求項1】

ビデオデータを復号する方法であって、
前記ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、
前記現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、
前記１つまたは複数のＣＰＭＶを使用して、参照ピクチャ中の前記現在のブロックのための最初の予測ブロックを識別することと、
前記現在のピクチャ中の前記現在のブロックのための現在のテンプレートを決定することと、
前記参照ピクチャ中の前記最初の予測ブロックのための最初の参照テンプレートを決定することと、
前記最初の参照テンプレートと前記現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することと、
を備える方法。

【請求項2】

前記修正された予測ブロックを決定するために前記動きベクトル改良プロセスを実施することは、
前記最初の参照テンプレートよりも前記現在のテンプレートに密接に一致する後続の参照テンプレートを求めて、前記最初の参照テンプレートの周りの探索エリア内を探索すること
をさらに備える、請求項１に記載の方法。

【請求項3】

前記最初の参照テンプレートと前記現在のテンプレートとの前記比較は、テンプレートマッチングコストを備える、請求項１に記載の方法。

【請求項4】

前記最初の参照テンプレート中のサンプルと前記現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいて、前記テンプレートマッチングコストを決定すること、
をさらに備える、請求項３に記載の方法。

【請求項5】

前記最初の参照テンプレートは、前記最初の予測ブロックの上にまたは前記最初の予測ブロックの左側に位置する複数のサブブロックを備える、請求項１に記載の方法。

【請求項6】

前記アフィン予測モードは、４パラメータアフィン予測モードを備える、請求項１に記載の方法。

【請求項7】

前記アフィン予測モードは、６パラメータアフィン予測モードを備える、請求項１に記載の方法。

【請求項8】

前記修正された予測ブロックに基づいて予測ブロックを決定することと、
再構築されたブロックを決定するために、残差ブロックに前記予測ブロックを加算することと、
前記再構築されたブロックに１つまたは複数のフィルタ処理演算を適用することと、
前記フィルタ処理された再構築されたブロックを含む復号されたビデオデータのピクチャを出力することと、
をさらに備える、請求項１に記載の方法。

【請求項9】

復号の前記方法は、ビデオ符号化プロセスの部分として実施される、請求項１に記載の方法。

【請求項10】

ビデオデータを復号するためのデバイスであって、
メモリと、
前記メモリに結合され、回路中に実装された１つまたは複数のプロセッサと、
を備え、前記１つまたは複数のプロセッサは、
前記ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、
前記現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、
前記１つまたは複数のＣＰＭＶを使用して、参照ピクチャ中の前記現在のブロックのための最初の予測ブロックを識別することと、
前記現在のピクチャ中の前記現在のブロックのための現在のテンプレートを決定することと、
前記参照ピクチャ中の前記最初の予測ブロックのための最初の参照テンプレートを決定することと、
前記最初の参照テンプレートと前記現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することと、
を行うように構成された、デバイス。

【請求項11】

前記修正された予測ブロックを決定するために前記動きベクトル改良プロセスを実施するために、前記１つまたは複数のプロセッサは、さらに、
前記最初の参照テンプレートよりも前記現在のテンプレートに密接に一致する後続の参照テンプレートを求めて、前記最初の参照テンプレートの周りの探索エリア内を探索すること、
を行うようにさらに構成された、請求項１０に記載のデバイス。

【請求項12】

前記最初の参照テンプレートと前記現在のテンプレートとの前記比較は、テンプレートマッチングコストを備える、請求項１０に記載のデバイス。

【請求項13】

前記１つまたは複数のプロセッサは、
前記最初の参照テンプレート中のサンプルと前記現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいて、前記テンプレートマッチングコストを決定すること、
を行うようにさらに構成された、請求項１２に記載のデバイス。

【請求項14】

前記最初の参照テンプレートは、前記最初の予測ブロックの上にまたは前記最初の予測ブロックの左側に位置する複数のサブブロックを備える、請求項１０に記載のデバイス。

【請求項15】

前記アフィン予測モードは、４パラメータアフィン予測モードを備える、請求項１０に記載のデバイス。

【請求項16】

前記アフィン予測モードは、６パラメータアフィン予測モードを備える、請求項１０に記載のデバイス。

【請求項17】

前記１つまたは複数のプロセッサは、
前記修正された予測ブロックに基づいて予測ブロックを決定することと、
再構築されたブロックを決定するために、残差ブロックに前記予測ブロックを加算することと、
前記再構築されたブロックに１つまたは複数のフィルタ処理演算を適用することと、
前記フィルタ処理された再構築されたブロックを含む復号されたビデオデータのピクチャを出力することと、
を行うようにさらに構成された、請求項１０に記載のデバイス。

【請求項18】

前記デバイスは、符号化ビデオデータを受信するように構成された受信機をさらに備えるワイヤレス通信デバイスを備える、請求項１０に記載のデバイス。

【請求項19】

前記ワイヤレス通信デバイスは、電話ハンドセットを備え、
前記受信機は、ワイヤレス通信規格に従って、前記符号化ビデオデータを備える信号を復調するように構成された、請求項１８に記載のデバイス。

【請求項20】

復号ビデオデータを表示するように構成されたディスプレイ、
をさらに備える、請求項１０に記載のデバイス。

【請求項21】

前記デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、請求項１０に記載のデバイス。

【請求項22】

前記デバイスは、ビデオ符号化デバイスを備える、請求項１０に記載のデバイス。

【請求項23】

コンピュータ可読記憶媒体であって、１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、
前記ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、
前記現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、
前記１つまたは複数のＣＰＭＶを使用して、参照ピクチャ中の前記現在のブロックのための最初の予測ブロックを識別することと、
前記現在のピクチャ中の前記現在のブロックのための現在のテンプレートを決定することと、
前記参照ピクチャ中の前記最初の予測ブロックのための最初の参照テンプレートを決定することと、
前記最初の参照テンプレートと前記現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することと、
を行わせる命令を記憶したコンピュータ可読記憶媒体。

【請求項24】

前記修正された予測ブロックを決定するために前記動きベクトル改良プロセスを実施するために、さらに、前記命令は、前記１つまたは複数のプロセッサに、
前記最初の参照テンプレートよりも前記現在のテンプレートに密接に一致する後続の参照テンプレートを求めて、前記最初の参照テンプレートの周りの探索エリア内を探索すること、
を行わせる、請求項２３に記載のコンピュータ可読記憶媒体。

【請求項25】

前記最初の参照テンプレートと前記現在のテンプレートとの前記比較は、テンプレートマッチングコストを備える、請求項２３に記載のコンピュータ可読記憶媒体。

【請求項26】

前記命令は、前記１つまたは複数のプロセッサに、
前記最初の参照テンプレート中のサンプルと前記現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいて、前記テンプレートマッチングコストを決定すること、
を行わせる、請求項２５に記載のコンピュータ可読記憶媒体。

【請求項27】

前記最初の参照テンプレートは、前記最初の予測ブロックの上にまたは前記最初の予測ブロックの左側に位置する複数のサブブロックを備える、請求項２３に記載のコンピュータ可読記憶媒体。

【請求項28】

前記命令は、前記１つまたは複数のプロセッサに、
前記修正された予測ブロックに基づいて予測ブロックを決定することと、
再構築されたブロックを決定するために、残差ブロックに前記予測ブロックを加算することと、
前記再構築されたブロックに１つまたは複数のフィルタ処理演算を適用することと、
前記フィルタ処理された再構築されたブロックを含む復号されたビデオデータのピクチャを出力することと、
を行わせる、請求項２３に記載のコンピュータ可読記憶媒体。

【請求項29】

ビデオデータを復号するための装置であって、
前記ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定するための手段と、
前記現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定するための手段と、
前記１つまたは複数のＣＰＭＶを使用して、参照ピクチャ中の前記現在のブロックのための最初の予測ブロックを識別するための手段と、
前記現在のピクチャ中の前記現在のブロックのための現在のテンプレートを決定するための手段と、
前記参照ピクチャ中の前記最初の予測ブロックのための最初の参照テンプレートを決定するための手段と、
前記最初の参照テンプレートと前記現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施するための手段と、
を備える装置。

【請求項30】

前記最初の参照テンプレートと前記現在のテンプレートとの前記比較は、テンプレートマッチングコストを備え、前記装置は、
前記最初の参照テンプレート中のサンプルと前記現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいて、前記テンプレートマッチングコストを決定するための手段
をさらに備える、請求項２９に記載の装置。

【発明の詳細な説明】

【優先権の主張】

【0001】

[0001]本出願は、各々の内容全体が参照により本明細書に組み込まれる、２０２２年４月７日に出願された米国特許出願第１７／７１５，５７１号、２０２１年４月１２日に出願された米国仮出願第６３／１７３，８６１号、および２０２１年４月１２日に出願された米国仮出願第６３／１７３，９４９号の優先権を主張する。２０２２年４月７日に出願された米国特許出願第１７／７１５，５７１号は、２０２１年４月１２日に出願された米国仮出願第６３／１７３，８６１号および２０２１年４月１２日に出願された米国仮出願第６３／１７３，９４９号の利益を主張する。

【技術分野】

【0002】

[0002]本開示は、ビデオ符号化およびビデオ復号に関する。

【背景技術】

【0003】

[0003]デジタルビデオ能力は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタルレコーディングデバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲーム機、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、幅広いデバイスの中に組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実施する。ビデオデバイスは、そのようなビデオコーディング技法を実施することによって、より効率的にデジタルビデオ情報を送信、受信、符号化、復号、および／または記憶し得る。

【0004】

[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（イントラピクチャ）予測および／または時間（インターピクチャ）予測を含む。ブロックベースビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

【発明の概要】

【0005】

[0005]本開示は、一連のピクチャに発生することができるオブジェクトの回転を潜在的に考慮するインター予測モードのタイプであるアフィン予測モードに関係する技法について説明する。ブロックのアフィン動きモデルは、制御点動きベクトル（ＣＰＭＶ：control-point motion vector）と呼ばれることがあるブロックの制御点の動きベクトルに基づいて決定され得る。いくつかの実装形態では、ブロックの制御点は、ブロックの左上隅および右上隅である。いくつかの実装形態では、ブロックの制御点は、ブロックの左下隅をさらに含む。ビデオコーダ（すなわち、ビデオエンコーダまたはビデオデコーダ）は、参照ピクチャ中の予測サブブロックの位置を特定するためにブロックのＣＰＭＶに基づいてブロックのサブブロックの動きベクトルを計算し得る。予測サブブロックは、予測ブロックを形成し得る。

【0006】

[0006]本開示は、予測サブブロック、したがって、予測ブロックを改良し得るデコーダ側の技法について説明する。すなわち、本開示の技法は、ビデオデコーダが、ＣＰＭＶを使用して最初に決定されたまたは位置を特定されたサブブロックとは異なるサブブロックを使用して予測ブロックを形成することを生じ得る。本開示において説明される方式でアフィンコーディングされるブロックのための修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することによって、ビデオデコーダは、従来のアフィン予測と比較してより正確な予測ブロックを決定し得る。本開示の技法を利用してより正確な予測ブロックを決定することは、シグナリングオーバーヘッドを増加させることなしに全体的なコーディング品質を改善し得る。

【0007】

[0007]本開示の一例によれば、ビデオデータを復号する方法は、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別することと、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定することと、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定することと、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを含む。

【0008】

[0008]本開示の別の例によれば、ビデオデータを復号するためのデバイスは、メモリと、メモリに結合された、回路中に実装された１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサは、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別することと、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定することと、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定することと、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを行うように構成される。

【0009】

[0009]本開示の別の例によれば、コンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別することと、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定することと、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定することと、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを行わせる命令を記憶する。

【0010】

[0010]本開示の別の例によれば、ビデオデータを復号するための装置は、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定するための手段と、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定するための手段と、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別するための手段と、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定するための手段と、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定するための手段と、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施するための手段とを含む。

【0011】

[0011]１つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0012】

【図1】[0012]本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図。

【図2A】[0013]例示的なクワッドツリーバイナリツリー（ＱＴＢＴ）構造を示す概念図。

【図2B】対応するコーディングツリーユニット（ＣＴＵ）を示す概念図。

【図3A】[0014]マージモードのための空間隣接動きベクトル候補を示す概念図。

【図3B】[0015]高度動きベクトル予測（ＡＭＶＰ）モードのための空間隣接動きベクトル候補を示す概念図。

【図4A】[0016]時間動きベクトル候補を示す概念図。

【図4B】[0017]動きベクトルスケーリングを示す概念図。

【図5】[0018]最初の動きベクトルの周りの探索エリアに対して実施されるテンプレートマッチングの一例を示す図。

【図6A】[0019]制御点ベースの６パラメータアフィン動きモデルを示す概念図。

【図6B】[0020]制御点ベースの４パラメータアフィン動きモデルを示す概念図。

【図7】[0021]サブブロックごとのアフィン動きベクトルフィールドの一例を示す図。

【図8】[0022]サブブロック動きベクトルの一例を示す図。

【図9A】[0023]現在のテンプレートブロックと参照テンプレートブロックとを示す図。

【図9B】現在のテンプレートブロックと参照テンプレートブロックとを示す図。

【図9C】現在のテンプレートブロックと参照テンプレートブロックとを示す図。

【図10】[0024]テンプレートマッチングコストを計算するために隣接ブロックのサンプルに割り当てられ得るサンプルごとの重みの例を示す概念図。

【図11】[0025]本開示の技法を実施し得る例示的なビデオエンコーダを示すブロック図。

【図12】[0026]本開示の技法を実施し得る例示的なビデオデコーダを示すブロック図。

【図13】[0027]本開示の技法による、現在のブロックを符号化するための例示的なプロセスを示すフローチャート。

【図14】[0028]本開示の技法による、現在のブロックを復号するための例示的なプロセスを示すフローチャート。

【図15】[0029]本開示の技法による、現在のブロックを復号するための例示的なプロセスを示すフローチャート。

【発明を実施するための形態】

【0013】

[0030]ビデオコーディング（たとえば、ビデオ符号化および／またはビデオ復号）は、一般に、同じピクチャ中のビデオデータのすでにコーディングされたブロックからビデオデータのブロックを予測すること（たとえば、イントラ予測）または異なるピクチャ中のビデオデータのすでにコーディングされたブロックからビデオデータのブロックを予測すること（たとえば、インター予測）のいずれかを伴う。いくつかの事例では、ビデオエンコーダはまた、予測ブロックを元のブロックと比較することによって残差データを計算する。したがって、残差データは、予測ブロックと元のブロックとの間の差分を表す。残差データをシグナリングするために必要とされるビット数を低減するために、ビデオエンコーダは、残差データを変換および量子化し、変換および量子化された残差データを符号化ビットストリーム中でシグナリングする。変換および量子化プロセスによって達成される圧縮は、変換および量子化プロセスが復号ビデオデータにひずみを導入し得ることを意味する、ロッシーであり得る。

【0014】

[0031]ビデオデコーダは、予測ブロック単独でよりもぴったり元のビデオブロックに一致する再構築ビデオブロックを生成するために、残差データを復号し、予測ブロックに加算する。残差データの変換および量子化によってもたらされるロスにより、最初の再構築ブロックは、ひずみまたはアーティファクトを有し得る。アーティファクトまたはひずみの１つの通例のタイプはブロッキネスと呼ばれ、ここで、ビデオデータをコーディングするために使用されるブロックの境界が視認できる。

【0015】

[0032]復号ビデオの品質をさらに改善するために、ビデオデコーダは、再構築ビデオブロックに対して１つまたは複数のフィルタ処理演算を実施することができる。これらのフィルタ処理演算の例は、デブロッキングフィルタ処理、サンプル適応オフセット（ＳＡＯ）フィルタ処理、および適応ループフィルタ処理（ＡＬＦ）を含む。これらのフィルタ処理演算のためのパラメータは、ビデオエンコーダによって決定され、符号化ビデオビットストリーム中で明示的にシグナリングされるか、またはパラメータが符号化ビデオビットストリーム中で明示的にシグナリングされる必要なしにビデオデコーダによって暗黙的に決定されるかのいずれかであり得る。

【0016】

[0033]本開示は、一連のピクチャに発生することができるオブジェクトの回転を潜在的に考慮するインター予測モードのタイプであるアフィン予測モードに関係する技法について説明する。ブロックのアフィン動きモデルは、制御点動きベクトル（ＣＰＭＶ）と呼ばれることがあるブロックの制御点の動きベクトルに基づいて決定され得る。いくつかの実装形態では、ブロックの制御点は、ブロックの左上隅および右上隅である。いくつかの実装形態では、ブロックの制御点は、ブロックの左下隅をさらに含む。ビデオコーダ（すなわち、ビデオエンコーダまたはビデオデコーダ）は、参照ピクチャ中の予測サブブロックの位置を特定するためにブロックのＣＰＭＶに基づいてブロックのサブブロックの動きベクトルを計算し得る。予測サブブロックは、予測ブロックを形成し得る。

【0017】

[0034]本開示は、予測サブブロック、したがって、予測ブロックを改良し得るデコーダ側の技法について説明する。すなわち、本開示の技法は、ビデオデコーダが、ＣＰＭＶを使用して最初に決定されたまたは位置を特定されたサブブロックとは異なるサブブロックを使用して予測ブロックを形成することを生じ得る。本開示において説明される方式でアフィンコーディングされたブロックのための修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することによって、ビデオデコーダは、従来のアフィン予測と比較してより正確な予測ブロックを決定し得る。本開示の技法を利用してより正確な予測ブロックを決定することは、シグナリングオーバーヘッドを増加させることなしに全体的なコーディング品質を改善し得る。

【0018】

[0035]本開示の技法が、概して、ビデオデコーダによって実施されるものとして説明されているが、本明細書で説明される技法は、ビデオエンコーダによっても実施され得ることを理解されたい。たとえば、本開示の技法は、ビデオブロックをどのように符号化するのかを決定することおよびビデオの後続のピクチャを符号化するために使用され得る参照ピクチャを生成することを行うためのプロセスの部分としてビデオエンコーダによって実施され得る。

【0019】

[0036]図１は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、生の符号化されていないビデオ、符号化されたビデオ、復号された（たとえば、再構築された）ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。

【0020】

[0037]図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化されたビデオデータを提供するソースデバイス１０２を含む。特に、ソースデバイス１０２は、コンピュータ可読媒体１１０を介して宛先デバイス１１６にビデオデータを提供する。ソースデバイス１０２と宛先デバイス１１６とは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、ブロードキャスト受信機デバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１０２と宛先デバイス１１６とは、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。

【0021】

[0038]図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００とは、テンプレートベースのアフィン予測を実施するための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの一例を表し、宛先デバイス１１６はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスと宛先デバイスとは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

【0022】

[0039]図１に示されているシステム１００は一例にすぎない。概して、いかなるデジタルビデオ符号化および／または復号デバイスも、テンプレートベースのアフィン予測を実施するための技法を実施し得る。ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２が宛先デバイス１１６への送信のためにコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示は、データのコーディング（符号化および／または復号）を実施するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、コーディングデバイス、特に、それぞれビデオエンコーダとビデオデコーダとの例を表す。いくつかの例では、ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２および宛先デバイス１１６の各々がビデオ符号化構成要素およびビデオ復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのために、ソースデバイス１０２と宛先デバイス１１６との間の一方向または二方向ビデオ送信をサポートし得る。

【0023】

[0040]概して、ビデオソース１０４は、ビデオデータ（すなわち、生の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続的な一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためにデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとしてコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に再配置し得る。ビデオエンコーダ２００は、符号化されたビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して符号化されたビデオデータをコンピュータ可読媒体１１０上に出力し得る。

【0024】

[0041]ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、たとえば、ビデオソース１０４からの生のビデオと、ビデオデコーダ３００からの生の復号されたビデオデータとを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００とビデオデコーダ３００とによって実行可能なソフトウェア命令を記憶し得る。メモリ１０６およびメモリ１２０は、この例ではビデオエンコーダ２００およびビデオデコーダ３００とは別個に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００は、機能的に同様のまたは等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化されたビデオデータ、たとえば、ビデオエンコーダ２００からの出力と、ビデオデコーダ３００への入力とを記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、生の復号および／または符号化されたビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。

【0025】

[0042]コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化されたビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースネットワークを介して、符号化されたビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化されたビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調し得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするのに有用であり得る任意の他の機器を含み得る。

【0026】

[0043]いくつかの例では、ソースデバイス１０２は、符号化されたデータを出力インターフェース１０８から記憶デバイス１１２に出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介してストレージデバイス１１２からの符号化されたデータにアクセスし得る。ストレージデバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。

【0027】

[0044]いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化されたビデオデータを記憶し得るファイルサーバ１１４または別の中間ストレージデバイスに符号化されたビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介してファイルサーバ１１４からの記憶されたビデオデータにアクセスし得る。

【0028】

[0045]ファイルサーバ１１４は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、（ファイル転送プロトコル（ＦＴＰ）または単方向トランスポート上ファイル配信（ＦＬＵＴＥ：File Delivery over Unidirectional Transport）プロトコルなどの）ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク（ＣＤＮ）デバイス、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバ、マルチメディアブロードキャストマルチキャストサービス（ＭＢＭＳ）または拡張ＭＢＭＳ（ｅＭＢＭＳ）サーバ、および／あるいはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。ファイルサーバ１１４は、追加または代替として、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、ＨＴＴＰライブストリーミング（ＨＬＳ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ＨＴＴＰ動的ストリーミングなど、１つまたは複数のＨＴＴＰストリーミングプロトコルを実装し得る。

【0029】

[0046]宛先デバイス１１６は、インターネット接続を含む、任意の標準のデータ接続を通してファイルサーバ１１４から符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ１１４に記憶された符号化されたデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。入力インターフェース１２２は、ファイルサーバ１１４からメディアデータを取り出すまたは受信するための上記で説明された様々なプロトコル、あるいはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか１つまたは複数に従って動作するように構成され得る。

【0030】

[0047]出力インターフェース１０８と入力インターフェース１２２とは、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８および入力インターフェース１２２がワイヤレス構成要素を備える例では、出力インターフェース１０８および入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなど、セルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格など、他のワイヤレス規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実施するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実施するためのＳｏＣデバイスを含み得る。

【0031】

[0048]本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。

【0032】

[0049]宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から符号化ビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロックまたは他のコーディングされたユニット（たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、復号されたビデオデータの復号されたピクチャをユーザに表示する。ディスプレイデバイス１１８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。

【0033】

[0050]図１には示されていないが、いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は各々、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームをハンドリングするために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

【0034】

[0051]ビデオエンコーダ２００およびビデオデコーダ３００は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００とビデオデコーダ３００との各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合され得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話機などのワイヤレス通信デバイスを備え得る。

【0035】

[0052]ビデオエンコーダ２００およびビデオデコーダ３００は、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、あるいはマルチビューおよび／またはスケーラブルビデオコーディング拡張などのそれらの拡張など、ビデオコーディング規格に従って動作し得る。代替または追加として、ビデオエンコーダ２００とビデオデコーダ３００とは、汎用ビデオコーディング（ＶＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６などの他のプロプライエタリまたは業界標準および画面コンテンツまたはハイダイナミックレンジのための拡張などのそれの拡張に従って動作し得る。ＶＶＣ規格のドラフトは、Ｂｒｏｓｓら、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ１０）」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１８回会合、遠隔会議による、２０２０年６月２２日～７月１日、ＪＶＥＴ－Ｓ２００１－ｖ１７（以下、「ＶＶＣドラフト１０」）に記載されている。しかしながら、本開示の技法は、どんな特定のコーディング規格にも限定されない。

【0036】

[0053]概して、ビデオエンコーダ２００およびビデオデコーダ３００は、ピクチャのブロックベースコーディングを実施し得る。「ブロック」という用語は、概して、処理されるべき（たとえば、符号化されるべき、復号されるべき、または、符号化および／もしくは復号プロセスにおいて他の方法で使用されるべき）データを含む構造を指す。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００およびビデオデコーダ３００は、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマットのデータをＹＵＶ表現にコンバートし、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットにコンバートする。代替的に、前処理および後処理ユニット（図示せず）が、これらのコンバージョンを実施し得る。

【0037】

[0054]本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含むように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセス、たとえば、予測および／または残差コーディングを含むように、ピクチャのブロックのコーディングに言及することがある。符号化されたビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素についての一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成するシンタックス要素の値をコーディングすることとして理解されるべきである。本開示では、現在のブロックまたは現在のピクチャは、概して、復号済みのブロックもしくはピクチャまたはまだ復号されていないブロックもしくはピクチャとは反対に、現在符号化または復号されているブロックまたはピクチャを指す。

【0038】

[0055]ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、クワッドツリー構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい重複しない正方形に区分し、クワッドツリーの各ノードは、０個または４つのいずれかの子ノードを有する。子ノードのないノードは、「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵおよび／または１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差クワッドツリー（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。

【0039】

[0056]別の例として、ビデオエンコーダ２００およびビデオデコーダ３００は、ＶＶＣに従って動作するように構成され得る。ＶＶＣによれば、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のＣＴＵに区分する。ビデオエンコーダ２００は、クワッドツリーバイナリツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造など、ツリー構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、２つのレベル、すなわち、クワッドツリー区分に従って区分される第１のレベルと、バイナリツリー区分に従って区分される第２のレベルとを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。バイナリツリーのリーフノードは、ＣＵに対応する。

【0040】

[0057]ＭＴＴ区分構造では、ブロックは、クワッドツリー（ＱＴ）区分と、バイナリツリー（ＢＴ）区分と、１つまたは複数のタイプのトリプルツリー（ＴＴ）（ターナリツリー（ＴＴ）とも呼ばれる）区分とを使用して区分され得る。トリプルツリーまたはターナリツリー区分は、ブロックが３つのサブブロックにスプリットされる区分である。いくつかの例では、トリプルツリーまたはターナリツリー区分は、中心を通して元のブロックを分割することなしにブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称または非対称であり得る。

【0041】

[0058]いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）など、２つまたはそれ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。

【0042】

[0059]ビデオエンコーダ２００およびビデオデコーダ３００は、ＨＥＶＣに従うクワッドツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。しかしながら、本開示の技法は、クワッドツリー区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。

【0043】

[0060]いくつかの例では、ＣＴＵは、ルーマサンプルのコーディングツリーブロック（ＣＴＢ）、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、あるいはモノクロームピクチャ、またはサンプルをコーディングするために使用される３つの別個の色プレーンとシンタックス構造とを使用してコーディングされるピクチャのサンプルのＣＴＢを含む。ＣＴＢは、ＣＴＢへの成分の分割が区分になるような何らかの値のＮについて、サンプルのＮ×Ｎブロックであり得る。成分は、ピクチャを４：２：０、４：２：２、または４：４：４色フォーマットに構成する３つのアレイ（ルーマおよび２つのクロマ）のうちの１つからのアレイまたは単一のサンプル、あるいはピクチャをモノクロームフォーマットに構成するアレイまたはアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、コーディングブロックへのＣＴＢの分割が区分になるような何らかの値のＭとＮとについて、サンプルのＭ×Ｎブロックである。

【0044】

[0061]ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャ中で様々な方法でグループ化され得る。一例として、ブリックは、ピクチャ中の特定のタイル内のＣＴＵ行の矩形領域を指し得る。タイルは、ピクチャ中の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された幅とを有するＣＴＵの矩形領域を指す。タイル行は、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するＣＴＵの矩形領域を指す。

【0045】

[0062]いくつかの例では、タイルは複数のブリックに区分され得、それらの各々は、タイル内に１つまたは複数のＣＴＵ行を含み得る。複数のブリックに区分されないタイルもブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。

【0046】

[0063]ピクチャ中のブリックはまた、スライス中に配置され得る。スライスは、もっぱら単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に含まれていることがあるピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または１つのタイルの完全なブリックの連続シーケンスのみのいずれかを含む。

【0047】

[0064]本開示は、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法と水平寸法とに関して（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル寸法を指すために、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」、たとえば、１６×１６サンプル（16x16 samples）または１６×１６サンプル（16 by 16 samples）を互換的に使用し得る。概して、１６×１６のＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×ＮのＣＵは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは、行と列とに配置され得る。その上、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。

【0048】

[0065]ビデオエンコーダ２００は、予測および／または残差情報、ならびに他の情報を表すＣＵについてのビデオデータを符号化する。予測情報は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報は、概して、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。

【0049】

[0066]ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、概して、以前にコーディングされたピクチャのデータからＣＵを予測することを指すが、イントラ予測は、概して、同じピクチャの以前にコーディングされたデータからＣＵを予測することを指す。インター予測を実施するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロックとの間の差分に関して、ＣＵに密接に一致する（closely matches）参照ブロックを識別するために動き探索を実施し得る。ビデオエンコーダ２００は、参照ブロックが現在のＣＵに密接に一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在のＣＵを予測し得る。

【0050】

[0067]ＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つまたはそれ以上の動きベクトルを決定し得る。

【0051】

[0068]イントラ予測を実施するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＶＶＣのいくつかの例は、様々な方向性モード、ならびにプレーナ（planar）モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在のブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在のブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在のブロックと同じピクチャ中の現在のブロックの上、左上、または左にあり得る。

【0052】

[0069]ビデオエンコーダ２００は、現在のブロックの予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードのための動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードのための動きベクトルを符号化するために、同様のモードを使用し得る。

【0053】

[0070]ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプルドメインではなく変換ドメイン中に変換データを作り出すために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、モード依存非分離可能２次変換（ＭＤＮＳＳＴ）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）など、第１の変換に続いて２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を作り出す。

【0054】

[0071]上述のように、変換係数を作り出すための任意の変換に続いて、ビデオエンコーダ２００は変換係数の量子化を実施し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ２００は、変換係数の一部または全部に関連するビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化の間にｎビット値をｍビット値に切り捨てることがあり、ここで、ｎはｍよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ２００は、量子化されるべき値のビットごとの右シフトを実施し得る。

【0055】

[0072]量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを作り出し得る。走査は、より高いエネルギー（したがって、より低い頻度）の変換係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、あらかじめ定義された走査順序を利用して、量子化された変換係数を走査してシリアル化されたベクトルを作り出し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は、適応走査を実施し得る。１次元ベクトルを形成するために、量子化された変換係数を走査した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化されたビデオデータに関連付けられたメタデータを記述するシンタックス要素の値をエントロピー符号化し得る。

【0056】

[0073]ＣＡＢＡＣを実施するために、ビデオエンコーダ２００は、送信されるべきシンボルにコンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるのか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

【0057】

[0074]ビデオエンコーダ２００は、さらに、ブロックベースシンタックスデータ、ピクチャベースシンタックスデータ、およびシーケンスベースシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。

【0058】

[0075]このようにして、ビデオエンコーダ２００は、符号化されたビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックについての予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。

【0059】

[0076]概して、ビデオデコーダ３００は、ビットストリームの符号化されたビデオデータを復号するために、ビデオエンコーダ２００によって実施されたものの逆プロセスを実施する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素についての値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ピクチャをＣＴＵに区分するための区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）についての予測および残差情報をさらに定義し得る。

【0060】

[0077]残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関連する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、元のブロックを再生するために（サンプルごとに）予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実施することなど、追加の処理を実施し得る。

【0061】

[0078]本開示は、概して、シンタックス要素などのある情報を「シグナリング」することに言及し得る。「シグナリング」という用語は、概して、符号化ビデオデータを復号するために使用されるシンタックス要素および／または他のデータについての値の通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリームにおいてシンタックス要素についての値をシグナリングし得る。概して、シグナリングは、ビットストリームにおいて値を生成することを指す。上述のように、ソースデバイス１０２は、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに起こり得る、ビットストリームを、実質的にリアルタイムで、またはリアルタイムではなく、宛先デバイス１１６に移送し得る。

【0062】

[0079]図２Ａと図２Ｂとは、例示的なクワッドツリーバイナリツリー（ＱＴＢＴ）構造１３０と、対応するＣＴＵ１３２とを示す概念図である。実線はクワッドツリースプリッティングを表し、点線はバイナリツリースプリッティングを示す。バイナリツリーの各スプリット（すなわち、非リーフ）ノードでは、どのスプリッティングタイプ（すなわち、水平または垂直）が使用されるかを示すために１つのフラグがシグナリングされ、ここで、この例では、０は水平スプリッティングを示し、１は垂直スプリッティングを示す。クワッドツリースプリッティングでは、クワッドツリーノードが、ブロックを、等しいサイズをもつ４つのサブブロックに水平および垂直にスプリットするので、スプリッティングタイプを示す必要がない。したがって、ＱＴＢＴ構造１３０の領域ツリーレベルについての（スプリッティング情報などの）シンタックス要素（すなわち、実線）と、ＱＴＢＴ構造１３０の予測ツリーレベルについての（スプリッティング情報などの）シンタックス要素（すなわち、破線）とを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。ＱＴＢＴ構造１３０の端末リーフノードによって表されるＣＵについての、予測および変換データなどのビデオデータを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。

【0063】

[0080]概して、図２ＢのＣＴＵ１３２は、第１および第２のレベルにおいてＱＴＢＴ構造１３０のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、（サンプル中のＣＴＵ１３２のサイズを表す）ＣＴＵサイズと、最小クワッドツリーサイズ（最小許容クワッドツリーリーフノードサイズを表すＭｉｎＱＴＳｉｚｅ）と、最大バイナリツリーサイズ（最大許容バイナリツリールートノードサイズを表すＭａｘＢＴＳｉｚｅ）と、最大バイナリツリー深度（最大許容バイナリツリー深度を表すＭａｘＢＴＤｅｐｔｈ）と、最小バイナリツリーサイズ（最小許容バイナリツリーリーフノードサイズを表すＭｉｎＢＴＳｉｚｅ）とを含み得る。

【0064】

[0081]ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有し得、それらの各々は、クワッドツリー区分に従って区分され得る。すなわち、第１のレベルのノードは、（子ノードを有しない）リーフノードであるか、または４つの子ノードを有するかのいずれかである。ＱＴＢＴ構造１３０の例は、分岐のために実線を有する親ノードと子ノードとを含むようなノードを表す。第１のレベルのノードが最大許容バイナリツリールートノードサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、ノードは、それぞれのバイナリツリーによってさらに区分され得る。１つのノードのバイナリツリースプリッティングは、スプリットから生じるノードが最小許容バイナリツリーリーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容バイナリツリー深度（ＭａｘＢＴＤｅｐｔｈ）に達するまで反復され得る。ＱＴＢＴ構造１３０の例は、分岐のために破線を有するようなノードを表す。バイナリツリーリーフノードはＣＵと呼ばれ、ＣＵは、さらなる区分なしに予測（たとえば、イントラピクチャまたはインターピクチャ予測）および変換のために使用される。上記で説明されたように、ＣＵは「ビデオブロック」または「ブロック」と呼ばれることもある。

【0065】

[0082]ＱＴＢＴ区分構造の一例では、ＣＴＵサイズは、１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）としてセットされ、ＭｉｎＱＴＳｉｚｅは１６×１６としてセットされ、ＭａｘＢＴＳｉｚｅは６４×６４としてセットされ、（幅と高さの両方について）ＭｉｎＢＴＳｉｚｅは４としてセットされ、ＭａｘＢＴＤｅｐｔｈは４としてセットされる。クワッドツリー区分は、クワッドツリーリーフノードを生成するために、最初にＣＴＵに適用される。クワッドツリーリーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有し得る。クワッドツリーリーフノードが１２８×１２８である場合、リーフクワッドツリーノードは、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では、６４×６４）を超えるので、バイナリツリーによってさらにスプリットされないことがある。他の場合、クワッドツリーリーフノードは、バイナリツリーによってさらに区分され得る。したがって、クワッドツリーリーフノードはまた、バイナリツリーのためのルートノードであり、０としてのバイナリツリー深度を有する。バイナリツリー深度がＭａｘＢＴＤｅｐｔｈ（この例では４）に達したとき、さらなるスプリッティングは許可されない。ＭｉｎＢＴＳｉｚｅ（この例では、４）に等しい幅を有するバイナリツリーノードは、そのバイナリツリーノードのためにさらなる垂直スプリッティング（すなわち、幅の分割）が許可されないことを暗示する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有するバイナリツリーノードは、そのバイナリツリーノードのためにさらなる水平スプリッティング（すなわち、高さの分割）が許可されないことを暗示する。上述のように、バイナリツリーのリーフノードは、ＣＵと呼ばれ、さらなる区分なしに予測および変換に従ってさらに処理される。

【0066】

[0083]上記で紹介されたように、ビデオエンコーダ２００とビデオデコーダ３００とは、動きベクトル予測を実施するように構成され得る。ＨＥＶＣでは、予測ユニット（ＰＵ）のために、それぞれ、マージモード（スキップはマージの特殊な場合と見なされる）およびＡＭＶＰモードと称される２つのインター予測モードがある。ＡＭＶＰモードおよびマージモードでは、ビデオエンコーダ２００とビデオデコーダ３００とは、複数の動きベクトル予測子のための動きベクトル（ＭＶ）候補リストを維持する。現在のＰＵの、動きベクトル、ならびにマージモードにおける参照インデックスは、ＭＶ候補リストから１つの候補を選択することによって生成される。

【0067】

[0084]ＨＥＶＣの実装形態では、ＭＶ候補リストは、マージモードのための最高５つの候補とＡＭＶＰモードのための２つの候補とを含んでいる。マージ候補は、動き情報のセット、たとえば、両方の参照ピクチャリスト（リスト０およびリスト１）に対応する動きベクトルと、参照インデックスとを含み得る。マージインデックスによって識別されるマージ候補を受信することによって、ビデオデコーダ３００は、現在ブロックの予測のために使用される参照ピクチャならびに関連する動きベクトルを決定する。一方、ＡＭＶＰモードの下では、リスト０またはリスト１のいずれかからの可能な予測方向ごとに、ＡＭＶＰ候補が動きベクトルしか含んでいないので、ビデオデコーダ３００は、ＭＶ候補リストへのＭＶ予測子（ＭＶＰ）インデックスを受信する。ビデオデコーダ３００は、さらに、動きベクトル差（ＭＶＤ）と参照ピクチャを明示的に識別する参照インデックスとを受信する。ＡＭＶＰモードでは、予測される動きベクトルがさらに改良され得る。

【0068】

[0085]両方のモードのための候補は、同じ空間隣接ブロックおよび時間隣接ブロックから同様に導出される。ＨＥＶＣでは、ビデオエンコーダ２００とビデオデコーダ３００とは、特定のＰＵ（ＰＵ₀）について、図３Ａおよび図３Ｂに示されるように、隣接ブロックから空間ＭＶ候補を導出し得るが、ブロックから候補を生成する技法はマージモードとＡＭＶＰモードで異なる。

【0069】

[0086]図３Ａは、マージモードのためのブロック１４０の空間隣接候補を示す概念図である。図３Ｂは、ＡＭＶＰモードのためのブロック１４２の空間隣接候補を示す概念図である。マージモードでは、ビデオエンコーダ２００およびビデオデコーダ３００は、図３Ａに示されている順序で最高で４つの空間ＭＶ候補を導出し得る。順序は、左のブロック（０，Ａ１）、上のブロック（１，Ｂ１）、右上のブロック（２，Ｂ０）、左下のブロック（３，Ａ０）、および左上のブロック（４，Ｂ２）である。

【0070】

[0087]ＡＭＶＰモードでは、ビデオエンコーダ２００およびビデオデコーダ３００は、図３Ｂに示されるように、２つのグループ、すなわち、ブロック０と１とを含む左グループ、およびブロック２と３と４とを含む上グループに隣接ブロックを分割し得る。各グループについて、シグナリングされた参照インデックスによって示された参照ピクチャと同じ参照ピクチャを参照する近隣ブロック中の潜在的候補が、グループの最終候補を形成するために選定されるべき最高優先度を有する。すべての近隣ブロックが、同じ参照ピクチャを指す動きベクトルを含んでいるとは限らない可能性がある。したがって、そのような候補が発見され得ない場合、ビデオエンコーダ２００およびビデオデコーダ３００は、最終候補を形成するために第１の利用可能な候補をスケーリングし得る。したがって、時間距離差が補償され得る。

【0071】

[0088]ＨＥＶＣにおける時間動きベクトル予測がここで論じられる。ビデオエンコーダ２００およびビデオデコーダ３００は、時間動きベクトル予測子（ＴＭＶＰ）候補が有効であり利用可能である場合、それを空間動きベクトル候補の後にＭＶ候補リストへと追加するように構成され得る。ＴＭＶＰ候補に対する動きベクトル導出のプロセスは、マージモードとＡＭＶＰモードの両方に対して同じである。しかしながら、ＨＥＶＣでは、マージモードにおけるＴＭＶＰ候補に対するターゲット参照インデックスは０に設定される。

【0072】

[0089]図４Ａはブロック１５４（ＰＵ０）のための例示的なＴＭＶＰ候補を示し、図４Ｂは動きベクトルスケーリングプロセス１５６を示す。ＴＭＶＰ候補導出の主要なブロック位置は、併置された（collocated、コロケートされた）ＰＵの外側の右下のブロックである。この候補は、図４Ａではブロック「Ｔ」として示されている。ブロックＴの位置は、空間隣接候補を生成するために使用される左上のブロックへの偏りを補償するために使用される。しかしながら、そのブロックが現在のＣＴＢ行の外側に位置するか、または動き情報が利用可能ではない場合、ブロックはＰＵの中心ブロックと置換される。

【0073】

[0090]ビデオエンコーダ２００とビデオデコーダ３００とは、スライスレベルで示されている、コロケートされたピクチャのコロケートされたＰＵからＴＭＶＰ候補のための動きベクトルを導出し得る。コロケートされたＰＵのための動きベクトルは、コロケートされたＭＶと呼ばれる。ＡＶＣにおける時間ダイレクトモードと同様に、ＴＭＶＰ動きベクトル候補を導出するために、コロケートされたＭＶは、図４Ｂに示されるように、時間距離差分を補償するためにスケーリングされ得る。

【0074】

[0091]次に、本明細書で説明される技法に関係するＨＥＶＣにおける動き予測の他の態様について説明する。ビデオエンコーダ２００とビデオデコーダ３００とは、動きベクトルスケーリングを実施するように構成され得る。動きベクトルの値がプレゼンテーション時間におけるピクチャの距離に比例することが想定される。動きベクトルは、２つのピクチャ、すなわち、参照ピクチャと、動きベクトルを含んでいるピクチャ（すなわち、含有ピクチャ）とを関連付ける。他の動きベクトルを予測するために動きベクトルが利用されるとき、含有ピクチャと参照ピクチャとの距離は、ピクチャ順序カウント（ＰＯＣ）値に基づいて計算される。

【0075】

[0092]予測されるべき動きベクトルについて、関連する含有ピクチャは、参照ピクチャとは異なり得る。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、ＰＯＣに基づいて新しい距離を計算し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、これらの２つのＰＯＣ距離に基づいて動きベクトルをスケーリングし得る。空間的な隣接候補にとって、２つの動きベクトルに対する含有ピクチャは同じであるが、参照ピクチャは異なる。ＨＥＶＣでは、空間的および時間的な隣接候補に対してＴＭＶＰとＡＭＶＰの両方に動きベクトルスケーリングが適用される。

【0076】

[0093]ビデオエンコーダ２００とビデオデコーダ３００とは、擬似（artificial）動きベクトル候補生成を実施するように構成され得る。動きベクトル候補リストが完全でない場合、擬似動きベクトル候補が生成され、リストが満たされるまでリストの最後に挿入される。

【0077】

[0094]マージモードでは、２つのタイプの擬似ＭＶ候補、すなわち、Ｂスライスについてのみ導出された複合候補と、第１のタイプが十分な擬似候補を与えない場合にＡＭＶＰのためにのみ使用されるゼロ候補とがある。すでに候補リスト中にあり、必要な動き情報を有する候補の各ペアについて、双方向複合動きベクトル候補が、リスト０中のピクチャを参照する第１の候補の動きベクトルとリスト１中のピクチャを参照する第２の候補の動きベクトルとの組合せによって導出される。

【0078】

[0095]ビデオエンコーダ２００とビデオデコーダ３００とは、候補挿入のためのプルーニングプロセスを実施するように構成され得る。異なるブロックからの候補は偶然同じであり得、これはマージ／ＡＭＶＰ候補リストの効率を減少させる。この問題を解決するために、プルーニングプロセスが適用される。プルーニングプロセスを実装するとき、ビデオエンコーダ２００またはビデオデコーダ３００は、同一の候補を挿入するのをある程度回避するために、ある候補を現在の候補リストの中の他の候補と比較する。複雑さを低減するために、それぞれの潜在的な候補をすべての他の既存の候補と比較する代わりに、限られた数のプルーニングプロセスのみが適用される。

【0079】

[0096]ビデオエンコーダ２００とビデオデコーダ３００とは、テンプレートマッチング予測を実施するように構成され得る。テンプレートマッチング予測は、フレームレートアップコンバージョン（ＦＲＵＣ）技法に基づく特殊なマージモードである。このモードでは、ブロックの部分的な動き情報は、シグナリングされないが、デコーダ側で導出される。テンプレートマッチングは、ＡＭＶＰモードと通常のマージモードとの両方に適用され得る。ＡＭＶＰモードでは、ＭＶＰ候補の選択は、現在のブロックのテンプレートと参照ブロックのテンプレートとの間の最小の差に達するテンプレートをピックアップするためにテンプレートマッチングに基づいて決定される。通常のマージモードでは、テンプレートマッチングモードフラグが、テンプレートマッチングの使用を示すためにシグナリングされる。次いで、ビデオエンコーダ２００とビデオデコーダ３００とは、ＭＶ改良のためにマージインデックスによって示されるマージ候補にテンプレートマッチングを適用し得る。

【0080】

[0097]図５に示されているように、テンプレートマッチングは、現在のピクチャ中の現在のテンプレート１６２と参照ピクチャ中の参照テンプレート１６４（テンプレートと同じサイズ）との間の最も近接した一致を見つけることによって現在のＣＵ１６０の動き情報を導出するために使用される。ＡＭＶＰ候補が最初のマッチングエラーに基づいて選択される場合、ビデオエンコーダ２００とビデオデコーダ３００とは、テンプレートマッチングを使用してＭＶＰを改良し得る。マージ候補がシグナリングされたマージインデックスによって示される場合、ビデオエンコーダ２００とビデオデコーダ３００とは、テンプレートマッチングによって独立してＬ０およびＬ１に対応するＭＶを改良し、次いで、より正確なＭＶに基づいてあまり正確でないＭＶをさらに改良するように構成され得る。

【0081】

[0098]ビデオエンコーダ２００とビデオデコーダ３００とは、コスト関数を決定するように構成され得る。動きベクトルが分数サンプル位置を指すとき、動き補償補間が必要とされる。複雑さを低減するために、通常の８タップＤＣＴ－ＩＦ補間の代わりに双一次補間が、参照ピクチャ上にテンプレートを生成するためにテンプレートマッチングのために使用され得る。テンプレートマッチングのマッチングコストＣは、次のように計算される。

【0082】

【数1】

【0083】

ここで、ｗは、０、１、２、３または４などの整数に設定され得る重み付け係数であり、ＭＶとＭＶ^sとは、それぞれ、現在テストしているＭＶと最初のＭＶ（すなわち、ＡＭＶＰモードにおけるＭＶＰ候補またはマージモードにおけるマージされた動き）を示す。ＳＡＤは、テンプレートマッチングのマッチングコストとして使用される。

【0084】

[0099]テンプレートマッチングが使用されるとき、ビデオエンコーダ２００とビデオデコーダ３００とは、ルーマサンプルのみを使用して動きを改良するように構成され得る。導出された動きは、動き補償（ＭＣ）インター予測のためにルーマとクロマの両方のために使用され得る。ＭＶが決定された後に、ルーマのために８タップ補間フィルタを使用し、クロマのために４タップ補間フィルタを使用して最終的なＭＣが実施される。

【0085】

[0100]ビデオエンコーダ２００とビデオデコーダ３００とは、探索プロセスを決定し、実装するように構成され得る。ＭＶ改良は、テンプレートマッチングコストの基準と階層構造とをもつパターンベースのＭＶ探索である。ＭＶ改良のためにダイヤモンド探索とクロス探索との２つの探索パターンがサポートされる。階層構造は、粗いＭＶＤ精度（たとえば、クォーターペル）において開始し、精細なＭＶＤ精度（たとえば、１／８ペル）において終了するＭＶを改良するための反復プロセスを指定する。ＭＶは、ダイヤモンドパターンをもつ１／４ルーマサンプルＭＶＤ精度で直接探索され、その後、クロスパターンをもつ１／４ルーマサンプルＭＶＤ精度が続き、次いで、クロスパターンをもつ１／８ルーマサンプルＭＶＤ改良が続き得る。ＭＶ改良の探索範囲は、最初のＭＶの周りの（－８，＋８）ルーマサンプルに等しく設定される。現在のブロックが双予測のものであるとき、両方のＭＶは、独立して改良され、次いで、（マッチングコストの点で）それらのうちの最良のＭＶが、ＢＣＷ重み値を用いて他のＭＶをさらに改良するために優先するものとして設定される。

【0086】

[0101]ビデオエンコーダ２００とビデオデコーダ３００とは、アフィン予測を実施するように構成され得る。ＨＥＶＣでは、変換動きモデルのみが、動き補償予測（ＭＣＰ）のために適用される。実世界にいる間、多くの種類の動き、たとえばズームイン／アウト、回転、遠近法の動きおよび他の不規則な動きがある。ＶＴＭ－６では、ブロックベースのアフィン変換動き補償予測が適用される。図６Ａに示されているように、ブロックのアフィン動きフィールドは、４パラメータモデルとも呼ばれる、２つの制御点（１７０Ａおよび１７０Ｂ）の動き情報によって記述される。図６Ｂに示されているように、ブロックのアフィン動きフィールドは、６パラメータモデルとも呼ばれる、３つの制御点（１７２Ａ～１７２Ｃ）と３つの制御点動きベクトルとの動き情報によって記述される。

【0087】

[0102]４パラメータアフィン動きモデルの場合、ブロック中のサンプルロケーション（ｘ，ｙ）において動きベクトルは、次のように導出される。

【0088】

【数2】

【0089】

[0103]６パラメータアフィン動きモデルの場合、ブロック中のサンプルロケーション（ｘ，ｙ）において動きベクトルは、次のように導出される。

【0090】

【数3】

【0091】

[0104]上記の式では、（ｍｖ_0x，ｍｖ_0y）は左上隅のＣＰＭＶを表し、（ｍｖ_1x，ｍｖ_1y）および（ｍｖ_2x，ｍｖ_2y）は、それぞれ、右上隅および左下隅のＣＰＭＶを表す。

【0092】

[0105]動き補償予測を簡略化するために、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロックベースのアフィン変換予測を適用するように構成され得る。図７は、１６個の４×４ルーマサブブロックを含む１６×１６ルーマブロックであるブロック１７０を示す。各４×４ルーマサブブロックの動きベクトルを導出するために、ビデオエンコーダ２００とビデオデコーダ３００とは、上記の式に従って図７に示されているように各サブブロックの中心サンプルの動きベクトルを計算し、１／１６の分数確度に丸められる。矢印１７２Ａおよび１７２Ｂは、サブブロックのための１６個の動きベクトルのうちの２つを識別する。その他の１４個の矢印も動きベクトルに対応するが、図７では標示されていない。動き補償補間フィルタは、導出された動きベクトルで各サブブロックの予測を生成するために適用される。クロマ成分のサブブロックサイズも、４×４になるように設定される。４×４クロマサブブロックのＭＶは、４つの対応する４×４ルーマサブブロックのＭＶの平均として計算される。

【0093】

[0106]ビデオエンコーダ２００とビデオデコーダ３００とは、アフィンモードのためのオプティカルフローを用いて予測改良を実施するように構成され得る。オプティカルフローを用いた予測改良（ＰＲＯＦ:prediction refinement with optical flow）は、動き補償のためのメモリアクセス帯域幅を増加させることなしにサブブロックベースのアフィン動き補償予測を改良するために使用される。ＶＶＣでは、サブブロックベースのアフィン動き補償が実施された後、ルーマ予測サンプルは、オプティカルフロー式によって導出された差を加算することによって改良される。

【0094】

[0107]ＰＲＯＦの例示的な一実装形態では、ビデオデコーダ３００は、以下の４つのステップを実施するように構成され得る。

【0095】

ステップ１）サブブロックベースのアフィンＭＣが、サブブロック予測Ｉ（ｉ，ｊ）を生成するために実施される。

【0096】

ステップ２）サブブロック予測の空間勾配ｇ_x（ｉ，ｊ）およびｇ_y（ｉ，ｊ）が、３タップフィルタ［－１，０，１］を使用して各サンプルロケーションにおいて計算される。勾配計算は、ＢＤＯＦにおける勾配計算とまったく同じである。

【0097】

【数4】

【0098】

ここで、ｓｈｉｆｔ１は、勾配の精度を制御するために使用される。サブブロック（たとえば、４×４）予測は、勾配計算のための両側の１つのサンプルだけ延長される。追加のメモリ帯域幅および追加の補間計算を回避するために、拡張された境界上のそれらの拡張されたサンプルは、参照ピクチャ中の最も近い整数ピクセル位置からコピーされる。

【0099】

ステップ３）ルーマ予測改良が、以下のオプティカルフロー式によって計算される。

【0100】

【数5】

【0101】

ここで、Δｖ（ｉ，ｊ）は、図８に示されているように、ｖ（ｉ，ｊ）によって示されるサンプルロケーション（ｉ，ｊ）のために計算されたサンプルＭＶと、サンプル（ｉ，ｊ）が属するサブブロックのサブブロックＭＶとの間の差である。Δｖ（ｉ，ｊ）は、１／３２のルーマサンプル精度の単位で量子化される。図８は、サブブロックＭＶ Ｖ_SBとピクセルΔｖ（ｉ，ｊ）（矢印１９０）とを示す。

【0102】

[0108]アフィンモデルパラメータとサブブロックの中心に対するサンプルロケーションとがサブブロックごとに変更されないので、Δｖ（ｉ，ｊ）は、第１のサブブロックについて計算され、同じＣＵ中の他のサブブロックのために再使用され得る。ｄｘ（ｉ，ｊ）およびｄｙ（ｉ，ｊ）をサンプルロケーション（ｉ，ｊ）からサブブロック（ｘ_SB，ｙ_SB）の中心に向けた水平オフセットおよび垂直オフセットであるとすると、Δｖ（ｉ、ｊ）は、以下の式によって導出され得る。

【0103】

【数6】

【0104】

[0109]精度を保つために、サブブロック（ｘ_SB，ｙ_SB）の中心は、（（Ｗ_SB－１）／２，（Ｈ_SB－１）／２）として計算され、ここで、Ｗ_SBおよびＨ_SBは、それぞれ、サブブロックの幅および高さである。

【0105】

[0110]４パラメータアフィンモデルの場合、次のようになる。

【0106】

【数7】

【0107】

[0111]６パラメータアフィンモデルの場合、次のようになる。

【0108】

【数8】

【0109】

ここで、（ｖ_0x，ｖ_0y)、（ｖ_1x，ｖ_1y）および（ｖ_2x，ｖ_2y）は、左上、右上、および左下の制御点動きベクトルであり、ｗおよびｈは、ＣＵの幅および高さである。

【0110】

ステップ４）最後に、ルーマ予測改良ΔＩ（ｉ，ｊ）がサブブロック予測Ｉ（ｉ，ｊ）に加算される。最終的な予測Ｉ’は、以下の式として生成される。

【0111】

【数9】

【0112】

[0112]ＰＲＯＦは、アフィンコーディングされたＣＵの場合２つの事例で適用されない。１）すべての制御点ＭＶが同じであり、これは、ＣＵが並進運動しか有さないことを示す。２）サブブロックベースのアフィンＭＣが、大きいメモリアクセス帯域幅要件を回避するためにＣＵベースのＭＣに劣化されているので、アフィン動きパラメータが指定された制限よりも大きい。

【0113】

[0113]ビデオエンコーダ２００とビデオデコーダ３００とは、ＰＲＯＦを用いるアフィン動き推定の符号化の複雑性を低減するために高速符号化プロセスを適用するように構成され得る。ＰＲＯＦは、後続の２つの状況ではアフィン動き推定段階において適用されない。ａ）このＣＵがルートブロックでなく、それの親ブロックが、それの最良のモードとしてアフィンモードを用いてコーディングされていない場合、現在のＣＵが最良のモードとしてアフィンモードを使用する可能性が低いので、ＰＲＯＦは適用されない。４つのアフィンパラメータ（Ｃ，Ｄ，Ｅ，Ｆ）の大きさがすべて、あらかじめ定義されたしきい値よりも小さく、現在のピクチャが低遅延ピクチャでない場合、ＰＲＯＦによって導入される改善がこの事例では小さいので、ＰＲＯＦは適用されない。このようにして、ＰＲＯＦを用いたアフィン動き推定は、加速され得る。

【0114】

[0114]既存の技法は、いくつかの潜在的な問題を有する。ＣＰＭＶのシグナリングオーバーヘッドは、インター予測の並進モデルのものと比較したとき、ブロックについて著しく増加し得る。したがって、ＣＰＭＶのためのデコーダ側の改良は、ＣＰＭＶの精度を改善し、シグナリングオーバーヘッドを低減し得る。本開示では、これらの問題のいくつかに対処し得る技法について説明する。

【0115】

[0115]（以下、ＡｆｆＴＭとして短縮される）テンプレートマッチングベースのアフィン予測は、アフィンコード化ブロックのＣＰＭＶを改良するためのデコーダ側のインター予測モードである。テンプレートマッチングと同様に、上記で説明されたように、ビデオデコーダ３００は、最初に決定されたＣＰＭＶに基づいて最初の参照テンプレートブロックを決定し、次いで、低減されたマッチングコストを有する他の参照テンプレートのための探索エリア内を探索し得る。ビデオデコーダ３００は、次いで、最初のＣＰＭＶの代わりになるＣＰＭＶの最良のセットを決定し得る。

【0116】

[0116]ビデオエンコーダ２００とビデオデコーダ３００とは、参照テンプレートブロックを決定するように構成され得る。参照テンプレートブロックのサンプルは、ＣＰＭＶを使用して導出される動きフィールドに基づいてサブブロックベースで生成される。現在のブロックと対応する現在のテンプレートブロック１９２とが同じアフィン動きフィールド内に位置するという仮定の下で、ビデオエンコーダ２００とビデオデコーダ３００とは、式（２－１）または（２－２）を使用して、サブブロックのＭＶ（たとえば、現在のテンプレートブロック１９２上の図９ＡのＡ₀，Ａ₁，．．．，Ａ_n-1およびＬ₀，Ｌ_1,．．．Ｌ_n-1）を決定することができ、ここで、サンプルロケーション（ｘ，ｙ）は、それぞれのサブブロックの重心である。次いで、ビデオエンコーダ２００とビデオデコーダ３００とは、それぞれのサブブロックＭＶに基づいて参照テンプレートブロックのためのサブブロックのサンプルをフェッチまたは補間する。図９Ｂが示す例における参照テンプレート１９４Ａによって示されているように、参照テンプレートサブブロックが予測ブロックの任意の境界サブブロックのすぐ横にある必要はない。さらに、参照テンプレートブロック上にサブブロックサンプルを生成するために使用される補間フィルタは、フィルタなし（したがって、参照サンプルをフェッチする前にサブブロックＭＶが整数精度にクリッピングまたは丸められる）、２タップ双一次フィルタ、ＡＶＣの場合のように６タップＤＣＴＩＦ、ＨＥＶＣもしくはＶＶＣの場合のように８タップＤＣＴＩＦ、またはＶＶＣの場合のように切替え可能なフィルタのうちの任意の１つまたは複数であり得る。

【0117】

[0117]別の例では、図９Ｃの参照テンプレート１９４Ｂによって示されているように、参照テンプレートサブブロックは、対応する予測ブロックの境界サブブロックのすぐ横にあることができる。したがって、各サブブロックのＭＶ（Ａ₀，．．．，_n-1およびＬ_0,...,n-1）は、現在のブロックの境界上に位置する対応するすぐ隣の隣接サブブロックと同一である。

【0118】

[0118]別の例では、現在のテンプレートブロック上のＡ₀およびＬ₀以外のサブブロックのＭＶは、サブブロック自体と現在のブロックの境界上のそれのすぐ隣の隣接サブブロックとの間の重心上にあるサンプルロケーション（ｘ，ｙ）において式（２－１）または（２－２）を通して計算され得る。Ａ₀およびＬ₀について、サンプルロケーション（ｘ，ｙ）は、Ａ₀とＬ₀との両方が存在する場合は（０，０）であり、Ａ₀しか存在しない場合はＡ₀と現在のブロック上の第１のサブブロックとの間の重心であり、Ｌ₀しか存在しない場合はＬ₀と現在のブロック上の第１のサブブロックとの間の重心であり得る。

【0119】

[0119]別の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、参照テンプレートブロックにＰＲＯＦを適用するように構成され得る。

【0120】

[0120]別の例では、すべてのＣＰＭＶが互いに同一であるとき、ビデオエンコーダ２００とビデオデコーダ３００とは、上記で説明されたように、ＡｆｆＴＭの予測プロセスを通常のブロックベースのテンプレートマッチングのものと置き換え得る。ＣＰＭＶのうちの１つは、最初のＭＶと見なされ、ブロックベースのテンプレートマッチングのために使用され得る。

【0121】

[0121]別の例では、すべての最初のＣＰＭＶが互いに同一であるとき、ビデオエンコーダ２００とビデオデコーダ３００とは、最初のＣＰＭＶを改良するためにＡｆｆＴＭより前に、上記で説明されたように、通常のブロックベースのテンプレートマッチングを実施するように構成され得る。ＣＰＭＶのうちの１つは、通常のテンプレートマッチングプロセスのための最初のＭＶと見なされ得る。この例は、上記で説明されたように、並進モデルの探索にさらに拡張され得る。

【0122】

[0122]ビデオエンコーダ２００とビデオデコーダ３００とは、探索プロセスを実施するように構成され得る。このセクションは、ＡｆｆＴＭのためのいくつかの探索プロセスを提示する。一般性を失うことなく、すべてのアルゴリズムが、６パラメータアフィンモデルを用いて提示される。これらのアルゴリズムは、記述から左下のＣＰＭＶを単に除去することによって簡単に４パラメータアフィンモードのために変換され得る。探索範囲、たとえば、±２、±４、±６、±８ピクセルは、あらかじめ定義されるかまたはシグナリングされ得る。ＣＰＭＶの最初の探索点は、ＡＭＶＰ候補、マージ候補の参照ピクチャリストに対応するＣＰＭＶ、またはブロックの参照ピクチャリストに対応するＣＰＭＶのいずれかであり得る。

【0123】

[0123]ビデオエンコーダ２００とビデオデコーダ３００とは、方形探索を実施するように構成され得る。方形探索は、ＣＵのＣＰＭＶを順番に、一度に１つのベクトルずつ、左上のＣＰＭＶから開始し、次に、右上のものを行い、左下のもので終わるように改良するために方形パターンを適用する。ＣＵがこの第３のＣＰＭＶを有するために６パラメータモデルのものであるときにのみ左下のＣＰＭＶが探索されることに留意されたい。方形探索パターンは、これらの９つのデルタ動きベクトルに基づいて一連のデルタ動きベクトル、ｄＭｖ＝｛（０，０），（－１，１），（０，１），（１，１），（１，０），（１，－１），（０，－１），（－１，－１），（－１，０）｝または任意の他の順序として指定され得る。一般性を失うことなく、このセクションは、上述のｄＭｖを、ＣＵが、それぞれ、アフィンＡＭＶＰモードおよびアフィンマージモードによってコーディングされているときＡＭＶＲインデックスまたは１／１６の表示に従って決定される最初の探索ステップサイズｓ₀および最小探索ステップサイズｓ_minを用いる一例として取る。すべてのｉ∈｛０，１，．．．，ｍｉｎ｝について、ｓ₀の値は、ｓ_min以上に設定され得、ｓ_i+1は、ｓ_iに等しく設定される。方形探索プロセスは、次のように指定される７ステップのプロセスである。
１． 探索ステップサイズのセット｛ｓ₀，ｓ₁，．．．，ｓ_min｝、ｄＭｖならびに、それぞれ、左上、右上、および左下のＣＰＭＶを表すｍｖ₀ ⁽⁰⁾、ｍｖ₁ ⁽⁰⁾およびｍｖ₂ ⁽⁰⁾を仮定すれば、探索プロセスは、反復ｉ＝０において開始する。
２． ｓ_i、ｄＭｖ、および｛ｍｖ₀ ⁽ⁱ⁾，ｍｖ₁ ⁽ⁱ⁾，ｍｖ₂ ⁽ⁱ⁾｝を用いて、探索サブプロセスは、始めにｍｖ₀ ⁽ⁱ⁾、次に、ｍｖ₁ ⁽ⁱ⁾、最後にｍｖ₁ ⁽ⁱ⁾を探索するために連続プロセスを開始する。（順番は、いくつかの例では、｛ｍｖ₂ ⁽ⁱ⁾，ｍｖ₁ ⁽ⁱ⁾，ｍｖ₀ ⁽ⁱ⁾｝であり得ることに留意されたい。）
３． ｓ_i、ｄＭｖおよびｍｖ₀ ⁽ⁱ⁾を用いて、探索サブプロセスは、ＣＰＭＶのこれらのセットのすべてのために個々にそれぞれのテンプレートマッチングコストを計算する。Ｓ＝｛ｍｖ₀ ⁽ⁱ⁾＋ｄ＊ｓ_i，ｍｖ₁ ⁽ⁱ⁾，ｍｖ₂ ⁽ⁱ⁾、すべてのｄ∈ｄＭｖについて｝。この探索サブプロセスは、ｍｖ₀ ^(i)*＝ｍｖ₀ ⁽ⁱ⁾＋ａｒｇｍｉｎ_d｛ｃｏｓｔ（Ｓ₀），ｃｏｓｔ（Ｓ₁），．．．，ｃｏｓｔ（Ｓ₈）｝＊ｓ_iとして示され得る。
４． ステップ３と同様に、探索サブプロセスは、Ｓ＝｛ｍｖ₀ ^(i)*，ｍｖ₁ ⁽ⁱ⁾＋ｄ＊ｓ_i，ｍｖ₂ ⁽ⁱ⁾、すべてのｄ∈ｄＭｖについて｝のためのそれぞれのテンプレートマッチングコストを計算し、最良の結果は、ｍｖ₁ ^(i)*として示される。
５． ステップ３と同様に、探索サブプロセスは、Ｓ＝｛ｍｖ₀ ^(i)*，ｍｖ₁ ^(i)*，ｍｖ₂ ⁽ⁱ⁾＋ｄ＊ｓ_i、すべてのｄ∈ｄＭｖについて｝のためのそれぞれのテンプレートマッチングコストを計算し、最良の結果は、ｍｖ₂ ^(i)*として示される。
６． すべてのＣＰＭＶがステップ３～５において探索されるまで、探索サブプロセスの出力は、｛ｍｖ₀ ^(i)*，ｍｖ₁ ^(i)*，ｍｖ₂ ^(i)*｝である。

【0124】

・探索プロセスが、探索ステップサイズがｓ_iであるときにあらかじめ定義されたしきい値を超える回数ステップ６を訪問した場合、探索プロセスは、｛ｍｖ₀ ⁽ⁱ⁺¹⁾，ｍｖ₁ ⁽ⁱ⁺¹⁾，ｍｖ₂ ⁽ⁱ⁺¹⁾｝をサブプロセス出力に等しく設定し、ステップ７に進む。

【0125】

・そうでなく、サブプロセス出力が、｛ｍｖ₀ ⁽ⁱ⁾，ｍｖ₁ ⁽ⁱ⁾，ｍｖ₂ ⁽ⁱ⁾｝と正確に同じである場合、探索プロセスは、｛ｍｖ₀ ⁽ⁱ⁺¹⁾，ｍｖ₁ ⁽ⁱ⁺¹⁾，ｍｖ₂ ⁽ⁱ⁺¹⁾｝をサブプロセス出力と等しく設定し、ステップ７に進む。

【0126】

・そうでない場合（サブプロセス出力が、｛ｍｖ₀ ⁽ⁱ⁾，ｍｖ₁ ⁽ⁱ⁾，ｍｖ₂ ⁽ⁱ⁾｝と正確に同じでない場合）、｛ｍｖ₀ ⁽ⁱ⁾，ｍｖ₁ ⁽ⁱ⁾，ｍｖ₂ ⁽ⁱ⁾｝は、｛ｍｖ₀ ^(i)*，ｍｖ₁ ^(i)*，ｍｖ₂ ^(i)*｝と等しく設定され、探索プロセスは、ステップ２において続く。
７． ｓ_iがｓ_minに等しくない場合、探索プロセスは、ｉをｉ＋１に等しく設定し、ステップ２に戻る。そうでない場合、探索プロセスは、出力｛ｍｖ₀ ⁽ⁱ⁺¹⁾，ｍｖ₁ ⁽ⁱ⁺¹⁾，ｍｖ₂ ⁽ⁱ⁺¹⁾｝で終了する。

【0127】

[0124]ビデオエンコーダ２００とビデオデコーダ３００とは、クロス探索を実施するように構成され得る。クロス探索は、ＣＰＭＶを改良するためにクロスパターンを用いるものである。それの探索プロセスは、デルタ動きベクトルが別様に定義されることを除いて方形探索と同一である。この探索パターンのデルタ動きベクトルは、ｄＭｖ＝｛（０，０），（－１，０），（０，－１）（０，１），（１，０）｝として定義される。

【0128】

[0125]ビデオエンコーダ２００とビデオデコーダ３００とは、対角探索を実施するように構成され得る。対角探索は、ＣＰＭＶを改良するために対角パターンを用いるものである。それの探索プロセスは、デルタ動きベクトルがｄＭｖ＝｛（０，０），（－１，－１），（－１，１），（１，１），（１，－１）｝のように別様に定義されることを除いて方形探索と同一である。

【0129】

[0126]ビデオエンコーダ２００とビデオデコーダ３００とは、ダイヤモンド探索を実施するように構成され得る。ダイヤモンド探索は、ＣＰＭＶを改良するために対角パターンを用いるものである。それの探索プロセスは、デルタ動きベクトルがｄＭｖ＝｛（０，０），（０，２），（１，１），（２，０），（１，－１），（０，－２），（－１，－１），（－２，０），（－１，１）｝のように別様に定義されることを除いて方形探索と同一である。

【0130】

[0127]別の例では、ダイヤモンド探索の出力は、クロス探索のための入力として使用され得、クロス探索の出力は、組み合わされた探索プロセスの最終的な出力として扱われる。

【0131】

[0128]ビデオエンコーダ２００とビデオデコーダ３００とは、２パス８点探索を実施するように構成され得る。２パス８点探索は、それの探索プロセス中に条件付きで使用される２つの探索パターン（すなわち、クロスパターンおよび対角パターン）を用いる探索プロセスである。それの探索プロセスは、ステップ３～５を除いて方形探索と同一である。２パス８点探索では、ｄＭＶは、２つのセットのデルタ動きベクトル、ｄＭｖ₀＝｛（０，０），（－１，０），（０，－１）（０，１），（１，０）｝およびｄＭｖ₁＝｛（－１，－１），（－１，１），（１，１），（１，－１）｝）を備える。下記は、方形探索に対する差を示す。
１～２．これらのステップは、方形探索のためのものと同じである。
３． ｓ_i、ｄＭｖおよびｍｖ₀ ⁽ⁱ⁾を用いて、探索サブプロセスは、ＣＰＭＶのこれらのセットのすべてのために個々にそれぞれのテンプレートマッチングコストを計算する。Ｓ＝｛ｍｖ₀ ⁽ⁱ⁾＋ｄ＊ｓ_i，ｍｖ₁ ⁽ⁱ⁾，ｍｖ₂ ⁽ⁱ⁾、すべてのｄ∈ｄＭｖ₀について｝。この探索サブプロセスは、ｄ₀ ^*＝ａｒｇｍｉｎ_d｛ｃｏｓｔ（Ｓ₀），ｃｏｓｔ（Ｓ₁），．．．，ｃｏｓｔ（Ｓ₅）｝として示され得る。
次いで、ｄ₀ ^*が（０，０）に等しくなる場合、ｍｖ₀ ^(i)*は、ｍｖ₀ ⁽ⁱ⁾に等しく設定される。
そうでない場合、サブプロセスは、Ｓ＝｛ｍｖ₀ ⁽ⁱ⁾＋ｄ＊ｓ_i，ｍｖ₁ ⁽ⁱ⁾，ｍｖ２⁽ⁱ⁾、すべてのｄ∈ｄＭｖ₁ Ｕ ｄ₀ ^*について｝のためのそれぞれのテンプレートマッチングコストを計算し、それらの最良のデルタ動きベクトルは、ｄ₁ ^*として示される。結果は、ｍｖ₀ ^(i)*＝ｍｖ₀ ⁽ⁱ⁾＋ｄ₁ ^*＊ｓ_iである。
４． ステップ３と同様に、探索サブプロセスは、Ｓ＝｛ｍｖ₀ ^(i)*，ｍｖ₁ ⁽ⁱ⁾＋ｄ＊ｓ_i, ｍｖ₂ ⁽ⁱ⁾、すべてのｄ∈ｄＭｖ₀について｝のためのそれぞれのテンプレートマッチングコストを計算し、必要なときに、他のＳ＝｛ｍｖ₀ ^(i)*，ｍｖ₁ ⁽ⁱ⁾＋ｄ＊ｓ_i, ｍｖ₂ ⁽ⁱ⁾、すべてのｄ∈ｄＭｖ₁ Ｕ ｄ₀ ^*について｝のためのそれぞれのテンプレートマッチングコストを計算する。最良の探索結果は、ｍｖ₁ ^(i)*＝ ｍｖ₁ ⁽ⁱ⁾＋ｄ₁ ^*＊ｓ_i（ｄ₀ ^*≠（０，０）の場合)またはｍｖ₁ ⁽ⁱ⁾(ｄ₀ ^*＝（０，０）の場合）として示される。
５． ステップ３と同様に、探索サブプロセスは、Ｓ＝｛ｍｖ₀ ^(i)*，ｍｖ₁ ^(i)*，ｍｖ₂ ⁽ⁱ⁾＋ｄ＊ｓ_i、すべてのｄ∈ｄＭｖ₀について｝のためのそれぞれのテンプレートマッチングコストを計算し、必要なときに、他のＳ＝｛ｍｖ₀ ^(i)*，ｍｖ１⁽ⁱ⁾，ｍｖ₂ ⁽ⁱ⁾＋ｄ＊ｓ_i、すべてのｄ∈ｄＭｖ₁ Ｕ ｄ₀ ^*について｝のためのそれぞれのテンプレートマッチングコストを計算する。最良の探索結果は、ｍｖ₂ ^(i)*＝ｍｖ₂ ⁽ⁱ⁾＋ｄ₁ ^*＊ｓ_i（ｄ₀ ^*≠（０，０）の場合）またはｍｖ₂ ⁽ⁱ⁾（ｄ₀ ^*＝（０，０）の場合）として示される。
６～７． これらのステップは、方形探索のためのものと同じである。

【0132】

[0129]ビデオエンコーダ２００とビデオデコーダ３００とは、すべてのＣＰＭＶを同時に更新するために勾配ベースの探索を実施するように構成され得る。最初のＣＰＭＶが｛ｍｖ₀ ⁽⁰⁾，ｍｖ₁ ⁽⁰⁾，ｍｖ₂ ⁽⁰⁾｝であると仮定すると、ＣＰＭＶは、サンプル領域勾配値を水平および垂直に計算し、予測残余（すなわち、現在のテンプレートブロックと参照テンプレートブロックとの間でデルタ）を計算するために使用される参照テンプレートブロックを生成するために使用される。次いで、これらの値は、所与のＣＰＭＶを更新するために勾配ベースの探索において使用される。｛ｍｖ₀ ⁽¹⁾，ｍｖ₁ ⁽¹⁾，ｍｖ₂ ⁽¹⁾｝として示される新しいＣＰＭＶは、次いで、勾配ベースの探索の別の反復への入力として働く。反復プロセスは、条件が満たされるときに終了し得る。条件は、たとえば、反復の数があらかじめ定義された（またはシグナリングされた）しきい値を超えることまたはＣＰＭＶが２つの反復の間で変化しないことであり得る。

【0133】

[0130]ビデオエンコーダ２００とビデオデコーダ３００とは、並進モデル探索を実施するように構成され得る。上述の探索プロセスが適用する前に、それの間に、またはそれの後にすべてのＣＰＭＶが偶然同じになるとき、ＡｆｆＴＭのすべての探索プロセスは、終了し、最良のＣＰＭＶのうちの１つ（たとえば、すべてのＣＰＭＶが同じであるのでランダムの１つ）が、さらなる動きベクトルの改良のためのそれの最初の探索点として、上記のテンプレートマッチング予測で説明されたように、通常のブロックベースのテンプレートマッチングで使用される。

【0134】

[0131]ビデオエンコーダ２００とビデオデコーダ３００とは、テンプレートマッチングコストを計算するように構成され得る。テンプレートマッチングコストは、ＳＡＤ、絶対変換差分和（ＳＡＴＤ）、誤差平方和（ＳＳＥ）、平均除去絶対差分和（ＭＲＳＡＤ）、平均除去絶対変換差分和（ＭＲＳＡＴＤ）のメトリックのうちの１つとして定義（またはシグナリング）され得る。照明補償が現在処理しているブロックのために使用される場合、ＭＲＳＡＤが条件付きで使用され得る。

【0135】

[0132]別の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、テンプレートブロック上の各サンプルにサンプルごとの重み値を割り当て得る。たとえば、Ｗ×Ｈのテンプレートブロックの場合、サンプルごとの重み値は、Ｎ＊ｗ_x,yとして示され、現在のブロックテンプレートおよび参照ブロックテンプレートのそれぞれのサンプルｃ_x,yおよびｐ_x,yに適用され得、ここで、Ｎは、正の整数（たとえば、１、２、３、４、５など）とすることができる。テンプレートマッチングコストは、簡略化のために次のように定義され得る。

【0136】

【数10】

【0137】

または

【0138】

【数11】

【0139】

[0133]局所照明補償（ＬＩＣ）またはＭＲＳＡＤが使用されるとき、式は、簡略化のために以下の通りであり得る。

【0140】

【数12】

【0141】

または

【0142】

【数13】

【0143】

これらの式では、Δ_x,yは、ｐ_x,yの平均値からｃ_x,yの平均値を減算したものである（要するに、ｍｅａｎ（ｐ_x,y）－ｍｅａｎ（ｃ_x,y）である）。左側のテンプレートの重み値の割当てが、上のテンプレートの重み値の転置であるので、上のテンプレートの重み値の割当てしか決定される必要がない。

【0144】

[0134]別の例では、サンプルごとの重み値は領域ベースであり得、テンプレートブロックは、１６個の領域に等しく分割され、領域内のテンプレートサンプルは、単一の重み値を共有する。

【0145】

[0135]図１０は、テンプレートマッチングコストを計算するために隣接ブロックのサンプルに割り当てられ得るサンプルごとの重みの例を示す概念図である。いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、現在のブロックにより近い領域により大きい重み値を割り当て得、および／またはより小さい重み値が、現在のブロックの左上隅により近い領域に割り当てられる。図１０に２つの例を示す。現在のＣＵ１９８Ａおよび１９８Ｂについての両方の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、現在のブロックにより近い領域により大きい重み値を割り当て得、一方、１９８Ａの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、さらに、現在のブロックの左上隅により近い領域のための重み値を調整して下げる。

【0146】

[0136]別の例では、上述のメトリックは、すべてのＣＰＭＶのデルタ動きベクトルがＡｆｆＴＭによって導出された状態で、上記のテンプレートマッチング予測で説明されたように、重み付け方式で加算され得る。

【0147】

[0137]ビデオエンコーダ２００とビデオデコーダ３００とは、双予測探索プロセスを実施するように構成され得る。いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、双予測ブロックの各参照ピクチャリストに対応するＣＰＭＶをＡｆｆＴＭによって個々に改良するように構成され得る。

【0148】

[0138]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、最初に、双予測ブロックの各参照ピクチャリストに対応するＣＰＭＶをＡｆｆＴＭを使用して最初に個々に改良するように構成され得る。次いで、ビデオエンコーダ２００とビデオデコーダ３００とは、さらに、参照ピクチャリストに対応するＣＰＭＶを改良し、これらは、優先するものとして他の参照ピクチャリストに対応し得る。たとえば、ビデオエンコーダ２００とビデオデコーダ３００とは、Ｌ１のための双予測重みｗとさらに改良されることになるＬ１のＣＰＭＶとを選択し得る。最初に、改良中に使用される現在のテンプレートブロックが、元の現在のテンプレートブロックＣとＬ０に対応する参照テンプレートブロックＲ₀との間の加重デルタになる。

【0149】

Ｃ’＝（Ｃ－（１－ｗ）Ｒ₀）／ｗ
[0139]この減算プロセスは、高周波除去とも呼ばれ、Ｃ’は、Ｌ１ ＣＰＭＶの探索プロセス中に使用される現在のテンプレートブロックと同じ方式で使用される。この高周波除去がＣ’＝（Ｃ－ｗＲ₀）／（１－ｗ）として逆に実施することができることに留意されたい。

【0150】

[0140]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、参照ピクチャリストＬｘのＣＰＭＶが改良されることになっているときに高周波除去を適用するように構成され得、ここで、ｘは、０または１であり得る。いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、参照ピクチャリストＬｘのＣＰＭＶが改良されることになっているときに高周波除去を適用するように構成され得、ここで、ｘは、０または１であり得る。ＡｆｆＴＭがＬｘのＣＰＭＶに対して実施した後、高周波除去が、ＬｘのＣＰＭＶに基づいて適用され、次いで、ＡｆｆＴＭは、他の参照ピクチャリストのＣＰＭＶに対して実施することができる。この反復プロセスは、ＣＰＭＶのいずれもＡｆｆＴＭの探索プロセス中に変更されなくなると終了する。

【0151】

[0141]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ＢＷＣ重み値に応じてＬｘのＣＰＭＶに高周波除去を最初に適用するように構成され得る。ルールが適用し得る。ルールは、たとえば、Ｌ０のＢＣＷ重みがより大きいときＬ０のＣＰＭＶが最初に改良されるものまたはＬ０のＢＣＷ重みがより小さいときＬ０のＣＰＭＶが最初に改良されるものであり得る。

【0152】

[0142]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、（Ｌ１ ＣＰＭＶのＭＶＤが常に０であることを示し、ビデオコーディング規格にわたって別様に名前がつけられ得る）ｐｈ＿ｍｖｄ＿ｌ１＿ｚｅｒｏ＿ｆｌａｇフラグに応じてＬｘのＣＰＭＶに高周波除去を最初に適用するように構成され得る。ルールが適用し得る。ルールは、たとえば、フラグが真であるときＬ０のＣＰＭＶが最初に改良されるものまたはフラグが偽であるときＬ０のＣＰＭＶが最初に改良されるものであり得る。

【0153】

[0143]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、テンプレートマッチングコストが、上記の例で説明されているように、他の参照ピクチャリストのものよりも高いときに参照ピクチャリストＬｘのＣＰＭＶを最初に改良するように構成され得る。

【0154】

[0144]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、参照ピクチャリストＬｘのＣＰＭＶを最初に改良するように構成され得、それらのＣＰＭＶは、最初のＣＰＭＶに基づくコストが参照ピクチャリストごとにそれぞれ計算された後に他の参照ピクチャリストのものよりも高いテンプレートマッチングコストを達成する。

【0155】

[0145]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、双予測ＣＰＭＶを単予測ＣＰＭＶに変換するように構成され得る。ＡｆｆＴＭを実施した後に、高周波除去が適用される前にＬ０に対応するＣＰＭＶのためのｃｏｓｔ₀とＬ１に対応するＣＰＭＶのためのｃｏｓｔ₁との２つのテンプレートマッチングコスト値があると考えられている。第３のコスト値は、高周波除去が適用した後にＡｆｆＴＭによって生成されたものからのものである。第３のものが他の２つのうちの１つよりも高い場合、ｃｏｓｔ₀およびｃｏｓｔ₁のうちのいずれかがより大きいのかに応じてＣＰＭＶが参照Ｌ０に対応するか、またはＬ１がドロップされる。

【0156】

[0146]ビデオエンコーダ２００とビデオデコーダ３００とは、４パラメータモデルから６パラメータモデルへのモデル変換を実施するように構成され得る。アフィンモデルは、４パラメータのものから６パラメータのものに変換され得る。現在のブロック上の左下隅の座標位置（すなわち（０、ブロックの高さ））では、左下隅のＣＰＭＶは、式（２－１）に基づいて計算され得る。次いで、現在のブロックの動きモデルは、ＡｆｆＴＭのための６パラメータアフィンモデルとして扱われる。

【0157】

[0147]ビデオエンコーダ２００とビデオデコーダ３００とは並進モデルから、アフィンモデルへのモデル変換を実施するように構成され得る。いくつかの例では、前に説明されたＡｆｆＴＭプロセスは、テンプレートマッチングマージモードでの通常のブロックベースのテンプレートマッチングの上に適用され得、最初のＣＰＭＶはすべて、テンプレートマッチングプロセスによって生成された並進ＭＶに等しく設定される。追加のＡｆｆＴＭプロセスを適用することのテンプレートマッチングコストが通常のテンプレートマッチングのコストよりも小さい場合、ＡｆｆＴＭプロセスのＣＰＭＶは、元のテンプレートマッチングプロセスからの並進動きモデルの代わりに現在のブロックのためのアフィン動き補償のために使用される。

【0158】

[0148]いくつかの例では、バイラテラルマッチング（またはＶＶＣの場合のようなデコーダ側動き改良（ＤＭＶＲ））も双方向オプティカルフロー（ＢＤＯＦ）も現在のブロックに適用されない場合にのみ、変換が適用される。

【0159】

[0149]いくつかの例では、ビデオデコーダ３００は、ターゲット変換モデルとして４パラメータアフィンモデルを常に使用するように構成され得る。いくつかの例では、ビデオデコーダ３００は、ターゲット変換モデルとして６パラメータアフィンモデルを使用するように構成され得る。いくつかの例では、ビデオデコーダ３００は、テンプレートマッチングコストを最小化することによって最終的な動きモデルを決定し得る。

【0160】

[0150]図１１は、本開示の技法を実施し得る例示的なビデオエンコーダ２００を示すブロック図である。図１１は、説明のために提供されるものであり、本開示で広く例示され記載される技法を限定するものと見なされるべきではない。説明の目的で、本開示は、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）およびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法に従って、ビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオ符号化デバイスによって実施され得る。

【0161】

[0151]図１１の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構成ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサ中にあるいは処理回路中に実装され得る。たとえば、ビデオエンコーダ２００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路構成の一部として、またはプロセッサ、ＡＳＩＣ、もしくはＦＰＧＡの一部として、実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

【0162】

[0152]ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）からビデオデータメモリ２３０中に記憶されたビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

【0163】

[0153]本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在のブロックについてのビデオデータ）を記憶する参照メモリとして理解されるべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的なストレージを提供し得る。

【0164】

[0154]図１１の様々なユニットは、ビデオエンコーダ２００によって実行される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。

【0165】

[0155]ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶し得る。

【0166】

[0156]ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、残差生成ユニット２０４とモード選択ユニット２０２とにビデオデータを提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである生のビデオデータであり得る。

【0167】

[0157]モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。

【0168】

[0158]モード選択ユニット２０２は、概して、符号化パラメータの組合せをテストするために複数の符号化パスを協調させ、そのような組合せのためのレートひずみ値を生じる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。

【0169】

[0159]ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＨＥＶＣのＱＴＢＴ構造またはクワッドツリー構造など、ツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＴＵはまた、一般に「ビデオブロック」または「ブロック」と呼ばれることもある。

【0170】

[0160]概して、モード選択ユニット２０２はまた、現在のブロック（たとえば、現在のＣＵ、またはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）についての予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在のブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶されている１つまたは複数の以前のコード化ピクチャ）中で１つまたは複数のぴったり一致する参照ブロックを識別するために動き探索を実行し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在のブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在のブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実施し得る。動き推定ユニット２２２は、現在のブロックに最も密接に一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。

【0171】

[0161]動き推定ユニット２２２は、現在のピクチャ中の現在のブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが分数サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックについての値を補間し得る。さらに、双方向インター予測では、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付け平均化を通して取り出されたデータを組み合わせ得る。

【0172】

[0162]本明細書で説明される技法によれば、動き推定ユニット２２２と動き補償ユニット２２４とは、アフィン予測モードを使用してビデオデータのブロックを符号化および復号するように構成され得る。さらに、動き推定ユニット２２２と動き補償ユニット２２４とは、本明細書で説明される動きベクトル改良プロセスを実施するように構成され得る。

【0173】

[0163]別の例として、イントラ予測、またはイントラ予測コーディングでは、イントラ予測ユニット２２６は、現在のブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、概して、予測ブロックを作り出すために、隣接サンプルの値を数学的に組み合わせ、現在のブロックにわたって定義された方向にこれらの計算された値をポピュレートし得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在のブロックに対する隣接サンプルの平均を計算し、予測ブロックの各サンプルについてこの得られた平均を含むように予測ブロックを生成し得る。

【0174】

[0164]モード選択ユニット２０２は、残差生成ユニット２０４に予測ブロックを与える。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在のブロックの生の、符号化されていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在のブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在のブロックについての残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ）を使用して残差ブロックを生成するために、残差ブロック中のサンプル値間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実施する１つまたは複数の減算器回路を使用して形成され得る。

【0175】

[0165]モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと、対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００とビデオデコーダ３００とは、様々なサイズを有するＰＵをサポートし得る。上記で示されたように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指し得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称ＰＵサイズとをサポートし得る。ビデオエンコーダ２００およびビデオデコーダ３００はまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズについて非対称区分をサポートし得る。

【0176】

[0166]モード選択ユニット２０２がＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。

【0177】

[0167]いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法では、モード選択ユニット２０２は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在のブロックについての予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構築すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。

【0178】

[0168]上記で説明されたように、残差生成ユニット２０４は、現在のブロックについてのビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在のブロックについての残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在のブロックとの間のサンプルごとの差分を計算する。

【0179】

[0169]変換処理ユニット２０６は、（本明細書では「変換係数ブロック」と呼ばれる）変換係数のブロックを生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向性変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに複数の変換、たとえば、回転変換など、１次変換および２次変換を実施し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。

【0180】

[0170]量子化ユニット２０８は、量子化された変換係数ブロックを生成するために、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在のブロックに関連付けられた量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵに関連付けられたＱＰ値を調整することによって、現在のブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は情報の損失をもたらし得、したがって、量子化変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有し得る。

【0181】

[0171]逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化変換係数ブロックに逆量子化および逆変換を適用し得る。再構築ユニット２１４は、再構築された残差ブロックとモード選択ユニット２０２によって生成された予測ブロックとに基づいて（潜在的にある程度のひずみを伴うが）現在のブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを作り出すために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。

【0182】

[0172]フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。いくつかの例では、フィルタユニット２１６の動作はスキップされ得る。

【0183】

[0173]ビデオエンコーダ２００は、ＤＰＢ２１８中に再構築されたブロックを記憶する。たとえば、フィルタユニット２１６の動作が実施されない例では、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が実施される例では、フィルタユニット２１６は、フィルタ処理された再構築されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２および動き補償ユニット２２４は、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタリング）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。さらに、イントラ予測ユニット２２６は、現在のピクチャ中の他のブロックをイントラ予測するために、現在のピクチャのＤＰＢ２１８中の再構築されたブロックを使用し得る。

【0184】

[0174]概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報、またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化データを生成するために、ビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実施し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

【0185】

[0175]ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０がビットストリームを出力し得る。

【0186】

[0176]上記で説明された動作は、ブロックに関して説明される。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明されたように、いくつかの例では、ルーマコーディングブロックとクロマコーディングブロックとは、ＣＵのルーマ成分とクロマ成分とである。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。

【0187】

[0177]いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックとクロマコーディングブロックとについて同じであり得る。

【0188】

[0178]図１２は、本開示の技法を実行し得る例示的なビデオデコーダ３００を示すブロック図である。図１２は説明のために提供され、本開示で広く例示され記載される技法を限定するものではない。説明の目的で、本開示は、ＶＶＣ（ＩＴＵ－Ｔ Ｈ．２６６）およびＨＥＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６５）の技法に従って、ビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実行され得る。

【0189】

[0179]図１２の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構成ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサ中にあるいは処理回路中に実装され得る。たとえば、ビデオデコーダ３００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはプロセッサ、ＡＳＩＣ、またはＦＰＧＡの一部として実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

【0190】

[0180]予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。

【0191】

[0181]ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化されたビデオビットストリームからの符号化されたビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、一般に、ビデオデコーダ３００が符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび／または参照ビデオデータとして使用し得る復号されたピクチャを記憶する。ＣＰＢメモリ３２０およびＤＰＢ３１４は、ＳＤＲＡＭを含むＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

【0192】

[0182]追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化ビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０とともに上記で説明されたようにデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。

【0193】

[0183]図１２に示されている様々なユニットは、ビデオデコーダ３００によって実行される動作を理解するのを支援するために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図１１と同様に、固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。

【0194】

[0184]ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。

【0195】

[0185]エントロピー復号ユニット３０２は、ＣＰＢから、符号化されたビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構築ユニット３１０、およびフィルタユニット３１２は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成し得る。

【0196】

[0186]概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して個々に再構築動作を実施し得る（ここで、現在再構築されている、すなわち、復号されているブロックは、「現在のブロック」と呼ばれることがある）。

【0197】

[0187]エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ（ＱＰ）および／または（１つまたは複数の）変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度と、同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたＱＰを使用し得る。逆量子化ユニット３０６は、量子化された変換係数を逆量子化するために、たとえば、ビット単位左シフト動作を実施し得る。逆量子化ユニット３０６は、それにより、変換係数を含む変換係数ブロックを形成し得る。

【0198】

[0188]逆量子化ユニット３０６が変換係数ブロックを形成した後、逆変換処理ユニット３０８は、現在のブロックに関連付けられた残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。

【0199】

[0189]さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット３１６は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきＤＰＢ３１４中の参照ピクチャ、ならびに現在ピクチャ中の現在ブロックのロケーションに対する参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図１１）に関して説明された方式と実質的に同様である方式でインター予測プロセスを実施し得る。本明細書で説明される技法によれば、動き補償ユニット３１６は、アフィン予測モードを使用してビデオデータのブロックを復号するように構成され得、本明細書で説明されて動きベクトル改良プロセスを実施するように構成され得る。

【0200】

[0190]別の例として、予測情報シンタックス要素が、現在のブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図１１）に関して説明されたものと実質的に同様である様式でイントラ予測プロセスを実施し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在のブロックに対する隣接サンプルのデータを取り出し得る。

【0201】

[0191]再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して現在のブロックを再構築し得る。たとえば、再構築ユニット３１０は、現在のブロックを再構築するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。

【0202】

[0192]フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ動作を実施し得る。たとえば、フィルタユニット３１２は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット３１２の動作は、必ずしもすべての例において実施されるとは限らない。

【0203】

[0193]ビデオデコーダ３００は、ＤＰＢ３１４中に再構成されたブロックを記憶し得る。たとえば、フィルタユニット３１２の動作が実施されない例では、再構築ユニット３１０は、再構築されたブロックをＤＰＢ３１４に記憶し得る。フィルタユニット３１２の動作が実施される例では、フィルタユニット３１２は、フィルタ処理された再構築されたブロックをＤＰＢ３１４に記憶し得る。上記で説明されたように、ＤＰＢ３１４は、イントラ予測のための現在ピクチャのサンプル、および後続の動き補償のための前に復号されたピクチャなど、参照情報を、予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢ３１４からの復号ピクチャ（たとえば、復号ビデオ）を、図１のディスプレイデバイス１１８などのディスプレイデバイス上での後続の提示のために、出力し得る。

【0204】

[0194]図１３は、本開示の技法による、現在のブロックを符号化するための例示的なプロセスを示すフローチャートである。現在のブロックは現在のＣＵを備え得る。ビデオエンコーダ２００（図１および図１１）に関して説明されるが、他のデバイスが図１３のプロセスと同様のプロセスを実施するように構成され得ることを理解されたい。

【0205】

[0195]この例では、ビデオエンコーダ２００は、最初に、現在のブロックを予測する（３５０）。たとえば、ビデオエンコーダ２００は、本開示で説明するように、テンプレートベースのアフィン予測を使用して現在のブロックのための予測ブロックを形成し得る。ビデオエンコーダ２００は、次いで、現在のブロックのための残差ブロックを計算し得る（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元の符号化されていないブロックと、現在のブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ２００は、次いで、残差ブロックを変換し、残差ブロックの変換係数を量子化し得る（３５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査し得る（３５６）。走査中に、または走査に続いて、ビデオエンコーダ２００は、変換係数をエントロピー符号化し得る（３５８）。たとえば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して変換係数を符号化し得る。ビデオエンコーダ２００は、次いで、ブロックのエントロピー符号化されたデータを出力し得る（３６０）。

【0206】

[0196]図１４は、本開示の技法による、ビデオデータの現在のブロックを復号するための例示的なプロセスを示すフローチャートである。現在のブロックは、現在のＣＵを備え得る。ビデオデコーダ３００（図１および図１２）に関して説明されるが、他のデバイスが図１４のプロセスと同様のプロセスを実施するように構成され得ることを理解されたい。

【0207】

[0197]ビデオデコーダ３００は、エントロピー符号化された予測情報、および現在のブロックに対応する残差ブロックの変換係数についてのエントロピー符号化されたデータなど、現在のブロックについてのエントロピー符号化されたデータを受信し得る（３７０）。ビデオデコーダ３００は、現在のブロックのための予測情報を決定するために、および残差ブロックの変換係数を再生するために、エントロピー符号化されたデータをエントロピー復号し得る（３７２）。ビデオデコーダ３００は、たとえば、現在ブロックの予測ブロックを計算するために、現在ブロックの予測情報によって示されるイントラまたはインター予測モードを使用して、現在ブロックを予測し得る（３７４）。ビデオデコーダ３００は、たとえば、本開示で説明されるテンプレートベースのアフィン予測を使用して現在のブロックを予測し得る。ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された変換係数を逆走査し得る（３７６）。ビデオデコーダ３００は、次いで、残差ブロックを作り出すために、変換係数を逆量子化し、変換係数に逆変換を適用し得る（３７８）。ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在のブロックを復号し得る（３８０）。

【0208】

[0198]図１５は、本開示の技法による、ビデオデータの現在のブロックを復号するための例示的なプロセスを示すフローチャートである。現在のブロックは、現在のＣＵを備え得る。ビデオデコーダ３００（図１および図１２）に関して説明されるが、ビデオエンコーダを含む他のデバイスが図１５のプロセスと同様のプロセスを実施するように構成され得ることを理解されたい。

【0209】

[0199]ビデオデコーダ３００は、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定し得る（４００）。アフィン予測モードは、たとえば、４パラメータアフィン予測モード、６パラメータアフィン予測モード、または何らかの他のそのようなアフィン予測モードであり得る。

【0210】

[0200]ビデオデコーダ３００は、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定し得る（４０２）。ビデオデコーダ３００は、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別し得る（４０４）。現在のブロックの最初の予測ブロックを識別するために、ビデオデコーダ３００は、たとえば、ＣＰＭＶを使用して参照フレーム中の複数のサブブロックの位置を特定し得る。

【0211】

[0201]ビデオデコーダ３００は、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定し得る（４０６）。現在のテンプレートは、たとえば、図９Ａに示されているように、現在のブロックの上にまたは現在のブロックの左側に位置する複数のサブブロックを含み得る。

【0212】

[0202]ビデオデコーダ３００は、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定し得る（４０８）。最初の参照テンプレートは、たとえば、図９Ｂおよび図９Ｃに示されているように、最初の予測ブロックの上にまたは最初の予測ブロックの左側に位置する複数のサブブロックを含み得る。

【0213】

[0203]ビデオデコーダ３００は、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施し得る（４１０）。修正された予測ブロックを決定するために動きベクトル改良プロセスを実施するために、さらに、ビデオデコーダ３００は、たとえば、最初の参照テンプレートよりも現在のテンプレートに密接に一致する後続の参照テンプレートを求めて最初の参照テンプレートの周りの探索エリア内を探索し得る。最初の参照テンプレートと現在のテンプレートとの比較は、たとえば、テンプレートマッチングコストであり得、ビデオデコーダ３００は、最初の参照テンプレート中のサンプルと現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいてテンプレートマッチングコストを決定し得る。

【0214】

[0204]ビデオデコーダ３００は、修正された予測ブロックに基づいて予測ブロックを決定することと、再構築されたブロックを決定するために残差ブロックに予測ブロックを加算することと、再構築されたブロックに１つまたは複数のフィルタ処理演算を適用することと、フィルタ処理された再構築されたブロックを含む復号されたビデオデータのピクチャを出力することとを行い得る。

【0215】

[0205]以下の番号付けされた条項は、本開示において説明されるデバイスおよび技法の１つまたは複数の態様を示す。

【0216】

[0206]条項１Ａ．ビデオデータを復号する方法であって、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、ここにおいて、１つまたは複数のＣＰＭＶは、現在のブロックのための最初の予測ブロックに対応する、修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを備える方法。

【0217】

[0207]条項２Ａ．動きベクトル改良プロセスは、テンプレートマッチングを実施することを備える、条項１Ａに記載の方法。

【0218】

[0208]条項３Ａ．１つまたは複数のＣＰＭＶは、最初のＣＰＭＶのセットを備え、テンプレートマッチングプロセスは、改良されたＣＰＭＶのセットを決定することを備える、条項２Ａに記載の方法。

【0219】

[0209]条項４Ａ．改良されたＣＰＭＶのセットを決定することは、改良されたＣＰＭＶのセットを決定するために１つまたは複数のＣＰＭＶに１つまたは複数のデルタ動きベクトル値を加算することを備える、条項３Ａに記載の方法。

【0220】

[0210]条項５Ａ．１つまたは複数のＣＰＭＶに基づいて探索エリアを決定すること、ここにおいて、改良されたＣＰＭＶのセットを決定することは、探索エリア内のあるように改良されたＣＰＭＶを制限することを備える、をさらに備える、条項３Ａまたは４Ａに記載の方法。

【0221】

[0211]条項６Ａ．探索パターンを決定することと、探索パターンに基づいて改良されたＣＰＭＶのセットを決定することとをさらに備える、条項３Ａ～５Ａのいずれかに記載の方法。

【0222】

[0212]条項７Ａ．修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することは、１つまたは複数のテンプレートマッチングコスト計算を実施することを備える、条項１Ａ～６Ａのいずれかに記載の方法。

【0223】

[0213]条項８Ａ．復号の方法は、符号化プロセスの部分として実施される、条項１Ａ～７Ａのいずれかに記載の方法。

【0224】

[0214]条項９Ａ．ビデオデータを復号するためのデバイスであって、条項１Ａ～８Ａのいずれかに記載の方法を実施するための１つまたは複数の手段を備えるデバイス。

【0225】

[0215]条項１０Ａ．１つまたは複数の手段が、回路中に実装された１つまたは複数のプロセッサを備える、条項９Ａに記載のデバイス。

【0226】

[0216]条項１１Ａ．ビデオデータを記憶するためのメモリをさらに備える、条項９Ａおよび１０Ａのいずれかに記載のデバイス。

【0227】

[0217]条項１２Ａ．復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、条項９Ａ～１１Ａのいずれかに記載のデバイス。

【0228】

[0218]条項１３Ａ．デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、条項９Ａ～１２Ａのいずれかに記載のデバイス。

【0229】

[0219]条項１４Ａ．デバイスがビデオデコーダを備える、条項９Ａ～１３Ａのいずれかに記載のデバイス。

【0230】

[0220]条項１５Ａ．デバイスがビデオエンコーダを備える、条項９Ａ～１４Ａのいずれかに記載のデバイス。

【0231】

[0221]条項１６Ａ．命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されたとき、１つまたは複数のプロセッサに、条項１Ａ～８Ａのいずれかに記載の方法を実施させる、コンピュータ可読記憶媒体。

【0232】

[0222]条項１Ｂ．ビデオデータを復号する方法であって、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別することと、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定することと、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定することと、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを備える方法。

【0233】

[0223]条項２Ｂ．修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することは、最初の参照テンプレートよりも現在のテンプレートに密接に一致する後続の参照テンプレートを求めて最初の参照テンプレートの周りの探索エリア内を探索することをさらに備える、条項１Ｂに記載の方法。

【0234】

[0224]条項３Ｂ．最初の参照テンプレートと現在のテンプレートとの比較は、テンプレートマッチングコストを備える、条項１Ｂに記載の方法。

【0235】

[0225]条項４Ｂ．最初の参照テンプレート中のサンプルと現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいてテンプレートマッチングコストを決定することをさらに備える、条項３Ｂに記載の方法。

【0236】

[0226]条項５Ｂ．最初の参照テンプレートは、最初の予測ブロックの上にまたは最初の予測ブロックの左側に位置する複数のサブブロックを備える、条項１Ｂに記載の方法。

【0237】

[0227]条項６Ｂ．アフィン予測モードは、４パラメータアフィン予測モードを備える、条項１Ｂに記載の方法。

【0238】

[0228]条項７Ｂ．アフィン予測モードは、６パラメータアフィン予測モードを備える、条項１Ｂに記載の方法。

【0239】

[0229]条項８Ｂ．修正された予測ブロックに基づいて予測ブロックを決定することと、再構築されたブロックを決定するために残差ブロックに予測ブロックを加算することと、再構築されたブロックに１つまたは複数のフィルタ処理演算を適用することと、フィルタ処理された再構築されたブロックを含む復号されたビデオデータのピクチャを出力することとをさらに備える、条項１Ｂに記載の方法。

【0240】

[0230]条項９Ｂ．復号の方法が、ビデオ符号化プロセスの部分として実施される、条項１Ｂに記載の方法。

【0241】

[0231]条項１０Ｂ．ビデオデータを復号するためのデバイスであって、メモリと、メモリに結合された、回路中に実装された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別することと、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定することと、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定することと、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを行うように構成された、デバイス。

【0242】

[0232]条項１１Ｂ．修正された予測ブロックを決定するために動きベクトル改良プロセスを実施するために、さらに、１つまたは複数のプロセッサは、最初の参照テンプレートよりも現在のテンプレートに密接に一致する後続の参照テンプレートを求めて最初の参照テンプレートの周りの探索エリア内を探索することを行うようにさらに構成された、条項１０Ｂに記載のデバイス。

【0243】

[0233]条項１２Ｂ．最初の参照テンプレートと現在のテンプレートとの比較は、テンプレートマッチングコストを備える、条項１０Ｂに記載のデバイス。

【0244】

[0234]条項１３Ｂ．１つまたは複数のプロセッサは、最初の参照テンプレート中のサンプルと現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいてテンプレートマッチングコストを決定することを行うようにさらに構成された、条項１２Ｂに記載のデバイス。

【0245】

[0235]条項１４Ｂ．最初の参照テンプレートは、最初の予測ブロックの上にまたは最初の予測ブロックの左側に位置する複数のサブブロックを備える、条項１０Ｂに記載のデバイス。

【0246】

[0236]条項１５Ｂ．アフィン予測モードは、４パラメータアフィン予測モードを備える、条項１０Ｂに記載のデバイス。

【0247】

[0237]条項１６Ｂ．アフィン予測モードは、６パラメータアフィン予測モードを備える、条項１０Ｂに記載のデバイス。

【0248】

[0238]条項１７Ｂ．１つまたは複数のプロセッサは、修正された予測ブロックに基づいて予測ブロックを決定することと、再構築されたブロックを決定するために残差ブロックに予測ブロックを加算することと、再構築されたブロックに１つまたは複数のフィルタ処理演算を適用することと、フィルタ処理された再構築されたブロックを含む復号されたビデオデータのピクチャを出力することとを行うようにさらに構成された、条項１０Ｂに記載のデバイス。

【0249】

[0239]条項１８Ｂ．デバイスが、符号化ビデオデータを受信するように構成された受信機をさらに備えるワイヤレス通信デバイスを備える、条項１０Ｂに記載のデバイス。

【0250】

[0240]条項１９Ｂ．ワイヤレス通信デバイスは、電話ハンドセットを備え、ここにおいて、受信機は、ワイヤレス通信規格に従って、符号化ビデオデータを備える信号を復調するように構成された、条項１８Ｂに記載のデバイス。

【0251】

[0241]条項２０Ｂ．号ビデオデータを表示するように構成されたディスプレイをさらに備える、条項１０Ｂに記載のデバイス。

【0252】

[0242]条項２１Ｂ．デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、条項１０Ｂに記載のデバイス。

【0253】

[0243]条項２２Ｂ．デバイスは、ビデオ符号化デバイスを備える、条項１０Ｂに記載のデバイス。

【0254】

[0244]条項２３Ｂ．コンピュータ可読記憶媒体であって、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別することと、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定することと、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定することと、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを行わせる命令を記憶したコンピュータ可読記憶媒体。

【0255】

[0245]条項２４Ｂ．修正された予測ブロックを決定するために動きベクトル改良プロセスを実施するために、さらに、命令は、１つまたは複数のプロセッサに、最初の参照テンプレートよりも現在のテンプレートに密接に一致する後続の参照テンプレートを求めて最初の参照テンプレートの周りの探索エリア内を探索することを行わせる、条項２３Ｂに記載のコンピュータ可読記憶媒体。

【0256】

[0246]条項２５Ｂ．最初の参照テンプレートと現在のテンプレートとの比較は、テンプレートマッチングコストを備える、条項２３Ｂに記載のコンピュータ可読記憶媒体。

【0257】

[0247]条項２６Ｂ．命令は、１つまたは複数のプロセッサに、最初の参照テンプレート中のサンプルと現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいてテンプレートマッチングコストを決定することを行わせる、条項２５Ｂに記載のコンピュータ可読記憶媒体。

【0258】

[0248]条項２７Ｂ．最初の参照テンプレートは、最初の予測ブロックの上にまたは最初の予測ブロックの左側に位置する複数のサブブロックを備える、条項２３Ｂに記載のコンピュータ可読記憶媒体。

【0259】

[0249]条項２８Ｂ．命令は、１つまたは複数のプロセッサに、修正された予測ブロックに基づいて予測ブロックを決定することと、再構築されたブロックを決定するために残差ブロックに予測ブロックを加算することと、再構築されたブロックに１つまたは複数のフィルタ処理演算を適用することと、フィルタ処理された再構築されたブロックを含む復号されたビデオデータのピクチャを出力することとを行わせる、条項２３Ｂに記載のコンピュータ可読記憶媒体。

【0260】

[0250]条項２９Ｂ．ビデオデータを復号するための装置であって、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定するための手段と、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定するための手段と、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別するための手段と、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定するための手段と、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定するための手段と、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施するための手段とを備える装置。

【0261】

[0251]条項３０Ｂ．最初の参照テンプレートと現在のテンプレートとの比較は、テンプレートマッチングコストを備え、装置は、最初の参照テンプレート中のサンプルと現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいてテンプレートマッチングコストを決定するこための手段をさらに備える、条項２９Ｂに記載の装置。

【0262】

[0252]条項１Ｃ．ビデオデータを復号する方法であって、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別することと、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定することと、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定することと、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを備える方法。

【0263】

[0253]条項２Ｃ．修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することは、最初の参照テンプレートよりも現在のテンプレートに密接に一致する後続の参照テンプレートを求めて最初の参照テンプレートの周りの探索エリア内を探索することをさらに備える、条項１Ｃに記載の方法。

【0264】

[0254]条項３Ｃ．最初の参照テンプレートと現在のテンプレートとの比較は、テンプレートマッチングコストを備える、条項１Ｃまたは２Ｃに記載の方法。

【0265】

[0255]条項４Ｃ．最初の参照テンプレート中のサンプルと現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいてテンプレートマッチングコストを決定することをさらに備える、条項３Ｃに記載の方法。

【0266】

[0256]条項５Ｃ．最初の参照テンプレートは、最初の予測ブロックの上にまたは最初の予測ブロックの左側に位置する複数のサブブロックを備える、条項１Ｃ～４Ｃのいずれかに記載の方法。

【0267】

[0257]条項６Ｃ．アフィン予測モードは、４パラメータアフィン予測モードを備える、条項１Ｃ～５Ｃのいずれかに記載の方法。

【0268】

[0258]条項７Ｃ．アフィン予測モードは、６パラメータアフィン予測モードを備える、条項１Ｃ～５Ｃのいずれかに記載の方法。

【0269】

[0259]条項８Ｃ．修正された予測ブロックに基づいて予測ブロックを決定することと、再構築されたブロックを決定するために残差ブロックに予測ブロックを加算することと、再構築されたブロックに１つまたは複数のフィルタ処理演算を適用することと、フィルタ処理された再構築されたブロックを含む復号されたビデオデータのピクチャを出力することとをさらに備える、条項１Ｃ～７Ｃのいずれかに記載の方法。

【0270】

[0260]条項９Ｃ．復号の方法は、ビデオ符号化プロセスの部分として実施される、条項１Ｃ～８Ｃのいずれかに記載の方法。

【0271】

[0261]条項１０Ｃ．ビデオデータを復号するためのデバイスであって、メモリと、メモリに結合された、回路中に実装された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別することと、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定することと、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定することと、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを行うように構成された、デバイス。

【0272】

[0262]条項１１Ｃ．修正された予測ブロックを決定するために動きベクトル改良プロセスを実施するために、さらに、１つまたは複数のプロセッサは、最初の参照テンプレートよりも現在のテンプレートに密接に一致する後続の参照テンプレートを求めて最初の参照テンプレートの周りの探索エリア内を探索することを行うようにさらに構成された、条項１０Ｃに記載のデバイス。

【0273】

[0263]条項１２Ｃ．最初の参照テンプレートと現在のテンプレートとの比較は、テンプレートマッチングコストを備える、条項１０Ｃまたは１１Ｃに記載のデバイス。

【0274】

[0264]条項１３Ｃ．１つまたは複数のプロセッサは、最初の参照テンプレート中のサンプルと現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいてテンプレートマッチングコストを決定することを行うようにさらに構成された、条項１２Ｃに記載のデバイス。

【0275】

[0265]条項１４Ｃ．最初の参照テンプレートは、最初の予測ブロックの上にまたは最初の予測ブロックの左側に位置する複数のサブブロックを備える、条項１０Ｃ～１３Ｃのいずれかに記載のデバイス。

【0276】

[0266]条項１５Ｃ．アフィン予測モードは、４パラメータアフィン予測モードを備える、条項１０Ｃ～１４Ｃのいずれかに記載のデバイス。

【0277】

[0267]条項１６Ｃ．アフィン予測モードは、６パラメータアフィン予測モードを備える、条項１０Ｃ～１４Ｃのいずれかに記載のデバイス。

【0278】

[0268]条項１７Ｃ．１つまたは複数のプロセッサは、修正された予測ブロックに基づいて予測ブロックを決定することと、再構築されたブロックを決定するために残差ブロックに予測ブロックを加算することと、再構築されたブロックに１つまたは複数のフィルタ処理演算を適用することと、フィルタ処理された再構築されたブロックを含む復号されたビデオデータのピクチャを出力することとを行うようにさらに構成された、条項１０Ｃ～１６Ｃのいずれかに記載のデバイス。

【0279】

[0269]条項１８Ｃ．デバイスは、符号化ビデオデータを受信するように構成された受信機をさらに備えるワイヤレス通信デバイスを備える、条項１０Ｃ～１７Ｃのいずれかに記載のデバイス。

【0280】

[0270]条項１９Ｃ．ワイヤレス通信デバイスは、電話ハンドセットを備え、ここにおいて、受信機は、ワイヤレス通信規格に従って、符号化ビデオデータを備える信号を復調するように構成された、条項１８Ｃに記載のデバイス。

【0281】

[0271]条項２０Ｃ．復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、条項１０Ｃ～１９Ｃのいずれかに記載のデバイス。

【0282】

[0272]条項２１Ｃ．デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、条項１０Ｃ～２０Ｃのいずれかに記載のデバイス。

【0283】

[0273]条項２２Ｃ．デバイスは、ビデオ符号化デバイスを備える、条項１０Ｃ～２１Ｃのいずれかに記載のデバイス。

【0284】

[0274]条項２３Ｃ．コンピュータ可読記憶媒体であって、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定することと、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定することと、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別することと、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定することと、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定することと、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施することとを行わせる命令を記憶したコンピュータ可読記憶媒体。

【0285】

[0275]条項２４Ｃ．修正された予測ブロックを決定するために動きベクトル改良プロセスを実施するために、さらに、命令は、１つまたは複数のプロセッサに、最初の参照テンプレートよりも現在のテンプレートに密接に一致する後続の参照テンプレートを求めて最初の参照テンプレートの周りの探索エリア内を探索することを行わせる、条項２３Ｃに記載のコンピュータ可読記憶媒体。

【0286】

[0276]条項２５Ｃ．最初の参照テンプレートと現在のテンプレートとの比較は、テンプレートマッチングコストを備える、条項２３Ｃに記載のコンピュータ可読記憶媒体。

【0287】

[0277]条項２６Ｃ．命令は、１つまたは複数のプロセッサに、最初の参照テンプレート中のサンプルと現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいてテンプレートマッチングコストを決定することを行わせる、条項２５Ｃに記載のコンピュータ可読記憶媒体。

【0288】

[0278]条項２７Ｃ．最初の参照テンプレートは、最初の予測ブロックの上にまたは最初の予測ブロックの左側に位置する複数のサブブロックを備える、条項２３Ｃに記載のコンピュータ可読記憶媒体。

【0289】

[0279]条項２８Ｃ．命令は、１つまたは複数のプロセッサに、修正された予測ブロックに基づいて予測ブロックを決定することと、再構築されたブロックを決定するために残差ブロックに予測ブロックを加算することと、再構築されたブロックに１つまたは複数のフィルタ処理演算を適用することと、フィルタ処理された再構築されたブロックを含む復号されたビデオデータのピクチャを出力することとを行わせる、条項２３Ｃに記載のコンピュータ可読記憶媒体。

【0290】

[0280]条項２９Ｃ．ビデオデータを復号するための装置であって、ビデオデータの現在のピクチャ中の現在のブロックがアフィン予測モードでコーディングされると決定するための手段と、現在のブロックのための１つまたは複数の制御点動きベクトル（ＣＰＭＶ）を決定するための手段と、１つまたは複数のＣＰＭＶを使用して参照ピクチャ中の現在のブロックのための最初の予測ブロックを識別するための手段と、現在のピクチャ中の現在のブロックのための現在のテンプレートを決定するための手段と、参照ピクチャ中の最初の予測ブロックのための最初の参照テンプレートを決定するための手段と、最初の参照テンプレートと現在のテンプレートとの比較に基づいて修正された予測ブロックを決定するために動きベクトル改良プロセスを実施するための手段とを備える装置。

【0291】

[0281]条項３０Ｃ．最初の参照テンプレートと現在のテンプレートとの比較は、テンプレートマッチングコストを備え、装置は、最初の参照テンプレート中のサンプルと現在のテンプレート中のサンプルとの加重されたサンプルごとの比較に基づいてテンプレートマッチングコストを決定するこための手段をさらに備える、条項２９Ｃに記載の装置。

【0292】

[0282]上記例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。

【0293】

[0283]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアに実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベース処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

【0294】

[0284]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含むのではなく、代わりに、非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、レーザーを用いてデータを光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。

【0295】

[0285]命令は、１つまたは複数のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

【0296】

[0286]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。様々な構成要素、モジュール、またはユニットが、開示された技法を実行するように構成されたデバイスの機能的態様を強調するために本開示で説明されるが、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。

【0297】

[0287]様々な例が説明された。これらおよび他の例は添付の特許請求の範囲内に入る。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】