知財求人 - 知財ポータルサイト「IP Force」
特表2024-546832ビデオコーディングにおける参照ピクチャリサンプリング技法とテンプレートベースのインター予測技法との間の相互作用
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-26
(54)【発明の名称】ビデオコーディングにおける参照ピクチャリサンプリング技法とテンプレートベースのインター予測技法との間の相互作用
(51)【国際特許分類】
H04N 19/109 20140101AFI20241219BHJP
H04N 19/157 20140101ALI20241219BHJP
H04N 19/172 20140101ALI20241219BHJP
H04N 19/176 20140101ALI20241219BHJP
H04N 19/46 20140101ALI20241219BHJP
H04N 19/503 20140101ALI20241219BHJP
H04N 19/52 20140101ALI20241219BHJP
【ＦＩ】
H04N19/109
H04N19/157
H04N19/172
H04N19/176
H04N19/46
H04N19/503
H04N19/52
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024535280
(86)(22)【出願日】2022-11-22
(85)【翻訳文提出日】2024-06-12
(86)【国際出願番号】 US2022080331
(87)【国際公開番号】W WO2023114627
(87)【国際公開日】2023-06-22
(31)【優先権主張番号】63/265,555
(32)【優先日】2021-12-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/057,500
(32)【優先日】2022-11-21
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507364838
【氏名又は名称】クアルコム，インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(72)【発明者】
【氏名】チュン－チ・チェン
(72)【発明者】
【氏名】ハン・フアン
(72)【発明者】
【氏名】ジ・ジャン
(72)【発明者】
【氏名】ヤオ－ジェン・チャン
(72)【発明者】
【氏名】ヤン・ジャン
(72)【発明者】
【氏名】ヴァディム・セレジン
(72)【発明者】
【氏名】マルタ・カルチェヴィッチ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LB01
5C159MA03
5C159MA12
5C159NN11
5C159NN21
5C159NN31
5C159RC11
5C159RC16
5C159TA26
5C159TB08
5C159TC12
5C159TC27
5C159TC42
5C159UA02
5C159UA05
5C159UA11
5C159UA22
(57)【要約】
ビデオエンコーダおよびビデオデコーダは、参照ピクチャリサンプリングまたは重み付け予測が使用されているかどうかに基づいて、テンプレートベースのインター予測技法を有効または無効にすることを決定し得る。ビデオエンコーダおよびビデオデコーダは、参照ピクチャリサンプリングモードが有効にされていると決定し、参照ピクチャリサンプリングモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定し、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータをコーディングし得る。
【特許請求の範囲】
【請求項1】
ビデオデータを復号する方法であって、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定するステップと、
前記ＲＰＲモードが有効にされているステップに基づいて、テンプレートベースのインター予測技法を前記ビデオデータに適用しないと決定するステップと、
前記テンプレートベースのインター予測技法を適用せずに、インター予測を使用して前記ビデオデータを復号するステップと
を含む、方法。
【請求項2】
前記テンプレートベースのインター予測技法が、局所照明補償（ＬＩＣ）である、請求項１に記載の方法。
【請求項3】
前記テンプレートベースのインター予測技法を適用せずに前記ビデオデータを復号するステップが、ＬＩＣを前記ビデオデータのインター予測仮説に適用しないステップを含む、請求項２に記載の方法。
【請求項4】
ＲＰＲモードが、前記ビデオデータの参照ピクチャが前記ビデオデータの現在のピクチャとは異なるサイズであるステップに基づいて有効にされる、請求項１に記載の方法。
【請求項5】
前記インター予測が、レギュラーマージモード、レギュラー高度動きベクトル予測（ＡＭＶＰ）モード、アフィンマージモード、またはアフィンＡＭＶＰモードのうちの１つである、請求項１に記載の方法。
【請求項6】
ＲＰＲが現在のブロックの参照ピクチャに使用されているステップに基づいて、局所照明補償（ＬＩＣ）フラグの値を推測するステップをさらに含む、請求項５に記載の方法。
【請求項7】
前記インター予測が、マージモードであり、前記方法が、前記ビデオデータのブロックのためのマージ候補リストを構成するステップと、
プルーニングされたマージ候補リストを作成するために前記マージ候補リストをプルーニングするステップであって、前記ビデオデータの現在のピクチャとは異なるサイズである少なくとも１つの参照ピクチャを有するマージ候補を除去するステップを含む、ステップと、
前記プルーニングされたマージ候補リストを使用して前記ビデオデータの前記ブロックを復号するステップと
をさらに含む、請求項５に記載の方法。
【請求項8】
前記インター予測が、マージモードであり、前記方法が、前記ビデオデータのブロックのためのマージ候補リストを構成するステップと、
プルーニングされたマージ候補リストを作成するために前記マージ候補リストをプルーニングするステップであって、前記ビデオデータの現在のピクチャとは異なるサイズである全ての参照ピクチャを有するマージ候補を除去するステップを含む、ステップと、
前記プルーニングされたマージ候補リストを使用して前記ビデオデータの前記ブロックを復号するステップと
をさらに含む、請求項５に記載の方法。
【請求項9】
前記インター予測が双方向予測であり、前記ＲＰＲモードが、複数の参照ピクチャのうちの少なくとも１つの参照ピクチャが前記ビデオデータの現在のピクチャとは異なるサイズであるステップに基づいて有効にされる、請求項１に記載の方法。
【請求項10】
前記テンプレートベースのインター予測技法が、テンプレートマッチング（ＴＭ）予測である、請求項１に記載の方法。
【請求項11】
前記ビデオデータのピクチャを表示するステップをさらに含む、請求項１に記載の方法。
【請求項12】
ビデオデータを復号するように構成される装置であって、前記ビデオデータを記憶するように構成されるメモリと、
回路において実装され、かつ前記メモリと通信する１つまたは複数のプロセッサと
を備え、前記１つまたは複数のプロセッサが、
参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定し、
前記ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法を前記ビデオデータに適用しないと決定し、
前記テンプレートベースのインター予測技法を適用せずに、インター予測を使用して前記ビデオデータを復号する
ように構成される、装置。
【請求項13】
前記テンプレートベースのインター予測技法が、局所照明補償（ＬＩＣ）である、請求項１２に記載の装置。
【請求項14】
前記テンプレートベースのインター予測技法を適用せずに前記ビデオデータを復号するために、前記１つまたは複数のプロセッサが、ＬＩＣを前記ビデオデータのインター予測仮説に適用しない
ようにさらに構成される、請求項１３に記載の装置。
【請求項15】
ＲＰＲモードが、前記ビデオデータの参照ピクチャが前記ビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる、請求項１２に記載の装置。
【請求項16】
前記インター予測が、レギュラーマージモード、レギュラー高度動きベクトル予測（ＡＭＶＰ）モード、アフィンマージモード、またはアフィンＡＭＶＰモードのうちの１つである、請求項１２に記載の装置。
【請求項17】
前記１つまたは複数のプロセッサが、ＲＰＲが現在のブロックの参照ピクチャに使用されていることに基づいて、局所照明補償（ＬＩＣ）フラグの値を推測する
ようにさらに構成される、請求項１６に記載の装置。
【請求項18】
前記インター予測が、マージモードであり、前記１つまたは複数のプロセッサが、前記ビデオデータのブロックのためのマージ候補リストを構成することと、
プルーニングされたマージ候補リストを作成するために前記マージ候補リストをプルーニングすることであって、前記ビデオデータの現在のピクチャとは異なるサイズである少なくとも１つの参照ピクチャを有するマージ候補を除去することを含む、ことと、
前記プルーニングされたマージ候補リストを使用して前記ビデオデータの前記ブロックを復号することと
を行うようにさらに構成される、請求項１６に記載の装置。
【請求項19】
前記インター予測が、マージモードであり、前記１つまたは複数のプロセッサが、前記ビデオデータのブロックのためのマージ候補リストを構成することと、
プルーニングされたマージ候補リストを作成するために前記マージ候補リストをプルーニングすることであって、前記ビデオデータの現在のピクチャとは異なるサイズである全ての参照ピクチャを有するマージ候補を除去することを含む、ことと、
前記プルーニングされたマージ候補リストを使用して前記ビデオデータの前記ブロックを復号することと
を行うようにさらに構成される、請求項１６に記載の装置。
【請求項20】
前記インター予測が双方向予測であり、前記ＲＰＲモードが、複数の参照ピクチャのうちの少なくとも１つの参照ピクチャが前記ビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる、請求項１２に記載の装置。
【請求項21】
前記テンプレートベースのインター予測技法が、テンプレートマッチング（ＴＭ）予測である、請求項１２に記載の装置。
【請求項22】
前記ビデオデータのピクチャを表示するように構成されるディスプレイをさらに備える、請求項１２に記載の装置。
【請求項23】
ビデオデータを符号化する方法であって、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定するステップと、
前記ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法を前記ビデオデータに適用しないと決定するステップと、
前記テンプレートベースのインター予測技法を適用せずに、インター予測を使用して前記ビデオデータを符号化するステップと
を含む、方法。
【請求項24】
ビデオデータを符号化するように構成される装置であって、前記ビデオデータを記憶するように構成されるメモリと、
回路において実装され、かつ前記メモリと通信する１つまたは複数のプロセッサと
を備え、前記１つまたは複数のプロセッサが、
参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定し、
前記ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法を前記ビデオデータに適用しないと決定し、
前記テンプレートベースのインター予測技法を適用せずに、インター予測を使用して前記ビデオデータを符号化する
ように構成される、装置。
【請求項25】
ビデオデータを復号する方法であって、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定するステップと、
前記ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法を前記ビデオデータに適用するステップと
を含む、方法。
【請求項26】
前記ＲＰＲモードが有効にされていることに基づいて、前記テンプレートベースのインター予測技法を前記ビデオデータに適用するステップが、補間フィルタを前記テンプレートベースのインター予測技法の参照テンプレートブロックに適用するステップを含み、前記補間フィルタが、前記ＲＰＲモードに使用されるものと同じである、
請求項２５に記載の方法。
【請求項27】
前記テンプレートベースのインター予測技法が、テンプレートマッチング（ＴＭ）予測である、請求項２５に記載の方法。
【請求項28】
ビデオデータを復号するように構成される装置であって、前記ビデオデータを記憶するように構成されるメモリと、
回路において実装され、かつ前記メモリと通信する１つまたは複数のプロセッサと
を備え、前記１つまたは複数のプロセッサが、
参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定し、
前記ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法を前記ビデオデータに適用する
ように構成される、装置。
【請求項29】
前記ＲＰＲモードが有効にされていることに基づいて、前記テンプレートベースのインター予測技法を前記ビデオデータに適用するために、前記１つまたは複数のプロセッサが、補間フィルタを前記テンプレートベースのインター予測技法の参照テンプレートブロックに適用する
ようにさらに構成されており、前記補間フィルタが、前記ＲＰＲモードに使用されるものと同じである、
請求項２８に記載の装置。
【請求項30】
前記テンプレートベースのインター予測技法が、テンプレートマッチング（ＴＭ）予測である、請求項２８に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２２年１１月２１日に出願された米国特許出願第１８／０５７，５００号および２０２１年１２月１６日に出願された米国仮出願第６３／２６５，５５５号の優先権を主張するものであり、その内容全体が参照により本明細書に組み込まれる。２０２２年１１月２１日に出願された米国特許出願第１８／０５７，５００号は、２０２１年１２月１６日に出願された米国特許仮出願第６３／２６５，５５５号の利益を主張する。
【0002】
本開示は、ビデオ符号化およびビデオ復号に関する。
【背景技術】
【0003】
デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（personal digital assistants、ＰＤＡｓ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスの中に組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ１０、アドバンストビデオコーディング（Advanced Video Coding、ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（High Efficiency Video Coding、ＨＥＶＣ）、ＩＴＵ－Ｔ Ｈ．２６６／バーサタイルビデオコーディング（Versatile Video Coding、ＶＶＣ）によって定義された規格、およびそのような規格の拡張、並びにＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａによって開発されたＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）などのプロプライエタリビデオコーデック／フォーマットに記載されているビデオコーディング技法などの、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶する場合がある。
【0004】
ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス（例えば、ビデオピクチャまたはビデオピクチャの一部分）は、ビデオブロックに分割されてもよく、ビデオブロックは、コーディングツリーユニット（coding tree units、ＣＴＵｓ）、コーディングユニット（coding units、ＣＵｓ）および／またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれる場合があり、参照ピクチャは参照フレームと呼ばれる場合がある。
【発明の概要】
【0005】
概して、本開示は、ビデオデータをコーディングするための技法について説明する。特に、本開示は、参照ピクチャリサンプリング（reference picture resampling、ＲＰＲ）および／または重み付け予測（weighted prediction、ＷＰ）と、テンプレートベースのインター予測技法との間の相互作用を処理することに関する技法について説明する。テンプレートベースのインター予測技法は、局所照明補償（local illumination compensation、ＬＩＣ）および／またはテンプレートマッチング（template matching、ＴＭ）インター予測を含み得る。特に、本開示は、ビデオデータをコーディングするためにＲＰＲまたはＷＰが有効にされている特定の環境において、テンプレートベースのインター予測技法の使用を無効にすることを含む技法について説明する。本開示の技法は、ＲＰＲまたはＷＰとともにテンプレートベースのインター予測技法を実装する計算の複雑さを低減し得る。加えて、本開示の技法は、ＲＰＲまたはＷＰが有効にされている状況においてコーディング効率を改善し得る。
【0006】
本開示の技術は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、およびエッセンシャルビデオコーディング（Essential Video Coding、ＥＶＣ）などの任意の既存のビデオコーデックに対する拡張として適用されてもよく、または未来のビデオコーディング規格における効率的なコーディングツールになり得る。
【0007】
一例では、本開示は、ビデオデータを復号する方法について説明し、方法は、ＲＰＲモードが有効にされていると決定することと、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定することと、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号することと、を含む。
【0008】
別の例では、本開示は、ビデオデータを復号するように構成される装置について説明し、装置は、ビデオデータを記憶するように構成されるメモリと、回路に実装され、かつメモリと通信する１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサは、ＲＰＲモードが有効にされていると決定し、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定し、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号する、ように構成される。
【0009】
別の例では、本開示は、ビデオデータを復号するように構成される装置について説明し、装置は、ＲＰＲモードが有効にされていると決定するための手段と、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定するための手段と、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号するための手段と、を備える。
【0010】
別の例では、本開示は、命令を記憶する非一時的コンピュータ可読記憶媒体について説明し、命令は、実行されたときに、ビデオデータを復号するように構成される１つまたは複数のデバイスに、ＲＰＲモードが有効にされていると決定させ、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定させ、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号させる。
【0011】
別の例では、本開示は、ビデオデータを符号化する方法について説明し、方法は、ＲＰＲモードが有効にされていると決定することと、ＲＰＲモードが有効にされていること基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定することと、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを符号化することと、を含む。
【0012】
別の例では、本開示は、ビデオデータを符号化するように構成される装置について説明し、装置は、ビデオデータを記憶するように構成されるメモリと、回路において実装され、かつメモリと通信する１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサは、ＲＰＲモードが有効にされていると決定し、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定し、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを符号化する、ように構成される。
【0013】
別の例では、本開示は、ビデオデータを符号化するように構成される装置について説明し、装置は、ＲＰＲモードが有効にされていると決定するための手段と、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定するための手段と、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを符号化するための手段と、を備える。
【0014】
別の例では、本開示は、命令を記憶する非一時的コンピュータ可読記憶媒体について説明し、命令は、実行されたときに、ビデオデータを符号化するように構成される１つまたは複数のデバイスに、ＲＰＲモードが有効にされていると決定させ、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定させ、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを符号化させる。
【0015】
１つまたは複数の例の詳細が、添付図面および以下の説明に記載されている。他の特徴、目的、および利点が、説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0016】
【図1】本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図である。
【図2】例示的なマージおよび高度動きベクトル予測モードのための空間隣接動きベクトル候補を示す図である。
【図3】時間動きベクトル予測子候補および動きベクトルスケーリングの例を示す図である。
【図4】照明補償モデルのための例示的な隣接サンプルを示す図である。
【図5】照明補償モデルのための隣接サンプルの別の例を示す図である。
【図6】テンプレートマッチングの一例を示す図である。
【図7】本開示の技法を実行し得る、例示的なビデオエンコーダを示すブロック図である。
【図8】本開示の技法を実行し得る、例示的なビデオデコーダを示すブロック図である。
【図9】本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。
【図10】本開示の技法による、現在のブロックを復号するための例示的な方法を示すフローチャートである。
【図11】本開示の技法による、ビデオデータのための別の例示的な方法を示すフローチャートである。
【図12】本開示の技法による、ビデオデータを復号するための別の例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【0017】
ビデオコーダ（例えば、エンコーダおよびデコーダ）は、ネガティブなまたは予期しない方法で他のコーディングモードと相互作用し得る様々なインター予測モードを使用してビデオデータをコーディングするように構成され得る。例えば、特定のテンプレートベースのインター予測技法は、参照ピクチャに対するスケーリングプロセスを伴うコーディング技法とともに適用される場合、実装するのがより複雑になり得る、またはコーディング効率を失い得る。例示的なテンプレートベースのコーディング技法は、局所照明補償（ＬＩＣ）および／またはテンプレートマッチング（ＴＭ）インター予測を含み得る。参照ピクチャのスケーリングを含む例示的なビデオコーディング技法は、参照ピクチャリサンプリング（ＲＰＲ）および／または重み付け予測（ＷＰ）を含み得る。
【0018】
いくつかの例示的なビデオコーデックでは、ＲＰＲおよび／またはＷＰが使用される場合、テンプレートベースのインター予測技法（例えば、ＬＩＣおよびＴＭインター予測）のそれぞれのプロセスは、完全には定義されない。したがって、テンプレートベースのインター予測技法とＲＰＲ／ＷＰとの両方を使用するビデオコーディングプロセスは、実装および／または準最適コーディング効率を提供するのがより複雑であり得る。
【0019】
本開示は、ビデオデータをコーディングするための技法について説明する。特に、本開示は、ＲＰＲおよび／またはＷＰとテンプレートベースのインター予測技法との間の相互作用を処理することに関する技法について説明する。特に、本開示は、ビデオデータをコーディングするためにＲＰＲまたはＷＰが有効にされている特定の環境において、テンプレートベースのインター予測技法の使用を無効にすることを含む技法について説明する。本開示の技法は、ＲＰＲまたはＷＰとともにテンプレートベースのインター予測技法を実装する計算の複雑さを低減し得る。加えて、本開示の技法は、ＲＰＲまたはＷＰが有効にされている状況においてコーディング効率を改善し得る。
【0020】
図１は、本開示の技法を実行し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディングする（符号化および／または復号）することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工の符号化されていないビデオ、符号化されたビデオ、復号された（例えば、再構成される）ビデオ、およびシグナリングデータなどのビデオメタデータを含んでよい。
【0021】
図１に示されるように、この例では、システム１００は、デスティネーションデバイス１１６によって復号され表示されるべき、符号化されたビデオデータを提供するソースデバイス１０２を含む。具体的には、ソースデバイス１０２は、コンピュータ可読媒体１１０を介してデスティネーションデバイス１１６にビデオデータを提供する。ソースデバイス１０２およびデスティネーションデバイス１１６は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、放送受信機デバイスなどを含む、広範囲にわたるデバイスのうちのいずれかを備えてもよい。場合によっては、ソースデバイス１０２およびデスティネーションデバイス１１６は、ワイヤレス通信に対応し得るので、ワイヤレス通信デバイスと呼ばれ得る。
【0022】
図１の例では、ソースデバイス１０２は、ビデオソース１０４、メモリ１０６、ビデオエンコーダ２００、および出力インターフェース１０８を含む。デスティネーションデバイス１１６は、入力インターフェース１２２、ビデオデコーダ３００、メモリ１２０、および表示デバイス１１８を含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００およびデスティネーションデバイス１１６のビデオデコーダ３００は、参照ピクチャリサンプリングおよびテンプレートベースのインター予測技法を使用してビデオデータをコーディングするための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの例を表し、一方でデスティネーションデバイス１１６はビデオ復号化デバイスの例を表す。他の例では、ソースデバイスおよびデスティネーションデバイスは、他の構成要素または構成を含み得る。例えば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信してもよい。同様に、デスティネーションデバイス１１６は、一体型表示デバイスを含むのではなく、外部表示デバイスとインターフェースしてもよい。
【0023】
図１に示すようなシステム１００は一例にすぎない。一般に、任意のデジタルビデオ符号化および／または復号デバイスは、参照ピクチャリサンプリングおよびテンプレートベースのインター予測技法を使用するための技法を実行し得る。ソースデバイス１０２およびデスティネーションデバイス１１６は、ソースデバイス１０２がデスティネーションデバイス１１６へ送信するためのコーディングされたビデオデータを生成するような、コーディングデバイスの例にすぎない。本開示は、データのコーディング（符号化および／または復号）を実行するデバイスを「コーディング」デバイスと呼ぶ。したがって、ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングデバイス、具体的には、それぞれ、ビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス１０２およびデスティネーションデバイス１１６は、ソースデバイス１０２およびデスティネーションデバイス１１６の各々がビデオ符号化および復号構成要素を含むように、実質的に対称的な方式で動作し得る。したがって、システム１００は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話のための、ソースデバイス１０２とデスティネーションデバイス１１６との間での一方向または両方向のビデオ送信をサポートし得る。
【0024】
一般に、ビデオソース１０４は、ビデオデータ（すなわち、未加工の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続した一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためのデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラなどの、ビデオキャプチャデバイス、以前にキャプチャされた未加工のビデオを含むビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオソース１０４は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオ、アーカイブされたビデオ、およびコンピュータ－生成されたビデオの組み合わせを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、事前にキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、受信された順序（「表示順序」と呼ばれることがある）からコーディングのためのコーディング順序へと、ピクチャを並べ替え得る。ビデオエンコーダ２００は、符号化されたビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は次いで、例えばデスティネーションデバイス１１６の入力インターフェース１２２によって受信および／または取り出すために、出力インターフェース１０８を介してコンピュータ可読媒体１１０へと、符号化されたビデオデータを出力し得る。
【0025】
ソースデバイス１０２のメモリ１０６およびデスティネーションデバイス１１６のメモリ１２０は、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、未加工のビデオデータ、例えば、ビデオソース１０４からの未加工のビデオと、ビデオデコーダ３００からの未加工の復号されたビデオデータと、を記憶し得る。追加または代替として、メモリ１０６、１２０は、例えばビデオエンコーダ２００およびビデオデコーダ３００によってそれぞれ実行可能なソフトウェア命令を記憶し得る。メモリ１０６およびメモリ１２０は、この例ではビデオエンコーダ２００およびビデオデコーダ３００とは別個に示されるが、ビデオエンコーダ２００およびビデオデコーダ３００がまた、機能的に類似のまたは等価な目的のために内部メモリを含み得ることを理解されたい。さらに、メモリ１０６、１２０は、例えばビデオエンコーダ２００から出力されビデオデコーダ３００へ入力される、符号化されたビデオデータを記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、例えば、未加工の復号ビデオデータおよび／または符号化されたビデオデータを記憶するための、１つまたは複数のビデオバッファとして割り振られ得る。
【0026】
コンピュータ可読媒体１１０は、ソースデバイス１０２からデスティネーションデバイス１１６に符号化されたビデオデータを移すことが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、例えば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化されたビデオデータをデスティネーションデバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化されたビデオデータを含む送信信号を変調してもよく、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調してもよい。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路などの、任意のワイヤレスまたは有線の通信媒体を備えてよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースネットワークの一部を形成してよい。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２からデスティネーションデバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。
【0027】
いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１２に符号化されたデータを出力し得る。同様に、デスティネーションデバイス１１６は、入力インターフェース１２２を介して、記憶デバイス１１２からの符号化されたデータにアクセスし得る。記憶デバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性若しくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、様々な分散されたデータ記憶媒体またはローカルでアクセスされるデータ記憶媒体のうちのいずれかを含み得る。
【0028】
いくつかの例では、ソースデバイス１０２は、符号化されたビデオデータを、ソースデバイス１０２によって生成された符号化されたビデオデータを記憶し得るファイルサーバ１１４または別の中間記憶デバイスに出力し得る。デスティネーションデバイス１１６は、ストリーミングまたはダウンロードを介して、ファイルサーバ１１４からの記憶されたビデオデータにアクセスし得る。
【0029】
ファイルサーバ１１４は、符号化されたビデオデータを記憶し、その符号化されたビデオデータをデスティネーションデバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（例えば、ウェブサイトのための）ウェブサーバ、（ファイル転送プロトコル（File Transfer Protocol、ＦＴＰ）または片方向伝送路上ファイル配信（File Delivery over Unidirectional Transport、ＦＬＵＴＥ）プロトコルなどの）ファイル転送プロトコルサービスを提供するように構成されるサーバ、コンテンツ配信ネットワーク（content delivery network、ＣＤＮ）デバイス、ハイパーテキスト転送プロトコル（hypertext transfer protocol、ＨＴＴＰ）サーバ、マルチメディアブロードキャストマルチキャストサービス（Multimedia Broadcast Multicast Service、ＭＢＭＳ）若しくは拡張ＭＢＭＳ（Enhanced MBMS、ｅＭＢＭＳ）サーバ、および／またはネットワークアタッチトストレージ（network attached storage、ＮＡＳ）デバイスを表し得る。ファイルサーバ１１４は、追加または代替として、ＨＴＴＰ経由動的適応ストリーミング（Dynamic Adaptive Streaming over HTTP、ＤＡＳＨ）、ＨＴＴＰライブストリーミング（HTTP Live Streaming、ＨＬＳ）、リアルタイムストリーミングプロトコル（Real Time Streaming Protocol、ＲＴＳＰ）、ＨＴＴＰ動的ストリーミング（HTTP Dynamic Streaming）などの１つまたは複数のＨＴＴＰストリーミングプロトコルを実装し得る。
【0030】
デスティネーションデバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通じて、ファイルサーバ１１４からの符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル（例えば、Ｗｉ－Ｆｉ接続）、有線接続（例えば、デジタル加入者線（digital subscriber line、ＤＳＬ）、ケーブルモデムなど）、またはファイルサーバ１１４に記憶されている符号化されたビデオデータにアクセスするのに適した、両方の組み合わせを含み得る。入力インターフェース１２２は、ファイルサーバ１１４からメディアデータを取り出すか若しくは受信するための上述の様々なプロトコル、またはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか１つまたは複数に従って動作するように構成され得る。
【0031】
出力インターフェース１０８および入力インターフェース１２２は、ワイヤレス送信機／受信機、モデム、有線ネットワーク構成要素（例えば、Ｅｔｈｅｒｎｅｔカード）、様々なＩＥＥＥ８０２．１１規格のうちのいずれかに従って動作するワイヤレス通信構成要素、または他の物理構成要素を表してもよい。出力インターフェース１０８および入力インターフェース１２２がワイヤレス構成要素を備える例では、出力インターフェース１０８および入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（ロングタームエボリューション（Long-Term Evolution））、ＬＴＥアドバンスト、５Ｇなどのセルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８および入力インターフェース１２２は、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（例えば、ＺｉｇＢｅｅ（商標））、Ｂｌｕｅｔｏｏｔｈ（商標）規格などの他のワイヤレス規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／またはデスティネーションデバイス１１６は、それぞれのシステムオンチップ（system-on-a-chip、ＳｏＣ）デバイスを含み得る。例えば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に起因する機能を実行するためのＳｏＣデバイスを含んでもよく、デスティネーションデバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に起因する機能を実行するためのＳｏＣデバイスを含んでもよい。
【0032】
本開示の技法は、オーバージエアテレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、ＨＴＴＰ経由動的適応ストリーミング（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のうちのいずれかをサポートするビデオコーディングに適用されてよい。
【0033】
デスティネーションデバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（例えば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から、符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロックまたは他のコードディングされたユニット（例えば、スライス、ピクチャ、ピクチャグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素などの、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含んでもよい。表示デバイス１１８は、復号されたビデオデータの復号されたピクチャをユーザに表示する。表示デバイス１１８は、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（organic light emitting diode、ＯＬＥＤ）ディスプレイ、または別のタイプの表示デバイスなどの、様々な表示デバイスのうちのいずれかを表し得る。
【0034】
図１には示されないが、いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は各々、オーディオエンコーダおよび／またはオーディオデコーダと統合されてもよく、共通のデータストリームにおいてオーディオとビデオの両方を含む多重化されたストリームを扱うために、適切なＭＵＸ－ＤＥＭＵＸユニット、または他のハードウェアおよび／若しくはソフトウェアを含んでもよい。
【0035】
ビデオエンコーダ２００およびビデオデコーダ３００は各々、１つ若しくは複数のマイクロプロセッサ、デジタル信号プロセッサ（digital signal processors、ＤＳＰｓ）、特定用途向け集積回路（application specific integrated circuits、ＡＳＩＣｓ）、フィールドプログラマブルゲートアレイ（field programmable gate arrays、ＦＰＧＡｓ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせなどの、様々な適切なエンコーダおよび／またはデコーダ回路のうちのいずれかとして実装され得る。技法が部分的にソフトウェアで実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ２００およびビデオデコーダ３００の各々は、１つまたは複数のエンコーダまたはデコーダに含まれてもよく、それらのいずれもが、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック（ＣＯＤＥＣ））の一部として統合されてもよい。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備えてもよい。
【0036】
ビデオエンコーダ２００およびビデオデコーダ３００は、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５などのビデオコーディング規格、または、マルチビューおよび／若しくはスケーラブルビデオコーディング拡張などのそれらの拡張規格に従って動作し得る。代替として、ビデオエンコーダ２００およびビデオデコーダ３００は、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６などの、他のプロプライエタリ規格または業界規格に従って動作し得る。他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）、ＡＶ１の拡張、および／またはＡＶ１の後継バージョン（例えば、ＡＶ２）などの、プロプライエタリビデオコーデック／フォーマットに従って動作し得る。他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、他のプロプライエタリフォーマットまたは業界規格に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格またはフォーマットにも限定されない。一般に、ビデオエンコーダ２００およびビデオデコーダ３００は、参照ピクチャリサンプリングおよびテンプレートベースのインター予測技法を使用する任意のビデオコーディング技法と組み合わせて本開示の技法を実行するように構成され得る。
【0037】
一般に、ビデオエンコーダ２００およびビデオデコーダ３００は、ピクチャのブロックベースのコーディングを実行してもよい。「ブロック」という用語は、一般に、処理される（例えば、符号化、復号、またはそうでなければ符号化および／または復号プロセスにおいて使用される）べきデータを含む構造を指す。例えば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含んでもよい。一般に、ビデオエンコーダ２００およびビデオデコーダ３００は、ＹＵＶ（例えば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルに対する赤、緑、および青（ＲＧＢ）のデータをコーディングするのではなく、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分およびクロミナンス成分をコーディングしてもよく、クロミナンス成分は、赤色と青色の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、受信されたＲＧＢフォーマットされたデータを符号化する前にＹＵＶ表現に変換し、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットに変換する。代替として、前処理ユニットおよび後処理ユニット（図示せず）が、これらの変換を実行してもよい。
【0038】
本開示は、一般に、ピクチャのデータを符号化または復号するプロセスを含むものとして、ピクチャのコーディング（例えば、符号化および復号）に言及することがある。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセス、例えば予測および／または残差コーディングを含むものとして、ピクチャのブロックのコーディングに言及することがある。符号化されたビデオビットストリームは、一般に、コーディング決定（例えば、コーディングモード）およびブロックへのピクチャの分割を表すシンタックス要素のための一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、一般に、ピクチャまたはブロックを形成するシンタックス要素のためのコーディング値として理解されるべきである。
【0039】
ＨＥＶＣは、コーディングユニット（ＣＵｓ）、予測ユニット（prediction units、ＰＵｓ）、および変換ユニット（transform units、ＴＵｓ）を含む、様々なブロックを定義する。ＨＥＶＣによると、（ビデオエンコーダ２００などの）ビデオコーダは、四分木構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに分割する。すなわち、ビデオコーダは、ＣＴＵおよびＣＵを４個の等しい重複しない正方形に分割し、四分木の各ノードは、０個または４個のいずれかの子ノードを有する。子ノードがないノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵ、および／または、１つまたは複数のＴＵを含んでもよい。ビデオコーダは、ＰＵおよびＴＵをさらに分割し得る。例えば、ＨＥＶＣでは、残差四分木（residual quadtree、ＲＱＴ）はＴＵの分割を表す。ＨＥＶＣでは、ＰＵはインター予測データを表し、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。
【0040】
別の例として、ビデオエンコーダ２００およびビデオデコーダ３００は、ＶＶＣに従って動作するように構成され得る。ＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵｓ）に分割する。ビデオエンコーダ２００は、四分木二分木（quadtree-binary tree、ＱＴＢＴ）構造またはマルチタイプツリー（Multi-Type Tree、ＭＴＴ）構造などの木構造に従って、ＣＴＵを分割し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵ、ＰＵ、およびＴＵの間の分離などの、複数の分割タイプの概念を排除する。ＱＴＢＴ構造は、２つのレベル、すなわち、四分木分割に従って分割された第１のレベル、および二分木分割に従って分割された第２のレベルを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。二分木のリーフノードは、コーディングユニット（ＣＵｓ）に対応する。
【0041】
ＭＴＴ分割構造では、ブロックは、四分木（quadtree、ＱＴ）分割、二分木（binary tree、ＢＴ）分割、および１つまたは複数のタイプの三分木（triple tree、ＴＴ）（三元木（ternary tree、ＴＴ）とも呼ばれる）分割を使用して分割され得る。三分木分割または三元木分割は、ブロックが３個のサブブロックに分けられる分割である。いくつかの例では、三分木分割または三元木分割は、中心を通って元のブロックを分けることなく、ブロックを３個のサブブロックに分ける。ＭＴＴにおける分割タイプ（例えば、ＱＴ、ＢＴ、およびＴＴ）は、対称または非対称であり得る。
【0042】
ＡＶ１コーデックに従って動作する場合、ビデオエンコーダ２００およびビデオデコーダ３００は、ブロック中のビデオデータをコーディングするように構成され得る。ＡＶ１では、処理され得る最大コーディングブロックは、スーパーブロックと呼ばれる。ＡＶ１では、スーパーブロックは、１２８×１２８ルーマサンプルまたは６４×６４ルーマサンプルのいずれかであり得る。しかしながら、後継ビデオコーディングフォーマット（例えば、ＡＶ２）では、スーパーブロックは、異なる（例えば、より大きい）ルーマサンプルサイズによって定義され得る。いくつかの例では、スーパーブロックは、ブロック四分木のトップレベルである。ビデオエンコーダ２００は、さらに、スーパーブロックをより小さいコーディングブロックに分割し得る。ビデオエンコーダ２００は、正方形または非正方形分割を使用してスーパーブロックおよび他のコーディングブロックをより小さいブロックに分割し得る。非正方形ブロックは、Ｎ／２×Ｎ、Ｎ×Ｎ／２、Ｎ／４×Ｎ、およびＮ×Ｎ／４ブロックを含み得る。ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングブロックの各々に対して別個の予測および変換プロセスを実行し得る。
【0043】
ＡＶ１はまた、ビデオデータのタイルを定義する。タイルは、他のタイルとは無関係にコーディングされ得るスーパーブロックの矩形アレイである。すなわち、ビデオエンコーダ２００およびビデオデコーダ３００は、他のタイルからのビデオデータを使用せずにタイル内のコーディングブロックを、それぞれ、符号化および復号し得る。ただし、ビデオエンコーダ２００およびビデオデコーダ３００は、タイル境界にわたってフィルタ処理を実行し得る。タイルは、サイズが均一であっても不均一であってもよい。タイルベースのコーディングは、エンコーダおよびデコーダ実装形態のために、並列処理および／またはマルチスレッディングを可能にし得る。
【0044】
いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分およびクロミナンス成分の各々を表すために単一のＱＴＢＴ構造またはＭＴＴ構造を使用してもよく、他の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）などの、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用してもよい。
【0045】
ビデオエンコーダ２００およびビデオデコーダ３００は、四分木分割、ＱＴＢＴ分割、ＭＴＴ分割、スーパーブロック分割、または他の分割構造を使用するように構成され得る。
【0046】
いくつかの例では、ＣＴＵは、ルーマサンプルのコーディングツリーブロック（ＣＴＢ）、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、またはモノクロームピクチャ若しくはサンプルをコーディングするために使用される３つの別個の色平面およびシンタックス構造を使用してコーディングされたピクチャのサンプルのＣＴＢを含む。ＣＴＢは、成分をＣＴＢに分けるように分割するような、いくつかのＮの値に対するサンプルのＮ×Ｎのブロックであってもよい。成分は、１つのアレイまたは４：２：０、４：２：２、若しくは４：４：４カラーフォーマットでピクチャを構成する３つのアレイ（ルーマおよび２つのクロマ）のうちの１つからの単一のサンプル、あるいはアレイまたはモノクロームフォーマットでピクチャを構成するアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、ＣＴＢをコーディングブロックに分けるように分割するような、いくつかのＭおよびＮの値に対するサンプルのＭ×Ｎのブロックである。
【0047】
ブロック（例えば、ＣＴＵまたはＣＵ）は、ピクチャの中で様々な方法でグループ化され得る。一例として、ブリックは、ピクチャの中の特定のタイル内のＣＴＵ行の長方形領域を指すことがある。タイルは、ピクチャの中の特定のタイル列および特定のタイル行内のＣＴＵの長方形領域であり得る。タイル列は、ピクチャの高さに等しい高さおよび（例えば、ピクチャパラメータセットの中などの）シンタックス要素によって指定される幅を有する、ＣＴＵの長方形領域を指す。タイル行は、（例えば、ピクチャパラメータセットの中などの）シンタックス要素によって指定される高さおよびピクチャの幅に等しい幅を有する、ＣＴＵの長方形領域を指す。
【0048】
いくつかの例では、タイルは複数のブリックに分割されてもよく、ブリックの各々はタイル内の１つまたは複数のＣＴＵ行を含み得る。複数のブリックに分割されないタイルも、ブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。ピクチャの中のブリックは、スライスとしても並べられ得る。スライスは、単一のネットワークアブストラクションレイヤ（network abstraction layer、ＮＡＬ）ユニットの中に独占的に含まれ得る、ピクチャの整数個のブリックであってよい。いくつかの例では、スライスは、いくつかの完全なタイル、または、１つのタイルの一連の連続する完全なブリックのみの、いずれかを含む。
【0049】
本開示は、垂直次元および水平次元において（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル次元を指すために、互換的に「Ｎ×Ｎ」および「Ｎ掛けるＮ」、例えば、１６×１６サンプルまたは１６掛ける１６サンプルを使用してもよい。一般に、１６×１６のＣＵは、垂直方向に１６個のサンプル（ｙ＝１６）および水平方向に１６個のサンプル（ｘ＝１６）を有する。同様に、Ｎ×ＮのＣＵは、一般に、垂直方向にＮ個のサンプルおよび水平方向にＮ個のサンプルを有し、Ｎは非負の整数値を表す。ＣＵの中のサンプルは、行および列をなして並べられてよい。その上、ＣＵは、必ずしも水平方向において垂直方向における数と同じ数のサンプルを有する必要があるとは限らない。例えば、ＣＵはＮ×Ｍのサンプルを備えてもよく、Ｍは必ずしもＮに等しいとは限らない。
【0050】
ビデオエンコーダ２００は、予測および／または残差情報、並びに他の情報を表すＣＵのためのビデオデータを符号化する。予測情報は、ＣＵに対する予測ブロックを形成するためにＣＵがどのように予測されることになるのかを示す。残差情報は、一般に、符号化する前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。
【0051】
ＣＵを予測するために、ビデオエンコーダ２００は、一般に、インター予測またはイントラ予測を通してＣＵに対する予測ブロックを形成してよい。インター予測とは、一般に、以前にコーディングされたピクチャのデータからＣＵを予測することを指し、イントラ予測とは、一般に、同じピクチャの以前にコーディングされたデータからＣＵを予測することを指す。インター予測を実行するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成してもよい。ビデオエンコーダ２００は、一般に、例えば、ＣＵと参照ブロックとの間の差分に関してＣＵに厳密に一致する参照ブロックを識別するために、動き探索を実行し得る。ビデオエンコーダ２００は、参照ブロックが現在のＣＵと厳密に一致するかどうかを決定するために、差分絶対値和（sum of absolute difference、ＳＡＤ）、差分二乗和（sum of squared differences、ＳＳＤ）、平均絶対差（mean absolute difference、ＭＡＤ）、平均二乗差（mean squared differences、ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在のＣＵを予測し得る。
【0052】
ＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームイン若しくはズームアウト、回転、遠近移動、または他の不規則な動きタイプなどの、非並進運動を表す２つ以上の動きベクトルを決定し得る。
【0053】
イントラ予測を実行するために、ビデオエンコーダ２００は、予測ブロックを生成するためにイントラ予測モードを選択してもよい。ＶＶＣのいくつかの例は、様々な方向モードを含む６７個のイントラ予測モード、並びに平面モードおよびＤＣモードを提供する。一般に、ビデオエンコーダ２００は、現在のブロック（例えば、ＣＵのブロック）に対する隣接サンプルを記述し、そこから現在のブロックのサンプルを予測する、イントラ予測モードを選択する。ビデオエンコーダ２００がラスター走査順序（左から右、上から下）でＣＴＵおよびＣＵをコーディングすると仮定すると、そのようなサンプルは一般に、現在のブロックと同じピクチャにおいて、現在のブロックの上、上および左、または左にあり得る。
【0054】
ビデオエンコーダ２００は、現在のブロックに対する予測モードを表すデータを符号化する。例えば、インター予測モードの場合、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるのか、並びに対応するモードに対する動き情報を表すデータを符号化してもよい。単方向または双方向インター予測の場合、例えば、ビデオエンコーダ２００は、高度動きベクトル予測（advanced motion vector prediction、ＡＭＶＰ）モードまたはマージモードを使用して動きベクトルを符号化してもよい。ビデオエンコーダ２００は、アフィン動き補償モードのための動きベクトルを符号化するために類似のモードを使用してもよい。
【0055】
ＡＶ１は、ビデオデータのコーディングブロックを符号化および復号するための２つの一般的な技法を含む。２つの一般的な技法は、イントラ予測（例えば、イントラフレーム予測または空間予測）およびインター予測（例えば、インターフレーム予測または時間予測）である。ＡＶ１のコンテキストでは、イントラ予測モードを使用するビデオデータの現在のフレームのブロックを予測する場合、ビデオエンコーダ２００およびビデオデコーダ３００は、ビデオデータの他のフレームからのビデオデータを使用しない。たいていのイントラ予測モードでは、ビデオエンコーダ２００は、現在のブロック内のサンプル値と、同じフレーム内の参照サンプルから生成される予測値との間の差分に基づいて、現在のフレームのブロックを符号化する。ビデオエンコーダ２００は、イントラ予測モードに基づいて参照サンプルから生成される予測値を決定する。
【0056】
ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００はブロックのための残差データを計算してもよい。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成されたそのブロックに対する予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域において変換データを生成するために、１つまたは複数の変換を残差ブロックに適用してよい。例えば、ビデオエンコーダ２００は、離散コサイン変換（discrete cosine transform、ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に類似の変換を残差ビデオデータに適用してよい。加えて、ビデオエンコーダ２００は、モード依存非分離可能二次変換（mode-dependent non-separable secondary transform、ＭＤＮＳＳＴ）、信号依存変換、カルーネンレーベ変換（Karhunen-Loeve transform、ＫＬＴ）などの二次的な変換を、最初の変換に続いて適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて、変換係数を生成する。
【0057】
上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実行してよい。量子化とは、一般に、変換係数を表すために使用されるデータの量をできる限り低減するために変換係数が量子化され、更なる圧縮を行うプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ２００は、変換係数の一部または全てに関連付けられたビット深度を低減し得る。例えば、ビデオエンコーダ２００は、量子化の間にｎビット値をｍビット値に切り捨てることがあり、ｎはｍよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ２００は、量子化されるべき値のビットごとの右シフトを実行し得る。
【0058】
量子化に続いて、ビデオエンコーダ２００は、変換係数を走査してもよく、量子化された変換係数を含む２次元行列から１次元ベクトルを生成する。走査は、より高いエネルギー（したがって、より低い周波数）の変換係数をベクトルの前方に置き、より低いエネルギー（したがって、より高い周波数）の変換係数をベクトルの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ２００は、シリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化するために、量子化された変換係数を走査するためのあらかじめ定義された走査順序を使用し得る。他の例では、ビデオエンコーダ２００は、適応走査を実行してよい。１次元ベクトルを形成するために量子化された変換係数を走査した後、ビデオエンコーダ２００は、例えば、コンテキスト適応型バイナリ算術コーディング（context-adaptive binary arithmetic coding、ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化してよい。ビデオエンコーダ２００はまた、ビデオデータを復号する際にビデオデコーダ３００によって使用するための符号化されたビデオデータに関連付けられたメタデータを記述するシンタックス要素に対する値をエントロピー符号化し得る。
【0059】
ＣＡＢＡＣを実行するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当ててよい。コンテキストは、例えば、シンボルの隣接値が０値化されているか否かに関係し得る。確率判断は、シンボルに割り当てられたコンテキストに基づき得る。
【0060】
ビデオエンコーダ２００はさらに、ビデオデコーダ３００への、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、例えば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、または、シーケンスパラメータセット（sequence parameter set、ＳＰＳ）、ピクチャパラメータセット（picture parameter set、ＰＰＳ）、若しくはビデオパラメータセット（video parameter set、ＶＰＳ）などの他のシンタックスデータにおいて生成し得る。ビデオデコーダ３００は、そのようなシンタックスデータを同様に復号して、対応するビデオデータをどのように復号すべきかを決定してよい。
【0061】
このようにして、ビデオエンコーダ２００は、符号化されたビデオデータ、例えば、ブロック（例えば、ＣＵ）へのピクチャの分割並びにブロックに対する予測情報および／または残差情報を記述するシンタックス要素を含む、ビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信してよく、符号化されたビデオデータを復号してもよい。
【0062】
一般に、ビデオデコーダ３００は、ビデオエンコーダ２００によって実行されるプロセスへの相反プロセスを実行して、ビットストリームの符号化されたビデオデータを復号する。例えば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスとは相反ではあるが実質的に類似の方式で、ＣＡＢＡＣを使用してビットストリームのシンタックス要素に対する値を復号してよい。シンタックス要素は、ＣＴＵのＣＵを定義するために、ＣＴＵへのピクチャの分割およびＱＴＢＴ構造などの対応する分割構造に従った各ＣＴＵの分割のための、分割情報を定義し得る。シンタックス要素は、ビデオデータのブロック（例えば、ＣＵ）に対する予測情報および残差情報をさらに定義し得る。
【0063】
残差情報は、例えば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックの量子化された変換係数を逆量子化し逆変換して、ブロックのための残差ブロックを再生し得る。ビデオデコーダ３００は、シグナリングされた予測モード（イントラ予測またはインター予測）および関連する予測情報（例えば、インター予測のための動き情報）を使用して、ブロックに対する予測ブロックを形成する。ビデオデコーダ３００は次いで、予測ブロックと残差ブロックとを（サンプルごとに）組み合わせて、元のブロックを再生し得る。ビデオデコーダ３００は、ブロックの境界に沿った視覚アーチファクトを低減するためのデブロッキングプロセスを実行するなどの、追加の処理を実行してよい。
【0064】
本開示は全般に、シンタックス要素などの何らかの情報を「シグナリングすること」に言及することがある。「シグナリング」という用語は、一般に、シンタックス要素に対する値、および／または符号化されたビデオデータを復号するために使用される他のデータの通信を指すことがある。すなわち、ビデオエンコーダ２００は、ビットストリームにおいてシンタックス要素に対する値をシグナリングし得る。一般に、シグナリングとは、ビットストリームにおいて値を生成することを指す。上で述べられたように、ソースデバイス１０２は、実質的にリアルタイムで、または非リアルタイムでビットストリームをデスティネーションデバイス１１６に転送してもよく、これは、デスティネーションデバイス１１６によって後で取り出すためにシンタックス要素を記憶デバイス１１２に記憶するときなどに起こることがある。
【0065】
以下でより詳細に説明されるように、本開示の技法は、参照ピクチャリサンプリング（ＲＰＲ）とテンプレートベースのインター予測技法（例えば、テンプレートマッチングおよび局所照明補償（ＬＩＣ））との間の相互作用を処理することに関する。本開示の技法は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＥＶＣ）などの既存のビデオコーデックのうちのいずれかに拡張として適用されてもよく、または未来のビデオコーディング規格における効率的なコーディングツールになり得る。一般的な例では、ビデオエンコーダ２００およびビデオデコーダは、ＲＰＲモードが有効にされていると決定し、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定し、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号する、ように構成され得る。
【0066】
ＣＵ構造および動きベクトル予測
いくつかのビデオコーディングプロセス（例えばＨＥＶＣ）では、スライス内の最大のコーディングユニット（largest coding unit、ＬＣＵ）は、コーディングツリーブロック（ＣＴＢ）またはコーディングツリーユニット（ＣＴＵ）と呼ばれる。ＣＴＢは四分木を含み、そのノードはコーディングユニット（ＣＵｓ）と呼ばれる。
いくつかのビデオコーディングプロセス（例えばＨＥＶＣ）では、スライス内の最大のコーディングユニット（largest coding unit、ＬＣＵ）は、コーディングツリーブロック（ＣＴＢ）またはコーディングツリーユニット（ＣＴＵ）と呼ばれる。ＣＴＢは四分木を含み、そのノードはコーディングユニット（ＣＵｓ）と呼ばれる。
【0067】
ＣＴＢのサイズは、ＨＥＶＣメインプロファイルでは（技術的には８×８のＣＴＢサイズがサポートされ得るが）１６×１６サンプルから６４×６４サンプルにわたり得る。ＣＵは、ＣＴＢと同じサイズから、８×８サンプル程度の小さいサイズであってもよい。各ＣＵは、コーディングモード（例えば、インター、イントラ、または別のコーディングモード）を用いてコーディングされる。ＣＵがインターコーディングされる場合、ＣＵは、２つまたは４つの予測ユニット（ＰＵｓ）へとさらに分割され得るか、または更なる分割が適用されない場合には１つだけのＰＵになり得る。１つのＣＵ内に２つのＰＵが存在する場合、２つのＰＵは、１／２サイズの長方形、またはＣＵのサイズの１／４若しくは３／４のサイズを有する２つの長方形であり得る。
【0068】
ＣＵがインターコーディングされる場合、各ＰＵは、ビデオデコーダ３００が固有のインター予測モードを用いて導出し得る、動き情報の１つのセットを有する。
【0069】
動きベクトル予測
いくつかのビデオコーディングプロセス（例えばＨＥＶＣ規格）では、それぞれ、マージモード（スキップはマージの特別な場合であると見なされる）および高度動きベクトル予測（ＡＭＶＰ）モードと名付けられた、ＰＵに対する２つのインター予測モードが存在する。
いくつかのビデオコーディングプロセス（例えばＨＥＶＣ規格）では、それぞれ、マージモード（スキップはマージの特別な場合であると見なされる）および高度動きベクトル予測（ＡＭＶＰ）モードと名付けられた、ＰＵに対する２つのインター予測モードが存在する。
【0070】
ＡＭＶＰモードまたはマージモードのいずれにおいても、動きベクトル（motion vector、ＭＶ）候補リストが複数の動きベクトル予測子のために維持される。現在のＰＵの動きベクトル並びにマージモードにおける参照インデックスは、ＭＶ候補リストから１つの候補を取ることによって生成される。
【0071】
ＭＶ候補リストは、マージモードのための最大で５つの候補、およびＡＭＶＰモードのための２つのみの候補を含む。マージ候補は、動き情報のセット、例えば、参照ピクチャリスト（リスト０およびリスト１）と参照インデックスとの両方に対応する動きベクトルを含み得る。マージインデックスによってマージ候補が識別される場合、現在のブロックの予測に使用される参照ピクチャ並びに関連する動きベクトルが決定される。一方、ＡＭＶＰモード下では、ＡＭＶＰ候補が動きベクトルのみを含むため、リスト０またはリスト１のいずれかからの可能性のある各予測方向に対し、参照インデックスは、ＭＶ候補リストへのＭＶ予測子（MV predictor、ＭＶＰ）インデックスとともに明示的にシグナリングされる。ＡＭＶＰモードでは、予測された動きベクトルがさらに精緻化され得る。
【0072】
マージモードとＡＭＶＰモードとの両方に対する候補は、同じ空間隣接ブロックおよび時間隣接ブロックから同様に導出され得る。
【0073】
空間隣接候補
図２に示されるように、空間ＭＶ候補は、特定のＰＵ（ＰＵ０）に対して隣接ブロックから導出されるが、ブロックから候補を生成するための方法は、マージモードとＡＭＶＰモードとで異なる。
図２に示されるように、空間ＭＶ候補は、特定のＰＵ（ＰＵ０）に対して隣接ブロックから導出されるが、ブロックから候補を生成するための方法は、マージモードとＡＭＶＰモードとで異なる。
【0074】
マージモードでは、最大で４つの空間ＭＶ候補が、図２に示される順序を使用してＰＵ０ ４００に対して導出され得る。図２に示されるように、その順序は、左隣接ブロック（０、Ａ１）、上隣接ブロック（１、Ｂ１）、上右隣接ブロック（２、Ｂ０）、下左隣接ブロック（３、Ａ０）、および上左隣接ブロック（４、Ｂ２）である。
【0075】
ＡＶＭＰモードでは、ＰＵ０ ４０２の隣接ブロックは、隣接ブロック０および１を含む左グループと、隣接ブロック２、３、および４を含む上グループとの２つのグループに分割される。各グループに対して、シグナリングされる参照インデックスによって示されるものと同じ参照ピクチャを参照する隣接ブロックの中の可能性のある候補が、グループの最終候補を形成するために選ばれるべき最も高い優先度を有する。全ての隣接ブロックが、同じ参照ピクチャを指し示す動きベクトルを含まない可能性があり得る。したがって、そのような候補を見出すことができない場合、第１の利用可能な候補が、最終候補を形成するようにスケーリングされ、したがって、時間距離の差分が補償され得る。
【0076】
時間動きベクトル予測
時間動きベクトル予測子（temporal motion vector predictor、ＴＭＶＰ）候補は、有効かつ利用可能である場合、空間動きベクトル候補の後にＭＶ候補リストに追加される。ＴＭＶＰ候補のための動きベクトル導出のプロセスは、マージモードとＡＭＶＰモードの両方について同じである。しかしながら、マージモードにおけるＴＭＶＰ候補のための目標参照インデックスは、常に０に設定される。
時間動きベクトル予測子（temporal motion vector predictor、ＴＭＶＰ）候補は、有効かつ利用可能である場合、空間動きベクトル候補の後にＭＶ候補リストに追加される。ＴＭＶＰ候補のための動きベクトル導出のプロセスは、マージモードとＡＭＶＰモードの両方について同じである。しかしながら、マージモードにおけるＴＭＶＰ候補のための目標参照インデックスは、常に０に設定される。
【0077】
ＴＭＶＰ候補導出のための主要ブロックの位置は、空間隣接候補を生成するために使用される上ブロックおよび左ブロックへのバイアスを補償するために、図３ではブロック４１０（「Ｔ」）として示されている、同一位置ＰＵの外側の右下ブロックである。しかしながら、そのブロックが現在のＣＴＢ行の外側に位置するか、または動き情報が利用可能でない場合、ブロックは、ＰＵの中心ブロック４１２と置換される。
【0078】
ＴＭＶＰ候補のための動きベクトルは、スライスレベルで示される、同一位置ピクチャの同一位置ＰＵから導出される。同一位置ＰＵのための動きベクトルは、同一位置ＭＶと呼ばれる。
【0079】
ＡＶＣにおける時間ダイレクトモードと同様に、ＴＭＶＰ候補動きベクトルを導出するために、同一位置ＭＶは、図３のプロセス４５０に示されるように、時間距離差分を補償するためにスケーリングされ得る。
【0080】
動き予測の他の態様
マージモードおよびＡＭＶＰモードのいくつかの他の態様が、以下で説明される。
マージモードおよびＡＭＶＰモードのいくつかの他の態様が、以下で説明される。
【0081】
動きベクトルスケーリング：動きベクトルの値が表示時間におけるピクチャの距離に比例することが想定される。動きベクトルは、２つのピクチャ、すなわち、参照ピクチャと、動きベクトルを含んでいるピクチャ（すなわち、保有ピクチャ（containing picture））とを関連付ける。他の動きベクトルを予測するためにある動きベクトルが利用される場合、保有ピクチャと参照ピクチャの距離は、ピクチャ順序カウント（Picture Order Count、ＰＯＣ）値に基づいて計算される。
【0082】
予測されるべき動きベクトルに対して、その関連する保有ピクチャと参照ピクチャの両方が異なる場合がある。したがって、（ＰＯＣに基づく）新たな距離が計算される。動きベクトルは、これらの２つのＰＯＣ距離に基づいてスケーリングされる。空間隣接候補について、２つの動きベクトルのための保有ピクチャは同じであるが、参照ピクチャは異なる。ＨＥＶＣでは、動きベクトルのスケーリングは、空間隣接候補および時間隣接候補のためのＴＭＶＰとＡＭＶＰの両方に適用される。
【0083】
疑似的動きベクトル候補の生成：動きベクトル候補リストが完全でない（例えば、所定の最大数未満の候補を含む）場合、疑似的動きベクトル候補が生成され、リストが最大数の候補を有するまでリストの最後に挿入される。
【0084】
マージモードでは、２つのタイプの擬似ＭＶ候補、すなわち、Ｂスライスについてのみ導出された組み合わされた候補と、第１のタイプが十分な擬似候補を与えない場合にＡＭＶＰのためにのみ使用されるゼロ候補とがある。
【0085】
すでに候補リストの中にあり必要な動き情報を有する候補の各ペアに対して、双方向の組み合わされた動きベクトル候補が、リスト０内のピクチャを参照する第１の候補の動きベクトルと、リスト１内のピクチャを参照する第２の候補の動きベクトルとの組み合わせによって導出される。
【0086】
候補挿入のためのプルーニング（pruning）プロセス：異なるブロックからの候補が偶然同じである場合があり、これは、マージ／ＡＭＶＰ候補リストの効率を下げる。この問題に対処するためにプルーニングプロセスが適用される。プルーニングプロセスは、同一の候補を挿入することを回避するために、１つの候補を現在の候補リスト中の他の候補と比較する。複雑さを低減するために、各々の可能性のある候補を全ての他の既存の候補と比較する代わりに、限られた数のプルーニングプロセスのみが適用される。
【0087】
参照ピクチャリサンプリング
いくつかのビデオコーディングプロセス（例えば、ＨＥＶＣ）では、新しいシーケンスパラメータセット（ＳＰＳ）を使用する新しいシーケンスがイントラランダムアクセスポイント（intra random access point、ＩＲＡＰ）ピクチャから開始しない限り、ピクチャの空間解像度は変化し得ない。ＶＶＣは、常にイントラコーディングされるＩＲＡＰピクチャを符号化することなく、ある位置においてシーケンス内のピクチャ解像度の変更を可能にする。参照ピクチャが復号されている現在のピクチャとは異なる解像度を有する場合、ＲＰＲがインター予測に使用される参照ピクチャのリサンプリングを含むため、この特徴は、参照ピクチャリサンプリング（ＲＰＲ）と呼ばれることがある。追加の処理ステップを回避するために、ＶＶＣにおけるＲＰＲプロセスは、動き補償プロセスに組み込まれて、ブロックレベルで実行されるように設計されている。動き補償段階では、補間プロセスで使用される参照ピクチャ内の参照サンプルの位置を特定するために、動き情報とともにスケーリング比が使用される。
いくつかのビデオコーディングプロセス（例えば、ＨＥＶＣ）では、新しいシーケンスパラメータセット（ＳＰＳ）を使用する新しいシーケンスがイントラランダムアクセスポイント（intra random access point、ＩＲＡＰ）ピクチャから開始しない限り、ピクチャの空間解像度は変化し得ない。ＶＶＣは、常にイントラコーディングされるＩＲＡＰピクチャを符号化することなく、ある位置においてシーケンス内のピクチャ解像度の変更を可能にする。参照ピクチャが復号されている現在のピクチャとは異なる解像度を有する場合、ＲＰＲがインター予測に使用される参照ピクチャのリサンプリングを含むため、この特徴は、参照ピクチャリサンプリング（ＲＰＲ）と呼ばれることがある。追加の処理ステップを回避するために、ＶＶＣにおけるＲＰＲプロセスは、動き補償プロセスに組み込まれて、ブロックレベルで実行されるように設計されている。動き補償段階では、補間プロセスで使用される参照ピクチャ内の参照サンプルの位置を特定するために、動き情報とともにスケーリング比が使用される。
【0088】
ＶＶＣでは、スケーリング比は、１／２（参照ピクチャから現在のピクチャへの２倍のダウンサンプリング）以上、８（８倍のアップサンプリング）以下に制限される。異なる周波数カットオフを有するリサンプリングフィルタの３つのセットが、参照ピクチャと現在のピクチャとの間の様々なスケーリング比を処理するために指定される。リサンプリングフィルタの３つのセットは、それぞれ、１／２～１／１．７５、１／１．７５～１／１．２５、および１／１．２５～８の範囲のスケーリング比に適用される。
【0089】
リサンプリングフィルタの各セットは、ルーマ成分のための１６の位相とクロマ成分のための３２の位相とを有し、これは、動き補償補間フィルタの場合と同じである。通常の動き補償補間のフィルタセットは、スケーリング比が１／１．２５～８の範囲である場合に使用される。実際には、通常の動き補償補間プロセスは、１／１．２５～８の範囲のスケーリング比を有するリサンプリングプロセスの特別な場合と見なされ得る。従来の並進ブロック動きに加えて、アフィンモードは、ＲＰＲにおける異なるスケーリング比をカバーするためにルーマ成分に使用される６タップ補間フィルタの３つのセットを有する。水平および垂直スケーリング比は、ピクチャ幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して指定された左、右、上、および下スケーリングオフセットに基づいて導出される。
【0090】
この特徴をサポートするために、ピクチャ解像度および対応する適合窓は、ＳＰＳにおいてではなくピクチャパラメータセット（ＰＰＳ）においてシグナリングされる一方で、最大ピクチャ解像度は、ＳＰＳにおいてシグナリングされる。
【0091】
重み付け予測
いくつかのビデオ符号化プロセス（例えば、ＨＥＶＣ）では、重み付け予測（Weighted Prediction、ＷＰ）がサポートされ、その場合、（ａによって示される）スケーリング係数、（ｓによって示される）シフト数、および（ｂによって示される）オフセットが、動き補償プロセスにおいて使用される。参照ピクチャの位置（ｘ，ｙ）におけるピクセル値がｐ（ｘ，ｙ）である場合、動き補償における予測値として、ｐ（ｘ，ｙ）の代わりに、関数ｐ’（ｘ，ｙ）＝（（ａ＊ｐ（ｘ，ｙ）＋（１＜＜（ｓ－１）））＞＞ｓ）＋ｂが使用される。
いくつかのビデオ符号化プロセス（例えば、ＨＥＶＣ）では、重み付け予測（Weighted Prediction、ＷＰ）がサポートされ、その場合、（ａによって示される）スケーリング係数、（ｓによって示される）シフト数、および（ｂによって示される）オフセットが、動き補償プロセスにおいて使用される。参照ピクチャの位置（ｘ，ｙ）におけるピクセル値がｐ（ｘ，ｙ）である場合、動き補償における予測値として、ｐ（ｘ，ｙ）の代わりに、関数ｐ’（ｘ，ｙ）＝（（ａ＊ｐ（ｘ，ｙ）＋（１＜＜（ｓ－１）））＞＞ｓ）＋ｂが使用される。
【0092】
ＷＰが有効にされている場合、現在のスライスの各参照ピクチャに対して、ビデオエンコーダ２００は、ＷＰが参照ピクチャに適用されるか否かを示すフラグをシグナリングする。ＷＰが１つの参照ピクチャに適用される場合、ＷＰパラメータのセット（例えば、ａ、ｓ、およびｂ）がビデオデコーダ３００に送信され、参照ピクチャからの動き補償に使用される。ルーマおよびクロマ成分のためのＷＰをフレキシブルにオン／オフするために、ＷＰフラグおよびＷＰパラメータは、ルーマ成分とクロマ成分とに対して別個にシグナリングされる。
【0093】
ＷＰの一例では、ＷＰパラメータの１つの同じセットが、１つの参照ピクチャ内の全てのピクセルに使用される。
【0094】
ＨＥＶＣにおける局所照明補償（ＩＣ）
１つの例示的なプロセスでは、分割ベースの照明補償（partition-based illumination compensation、ＰＢＩＣ）が使用される。使用のために有効／無効にされて、スライスレベルでパラメータがシグナリングされる重み付け予測（ＷＰ）とは異なり、ＰＩＢＣが有効／無効にされ、そのモデルパラメータは、局所照明変動を処理するためにＰＵレベルでシグナリングされる。
１つの例示的なプロセスでは、分割ベースの照明補償（partition-based illumination compensation、ＰＢＩＣ）が使用される。使用のために有効／無効にされて、スライスレベルでパラメータがシグナリングされる重み付け予測（ＷＰ）とは異なり、ＰＩＢＣが有効／無効にされ、そのモデルパラメータは、局所照明変動を処理するためにＰＵレベルでシグナリングされる。
【0095】
ＷＰと同様に、照明補償はまた、スケーリング係数（ａによっても示される）およびオフセット（ｂによっても示される）を有し、シフト数は６に固定される。ＩＣフラグは、ＩＣが現在のＰＵに適用されるか否かを示すために各ＰＵに対してコーディングされる。ＩＣがＰＵに適用される場合、ＩＣパラメータのセット（例えば、ａおよびｂ）がビデオデコーダ３００にシグナリングされ、動き補償に使用される。双方向予測の場合、２つのスケーリング係数（予測方向ごとに１つ）および１つのオフセットがシグナリングされる。
【0096】
一例では、ＩＣパラメータに費やされるビットを節約するために、クロマ成分は、ルーマ成分とスケーリング係数を共有し、固定オフセット１２８が使用される。
【0097】
３Ｄ－ＨＥＶＣにおける局所照明補償
３Ｄ－ＨＥＶＣでは、ＩＣがビュー間予測のために有効にされる。ＩＣパラメータを明示的にシグナリングするＷＰおよびＰＢＩＣとは異なり、３Ｄ－ＨＥＶＣは、現在のＣＵの隣接サンプルおよび参照ブロックの隣接サンプルに基づいて、ＩＣパラメータを導出することを含む。
３Ｄ－ＨＥＶＣでは、ＩＣがビュー間予測のために有効にされる。ＩＣパラメータを明示的にシグナリングするＷＰおよびＰＢＩＣとは異なり、３Ｄ－ＨＥＶＣは、現在のＣＵの隣接サンプルおよび参照ブロックの隣接サンプルに基づいて、ＩＣパラメータを導出することを含む。
【0098】
ＩＣは、２Ｎ×２Ｎ分割モードにのみ適用される。ＡＭＶＰモードの場合、ビュー間参照ピクチャから予測される各ＣＵごとに１つのＩＣフラグがシグナリングされる。マージモードの場合、ビットを節約するために、ＰＵのマージインデックスが０に等しくない場合にのみ、ＩＣフラグがシグナリングされる。一例では、ＩＣは、時間参照ピクチャのみから予測されるＣＵには適用されない。
【0099】
ビュー間予測において使用される線形ＩＣモデルが、以下の式（１）に示されている。（１）：
ｐ（ｉ，ｊ）＝ａ＊ｒ（ｉ＋ｄｖｘ，ｊ＋ｄｖｙ＋ｂ），ｗｈｅｒｅ（ｉ，ｊ）∈ＰＵｃ （１）
ｐ（ｉ，ｊ）＝ａ＊ｒ（ｉ＋ｄｖｘ，ｊ＋ｄｖｙ＋ｂ），ｗｈｅｒｅ（ｉ，ｊ）∈ＰＵｃ （１）
【0100】
ここで、ＰＵｃは、現在のＰＵであり、（ｉ，ｊ）は、ＰＵｃ中のピクセルの座標であり、（ｄｖｘ，ｄｖｙ）は、ＰＵｃの視差ベクトルである。ｐ（ｉ，ｊ）は、ＰＵｃの予測であり、ｒは、隣接ビューからのＰＵの参照ピクチャであり、ａおよびｂは線形ＩＣモデルのパラメータである。
【0101】
ＰＵのためのパラメータａおよびｂを推定するために、図４に示されるように、ピクセルの２つのセットが使用される。ピクセルの第１のセットは、現在のＣＵ ４６０（現在のＰＵを含んでいるＣＵ）の左の列および上の行内の利用可能な再構成される隣接ピクセル（Ｒｅｃｎｅｉｇ）４６０である。ピクセルの第２のセットは、現在のＣＵの参照ブロックの対応する隣接ピクセル（Ｒｅｃｒｅｆｎｅｉｇ）４６２である。現在のＣＵの参照ブロックは、現在のＰＵの視差ベクトルを使用することによって見出される。
【0102】
ＲｅｃｎｅｉｇおよびＲｅｃｒｅｆｎｅｉｇが、それぞれ、現在のＣＵおよびその参照ブロックの隣接ピクセルセットを示すものとし、２Ｎが、ＲｅｃｎｅｉｇおよびＲｅｃｒｅｆｎｅｉｇ内のピクセル番号を示すものとする。したがって、ａおよびｂは、以下のように計算され得る。
【0103】
【数1】
【0104】
場合によっては、ａのみが線形モデルにおいて使用されてｂは常に０に等しく設定され、またはｂのみが使用されてａは常に１に等しく設定される。
【0105】
ＪＶＥＴにおける局所照明補償
局所照明補償（ＬＩＣ）は、スケーリング係数ａ（シフト数が６に固定されている）およびオフセットｂを使用する、照明変化の線形モデルに基づく。一例では、ＬＩＣは、各インターモードコーディングされたＣＵに対して適応的に有効または無効にされる。
局所照明補償（ＬＩＣ）は、スケーリング係数ａ（シフト数が６に固定されている）およびオフセットｂを使用する、照明変化の線形モデルに基づく。一例では、ＬＩＣは、各インターモードコーディングされたＣＵに対して適応的に有効または無効にされる。
【0106】
ＬＩＣがＣＵに適用される場合、最小二乗誤差法が、現在のＣＵの隣接サンプルおよびそれらの対応する参照サンプルを使用することによってパラメータａおよびｂを導出するために採用される。より詳細には、図５に示されるように、ＣＵのサブサンプリングされた（２：１サブサンプリング）隣接サンプル５００、および参照ピクチャ内の（現在のＣＵまたはサブＣＵの動き情報によって識別される）対応するピクセル５０２が使用される。ＩＣパラメータは、各予測方向に対して別々に導出され適用される。
【0107】
ＣＵがマージモードでコーディングされる場合、ＬＩＣフラグは、マージモードにおける動き情報コピーと同様の方法で、隣接ブロックからコピーされ、そうでなければ、ＬＩＣフラグは、ＬＩＣが適用されるか否かを示すためにＣＵに対してシグナリングされる。
【0108】
テンプレートマッチング予測
テンプレートマッチング（ＴＭ）予測は、フレームレートアップ変換（Frame-Rate Up Conversion、ＦＲＵＣ）技法に基づく特別なマージモードである。このモードでは、ブロックの動き情報はシグナリングされないが、ビデオデコーダ３００において導出される。ＴＭは、ＡＭＶＰモードおよびレギュラーマージモードの両方に適用されてもよい。ＡＭＶＰモードでは、ＭＶＰ候補の選択は、現在のブロックテンプレートと参照ブロックテンプレートの差分が最小になるＭＶＰ候補を選ぶために、テンプレートマッチングに基づいて決定される。レギュラーマージモードでは、ＴＭの使用を示すためにＴＭモードフラグがシグナリングされ、次いで、ＭＶ精緻化のためにマージインデックスによって示されるマージ候補にＴＭが適用される。
テンプレートマッチング（ＴＭ）予測は、フレームレートアップ変換（Frame-Rate Up Conversion、ＦＲＵＣ）技法に基づく特別なマージモードである。このモードでは、ブロックの動き情報はシグナリングされないが、ビデオデコーダ３００において導出される。ＴＭは、ＡＭＶＰモードおよびレギュラーマージモードの両方に適用されてもよい。ＡＭＶＰモードでは、ＭＶＰ候補の選択は、現在のブロックテンプレートと参照ブロックテンプレートの差分が最小になるＭＶＰ候補を選ぶために、テンプレートマッチングに基づいて決定される。レギュラーマージモードでは、ＴＭの使用を示すためにＴＭモードフラグがシグナリングされ、次いで、ＭＶ精緻化のためにマージインデックスによって示されるマージ候補にＴＭが適用される。
【0109】
図６に示されるように、テンプレートマッチングは、現在のピクチャ内の現在のテンプレート５２０（現在のＣＵの上および／または左隣接ブロック）と、参照ピクチャ内のブロック（例えば、現在のテンプレート５２０と同じサイズの参照テンプレート５２５）との間の最も近い一致を見出すことによって、現在のＣＵの動き情報を導出するために使用される。初期マッチング誤差に基づいて選択されたＡＭＶＰ候補を用いて、そのＭＶＰがテンプレートマッチングによって精緻化される。シグナリングされたマージインデックスによって示されるマージ候補を用いて、Ｌ０およびＬ１に対応するそのマージされたＭＶが、テンプレートマッチングによって独立して精緻化され、次いで、より正確ではないＭＶが、より良いＭＶを優先して用いてさらに再精緻化される。
【0110】
コスト関数：動きベクトルが小数サンプル位置を指し示す場合、動き補償補間が使用される。複雑度を低減するために、テンプレートマッチングのために標準８タップＤＣＴ－ＩＦ補間の代わりに双線形補間が使用されて、参照ピクチャ上にテンプレートを生成する。テンプレートマッチングのマッチングコストＣは、次のように計算される。
【0111】
【数2】
【0112】
ＴＭが使用される場合、ルーマサンプルだけを使用することによって動きが精緻化される。導出される動きは、動き補償インター予測のためのルーマおよびクロマの両方に使用されることになる。ＭＶが導出された後に、ルーマに対して８タップ補間フィルタ、およびクロマに対して４タップ補間フィルタを使用して、最終動き補償が実行される。
【0113】
探索方法：ＭＶ精緻化は、テンプレートマッチングコストの基準および階層構造を用いたパターンベースのＭＶ探索である。ＭＶ精緻化に対して、ダイヤモンド探索および交差探索という、２つの探索パターンがサポートされる。階層構造は、粗いＭＶＤ精度（例えば、１／４ペル（ｐｅｌ））において開始し、細かいＭＶＤ精度（例えば、１／８ペル）において終了する、ＭＶを精緻化するための反復プロセスを指定する。ＭＶは、ダイヤモンドパターンを用いて１／４ルーマサンプルＭＶＤ精度で直接探索され、その後、交差パターンを用いて１／４ルーマサンプルＭＶＤ精度で探索される。この後に、交差パターンを用いた１／８ルーマサンプルＭＶＤ精緻化が続く。ＭＶ精緻化の探索範囲は、初期ＭＶの周りの（－８，＋８）ルーマサンプルに等しく設定される。現在のブロックが双方向予測のものである場合、両方のＭＶが独立して改善され、次いで、それらのうちの（マッチングコストに関して）最良のものが、ＢＣＷ重み値を用いて他のＭＶをさらに精緻化するために優先して設定される。
【0114】
課題
ＲＰＲおよび／またはＷＰが使用される場合、上述のテンプレートベースのインター予測技法（例えば、ＬＩＣおよびＴＭインター予測）のそれぞれのプロセスは、完全には定義されない。したがって、テンプレートベースのインター予測技法とＲＰＲ／ＷＰとの両方を使用するビデオコーディングプロセスは、実装および／または準最適コーディング効率を提供するのがより複雑であり得る。
ＲＰＲおよび／またはＷＰが使用される場合、上述のテンプレートベースのインター予測技法（例えば、ＬＩＣおよびＴＭインター予測）のそれぞれのプロセスは、完全には定義されない。したがって、テンプレートベースのインター予測技法とＲＰＲ／ＷＰとの両方を使用するビデオコーディングプロセスは、実装および／または準最適コーディング効率を提供するのがより複雑であり得る。
【実施例】
【0115】
一般に、本開示の以下の技法は、任意のテンプレートベースのインター予測技法に適用され得る。一般性を失うことなく、本開示は、ＲＰＲおよびＷＰがどのようにＬＩＣおよびＴＭと相互作用することができるかを指定するためのＬＩＣおよびＴＭの例を示している。
【0116】
セクション１－テンプレートベースのインター予測の有効化条件
以下に列挙される例は、現在のピクチャおよび参照ピクチャ（単数または複数）のそれぞれのピクチャサイズに基づいてＬＩＣが適用され得るか否かを決定するための、ＬＩＣに対するＲＰＲ制限を説明している。
以下に列挙される例は、現在のピクチャおよび参照ピクチャ（単数または複数）のそれぞれのピクチャサイズに基づいてＬＩＣが適用され得るか否かを決定するための、ＬＩＣに対するＲＰＲ制限を説明している。
【0117】
一例では、インター予測ブロックのコーディングモードがＡＭＶＰモードまたはマージモード（例えば、レギュラーＡＭＶＰ／マージモードまたはアフィンＡＭＶＰ／マージモードのいずれか）である場合、ＬＩＣは、インター予測仮説を生成する際に使用される対応する参照ピクチャが現在のピクチャよりも小さいまたは大きい（例えば、参照ピクチャが現在のピクチャとは異なるサイズである）場合、ブロックのインター予測仮説に適用されない（例えば、無効にされる）。対応する参照ピクチャが現在のピクチャとは異なるサイズである場合、ＲＰＲは通常、有効にされる。したがって、本開示の一例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ＲＰＲが有効にされているときにＬＩＣを適用しないように構成され得る。言い換えれば、ビデオエンコーダ２００およびビデオデコーダ３００は、ＬＩＣに使用される対応する参照ピクチャが、コーディングされているビデオデータのブロックを含んでいる現在のピクチャとは異なるサイズである（例えば、より大きいまたはより小さい）場合、ＬＩＣを適用しないように構成され得る。
【0118】
したがって、本開示の一例では、ビデオエンコーダ２００およびビデオデコーダは、ＲＰＲモードが有効にされていると決定し、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定し、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号する、ように構成され得る。
【0119】
双方向予測の一例では、ビデオエンコーダ２００およびビデオデコーダ３００は、２つの異なる参照ピクチャリストからの動きベクトルに基づいて、２つの予測仮説を形成し得る。いくつかの例では、第１の参照ピクチャリストからの動きベクトルは、現在のピクチャとは異なるサイズを有する参照ピクチャを指し得、第２の参照ピクチャリストからの別の動きベクトルは、現在のピクチャと同じサイズを有する参照ピクチャを指し得る。上記で説明したように、ビデオエンコーダ２００およびビデオデコーダ３００は、現在のピクチャとは異なるサイズを有する参照ピクチャに基づく予測仮説に対してＬＩＣを無効にし得る。しかしながら、本開示の別の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、他の参照ピクチャリストに対応するその参照ピクチャが現在のピクチャと同じピクチャサイズである場合、ＬＩＣを他のインター予測仮説に適用し得る。すなわち、ＬＩＣは、動きベクトルによって指し示される参照ピクチャが現在のピクチャと同じサイズである場合、参照ピクチャリストのうちの１つに関連付けられた動きベクトルに対する予測仮説に対して実行され得る。したがって、一例では、ＬＩＣは、双方向予測のための１つの予測仮説に対して実行され得るが、他の予測仮説に対しては実行され得ない。
【0120】
（レギュラーまたはアフィン）ＡＭＶＰモードでは、インター予測ブロックの全ての参照ピクチャが現在のピクチャとは異なるピクチャサイズを有する場合、ビデオエンコーダ２００は、符号化ビデオビットストリームにおいてブロックレベル（またはＣＵレベル）ＬＩＣフラグをシグナリングしないように構成され得る。代わりに、この状況では、ビデオデコーダ３００は、ＬＩＣフラグの値が０である（例えば、ＬＩＣが適用されない）と推測するように構成される。例えば、単方向予測ブロックの参照ピクチャが現在のピクチャよりも小さいまたは大きい場合、ＬＩＣフラグはシグナリングされず、双方向予測ブロックの参照ピクチャのいずれも現在のピクチャと同じサイズでない場合、ＬＩＣフラグはシグナリングされない。一般に、ビデオデコーダ３００は、ＲＰＲが現在のブロックの参照ピクチャに用いられていることに基づいて、ＬＩＣフラグの値を推測するように構成され得る。
【0121】
別の例では、双方向予測の場合、ビデオエンコーダ２００およびビデオデコーダ３００は、双方向予測において使用される参照ピクチャのうちの少なくとも１つが現在のピクチャとは異なるピクチャサイズを有する場合、ＬＩＣをインターブロックに適用しないように構成される。この場合も、ＣＵレベルＬＩＣフラグはシグナリングされず、代わりに、ビデオデコーダは、ＬＩＣフラグの値が０である（例えば、ＬＩＣが適用されないことを意味する）と推測する。
【0122】
別の例では、いずれの参照ピクチャリスト中の参照ピクチャのいずれも現在のピクチャと同じピクチャサイズでない場合、スライスレベルＬＩＣフラグはシグナリングされず、０の値を有すると推測され得る。
【0123】
以下に列挙する例は、ＬＩＣおよびＲＰＲモードの相互作用に関連する上記の例をＷＰモードに拡張している。以下の例は、ＬＩＣに対するＷＰ制限と呼ばれる。
【0124】
一例では、インター予測ブロックのコーディングモードがＡＭＶＰまたはマージモード（例えば、レギュラーＡＭＶＰ／マージモードまたはアフィンＡＭＶＰ／マージモードのいずれか）である場合、ＷＰが、対応する参照ピクチャに適用される場合、ＬＩＣは、インター予測仮説に適用されない。加えて、双方向予測の場合、ＷＰが、インター予測仮説に対応する参照ピクチャリストに対応する参照ピクチャに適用されない場合、ＬＩＣは、インター予測仮説に適用され得る。
【0125】
（レギュラーまたはアフィン）ＡＭＶＰモードでは、ＷＰが、インター予測ブロックの全ての参照ピクチャに適用される場合、ブロックレベル（またはＣＵレベル）ＬＩＣフラグは、ビットストリームにおいてシグナリングされず、ビデオデコーダ３００において０として推測される。例えば、ＷＰが、単方向予測ブロックの参照ピクチャに適用される場合、ＬＩＣフラグはシグナリングされず、ＷＰが、双方向予測ブロックの両方の参照ピクチャに適用される場合、ＬＩＣフラグはシグナリングされない。
【0126】
別の例では、双方向予測の場合、ビデオエンコーダ２００およびビデオデコーダ３００は、ＷＰが、参照ピクチャのうちの少なくとも１つに適用される場合、ＬＩＣをインターブロックに適用しない。対応するＣＵレベルＬＩＣフラグは、シグナリングされず、０として推測される。
【0127】
別の例では、ＷＰが両方の参照ピクチャリストの全ての参照ピクチャに適用される場合、スライスレベルＬＩＣフラグは、シグナリングされず、０として推測され得る。
【0128】
以下に列挙される例は、現在のピクチャおよび参照ピクチャ（単数または複数）のそれぞれのピクチャサイズに基づいてテンプレートマッチング（ＴＭ）が適用され得るか否かを決定するための、ＴＭ予測に対するＲＰＲ制限を説明する。
【0129】
一例では、インター予測ブロックのコーディングモードがＡＭＶＰモード（例えば、レギュラーＡＭＶＰモードまたはアフィンＡＭＶＰモードのいずれか）である場合、ビデオエンコーダ２００およびビデオデコーダ３００は、ＴＭをバイパスする（例えば、ＴＭを無効にするまたは適用しない）ことができ、対応する参照ピクチャが現在のピクチャよりも小さいまたは大きい場合（例えば、ＲＰＲが有効にされているとき）、現在のブロックのためのＭＶ予測子のいずれも、ＴＭを使用して精緻化されない。ＴＭがバイパスされることは、ＡＭＶＰ候補インデックスがＴＭによって決定されることができず、かつ現在のブロックのＭＶおよびＭＶ予測子がもはや精緻化されないことを意味する。ＴＭがバイパスされる場合、ＡＭＶＰインデックスは、ＡＭＶＰ候補リスト中のＭＶ予測子のうちのどれが使用されるかを示すために、ビデオエンコーダ２００によってビットストリームにおいてシグナリングされ、ビデオデコーダ３００によってパースされ得る。
【0130】
更なる例では、双方向予測の場合、現在のピクチャサイズに対する参照ピクチャサイズに応じて、ＴＭは、一方の参照ピクチャに対応するＭＶ予測子にのみ適用され、他方のＭＶ予測子に対してバイパスされることが可能である。例えば、単方向予測ブロックの参照ピクチャが現在のピクチャよりも小さいまたは大きい場合、ＴＭはバイパスされ、ＡＭＶＰインデックスがシグナリングされる。双方向予測ブロックの参照ピクチャのいずれも現在のピクチャと同じピクチャサイズを有しない場合、ＴＭは、両方の参照ピクチャのＭＶ予測子に対してバイパスされ、それぞれのＡＭＶＰインデックスがシグナリングされる。双方向予測ブロックの参照ピクチャのうちの１つのみが現在のピクチャと同じピクチャサイズである（一方、他の参照ピクチャは同じピクチャサイズではない）場合、現在のピクチャと同じサイズである参照ピクチャに関連付けられたＭＶ予測子のみが、ＴＭによって精緻化される（したがって、そのＡＭＶＰインデックスはＴＭによって決定され、ＡＭＶＰインデックスはシグナリングされる必要がない）一方で、ＴＭは、現在のピクチャと同じサイズではない参照ピクチャに関連付けられた他のＭＶ予測子に対してバイパスされ、そのＡＭＶＰインデックスがシグナリングされる。
【0131】
別の例では、双方向予測の場合、ビデオエンコーダ２００およびビデオデコーダ３００は、参照ピクチャのうちの少なくとも１つが現在のピクチャとは異なるピクチャサイズを有する場合、ＴＭをインターブロック（レギュラーＡＭＶＰモードとアフィンＡＭＶＰモードの両方）に適用しないように構成される。
【0132】
別の例では、参照ピクチャサイズが現在のピクチャのサイズとは異なることに起因してＴＭがバイパスされる場合、ビデオデコーダ３００は、ＡＭＶＰインデックスの値が０であると推測するように構成され得る。ビデオエンコーダ２００は、この状況ではＡＭＶＰインデックスをシグナリングしないことになる。
【0133】
別の例では、インター予測ブロックのコーディングモードがマージモード（例えば、レギュラーマージモードまたはアフィンマージモードのいずれか）である場合、ビデオエンコーダ２００およびビデオデコーダ３００は、ＴＭをバイパスするように構成され得、対応する参照ピクチャが現在のピクチャよりも小さいまたは大きい場合、現在のブロックの動きベクトルのいずれも精緻化されない。加えて、双方向予測の場合、ＴＭは、現在のピクチャサイズに対する参照ピクチャサイズに全て依存して、１つの参照ピクチャに対応するＭＶにのみ適用され、他のＭＶに対してはバイパスされることが可能である。例えば、単方向予測ブロックの参照ピクチャが現在のピクチャよりも小さいまたは大きい場合、ＴＭはバイパスされる。双方向予測ブロックの参照ピクチャのいずれも現在のピクチャと同じピクチャサイズでない場合、ＴＭは、両方の参照ピクチャの動きベクトルに対してバイパスされる。双方向予測ブロックの参照ピクチャのうちの１つのみが現在のピクチャと同じピクチャサイズである（一方、他の参照ピクチャは同じピクチャサイズではない）場合、参照ピクチャに関連付けられた動きベクトルのみがＴＭによって精緻化される一方で、ＴＭは、他の動きベクトルに対してバイパスされる。
【0134】
別の例では、双方向予測の場合、ビデオエンコーダ２００およびビデオデコーダ３００は、参照ピクチャのうちの少なくとも１つが現在のピクチャとは異なるピクチャサイズである場合、レギュラーマージモードとアフィンマージモードの両方に対して、ＴＭをインターブロックに適用しない。
【0135】
別の例では、ジオメトリック（geometric、ＧＥＯ）分割の動きベクトルは、その対応する参照ピクチャサイズが現在のピクチャサイズと異なる場合、ＴＭによって精緻化されない場合がある。
【0136】
別の例では、動きベクトル差分を有するマージモード（merge mode with motion vector difference、ＭＭＶＤ）候補は、参照ピクチャサイズが現在のピクチャと異なる場合、ＴＭコストに基づいてソートされない。代わりに、（例えば、より小さいＭＶＤから大きいＭＶＤへ）デフォルト順序が全てのＭＭＶＤ候補に割り当てられる。
【0137】
別の例では、ビデオエンコーダおよびビデオデコーダ３００は、両方の参照ピクチャリスト中の参照ピクチャのいずれも現在のピクチャと同じピクチャサイズでない場合、スライスレベルにおいてＴＭを完全に無効にするように構成され得る。したがって、マージモードのためのＣＵレベルＴＭフラグはシグナリングされず、０であると推測される（例えば、ＴＭモードが適用されない）。
【0138】
以下に列挙する実施例は、上記の実施例をＴＭに拡張する。以下、この拡張をＴＭに対するＷＰ制限と呼ぶ。
【0139】
一例では、インター予測ブロックのコーディングモードがＡＭＶＰモード（例えば、レギュラーＡＭＶＰモードまたはアフィンＡＭＶＰモードのいずれか）である場合、ＴＭはバイパスされ得、対応する参照ピクチャにＷＰが適用される場合、現在のブロックＭＶ予測子のいずれも精緻化されない。特に、ＴＭがバイパスされる場合（これは、ＡＭＶＰ候補インデックスがＴＭによって決定されることができず、現在のブロックのＭＶおよびＭＶ予測子がもはや精緻化されないことを暗示する）、ＡＭＶＰインデックスは、ビデオエンコーダ２００においてビットストリームにおいてシグナリングされ、ＡＭＶＰ候補リスト中のどのＭＶ予測子が使用されるかを示すためにビデオデコーダ３００によってパースされる。
【0140】
双方向予測の別の例では、ＷＰが参照ピクチャに適用されるかどうかに応じて、ＴＭは、一方の参照ピクチャに対応するＭＶ予測子にのみ適用され、他方のＭＶ予測子に対してはバイパスされることが可能である。例えば、ＷＰが、単方向予測ブロックの参照ピクチャに適用されるとき場合、ＴＭはバイパスされ、ＡＭＶＰインデックスがシグナリングされる。双方向予測ブロックの参照ピクチャのいずれもＷＰを適用されていない場合、ＴＭは、両方の参照ピクチャのＭＶ予測子に対してバイパスされ、それぞれのＡＭＶＰインデックスがシグナリングされる。双方向予測ブロックの参照ピクチャのうちの１つのみがＷＰを適用されている（一方、他の参照ピクチャはＷＰを適用されていない）場合、ＷＰが適用されていない参照ピクチャに関連付けられたＭＶ予測子のみがＴＭによって精緻化される（したがって、そのＡＭＶＰインデックスはＴＭによって決定され、ＡＭＶＰインデックスはシグナリングされる必要がない）一方で、ＴＭは、ＷＰが参照ピクチャに適用されてそのＡＭＶＰインデックスがシグナリングされる他のＭＶ予測子に対してはバイパスされる。
【0141】
別の例では、双方向予測の場合、ビデオエンコーダ２００およびビデオデコーダ３００は、ＷＰが、参照ピクチャのうちの少なくとも１つに適用される場合、ＴＭをインターブロック（レギュラーおよびアフィンの両方の）ＡＭＶＰモードに適用しない。
【0142】
別の例では、ＷＰが参照ピクチャに適用されていることに起因してＴＭがバイパスされる場合、ＡＭＶＰインデックスは、ビデオデコーダ３００において０として推測され得、ビデオエンコーダ２００によってシグナリングされる必要はない。
【0143】
インター予測ブロックのコーディングモードがマージモード（例えば、レギュラーマージまたはアフィンマージモードのいずれか）である場合、ＴＭはバイパスされ得、ＷＰが対応する参照ピクチャに適用される場合、現在のブロックの動きベクトルのいずれも精緻化されない。加えて、双方向予測の場合、ＷＰが参照ピクチャに適用されるかどうかに応じて、ＴＭは、一方の参照ピクチャに対応する動きベクトルに対してのみ適用され、他方の動きベクトルに対してはバイパスされることが可能である。例えば、単方向予測ブロックの参照ピクチャがＷＰを適用されている場合、ＴＭはバイパスされる。双方向予測ブロックの参照ピクチャのいずれもＷＰを適用されていない場合、ＴＭは、両方の参照ピクチャの動きベクトルに対してバイパスされる。双方向予測ブロックの参照ピクチャのうちの１つのみがＷＰを適用されていない（一方、他の参照ピクチャにＷＰが適用されている）場合、参照ピクチャに関連付けられた動きベクトルのみがＴＭによって精緻化され、一方で、ＴＭは、他のＭＶに対してバイパスされる。
【0144】
別の例では、ＧＥＯ分割のＭＶは、その対応する参照ピクチャがＷＰを適用されている場合、ＴＭによって精緻化されない場合がある。
【0145】
別の例では、ＭＭＶＤ候補は、参照ピクチャがＷＰを適用されている場合、ＴＭコストに基づいてソートされない。代わりに、（例えば、より小さいＭＶＤから大きいＭＶＤへ）デフォルトの順序が、全てのＭＭＶＤ候補に用いられる。
【0146】
別の例では、両方の参照ピクチャリスト中の全ての参照ピクチャがＷＰを適用されている場合、ＴＭは、スライスレベルにおいて完全に無効にされ得る。したがって、マージモードのためのＣＵレベルＴＭフラグは、シグナリングされる必要がなく、０の値を有すると推測される（例えば、ＴＭはバイパスされて適用されない）。
【0147】
セクション２－マージモードの候補リスト構成
セクション１で開示されたような制限は、マージモード（例えば、レギュラーマージモード、アフィンマージモード、ＴＭマージモード、ＧＥＯマージモード、ＭＭＶＤモード）のマージ候補リストが、スケーリングされた（例えば、ＲＰＲによってスケーリングされた）参照ピクチャサイズ（単数若しくは複数）および／または重み予測された参照ピクチャ（単数若しくは複数）を有するいかなる候補も含まない場合、テンプレートベースのインター予測を用いるマージモードに対して回避され得る。言い換えれば、マージ候補は、そのような候補がセクション１で開示されたような制限をトリガする場合、マージ候補リストに挿入される前にプルーニングされ得る。
セクション１で開示されたような制限は、マージモード（例えば、レギュラーマージモード、アフィンマージモード、ＴＭマージモード、ＧＥＯマージモード、ＭＭＶＤモード）のマージ候補リストが、スケーリングされた（例えば、ＲＰＲによってスケーリングされた）参照ピクチャサイズ（単数若しくは複数）および／または重み予測された参照ピクチャ（単数若しくは複数）を有するいかなる候補も含まない場合、テンプレートベースのインター予測を用いるマージモードに対して回避され得る。言い換えれば、マージ候補は、そのような候補がセクション１で開示されたような制限をトリガする場合、マージ候補リストに挿入される前にプルーニングされ得る。
【0148】
一例では、ビデオエンコーダ２００およびビデオデコーダ３００は、特定のマージ候補に関連付けられた参照ピクチャのサイズに基づいて、マージ候補リスト（例えば、レギュラーマージ、ＴＭマージ、またはアフィンマージのいずれか）にプルーニングプロセスを適用するように構成され得る。例えば、ビデオエンコーダ２００およびビデオデコーダ３００は、現在のピクチャとは異なるサイズを有する少なくとも１つの参照ピクチャに関連付けられている動きベクトル候補をマージ候補リストからプルーニングする（例えば、除去する）ように構成され得る。
【0149】
この例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ビデオデータのブロックのためのマージ候補リストを構成するように構成され得る。マージ候補リストは、レギュラーマージモード、ＴＭマージモード、およびアフィンマージモードを含む、任意のインター予測モードのためのものであり得る。ビデオエンコーダ２００およびビデオデコーダ３００は、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングし得る。このコンテキストでは、マージ候補リストをプルーニングすることは、ビデオデータの現在のピクチャとは異なるサイズである少なくとも１つの参照ピクチャを有するマージ候補を除去することを含む。ビデオエンコーダ２００およびビデオデコーダ３００は、次いで、プルーニングされたマージ候補リストを使用してビデオデータのブロックをコーディングし得る。
【0150】
別の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、現在のピクチャとは異なるピクチャサイズである全ての参照ピクチャを有する動きベクトル候補をプルーニングするために、プルーニング方法をマージ候補リスト（例えば、レギュラーマージ、ＴＭマージ、またはアフィンマージのいずれか）に適用するように構成され得る。
【0151】
別の例では、に、マージ候補が、現在のピクチャとは異なるピクチャサイズの１つの参照ピクチャ（および現在のピクチャと同じサイズの他の参照ピクチャ）のみを用いて双方向予測される場合、ビデオエンコーダ２００およびビデオデコーダ３００は、現在のピクチャに対して等しくないサイズの参照ピクチャに関連付けられた動きベクトルを除去することによって、双方向予測候補を単方向予測候補になるように縮退するように構成され得る。
【0152】
別の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ＷＰが適用された少なくとも１つの参照ピクチャを有する動きベクトル候補をプルーニングするために、プルーニング方法をマージ候補リスト（例えば、レギュラーマージ、ＴＭマージ、またはアフィンマージのいずれか）に適用するように構成され得る。
【0153】
別の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、ＷＰが適用されている全ての参照ピクチャを有する動きベクトル候補をプルーニングするために、プルーニング方法をマージ候補リスト（例えば、レギュラーマージ、ＴＭマージ、またはアフィンマージのいずれか）に適用するように構成され得る。
【0154】
別の例では、マージ候補が、ＷＰが適用されている１つの参照ピクチャのみを用いて双方向予測される（および他の参照ピクチャがＷＰを適用されていない）場合、ビデオエンコーダ２００およびビデオデコーダ３００は、ＷＰが適用された参照ピクチャに関連付けられた動きベクトルを除去することによって、双方向予測候補を単方向予測候補になるように縮退するように構成され得る。
【0155】
別の例では、マージ候補リスト中の全ての候補がプルーニングされた場合、マージ候補構成プロセスが再び開始し、前述のプルーニングプロセスは適用されない。そのようなマージ候補のうちのいずれか１つが使用された場合、セクション１で開示されたそれぞれの制限が適用される。
【0156】
別の例では、レギュラーマージリスト構成プロセスに適用される上記の変更を用いて生成された結果として生じる候補リストは、ＧＥＯ候補動きおよびＭＭＶＤ候補動きを生成するために、ＧＥＯおよびＭＭＶＤなどの他のマージモードに直接使用され得る。
【0157】
代替的に、いくつかの例示的なビデオ技法は、マージモード（例えば、レギュラーマージ）のマージ候補リスト構成プロセスを変更のないまま保持し得る。しかしながら、ビデオエンコーダ２００は、現在のピクチャとは異なるサイズの参照ピクチャおよび／またはＷＰが適用されている参照ピクチャに関連付けられたマージ候補リストから候補を選ばないように構成され得る。
【0158】
一例では、ＧＥＯ候補リスト構成プロセスを実行する際に、ビデオエンコーダ２００およびビデオデコーダ３００は、現在のピクチャよりも大きいまたは小さいサイズを有する参照ピクチャを指している動きベクトル候補をサンプリングすることをスキップし得る。例えば、候補が、スケーリングされた参照ピクチャサイズを指している単方向予測動きを用いてコーディングされる場合、この候補はスキップされる。別の例では、候補が双方向予測動きを用いてコーディングされる場合、考慮されるべき３つの異なるケースが存在する。（１）候補の両方の動きベクトルがスケーリングされた参照ピクチャを指している場合、この候補はスキップされる。（２）候補の一方の動きベクトルのみが、スケーリングされた参照ピクチャを指している場合、候補の他方の動きベクトルはＧＥＯ候補リストに挿入される。（３）候補の両方の動きベクトルがスケーリングされていない参照ピクチャに関連付けられている場合、ＶＶＣテストモデル（VVC Test Model、ＶＴＭ）と同じパリティベースの選択が適用される。
【0159】
別の例では、ＭＭＶＤベース候補リスト（例えば、レギュラーマージ候補リストの最初の１つまたは２つの候補）に対して、ビデオエンコーダ２００およびビデオデコーダ３００は、現在のピクチャよりも大きいまたは小さいサイズを有する参照ピクチャを指している動きベクトル候補をサンプリングすることをスキップし得る。例えば、候補が、スケーリングされた参照ピクチャサイズを指している単方向予測動きを用いてコーディングされる場合、この候補はスキップされる。別の例では、候補が双方向予測動きを用いてコーディングされる場合、考慮されるべき３つの異なるケースが存在する。（１）候補の両方の動きベクトルがスケーリングされた参照ピクチャに関連付けられている場合、この候補はスキップされる。（２）候補の一方の動きベクトルのみが、スケーリングされた参照ピクチャに関連付けられている場合、この候補は、スケーリングされた参照ピクチャに関連付けられた動きベクトルを除去することによって、単方向予測候補に縮退される。（３）候補の両方の動きベクトルがスケーリングされていない参照ピクチャに関連付けられている場合、この候補は、変更なしでＭＭＶＤに直接使用され得る。別の例では、ＭＭＶＤプロセスは、レギュラーマージ候補リスト中の最初の２つの候補のうちの少なくとも１つが完全にプルーニングされる場合、レギュラーマージ候補リストの最初の１つおよび２つの候補を超えてより多くの候補をチェックすることを含み得る。
【0160】
別の例では、ＧＥＯ候補リスト構成プロセスの場合、ビデオエンコーダ２００およびビデオデコーダ３００は、ＷＰが適用されている参照ピクチャを指している動きベクトル候補をサンプリングすることをスキップし得る。例えば、ＷＰが適用された参照ピクチャを指している単方向予測動きを用いて候補がコーディングされる場合、この候補はスキップされる。別の例では、候補が双方向予測動きを用いてコーディングされる場合、考慮されるべき３つの異なるケースが存在する。（１）候補の両方の動きベクトルが、ＷＰが適用された参照ピクチャを指している場合、この候補はスキップされる。（２）候補の一方の動きベクトルのみが、ＷＰが適用された参照ピクチャを指している場合、候補の他方の動きベクトルはＧＥＯ候補リストに挿入される。（３）候補の動きベクトルのいずれも、ＷＰが適用された参照ピクチャを指していない場合、ＶＴＭと同じパリティベースの選択が適用される。
【0161】
別の例では、ＭＭＶＤベース候補リスト（例えば、レギュラーマージ候補リストの最初の１つまたは２つの候補）に対して、ビデオエンコーダ２００およびビデオデコーダ３００は、ＷＰが適用された参照ピクチャを指している動きベクトル候補をサンプリングすることをスキップし得る。例えば、ＷＰが適用された参照ピクチャを指している単方向予測動きを用いて候補がコーディングされる場合、この候補はスキップされる。別の例では、候補が双方向予測動きを用いてコーディングされる場合、考慮されるべき３つの異なるケースが存在する。（１）候補の両方の動きベクトルが、ＷＰが適用された参照ピクチャを指している場合、この候補はスキップされる。（２）候補の一方の動きベクトルのみが、ＷＰが適用された参照ピクチャを指している場合、この候補は、ＷＰが適用されている動きベクトルを除去することによって、単方向予測候補に縮退される。（３）候補の両方の動きベクトルが、ＷＰが適用されていない参照ピクチャを指している場合、この候補は、変更なしでＭＭＶＤに直接使用され得る。別の例では、ＭＭＶＤプロセスは、レギュラーマージ候補リスト中の最初の２つの候補のうちの少なくとも１つが完全にプルーニングされる場合、レギュラーマージ候補リストの最初の１つおよび２つの候補を超えてより多くの候補をチェックすることを含み得る。
【0162】
セクション２テンプレートベースのインター予測の例外処理
セクション１とは異なり、ビデオエンコーダ２００およびビデオデコーダ３００は、前述の制限がトリガされるか否かにかかわらず、テンプレートベースのインター予測技法を無効化もバイパスもしないように構成される。言い換えれば、ビデオエンコーダ２００およびビデオデコーダ３００は、必要に応じて、テンプレートベースのインター予測技法を実行し、シンタックス要素をコーディングし、および／または候補をソートするように構成される。
セクション１とは異なり、ビデオエンコーダ２００およびビデオデコーダ３００は、前述の制限がトリガされるか否かにかかわらず、テンプレートベースのインター予測技法を無効化もバイパスもしないように構成される。言い換えれば、ビデオエンコーダ２００およびビデオデコーダ３００は、必要に応じて、テンプレートベースのインター予測技法を実行し、シンタックス要素をコーディングし、および／または候補をソートするように構成される。
【0163】
一例では、現在のピクチャサイズが参照ピクチャサイズと異なる場合、ビデオエンコーダ２００およびビデオデコーダ３００は、ＲＰＲのそれぞれの補間フィルタを使用して参照テンプレートブロックに対して動き補償を依然として実行する。したがって、参照テンプレートブロックサイズは現在のテンプレートブロックに一致し、したがって、テンプレートベースのインター予測技法は依然として実行され得る。
【0164】
別の例では、ＷＰがインターブロックの参照ピクチャに適用される場合、ビデオエンコーダ２００およびビデオデコーダ３００は、ＷＰパラメータを用いて参照テンプレートブロックに対して動き補償を依然として実行し得、次いで、テンプレートベースのインター予測技法が依然として実行され得る。
【0165】
代替的に、別の例では、ビデオエンコーダ２００およびビデオデコーダ３００は、参照テンプレートブロックが動き補償される場合、ＷＰパラメータを使用しない。
【0166】
図７は、本開示の技法を実行し得る、例示的なビデオエンコーダ２００を示すブロック図である。図７は、説明のために提供され、本開示において広く例示されて説明される技法を限定するものと見なされるべきでない。説明のために、本開示は、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）およびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法によるビデオエンコーダ２００を説明する。しかしながら、本開示の技法は、他のビデオコーディング規格、並びに、ＡＶ１およびＡＶ１の後継のビデオコーディングフォーマットなどのビデオコーディングフォーマットに構成される、ビデオ符号化デバイスによって実施され得る。
【0167】
図７の実施例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０、モード選択ユニット２０２、残差生成ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、フィルタユニット２１６、復号ピクチャバッファ（decoded picture buffer、ＤＰＢ）２１８、およびエントロピー符号化ユニット２２０を含む。ビデオデータメモリ２３０、モード選択ユニット２０２、残差生成ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、フィルタユニット２１６、ＤＰＢ２１８、およびエントロピー符号化ユニット２２０のうちのいずれかまたは全てが、１つ若しくは複数のプロセッサにおいてまたは処理回路において実装され得る。例えば、ビデオエンコーダ２００のユニットは、ハードウェア回路の一部としての１つまたは複数の回路若しくは論理要素として、またはプロセッサ、ＡＳＩＣ、若しくはＦＰＧＡの一部として実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含んでもよい。
【0168】
ビデオデータメモリ２３０は、ビデオエンコーダ２００のコンポーネントによって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、ビデオデータメモリ２３０に記憶されたビデオデータを、例えば、ビデオソース１０４（図１）から受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００によって後続のビデオデータの予測において使用するための参照ビデオデータを記憶する、参照ピクチャメモリとして機能してもよい。ビデオデータメモリ２３０およびＤＰＢ２１８は、同期ダイナミックランダムアクセスメモリ（synchronous dynamic random access memory、ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（magnetoresistive RAM、ＭＲＡＭ）、抵抗ＲＡＭ（resistive RAM、ＲＲＡＭ）、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０およびＤＰＢ２１８は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、示されるように、ビデオエンコーダ２００の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。
【0169】
本開示では、ビデオデータメモリ２３０への言及は、そのように特に記載されない限り、ビデオエンコーダ２００の内部のメモリに、またはそのように特に記載されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして、解釈されるべきではない。むしろ、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（例えば、符号化されるべき現在のブロックに対するビデオデータ）を記憶する参照メモリとして理解されるべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的な記憶域を提供し得る。
【0170】
図７の様々なユニットは、ビデオエンコーダ２００によって実行される動作を理解する助けとなるように示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組み合わせとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作があらかじめ決められている。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作においてフレキシブルな機能を提供する。例えば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される方式で、プログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は（例えば、パラメータを受信するためまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは一般に不変である。いくつかの例では、ユニットのうちの１つまたは複数は、異なる回路ブロック（固定機能またはプログラマブル）であってもよく、いくつかの例では、ユニットのうちの１つまたは複数は集積回路であってもよい。
【0171】
ビデオエンコーダ２００は、算術論理ユニット（arithmetic logic units、ＡＬＵｓ）、基本機能ユニット（elementary function units、ＥＦＵｓ）、デジタル回路、アナログ回路、および／または、プログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作がプログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ１０６（図１）が、ビデオエンコーダ２００が受信および実行するソフトウェアの命令（例えば、オブジェクトコード）を記憶してもよく、またはビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶してもよい。
【0172】
ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出してもよく、ビデオデータを残差生成ユニット２０４およびモード選択ユニット２０２に提供してもよい。ビデオデータメモリ２３０中のビデオデータは、符号化されるべき未加工のビデオデータであってもよい。
【0173】
モード選択ユニット２０２は、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６を含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実行するための追加の機能ユニットを含んでもよい。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（linear model、ＬＭ）ユニットなどを含んでもよい。
【0174】
モード選択ユニット２０２は一般に、複数の符号化パスを協調させて、符号化パラメータの組み合わせと、そのような組み合わせに対して結果として得られるレート歪み値を試験する。符号化パラメータは、ＣＵへのＣＴＵの分割、ＣＵに対する予測モード、ＣＵの残差データに対する変換タイプ、ＣＵの残差データに対する量子化パラメータなどを含んでもよい。モード選択ユニット２０２は最終的に、他の試験された組み合わせより良いレート歪み値を有する符号化パラメータの組み合わせを選択し得る。
【0175】
ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに分割してもよく、１つまたは複数のＣＴＵをスライス内にカプセル化してよい。モード選択ユニット２０２は、上述のＭＴＴ構造、ＱＴＢＴ構造、スーパーブロック構造、またはクワッドツリー構造などの、ツリー構造に従ってピクチャのＣＴＵを分割し得る。上記で説明したように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを分割することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、一般に、「ビデオブロック」または「ブロック」と呼ばれることもある。
【0176】
一般に、モード選択ユニット２０２はまた、現在のブロック（例えば、現在のＣＵ、またはＨＥＶＣでは、ＰＵおよびＴＵの重複部分）に対する予測ブロックを生成するように、その構成要素（例えば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在のブロックのインター予測の場合、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（例えば、ＤＰＢ２１８内に記憶されている１つまたは複数の以前にコーディングされたピクチャ）の中の１つまたは複数の厳密に一致する参照ブロックを特定するために、動き探索を実行し得る。具体的には、動き推定ユニット２２２は、例えば、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均二乗差（ＭＳＤ）などに従って、可能性のある参照ブロックが現在のブロックとどれだけ類似しているかを表す値を計算し得る。動き推定ユニット２２２は一般に、現在のブロックと検討されている参照ブロックとの間のサンプルごとの差分を使用して、これらの計算を実行し得る。動き推定ユニット２２２は、現在のブロックと最もよく一致する参照ブロックを示す、これらの計算に起因する最低の値を有する参照ブロックを特定し得る。
【0177】
動き推定ユニット２２２は、現在のピクチャの中の現在のブロックの位置に対する参照ピクチャの中の参照ブロックの位置を定義する、１つまたは複数の動きベクトル（ＭＶｓ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。例えば、単方向のインター予測の場合、動き推定ユニット２２２は単一の動きベクトルを提供してもよく、一方、双方向インター予測の場合、動き推定ユニット２２２は２つの動きベクトルを提供してもよい。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。例えば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出してよい。別の例として、動きベクトルが小数サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って、予測ブロックに対する値を補間し得る。その上、双方向インター予測の場合、動き補償ユニット２２４は、それぞれの動きベクトルによって特定される２つの参照ブロックに対するデータを取り出し、例えば、サンプルごとの平均または加重平均を通じて、取り出されたデータを組み合わせ得る。
【0178】
動き推定ユニット２２２および動き補償ユニット２２４は、上記で説明したように、ＬＩＣおよびＴＭインター予測などの、１つまたは複数のテンプレートベースのインター予測技法を実行するように構成され得る。動き推定ユニット２２２および動き補償ユニット２２４は、どのテンプレートベースのインター予測技法がＲＰＲおよび／またはＷＰとともに使用されるかを定義する上記の技法のいずれかを実行するように構成され得る。
【0179】
動き推定ユニット２２２および動き補償ユニット２２４は、ＡＶ１ビデオコーディングフォーマットに従って動作する場合、並進動き補償、アフィン動き補償、重複ブロック動き補償（overlapped block motion compensation、ＯＢＭＣ）、および／または合成インター－イントラ予測を使用して、ビデオデータのコーディングブロック（例えば、ルーマコーディングブロックとクロマコーディングブロックの両方）を符号化するように構成され得る。
【0180】
別の例として、イントラ予測またはイントラ予測コーディングの場合、イントラ予測ユニット２２６は、現在のブロックに隣接サンプルから予測ブロックを生成し得る。例えば、指向性モードの場合、イントラ予測ユニット２２６は一般に、予測ブロックを作り出すために、隣接サンプルの値を数学的に組み合わせて、現在のブロックにわたって定められた方向においてこれらの計算された値をポピュレートし得る。別の例として、ＤＣモードの場合、イントラ予測ユニット２２６は、現在のブロックに隣接サンプルの平均を計算し、予測ブロックの各サンプルに対するこの得られた平均を含むように予測ブロックを生成し得る。
【0181】
イントラ予測ユニット２２６は、ＡＶ１ビデオコーディングフォーマットに従って動作する場合、方向性イントラ予測、非方向性イントラ予測、再帰的フィルタイントラ予測、ルーマからクロマ（chroma-from-luma、ＣＦＬ）予測、イントラブロックコピー（intra block copy、ＩＢＣ）、および／またはカラーパレットモードを使用して、ビデオデータのコーディングブロック（例えば、ルーマコーディングブロックとクロマコーディングブロックとの両方）を符号化するように構成され得る。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実行するための追加の機能ユニットを含んでもよい。
【0182】
モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在のブロックの未加工の符号化されていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在のブロックと予測ブロックとのサンプルごとの差分を計算する。得られるサンプルごとの差分は、現在のブロックに対する残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（residual differential pulse code modulation、ＲＤＰＣＭ）を使用して残差ブロックを生成するために、残差ブロックの中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実行する１つまたは複数の減算器回路を使用して形成され得る。
【0183】
モード選択ユニット２０２がＣＵをＰＵへと分割する例では、各ＰＵは、ルーマ予測ユニットおよび対応するクロマ予測ユニットと関連付けられ得る。ビデオエンコーダ２００およびビデオデコーダ３００は、様々なサイズを有するＰＵをサポートすることができる。前述のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがあり、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指すことがある。特定のＣＵのサイズが２Ｎ×２Ｎであることを想定すると、ビデオエンコーダ２００は、イントラ予測に対して２Ｎ×２ＮまたはＮ×ＮのＰＵサイズ、およびインター予測に対して２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または類似の、対称のＰＵサイズをサポートし得る。ビデオエンコーダ２００およびビデオデコーダ３００はまた、インター予測に対して２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズのための非対称分割をサポートし得る。
【0184】
モード選択ユニット２０２がＣＵをＰＵにさらに分割しない例では、各ＣＵはルーマコーディングブロックおよび対応するクロマコーディングブロックと関連付けられてもよい。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがある。ビデオエンコーダ２００およびビデオデコーダ３００は、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートしてよい。
【0185】
いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット２０２は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在のブロックに対する予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット２０２は、予測ブロックを生成しなくてもよく、代わりに、選択されたパレットに基づいてブロックを再構成するための方式を示すシンタックス要素を生成してよい。そのようなモードでは、モード選択ユニット２０２は、これらのシンタックス要素が符号化されるようにエントロピー符号化ユニット２２０に提供し得る。
【0186】
上記で説明したように、残差生成ユニット２０４は、現在のブロックおよび対応する予測ブロックに対するビデオデータを受信する。残差生成ユニット２０４は次いで、現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在のブロックとのサンプルごとの差を計算する。
【0187】
変換処理ユニット２０６は、変換係数のブロック（本明細書で「変換係数ブロック」と呼ばれる）を生成するために、１つまたは複数の変換を残差ブロックに適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。例えば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に類似の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、複数の変換、例えば、１次変換および回転変換などの２次変換を、残差ブロックに対して実行してよい。いくつかの例では、変換処理ユニット２０６は、変換を残差ブロックに適用しない。
【0188】
変換処理ユニット２０６は、ＡＶ１に従って動作する場合、（本明細書では「変換係数ブロック」と呼ばれる）変換係数のブロックを生成するために、１つまたは複数の変換を残差ブロックに適用し得る。変換処理ユニット２０６は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。例えば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）と、非対称離散サイン変換（asymmetric discrete sine transform、ＡＤＳＴ）と、反転ＡＤＳＴ（例えば、逆順におけるＡＤＳＴ）と、恒等変換（identity transform、ＩＤＴＸ）と、を含み得る水平／垂直変換組み合わせを適用し得る。恒等変換を使用する場合、変換は、垂直方向または水平方向のうちの１つにおいてスキップされる。いくつかの例では、変換処理はスキップされ得る。
【0189】
量子化ユニット２０８は、変換係数ブロックにおける変換係数を量子化して量子化された変換係数ブロックを生成してもよい。量子化ユニット２０８は、現在のブロックに関連付けられた量子化パラメータ（quantization parameter、ＱＰ）値に従って、変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（例えば、モード選択ユニット２０２を介して）、ＣＵに関連付けられたＱＰ値を調整することによって、現在のブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は情報の損失をもたらすことがあり、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成される元の変換係数より精度が低いことがある。
【0190】
逆量子化ユニット２１０および逆変換処理ユニット２１２は、それぞれ、逆量子化および逆変換を量子化された変換係数ブロックに適用して、変換係数ブロックから残差ブロックを再構成し得る。再構成ユニット２１４は、モード選択ユニット２０２によって生成される再構成される残差ブロックおよび予測ブロックに基づいて、（ある程度の歪みを伴う可能性があるが）現在のブロックに対応する再構成されるブロックを生成し得る。例えば、再構成ユニット２１４は、再構成されるブロックを生成するために、再構成される残差ブロックのサンプルを、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに加算し得る。
【0191】
フィルタユニット２１６は、再構成されるブロックに対して１つまたは複数のフィルタ動作を実行し得る。例えば、フィルタユニット２１６は、ＣＵのエッジに沿ったブロッキネスアーチファクトを低減するためにデブロッキング動作を実行し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。
【0192】
フィルタユニット２１６は、ＡＶ１に従って動作する場合、再構成されるブロックに対して１つまたは複数のフィルタ動作を実施し得る。例えば、フィルタユニット２１６は、ＣＵのエッジに沿ったブロッキネスアーチファクトを低減するためにデブロッキング動作を実行し得る。他の例では、フィルタユニット２１６は、制約付き方向性強調フィルタ（constrained directional enhancement filter、ＣＤＥＦ）を適用してもよく、これは、デブロッキングの後に適用されてもよく、推定されたエッジ方向に基づく、分離不可能、非線形、ローパス方向性フィルタの適用を含み得る。フィルタユニット２１６はまた、ループ復元フィルタを含んでもよく、これは、ＣＤＥＦの後に適用され、分離可能対称正規化ウィーナーフィルタまたはデュアル自己誘導フィルタを含み得る。
【0193】
ビデオエンコーダ２００は、再構成されるブロックをＤＰＢ２１８に記憶する。例えば、フィルタユニット２１６の動作が実行されない例では、再構成ユニット２１４が再構成されるブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が実行される例では、フィルタユニット２１６が、フィルタ処理された再構成されるブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２および動き補償ユニット２２４は、後で符号化されるピクチャのブロックをインター予測するために、再構成される（かつ、フィルタ処理された可能性のある）ブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。加えて、イントラ予測ユニット２２６は、現在のピクチャの中の他のブロックをイントラ予測するために、ＤＰＢ２１８内の、現在のピクチャの再構成されるブロックを使用し得る。
【0194】
一般に、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。例えば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（例えば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化データを生成するために、ビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実行し得る。例えば、エントロピー符号化ユニット２２０は、コンテキスト適応可変長コーディング（context-adaptive variable length coding、ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変長－可変長（variable-to-variable、Ｖ２Ｖ）コーディング動作、シンタックスベースコンテキスト適応バイナリ算術コーディング（syntax-based context-adaptive binary arithmetic coding、ＳＢＡＣ）動作、確率間隔分割エントロピー（Probability Interval Partitioning Entropy、ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作を、データに対して実行し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
【0195】
ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構成するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力し得る。具体的には、エントロピー符号化ユニット２２０がビットストリームを出力してもよい。
【0196】
エントロピー符号化ユニット２２０は、ＡＶ１に従って、シンボル対シンボル適応マルチシンボル算術コーダ（symbol-to-symbol adaptive multi-symbol arithmetic coder）として構成され得る。ＡＶ１におけるシンタックス要素はＮ個の要素のアルファベットを含み、コンテキスト（例えば、確率モデル）はＮ個の確率のセットを含む。エントロピー符号化ユニット２２０は、確率をｎビット（例えば、１５ビット）累積分布関数（cumulative distribution functions、ＣＤＦｓ）として記憶し得る。エントロピー符号化ユニット２２は、コンテキストを更新するために、アルファベットサイズに基づく更新ファクタを用いて、再帰的スケーリングを実施し得る。
【0197】
上記で説明した動作は、ブロックに関して説明される。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明したように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。
【0198】
いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックに対して繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）および参照ピクチャを特定するための動作が、クロマブロックのためのＭＶおよび参照ピクチャを特定するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされてもよく、参照ピクチャも同じであってもよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであってもよい。
【0199】
ビデオエンコーダ２００は、ビデオデータを記憶するように構成されるメモリと、回路に実装され、かつ本開示の参照ピクチャリサンプリングおよびテンプレートベースのインター予測技法を実行するように構成される１つまたは複数の処理ユニットと、を含む、ビデオデータを符号化するように構成されるデバイスの一例を表す。例えば、ビデオエンコーダ２００は、ＲＰＲモードが有効にされていると決定し、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定し、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを符号化する、ように構成され得る。
【0200】
図８は、本開示の技法を実行し得る、例示的なビデオデコーダ３００を示すブロック図である。図８は、説明のために提供され、本開示において広く例示されて説明される技法を限定するものではない。説明のために、本開示は、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）、およびＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法によるビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されるビデオコーディングデバイスによって実行され得る。
【0201】
図８の実施例では、ビデオデコーダ３００は、コーディング済ピクチャバッファ（coded picture buffer、ＣＰＢ）メモリ３２０、エントロピー復号ユニット３０２、予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構成ユニット３１０、フィルタユニット３１２、および復号ピクチャバッファ（decoded picture buffer、ＤＰＢ）３１４を含む。ＣＰＢメモリ３２０、エントロピー復号ユニット３０２、予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構成ユニット３１０、フィルタユニット３１２、およびＤＰＢ３１４のいずれかまたは全てが、１つまたは複数のプロセッサにおいて、または処理回路において実装され得る。例えば、ビデオデコーダ３００のユニットは、ハードウェア回路の一部としての１つまたは複数の回路若しくは論理要素として、またはプロセッサ、ＡＳＩＣ、若しくはＦＰＧＡの一部として実装され得る。その上、ビデオデコーダ３００は、これらの機能および他の機能を実行するための追加または代替のプロセッサまたは処理回路を含んでもよい。
【0202】
予測処理ユニット３０４は、動き補償ユニット３１６およびイントラ予測ユニット３１８を含む。予測処理ユニット３０４は、他の予測モードに従って予測を実行するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含んでもよい。他の例では、ビデオデコーダ３００は、より多い、より少ない、または異なる機能構成要素を含んでもよい。
【0203】
動き補償ユニット３１６は、上記で説明したように、ＬＩＣおよびＴＭインター予測などの、１つまたは複数のテンプレートベースのインター予測技法を実行するように構成され得る。動き補償ユニット３１６は、どのテンプレートベースのインター予測技法がＲＰＲおよび／またはＷＰとともに使用されるかを定義する上記の技法のいずれかを実行するように構成され得る。
【0204】
補償ユニット３１６は、ＡＶ１に従って動作する場合、上記で説明されたように、並進動き補償、アフィン動き補償、ＯＢＭＣ、および／または合成インター－イントラ予測を使用して、ビデオデータのコーディングブロック（例えば、ルーマコーディングブロックとクロマコーディングブロックの両方）を復号するように構成され得る。イントラ予測ユニット３１８は、上記で説明したように、方向性イントラ予測、非方向性イントラ予測、再帰的フィルタイントラ予測、ＣＦＬ、イントラブロックコピー（ＩＢＣ）、および／またはカラーパレットモードを使用して、ビデオデータのコーディングブロック（例えば、ルーマコーディングブロックとクロマコーディングブロックの両方）を復号するように構成され得る。
【0205】
ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき符号化されたビデオビットストリームなどのビデオデータを記憶してよい。ＣＰＢメモリ３２０内に記憶されたビデオデータは、例えば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化されたビデオビットストリームからの符号化されたビデオデータ（例えば、シンタックス要素）を記憶するＣＰＢを含んでもよい。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時的なデータなどの、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶してもよい。ＤＰＢ３１４は、一般に、符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ３００が参照ビデオデータとして出力および／または使用し得る復号されたピクチャを記憶する。ＣＰＢメモリ３２０およびＤＰＢ３１４は、ＳＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなどを含め、ＤＲＡＭなどの様々なメモリデバイスのうちのいずれかによって形成され得る。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってよい。
【0206】
追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコーディングされたビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０について上述されたようなデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全てがビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装される場合、ビデオデコーダ３００によって実行されるべき命令を記憶してもよい。
【0207】
図８に示される様々なユニットは、ビデオデコーダ３００によって実行される動作を理解する助けとなるように示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組み合わせとして実装され得る。図７と同様に、固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作があらかじめ設定されている。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作においてフレキシブルな機能を提供する。例えば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される方式で、プログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は（例えば、パラメータを受信するためまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは一般に不変である。いくつかの例では、ユニットのうちの１つまたは複数は、異なる回路ブロック（固定機能またはプログラマブル）であってもよく、いくつかの例では、ユニットのうちの１つまたは複数は集積回路であってもよい。
【0208】
ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／または、プログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行するソフトウェアによって実行される例では、オンチップメモリまたはオフチップメモリが、ビデオデコーダ３００が受信および実行するソフトウェアの命令（例えば、オブジェクトコード）を記憶してもよい。
【0209】
エントロピー復号ユニット３０２は、シンタックス要素を再生するために、符号化されたビデオデータをＣＰＢから受信しビデオデータをエントロピー復号してもよい。予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構成ユニット３１０、およびフィルタユニット３１２は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成してよい。
【0210】
一般に、ビデオデコーダ３００は、ブロックごとにピクチャを再構成する。ビデオデコーダ３００は、各ブロックに対する再構成動作を個別に実行し得る（現在再構成されるブロック、すなわち復号されているブロックは、「現在のブロック」と呼ばれ得る）。
【0211】
エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数、並びに量子化パラメータ（ＱＰ）および／または変換モード指示などの変換情報を規定する、シンタックス要素をエントロピー復号してよい。逆量子化ユニット３０６は、量子化の程度、および同様に逆量子化ユニット３０６が適用すべき逆量子化の程度を決定するために、量子化変換係数ブロックに関連付けられたＱＰを使用してもよい。逆量子化ユニット３０６は、例えば、量子化された変換係数を逆量子化するために、ビット単位の左シフト演算を実行してよい。それによって、逆量子化ユニット３０６は、変換係数を含む変換係数ブロックを形成し得る。
【0212】
逆量子化ユニット３０６が変換係数ブロックを形成した後、逆変換処理ユニット３０８は、現在のブロックに関連付けられた残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。例えば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。
【0213】
さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。例えば、現在のブロックがインター予測されることを、予測情報シンタックス要素が示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそこから取り出すべきＤＰＢ３１４内の参照ピクチャ、並びに、現在のピクチャの中の現在のブロックの位置に対する参照ピクチャの中の参照ブロックの位置を特定する動きベクトルを示し得る。動き補償ユニット３１６は、一般に、動き補償ユニット２２４（図７）に関して説明した方式と実質的に同様の方式で、インター予測プロセスを実行することができる。
【0214】
別の例として、現在のブロックがイントラ予測されることを、予測情報シンタックス要素が示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って、予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、一般に、イントラ予測ユニット２２６（図７）に関して説明した方式と実質的に同様の方式で、イントラ予測プロセスを実行することができる。イントラ予測ユニット３１８は、現在のブロックに隣接サンプルのデータをＤＰＢ３１４から取り出し得る。
【0215】
再構成ユニット３１０は、予測ブロックと残差ブロックとを使用して現在のブロックを再構成し得る。例えば、再構成ユニット３１０は、現在のブロックを再構成するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを追加し得る。
【0216】
フィルタユニット３１２は、再構成されるブロックに対して１つまたは複数のフィルタ動作を実行してもよい。例えば、フィルタユニット３１２は、再構成されるブロックのエッジに沿ったブロッキネスアーチファクトを低減するために、デブロッキング動作を実行してよい。フィルタユニット３１２の動作は必ずしも全ての例において実行される必要はない。
【0217】
ビデオデコーダ３００は、再構成されるブロックをＤＰＢ３１４内に記憶してもよい。例えば、フィルタユニット３１２の動作が実行されない例では、再構成ユニット３１０は再構成されるブロックをＤＰＢ３１４に記憶し得る。フィルタユニット３１２の動作が実行される例では、フィルタユニット３１２は、フィルタ処理された再構成されるブロックをＤＰＢ３１４に記憶し得る。上記で説明したように、ＤＰＢ３１４は、イントラ予測のための現在のピクチャおよび後続の動き補償のための以前に復号されたピクチャのサンプルなどの参照情報を、予測処理ユニット３０４に提供してもよい。さらに、ビデオデコーダ３００は、図１の表示デバイス１１８などの表示デバイス上に後で表示するための復号されたピクチャ（例えば、復号されたビデオ）を、ＤＰＢ３１４から出力し得る。
【0218】
このようにして、ビデオデコーダ３００は、ビデオデータを記憶するように構成されるメモリと、回路に実装され、かつ本開示の参照ピクチャリサンプリング技法およびテンプレートベースのインター予測技法を実行するように構成される１つまたは複数の処理ユニットとを含む、ビデオ復号化デバイスの一例を表す。例えば、ビデオデコーダ３００は、ＲＰＲモードが有効にされていると決定し、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定し、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号する、ように構成され得る。
【0219】
図９は、本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは、現在のＣＵを備え得る。ビデオエンコーダ２００（図１および図７）に関して説明されているが、他のデバイスを図９の方法と同様の方法を実行するように構成することができることを理解されたい。
【0220】
この例では、ビデオエンコーダ２００は最初に、現在のブロックを予測する（３５０）。例えば、ビデオエンコーダ２００は、現在のブロックに対する予測ブロックを形成することができる。次いで、ビデオエンコーダ２００は、現在のブロックに対する残差ブロックを算出することができる（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元の符号化されていないブロックと現在のブロックに対する予測ブロックとの間の差分を計算することができる。ビデオエンコーダ２００は、次いで、残差ブロックを変換し、残差ブロックの変換係数を量子化することができる（３５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査することができる（３５６）。走査の間または走査に続いて、ビデオエンコーダ２００は、変換係数をエントロピー符号化することができる（３５８）。例えば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して変換係数を符号化することができる。ビデオエンコーダ２００は、次いで、ブロックのエントロピー符号化されたデータを出力することができる（３６０）。
【0221】
図１０は、本開示の技法による、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは、現在のＣＵを備え得る。ビデオデコーダ３００（図１および図８）に関して説明されているが、他のデバイスを図１０の方法と同様の方法を実行するように構成することができることを理解されたい。
【0222】
ビデオデコーダ３００は、エントロピー符号化された予測情報および現在のブロックに対応する残差ブロックの変換係数のエントロピー符号化されたデータなどの、現在のブロックのためのエントロピー符号化されたデータを受信することができる（３７０）。ビデオデコーダ３００は、現在のブロックに対する予測情報を決定し、残差ブロックの変換係数を再生するために、エントロピー符号化されたデータをエントロピー復号することができる（３７２）。ビデオデコーダ３００は、現在のブロックに対する予測ブロックを計算するために、例えば、現在のブロックに対する予測情報によって示されるようなイントラ予測モードまたはインター予測モードを使用して、現在のブロックを予測することができる（３７４）。ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された変換係数を逆走査することができる（３７６）。ビデオデコーダ３００は、次いで、残差ブロックを生成するために、変換係数を逆量子化し、変換係数に逆変換を適用することができる（３７８）。ビデオデコーダ３００は、予測ブロックおよび残差ブロックを合成することによって、現在のブロックを最終的に復号することができる（３８０）。
【0223】
図１１は、本開示の技法による、ビデオデータのための別の例示的な方法を示すフローチャートである。図１１の技法は、動き推定ユニット２２２および／または動き補償ユニット２２４を含む、ビデオエンコーダ２００の１つまたは複数の構造構成要素によって実行され得る。
【0224】
本開示の一例では、ビデオエンコーダ２００は、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定する（１１００）ように構成され得る。一例では、ビデオエンコーダ２００は、ビデオデータの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて、ＲＰＲモードが有効にされていると決定するように構成され得る。別の例では、ビデオエンコーダ２００は、双方向予測を使用してビデオデータをコーディングするように構成される。この例では、ＲＰＲモードは、複数の参照ピクチャのうちの少なくとも１つの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる。
【0225】
ビデオエンコーダ２００は、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定する（１１０２）ようにさらに構成され得る。一例では、テンプレートベースのインター予測技法は、局所照明補償（ＬＩＣ）である。別の例では、テンプレートベースのインター予測技法は、テンプレートマッチング（ＴＭ）予測である。インター予測は、レギュラーマージモード、レギュラー高度動きベクトル予測（ＡＭＶＰ）モード、アフィンマージモード、またはアフィンＡＭＶＰモードのうちの１つであり得る。
【0226】
ビデオエンコーダ２００は、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを符号化する（１１０４）ようにさらに構成され得る。例えば、ビデオエンコーダ２００は、ＬＩＣをビデオデータのインター予測仮説に適用しない場合がある。
【0227】
図１２は、本開示の技法による、ビデオデータを復号するための別の例示的な方法を示すフローチャートである。図１２の技法は、動き補償ユニット３１６を含む、ビデオデコーダ３００の１つまたは複数の構造構成要素によって実行することができる。
【0228】
本開示の一例では、ビデオデコーダ３００は、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定する（１２００）ように構成され得る。一例では、ビデオデコーダ３００は、ビデオデータの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて、ＲＰＲモードが有効にされていると決定するように構成され得る。別の例では、ビデオデコーダ３００は、双方向予測を使用してビデオデータをコーディングするように構成される。この例では、ＲＰＲモードは、複数の参照ピクチャのうちの少なくとも１つの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる。
【0229】
ビデオデコーダ３００は、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定する（１２０２）ようにさらに構成され得る。一例では、テンプレートベースのインター予測技法は、局所照明補償（ＬＩＣ）である。別の例では、テンプレートベースのインター予測技法は、テンプレートマッチング（ＴＭ）予測である。インター予測は、レギュラーマージモード、レギュラー高度動きベクトル予測（ＡＭＶＰ）モード、アフィンマージモード、またはアフィンＡＭＶＰモードのうちの１つであり得る。
【0230】
ビデオデコーダ３００は、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号する（１２０４）ようにさらに構成され得る。例えば、ビデオデコーダ３００は、ＬＩＣをビデオデータのインター予測仮説に適用しない場合がある。
【0231】
別の例では、ビデオデコーダ３００は、ＲＰＲが現在のブロックの参照ピクチャに使用されていることに基づいて、局所照明補償（ＬＩＣ）フラグの値を推測するように構成され得る。
【0232】
別の例では、インター予測がマージモードである場合、ビデオデコーダ３００は、ビデオデータのブロックのためのマージ候補リストを構成し、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングし、マージ候補リストをプルーニングすることが、ビデオデータの現在のピクチャとは異なるサイズである少なくとも１つの参照ピクチャを有するマージ候補を除去することを含み、プルーニングされたマージ候補リストを使用してビデオデータのブロックを復号する、ように構成され得る。
【0233】
別の例では、インター予測がマージモードである場合、ビデオデコーダ３００は、ビデオデータのブロックのためのマージ候補リストを構成し、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングし、マージ候補リストをプルーニングすることが、ビデオデータの現在のピクチャとは異なるサイズである全ての参照ピクチャを有するマージ候補を除去することを含み、プルーニングされたマージ候補リストを使用してビデオデータのブロックを復号する、ように構成され得る。
【0234】
本開示の他の例示的な態様が以下で説明される。
【0235】
態様１Ａ－ビデオデータをコーディングする方法であって、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされているか否かに基づいて、局所照明補償（ＬＩＣ）モードをビデオデータに適用するか否かを決定することと、決定することに基づいて、ＬＩＣモードおよび／またはＲＰＲモードを使用してビデオデータをコーディングすることと、を含む、方法。
【0236】
態様２Ａ－ビデオデータをコーディングする方法であって、重み付け予測（ＷＰ）モードが有効にされているか否かに基づいて、局所照明補償（ＬＩＣ）モードをビデオデータに適用するか否かを決定することと、決定することに基づいて、ＬＩＣモードおよび／またはＷＰモードを使用してビデオデータをコーディングすることと、を含む、方法。
【0237】
態様３Ａ－ビデオデータをコーディングする方法であって、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされているか否かに基づいて、テンプレートマッチング（ＴＭ）モードをビデオデータに適用するか否かを決定することと、決定することに基づいて、ＴＭモードおよび／またはＲＰＲモードを使用してビデオデータをコーディングすることと、を含む、方法。
【0238】
態様４Ａ－ビデオデータをコーディングする方法であって、重み付け予測（ＷＰ）モードが有効にされているか否かに基づいて、テンプレートマッチング（ＴＭ）モードをビデオデータに適用するか否かを決定することと、決定することに基づいて、ＴＭモードおよび／またはＷＰモードを使用してビデオデータをコーディングすることと、を含む、方法。
【0239】
態様５Ａ－態様１Ａ～４Ａの任意の組み合わせの方法。
【0240】
態様６Ａ－コーディングすることが、復号することを含む、請求項１Ａ～５Ａのいずれかに記載の方法。
【0241】
態様７Ａ－コーディングすることが、符号化することを含む、態様１Ａ～５Ａのいずれかに記載の方法。
【0242】
態様８Ａ－ビデオデータをコーディングするためのデバイスであって、態様１Ａ～７Ａのいずれかに記載の方法を実行するための１つまたは複数の手段を備える、デバイス。
【0243】
態様９Ａ－１つまたは複数の手段が、回路構成において実装された１つまたは複数のプロセッサを備える、態様８Ａに記載のデバイス。
【0244】
態様１０Ａ－ビデオデータを記憶するためのメモリをさらに備える、態様８Ａまたは９Ａに記載のデバイス。
【0245】
態様１１Ａ－復号されたビデオデータを表示するように構成されるディスプレイをさらに備える、態様８Ａ～１０Ａのいずれかに記載のデバイス。
【0246】
態様１２Ａ－デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、態様８Ａ～１１Ａのいずれかに記載のデバイス。
【0247】
態様１３Ａ－デバイスが、ビデオデコーダを備える、態様８Ａ～１２Ａのいずれかに記載のデバイス。
【0248】
態様１４Ａ－デバイスが、ビデオエンコーダを備える、態様８Ａ～１３Ａのいずれかに記載のデバイス。
【0249】
態様１５Ａ－命令を記憶した、コンピュータ可読記憶媒体であって、命令が実行されたときに、１つまたは複数のプロセッサに、態様１Ａ～７Ａのいずれかに記載の方法を実行させる、コンピュータ可読記憶媒体。
【0250】
態様１Ｂ－ビデオデータを復号する方法であって、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定することと、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定することと、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号することと、を含む、方法。
【0251】
態様２Ｂ－テンプレートベースのインター予測技法が、局所照明補償（ＬＩＣ）である、態様１Ｂに記載の方法。
【0252】
態様３Ｂ－テンプレートベースのインター予測技法を適用せずにビデオデータを復号することが、ＬＩＣをビデオデータのインター予測仮説に適用しないことを含む、態様２Ｂに記載の方法。
【0253】
態様４Ｂ－ＲＰＲモードが、ビデオデータの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる、態様１Ｂに記載の方法。
【0254】
態様５Ｂ－インター予測が、レギュラーマージモード、レギュラー高度動きベクトル予測（ＡＭＶＰ）モード、アフィンマージモード、またはアフィンＡＭＶＰモードのうちの１つである、態様１Ｂに記載の方法。
【0255】
態様６Ｂ－ＲＰＲが現在のブロックの参照ピクチャに使用されていることに基づいて、局所照明補償（ＬＩＣ）フラグの値を推測すること、をさらに含む、態様５Ｂに記載の方法。
【0256】
態様７Ｂ－インター予測がマージモードであり、方法が、ビデオデータのブロックのためのマージ候補リストを構成することと、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングすることであって、ビデオデータの現在のピクチャとは異なるサイズである少なくとも１つの参照ピクチャを有するマージ候補を除去することを含む、プルーニングすることと、プルーニングされたマージ候補リストを使用してビデオデータのブロックを復号することと、をさらに含む、態様５Ｂに記載の方法。
【0257】
態様８Ｂ－インター予測がマージモードであり、方法が、ビデオデータのブロックのためのマージ候補リストを構成することと、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングすることであって、ビデオデータの現在のピクチャとは異なるサイズである全ての参照ピクチャを有するマージ候補を除去することを含む、プルーニングすることと、プルーニングされたマージ候補リストを使用してビデオデータのブロックを復号することと、をさらに含む、態様５Ｂに記載の方法。
【0258】
態様９Ｂ－インター予測が双方向予測であり、ＲＰＲモードが、複数の参照ピクチャのうちの少なくとも１つの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる、態様１Ｂに記載の方法。
【0259】
態様１０Ｂ－テンプレートベースのインター予測技法が、テンプレートマッチング（ＴＭ）予測である、態様１Ｂに記載の方法。
【0260】
態様１１Ｂ－ビデオデータのピクチャを表示すること、をさらに含む、態様１Ｂに記載の方法。
【0261】
態様１２Ｂ－ビデオデータを復号するように構成される装置であって、ビデオデータを記憶するように構成されるメモリと、回路において実装され、かつメモリと通信する１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定し、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定し、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号する、ように構成される、装置。
【0262】
態様１３Ｂ－テンプレートベースのインター予測技法が、局所照明補償（ＬＩＣ）である、態様１２Ｂに記載の装置。
【0263】
態様１４Ｂ－テンプレートベースのインター予測技法を適用せずにビデオデータを復号するために、１つまたは複数のプロセッサが、ＬＩＣをビデオデータのインター予測仮説に適用しない、ようにさらに構成される、態様１３Ｂに記載の装置。
【0264】
態様１５Ｂ－ＲＰＲモードが、ビデオデータの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる、態様１２Ｂに記載の装置。
【0265】
態様１６Ｂ－インター予測が、レギュラーマージモード、レギュラー高度動きベクトル予測（ＡＭＶＰ）モード、アフィンマージモード、またはアフィンＡＭＶＰモードのうちの１つである、態様１２Ｂに記載の装置。
【0266】
態様１７Ｂ－１つまたは複数のプロセッサが、ＲＰＲが現在のブロックの参照ピクチャに使用されていることに基づいて、局所照明補償（ＬＩＣ）フラグの値を推測する、ようにさらに構成される、態様１６Ｂに記載の装置。
【0267】
態様１８Ｂ－インター予測がマージモードであり、１つまたは複数のプロセッサが、ビデオデータのブロックのためのマージ候補リストを構成し、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングし、マージ候補リストをプルーニングすることが、ビデオデータの現在のピクチャとは異なるサイズである少なくとも１つの参照ピクチャを有するマージ候補を除去することを含み、プルーニングされたマージ候補リストを使用してビデオデータのブロックを復号する、ようにさらに構成される、態様１６Ｂに記載の装置。
【0268】
態様１９Ｂ－インター予測がマージモードであり、１つまたは複数のプロセッサが、ビデオデータのブロックのためのマージ候補リストを構成し、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングし、マージ候補リストをプルーニングすることが、ビデオデータの現在のピクチャとは異なるサイズである全ての参照ピクチャを有するマージ候補を除去することを含み、プルーニングされたマージ候補リストを使用してビデオデータのブロックを復号する、ようにさらに構成される、態様１６Ｂに記載の装置。
【0269】
態様２０Ｂ－インター予測が双方向予測であり、ＲＰＲモードが、複数の参照ピクチャのうちの少なくとも１つの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる、態様１２Ｂに記載の装置。
【0270】
態様２１Ｂ－テンプレートベースのインター予測技法が、テンプレートマッチング（ＴＭ）予測である、態様１２Ｂに記載の装置。
【0271】
態様２２Ｂ－ビデオデータのピクチャを表示するように構成されるディスプレイ、をさらに備える、態様１２Ｂに記載の装置。
【0272】
態様２３Ｂ－ビデオデータを符号化する方法であって、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定することと、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定することと、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを符号化することと、を含む、方法。
【0273】
態様２４Ｂ－ビデオデータを符号化するように構成される装置であって、ビデオデータを記憶するように構成されるメモリと、回路において実装され、かつメモリと通信する１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定し、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定し、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを符号化する、ように構成される、装置。
【0274】
態様２５Ｂ－ビデオデータを復号する方法であって、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定することと、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用することと、を含む、方法。
【0275】
態様２６Ｂ－ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用することが、補間フィルタをテンプレートベースのインター予測技法の参照テンプレートブロックに適用することを含み、補間フィルタが、ＲＰＲモードに使用されるものと同じである、態様２５Ｂに記載の方法。
【0276】
態様２７Ｂ－テンプレートベースのインター予測技法が、テンプレートマッチング（ＴＭ）予測である、態様２５Ｂに記載の方法。
【0277】
態様２８Ｂ－ビデオデータを復号するように構成される装置であって、ビデオデータを記憶するように構成されるメモリと、回路において実装され、かつメモリと通信する１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定し、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用する、ように構成される、装置。
【0278】
態様２９Ｂ－ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用するために、１つまたは複数のプロセッサが、補間フィルタをテンプレートベースのインター予測技法の参照テンプレートブロックに適用する、ようにさらに構成されており、補間フィルタが、ＲＰＲモードに使用されるものと同じである、態様２８Ｂに記載の装置。
【0279】
態様３０Ｂ－テンプレートベースのインター予測技法が、テンプレートマッチング（ＴＭ）予測である、態様２８Ｂに記載の装置。
【0280】
態様１Ｃ－ビデオデータを復号する方法であって、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定することと、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定することと、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号することと、を含む、方法。
【0281】
態様２Ｃ－テンプレートベースのインター予測技法が、局所照明補償（ＬＩＣ）である、態様１Ｃに記載の方法。
【0282】
態様３Ｃ－テンプレートベースのインター予測技法を適用せずにビデオデータを復号することが、ＬＩＣをビデオデータのインター予測仮説に適用しないことを含む、態様２Ｃに記載の方法。
【0283】
態様４Ｃ－ＲＰＲモードが、ビデオデータの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる、態様１Ｃ～３Ｃのいずれかに記載の方法。
【0284】
態様５Ｃ－インター予測が、レギュラーマージモード、レギュラー高度動きベクトル予測（ＡＭＶＰ）モード、アフィンマージモード、またはアフィンＡＭＶＰモードのうちの１つである、態様１Ｃ～４Ｃのいずれかに記載の方法。
【0285】
態様６Ｃ－ＲＰＲが現在のブロックの参照ピクチャに使用されていることに基づいて、局所照明補償（ＬＩＣ）フラグの値を推測すること、をさらに含む、態様５Ｃに記載の方法。
【0286】
態様７Ｃ－インター予測がマージモードであり、方法が、ビデオデータのブロックのためのマージ候補リストを構成することと、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングすることであって、ビデオデータの現在のピクチャとは異なるサイズである少なくとも１つの参照ピクチャを有するマージ候補を除去することを含む、プルーニングすることと、プルーニングされたマージ候補リストを使用してビデオデータのブロックを復号することと、をさらに含む、態様５Ｃに記載の方法。
【0287】
態様８Ｃ－インター予測がマージモードであり、方法が、ビデオデータのブロックのためのマージ候補リストを構成することと、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングすることであって、ビデオデータの現在のピクチャとは異なるサイズである全ての参照ピクチャを有するマージ候補を除去することを含む、プルーニングすることと、プルーニングされたマージ候補リストを使用してビデオデータのブロックを復号することと、をさらに含む、態様５Ｃに記載の方法。
【0288】
態様９Ｃ－インター予測が双方向予測であり、ＲＰＲモードが、複数の参照ピクチャのうちの少なくとも１つの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる、態様１Ｃ～８Ｃのいずれかに記載の方法。
【0289】
態様１０Ｃ－テンプレートベースのインター予測技法が、テンプレートマッチング（ＴＭ）予測である、態様１Ｃ～９Ｃのいずれかに記載の方法。
【0290】
態様１１Ｃ－ビデオデータのピクチャを表示すること、をさらに含む、態様１Ｃ～１０Ｃのいずれかに記載の方法。
【0291】
態様１２Ｃ－ビデオデータを復号するように構成される装置であって、ビデオデータを記憶するように構成されるメモリと、回路において実装され、かつメモリと通信する１つまたは複数のプロセッサと、を備え、１つまたは複数のプロセッサが、参照ピクチャリサンプリング（ＲＰＲ）モードが有効にされていると決定し、ＲＰＲモードが有効にされていることに基づいて、テンプレートベースのインター予測技法をビデオデータに適用しないと決定し、テンプレートベースのインター予測技法を適用せずに、インター予測を使用してビデオデータを復号する、ように構成される、装置。
【0292】
態様１３Ｃ－テンプレートベースのインター予測技法が、局所照明補償（ＬＩＣ）である、態様１２Ｃに記載の装置。
【0293】
態様１４Ｃ－テンプレートベースのインター予測技法を適用せずにビデオデータを復号するために、１つまたは複数のプロセッサが、ＬＩＣをビデオデータのインター予測仮説に適用しない、ようにさらに構成される、態様１３Ｃに記載の装置。
【0294】
態様１５Ｃ－ＲＰＲモードが、ビデオデータの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる、態様１２Ｃ～１４Ｃのいずれかに記載の装置。
【0295】
態様１６Ｃ－インター予測が、レギュラーマージモード、レギュラー高度動きベクトル予測（ＡＭＶＰ）モード、アフィンマージモード、またはアフィンＡＭＶＰモードのうちの１つである、態様１２Ｃ～１５Ｃのいずれかに記載の装置。
【0296】
態様１７Ｃ－１つまたは複数のプロセッサが、ＲＰＲが現在のブロックの参照ピクチャに使用されていることに基づいて、局所照明補償（ＬＩＣ）フラグの値を推測するようにさらに構成される、態様１６Ｃに記載の装置。
【0297】
態様１８Ｃ－インター予測がマージモードであり、１つまたは複数のプロセッサが、ビデオデータのブロックのためのマージ候補リストを構成し、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングし、マージ候補リストをプルーニングすることが、ビデオデータの現在のピクチャとは異なるサイズである少なくとも１つの参照ピクチャを有するマージ候補を除去することを含み、プルーニングされたマージ候補リストを使用してビデオデータのブロックを復号する、ようにさらに構成される、態様１６Ｃに記載の装置。
【0298】
態様１９Ｃ－インター予測がマージモードであり、１つまたは複数のプロセッサが、ビデオデータのブロックのためのマージ候補リストを構成し、プルーニングされたマージ候補リストを作成するためにマージ候補リストをプルーニングし、マージ候補リストをプルーニングすることが、ビデオデータの現在のピクチャとは異なるサイズである全ての参照ピクチャを有するマージ候補を除去することを含み、プルーニングされたマージ候補リストを使用してビデオデータのブロックを復号する、ようにさらに構成される、態様１６Ｃに記載の装置。
【0299】
態様２０Ｃ－インター予測が双方向予測であり、ＲＰＲモードが、複数の参照ピクチャのうちの少なくとも１つの参照ピクチャがビデオデータの現在のピクチャとは異なるサイズであることに基づいて有効にされる、態様１２Ｃ～１９Ｃのいずれかに記載の装置。
【0300】
態様２１Ｃ－テンプレートベースのインター予測技法が、テンプレートマッチング（ＴＭ）予測である、態様１２Ｃ～２０Ｃのいずれかに記載の装置。
【0301】
態様２２Ｃ－ビデオデータのピクチャを表示するように構成されるディスプレイ、をさらに備える、態様１２Ｃ～２１Ｃのいずれかに記載の装置。
【0302】
例に応じて、本明細書において説明された技法のうちのいずれかのいくつかの行為またはイベントが、異なる順序で実行されることが可能であり、追加、統合、または完全に除外されてもよい（例えば、説明された全ての行為またはイベントが技法の実践に必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、例えば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて並行して実行されてもよい。
【0303】
１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装されてよい。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されてもよく、またはコンピュータ可読媒体を介して送信されてもよく、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に相当するコンピュータ可読記憶媒体、または、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号または搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法を実装するための命令、コード、および／またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であってもよい。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【0304】
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令若しくはデータ構造の形態の所望のプログラムコードを記憶するために使用でき、コンピュータによってアクセスすることができる任意の他の媒体を備えてもよい。また、任意の接続がコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義の中に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含まず、代わりに非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピーディスク（disk）、およびブルーレイディスク（disc）を含み、ディスク（disk）は通常、データを磁気的に再生し、一方で、ディスク（disc）は、レーザを用いてデータを光学的に再生する。上記のものの組み合わせもコンピュータ可読媒体の範囲内に含まれるべきである。
【0305】
命令は、１つまたは複数のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または他の均等な集積論理回路若しくはディスクリート論理回路などの、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明された技法の実装に適した任意の他の構造のうちのいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成される専用のハードウェアモジュールおよび／若しくはソフトウェアモジュール内で提供されてもよく、または複合コーデックの中に組み込まれてもよい。また、技法は、１つまたは複数の回路または論理要素において完全に実装されてもよい。
【0306】
本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（例えば、チップセット）を含む、多種多様なデバイスまたは装置において実装されてもよい。開示された技法を実行するように構成されるデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて本開示で説明したが、それらは必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わせられてもよく、または好適なソフトウェアおよび／若しくはファームウェアと連携して、上記で説明したような１つまたは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてもよい。
【0307】
様々な例が説明されてきた。これらおよび他の例が以下の特許請求の範囲内に入る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】