特表2024-541781 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ テンセント・アメリカ・エルエルシーの特許一覧

特表2024-541781制約付きテンプレートマッチング

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1A
1B
2
3
4
5
6
7
8
9
10
11
12A
12B
13
14
15
16
17

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-13

(54)【発明の名称】制約付きテンプレートマッチング

(51)【国際特許分類】

H04N 19/105 20140101AFI20241106BHJP

H04N 19/136 20140101ALI20241106BHJP

H04N 19/176 20140101ALI20241106BHJP

【ＦＩ】

H04N19/105

H04N19/136

H04N19/176

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023560732

(86)(22)【出願日】2022-09-21

(85)【翻訳文提出日】2023-09-29

(86)【国際出願番号】 US2022076798

(87)【国際公開番号】W WO2023091809

(87)【国際公開日】2023-05-25

(31)【優先権主張番号】63/281,772

(32)【優先日】2021-11-22

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/942,036

(32)【優先日】2022-09-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾直樹

(72)【発明者】

【氏名】シアン・リ

(72)【発明者】

【氏名】リェン－フェイ・チェン

(72)【発明者】

【氏名】グイチュン・リ

(72)【発明者】

【氏名】シャン・リュウ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159TA30

5C159TB08

5C159TC02

5C159TC24

5C159TC42

(57)【要約】

本開示の態様は、ビデオ復号のための方法および装置を提供する。装置は、処理回路を含む。処理回路は、現在のブロックの第１のテンプレート内の少なくとも１つのサンプルが、現在のブロックの空間隣接ブロックであるイントラコーディングされたブロックに含まれているか否かを決定する。第１のテンプレートは、現在のブロックの上部隣接ブロックおよび左部隣接ブロックのうちの１つまたは複数のサンプルを含む。第１のテンプレート内の少なくとも１つのサンプルが、イントラコーディングされたブロックに含まれ、テンプレートマッチング（ＴＭ）モードが、現在のブロックに適用される場合、少なくとも１つのサンプルは、現在のブロックのための第２のテンプレートを生成するために第１のテンプレートから除外される。処理回路は、現在のブロックのための第２のテンプレートに基づいて現在のブロックの動きベクトル（ＭＶ）を決定する。

【特許請求の範囲】

【請求項1】

ビデオビットストリームから現在のピクチャ内の現在のブロックの予測情報を復号するステップであって、前記予測情報が、前記現在のブロックのためのテンプレートマッチング（ＴＭ）モードを示す、ステップと、
前記現在のブロックの第１のテンプレート内の少なくとも１つのサンプルが前記現在のブロックの空間隣接ブロックであるイントラコーディングされたブロックに含まれているか否かを決定するステップであって、前記現在のブロックの前記第１のテンプレートが、（１）前記現在のブロックの上部隣接ブロック、および（２）前記現在のブロックの左部隣接ブロック、のうちの１つまたは複数のサンプルを含む、ステップと、
（ｉ）前記第１のテンプレート内の前記少なくとも１つのサンプルが前記イントラコーディングされたブロックに含まれるという決定、および（ｉｉ）前記ＴＭモードが前記現在のブロックに適用されていること、に応答して、前記現在のブロックのための第２のテンプレートを生成するために、前記第１のテンプレートから前記少なくとも１つのサンプルを除外するステップと、
前記現在のブロックのための前記第２のテンプレートに基づいて前記現在のブロックの動きベクトル（ＭＶ）を決定するステップと、
前記決定されたＭＶに基づいて前記現在のブロックを再構成するステップと
を含む、ビデオデコーダにおけるビデオ復号のための方法。

【請求項2】

前記現在のブロックの前記第１のテンプレート内の前記少なくとも１つのサンプルが、前記イントラコーディングされたブロックに含まれると決定され、
前記ＭＶを決定する前記ステップが、前記ＴＭモードを適用せずに前記現在のブロックの初期ＭＶに基づいて前記ＭＶを決定するステップを含む、
請求項１に記載の方法。

【請求項3】

前記現在のブロックの前記第１のテンプレートが、前記上部隣接ブロックのサンプルを含む初期上部テンプレートと、前記左部隣接ブロックのサンプルを含む初期左部テンプレートとを含み、
前記現在のブロックの前記第１のテンプレート内の前記少なくとも１つのサンプルが、前記イントラコーディングされたブロックに含まれると決定され、
前記イントラコーディングされたブロックを含まない前記現在のブロックの前記左部隣接ブロックに応答して、前記ＭＶを決定する前記ステップが、初期ＭＶと、前記初期左部テンプレートを含む前記第２のテンプレートと、に基づく前記ＴＭモードを使用して前記現在のブロックの前記ＭＶを決定するステップを含み、
前記イントラコーディングされたブロックを含まない前記現在のブロックの前記上部隣接ブロックに応答して、前記ＭＶを決定する前記ステップが、前記初期ＭＶと、前記初期上部テンプレートを含む前記第２のテンプレートと、に基づく前記ＴＭモードを使用して前記現在のブロックの前記ＭＶを決定するステップを含む、
請求項１に記載の方法。

【請求項4】

前記現在のブロックの前記第１のテンプレート内の前記少なくとも１つのサンプルが、前記イントラコーディングされたブロックに含まれると決定され、
前記ＭＶを決定する前記ステップが、初期ＭＶと、前記現在のブロックの前記第２のテンプレートと、に基づく前記ＴＭモードを使用して前記現在のブロックの前記ＭＶを決定するステップを含む、
請求項１に記載の方法。

【請求項5】

前記方法が、前記第２のテンプレート内の１つまたは複数のサンプルに基づく補間によって少なくとも１つの補間されたサンプルを生成するステップであって、前記少なくとも１つの補間されたサンプルが、前記イントラコーディングされたブロックに含まれる前記第１のテンプレート内の前記少なくとも１つのサンプルに対応する、ステップを含み、
前記現在のブロックの前記第２のテンプレートが、前記少なくとも１つの補間されたサンプルを更に含む、
請求項４に記載の方法。

【請求項6】

前記現在のブロックの前記第２のテンプレートに対応する参照テンプレート内の参照サンプルが、参照ピクチャ内のサブピクセル位置に配置され、
前記方法が、前記参照テンプレートにおいて４タップ未満を有するフィルタによる補間を使用して、前記参照ピクチャ内の補間された参照テンプレートを生成するステップを更に含み、
前記ＭＶを決定する前記ステップが、前記初期ＭＶと、前記現在のブロックの前記第２のテンプレートと、前記補間された参照テンプレートと、に基づく前記ＴＭモードを使用して前記現在のブロックの前記ＭＶを決定するステップを含む、
請求項４に記載の方法。

【請求項7】

前記参照ピクチャ内の前記参照テンプレートが、前記イントラコーディングされたブロックに含まれる前記現在のブロックの前記第１のテンプレート内の前記少なくとも１つのサンプルに対応する前記参照ピクチャ内の少なくとも１つの参照サンプルを省略し、
前記方法が、前記参照ピクチャ内の最も近い参照サンプルをコピーすることによって、前記参照ピクチャ内の前記省略された少なくとも１つの参照サンプルのうちの１つに対応するパディングされたサンプルを生成するステップを含み、
前記補間された参照テンプレートを生成する前記ステップが、前記パディングされたサンプルに基づく前記補間によって前記参照ピクチャ内の前記補間された参照テンプレートを生成するステップを含む、
請求項６に記載の方法。

【請求項8】

前記参照ピクチャ内の前記参照テンプレートが、前記イントラコーディングされたブロックに含まれる前記現在のブロックの前記第１のテンプレート内の前記少なくとも１つのサンプルに対応する前記参照ピクチャ内の少なくとも１つの参照サンプルを省略し、
前記補間された参照テンプレートを生成する前記ステップが、前記参照ピクチャ内の前記省略された少なくとも１つの参照サンプルに基づく前記補間によって前記参照ピクチャ内の前記補間された参照テンプレートを生成するステップを含む、
請求項６に記載の方法。

【請求項9】

前記現在のブロックの前記第１のテンプレートに対応する初期参照テンプレート内の参照サンプルが、参照ピクチャ内のサブピクセル位置に配置され、
前記方法が、
前記初期参照テンプレートにおける補間を使用して前記参照ピクチャ内の中間参照テンプレートを生成するステップと、
前記中間参照テンプレートおよびマスクに基づいて、前記現在のブロックの前記第２のテンプレートに対応する参照テンプレートを生成するステップであって、前記マスクの形状が、前記現在のブロックの前記第２のテンプレートに基づいて決定される、ステップと
を更に含む、請求項４に記載の方法。

【請求項10】

前記イントラコーディングされたブロックに含まれる前記第１のテンプレート内の前記少なくとも１つのサンプルが、（ｉ）前記左部隣接ブロックのサンプルの１つまたは複数の左部サンプル、または（ｉｉ）前記上部隣接ブロックのサンプルの１つまたは複数の上部サンプルを含み、
前記１つまたは複数の左部サンプルを含む前記第１のテンプレート内の前記少なくとも１つのサンプルに応答して、前記第２のテンプレートが、前記第２のテンプレートに含まれる前記左部隣接ブロックの前記サンプルに隣接する１つまたは複数の拡張左部サンプルを更に含み、前記１つまたは複数の拡張左部サンプルが、前記現在のピクチャ内のイントラコーディングされたブロックに含まれず、
前記１つまたは複数の上部サンプルを含む前記第１のテンプレート内の前記少なくとも１つのサンプルに応答して、前記第２のテンプレートが、前記第２のテンプレートに含まれる前記上部隣接ブロックの前記サンプルに隣接する１つまたは複数の拡張上部サンプルを更に含み、前記１つまたは複数の拡張上部サンプルが、前記現在のピクチャ内のイントラコーディングされたブロックに含まれない、
請求項４に記載の方法。

【請求項11】

前記第２のテンプレートのサンプル数が、前記第１のテンプレートのサンプル数の１５０％である、請求項１０に記載の方法。

【請求項12】

前記第２のテンプレートのサンプル数が、前記第１のテンプレートのサンプル数の２００％である、請求項１０に記載の方法。

【請求項13】

ビデオビットストリームから現在のピクチャ内の現在のブロックの予測情報を復号することであって、前記予測情報が、前記現在のブロックのためのテンプレートマッチング（ＴＭ）モードを示す、復号することと、
前記現在のブロックの第１のテンプレート内の少なくとも１つのサンプルが前記現在のブロックの空間隣接ブロックであるイントラコーディングされたブロックに含まれているか否かを決定することであって、前記現在のブロックの前記第１のテンプレートが、（１）前記現在のブロックの上部隣接ブロック、および（２）前記現在のブロックの左部隣接ブロック、のうちの１つまたは複数のサンプルを含む、決定することと、
（ｉ）前記第１のテンプレート内の前記少なくとも１つのサンプルが前記イントラコーディングされたブロックに含まれるとの決定、および（ｉｉ）前記ＴＭモードが前記現在のブロックに適用されていること、に応答して、前記現在のブロックのための第２のテンプレートを生成するために、前記第１のテンプレートから前記少なくとも１つのサンプルを除外することと、
前記現在のブロックのための前記第２のテンプレートに基づいて前記現在のブロックの動きベクトル（ＭＶ）を決定することと、
前記決定されたＭＶに基づいて前記現在のブロックを再構成することと
を実施するように構成される処理回路
を備える、ビデオ復号のための装置。

【請求項14】

前記現在のブロックの前記第１のテンプレート内の前記少なくとも１つのサンプルが、前記イントラコーディングされたブロックに含まれると決定され、
前記処理回路が、前記ＴＭモードを適用せずに、前記現在のブロックの初期ＭＶに基づいて前記ＭＶを決定するように構成される、
請求項１３に記載の装置。

【請求項15】

前記現在のブロックの前記第１のテンプレートは、前記上部隣接ブロックのサンプルを含む初期上部テンプレートと、前記左部隣接ブロックのサンプルを含む初期左部テンプレートとを含み、
前記現在のブロックの前記第１のテンプレート内の前記少なくとも１つのサンプルが、前記イントラコーディングされたブロックに含まれると決定され、
前記イントラコーディングされたブロックを含まない前記現在のブロックの前記左部隣接ブロックに応答して、前記処理回路が、初期ＭＶと、前記初期左部テンプレートを含む前記第２のテンプレートと、に基づく前記ＴＭモードを使用して前記現在のブロックの前記ＭＶを決定するように構成され、
前記イントラコーディングされたブロックを含まない前記現在のブロックの前記上部隣接ブロックに応答して、前記処理回路が、前記初期ＭＶと、前記初期上部テンプレートを含む前記第２のテンプレートと、に基づく前記ＴＭモードを使用して前記現在のブロックの前記ＭＶを決定するように構成される、
請求項１３に記載の装置。

【請求項16】

前記現在のブロックの前記第１のテンプレート内の前記少なくとも１つのサンプルが、前記イントラコーディングされたブロックに含まれると決定され、
前記処理回路が、初期ＭＶと、前記現在のブロックの前記第２のテンプレートと、に基づく前記ＴＭモードを使用して前記現在のブロックの前記ＭＶを決定するように構成される、
請求項１３に記載の装置。

【請求項17】

前記処理回路が、前記第２のテンプレート内の１つまたは複数のサンプルに基づく補間によって少なくとも１つの補間されたサンプルを生成するように構成され、前記少なくとも１つの補間されたサンプルが、前記イントラコーディングされたブロックに含まれる前記第１のテンプレート内の前記少なくとも１つのサンプルに対応し、
前記現在のブロックの前記第２のテンプレートが、前記少なくとも１つの補間されたサンプルを更に含む、
請求項１６に記載の装置。

【請求項18】

前記現在のブロックの前記第２のテンプレートに対応する参照テンプレート内の参照サンプルが、参照ピクチャ内のサブピクセル位置に配置され、
前記処理回路が、
前記参照テンプレートにおいて４タップ未満を有するフィルタによる補間を使用して、前記参照ピクチャ内の補間された参照テンプレートを生成し、
前記初期ＭＶと、前記現在のブロックの前記第２のテンプレートと、前記補間された参照テンプレートと、に基づく前記ＴＭモードを使用して前記現在のブロックの前記ＭＶを決定する、
ように構成される、
請求項１６に記載の装置。

【請求項19】

前記イントラコーディングされたブロックに含まれる前記第１のテンプレート内の前記少なくとも１つのサンプルが、（ｉ）前記左部隣接ブロックのサンプルの１つまたは複数の左部サンプル、または（ｉｉ）前記上部隣接ブロックのサンプルの１つまたは複数の上部サンプルを含み、
前記１つまたは複数の左部サンプルを含む前記第１のテンプレート内の前記少なくとも１つのサンプルに応答して、前記第２のテンプレートが、前記第２のテンプレート内に含まれる前記左部隣接ブロックの前記サンプルに隣接する１つまたは複数の拡張左部サンプルを更に含み、前記１つまたは複数の拡張左部サンプルが、前記現在のピクチャ内のイントラコーディングされたブロックに含まれず、
前記１つまたは複数の上部サンプルを含む前記第１のテンプレート内の前記少なくとも１つのサンプルに応答して、前記第２のテンプレートが、前記第２のテンプレートに含まれる前記上部隣接ブロックの前記サンプルに隣接する１つまたは複数の拡張上部サンプルを更に含み、前記１つまたは複数の拡張上部サンプルが、前記現在のピクチャ内のイントラコーディングされたブロックに含まれない、
請求項１６に記載の装置。

【請求項20】

少なくとも１つのプロセッサによって実行可能なプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、
ビデオビットストリームから現在のピクチャ内の現在のブロックの予測情報を復号することであって、前記予測情報が、前記現在のブロックのためのテンプレートマッチング（ＴＭ）モードを示す、復号することと、
前記現在のブロックの第１のテンプレート内の少なくとも１つのサンプルが前記現在のブロックの空間隣接ブロックであるイントラコーディングされたブロックに含まれているか否かを決定することであって、前記現在のブロックの前記第１のテンプレートが、（１）前記現在のブロックの上部隣接ブロック、および（２）前記現在のブロックの左部隣接ブロック、のうちの１つまたは複数のサンプルを含む、決定することと、
（ｉ）前記第１のテンプレート内の前記少なくとも１つのサンプルが前記イントラコーディングされたブロックに含まれるとの決定、および（ｉｉ）前記ＴＭモードが前記現在のブロックに適用されていること、に応答して、前記現在のブロックのための第２のテンプレートを生成するために、前記第１のテンプレートから前記少なくとも１つのサンプルを除外することと、
前記現在のブロックのための前記第２のテンプレートに基づいて前記現在のブロックの動きベクトル（ＭＶ）を決定することと、
前記決定されたＭＶに基づいて前記現在のブロックを再構成することと、
を実施する、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１１月２２日に出願された米国仮出願第６３／２８１，７７２号「ＣｏｎｓｔｒａｉｎｅｄＴｅｍｐｌａｔｅＭａｔｃｈｉｎｇ」に対する優先権の利益を主張する、２０２２年９月９日に出願された米国特許出願第１７／９４２，０３６号「ＣＯＮＳＴＲＡＩＮＥＤＴＥＭＰＬＡＴＥＭＡＴＣＨＩＮＧ」に対する優先権の利益を主張する。先行出願の開示は、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、一般に、ビデオコーディングに関連する実施形態を説明する。

【背景技術】

【0003】

本明細書で提供される背景技術の説明は、本開示のコンテキストを一般的に提示することを目的とする。本発明者らの研究は、この背景技術の項に記載されている限りにおいて、および出願時に先行技術として認められない可能性がある説明の態様は、本開示に対する先行技術として明示的にも暗示的にも認められない。

【0004】

非圧縮デジタル画像および／またはビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０の輝度サンプルおよび関連する彩度サンプルの空間次元を有する。一連のピクチャは、例えば、毎秒６０ピクチャ、つまり６０Ｈｚの固定または可変のピクチャレート（非公式にはフレームレートとしても知られる）を有することができる。非圧縮画像および／またはビデオは、特定のビットレート要件を有する。例えば、サンプルあたり８ビットの１０８０ｐ６０４：２：０ビデオ（６０Ｈｚのフレームレートで１９２０×１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。１時間分のそのようなビデオは、６００ＧＢｙｔｅを超える記憶空間を必要とする。

【0005】

画像および／またはビデオのコーディングおよび復号の１つの目的は、圧縮による入力画像および／またはビデオ信号の冗長性の低減であり得る。圧縮は、前述の帯域幅および／または記憶空間要件を、場合によっては２桁以上低減するのに役立ち得る。本明細書の説明は、説明例としてビデオ符号化／復号を使用するが、同じ技術は、本開示の趣旨から逸脱することなく、同様のやり方で画像の符号化／復号に適用することができる。可逆圧縮と非可逆圧縮の両方、およびそれらの組合せを採用することができる。可逆圧縮とは、原信号の正確なコピーが、圧縮された原信号から再構成され得る技術を指す。非可逆圧縮を使用するとき、再構成された信号は原信号と同一ではない場合もあるが、原信号と再構成された信号との間の歪みは、再構成された信号を意図された用途に役立てるのに十分なほど小さい。ビデオの場合、非可逆圧縮が広く採用されている。容認できる歪みの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも高い歪みを容認し得る。達成可能な圧縮比は、許容可能／容認可能な歪みが高いほど、圧縮比が高くなり得ることを反映することができる。

【0006】

ビデオエンコーダおよびデコーダは、例えば、動き補償、変換処理、量子化およびエントロピーコーディングを含む、いくつかの広範なカテゴリからの技術を利用することができる。

【0007】

ビデオコーデック技術は、イントラコーディングとして知られる技法を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプルまたは他のデータを参照せずに表される。一部のビデオコーデックでは、ピクチャは、サンプルのブロックに、空間的に細分される。サンプルのすべてのブロックがイントラモードでコーディングされるとき、そのピクチャはイントラピクチャであり得る。イントラピクチャおよび独立したデコーダリフレッシュピクチャなどのそれらの派生物は、デコーダ状態をリセットするために使用され、したがって、コーディングされたビデオビットストリームおよびビデオセッション内の最初のピクチャとして、または静止画像として使用することができる。イントラブロックのサンプルは、変換を受け、変換係数を、エントロピーコーディングの前に量子化することができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術であり得る。場合によっては、変換後のＤＣ値が小さいほど、およびＡＣ係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要とされるビット数が少なくなる。

【0008】

例えば、ＭＰＥＧ－２生成コーディング技術で使用される従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかの新規のビデオ圧縮技術は、例えば、データブロックの符号化／復号中に取得された周囲のサンプルデータおよび／またはメタデータに基づいて、予測を実施しようと試みる技術を含む。そのような技術を、これ以降、「イントラ予測」技術と呼ぶ。少なくともいくつかの場合に、イントラ予測は、再構成中の現在のピクチャからの参照データのみを使用し、参照ピクチャからは使用しないことに留意されたい。

【0009】

イントラ予測には、多くの異なる形式があり得る。そのような技術のうちの２つ以上を所与のビデオコーディング技術において使用できるとき、使用中の特定の技術を、特定の技術を使用する特定のイントラ予測モードとしてコーディングすることができる。特定の場合には、イントラ予測モードは、サブモードおよび／またはパラメータを有することができ、サブモードおよび／またはパラメータを、個別にコーディングするか、または使用される予測モードを定義するモードコードワードに含めることができる。所与のモード、サブモード、および／またはパラメータの組合せに、どのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、そのため、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。

【0010】

イントラ予測の特定のモードは、Ｈ．２６４で導入され、Ｈ．２６５において改良され、共同探索モデル（ＪＥＭ）、多用途ビデオコーディング（ＶＶＣ）、およびベンチマークセット（ＢＭＳ）などの新規のコーディング技術において更に改良された。すでに利用可能なサンプルの隣接サンプル値を使用して、予測子ブロックを形成することができる。隣接サンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内でコーディングされ得るか、またはそれ自体が予測され得る。

【0011】

図１Ａを参照すると、右下に描かれているのは、Ｈ．２６５で定義された（３５個のイントラモードのうちの３３個の角度モードに対応する）３３個の可能な予測子方向から知られる９つの予測子方向のサブセットである。矢印が集中する点（１０１）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が、１つまたは複数のサンプルから、右上へ、水平から４５度の角度で予測されることを示している。同様に、矢印（１０３）は、サンプル（１０１）が、１つまたは複数のサンプルから、サンプル（１０１）の左下へ、水平から２２．５度の角度で予測されることを示している。

【0012】

更に図１Ａを参照すると、左上には、（太い破線によって示された）４×４サンプルの正方形ブロック（１０４）が示されている。正方形ブロック（１０４）は、１６個のサンプルを含み、「Ｓ」と、Ｙ次元のその位置（例えば、行インデックス）と、Ｘ次元のその位置（例えば、列インデックス）と、で各々ラベル付けされている。例えば、サンプルＳ２１は、Ｙ次元の（上部から）２番目のサンプルであり、Ｘ次元の（左部から）１番目のサンプルである。同様に、サンプルＳ４４は、ブロック（１０４）内のＹ次元とＸ次元の両方で４番目のサンプルである。ブロックは、サイズが４×４サンプルなので、Ｓ４４は右下にある。同様の番号付け方式に従う参照サンプルが更に示されている。参照サンプルは、Ｒと、ブロック（１０４）に対するそのＹ位置（例えば、行インデックス）と、Ｘ位置（列インデックス）と、でラベル付けされている。Ｈ．２６４とＨ．２６５の両方において、予測サンプルは、再構成中のブロックに隣接しており、したがって、負の値が使用される必要はない。

【0013】

イントラピクチャ予測は、シグナリングされた予測方向によって示される隣接サンプルから参照サンプル値をコピーすることによって機能することができる。例えば、コーディングされたビデオビットストリームは、このブロックについて、矢印（１０２）と一致する予測方向を示すシグナリングを含む、すなわち、サンプルは、サンプルから右上へ、水平から４５度の角度で予測される、と仮定する。その場合、サンプルＳ４１、Ｓ３２、Ｓ２３、およびＳ１４が、同じ参照サンプルＲ０５から予測される。次いで、サンプルＳ４４が、参照サンプルＲ０８から予測される。

【0014】

特定の場合には、参照サンプルを計算するために、特に方向が４５度によって均等に割り切れないとき、複数の参照サンプルの値は、例えば補間によって組み合わされてもよい。

【0015】

可能な方向の数は、ビデオコーディング技術が発展するにつれて増加している。Ｈ．２６４（２００３年）では、９つの異なる方向を表すことができた。これが、Ｈ．２６５（２０１３年）では３３に増加した。現在、ＪＥＭ／ＶＶＣ／ＢＭＳは、最大６５個の方向をサポートすることができる。最も可能性が高い方向を識別するために実験が行われており、エントロピーコーディングの特定の技術は、それらの可能性が高い方向を少数のビットで表すために使用され、可能性が低い方向に関しては一定のペナルティを受け入れる。更に、隣接する、すでに復号されたブロックで使用された隣接する方向から、方向自体を予測し得る場合もある。

【0016】

図１Ｂは、経時的に増加する予測方向の数を示すためにＪＥＭによる６５のイントラ予測方向を示す概略図（１１０）を示している。

【0017】

コーディングされたビデオビットストリーム内の方向を表すイントラ予測方向ビットのマッピングは、ビデオコーディング技術によって異なり得る。そのようなマッピングは、単純な直接マッピングから、コードワード、最確モードを含む複雑な適応方式、および同様の技術までにおよび得る。しかしながら、ほとんどの場合、ビデオコンテンツ内で特定の他の方向よりも統計的に発生する可能性が低い特定の方向が存在し得る。ビデオ圧縮の目的は冗長性の低減であるので、それらの可能性が低い方向は、うまく機能するビデオコーディング技術では、可能性が高い方向よりも多いビット数で表される。

【0018】

画像および／またはビデオのコーディングおよび復号は、動き補償を伴うインターピクチャ予測を使用して実施することができる。動き補償は、非可逆圧縮技術であり、以前に再構成されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降、ＭＶ）によって示された方向に空間的にシフトされた後に、新規に再構成されるピクチャまたはピクチャの一部の予測に使用される技術に関連し得る。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じであり得る。ＭＶは、２つの次元ＸおよびＹ、または３つの次元を有することができ、第３の次元は、使用中の参照ピクチャの指示である（第３の次元は、間接的に時間次元であり得る）。

【0019】

いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能なＭＶを、他のＭＶから、例えば、再構成中のエリアに空間的に隣接し、復号順でそのＭＶに先行するサンプルデータの他のエリアに関連するＭＶから、予測することができる。そうすることにより、ＭＶのコーディングに必要なデータの量を大幅に低減し、それによって冗長性が排除され、圧縮率を増加することができる。例えば、（自然なビデオとして知られている）カメラから導出された入力ビデオ信号をコーディングするときに、単一のＭＶが適用可能なエリアよりも大きいエリアが同様の方向に移動し、したがって、場合によっては、隣接エリアのＭＶから導出された同様の動きベクトルを使用して予測され得る統計的尤度があるので、ＭＶ予測は、効果的に機能することができる。その結果、所与のエリアについて検出されたＭＶが周囲のＭＶから予測されたＭＶと同様か、または同じになり、それは、エントロピーコーディング後に、ＭＶを直接コーディングした場合に使用されるはずのビット数より少ないビット数で表すことができる。場合によっては、ＭＶ予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の一例となり得る。他の場合には、例えば、いくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、ＭＶ予測自体は、非可逆であり得る。

【0020】

様々なＭＶ予測メカニズムが、Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－ＴＲｅｃ．Ｈ．２６５、「ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ」、２０１６年１２月）に記載されている。Ｈ．２６５が提供する多くのＭＶ予測メカニズムのうち、図２を参照して説明するのは、以降「空間マージ」と呼ばれる技術である。

【0021】

図２を参照すると、現在のブロック（２０１）は、動き探索プロセス中にエンコーダによって、空間的にシフトされた同じサイズの以前のブロックから予測可能であることが発見されているサンプルを含む。そのＭＶを直接コーディングする代わりに、Ａ０、Ａ１、およびＢ０、Ｂ１、Ｂ２（それぞれ、２０２～２０６）と表記された５つの周囲のサンプルのいずれか１つと関連付けられたＭＶを使用して、１つまたは複数の参照ピクチャと関連付けられたメタデータから、例えば、（復号順に）最新の参照ピクチャから、ＭＶを導出することができる。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用している同じ参照ピクチャからの予測子を使用することができる。

【発明の概要】

【課題を解決するための手段】

【0022】

本開示の態様は、ビデオ符号化および復号のための方法および装置を提供する。いくつかの例では、ビデオ復号のための装置は処理回路を含む。処理回路は、ビデオビットストリームから現在のピクチャ内の現在のブロックの予測情報を復号するように構成される。予測情報は、現在のブロックのためのテンプレートマッチング（ＴＭ）モードを示す。処理回路は、現在のブロックの初期テンプレート（第１のテンプレートとも呼ばれる）内の少なくとも１つのサンプルが、現在のブロックの空間隣接ブロックであるイントラコーディングされたブロックに含まれているか否かを決定する。現在のブロックの初期テンプレートは、現在のブロックの１つもしくは複数の上部隣接ブロックのサンプル、および／または現在のブロックの１つもしくは複数の左部隣接ブロックのサンプルを含む。初期テンプレート内の少なくとも１つのサンプルがイントラコーディングされたブロックに含まれる場合、（ｉ）ＴＭモードを適用せずに現在のブロックの初期ＭＶに基づいて、または（ｉｉ）現在のブロックの初期ＭＶと、初期テンプレートに基づいて生成され、イントラコーディングされたブロックに含まれる初期テンプレート内の少なくとも１つのサンプルを省略する現在のテンプレート（第２のテンプレートとも呼ばれる）と、に基づいて、処理回路は、現在のブロックの動きベクトル（ＭＶ）を決定する。処理回路は、決定されたＭＶに基づいて現在のブロックを再構成する。

【0023】

一実施形態では、現在のブロックの第１のテンプレート内の少なくとも１つのサンプルが、現在のブロックの空間隣接ブロックであるイントラコーディングされたブロックに含まれるか否かを決定する。現在のブロックの第１のテンプレートは、（１）現在のブロックの１つまたは複数の上部隣接ブロック、および（２）現在のブロックの１つまたは複数の左部隣接ブロック、のうちの１つまたは複数のサンプルを含むことができる。一例では、１つまたは複数の上部隣接ブロックは、上部隣接ブロックである。一例では、１つまたは複数の左部隣接ブロックは、左部隣接ブロックである。第１のテンプレート内の少なくとも１つのサンプルがイントラコーディングされたブロックに含まれるという決定に応答して、少なくとも１つのサンプルは、第１のテンプレートから除外され、現在のブロックのための第２のテンプレートを生成することができる。現在のブロックのＭＶは、現在のブロックのための第２のテンプレートに基づいて決定することができる。

【0024】

一例では、（ｉ）第１のテンプレート内の少なくとも１つのサンプルがイントラコーディングされたブロックに含まれるという決定、および（ｉｉ）ＴＭモードが現在のブロックに適用されていること、に応答して、少なくとも１つのサンプルは、第１のテンプレートから除外され、現在のブロックのための第２のテンプレートを生成することができる。

【0025】

一実施形態では、現在のブロックの初期テンプレート内の少なくとも１つのサンプルは、イントラコーディングされたブロックに含まれると決定される。処理回路は、ＴＭモードを適用せずに、現在のブロックの初期ＭＶに基づいてＭＶを決定する。

【0026】

一実施形態では、現在のブロックの初期テンプレートは、１つまたは複数の上部隣接ブロックのサンプルを含む初期上部テンプレートと、１つまたは複数の左部隣接ブロックのサンプルを含む初期左部テンプレートとを含む。現在のブロックの初期テンプレート内の少なくとも１つのサンプルは、イントラコーディングされたブロックに含まれていると決定される。現在のブロックの１つまたは複数の左部隣接ブロックがイントラコーディングされたブロックを含まない場合、処理回路は、初期ＭＶと、初期左部テンプレートを含む現在のテンプレートと、に基づくＴＭモードを使用して現在のブロックのＭＶを決定する。現在のブロックの１つまたは複数の上部隣接ブロックがイントラコーディングされたブロックを含まない場合、処理回路は、初期ＭＶと、初期上部テンプレートを含む現在のテンプレートと、に基づくＴＭモードを使用して現在のブロックのＭＶを決定する。

【0027】

一実施形態では、現在のブロックの初期テンプレート内の少なくとも１つのサンプルは、イントラコーディングされたブロックに含まれると決定される。処理回路は、初期ＭＶと、現在のブロックの現在のテンプレートと、に基づくＴＭモードを使用して現在のブロックのＭＶを決定する。

【0028】

一実施形態では、処理回路は、現在のテンプレート内の１つまたは複数のサンプルに基づく補間によって少なくとも１つの補間されたサンプルを生成する。少なくとも１つの補間されたサンプルは、イントラコーディングされたブロックに含まれる初期テンプレート内の少なくとも１つのサンプルに対応する。現在のブロックの現在のテンプレートは、少なくとも１つの補間されたサンプルを更に含む。

【0029】

一実施形態では、現在のブロックの現在のテンプレートに対応する参照テンプレート内の参照サンプルは、参照ピクチャ内のサブピクセル位置に配置される。処理回路は、参照テンプレートにおいて４タップ未満を有するフィルタによる補間を使用して、参照ピクチャ内の補間された参照テンプレートを生成する。処理回路は、初期ＭＶと、現在のブロックの現在のテンプレートと、補間された参照テンプレートと、に基づくＴＭモードを使用して現在のブロックのＭＶを決定する。

【0030】

一例では、参照ピクチャ内の参照テンプレートは、イントラコーディングされたブロックに含まれる現在のブロックの初期テンプレート内の少なくとも１つのサンプルに対応する参照ピクチャ内の少なくとも１つの参照サンプルを省略する。処理回路は、参照ピクチャ内の最も近い参照サンプルをコピーすることによって、参照ピクチャ内の省略された少なくとも１つの参照サンプルのうちの１つに対応するパディングされたサンプルを生成する。処理回路は、パディングされたサンプルに基づく補間によって参照ピクチャ内の補間された参照テンプレートを生成する。

【0031】

一例では、参照ピクチャ内の参照テンプレートは、イントラコーディングされたブロックに含まれる現在のブロックの初期テンプレート内の少なくとも１つのサンプルに対応する参照ピクチャ内の少なくとも１つの参照サンプルを省略する。処理回路は、参照ピクチャ内の省略された少なくとも１つの参照サンプルに基づく補間によって、参照ピクチャ内の補間された参照テンプレートを生成する。

【0032】

一実施形態では、現在のブロックの初期テンプレートに対応する初期参照テンプレート内の参照サンプルは、参照ピクチャ内のサブピクセル位置に配置される。処理回路は、初期参照テンプレートにおいて補間を使用して参照ピクチャ内の中間参照テンプレートを生成する。処理回路は、中間参照テンプレートおよびマスクに基づいて、現在のブロックの現在のテンプレートに対応する参照テンプレートを生成する。マスクの形状は、現在のブロックの現在のテンプレートに基づいて決定することができる。

【0033】

一実施形態では、イントラコーディングされたブロックに含まれる初期テンプレート内の少なくとも１つのサンプルは、（ｉ）１つまたは複数の左部隣接ブロックのサンプルの１つまたは複数の左部サンプル、または（ｉｉ）１つまたは複数の上部隣接ブロックのサンプルの１つまたは複数の上部サンプルを含む。初期テンプレート内の少なくとも１つのサンプルが１つまたは複数の左部サンプルを含む場合、現在のテンプレートは、現在のテンプレートに含まれる１つまたは複数の左部隣接ブロックのサンプルに隣接する１つまたは複数の拡張左部サンプルを更に含む。１つまたは複数の拡張左部サンプルは、現在のピクチャにおけるイントラコーディングされたブロックに含まれない。

【0034】

初期テンプレート内の少なくとも１つのサンプルが１つまたは複数の上部サンプルを含む場合、現在のテンプレートは、現在のテンプレートに含まれる１つまたは複数の上部隣接ブロックのサンプルに隣接する１つまたは複数の拡張上部サンプルを更に含む。１つまたは複数の拡張上部サンプルは、現在のピクチャ内のイントラコーディングされたブロックに含まれない。

【0035】

一例では、現在のテンプレートのサンプル数は、初期テンプレートのサンプル数の１５０％である。

【0036】

一例では、現在のテンプレートのサンプル数は、初期テンプレートのサンプル数の２００％である。

【0037】

本開示の態様はまた、ビデオ復号のための方法を実施するために少なくとも１つのプロセッサによって実行可能なプログラムを記憶する非一時的コンピュータ可読記憶媒体も提供する。

【0038】

開示された主題の更なる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面から明らかになる。

【図面の簡単な説明】

【0039】

【図1A】イントラ予測モードの例示的なサブセットの概略図である。

【図1B】例示的なイントラ予測方向の図である。

【図2】現在のブロック（２０１）および周囲のサンプルの一例を示す図である。

【図3】通信システム（３００）の例示的なブロック図の概略図である。

【図4】通信システム（４００）の例示的なブロック図の概略図である。

【図5】デコーダの例示的なブロック図の概略図である。

【図6】エンコーダの例示的なブロック図の概略図である。

【図7】例示的なエンコーダのブロック図である。

【図8】例示的なデコーダのブロック図である。

【図9】テンプレートマッチング（ＴＭ）の例を示す図である。

【図10】アフィンマージモードにおけるＴＭの例を示す図である。

【図11】ＴＭの一例を示す図である。

【図12A】ＴＭの一例を示す図である。

【図12B】ＴＭの一例を示す図である。

【図13】参照ピクチャ内の参照テンプレートを取得するための例示的なプロセスを示す図である。

【図14】ＴＭにおいて現在のテンプレートを拡張する例を示す図である。

【図15】本開示の一実施形態による、符号化プロセスを概説するフローチャートである。

【図16】本開示の一実施形態による、復号プロセスを概説するフローチャートである。

【図17】一実施形態による、コンピュータシステムの概略図である。

【発明を実施するための形態】

【0040】

図３は、通信システム（３００）の例示的なブロック図を示している。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信し得る複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された端末デバイス（３１０）および（３２０）の第１の対を含む。図３の例において、端末デバイス（３１０）および（３２０）の第１の対は、データの単方向送信を実施する。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介して他方の端末デバイス（３２０）に送信するために、ビデオデータ（例えば、端末デバイス（３１０）によってキャプチャされたビデオピクチャのストリーム）をコーディングしてもよい。符号化されたビデオデータは、１つまたは複数のコーディングされたビデオビットストリームの形式で送信することができる。端末デバイス（３２０）は、ネットワーク（３５０）からコーディングされたビデオデータを受信し、コーディングされたビデオデータを復号してビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示し得る。単方向データ送信は、メディアサービングアプリケーションなどにおいて一般的であり得る。

【0041】

別の例では、通信システム（３００）は、例えばビデオ会議中のコーディングされたビデオデータの双方向送信を実施する端末デバイス（３３０）および（３４０）の第２の対を含む。データの双方向送信の場合、一例では、端末デバイス（３３０）および（３４０）の各端末デバイスは、ネットワーク（３５０）を介して端末デバイス（３３０）および（３４０）の他方の端末デバイスに送信するために、ビデオデータ（例えば、端末デバイスによってキャプチャされたビデオピクチャのストリーム）をコーディングしてもよい。端末デバイス（３３０）および（３４０）の各端末デバイスはまた、端末デバイス（３３０）および（３４０）の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信し、コーディングされたビデオデータを復号してビデオピクチャを復元し、復元されたビデオデータに従ってアクセス可能な表示デバイスにビデオピクチャを表示し得る。

【0042】

図３の例において、端末デバイス（３１０）、（３２０）、（３３０）および（３４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとしてそれぞれ例示されているが、本開示の原理はそのように限定されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤおよび／または専用ビデオ会議機器と共に適用される。ネットワーク（３５０）は、例えば有線（配線）および／または無線通信ネットワークを含む、端末デバイス（３１０）、（３２０）、（３３０）および（３４０）間で、コーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（３５０）は、回路交換チャネルおよび／またはパケット交換チャネルでデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本説明の目的のために、ネットワーク（３５０）のアーキテクチャおよびトポロジは、本明細書で以下に説明されない限り、本開示の動作に重要ではない場合がある。

【0043】

図４は、開示の主題についての用途の一例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダを示している。開示の主題は、例えば、ビデオ会議、デジタルテレビ、ストリーミングサービス、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶などを含む他のビデオ対応用途に等しく適用可能であり得る。

【0044】

ストリーミングシステムは、例えば非圧縮のビデオピクチャのストリーム（４０２）を生成する、例えばデジタルカメラなどのビデオソース（４０１）を含み得るキャプチャサブシステム（４１３）を含み得る。一例では、ビデオピクチャのストリーム（４０２）は、デジタルカメラによって撮られたサンプルを含む。ビデオピクチャのストリーム（４０２）は、符号化されたビデオデータ（４０４）（またはコーディングされたビデオビットストリーム）と比較したときの大きいデータ量を強調するために太線で示され、ビデオソース（４０１）に結合されたビデオエンコーダ（４０３）を含む電子デバイス（４２０）によって処理され得る。ビデオエンコーダ（４０３）は、以下で詳細に記載するように、開示された主題の態様を可能にする、または実装するために、ハードウェア、ソフトウェア、またはそれらの組合せを含むことができる。符号化ビデオデータ（４０４）（または符号化ビデオビットストリーム）は、ビデオピクチャのストリーム（４０２）と比較したときの少ないデータ量を強調するために細線で示され、将来の使用のためにストリーミングサーバ（４０５）に記憶することができる。図４のクライアントサブシステム（４０６）および（４０８）などの１つまたは複数のストリーミングクライアントサブシステムは、符号化されたビデオデータ（４０４）のコピー（４０７）および（４０９）を取り出すために、ストリーミングサーバ（４０５）にアクセスすることができる。クライアントサブシステム（４０６）は、例えば電子デバイス（４３０）内にビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、符号化されたビデオデータの入力コピー（４０７）を復号し、ディスプレイ（４１２）（例えば、表示スクリーン）または他のレンダリングデバイス（図示せず）上でレンダリングされ得るビデオピクチャの出力ストリーム（４１１）を作成する。一部のストリーミングシステムでは、符号化されたビデオデータ（４０４）、（４０７）および（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従って符号化することができる。それらの規格の例には、ＩＴＵ－Ｔ勧告Ｈ．２６５が含まれる。一例では、開発中のビデオコーディング規格は、多用途ビデオコーディング（ＶＶＣ）として非公式に知られている。開示された主題は、ＶＶＣのコンテキストで使用され得る。

【0045】

電子デバイス（４２０）および（４３０）は、他の構成要素（図示せず）を含み得ることに留意されたい。例えば、電子デバイス（４２０）は、ビデオデコーダ（図示せず）を含み、電子デバイス（４３０）は、ビデオエンコーダ（図示せず）も含むことができる。

【0046】

図５は、ビデオデコーダ（５１０）の例示的なブロック図を示している。ビデオデコーダ（５１０）は、電子デバイス（５３０）に含めることができる。電子デバイス（５３０）は、受信機（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）を、図４の例のビデオデコーダ（４１０）の代わりに使用することができる。

【0047】

受信機（５３１）は、ビデオデコーダ（５１０）によって復号されるべき１つまたは複数のコーディングされたビデオシーケンスを受信し得る。一実施形態では、一度に１つのコーディングされたビデオシーケンスが受信され、各コーディングされたビデオシーケンスの復号は、他のコーディングされたビデオシーケンスの復号から独立している。コーディングされたビデオシーケンスは、チャネル（５０１）から受信され、チャネル（５０１）は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る。受信機（５３１）は、他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリームと共に符号化されたビデオデータを受信し、そのデータは、それらそれぞれの使用エンティティ（図示せず）に転送され得る。受信機（５３１）は、コーディングされたビデオシーケンスをその他のデータから分離し得る。ネットワークジッタに対抗するために、受信機（５３１）とエントロピーデコーダ／パーサ（５２０）（以降、「パーサ（５２０）」）との間にバッファメモリ（５１５）が結合され得る。特定の用途では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の一部である。他の用途では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の外部にあり得る（図示せず）。更に他の用途では、例えば、ネットワークジッタに対抗するために、ビデオデコーダ（５１０）の外部にバッファメモリ（図示せず）が存在し、加えて、例えば、プレイアウトタイミングを処理するために、ビデオデコーダ（５１０）の内部に他のバッファメモリ（５１５）が存在してもよい。受信機（５３１）が十分な帯域幅および可制御性の記憶／転送デバイスから、またはアイソシンクロナスネットワークから、データを受信しているとき、バッファメモリ（５１５）は、不要な場合がある、または小さくしてもよい。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（５１５）は、用いられてもよく、比較的大きくてもよく、有利には適応サイズであってもよく、ビデオデコーダ（５１０）の外部のオペレーティングシステムまたは同様の要素（図示せず）に少なくとも部分的に実装されてもよい。

【0048】

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するためにパーサ（５２０）を含み得る。これらのシンボルのカテゴリは、図５に示されるように、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、電子デバイス（５３０）の不可欠な部分ではないが、電子デバイス（５３０）に結合され得るレンダリングデバイス（５１２）（例えば、表示スクリーン）などのレンダリングデバイスを潜在的に制御するための情報とを含む。レンダリングデバイスのための制御情報は、補足エンハンスメント情報（ＳＥＩ）メッセージ、またはビデオユーザビリティ情報（ＶＵＩ）のパラメータセットフラグメント（図示せず）の形式であり得る。パーサ（５２０）は、受信されたコーディングされたビデオシーケンスを解析／エントロピー復号し得る。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に従うことができ、コンテキスト依存性ありまたはなしの可変長コーディング、ハフマンコーディング、算術コーディングなどを含む様々な原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、コーディングされたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つに関するサブグループパラメータのセットを抽出し得る。サブグループは、ピクチャグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（５２０）はまた、変換係数、量子化器パラメータ値、動きベクトルなどのようなコーディングされたビデオシーケンス情報から抽出してもよい。

【0049】

パーサ（５２０）は、シンボル（５２１）を作成するために、バッファメモリ（５１５）から受信したビデオシーケンスに対してエントロピー復号／解析パーサ動作を実施し得る。

【0050】

シンボル（５２１）の再構成は、コーディングされたビデオピクチャまたはその部分のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）、および他の要因に応じて、複数の異なるユニットを関与させることができる。どのユニットがどのように関与するかは、パーサ（５２０）が、コーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御することができる。パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、説明の都合上描写していない。

【0051】

すでに述べた機能ブロックを超えて、ビデオデコーダ（５１０）は、以下に説明するように、概念的にいくつかの機能ユニットに細分化することができる。商業的制約の下で動作する実際の実装形態では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明する目的で、以下の機能ユニットへの概念的細分化が適切である。

【0052】

第１のユニットはスケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、量子化変換係数、ならびにどの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を、パーサ（５２０）からシンボル（５２１）として受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力され得るサンプル値を含むブロックを出力することができる。

【0053】

場合によっては、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラコーディングされたブロックに関係することができる。イントラコーディングされたブロックは、以前に再構成されたピクチャからの予測情報を使用せず、現在のピクチャの以前に再構成された部分からの予測情報を使用し得るブロックである。そのような予測情報を、イントラピクチャ予測ユニット（５５２）が提供することができる。場合によっては、イントラピクチャ予測ユニット（５５２）は、現在のピクチャバッファ（５５８）からフェッチされた周囲のすでに再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在のピクチャバッファ（５５８）は、例えば、部分的に再構成された現在のピクチャおよび／または完全に再構成された現在のピクチャをバッファする。アグリゲータ（５５５）は、場合によっては、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）が提供した出力サンプル情報に、サンプル単位で付加する。

【0054】

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされ、潜在的に動作補償されたブロックに関連することができる。そのような場合、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関係するシンボル（５２１）に従ってフェッチされたサンプルを動き補償した後、これらのサンプルを、出力サンプル情報を生成するために、アグリゲータ（５５５）によって、スケーラ／逆変換ユニット（５５１）の出力（この場合、残差サンプルまたは残差信号と呼ばれる）に追加することができる。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスを、例えば、Ｘ、Ｙ、および参照ピクチャ成分を有し得るシンボル（５２１）の形式で動き補償予測ユニット（５５３）に利用可能な動きベクトルによって、制御することができる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）から、フェッチされたサンプル値の補間、動きベクトル予測機構などを含むことができる。

【0055】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技法を受けることができる。コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に提供される、インループフィルタ技術を、ビデオ圧縮技術は含むことができる。ビデオ圧縮はまた、コーディングされたピクチャ、またはコーディングされたビデオシーケンスの（復号順で）前の部分の復号中に取得されたメタ情報に応答して行うこともでき、以前に再構成およびループフィルタリングされたサンプル値に応答して行うこともできる。

【0056】

ループフィルタユニット（５５６）の出力は、レンダリングデバイス（５１２）に出力すると共に、将来のインターピクチャ予測に使用するために参照ピクチャメモリ（５５７）に記憶され得るサンプルストリームであり得る。

【0057】

完全に再構成されると、特定のコーディングされたピクチャは、将来の予測のための参照ピクチャとして使用することができる。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の一部になることができ、新規の現在のピクチャバッファを、後続のコーディングされたピクチャの再構成を開始する前に再配置することができる。

【0058】

ビデオデコーダ（５１０）は、ＩＴＵ－ＴＲｅｃ．Ｈ．２６５などの所定のビデオ圧縮技術または規格に従って復号動作を実施し得る。コーディングされたビデオシーケンスが、ビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格に文書化されているプロファイルとの両方を順守しているという意味で、コーディングされたビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定されている構文に準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格において利用可能なすべてのツールの中から、特定のツールを、そのプロファイル下でそれらだけが利用可能なツールとして選択することができる。また、コンプライアンスのために必要なのは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることであり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、（例えば、毎秒メガサンプル単位で測定された）最大再構成サンプルレート、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（ＨＲＤ）仕様およびコーディングされたビデオシーケンスにおいて信号で通知されたＨＲＤバッファ管理のためのメタデータによって更に制限されてもよい。

【0059】

一実施形態では、受信機（５３１）は、符号化されたビデオを有する追加の（冗長な）データを受信してもよい。追加のデータは、コーディングされたビデオシーケンスの一部として含まれ得る。追加のデータは、ビデオデコーダ（５１０）によって、データを適切に復号するために、かつ／または元のビデオデータを正確に再構成するために使用され得る。追加のデータは、例えば、時間、空間、または信号雑音比（ＳＮＲ）強化層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形態であり得る。

【0060】

図６は、ビデオエンコーダ（６０３）の例示的なブロック図を示している。ビデオエンコーダ（６０３）は、電子デバイス（６２０）に含まれる。電子デバイス（６２０）は、送信機（６４０）（例えば、送信回路）を含む。ビデオエンコーダ（６０３）を、図４の例のビデオエンコーダ（４０３）の代わりに使用することができる。

【0061】

ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされるべきビデオ画像をキャプチャし得る（図６の例では電子デバイス（６２０）の一部ではない）ビデオソース（６０１）からビデオサンプルを受信し得る。別の例では、ビデオソース（６０１）は、電子デバイス（６２０）の一部である。

【0062】

ビデオソース（６０１）は、ビデオエンコーダ（６０３）によってコーディングされるべきソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、…）、任意の色空間（例えば、ＢＴ．６０１ＹＣｒＣＢ、ＲＧＢ、…）、および任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ４：２：０、ＹＣｒＣｂ４：４：４）のものとし得るデジタルビデオサンプルストリームの形式で提供し得る。メディアサービングシステムでは、ビデオソース（６０１）は、以前に準備されたビデオを記憶する記憶デバイスであり得る。ビデオ会議システムでは、ビデオソース（６０１）は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラであり得る。ビデオデータは、順番に見たときに動きを伝える複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、ピクセルの空間配列として編成され、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、１つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下、サンプルに着目して説明する。

【0063】

一実施形態によれば、ビデオエンコーダ（６０３）は、リアルタイムで、または必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャをコーディングされたビデオシーケンス（６４３）にコーディングし、圧縮し得る。適切なコーディング速度を実施することが、コントローラ（６５０）の１つの機能である。いくつかの実施形態では、コントローラ（６５０）は、以下で説明される他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。この結合は説明都合上描かれていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ（６５０）は、特定のシステム設計に最適化されたビデオエンコーダ（６０３）に関する他の適切な機能を有するように構成することができる。

【0064】

いくつかの実施形態では、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成される。過度に単純化した説明として、一例では、コーディングループは、（例えば、コーディングされるべき入力ピクチャ、および参照ピクチャに基づいて、シンボルストリームなどのシンボルを作成する役割を担う）ソースコーダ（６３０）と、ビデオエンコーダ（６０３）に組み込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（リモート）デコーダも作成することになるのと同様の方式で、シンボルを再構成してサンプルデータを作成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号は、デコーダの位置（ローカルまたはリモート）に関係なくビットイグザクトな結果をもたらすため、参照ピクチャメモリ（６３４）の内容も、ローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えれば、エンコーダの予測部分は、復号中に予測を使用するときにデコーダが「見る」ことになるのと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャ同期性（例えばチャネル誤差のために同期性を維持し得ない場合、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術においても使用される。

【0065】

「ローカル」デコーダ（６３３）の動作は、図５と併せて上記で詳細にすでに説明されている、ビデオデコーダ（５１０）などの「リモート」デコーダの動作と同じであり得る。図５も簡単に参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ（６４５）およびパーサ（５２０）によって、コーディングされたビデオシーケンスへのシンボルの符号化／復号は可逆であり得るので、バッファメモリ（５１５）を含むビデオデコーダ（５１０）のエントロピー復号部分、およびパーサ（５２０）は、ローカルデコーダ（６３３）に完全に実装されない場合もある。

【0066】

一実施形態では、デコーダに存在する解析／エントロピー復号を除くデコーダ技術が、対応するエンコーダにおいて、同一または実質的に同一の機能的形態で存在する。したがって、開示された主題は、デコーダの動作に焦点を当てている。エンコーダ技術の説明は、包括的に記載されたデコーダ技術の逆であるため、省略することができる。特定の領域においてのみ、より詳細な説明が必要とされ、以下に提供される。

【0067】

動作中、いくつかの例では、ソースコーダ（６３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つまたは複数の以前にコーディングされたピクチャを参照して、入力ピクチャを予測的にコーディングする動作補償予測コーディングを実施してもよい。このようにして、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックとの間の差分をコーディングする。

【0068】

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号し得る。コーディングエンジン（６３２）の動作は、有利には、非可逆プロセスであってもよい。コーディングされたビデオデータが（図６には示されていない）ビデオデコーダで復号され得るとき、再構成されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスの複製であり得る。ローカルビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって実施され得る復号プロセスを複製し、再構成された参照ピクチャを参照ピクチャメモリ（６３４）に記憶させ得る。このようにして、ビデオエンコーダ（６０３）は、（送信エラーなしで）遠端ビデオデコーダによって取得されることになる再構成された参照ピクチャとして共通のコンテンツを有する再構成された参照ピクチャのコピーをローカルに記憶し得る。

【0069】

予測子（６３５）は、コーディングエンジン（６３２）の予測探索を実施し得る。すなわち、コーディングされる新規のピクチャの場合、予測子（６３５）は、新規のピクチャのための適切な予測参照として役立ち得る、（候補参照ピクセルブロックとしての）サンプルデータ、または参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを求めて、参照ピクチャメモリ（６３４）を探索し得る。予測子（６３５）は、適切な予測参照を見つけるために、ピクセルブロックごとにサンプルブロックに対して動作し得る場合によっては、予測子（６３５）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから描画された予測参照を有してもよい。

【0070】

コントローラ（６５０）は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理し得る。

【0071】

すべての前述の機能ユニットの出力は、エントロピーコーダ（６４５）内でエントロピーコーディングを受け得る。エントロピーコーダ（６４５）は、様々な機能ユニットによって生成されたシンボルを、ハフマンコーディング、可変長コーディング、算術コーディングなどといった技術に従ってシンボルに可逆圧縮を適用することによってコーディングされたビデオシーケンスに変換する。

【0072】

送信機（６４０）は、エントロピーコーダ（６４５）によって作成されたコーディングされたビデオシーケンスをバッファリングして、通信チャネル（６６０）を介した送信を準備し、通信チャネル（６６０）は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってもよい。送信機（６４０）は、ビデオエンコーダ（６０３）からのコーディングされたビデオデータを、送信される他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージし得る。

【0073】

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理し得る。コーディング中、コントローラ（６５０）は、各コーディングされたピクチャに特定のコーディングされたピクチャタイプを割り当て、これは、それぞれのピクチャに適用され得るコーディング技法に影響を及ぼす場合がある。例えば、ピクチャは、以下のピクチャタイプのうちの１つとして割り当てられることが多い。

【0074】

イントラピクチャ（Ｉピクチャ）は、シーケンス内の他のピクチャを予測元として使用することのない、コーディングおよび復号され得るものであってもよい。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャを可能にする。当業者は、Ｉピクチャのこれらの変形、ならびにそれらのそれぞれの用途および特徴を認識している。

【0075】

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、最大で１つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングおよび復号され得るものであってもよい。

【0076】

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、最大で２つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングおよび復号され得るものであってもよい。同様に、複数の予測ピクチャは、単一のブロックの再構成のために３つ以上の参照ピクチャおよび関連するメタデータを使用することができる。

【0077】

ソースピクチャは、一般に、複数のサンプルブロック（例えば、各々、４×４、８×８、４×８、または１６×１６のサンプルのブロック）に空間的に細分化され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されたコーディング割り当てによって決定される他の（すでにコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉピクチャのブロックは、非予測的にコーディングされ得るか、または、同じピクチャのすでにコーディングされたブロックを参照して予測的にコーディングされ得る（空間予測またはイントラ予測）。Ｐピクチャのピクセルブロックは、１つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされてもよい。Ｂピクチャのブロックは、１つまたは２つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して予測的にコーディングされてもよい。

【0078】

ビデオエンコーダ（６０３）は、ＩＴＵ－ＴＲｅｃ．Ｈ．２６５などの所定のビデオコーディング技術または規格に従ってコーディング動作を実施し得る。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間および空間の冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実施し得る。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠することができる。

【0079】

一実施形態では、送信機（６４０）は、符号化されたビデオと共に追加のデータを送信してもよい。ソースコーダ（６３０）は、そのようなデータをコーディングされたビデオシーケンスの一部として含み得る。追加のデータは、時間／空間／ＳＮＲ強化層、冗長ピクチャおよびスライスなどの他の形態の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセット断片などを含み得る。

【0080】

ビデオは、複数のソースピクチャ（ビデオピクチャ）として時系列にキャプチャされ得る。イントラピクチャ予測（しばしば、イントラ予測と省略される）は、所与のピクチャ内の空間相関を使用し、インターピクチャ予測は、ピクチャ間の（時間または他の）相関を使用する。一例では、現在のピクチャと呼ばれる、符号化／復号中の特定のピクチャがブロックに分割される。現在のピクチャ内のブロックが、ビデオ内で、以前にコーディングされ、未だバッファされている参照ピクチャ内の参照ブロックに類似しているとき、現在のピクチャ内のブロックを、動きベクトルと呼ばれるベクトルによってコーディングすることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第３の次元を有することができる。

【0081】

いくつかの実施形態では、インターピクチャ予測に双予測技術を使用することができる。双予測技術によれば、第１の参照ピクチャおよび第２の参照ピクチャなどの２つの参照ピクチャが使用され、これらは両方ともビデオ内の現在のピクチャの復号順より前にある（しかし、表示順序は、それぞれ過去および未来のものであってもよい）。第１の参照ピクチャ内の第１の参照ブロックを指し示す第１の動きベクトルによって、および第２の参照ピクチャ内の第２の参照ブロックを指し示す第２の動きベクトルによって、現在のピクチャ内のブロックをコーディングすることができる。ブロックを、第１の参照ブロックと第２の参照ブロックとの組合せによって予測することができる。

【0082】

更に、コーディング効率を改善するために、インターピクチャ間予測にマージモード技術を使用することができる。

【0083】

本開示のいくつかの実施形態によれば、インターピクチャ予測やイントラピクチャ予測などの予測は、ブロック単位で実施される。例えば、ＨＥＶＣ規格によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、１６×１６ピクセルなどの同じサイズを有する。一般に、ＣＴＵは、３つのコーディングツリーブロック（ＣＴＢ）を含み、それらは１つのルマＣＴＢおよび２つのクロマＣＴＢである。各ＣＴＵを、１つまたは複数のコーディングユニット（ＣＵ）に再帰的に四分木分割することができる。例えば、６４×６４ピクセルのＣＴＵを、６４×６４ピクセルの１個のＣＵに、または３２×３２ピクセルの４個のＣＵに、または１６×１６ピクセルの１６個のＣＵに、分割することができる。一例では、各ＣＵが、インター予測タイプまたはイントラ予測タイプなど、ＣＵの予測タイプを決定するために解析される。ＣＵは、時間的予測可能性および／または空間的予測可能性に応じて、１つまたは複数の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、１つのルマ予測ブロック（ＰＢ）、および２つのクロマＰＢを含む。一実施形態では、コーディング（符号化／復号）における予測動作は、予測ブロックの単位で実施される。予測ブロックの例としてルマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのピクセルの値（例えば、ルマ値）の行列を含む。

【0084】

図７は、ビデオエンコーダ（７０３）の例示的な図を示している。ビデオエンコーダ（７０３）は、ビデオピクチャのシーケンス内の現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、処理ブロックを、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャに符号化するように構成される。一例では、ビデオエンコーダ（７０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用される。

【0085】

ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、例えば、８×８サンプルの予測ブロックのような処理ブロックのためのサンプル値の行列を受け取る。ビデオエンコーダ（７０３）は、処理ブロックが、例えば、レート歪み最適化を使用して、イントラモード、インターモード、または双予測モードを使用して最適にコーディングされるか否かを決定する。処理ブロックがイントラモードでコーディングされることになるとき、ビデオエンコーダ（７０３）は、イントラ予測技術を使用して、処理ブロックをコーディングされたピクチャに符号化し、処理ブロックがインターモードまたは双予測モードでコーディングされることになるとき、ビデオエンコーダ（７０３）は、インター予測技術または双予測技術をそれぞれ使用して、処理ブロックをコーディングされたピクチャに符号化し得る。特定のビデオコーディング技術では、マージモードは、予測子の外側のコーディングされた動きベクトル成分の助けを借りずに、動きベクトルが１つまたは複数の動きベクトル予測子から導出されるインターピクチャ予測サブモードとすることができる。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例では、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するためのモード判定モジュール（図示せず）などの他の構成要素を含む。

【0086】

図７の例では、ビデオエンコーダ（７０３）は、図７に示されるように互いに結合されたインターエンコーダ（７３０）と、イントラエンコーダ（７２２）と、残差計算器（７２３）と、スイッチ（７２６）と、残差エンコーダ（７２４）と、汎用コントローラ（７２１）と、エントロピーエンコーダ（７２５）とを含む。

【0087】

インターエンコーダ（７３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ（例えば、前のピクチャおよび後のピクチャ内のブロック）内の１つまたは複数の参照ブロックと比較し、インター予測情報（例えば、インター符号化技術、動きベクトル、マージモード情報による冗長情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、符号化されたビデオ情報に基づいて復号される復号された参照ピクチャである。

【0088】

イントラエンコーダ（７２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受け取り、場合によっては、ブロックを同じピクチャ内のすでにコーディングされたブロックと比較し、変換後の量子化係数を生成し、場合によっては、イントラ予測情報（例えば、１つまたは複数のイントラ符号化技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（７２２）はまた、同じピクチャ内のイントラ予測情報および参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。

【0089】

汎用コントローラ（７２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（７０３）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（７２１）は、ブロックのモードを決定し、モードに基づいてスイッチ（７２６）に制御信号を提供する。例えば、モードがイントラモードであるとき、汎用コントローラ（７２１）は、残差計算器（７２３）が使用するイントラモード結果を選択するようにスイッチ（７２６）を制御し、イントラ予測情報を選択して、イントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御し、モードがインターモードであるとき、汎用コントローラ（７２１）は、残差計算器（７２３）が使用するインター予測結果を選択するようにスイッチ（７２６）を制御し、インター予測情報を選択して、インター予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御する。

【0090】

残差計算器（７２３）は、受信されたブロックと、イントラエンコーダ（７２２）またはインターエンコーダ（７３０）から選択された予測結果との間の差分（残差データ）を計算するように構成される。残差エンコーダ（７２４）は、残差データに基づいて、残差データを符号化して変換係数を生成するよう動作するように構成される。一例では、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化変換係数を取得するために量子化プロセスを受ける。様々な実施形態において、ビデオエンコーダ（７０３）は残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を実施し、復号された残差データを生成するように構成される。復号された残差データを、イントラエンコーダ（７２２）およびインターエンコーダ（７３０）が適切に使用することができる。例えば、インターエンコーダ（７３０）は、復号された残差データおよびインター予測情報に基づいて、復号されたブロックを生成することができ、イントラエンコーダ（７２２）は、復号された残差データおよびイントラ予測情報に基づいて、復号されたブロックを生成することができる。いくつかの例では、復号されたブロックは、復号されたピクチャを生成するために適切に処理され、復号されたピクチャを、メモリ回路（図示せず）にバッファし、参照ピクチャとして使用することができる。

【0091】

エントロピーエンコーダ（７２５）は、符号化されたブロックを含めるために、ビットストリームをフォーマットするように構成される。エントロピーエンコーダ（７２５）は、ＨＥＶＣ規格などの適切な規格に従ってビットストリームに様々な情報を含めるように構成される。一例では、エントロピーエンコーダ（７２５）は、ビットストリームに、汎用制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報を含めるように構成される。開示された主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックをコーディングするとき、残差情報は存在しないことに留意されたい。

【0092】

図８は、ビデオデコーダ（８１０）の例示的な図を示している。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受け取り、コーディングされたピクチャを復号して再構成されたピクチャを生成するように構成される。一例では、ビデオデコーダ（８１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用される。

【0093】

図８の例では、ビデオデコーダ（８１０）は、図８に示されるように互いに結合されたエントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、およびイントラデコーダ（８７２）を含む。

【0094】

エントロピーデコーダ（８７１）は、コーディングされたピクチャから、コーディングされたピクチャが構成される構文要素を表す特定のシンボルを再構成するように構成することができる。そのようなシンボルは、例えば、ブロックがコーディングされているモード（例えば、イントラモード、インターモード、双予測モード、マージサブモードまたは他のサブモードのインターモードおよび双予測モードなど）、ならびにイントラデコーダ（８７２）またはインターデコーダ（８８０）によって、それぞれ、予測のために使用される特定のサンプルまたはメタデータを識別し得る予測情報（例えば、イントラ予測情報またはインター予測情報など）を含むことができる。シンボルはまた、例えば、量子化変換係数の形態の残差情報なども含むことができる。一例では、予測モードが、インターモードまたは双予測モードであるとき、インター予測情報は、インターデコーダ（８８０）に提供され、予測タイプが、イントラ予測タイプであるとき、イントラ予測情報は、イントラデコーダ（８７２）に提供される。残差情報は逆量子化を受けることができ、残差デコーダ（８７３）に提供される。

【0095】

インターデコーダ（８８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

【0096】

イントラデコーダ（８７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

【0097】

残差デコーダ（８７３）は、逆量子化を実施して、逆量子化変換係数を抽出し、逆量子化変換係数を処理して、残差情報を周波数領域から空間領域に変換するように構成される。残差デコーダ（８７３）はまた、（量子化パラメータ（ＱＰ）を含めるために）特定の制御情報を必要とする場合もあり、その情報は、エントロピーデコーダ（８７１）によって提供され得る（これは、少量の制御情報のみであり得るので、データパスは描かれていない）。

【0098】

再構成モジュール（８７４）は、空間領域において、残差デコーダ（８７３）によって出力される残差情報と、（場合によってインター予測モジュールまたはイントラ予測モジュールによって出力される）予測結果とを組み合わせて、再構成されたピクチャの一部になり得る再構成ブロックを形成するように構成され、再構成されたピクチャは、再構成されたビデオの一部になり得る。視覚的品質を改善するために、デブロッキング動作などの他の適切な動作を実施し得ることに留意されたい。

【0099】

ビデオエンコーダ（４０３）、（６０３）、および（７０３）、ならびにビデオデコーダ（４１０）、（５１０）、および（８１０）は、任意の適切な技術を使用して実装し得ることに留意されたい。一実施形態では、ビデオエンコーダ（４０３）、（６０３）、および（７０３）、ならびにビデオデコーダ（４１０）、（５１０）、および（８１０）は、１つまたは複数の集積回路を使用して実装してもよい。別の実施形態では、ビデオエンコーダ（４０３）、（６０３）、および（６０３）、ならびにビデオデコーダ（４１０）、（５１０）、および（８１０）は、ソフトウェア命令を実行する１つまたは複数のプロセッサを使用して実装してもよい。

【0100】

ＶＶＣでは、様々なインター予測モードを使用することができる。インター予測されたＣＵに対して、動きパラメータは、ＭＶと、１つまたは複数の参照ピクチャインデックスと、参照ピクチャリスト使用インデックスと、インター予測されたサンプル生成に使用されるべき特定のコーディング特徴についての追加情報とを含むことができる。動きパラメータは、明示的または暗黙的にシグナリングすることができる。ＣＵがスキップモードでコーディングされるとき、ＣＵは、ＰＵと関連付けられ、有意な残差係数も、コーディングされた動きベクトルデルタも、ＭＶ差分（例えばＭＶＤ）も、参照ピクチャインデックスも有することができない。マージモードを指定することができ、現在のＣＵの動きパラメータは、空間候補、時間候補、および／または追加スケジュール（例えば、ＶＶＣで導入されたスケジュール）を含む隣接ＣＵから取得される。マージモードは、スキップモードに対してだけでなく、インター予測されたＣＵに適用することができる。一例では、マージモードの代替は、動きパラメータの明示的な送信であり、その場合、ＭＶ、各参照ピクチャリストの対応する参照ピクチャインデックス、および参照ピクチャリスト使用フラグ、およびその他の情報は、ＣＵごとに明示的にシグナリングされる。

【0101】

ＶＶＣなどの一実施形態では、ＶＶＣテストモデル（ＶＴＭ）参照ソフトウェアは、拡張マージ予測、マージ動きベクトル差分（ＭＭＶＤ）モード、対称ＭＶＤシグナリングを用いた適応動きベクトル予測（ＡＭＶＰ）モード、アフィン動き補償予測、サブブロックに基づく時間動きベクトル予測（ＳｂＴＭＶＰ）、適応動きベクトル解像度（ＡＭＶＲ）、動きフィールドストレージ（１／１６ルマサンプルＭＶストレージおよび８×８動きフィールド圧縮）、ＣＵレベルの重みを用いた双予測（ＢＣＷ）、双方向オプティカルフロー（ＢＤＯＦ）、オプティカルフローを使用した予測精緻化（ＰＲＯＦ）、デコーダ側動きベクトル精緻化（ＤＭＶＲ）、インターおよびイントラ組合せ予測（ＣＩＩＰ）、幾何学的分割モード（ＧＰＭ）などを含む、１つまたは複数の精緻化されたインター予測コーディングツールを含む。

【0102】

テンプレートマッチング技術を、ビデオ／画像コーディングに使用することができる。ＶＶＣ規格の圧縮効率を更に改善するために、例えば、テンプレートマッチング（ＴＭ）が使用されてＭＶを精緻化することができる。一例では、ＴＭはデコーダ側で使用される。ＴＭモードでは、ＭＶは、再構成される現在のピクチャ内のブロック（例えば、現在のブロック）のテンプレートを構成することによって洗練され、現在のピクチャ内のブロックのテンプレートと参照ピクチャ内の複数のテンプレートとの間の最も近いマッチングを決定することができる。一実施形態では、現在のピクチャ内のブロックのテンプレートは、ブロックの左部隣接再構成サンプルと、ブロックの上方隣接再構成サンプルとを含むことができる。テンプレートマッチング技術を、ＶＶＣを超えるビデオ／画像コーディングに使用することができる。

【0103】

図９は、テンプレートマッチング（９００）の一例を示している。図９に示すように、テンプレートマッチングを使用して、現在のピクチャ（９１０）内の現在のＣＵ（９０１）のテンプレート（９２１）と参照ピクチャ（９１１）内のテンプレート（９２５）との間の最も近いマッチングを決定することによって、現在のＣＵ（９０１）の動き情報を導出することができる。現在のＣＵ（９０１）のテンプレート（９２１）は、任意の適切な形状および任意の適切なサイズを有することができる。

【0104】

一実施形態では、現在のＣＵ（９０１）のテンプレート（９２１）は、上部テンプレート（９２２）と、左部テンプレート（９２３）とを含む。上部テンプレート（９２２）および左部テンプレート（９２３）の各々は、任意の適切な形状および任意の適切なサイズを有することができる。

【0105】

上部テンプレート（９２２）は、現在のＣＵ（９０１）の１つまたは複数の上部隣接ブロック内のサンプルを含むことができる。一例では、上部テンプレート（９２２）は、現在のＣＵ（９０１）の１つまたは複数の上部隣接ブロック内にサンプルの４つの行を含む。左部テンプレート（９２３）は、現在のＣＵ（９０１）の１つまたは複数の左部隣接ブロック内のサンプルを含むことができる。一例では、左部テンプレート（９２３）は、現在のＣＵ（９０１）の１つまたは複数の左部隣接ブロック内にサンプルの４つの列を含む。

【0106】

参照ピクチャ（９１１）内のテンプレート（９２５）は、現在のピクチャ（９１０）内のテンプレート（９２１）に対応する。一実施形態では、初期ＭＶ（９０２）は、現在のＣＵ（９０１）から参照ピクチャ（９１１）内の参照ブロック（９０３）を指し示す。参照ピクチャ（９１１）内のテンプレート（９２５）、および現在のピクチャ（９１０）内のテンプレート（９２１）は、同一の形状および同一のサイズを有することができる。例えば、テンプレート（９２５）は、参照ピクチャ（９１１）内の上部テンプレート（９２６）と、参照ピクチャ（９１１）内の左部テンプレート（９２７）とを含む。上部テンプレート（９２６）は、参照ブロック（９０３）の１つまたは複数の上部隣接ブロック内のサンプルを含むことができる。左部テンプレート（９２７）は、参照ブロック（９０３）の１つまたは複数の左部隣接ブロック内のサンプルを含むことができる。

【0107】

ＴＭコストは、テンプレート（９２１）およびテンプレート（９２５）に基づいて決定することができる。ＴＭコストは、テンプレート（９２１）とテンプレート（９２５）との間のマッチングを示すことができる。最適化されたＭＶは、探索範囲（９１５）内の現在のＣＵ（９０１）の初期ＭＶ（９０２）の周りの探索に基づいて決定することができる。参照ピクチャ（９１１）内の探索範囲（９１５）は、［－Ｌ，Ｌ］ピクセル範囲を含むことができ、Ｌは、８（例えば、８サンプル）などの正の整数である。例えば、探索範囲（９１５）に基づいて差分（例えば、［０，１］）が決定され、初期ＭＶ（９０２）と差分（例えば、［０，１］）との和によって、中間ＭＶが決定される。中間ＭＶに基づいて、参照ピクチャ（９１１）内の中間参照ブロックおよび対応するテンプレートを、決定することができる。参照ピクチャ（９１１）内のテンプレート（９２１）と中間テンプレートに基づいて、ＴＭコストを決定することができる。ＴＭコストは、探索範囲（９１５）に基づいて決定される差分（例えば、初期ＭＶ（９０２）に対応する［０，０］、［０，１］など）に対応することができる。一例では、最小ＴＭコストに対応する差分が選択され、最適化されたＭＶは、最小ＴＭコストに対応する差分と初期ＭＶ（９０２）との和である。

【0108】

ＴＭは、アフィンマージモードで適用することができ、アフィンＴＭと呼ぶことができる。図１０は、アフィンマージモードにおけるＴＭ（１０００）の例を示している。現在のブロック（例えば、現在のＣＵ）（１００１）のテンプレート（１０２１）は、平行移動の動きモデルに適用されるＴＭ内のテンプレート（例えば、図９のテンプレート（９２１））に対応することができる。参照ピクチャ内の参照ブロックの参照テンプレート（１０２５）は、ＣＵ境界において隣接サブブロック（例えば、図１０に示すようなＡ０～Ａ３およびＬ０～Ｌ３）の制御点ＭＶ（ＣＰＭＶ）導出ＭＶによって指し示される複数のサブブロック（例えば、４×４サブブロック）を含むことができる。

【0109】

アフィンマージモードで適用されるＴＭの探索プロセスは、他のＣＰＭＶ（例えば、（ｉ）４パラメータモデルが使用される場合はＣＰＭＶ１、または（ｉｉ）６パラメータモデルが使用される場合はＣＰＭＶ１およびＣＰＭＶ２）を一定に保ちつつ、ＣＰＭＶ０から開始することができる。探索は、水平方向および垂直方向に向けて実施され得る。一例では、ゼロベクトルが水平探索および垂直探索から見つかった最良の差分ベクトルでない場合にのみ、探索は、対角線方向に続く。アフィンＴＭは、ＣＰＭＶ１について同じ探索プロセスを繰り返すことができる。アフィンＴＭは、６パラメータモデルが使用される場合、ＣＰＭＶ２について同じ探索プロセスを繰り返すことができる。ゼロベクトルが前の反復からの最良の差分ベクトルではなく、探索プロセスが３回未満反復された場合、精緻化されたＣＰＭＶに基づいて、探索プロセス全体を精緻化されたＣＰＭＶ０から再開することができる。

【0110】

関連するテンプレートマッチング方法では、現在のブロックのテンプレート（例えば、テンプレート（９２１）または（１０２１））が、現在のブロックの再構成された隣接ピクセルから生成される。いくつかの例では、現在のブロックのテンプレートで使用されるすべての隣接ピクセルが再構成されるまで、現在のブロックのＴＭを実施することができないため、追加の依存関係が発生する。追加の依存関係は、例えば、インターパイプラインとイントラパイプラインとが分離されているハードウェアにとって望ましくない場合がある。いくつかの例では、現在のブロックのテンプレートは、（デコーダ側で）イントラコーディングされるか、または（エンコーダ側で）イントラコーディングされる隣接ブロック内のサンプルを含む。したがって、デコーダ側では、現在のブロックが再構成されているときに、イントラコーディングされた隣接ブロックが復号されていない場合、隣接ブロック内のサンプルは利用できない。したがって、イントラコーディングされた隣接ブロックが復号されるまで、現在のブロックの再構成を実施することができない。イントラコーディングされた隣接ブロックにおける現在のブロックのテンプレートの依存関係により、現在のブロックのコーディングが遅延する可能性がある。本開示は、上述した依存関係を除去することができ、したがってそのような遅延を低減することができる実施形態を含む。

【0111】

本開示は、制約付きテンプレートマッチングに関する実施形態を含む。本開示の一実施形態によれば、現在のピクチャ内のブロック（例えば、現在のブロック）のテンプレートの導出は、そのブロックのためのＴＭがイントラコーディングされた空間的に隣接するブロックに依存しないように制約される。

【0112】

現在のピクチャ内の現在のブロックのテンプレートは、現在のピクチャ内のイントラコーディングされたブロックからのサンプル（またはピクセル）を使用せずに生成することができる。したがって、デコーダ側では、デコーダは、現在のブロックをＴＭで再構成する前にイントラコーディングされたブロックが復号されるのを待つ必要がなく、復号速度を高めることができる。

【0113】

一実施形態では、現在のピクチャ内の現在のブロックの予測情報を、ビデオビットストリームから復号することができる。予測情報は、現在のブロックのためのＴＭモードを示すことができる。現在のブロックの初期テンプレート内のサンプルが、現在のブロックの空間隣接ブロックであるイントラコーディングされたブロックに含まれているか否かを決定することができる。現在のブロックの初期テンプレートは、現在のブロックの１つまたは複数の上部隣接ブロックのサンプル、および／または現在のブロックの１つまたは複数の左部隣接ブロックのサンプルを含むことができる。初期テンプレート内のサンプルがイントラコーディングされたブロックに含まれているという決定に応答して、現在のブロックのＭＶは、（ｉ）ＴＭモードを適用せずに現在のブロックの初期ＭＶに基づいて、または（ｉｉ）現在のブロックの初期ＭＶと、初期テンプレートに基づいて生成され、イントラコーディングされたブロックに含まれている初期テンプレート内のサンプルを省略する現在のテンプレートと、に基づいて決定することができる。現在のブロックは、決定されたＭＶに基づいて再構成することができる。

【0114】

図１１は、テンプレートマッチング（１１００）の一例を示している。図１１の現在のＣＵ（９０１）、テンプレート（９２１）、初期ＭＶ（９０２）、テンプレート（９２５）、現在のピクチャ（９１０）、および参照ピクチャ（９１１）は、図９に記載されている。テンプレート（９２１）は、現在のブロック（例えば、現在のＣＵ（９０１））の初期テンプレートである。一実施形態では、現在のブロック（例えば、（９０１））の初期テンプレート（例えば、テンプレート（９２１））内のサンプルは、イントラコーディングされたブロックに含まれると決定される。初期テンプレート内のサンプルがイントラコーディングされたブロックに含まれているという決定に基づいて、ＭＶは、ＴＭモードを適用せずに、現在のブロック（例えば、現在のＣＵ（９０１））の初期ＭＶ（例えば、初期ＭＶ（９０２））に基づいて決定することができる。一例では、ＭＶは、現在のブロック（例えば、現在のＣＵ（９０１））の初期ＭＶ（例えば、初期ＭＶ（９０２））である。

【0115】

図１１を参照すると、一例では、上部テンプレート（９２２）は、サブテンプレート（９２２（１）～９２２（３））を含み、左部テンプレート（９２３）は、サブテンプレート（９２３（１）～９２３（３））を含む。サブテンプレート（９２２（１））、（９２２（３））、（９２３（１））、（９２３（３））は、現在のピクチャ（９１０）のイントラコーディングされたブロックにサンプルを含まない。サブテンプレート（９２２（２））および（９２３（２））は、現在のピクチャ（９１０）内のイントラコーディングされたブロック内にサンプルを含む。一例では、ＭＶは、現在のブロック（例えば、現在のＣＵ（９０１））の初期ＭＶ（例えば、初期ＭＶ（９０２））であり、ＴＭは現在のＣＵ（９０１）に適用されない。

【0116】

一例では、現在のブロック（例えば、（９０１））のテンプレート（例えば、（９２１））を生成するために使用されるサンプル（またはピクセル）がチェックされる。現在のブロック（例えば、（９０１））のテンプレート（例えば、（９２１））内のピクセルのいずれかが、イントラコーディングされたブロックに属する場合、テンプレート（例えば、（９２１））が、上部テンプレート（例えば、（９２２））および左部テンプレート（例えば、（９２３））を含む場合、現在のブロック（例えば、（９０１））のテンプレート（例えば、（９２１））は、利用不可としてマークされる。

【0117】

一例では、上部テンプレート（例えば、（９２２））および左部テンプレート（例えば、（９２３））は、別々に生成される。ＴＭは、上部テンプレート（例えば、（９２２））および／または左部テンプレート（例えば、（９２３））が利用可能なときに使用され得る。一例では、上部テンプレート（例えば、（９２２））内のピクセルのいずれもイントラコーディングされたブロックに属していない場合、上部テンプレート（例えば、（９２２））は利用可能である。一例では、左部テンプレート（例えば、（９２３））内のピクセルのいずれも現在のピクチャ（９１０）内のイントラコーディングされたブロックに属していない場合、左部テンプレート（例えば、（９２３））は利用可能である。

【0118】

図１１を参照すると、一例では、現在のブロック（例えば、（９０１））の初期テンプレート（例えば、（９２１））は、１つまたは複数の上部隣接ブロックのサンプルを含む初期上部テンプレート（例えば、（９２２））と、１つまたは複数の左部隣接ブロックのサンプルを含む初期左部テンプレート（例えば、（９２３））とを含む。現在のブロックの初期テンプレート（例えば、（９２１））内のサンプルが、イントラコーディングされたブロックに含まれていると決定される。イントラコーディングされたブロックを含まない現在のブロック（例えば、（９０１））の１つまたは複数の左部隣接ブロックに応答して、現在のブロックのＭＶは、初期ＭＶ（例えば、（９０２））と、初期左部テンプレート（例えば、（９２３））を含む現在のテンプレート（例えば、（９２３））と、に基づくＴＭモードを使用して決定することができる。イントラコーディングされたブロックを含まない現在のブロック（例えば、（９０１））の１つまたは複数の上部隣接ブロックに応答して、現在のブロックのＭＶは、初期ＭＶ（例えば、（９０２））と、初期上部テンプレート（例えば、（９２２））を含む現在のテンプレート（例えば、（９２２））と、に基づくＴＭモードを使用して決定することができる。

【0119】

一実施形態では、現在のブロック（例えば、（９０１））の初期テンプレート（テンプレート（９２１））を生成するために使用されるサンプル（またはピクセル）がチェックされる。現在のブロックの現在のテンプレートから、イントラコーディングされたブロックに属するサンプルを除外することができる現在のテンプレートから、イントラコーディングされたブロックからサンプルを除外した後、現在のテンプレートと参照テンプレートとの間のマッチング誤差を計算するときに、参照テンプレート内の対応するサンプルを除外することができる。

【0120】

図１２Ａは、ＴＭ（１２００Ａ）の例を示しており、そこでは、図１２Ａの現在のＣＵ（９０１）、初期ＭＶ（９０２）、現在のピクチャ（９１０）、参照ピクチャ（９１１）、サブテンプレート（９２２（１））、（９２２（３））、（９２３（１））、および（９２３（３））が、図９および図１１に記載されている。図１１および図１２Ａを参照すると、現在のＣＵ（９０１）の初期テンプレートはテンプレート（９２１）である。現在のＣＵ（９０１）の初期テンプレート（９２１）内のサンプルは、イントラコーディングされたブロックに含まれていると決定される。現在のＣＵ（９０１）のＭＶは、初期ＭＶ（９０２）と、現在のＣＵ（９０１）の現在のテンプレート（１２２１）と、に基づくＴＭモードを使用して決定することができる。一例では、イントラコーディングされたブロックに含まれる初期テンプレート（９２１）内のサンプルは、サブテンプレート（９２２（２））および（９２３（２））内のサンプルを含む。現在のＣＵ（９０１）の現在のテンプレート（１２２１）は、サブテンプレート（９２２（１））、（９２２（３））、（９２３（１））、および（９２３（３））を含むことができる。現在のＣＵ（９０１）の現在のテンプレート（１２２１）は、サブテンプレート（９２２（２））および（９２３（２））内のサンプルを省略する。一例では、現在のテンプレート（１２２１）は、インターコーディングされたブロックおよび／またはイントラブロックコピー（ＩＢＣ）コーディングされたブロック内のサンプルを含む。

【0121】

再び図１１を参照すると、参照ピクチャ（９１１）において、上部テンプレート（９２６）は、サブテンプレート（９２２（１）～（９２２（３））に対応する（９２６（１）～（９２６（３））サブテンプレートを含むことができ、左部テンプレート（９２７）は、サブテンプレート（９２３（１）～（９２３（３））に対応するサブテンプレート（９２７（１）～（９２７（３））を含むことができる。図１２Ａを参照すると、参照テンプレート（１２２５）は、現在のテンプレート（１２２１）に対応することができ、参照テンプレート（１２２５）は、サブテンプレート（９２６（１））、（９２６（３））、（９２７（１））、および（９２７（３））を含む。参照テンプレート（１２２５）は、サブテンプレート（９２６（２））、（９２７（２））を省略する。

【0122】

一例では、現在のテンプレート（１２２１）は、上部テンプレート（１２２２）と、左部テンプレート（１２２３）とを含む。上部テンプレート（１２２２）は、サブテンプレート（９２２（１））および（９２２（３））を含む。左部テンプレート（１２２３）は、サブテンプレート（９２３（１））および（９２３（３））を含む。参照テンプレート（１２２５）は、上部テンプレート（１２２６）と、左部テンプレート（１２２７）とを含む。上部テンプレート（１２２６）は、サブテンプレート（９２６（１））および（９２６（３））を含む。左部テンプレート（１２２７）は、サブテンプレート（９２７（１））および（９２７（３））を含む。

【0123】

現在のＣＵ（９０１）の現在のテンプレートは、イントラコーディングされたブロックに含まれない現在のＣＵ（９０１）の初期テンプレート内の任意のサンプルを含むことができる。現在のＣＵ（９０１）の現在のテンプレートは、イントラコーディングされたブロックに含まれる現在のＣＵ（９０１）の初期テンプレート内の任意のサンプルを省略することができる。図１２Ｂは、ＴＭ（１２００Ｂ）の一例を示しており、そこでは、図１２Ｂの現在のＣＵ（９０１）、初期ＭＶ（９０２）、現在のピクチャ（９１０）、参照ピクチャ（９１１）、上部テンプレート（９２２）および（９２６）、ならびにサブテンプレート（９２３（２））～（９２２（３））および（９２７（２））～（９２３（３））が、図９および図１１に記載されている。

【0124】

図１１および図１２Ｂを参照すると、現在のＣＵ（９０１）の初期テンプレートはテンプレート（９２１）である。イントラコーディングされたブロックに含まれる初期テンプレート（９２１）内のサンプルは、サブテンプレート（９２３（１））内のサンプルを含む。現在のＣＵ（９０１）の現在のテンプレート（１３２１）は、上部テンプレート（９２２）、およびサブテンプレート（９２３（２））～（９２３（３））を含むことができる。現在のＣＵ（９０１）の現在のテンプレート（１３２１）は、サブテンプレート（９２３（１））内のサンプルを省略する。参照テンプレート（１３２５）は、現在のテンプレート（１３２１）に対応することができ、参照テンプレート（１３２５）は、上部テンプレート（９２６）、およびサブテンプレート（９２７（２））～（９２７（３））を含む。参照テンプレート（１３２５）は、サブテンプレート（９２７（１））を省略する。

【0125】

一例では、現在のテンプレート（例えば、現在のテンプレート（１２２１）または（１３２１））内の省略されたピクセル（例えば、イントラコーディングされたピクセル）は、現在のテンプレート内の利用可能なピクセルに基づいて補間される。一例では、補間されたサンプルは、現在のテンプレート（例えば、現在のテンプレート（１２２１）または（１３２１））内の１つまたは複数のサンプルに基づいた補間によって生成することができる。補間されたサンプルは、イントラコーディングされたブロックに含まれる初期テンプレート（例えば、（９２１））内のサンプルに対応する（置換する）ことができる。現在のブロックの現在のテンプレートは、補間されたサンプルを更に含むことができ、補間されたサンプルは、現在のテンプレートから省略された初期テンプレート（例えば、（９２１））内のサンプルを置換することができる。

【0126】

参照テンプレート（例えば、参照テンプレート（１２２５）または（１３２５））内の省略されたピクセル（例えば、イントラコーディングされたピクセル）は、参照テンプレート内の利用可能なピクセルに基づいて補間され得る。

【0127】

一実施形態では、現在のブロック（例えば、（９０１））の現在のテンプレート（例えば、現在のテンプレート（９２１））に対応する参照テンプレート（例えば、参照テンプレート（１２２５）または（１３２５））内の参照サンプルは、参照ピクチャ（例えば、（９１１））内のサブピクセル位置に配置される。この場合、参照ピクチャ内の補間された参照テンプレートは、参照テンプレートにおいて４タップ未満を有するフィルタによる補間を使用して生成することができる。現在のブロックのＭＶは、初期ＭＶと、現在のブロックの現在のテンプレートと、補間された参照テンプレートと、に基づくＴＭモードを使用して決定することができる。

【0128】

一例では、参照ピクチャ内の参照テンプレートは、イントラコーディングされたブロックに含まれる現在のブロックの初期テンプレート内のサンプルに対応する参照ピクチャ内の参照サンプルを省略する。参照ピクチャ内の省略された参照サンプルのうちの１つに対応する（置換する）パディングされたサンプルは、参照ピクチャ内の最も近い参照サンプルをコピーすることによって生成することができる。参照ピクチャ内の補間された参照テンプレートは、パディングされたサンプルに基づく補間によって生成することができる。

【0129】

一例では、参照テンプレート（例えば、参照テンプレート（１２２５）または（１３２５））は、サブピクセル位置にある。この場合、補間された参照テンプレートが整数位置になるように、参照テンプレートに対して補間を実施することができる。複雑さを低減するために、４タップ未満を有するフィルタ（例えば、２タップバイリニア補間フィルタ）を用いて参照テンプレートに対して、補間を実施することができる。イントラコーディングされたブロックが除外されることによって参照テンプレートの一部が省略される場合、最も近いピクセルをコピーして補間を行うことによって、ピクセルパディングを実施することができる。一例では、必要な方向に２ピクセル以下がパディングされる。

【0130】

一実施形態では、参照ピクチャ内の参照テンプレートは、イントラコーディングされたブロックに含まれる現在のブロックの初期テンプレート内のサンプルに対応する参照ピクチャ内の参照サンプルを省略する。この場合、参照ピクチャ内の省略された参照サンプルに基づく補間によって、参照ピクチャ内の補間された参照テンプレートを生成することができる。

【0131】

一例では、参照テンプレートがサブピクセル位置にあるとき、ピクセルパディングは使用されない。この場合、参照ピクチャ（例えば、（９１１））内のすべてのピクセルが利用可能であるので、補間は、マッチングプロセスから除外されるべきピクセルに基づくことができる。

【0132】

様々な例において、現在のテンプレート内のピクセルが、整数ピクセル位置において、再構成された空間隣接であるとき、現在のテンプレートは補間される必要がない。

【0133】

一例では、参照ピクチャ内の参照テンプレート全体の補間がサブピクセル位置で実施される。マスクは、参照テンプレートに使用され、現在のテンプレート内のイントラコーディングされたブロックに属するピクセルに対応する参照テンプレート内のピクセルを除外することができる。マスクの形状およびサイズは、現在のテンプレートの形状およびサイズに基づくことができる。

【0134】

図１３は、参照ピクチャ内の参照テンプレートを取得する例示的なプロセス（１３００）を示す。一実施形態では、現在のブロック（例えば、（９０１））の初期テンプレート（例えば、（９２１））に対応する初期参照テンプレート（例えば、テンプレート（９２５））内の参照サンプルは、参照ピクチャ（例えば、（９１１））内のサブピクセル位置に配置される。図９では、テンプレート（９２５）、テンプレート（９２１）、現在のＣＵ（９０１）、および参照ピクチャ（９１１）について説明する。説明の都合上、テンプレート（９２１）および現在のＣＵ（９０１）は図１３には示されていない。参照ピクチャ内の中間参照テンプレート（１４２５）は、初期参照テンプレート（例えば、（９２５））における補間を使用して生成することができる。

【0135】

マスク（１４１５）は、領域（１４１５（１））～（１４１５（４））、および領域（１４１５（５））～（１４１５（６））を含む。一例では、領域（１４１５（１））～（１４１５（４））のピクセルの値は「１」であり、領域（１４１５（５））～（１４１５（６））のピクセルの値は「０」である。領域（１４１５（１））～（１４１５（４））は、非ゼロ領域と呼ぶことができ、領域（１４１５（５））～（１４１５（６））は、ゼロ領域と呼ぶことができる。一例では、マスク（１４１５）の非ゼロ領域（１４１５（１））～（１４１５（４））の形状は、現在のブロックの現在のテンプレート（例えば、（１２２１））の形状と同一である。一例では、マスク（１４１５）の非ゼロ領域（１４１５（１））～（１４１５（４））のサイズは、現在のブロックの現在のテンプレート（例えば、（１２２１））のサイズと同一である。

【0136】

中間参照テンプレート（１４２５）およびマスク（１４１５）に基づいて、現在のブロックの現在のテンプレート（例えば、図１２Ａの現在のテンプレート（１２２１））に対応する参照テンプレート（１４３５）を生成することができる。例えば、中間参照テンプレート（１４２５）は、サブテンプレート（１４２５（１））～（１４２５（６））を含む。マスク（１４１５）内の非ゼロ領域（１４１５（１））～（１４１５（４））は、サブテンプレート（１４２５（１））、（１４２５（３））、（１４２５（４））、および（１４２５（６））に対応する。参照テンプレート（１４３５）は、マスク（１４１５）を中間参照テンプレート（１４２５）に適用することによって生成される。一例では、参照テンプレート（１４３５）は、サブテンプレート（１４３５（ａ））～（１４３５（ｂ））を含む。サブテンプレート（１４３５（ａ）～（１４３５（ｂ））は、サブテンプレート（１４２５（１））、（１４２５（３））、（１４２５（４））、および（１４２５（６））に対応することができる。一例では、サブテンプレート（１４３５（ａ）～（１４３５（ｂ））は、それぞれサブテンプレート（１４２５（１））、（１４２５（３））、（１４２５（４））、および（１４２５（６））である。

【0137】

マスク（１４１５）は、テンプレート（９２５）と重複しない追加の非ゼロ領域を含むことができ、追加の非ゼロ領域内のピクセルは、「１」の値を有する。マスク（１４１５）は、テンプレート（９２５）と重複しない追加のゼロ領域を含むことができ、追加のゼロ領域内のピクセルは、「０」の値を有する。追加の非ゼロ領域および追加のゼロ領域は、参照テンプレート（１４３５）に影響を及ぼさない。

【0138】

一実施形態では、イントラコーディングされたブロックが現在のピクチャの上部テンプレートエリアまたは左部テンプレートエリアにあるとき、イントラコーディングされたブロックは、現在のテンプレートから除外されてもよい。現在のテンプレートは、現在のピクチャの別の部分に拡張し得る。現在のテンプレートのサイズは、大きくされてもよい。

【0139】

一実施形態では、イントラコーディングされたブロックに含まれる初期テンプレート（例えば、テンプレート（９２１））内のサンプルは、（ｉ）１つまたは複数の左部隣接ブロックのサンプルの１つまたは複数の左部サンプル、または（ｉｉ）１つまたは複数の上部隣接ブロックのサンプルの１つまたは複数の上部サンプルを含む。初期テンプレート（例えば、テンプレート（９２１））内のサンプルが、１つまたは複数の左部サンプルを含む場合、現在のテンプレートは、現在のテンプレートに含まれる１つまたは複数の左部隣接ブロックのサンプルに隣接する１つまたは複数の拡張左部サンプルを更に含む。一例では、１つまたは複数の拡張左部サンプルは、現在のピクチャ内のイントラコーディングされたブロックに含まれない。初期テンプレート内のサンプルが、１つまたは複数の上部サンプルを含む場合、現在のテンプレートは、現在のテンプレートに含まれる１つまたは複数の上部隣接ブロックのサンプルに隣接する１つまたは複数の拡張上部サンプルを更に含むことができる。１つまたは複数の拡張上部サンプルは、現在のピクチャ内のイントラコーディングされたブロックに含まれない。

【0140】

図１４は、ＴＭ（１４００）において現在のテンプレートを拡張する例を示している。図１４の現在のＣＵ（９０１）、初期ＭＶ（９０２）、現在のピクチャ（９１０）、参照ピクチャ（９１１）、上部テンプレート（９２２）およびサブテンプレート（９２３（１））、（９２３（３））、上部テンプレート（９２６）およびサブテンプレート（９２７（１））、（９２７（３））が、図９および図１１に記載されている。

【0141】

図１１および図１４を参照すると、初期テンプレート（９２１）のサブテンプレート（９２３（２））内のサンプルは、イントラコーディングされたブロック内にある。上部テンプレート（９２２）内のサンプル、および初期テンプレート（９２１）内のサブテンプレート（９２３（１））、（９２３（３））のサンプルは、イントラコーディングされたブロック内にない。現在のＣＵ（９０１）の現在のテンプレート（１４２１）は、上部テンプレート（９２２）と、サブテンプレート（９２３（１））および（９２３（３））とを含むことができる。現在のテンプレート（１４２１）は、現在のテンプレート（１４２１）内にあるサブテンプレート（９２３（１））および（９２３（３））のそれぞれの拡張であるサブテンプレート（９２３_ｅ（１））および（９２３_ｅ（３））を更に含むことができる。サブテンプレート（９２３_ｅ（１））は、サブテンプレート（９２３（１））に隣接する左部隣接である。サブテンプレート（９２３_ｅ（１））は、サブテンプレート（９２３（１））のサンプルに隣接する１つまたは複数の拡張左部サンプルを含むことができる。サブテンプレート（９２３_ｅ（３））は、サブテンプレート（９２３（３））に隣接する左部隣接である。サブテンプレート（９２３_ｅ（３））は、サブテンプレート（９２３（３））のサンプルに隣接する１つまたは複数の拡張左部サンプルを含むことができる。一例では、サブテンプレート（９２３_ｅ（１））および（９２３_ｅ（３））内のサンプルは、イントラコーディングされたブロックに含まれない。

【0142】

一例では、現在のテンプレート（例えば、（１４２１））のサンプル数は、初期テンプレート（例えば、（９２１））のサンプル数の１５０％である。

【0143】

一例では、現在のテンプレート（例えば、（１４２１））のサンプル数は、初期テンプレート（例えば、（９２１））のサンプル数の２００％である。

【0144】

図１４を用いた説明は、現在のテンプレートから上部テンプレート（９２２）内のサブテンプレートを省略したときに、適切に適合させることができる。

【0145】

図１５は、本開示の一実施形態による、符号化プロセス（１５００）を概説するフローチャートを示す。様々な実施形態では、プロセス（１５００）は、端末デバイス（３１０）、（３２０）、（３３０）、および（３４０）内の処理回路、ビデオエンコーダ（例えば、（４０３）、（６０３）、（７０３））の機能を実施する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（１５００）がソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス（１５００）を実施する。プロセスは（Ｓ１５０１）から開始されて（Ｓ１５１０）に進む。

【0146】

（Ｓ１５１０）において、現在のピクチャ内の現在のブロックの初期テンプレート内のサンプルがイントラ符号化されるべきブロックに含まれているか否かを決定する。一例では、イントラ符号化されるブロックは、現在のブロックの空間隣接ブロックである。現在のブロックの初期テンプレートは、現在のブロックの１つまたは複数の上部隣接ブロックのサンプル、および／または現在のブロックの１つまたは複数の左部隣接ブロックのサンプルを含むことができる。一例では、イントラ符号化されるブロックはイントラ符号化されている。一例では、イントラ符号化されるブロックはイントラ符号化されていない。

【0147】

（Ｓ１５２０）において、初期テンプレート内のサンプルがイントラ符号化されるべきブロックに含まれるという決定に応答して、現在のブロックの動きベクトル（ＭＶ）は、（ｉ）テンプレートマッチング（ＴＭ）モードを適用せずに現在のブロックの初期ＭＶに基づいて、または（ｉｉ）現在のブロックの初期ＭＶと、初期テンプレートに基づいて生成され、イントラ符号化されるべきブロックに含まれるサンプルを省略する現在のテンプレートと、に基づいて、決定することができる。

【0148】

一実施形態では、現在のブロックの初期テンプレート内のサンプルは、イントラコーディングされたブロックに含まれると決定される。この場合、ＭＶは、ＴＭモードを適用せずに、現在のブロックの初期ＭＶに基づいて決定することができる。

【0149】

一実施形態では、現在のブロックの初期テンプレートは、１つまたは複数の上部隣接ブロックのサンプルを含む初期上部テンプレートと、１つまたは複数の左部隣接ブロックのサンプルを含む初期左部テンプレートとを含む。現在のブロックの初期テンプレートのサンプルは、イントラコーディングされたブロックに含まれていると決定される。現在のブロックの１つまたは複数の左部隣接ブロックが、イントラコーディングされたブロックを含まない場合、現在のブロックのＭＶは、初期ＭＶと、初期左部テンプレートを含む現在のテンプレートと、に基づくＴＭモードを使用して決定することができる。現在のブロックの１つまたは複数の上部隣接ブロックが、イントラコーディングされたブロックを含まない場合、現在のブロックのＭＶは、初期ＭＶと、初期上部テンプレートを含む現在のテンプレートと、に基づくＴＭモードを使用して決定することができる。

【0150】

一実施形態では、現在のブロックの初期テンプレート（例えば、（９２１））内のサンプルは、イントラコーディングされたブロックに含まれると決定される。この場合、現在のブロックのＭＶは、図１２Ａ～図１２Ｂに記載されているように、初期ＭＶと、現在のブロックの現在のテンプレート（例えば、（１２２１）または（１３２１））と、に基づくＴＭモードを使用して決定することができる。

【0151】

図１４に記載されるような一例では、イントラコーディングされたブロックに含まれる初期テンプレート内のサンプルは、（ｉ）１つまたは複数の左部隣接ブロックの１つまたは複数の左部サンプル、および／または、（ｉｉ）１つまたは複数の上部隣接ブロックの１つまたは複数の上部サンプルを含む。初期テンプレート内のサンプルが、１つまたは複数の左部サンプルを含む場合、現在のテンプレートは、現在のテンプレートに含まれる１つまたは複数の左部隣接ブロックのサンプルに隣接する１つまたは複数の拡張左部サンプルを更に含むことができる。１つまたは複数の拡張左部サンプルは、現在のピクチャにおけるイントラコーディングされたブロックに含まれない。初期テンプレート内のサンプルが、１つまたは複数の上部サンプルを含む場合、現在のテンプレートは、現在のテンプレートに含まれる１つまたは複数の上部隣接ブロックのサンプルに隣接する１つまたは複数の拡張上部サンプルを更に含む。１つまたは複数の拡張上部サンプルは、現在のピクチャ内のイントラコーディングされたブロックに含まれない。現在のテンプレートのサンプル数は、初期テンプレートのサンプル数よりも多くすることができる。現在のテンプレートのサンプル数は、初期テンプレートのサンプル数の１５０％または２００％とすることができる。

【0152】

一例では、補間されたサンプルは、現在のテンプレート内の１つまたは複数のサンプルに基づいて補間によって生成される。補間されたサンプルは、イントラコーディングされたブロックに含まれる初期テンプレート内のサンプルに対応する（置換する）ことができる。現在のブロックの現在のテンプレートは、補間されたサンプルを更に含むことができる。

【0153】

一例では、現在のブロックの現在のテンプレートに対応する参照テンプレート内の参照サンプルは、参照ピクチャ内のサブピクセル位置に配置される。参照ピクチャ内の補間された参照テンプレートは、参照テンプレートにおいて４タップ未満を有するフィルタによる補間を使用して生成することができる。現在のブロックのＭＶは、初期ＭＶと、現在のブロックの現在のテンプレートと、補間された参照テンプレートと、に基づくＴＭモードを使用して決定することができる。

【0154】

【0155】

一例では、参照ピクチャ内の参照テンプレートは、イントラコーディングされたブロックに含まれる現在のブロックの初期テンプレート内のサンプルに対応する参照サンプルを省略する。参照ピクチャ内の補間された参照テンプレートは、参照ピクチャ内の省略された参照サンプルに基づいて補間によって生成することができる。

【0156】

一例では、現在のブロックの初期テンプレートに対応する初期参照テンプレート内の参照サンプルは、参照ピクチャ内のサブピクセル位置に配置される。この場合、参照ピクチャ内の中間参照テンプレートは、初期参照テンプレートにおける補間を使用して生成することができる。現在のブロックの現在のテンプレートに対応する参照テンプレートは、中間参照テンプレートおよびマスクに基づいて生成することができる。マスクの形状は、現在のブロックの現在のテンプレートに基づいて決定することができる。

【0157】

（Ｓ１５３０）において、決定されたＭＶに基づいて現在のブロックを符号化することができる。

【0158】

（Ｓ１５４０）において、現在のブロックの予測情報を符号化することができる。一例では、予測情報は、現在のブロックのためのＴＭモードを示す。一例では、予測情報は、ＴＭモードで使用される初期ＭＶ（例えば、初期ＭＶ（９０２））を示す情報を含む。

【0159】

プロセス（１５００）は、（Ｓ１５９９）に進み、終了する。

【0160】

プロセス（１５００）は、様々なシナリオに適切に適合させることができ、それに応じてプロセス（１５００）内のステップを調整することができる。プロセス（１５００）内のステップのうちの１つまたは複数を、適合、省略、反復、および／または組み合わせることができる。プロセス（１５００）を実施するために、任意の適切な順序を使用することができる。追加のステップを追加することができる。

【0161】

図１６は、本開示の一実施形態による、復号プロセス（１６００）を概説するフローチャートを示している。様々な実施形態において、プロセス（１６００）は、端末デバイス（３１０）、（３２０）、（３３０）、および（３４０）内の処理回路、ビデオエンコーダ（４０３）の機能を実施する処理回路、ビデオデコーダ（４１０）の機能を実施する処理回路、ビデオデコーダ（５１０）の機能を実施する処理回路、ビデオエンコーダ（６０３）の機能を実施する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（１６００）は、ソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス（１６００）を実施する。プロセスは、（Ｓ１６０１）から始まり、（Ｓ１６１０）に進む。

【0162】

（Ｓ１６１０）において、現在のピクチャ内の現在のブロックの予測情報は、ビデオビットストリームから復号することができる。予測情報は、現在のブロックのためのテンプレートマッチング（ＴＭ）モードを示すことができる。

【0163】

（Ｓ１６２０）において、現在のブロックの初期テンプレート（または第１のテンプレート）内のサンプルが、イントラコーディングされたブロックに含まれているか否かを決定する。一例では、イントラコーディングされたブロックは、現在のブロックの空間隣接ブロックである。現在のブロックの初期テンプレート（例えば、テンプレート（９２１））は、現在のブロックの１つまたは複数の上部隣接ブロックのサンプル、および／または現在のブロックの１つまたは複数の左部隣接ブロックのサンプルを含むことができる。

【0164】

（Ｓ１６３０）において、一例では、初期テンプレート内のサンプルが、イントラコーディングされたブロックに含まれると決定された場合、現在のブロックの動きベクトル（ＭＶ）は、ＴＭモードを適用せずに、現在のブロックの初期ＭＶに基づいて決定することができる。例えば、図１１を参照すると、サブテンプレート（９２２（２））内のサンプルが、イントラコーディングされたブロックに含まれる場合、現在のブロック（例えば、現在のＣＵ（９０１））のＭＶは、ＴＭモードを適用せずに、現在のブロックの初期ＭＶ（９０２）に基づいて決定することができる。

【0165】

あるいは、（Ｓ１６３０）において、初期テンプレート内のサンプルが、イントラコーディングされたブロックに含まれると決定された場合、現在のブロックのＭＶは、図１１、図１２Ａ、および図１２Ｂに記載されたように、現在のブロックの初期ＭＶと、現在のテンプレート（または第２のテンプレート）と、に基づいて決定することができる。現在のテンプレートは、初期テンプレートに基づいて生成し、イントラコーディングされたブロックに含まれる初期テンプレート内のサンプルを省略することができる。

【0166】

一実施形態では、現在のブロックの初期テンプレートは、１つまたは複数の上部隣接ブロックのサンプルを含む初期上部テンプレートと、１つまたは複数の左部隣接ブロックのサンプルを含む初期左部テンプレートとを含む。現在のブロックの初期テンプレート内のサンプルは、イントラコーディングされたブロックに含まれると決定される。この場合、初期左部テンプレートの左部隣接ブロックが、イントラコーディングされたブロックを含まない場合、現在のブロックのＭＶは、初期ＭＶと、初期左部テンプレートである現在のテンプレートと、に基づくＴＭモードを使用して決定することができる。現在のブロックの１つまたは複数の上部隣接ブロックが、イントラコーディングされたブロックを含まない場合、現在のブロックのＭＶは、初期ＭＶと、初期上部テンプレートを含む現在のテンプレートと、に基づくＴＭモードを使用して決定することができる。

【0167】

【0168】

【0169】

一例では、補間されたサンプルは、現在のテンプレート内の１つまたは複数のサンプルに基づいて補間によって生成される。補間されたサンプルは、イントラコーディングされたブロックに含まれる初期テンプレート内のサンプルに対応（置換）することができる。現在のブロックの現在のテンプレートは、補間されたサンプルを更に含むことができる。

【0170】

一例では、現在のブロックの現在のテンプレートに対応する参照テンプレート内の参照サンプルは、参照ピクチャ内のサブピクセル位置に配置される。この場合、参照テンプレートにおいて４タップ未満を有するフィルタによる補間を使用して、参照ピクチャ内の補間された参照テンプレートを生成することができる。現在のブロックのＭＶは、初期ＭＶと、現在のブロックの現在のテンプレートと、補間された参照テンプレートと、に基づくＴＭモードを使用して決定することができる。

【0171】

一例では、参照ピクチャ内の参照テンプレートは、イントラコーディングされたブロックに含まれる現在のブロックの初期テンプレート内のサンプルに対応する参照サンプルを省略する。参照ピクチャ内の省略された参照サンプルのうちの１つに対応する（置換する）パディングされたサンプルは、参照ピクチャ内の最も近い参照サンプルをコピーすることによって生成することができる。参照ピクチャ内の補間された参照テンプレートは、パディングされたサンプルに基づく補間によって生成することができる。

【0172】

一例では、参照ピクチャ内の参照テンプレートは、イントラコーディングされたブロックに含まれる現在のブロックの初期テンプレート内のサンプルに対応する参照サンプルを省略する。この場合、参照ピクチャ内の省略された参照サンプルに基づく補間によって、参照ピクチャ内の補間された参照テンプレートを生成することができる。

【0173】

一例では、現在のブロックの初期テンプレートに対応する初期参照テンプレート内の参照サンプルは、参照ピクチャ内のサブピクセル位置に配置される。参照ピクチャ内の中間参照テンプレートは、初期参照テンプレートにおける補間を使用して生成することができる。現在のブロックの現在のテンプレートに対応する参照テンプレートは、中間参照テンプレートおよびマスクに基づいて生成することができる。マスクの形状は、現在のブロックの現在のテンプレートに基づいて決定することができる。

【0174】

（Ｓ１６４０）において、決定されたＭＶに基づいて、現在のブロックを再構成することができる。

【0175】

プロセス（１６００）は、（Ｓ１６９９）に進み、終了する。

【0176】

プロセス（１６００）は、様々なシナリオに適切に適合させることができ、それに応じてプロセス（１６００）内のステップを調整することができる。プロセス（１６００）内のステップのうちの１つまたは複数を、適合、省略、繰り返し、および／または組み合わせることができる。プロセス（１６００）を実施するために、任意の適切な順序を使用することができる。追加のステップを追加することができる。

【0177】

一実施形態では、現在のブロックの初期テンプレート（または第１のテンプレート）内の少なくとも１つのサンプルが、現在のブロックの空間隣接ブロックであるイントラコーディングされたブロックに含まれるか否かが決定される。現在のブロックの第１のテンプレートは、（１）現在のブロックの１つまたは複数の上部隣接ブロック、および（２）現在のブロックの１つまたは複数の左部隣接ブロック、のうちの１つまたは複数のサンプルを含むことができる。一例では、１つまたは複数の上部隣接ブロックは、上部隣接ブロックである。一例では、１つまたは複数の左部隣接ブロックは、左部隣接ブロックである。第１のテンプレート内の少なくとも１つのサンプルがイントラコーディングされたブロックに含まれるという決定に応答して、少なくとも１つのサンプルを第１のテンプレートから除外して、現在のブロックのための現在のテンプレート（または第２のテンプレート）を生成することができる。現在のブロックのＭＶは、現在のブロックのための第２のテンプレートに基づいて決定することができる。

【0178】

【0179】

本開示の実施形態は、別々に使用されてもよく、任意の順序で組み合わされてもよい。更に、方法（または実施形態）の各々、エンコーダ、およびデコーダは、処理回路（例えば、１つもしくは複数のプロセッサ、または１つもしくは複数の集積回路）によって実施されてもよい。一例では、１つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。

【0180】

上述された技法は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実施され、１つまたは複数のコンピュータ可読媒体に物理的に記憶することができる。例えば、図１７は、本開示の主題の特定の実施形態を実施するために適したコンピュータシステム（１７００）を示している。

【0181】

コンピュータソフトウェアは、１つまたは複数のコンピュータ中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）などによって直接的に、または解釈およびマイクロコードの実行などを通して実行され得る命令を含むコードを作成するために、アセンブリ、コンパイル、リンキング、または同様のメカニズムを受け得る任意の適切な機械コードまたはコンピュータ言語を使用してコーディングされ得る。

【0182】

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、およびモノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはその構成要素上で実行することができる。

【0183】

コンピュータシステム（１７００）に関して図１７に示されている構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図されていない。構成要素の構成は、コンピュータシステム（１７００）の例示的実施形態に示されている構成要素のいずれかまたは組合せに関する依存関係または要件を有すると解釈されるべきではない。

【0184】

コンピュータシステム（１７００）は、特定のヒューマンインターフェース入力デバイスを含んでもよい。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動き）、オーディオ入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介した、１人または複数の人間ユーザによる入力に応答し得る。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、写真画像は静止画像カメラから取得するなど）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）などの、必ずしも人間による意識的な入力に直接関連しない特定の媒体をキャプチャするためにも使用することができる。

【0185】

入力ヒューマンインターフェースデバイスは、キーボード（１７０１）、マウス（１７０２）、トラックパッド（１７０３）、タッチスクリーン（１７１０）、データグローブ（図示せず）、ジョイスティック（１７０５）、マイクロフォン（１７０６）、スキャナ（１７０７）、カメラ（１７０８）のうち１つまたは複数（各々の１つのみ図示）を含んでもよい。

【0186】

コンピュータシステム（１７００）はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味によって１人または複数の人間ユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１７１０）、データグローブ（図示せず）、またはジョイスティック（１７０５）による触覚フィードバックが含まれることがあるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）と、オーディオ出力デバイス（スピーカ（１７０９）、ヘッドホン（図示せず）など）と、視覚出力デバイス（それぞれがタッチスクリーン入力機能の有無にかかわらず、それぞれが触覚フィードバック機能の有無にかかわらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１７１０）などであり、それらの一部は、ステレオグラフィック出力、仮想現実メガネ（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず）などの手段を介して二次元視覚出力または三次元以上の出力が可能であり得る）と、プリンタ（図示せず）とを含んでもよい。

【0187】

コンピュータシステム（１７００）は、ＣＤ／ＤＶＤなどの媒体（１７２１）を伴うＣＤ／ＤＶＤＲＯＭ／ＲＷ（１７２０）を含む光媒体、サムドライブ（１７２２）、リムーバブルハードドライブまたはソリッドステートドライブ（１７２３）、テープおよびフロッピーディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスなど、人間がアクセス可能な記憶デバイスおよびその関連媒体を含むこともできる。

【0188】

また、当業者は、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が伝送媒体、搬送波、または他の一時的信号を包含しないことを理解すべきである。

【0189】

コンピュータシステム（１７００）はまた、１つまたは複数の通信ネットワーク（１７５５）へのインターフェース（１７５４）を含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両および産業用、リアルタイム、遅延耐性、などとすることができる。ネットワークの例には、Ｅｔｈｅｒｎｅｔなどのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラネットワーク、ケーブルテレビ、衛星テレビおよび地上波テレビを含むテレビの有線または無線ワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車両用および産業用などが含まれる。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（１７４９）（例えば、コンピュータシステム（１７００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプタを必要とし、他のものは一般に、以下に記載されるようにシステムバスへの接続によってコンピュータシステム（１７００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（１７００）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向送信のみ（例えば、ＣＡＮｂｕｓから特定のＣＡＮｂｕｓデバイスへ）、または双方向、例えば、ローカルまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステムとの通信であり得る。特定のプロトコルおよびプロトコルスタックは、上記で説明されたように、それらのネットワークおよびネットワークインターフェースの各々で使用され得る。

【0190】

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースを、コンピュータシステム（１７００）のコア（１７４０）に取り付けることができる。

【0191】

コア（１７４０）は、１つまたは複数の中央処理装置（ＣＰＵ）（１７４１）、グラフィックス処理装置（ＧＰＵ）（１７４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１７４３）の形態の専用プログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（１７４４）、グラフィックスアダプタ（１７５０）などを含むことができる。これらのデバイスは、読み取り専用メモリ（ＲＯＭ）（１７４５）、ランダムアクセスメモリ（１７４６）、ユーザがアクセスすることができない内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（１７４７）と共に、システムバス（１７４８）を介して接続され得る。いくつかのコンピュータシステムでは、システムバス（１７４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つまたは複数の物理プラグの形態でアクセスすることができる。周辺デバイスを、コアのシステムバス（１７４８）に直接取り付けることも、周辺バス（１７４９）を介して取り付けることもできる。一例では、スクリーン（１７１０）をグラフィックスアダプタ（１７５０）に接続することができる。周辺バス用のアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。

【0192】

ＣＰＵ（１７４１）、ＧＰＵ（１７４２）、ＦＰＧＡ（１７４３）、およびアクセラレータ（１７４４）は、組み合わせて上記のコンピュータコードを形成し得る特定の命令を実行することができる。そのコンピュータコードを、ＲＯＭ（１７４５）またはＲＡＭ（１７４６）に記憶することができる。移行データもＲＡＭ（１７４６）に記憶することができるが、永続データは、例えば、内部大容量記憶装置（１７４７）に記憶することができる。１つまたは複数のＣＰＵ（１７４１）、ＧＰＵ（１７４２）、大容量記憶装置（１７４７）、ＲＯＭ（１７４５）、ＲＡＭ（１７４６）などと密接に関連付けることができるキャッシュメモリの使用によって、メモリデバイスのいずれかへの高速記憶および読み出しを可能にする。

【0193】

コンピュータ可読媒体は、様々なコンピュータ実施動作を実施するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであってもよく、またはこれらは、コンピュータソフトウェア技術の当業者に周知の利用可能な種類のものであってもよい。

【0194】

限定ではなく、例として、アーキテクチャ（１７００）、特にコア（１７４０）を有するコンピュータシステムは、１つまたは複数の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介したようにユーザがアクセス可能な大容量記憶装置のほか、コア内部大容量記憶装置（１７４７）またはＲＯＭ（１７４５）などの非一時的性質のコア（１７４０）の特定の記憶装置にも関連する媒体であり得る。本開示の様々な実施形態を実施するソフトウェアをこのようなデバイスに記憶して、コア（１７４０）によって実行することができる。コンピュータ可読媒体は、特定の必要性に応じて、１つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアによって、コア（１７４０）、特にコア（１７４０）内のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）は、ＲＡＭ（１７４６）に記憶されるデータ構造を定義することと、ソフトウェアによって定義された処理に従ってこのようなデータ構造を修正することとを含む、本明細書に記載の特定の処理、または特定の処理の特定の部分を実行することができる。加えて、または代替として、コンピュータシステムは、本明細書に記載の特定の処理、または特定の処理の特定の部分を実行するために、ソフトウェアの代わりに、またはソフトウェアと共に動作し得る回路（例えば、アクセラレータ（１７４４））に配線された、またはそうでなければ具体化されたロジックの結果として機能を提供することができる。ソフトウェアへの言及は、適切な場合には、ロジックを包含することができ、逆もまた同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。
付記Ａ：頭字語
ＪＥＭ：共同探索モデル
ＶＶＣ：多用途ビデオコーディング
ＢＭＳ：ベンチマークセット
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオコーディング
ＳＥＩ：補足拡張情報
ＶＵＩ：ビデオユーザビリティ情報
ＧＯＰ：ピクチャグループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：コーディングツリーユニット
ＣＴＢ：コーディングツリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮想参照デコーダ
ＳＮＲ：信号対雑音比
ＣＰＵ：中央処理装置
ＧＰＵ：グラフィックス処理装置
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：読み出し専用メモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブル論理デバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：グローバル移動体通信システム
ＬＴＥ：ロングタームエボリューション
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアルバス
ＰＣＩ：周辺構成要素相互接続
ＦＰＧＡ：フィールドプログラマブルゲートエリア
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：コーディングユニット
Ｒ－Ｄ：レート歪み

【0195】

本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある修正例、置換例、および様々な代替均等例がある。したがって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現化し、したがって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。

【符号の説明】

【0196】

１０１サンプル
１０２矢印
１０３矢印
１０４正方形ブロック
２０１現在のブロック
２０２周囲のサンプル
２０３周囲のサンプル
２０４周囲のサンプル
２０５周囲のサンプル
２０６周囲のサンプル
３００通信システム
３１０端末デバイス
３２０端末デバイス
３３０端末デバイス
３４０端末デバイス
３５０ネットワーク
４００通信システム
４０１ビデオソース
４０２ビデオピクチャのストリーム
４０３ビデオエンコーダ
４０４符号化されたビデオデータ
４０５ストリーミングサーバ
４０６クライアントサブシステム
４０７コピー
４０８クライアントサブシステム
４０９コピー
４１０ビデオデコーダ
４１１ビデオピクチャの出力ストリーム
４１２ディスプレイ
４１３キャプチャサブシステム
４２０電子デバイス
４３０電子デバイス
５０１チャネル
５１０ビデオデコーダ
５１２レンダリングデバイス
５１５バッファメモリ
５２０パーサ
５２１シンボル
５３０電子デバイス
５３１受信機
５５１スケーラ／逆変換ユニット
５５２イントラピクチャ予測ユニット
５５３動き補償予測ユニット
５５５アグリゲータ
５５６ループフィルタユニット
５５７参照ピクチャメモリ
５５８現在のピクチャバッファ
６０１ビデオソース
６０３ビデオエンコーダ
６２０電子デバイス
６３０ソースコーダ
６３２コーディングエンジン
６３３ローカルビデオデコーダ
６３４参照ピクチャメモリ
６３５予測子
６４０送信機
６４３コーディングされたビデオシーケンス
６４５エントロピーコーダ
６５０コントローラ
６６０通信チャネル
７０３ビデオエンコーダ
７２１汎用コントローラ
７２２イントラエンコーダ
７２３残差計算器
７２４残差エンコーダ
７２５エントロピーエンコーダ
７２６スイッチ
７２８残差デコーダ
７３０インターエンコーダ
８１０ビデオデコーダ
８７１エントロピーデコーダ
８７２イントラデコーダ
８７３残差デコーダ
８７４再構成モジュール
８８０インターデコーダ
９００テンプレートマッチング
９０１現在のコーディングユニット（ＣＵ）
９０２初期動きベクトル（ＭＶ）
９０３参照ブロック
９１０現在のピクチャ
９１１参照ピクチャ
９１５探索範囲
９２１テンプレート
９２２上部テンプレート
９２２（１）サブテンプレート
９２２（２）サブテンプレート
９２２（３）サブテンプレート
９２３（１）サブテンプレート
９２３（２）サブテンプレート
９２３（３）サブテンプレート
９２３左部テンプレート
９２５テンプレート
９２６上部テンプレート
９２６（１）サブテンプレート
９２６（２）サブテンプレート
９２６（３）サブテンプレート
９２７左部テンプレート
９２７（１）サブテンプレート
９２７（２）サブテンプレート
９２７（３）サブテンプレート
１０００テンプレートマッチング（ＴＭ）
１００１現在のブロック
１０２１テンプレート
１０２５参照テンプレート
１１００テンプレートマッチング
１２００ＡＴＭ
１２００ＢＴＭ
１２２１現在のテンプレート
１２２２上部テンプレート
１２２３左部テンプレート
１２２５参照テンプレート
１２２６上部テンプレート
１２２７左部テンプレート
１３００プロセス
１３２１現在のテンプレート
１３２５参照テンプレート
１４００ＴＭ
１４１５マスク
１４１５（１）領域
１４１５（２）領域
１４１５（３）領域
１４１５（４）領域
１４１５（５）領域
１４１５（６）領域
１４２１現在のテンプレート
１４２５中間参照テンプレート
１４２５（１）サブテンプレート
１４２５（２）サブテンプレート
１４２５（３）サブテンプレート
１４２５（４）サブテンプレート
１４２５（５）サブテンプレート
１４２５（６）サブテンプレート
１４３５参照テンプレート
１４３５（ａ）サブテンプレート
１４３５（ｂ）サブテンプレート
１５００プロセス
１７００コンピュータシステム
１７０１キーボード
１７０２マウス
１７０３トラックパッド
１７０５ジョイスティック
１７０６マイクロフォン
１７０７スキャナ
１７０８カメラ
１７０９スピーカ
１７１０タッチスクリーン
１７２０ＣＤ／ＤＶＤＲＯＭ／ＲＷ
１７２１媒体
１７２２サムドライブ
１７２３ソリッドステートドライブ
１７４０コア
１７４１中央処理装置（ＣＰＵ）
１７４２グラフィックス処理装置（ＧＰＵ）
１７４３フィールドプログラマブルゲートエリア（ＦＰＧＡ）
１７４４ハードウェアアクセラレータ
１７４５読み取り専用メモリ（ＲＯＭ）
１７４６ランダムアクセスメモリ（ＲＡＭ）
１７４７内部大容量記憶装置
１７４８システムバス
１７４９汎用データポートまたは周辺バス
１７５０グラフィックスアダプタ
１７５４インターフェース
１７５５通信ネットワーク

【図1A】