特表 2023-543985 多用途ビデオコーディングのためのテンプレートマッチング予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-19

(54)【発明の名称】多用途ビデオコーディングのためのテンプレートマッチング予測

(51)【国際特許分類】

   H04N 19/593 20140101AFI20231012BHJP

   H04N 19/70 20140101ALI20231012BHJP

【ＦＩ】

H04N19/593

H04N19/70

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023518908

(86)(22)【出願日】2021-09-20

(85)【翻訳文提出日】2023-03-24

(86)【国際出願番号】 EP2021075838

(87)【国際公開番号】W WO2022063729

(87)【国際公開日】2022-03-31

(31)【優先権主張番号】20306105.6

(32)【優先日】2020-09-28

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】20306564.4

(32)【優先日】2020-12-15

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】21305219.4

(32)【優先日】2021-02-24

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】521557230

【氏名又は名称】インターデジタル ヴイシー ホールディングス フランス，エスエーエス

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ルリーネク、ファブリス

(72)【発明者】

【氏名】ナセル、カラム

(72)【発明者】

【氏名】ポイエー、タンギ

(72)【発明者】

【氏名】ガルピン、フランク

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA23

5C159MC11

5C159ME01

5C159PP04

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

テンプレートマッチング予測は、追加のコーディングツールと組み合わされて、シンタックス要素の有利な使用によってコーディング／復号ツールのロバストなセットを提供する。追加のコーディングツールのいくつかは、行列イントラ予測、イントラサブ分割、低周波非分離可能変換、多重変換選択を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

方法であって、
少なくとも第１及び第２のコーディングツールがビデオブロック上で使用されることをシグナリングすることと、
前記第１及び第２のコーディングツールを使用して前記ビデオブロックを符号化することと、を含む、方法。

【請求項2】

装置であって、
プロセッサを備え、前記プロセッサは、
少なくとも第１及び第２のコーディングツールがビデオブロック上で使用されることをシグナリングし、かつ
前記第１及び第２のコーディングツールを使用して前記ビデオブロックを符号化するように構成されている、装置。

【請求項3】

方法であって、
ビデオブロックのための少なくとも第１及び第２の復号ツールを決定するためにビデオビットストリームを解析することと、
前記ビデオブロックに対して使用されるべき前記少なくとも第１及び第２のコーディングツールを使用して前記ビデオブロックを復号することと、を含む、方法。

【請求項4】

装置であって、
プロセッサを備え、前記プロセッサは、
ビデオブロックのための少なくとも第１及び第２の復号ツールを決定するためにビデオビットストリームを解析し、かつ
前記ビデオブロックに対して使用されるべき前記少なくとも第１及び第２のコーディングツールを使用して前記ビデオブロックを復号するように構成されている、装置。

【請求項5】

一般的な制約フラグが、非アクティブ化を示すためにＴＭＰに使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項6】

平面モードに対応するＬＦＮＳＴ変換カーネルが使用される場合、ＴＭＰが使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項7】

テンプレートマッチング予測による多重変換選択を許容しない、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項8】

ＴＭＰは、ルーマ成分及びクロマ成分のために使用され、シンタックスは、ルーマ成分とクロマ成分の両方のためのＴＭＰの使用をシグナリングするために使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項9】

テンプレートマッチングは、ルーマ成分に対して使用され、マッチングブロックの同じ位置は、クロマ成分に使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項10】

コーディングツリーユニットの内部及び外部からの予測候補が許容される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項11】

テンプレート差分の計算にＳＩＭＤが使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態のうちの少なくとも１つは、概して、ビデオの符号化又は復号、圧縮又は解凍のための方法又は装置に関する。

【背景技術】

【0002】

高い圧縮効率を実現するために、画像及びビデオのコーディングスキームは、通常、動きベクトル予測を含む予測、並びにビデオコンテンツの空間的冗長性及び時間的冗長性を活用するための変換を採用している。一般に、フレーム内又はフレーム間の相関を活かすためにイントラ予測又はインター予測が使用され、それにより、しばしば予測誤差又は予測残差を意味する原画像と予測画像との差分が、変換され、量子化され、エントロピコード化される。ビデオを再構成するには、エントロピコーディング、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号する。

【発明の概要】

【0003】

本実施形態のうちの少なくとも１つは、概して、ビデオの符号化又は復号のための方法又は装置に関し、より具体的には、ＶＶＣ（Versatile Video Coding）（多用途ビデオコーディング又はＨ．２６６）標準のような他のコーディングツールと組み合わせてテンプレートマッチング予測を使用するための方法又は装置に関する。

【0004】

第１の態様によれば、方法が提供される。この方法は、少なくとも第１及び第２のコーディングツールがビデオブロック上で使用されることをシグナリングするためのステップと、当該第１及び第２のコーディングツールを使用してビデオブロックを符号化するためのステップと、を含む。

【0005】

第２の態様によれば、別の方法が提供される。この方法は、ビデオビットストリームを解析して、ビデオブロックのための少なくとも第１及び第２の復号ツールを決定するためのステップと、当該ビデオブロック上で使用されるべき当該少なくとも第１及び第２のコーディングツールを使用してビデオブロックを復号するためのステップと、を含む。

【0006】

別の態様により、装置を提供する。装置は、プロセッサを備える。プロセッサは、前述した方法のいずれかを実行することによって、ビデオのブロックを符号化する、又はビットストリームを復号するように構成することができる。

【0007】

少なくとも１つの実施形態の別の汎用態様によれば、復号する実施形態のいずれかによる装置と、（ｉ）信号を受信するように構成されたアンテナであって、信号がビデオブロックを含む、アンテナ、（ｉｉ）受信された信号を、ビデオブロックを含む周波数帯域に制限するように構成されたバンドリミッタ、又は（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備えるデバイス、が提供される。

【0008】

少なくとも１つの実施形態の別の汎用態様により、記載される復号する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含む非一時的コンピュータ可読媒体を提供する。

【0009】

少なくとも１つの実施形態の別の汎用態様によれば、説明した符号化実施形態又は変形形態のいずれかに従って生成されたビデオデータを含む信号が提供される。

【0010】

少なくとも１つの実施形態の別の汎用態様によれば、記載される復号する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含むようにビットストリームをフォーマットする。

【0011】

少なくとも１つの実施形態の別の汎用形態によれば、コンピュータによって実行されるとき、記載される復号する実施形態又は変形形態のうちのいずれかをコンピュータに行わせる命令を含む、コンピュータプログラム製品を提供する。

【0012】

汎用態様の上記及び他の態様、特徴、及び利点は、例示的な実施形態の以下の詳細な説明を添付の図面を参照しながら読み進めることによって明らかになるであろう。

【図面の簡単な説明】

【0013】

【図1】多用途ビデオコーディング（ＶＶＣ）におけるイントラ予測モードを例示する。

【図2】テンプレートマッチング予測（template matching prediction、ＴＭＰ）の例を例示する。

【図3】標準の一般的なビデオ圧縮スキームを示す。

【図4】標準の一般的なビデオ解凍スキームを示す。

【図5】一般的に説明された態様下の方法の一実施形態を示す。

【図6】一般的に説明された態様下の方法の別の実施形態を示す。

【図7】説明された態様下の例示的な装置を示す。

【図8】一般的に説明された態様下で符号化／復号するためのプロセッサベースのシステムを示す。

【図9】単一テンプレートを用いたテンプレートマッチングの例を示す。

【図10】より小さい探索範囲を有するテンプレートマッチング予測の例を示す。

【図11】ＩＢＣ及びＴＭＰのための相互排他的探索範囲の例を示す。

【図12】現在のＣＴＵの内部で許容される探索範囲を示す。

【図13】Ｒ１及びＲ２のライン幅が４の倍数であるＳＩＭＤ最適化を示す。

【図14】現在のブロックと同じ寸法を有するようにテンプレート左上部分が除去されたＳＩＭＤ最適化を示す。

【発明を実施するための形態】

【0014】

本明細書で説明する実施形態は、ビデオ圧縮の分野におけるものであり、概して、ビデオ圧縮に関し、ビデオ符号化及び復号は、より具体的には、テンプレートマッチング予測を採用することによってビデオ圧縮のイントラ予測部分を改善することを目的とする。このモードは、画像の再構成された部分内に類似のテンプレートを有するパッチから予測信号を生成する。

【0015】

高い圧縮効率を実現するために、画像及びビデオのコーディングスキームは、通常、動きベクトル予測を含む予測、並びにビデオコンテンツの空間的冗長性及び時間的冗長性を活用するための変換を採用している。一般に、フレーム内又はフレーム間の相関を活かすためにイントラ予測又はインター予測が使用され、それにより、しばしば予測誤差又は予測残差を意味する原画像と予測画像との差分が、変換され、量子化され、エントロピコード化される。ビデオを再構成するには、エントロピコーディング、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号する。

【0016】

イントラピクチャ予測は、画像及びビデオ圧縮の基本部分である。従来、予測信号は、Ｌ字型の再構成されたピクセル（参照サンプル）から、それらを異なる角度に沿って仮定することによって生成される。このメカニズムは角度予測として知られている。ＶＶＣは、６５個のイントラ予測モードを使用し、６３個の角度並びにＤＣ及び平面予測が定義される（図１参照）。

【0017】

ＶＶＣにおける従来のイントラ予測は、複数のツールで強化される。
－成分間線形モデル（cross-component linear model、ＣＣＬＭ）：クロマ予測ブロックが、ルーマ再構成されたサンプルの線形モデルによって生成される。
－マルチ参照ライン予測（multi reference line prediction、ＭＲＬ）：より多くの参照サンプルが予測ブロックを生成するために使用される。
－イントラサブ分割（intra sub-partitioning、ＩＳＰ）：予測ブロックは、同じ予測モードを共有する４つのサブブロックに分割される。
－行列重み付けイントラ予測（matrix weighted intra prediction、ＭＩＰ）：予測ブロックは、参照サンプルにいくつかのオフライン最適化予測行列を乗算することによって生成される。
－イントラブロックコピー（intra block copy、ＩＢＣ）：予測ブロックは、すでに再構成された画像部分から別のブロックをコピーすることによって生成され、変位ベクトルは、ビットストリームにおいてシグナリングされる。

【0018】

残差ブロックは、コア変換ＤＣＴ－ＩＩ、又は多重変換選択（multiple transform selection、ＭＴＳ）として知られる、ＤＳＴ－ＶＩＩとＤＣＴ－ＶＩＩＩとの組み合わせの別のモードで変換される。変換されたブロックは、残差ブロックを更に圧縮するために、二次非分離可能変換を用いて更に変換され得る。このプロセスは、低周波非分離可能変換（low-frequency non-separable transform、ＬＦＮＳＴ）と呼ばれる。

【0019】

テンプレートマッチング予測（ＴＭＰ）は、ＶＶＣに含まれない更に別の強力なイントラ予測モードである。これは、ターゲットブロックを見つけるために類似のＬ字型近傍（パッチと呼ばれる）を探索することによって実行される。これは以下の図に例示されている。ＴＭＰが使用される場合、現在のテンプレートは、再構成されたＬ字型近傍によって形成される。現在のテンプレートとの差が小さい類似のテンプレートが見出される。これらのテンプレートに属するブロック（ターゲットブロック）は、それらを平均化するか、又は最小テンプレート差を有するもののみを考慮することによって、予測信号を生成するために使用される。

【0020】

ＴＭＰをＶＶＣに統合することは、既存のイントラツールとの適切な相互運用性を必要とする。すなわち、
－ＩＳＰ、ＭＩＰ及びＭＲＬとの相互作用
－変換ツール（ＭＴＳ及びＬＦＮＳＴ、暗黙的ＭＴＳ）との相互作用
－組み合わされたインター及びイントラ予測（combined inter and intra prediction、ＣＩＩＰ）との相互作用

【0021】

本明細書で説明される汎用態様は、これらの相互作用に関し、ＶＶＣに対してこのモードを可能にする実施形態を提案する。

【0022】

テンプレートマッチング予測は、ジョイントビデオ探索チーム（joint video exploration team、ＪＶＥＴ）のジョイント探索テストモード（joint exploration test mode、ＪＥＭ）における任意選択のイントラ予測モードであった。これは、カルーネン・ルーベ変換（Karhunen Loueve transform、ＫＬＴ）を使用し、ＴＭＰの同じテンプレートを使用して、変換行列を導出するためのオンラインプロセスを伴う。予測ブロックは、最大８個の候補ブロックを平均化することによって生成される。

【0023】

ＶＶＣ開発に関連して、領域ベースのテンプレートマッチング予測が従来の研究において提案されている。ＪＥＭバージョンと比較して、これらの従来の研究は、より小さい探索エリアを定義し、ここで、インデックスは、所与のエリアへの探索に制限するようにデコーダをガイドするためにシグナリングされる。これは、デコーダ側での待ち時間を削減する。

【0024】

本明細書で説明する汎用態様は、ＶＶＣのコンテキストにおいてＴＭＰを実装することに焦点を当てており、他のツール並びに信号との相互作用が提案される。

【0025】

本明細書で説明される汎用態様の基本的な考え方は、ＴＭＰをＶＶＣに統合することであり、これらとの相互作用は以下のように定義される。
－ＩＳＰ、ＭＩＰ及びＭＲＬとの相互作用
－変換ツール（ＭＴＳ及びＬＦＮＳＴ、暗黙的ＭＴＳ）との相互作用
－組み合わされたインター及びイントラ予測（ＣＩＩＰ）との相互作用

【0026】

影響を受けるエンコーダモジュールは、図３の変換モジュール（１２５）及びイントラ予測モジュール（１６０）である。

【0027】

影響を受けるデコーダモジュールは、図４の逆変換モジュール（２５０）及びイントラ予測モジュール（２６０）である。

【0028】

ＴＭＰフラグのシグナリング
ＴＭＰの使用を示すために、ＣＵフラグがシグナリングされる。このフラグは、コーデック設計において異なるレベルでシグナリングすることができる。しかしながら、ＣＵレベルのシグナリングは、他のイントラツールと整合している。ＶＴＭにおける現在のシグナリングは以下の通りである。
－ＭＩＰフラグ（ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ）が、ＭＩＰの使用を示すために最初にシグナリングされる
－ＭＩＰが使用されない場合、ＭＲＬフラグ（ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ）が、ＭＲＬの使用を示すためにシグナリングされる。
－ＭＲＬが使用されない場合、ＩＳＰフラグ（ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）が、ＩＳＰの使用を示すためにシグナリングされる。
－ＭＲＬが使用されない（ＭＩＰ又はＩＳＰが使用され得る）場合、予測モードが更にシグナリングされる。

【0029】

対応するシンタックスを以下に示す。

【0030】

【表1】

【0031】

ＴＭＰに対して、以下の考察が行われる。
－ＭＩＰはＴＭＰとともに使用することができないので、ＭＩＰはシグナリングされるべきではない。
－ＭＲＬはＴＭＰとともに使用することができないので、ＭＲＬはシグナリングされるべきではない。
－ＴＭＰはシグナリングされるべきモードを有していないので、イントラ予測モードはシグナリングされるべきではない。
－ＩＳＰは、各サブ分割が異なるマッチングテンプレートを使用するＴＭＰとともに使用することができる。

【0032】

したがって、ＴＭＰフラグは、使用される他の全てのフラグがシグナリングされない場合に０であると推測されるように、ＭＩＰフラグの前にシグナリングされ得る。対応する変更は、以下の通りである（追加された部分は影付きである）。

【0033】

【表2】

【0034】

ここで、ｓｐｓ＿ＴＭＰ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＴＭＰをアクティブ化するためのＳＰＳレベルフラグであり、ｉｎｔｒａ＿ＴＭＰ＿ｆｌａｇは、ＴＭＰの使用をシグナリングするためのＣＵレベルフラグである。ＭａｘＴＭＰＳｉｚｅは、ＴＭＰの最大許容寸法である。ＳＰＳレベルで固定されるか又はシグナリングされる。

【0035】

この方法では、ＩＳＰとＴＭＰを併用することができない。これは、組み合わせを可能にするように変更することができる。これは、ＴＭＰフラグをＩＳＰフラグの前又は後のいずれかに隣接してシグナリングすることによって行われる。それは、ＭＲＬ及びＭＩＰが使用されないときにのみシグナリングされるべきである。以下の修正が行われる。

【0036】

【表3】

【0037】

両方の方法について、領域ベースのテンプレートマッチング予測の場合、追加のシンタックスがシグナリングされ得ることに留意されたい。これは、信号ｉｎｔｒａ＿ＴＭＰ＿ｆｌａｇの直後にシグナリングされる。

【0038】

ＳＰＳフラグに加えて、一般的な制約フラグがＴＭＰのために定義され得る。これは、非アクティブ化されているかどうかを示すためにより高いレベルのフラグを有するＶＶＣのほとんどのコーディングツールと同様である。以下のフラグを仕様に追加することができる。

【0039】

【表4】

【0040】

ｇｃｉ＿ｎｏ＿ｔｍｐ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、１に等しいとき、ｓｐｓ＿ＴＭＰ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいことを示す。

【0041】

変換ツールとの相互作用：
ＴＭＰは、ＭＴＳ及び／又はＬＦＮＳＴとともに許容され得る。しかしながら、ＬＦＮＳＴは、変換カーネルの選択のためのイントラ予測モードに依存する。ＭＩＰと同じアプローチを使用することができる。すなわち、変換行列選択の場合、ＭＩＰは、平面イントラ予測とみなされる。したがって、ＴＭＰもこのように考えることができる。すなわち、ＴＭＰが使用されるとき、平面モードに対応するＬＦＮＳＴ変換カーネルが使用される。

【0042】

更に、ＬＦＮＳＴはクロマ成分に使用されるので、予測モードは変換行列を選択するために必要とされる。具体的には、ＣＣＬＭの場合、予測モードは、ＭＩＰがルーマ成分に使用される場合、平面モードとみなされる。ＴＭＰがルーマ成分に使用される場合、同じことがここで行われる。

【0043】

ＭＴＳの場合、暗黙的ＭＴＳとして知られる特別なモードがあり、このモードでは、ＭＴＳフラグはシグナリングされないが、変換選択はブロック寸法から推定される。しかしながら、ＭＩＰモード又はＬＦＮＳＴに対する変換選択は、ＤＣＴ－ＩＩである。ＴＭＰについても同様である。

【0044】

作業ドラフトに対する対応する変更は以下の通りである。

【0045】

【表5】

【0046】

【表6】

【0047】

エンコーダの実行時間を短縮するために、ＭＴＳはＴＭＰとともに禁止され得る。すなわち、ＴＭＰが予測モードとして使用されるとき、エンコーダは、全ての可能なＭＴＳモード（ＤＣＴ－ＩＩ、ＤＳＴ－ＶＩＩ、及びＤＣＴ－ＶＩＩＩ）を試みず、デコーダにいかなる情報もシグナリングしない。代わりに、固定された変換選択を採用することができる。第１の選択は、垂直方向及び水平方向にＤＣＴ－ＩＩを使用することである。別の選択は、ＩＳＰモードに使用される暗黙的な変換選択を採用することである。すなわち、垂直変換及び水平変換は以下のように選択される。
ＴｒＨｏｒ＝幅≦１６？ＤＳＴ７：ＤＣＴ２
ＴｒＶｅｒ＝高さ≦１６？ＤＳＴ７：ＤＣＴ２

【0048】

ＭＰＭとの相互作用
最確モード（most probable mode、ＭＰＭ）は、イントラ予測モードをシグナリングする効果的な方法である。ＭＰＭリスト生成は、現在の予測モードの知識を必要とする。ＴＭＰが使用される場合、それはＭＰＭリスト生成のための平面モードとみなされ得る。

【0049】

ルーマ成分及びクロマ成分に対するＴＭＰ
概して、ＴＭＰは、ルーマ成分のみに使用される。しかしながら、それは、ルーマ成分及びクロマ成分を使用するように拡張され得る。これを可能にするために、以下のオプションが使用される。
－ルーマ成分及びクロマ成分の両方に対してＴＭＰの使用をシグナリングするために、単一のフラグが使用される。
－テンプレートマッチングは、ルーマ成分に対してのみ実行され、マッチングブロックの同じ位置は、クロマ成分に対して使用される（クロマ形成に従った適切なスケーリング、例えば４：２：０を用いて）。これは、全ての成分に対する探索の繰り返しを回避することによって複雑さを軽減するためである。

【0050】

ＣＩＩＰとの相互作用
ＣＩＩＰは、イントラ予測とインター予測の両方を組み合わせる予測モードである。イントラ部分は平面モードであり、インター部分はレギュラーマージモードである。ＴＭＰは、イントラ予測部分（平面モード）を置き換えるために使用することができる。

【0051】

２つの予測信号の重み付けも修正することができる。現在、近傍のコーディングユニットに応じて、重みは以下のように定義される。

【0052】

【表7】

【0053】

代わりに、インター部分及びイントラ部分の等しい重み付けを代わりに使用することができる。

【0054】

ＩＢＣとの相互作用
多くの場合、ＴＭＰ及びＩＢＣの両方の使用は、両方とも画像の再構成された部分内を探索することによってイントラ予測を実行するので、有用ではない。したがって、ＩＢＣ及びＴＭＰの両方が一緒にアクティブ化されるべきではないことが提案される。これは、それらのＳＰＳフラグを互いに条件付けることによって行うことができる。すなわち、ＩＢＣのＳＰＳフラグが１である場合、ＴＭＰのＳＰＳフラグは０に推定されるものとする。その逆もまた可能であり、ＴＭＰのＳＰＳフラグが１である場合、ＩＢＣのＳＰＳフラグは０に推定されるものとする。

【0055】

そのような方法の例は、以下のシンタックス表に与えられる（ＩＢＣでのＴＭＰの条件付け）。

【0056】

【表8】

【0057】

別の例（ＴＭＰでのＩＢＣの条件付け）：

【0058】

【表9】

【0059】

本明細書で説明する汎用態様下での方法５００の一実施形態が図５に示されている。この方法は開始ブロック５０１で始まり、制御はブロック５１０に進み、少なくとも第１及び第２のコーディングツールがビデオブロック上で使用されることをシグナリングする。制御は、ブロック５１０からブロック５２０に進み、当該第１及び第２のコーディングツールを使用してビデオブロックを符号化する。

【0060】

本明細書で説明する汎用態様下での方法６００の一実施形態が図６に示されている。この方法は、開始ブロック６０１で始まり、制御はブロック６１０に進み、ビデオビットストリームを解析して、ビデオブロックのための少なくとも第１及び第２の復号ツールを決定する。制御はブロック６１０からブロック６２０に進み、当該ビデオブロック上で使用されるべき当該少なくとも第１及び第２のコーディングツールを使用してビデオブロックを復号する。

【0061】

図７は、近傍のサンプルに依存するパラメトリックモデルに基づくコーディングモードの簡略化を使用してビデオデータを符号化、復号、圧縮、又は解凍するための装置７００の一実施形態を示す。この装置は、プロセッサ７１０を備えており、少なくとも１つのポートを通じてメモリ７２０に相互接続することができる。プロセッサ７１０及びメモリ７２０は両方とも、外部接続への１つ以上の追加の相互接続を有することもできる。

【0062】

更にプロセッサ７１０は、ビットストリームにおいて情報を挿入又は受信し、説明した態様のいずれかを使用して圧縮、符号化、又は復号するように構成されている。

【0063】

単一テンプレート予測
単一マッチングブロックが最良の圧縮効率を提供することが観察される。すなわち、Ｎ個の類似テンプレートを探索する代わりに、１つの類似テンプレートが見出され、予測信号として使用される。このプロセスは、図９に例示されている。

【0064】

可変探索範囲
最適なマッチングテンプレート（複数のテンプレート）を見出すための探索範囲は、可変又は固定として設定することができる。最大の複雑さに関連する最大コーディング利得は、全範囲が使用されるときである。すなわち、テンプレートは、現在のフレームの再構成された部分全体内で見出される。しかしながら、複雑さを軽減するために、より小さい探索範囲を使用することができる。ある例を図１０に示す。

【0065】

最大コーディング利得は、１０２４に等しい探索範囲で達成できることが分かっている。しかしながら、小さい解像度を有するビデオシーケンスの場合、より小さい探索範囲を使用することができる。また、６４の探索範囲は、複雑さと利得との間に妥当なトレードオフを有することが分かっている。したがって、この実施形態では、探索範囲を、６４、１２８、２５６、１０２４、又はフルのいずれかに定義する。ハイレベルシンタックス要素は、探索範囲の値をシグナリングするために使用され得る。

【0066】

ＣＴＵ内の探索範囲
探索範囲は、現在のＣＴＵの内部で許容され得る。すなわち、現在のブロック（ＰＵ／ＣＵ）がより大きいＣＴＵの内部にあるとき、予測候補は、ＣＴＵの内部だけでなくＣＴＵの外部でも探索され得る。しかしながら、ＣＴＵの内部の全ての部分が復号されるわけではないため、予測候補として使用することができない。

【0067】

現在のＣＴＵ内の探索を許容するために、現在のブロックの左上に位置する候補のみが使用される。これは図１２に示されている。より暗い探索範囲は、全てのピクセルが復号され再構成される現在のＣＴＵの内部である。ＣＴＵの外部の探索範囲も使用され、最小のテンプレート差分を有する最良の候補が予測ブロックとして使用される。

【0068】

テンプレートマッチングＣＡＢＡＣコンテキスト導出
テンプレートマッチングのフラグをシグナリングするために、ＣＡＢＡＣのための適切なコンテキスト導出が使用されなければならない。この実施形態では、ＭＩＰの場合と同じことに従う。これは、ＶＶＣの設計と一致すべきである。以下の４つのコンテキストが使用される。
１－コンテキストを０で初期化する。
２－左ＣＵがテンプレートマッチング予測を使用する場合、１を加える。
３－上のＣＵがテンプレートマッチング予測を使用する場合、１を加える。
４－幅が高さの２倍より大きい場合、又は高さが幅の２倍より大きい場合、コンテキストを３に設定する。

【0069】

すなわち、４つのカテゴリは以下の通りである。
１－近傍ＣＵがＴＭＰを使用していない。
２－１つの近傍ＣＵがＴＭＰを使用している。
３－２つの近傍ＣＵがＴＭＰを使用している。
４－ＣＵ形状が１つの寸法において細長い。

【0070】

第４のコンテキストが使用されない場合、類似の方法を使用することができる。

【0071】

可変最大サイズ
ＴＭＰを使用する最大ＣＵサイズは、可変であり得る。最大１６×１６ＣＵが、軽減された複雑さで最大のコーディング利得を提供することが分かっている。最大寸法の値は、高レベルシンタックス要素を用いてシグナリングされ得るか、又は１６として保たれ得る。

【0072】

除去された冗長シグナリング
ＴＭＰフラグのシグナリングは、場合によってはＴＭＰが使用できないことが知られているので、冗長であり得る。この例は、ＣＵサイズがＴＭＰの最大許容サイズより大きい場合、前の実施形態（可変最大サイズ）を考慮する場合、又は類似のテンプレートを探索するのに十分な再構成部分がない場合である。例えば、サイズ６４×６４のＣＵの場合、再構成部分は６４×６４＋テンプレートのサイズ未満であり、ＴＭＰは使用できず、したがって、そのフラグはシグナリングされず、０であると推測されるものとする。

【0073】

現在のＣＴＵの外部の探索範囲
探索範囲は、現在のＣＴＵを含まないように簡略化され得る。現在のＣＴＵを探索範囲に含めることによって改善されたコーディング利得がないことが観察される。したがって、簡略化ステップとして、この領域を探索範囲から除去することが提案される。

【0074】

ＳＩＭＤ最適化
テンプレート差分を計算するためにＳＩＭＤを採用することによって、実行時間を短縮することができる。すなわち、２つのテンプレートのピクセル間の差分は、ＳＩＭＤ最適化を介して並列に行うことができる。

【0075】

ＳＩＭＤ演算の場合、比較の各ラインが４の倍数であることが必要である。図１３において、ＶＶＣではブロックサイズが４の倍数であるので、ブロック寸法（ｂ＿ｗｉｄｔｈ及びｂ＿ｈｅｉｇｈｔ）は常に４の倍数であると仮定される。したがって、４の倍数の比較を行うためには、Ｒ１及びＲ２（図１３）の線幅は４の倍数でなければならない。
１－Ｒ１：ｂ＿ｗｉｄｔｈ＋ｔ＿ｗｉｄｔｈは４の倍数でなければならない。したがって、ｔ＿ｗｉｄｔｈは４の倍数でなければならない。
２－Ｒ２：Ｔ＿ｗｉｄｔｈは４の倍数でなければならない。したがって、Ｔ＿ｗｉｄｔｈは４の倍数でなければならない。

【0076】

そうでない場合、テンプレート左上部分は、現在のブロックと同じ寸法を有するように除去される。これは図１４に示されている。

【0077】

そうすることによって、Ｒ１幅はｂ＿ｗｉｄｔｈ（常に４の倍数）に等しく、Ｒ２は、差を計算する前に転置され、最終的にｂ＿ｈｅｉｇｈ（常に４の倍数）の幅を有することになる。本方法は、テンプレートサイズに関係なくＳＩＭＤ最適化を提供する。

【0078】

ＩＢＣ及びＴＭＰのための相互排他的な探索範囲
本実施形態では、ＩＢＣ及びＴＭＰは異なる参照領域を使用する。通常、ＩＢＣは、１つのＣＴＵエリアを参照として使用する。したがって、ＴＭＰは、すでに再構成されたピクチャの残りを参照として使用すべきである。

【0079】

サイズ３２×３２又は６４×６４のＣＴＵの場合、ＩＢＣは、２つ以上のＣＴＵエリアを参照として使用することができるが、常に現在のコーディングユニットと同じＣＴＵライン上で使用することができ、この場合、ＴＭＰは、現在のＣＴＵラインを除く全ての再構成されたピクチャを参照として使用すべきである。

【0080】

ＩＢＣ及びＴＭＰに対する相互排他的な探索範囲の例が図１１に示されている。

【0081】

本明細書で説明する実施形態は、ツール、特徴、例、モデル、アプローチなどを含む、様々な態様を含む。これらの態様の多くは、具体的に記載され、少なくとも個々の特性を示すために、多くの場合、限定的に聞こえ得る方法で記載されている。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際には、異なる態様の全てを組み合わせ、かつ置き換えて、更なる態様を提供することができる。更に、これらの態様はまた同様に、以前の出願に記載の態様と組み合わせ、かつ置き換えすることができる。

【0082】

本出願において説明され、企図される態様は、多くの異なる形態で実装することができる。図３、図４、及び図８は、いくつかの実施形態を提供するが、他の実施形態も企図されており、図３、図４、及び図８の説明は、実装形態の範囲を制限しない。態様のうちの少なくとも１つは、概して、ビデオ符号化及び復号に関し、少なくとも１つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び別の態様は、方法、装置、説明した方法のいずれかに従ってビデオデータを符号化又は復号するための命令を自体に記憶したコンピュータ可読記憶媒体、及び／又は、説明した方法のいずれかに従って生成されたビットストリームを自体に記憶したコンピュータ可読記憶媒体、として実装することができる。

【0083】

本出願では、「再構成された（reconstructed）」及び「復号された（decoded）」という用語は、交換可能に使用され得、「ピクセル（pixel）」及び「サンプル（sample）」という用語は、交換可能に使用され得、「画像（image）」、「ピクチャ（picture）」、及び「フレーム（frame）」という用語は、交換可能に使用され得る。通常、必ずしもそうではないが、「再構成された」という用語は、エンコーダ側で使用され、一方、「復号された」という用語は、デコーダ側で使用される。

【0084】

様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための１つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、修正又は組み合わされ得る。

【0085】

本文書に説明されている様々な方法及び他の態様を使用して、図１０及び図１１に示されるようなビデオエンコーダ１００及びビデオデコーダ２００のモジュール、例えば、イントラ予測モジュール、エントロピコーディングモジュール、及び／又は復号モジュール（１６０、３６０、１４５、３３０）を修正することができる。更に、本開示の態様は、ＶＶＣ又はＨＥＶＣに限定されず、例えば、既存のものであれ将来進展するものであれ、他の規格及び勧告、またこのようないかなる規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の拡張にも適用することができる。特に断りのない限り、又は技術上除外されない限り、本出願に記載の態様は、個々に、又は組み合わせて使用することができる。

【0086】

本出願において、様々な数値が使用されている。具体的な値は、例示目的のためであり、記載の態様は、これらの具体的な値に限定されない。

【0087】

図３は、エンコーダ１００を例示している。このエンコーダ１００の変形形態も企図されるが、以下では、分かりやすいように、予想される全ての変形形態を説明せずに、エンコーダ１００について説明される。

【0088】

符号化される前に、ビデオシーケンスは、符号化前処理（１０１）、例えば、カラー変換を入力カラーピクチャに適用すること（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを実行する（例えば、色成分のうちの１つのヒストグラム等化を使用して）ことを経得る。メタデータを前処理に関連付け、ビットストリームに付加することができる。

【0089】

エンコーダ１００では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、例えば、ＣＵという単位に分けられ（１０２）、処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、そのユニットは、イントラ予測（１６０）を実行する。インターモードでは、動き推定（１７５）及び動き補償（１７０）が実行される。エンコーダは、ユニットを符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し（１０５）、例えば、予測モードフラグによってイントラ／インターの決定を示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算することによって（１１０）計算される。

【0090】

その予測残差は、次いで、変換され（１２５）、量子化される（１３０）。量子化された変換係数、並びに動きベクトル及び他のシンタックス要素は、ビットストリームを出力するためにエントロピコード化される（１４５）。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接コード化される。

【0091】

エンコーダは、符号化されたブロックを復号して、更なる予測のための参照を提供する。量子化された変換係数は、予測残差を復号するために逆量子化され（１４０）、逆変換される（１５０）。復号された予測残差と予測されたブロックとを組み合わせて（１５５）、画像ブロックが再構成される。ループ内フィルタ（１６５）は、例えば、符号化アーチファクトを低減するための非ブロック化／サンプル適応オフセット（Sample Adaptive Offset、ＳＡＯ）（）フィルタリングを実行するために、再構成されたピクチャに適用される。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に記憶される。

【0092】

図４は、ビデオデコーダ２００のブロック図を示している。デコーダ２００では、以下に説明する通り、ビットストリームが、デコーダ要素によって復号される。ビデオデコーダ２００は、概して、図３に説明したような符号化パスとは逆向きの復号パスを実行する。エンコーダ１００もまた、概して、ビデオデータを符号化することの一部としてビデオ復号を実行する。

【0093】

特に、デコーダの入力は、ビデオビットストリームを含み、これは、ビデオエンコーダ１００によって生成され得る。ビットストリームは、まず、変換係数、動きベクトル、及び他のコード化情報を取得するために、エントロピ復号される（２３０）。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。デコーダは、したがって、復号されたピクチャ分割情報に従ってピクチャを分割し得る（２３５）。変換係数は、予測残差を復号するために、逆量子化され（２４０）、逆変換される（２５０）。復号された予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構成される。イントラ予測（２６０）又は動き補償予測（すなわち、インター予測）（２７５）から、予測ブロックを得ることができる（２７０）。ループ内フィルタ（２６５）は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。

【0094】

復号されたピクチャは、復号後処理（２８５）、例えば、逆カラー変換（例えば、ＹｃｂＣｒ４：２：０からＲＧＢ４：４：４への変換）、又は符号化前処理（１０１）において実行された再マッピングプロセスの逆を実行する逆再マッピングを更に経ることができる。復号後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。

【0095】

図８は、様々な態様及び実施形態が実装されているシステムの一例のブロック図を示している。システム１０００は、以下に記載の様々な構成要素を含むデバイスとして具体化することができ、本明細書に記載の態様のうちの１つ以上を行うように構成されている。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム１０００の要素は、単独で又は組み合わせて、１つの集積回路（integrated circuit、ＩＣ）、複数のＩＣ、及び／又は別個の構成要素において具体化することができる。例えば、少なくとも１つの実施形態において、システム１０００の処理要素及びエンコーダ要素／デコーダ要素は、複数のＩＣ及び／又は個別の構成要素にわたって分散している。様々な実施形態では、システム１０００は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通して、１つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム１０００は、本明細書に記載される態様のうちの１つ以上を実装するように構成されている。

【0096】

システム１０００は、例えば、本明細書に記載される様々な態様を実装するために、内部にロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、埋め込みメモリ、入出力インターフェース、及び当該技術分野において知られている様々な他の回路を含むことができる。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１０００は、記憶デバイス１０４０を含み、これは、不揮発性メモリ及び／又は揮発性メモリを含むことができ、これらのメモリとしては、電気的消去可能なプログラマブル読み出し専用メモリ（Electrically Erasable Programmable Read-Only Memory、ＥＥＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（Programmable Read-Only Memory、ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（Dynamic Random Access Memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（Static Random Access Memory、ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブが挙げられるが、これらに限定されない。記憶デバイス１０４０は、非限定的な例として、内部記憶デバイス、添付された記憶デバイス（取り外し可能及び取り外し不可能な記憶デバイスを含む）、及び／又はネットワークアクセス可能な記憶デバイスを含むことができる。

【0097】

システム１０００は、例えば、符号化されたビデオ又は復号されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、それ自体のプロセッサ及びメモリを含むことができる。エンコーダ／デコーダモジュール１０３０は、符号化機能及び／又は復号機能を果たすデバイスに含めることができるモジュールに相当する。既知であるように、デバイスは、符号化モジュール及び復号モジュールのうちの一方又は両方を含むことができる。更に、エンコーダ／デコーダモジュール１０３０は、システム１０００の別個の要素として実装することができるか、又は当業者には既知であるように、ハードウェアとソフトウェアとの組み合わせとしてプロセッサ１０１０内に組み込むことができる。

【0098】

本明細書に記載の様々な態様を行うためにプロセッサ１０１０又はエンコーダ／デコーダ１０３０に読み込まれるプログラムコードは、記憶デバイス１０４０に格納することができ、続いて、プロセッサ１０１０による実行のためにメモリ１０２０に読み込むことができる。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、記憶デバイス１０４０、及びエンコーダ／デコーダモジュール１０３０のうちの１つ以上は、本明細書に記憶のプロセスの実行中に様々なアイテムのうちの１つ以上を記憶することができる。かかる記憶されたアイテムは、これらに限定されないが、入力ビデオ、復号されたビデオ、又は復号されたビデオの一部分、ビットストリーム、マトリクス、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含むことができる。

【0099】

いくつかの実施形態では、プロセッサ１０１０及び／又はエンコーダ／デコーダモジュール１０３０の内部のメモリは、命令を記憶し、かつ符号化中又は復号中に必要とされる処理のための作業メモリを提供するために使用される。しかし、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ１０１０又はエンコーダ／デコーダモジュール１０３０であり得る）の外部のメモリが、これらの機能のうちの１つ以上に使用される。外部メモリは、メモリ１０２０及び／又は記憶デバイス１０４０、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、例えば、テレビのオペレーティングシステムを記憶する。少なくとも１つの実施形態では、ＲＡＭなどの高速な外部の動的揮発性メモリは、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐと称され、ＭＰＥＧ－２はＩＳＯ／ＩＥＣ１３８１８とも称され、１３８１８－１はＨ．２２２としても既知であり、１３８１８－２はＨ．２６２としても既知である）、ＨＥＶＣ（ＨＥＶＣは高効率映像符号化と称され、Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２としても既知である）、又はＶＶＣ（ＪＶＥＴによって開発中の新しい標準である多用途ビデオコーディング）などのビデオの符号化動作及び復号動作のための作業メモリとして使用される。

【0100】

システム１０００の要素への入力は、ブロック１１３０に示される様々な入力デバイスを通して、提供することができる。このような入力デバイスには、（ｉ）例えば、放送事業者による放送全体にわたり送信されるＲＦ信号を受信する無線周波数（Radio Frequency、ＲＦ）部分、（ｉｉ）コンポーネント（Component、ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子セット）、（ｉｉｉ）ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）入力端子、及び／又は（ｉｖ）高解像度マルチメディアインターフェース（High Definition Multimedia Interface、ＨＤＭＩ）入力端子が含まれるが、これらに限定されない。図８には示されていないが、他の例としては、コンポジットビデオが挙げられる。

【0101】

様々な実施形態では、ブロック１１３０の入力デバイスは、当技術分野で知られているように、関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択すること（信号を選択すること、又は信号をある帯域の周波数に帯域制限することとも称される）と、（ｉｉ）選択された信号をダウンコンバートすることと、（ｉｉｉ）（例えば）特定の実施形態でチャネルと称され得る信号周波数帯域を選択するために、より狭い帯域の周波数に再び帯域制限することと、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調することと、（ｖ）エラー訂正を実行することと、（ｖｉ）所望のデータパケットのストリームを選択するために逆多重化することと、に好適な要素と関連付けられ得る。様々な実施形態のＲＦ部分は、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。ＲＦ部分は、様々なこれらの機能を実行するチューナを含むことができ、例えば、受信した信号をより低い周波数（例えば、中間周波数又は近ベースバンド周波数）に又はベースバンドにダウンコンバートすることを含む。セットトップボックスの一実施形態では、ＲＦ部分及びその関連する入力処理要素は、有線（例えば、ケーブル）媒体を介して送信されるＲＦ信号を受信し、所望の周波数バンドにフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、並びに／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ－デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、ＲＦ部分は、アンテナを含む。

【0102】

加えて、ＵＳＢ端子及び／又はＨＤＭＩ端子は、システム１０００をＵＳＢ接続及び／又はＨＤＭＩ接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な側面、例えば、リード－ソロモンエラー訂正は、例えば、必要に応じて、別個の入力処理ＩＣ内で実装する、又はプロセッサ１０１０内で実装することができることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内、又はプロセッサ１０１０内で実装することができる。復調され、エラー訂正され、逆多重化されたストリームは、例えば、プロセッサ１０１０と、出力デバイス上に提示するために必要に応じてデータストリームを処理するためにメモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ１０３０とを含む、様々な処理要素に提供される。

【0103】

システム１０００の様々な要素は、統合されたハウジング内に提供され得、統合されたハウジング内では、様々な要素は、好適な接続配設、例えば、Ｉｎｔｅｒ－ＩＣ（Ｉ２Ｃ）バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信することができる。

【0104】

システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０介してデータを送信及び受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース１０５０は、モデム又はネットワークカードを含むことができるが、これらに限定されず、通信チャネル１０６０は、例えば、有線媒体及び／又は無線媒体内で実装することができる。

【0105】

データは、様々な実施形態では、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（Institute of Electrical and Electronics Engineers（ＩＥＥＥ）は、米国電気電子技術者協会を指す）などの無線ネットワークを使用して、システム１０００にストリーミングされるか、又は別様に提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合されている通信チャネル１０６０及び通信インターフェース１０５０上で受信される。これらの実施形態の通信チャネル１０６０は、典型的に、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック１１３０のＨＤＭＩ接続を介してデータを配信するセットトップボックスを使用して、システム１０００にストリーミングデータを提供する。更に他の実施形態では、入力ブロック１１３０のＲＦ接続を使用して、システム１０００にストリーミングデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。

【0106】

システム１０００は、ディスプレイ１１００、スピーカ１１１０、及び他の周辺デバイス１１２０を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み可能なディスプレイのうちの１つ以上を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、携帯電話（移動電話）、又は別のデバイス用とすることができる。ディスプレイ１１００はまた、他のコンポーネントと統合され得るか（例えば、スマートフォンのように）、又は別個に（例えば、ラップトップのための外部モニタ）され得る。他の周辺デバイス１１２０としては、実施形態の様々な実施例において、スタンドアロンデジタルビデオディスク（又はデジタル多用途ディスク）（両方の用語について、ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、ＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システム、のうちの１つ以上が挙げられる。様々な実施形態は、システム１０００の出力に基づいて機能を提供する１つ以上の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を実行する。

【0107】

様々な実施形態では、制御信号が、システム１０００と、ディスプレイ１１００、スピーカ１１１０、又は他の周辺デバイス１１２０との間で、ＡＶ．Ｌｉｎｋ、家庭用電子制御（Consumer Electronics Control、ＣＥＣ）、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用して通信される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、及び１０９０を通した専用接続を介してシステム１０００に通信可能に結合することができる。代替的に、出力デバイスは、通信インターフェース１０５０を介して、通信チャネル１０６０を使用してシステム１０００に接続することができる。ディスプレイ１１００及びスピーカ１１１０は、例えば、テレビなどの電子デバイスにおいてシステム１０００の他の構成要素と１つの単位に一体化され得る。様々な実施形態において、ディスプレイインターフェース１０７０は、例えば、タイミングコントローラ（timing controller、Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。

【0108】

例えば、入力１１３０のＲＦ部が別個のセットトップボックスの一部である場合、ディスプレイ１１００及びスピーカ１１１０は、代替的に、他の構成要素のうちの１つ以上とは別個とすることができる。ディスプレイ１１００及びスピーカ１１１０が外部構成要素である様々な実施形態では、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して出力信号を提供することができる。

【0109】

実施形態は、プロセッサ１０１０によって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、実装されるコンピュータソフトウェアによって行うことができる。非限定的な例として、１つ以上の集積回路によって実施形態を実装することができる。メモリ１０２０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリブ－バブルメモリなどの相応しいいかなるデータストレージ技術を使用しても実装することができる。プロセッサ１０１０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含することができる。

【0110】

様々な実装形態は、復号することを含む。本出願で使用される「復号」は、例えば、表示するのに適した最終出力を生成するために、受信した符号化シーケンスに対して実行される処理の全て又は一部を包含することができる。様々な実施形態において、このようなプロセスには、例えば、エントロピ復号、逆量子化、逆変換、及び差動復号など、通常、デコーダによって行われるプロセスのうちの１つ以上が含まれる。様々な実施形態において、このようなプロセスには、更に又は代替として、本出願に記載の様々な実装形態のデコーダによって行われるプロセスも含まれる。

【0111】

更なる例として、一実施形態では、「復号」とは、エントロピ復号のみを指し、別の実施形態では、「復号」とは、差動復号のみを指し、別の実施形態では、「復号」とは、エントロピ復号と差動復号との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

【0112】

様々な実装形態は、符号化を伴う。本出願で使用される「符号化」は、「復号」に関する上記の説明と同様に、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに対して実行される処理の全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの１つ以上を含む。様々な実施形態において、このようなプロセスには、更に又は代替的に、本出願に記載の様々な実装形態のエンコーダによって行われるプロセスが含まれる。

【0113】

更なる例として、一実施形態では、「符号化」とは、エントロピ符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化とエントロピ符号化との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すこと目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

【0114】

本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。

【0115】

図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／プロセスのフローチャートも提供するものと理解されたい。

【0116】

様々な実施形態が、パラメトリックモデル又はレート歪み最適化に関連し得る。具体的には、符号化プロセス中に、レートと歪みとの間のバランス又はトレードオフは、通常、多くの場合、計算複雑性の制約を与えるものと考えられる。レート歪み最適化（Rate Distortion Optimization、ＲＤＯ）メトリックを通して、あるいは最小二乗平均（Least Mean Square、ＬＭＳ）、絶対誤差平均（Mean of Absolute Errors、ＭＡＥ）、又は他のこのような測定を通して、これを測定することができる。レート歪み最適化は、通常、レートと歪みとの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、異なるアプローチがある。例えば、これらのアプローチは、全ての考慮されるモード又は符号化パラメータ値を含む全ての符号化オプションの広範なテストに基づき得、それらの符号化コスト、並びに符号化及び復号後の再構成された信号の関連する歪みの完全な評価を伴う。符号化複雑性を抑えるために、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算とともに、より素早い手法を使用することもできる。考えられる符号化選択肢の一部のみに対して近似歪みを使用し、他の符号化選択肢に対しては完全な歪みを使用することなどによって、これらの２つの手法の混合を使用することもできる。他の手法では、考えられる符号化選択肢部分集合のみを評価する。より一般的には、多くのアプローチは、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしもコード化コスト及び関連する歪みの両方の完全な評価ではない。

【0117】

本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも（例えば、方法としてのみ考察される）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。方法は、例えば、プロセッサにおいて実施することができ、プロセッサとは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型／携帯情報端末（portable/personal digital assistant、「ＰＤＡ」）及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。

【0118】

「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、またそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、また他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。

【0119】

加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。

【0120】

更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。

【0121】

加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。

【0122】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ（A and/or B）」及び「Ａ及びＢのうちの少なくとも１つ（at least one of A and B）」の場合、次の「／」、「及び／又は（and/or）」、及び「のうちの少なくとも１つ（at least one of）」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ（A,B,and/or C）」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ（at least one of A,B,and C）」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。

【0123】

また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、複数の変換、符号化モード又はフラグのうちの特定の１つをシグナリングする。このように、ある実施形態では、同じ変換、パラメータ又はモードが、エンコーダ側及びデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる（明確なシグナリング）。これに対し、デコーダがすでにその特定のパラメータとともに他のパラメータも有する場合は、単にデコーダがその特定のパラメータを知ること、及びそれを選択することを可能にするように、送信を行わないシグナリング（暗黙的なシグナリング）を使用することができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることが理解されよう。例えば、１つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。

【0124】

当業者には明白であるように、実装形態は、例えば、格納され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、記載の実施形態のビットストリームを搬送するように、信号をフォーマットすることができる。例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に格納することができる。

【0125】

前述のセクションは、様々な請求項のカテゴリ及びタイプにわたって、いくつかの実施形態を説明している。これらの実施形態の特徴は、単独で、又は任意の組み合わせで提供することができる。更に、実施形態は、様々な特許請求の範疇及びタイプにわたって、以下の特徴、デバイス、又は態様のうちの１つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる。
・少なくとも第１及び第２のコーディングツールがビデオブロック上で使用され得ることをシグナリングし、当該第１及び第２のコーディングツールを使用してビデオブロックを符号化する。
・ビデオビットストリームを解析して、ビデオブロックのための少なくとも第１及び第２の復号ツールを決定し、当該ビデオブロック上で使用されるべき当該少なくとも第１及び第２のコーディングツールを使用してビデオブロックを復号する。
・テンプレートマッチング予測を含む第１のコーディング／復号ツールと、行列イントラ予測、イントラサブ分割、低周波非分離可能変換、多重変換選択、及びイントラサブ分割のうちの１つを含む第２のコーディング／復号ツールとを有する上記実施形態のいずれか。
・予測信号として使用するために単一マッチングブロックを使用する上記実施形態のいずれか。
・可変又は固定探索範囲を使用する上記実施形態のいずれか。
・テンプレートマッチングのフラグをシグナリングするＣＡＢＡＣのコンテキスト導出を伴う上記実施形態のいずれか。
・ＴＭＰを使用するサイズを有するコーディングユニットを有する上記実施形態のいずれも可変であり得る。
・冗長シグナリングが除去された上記実施形態のいずれか。
・現在のコーディングツリーユニットの外部の探索範囲を有する上記実施形態のいずれか。
・異なる参照領域を使用するＩＢＣ及びＴＭＰを有する上記実施形態のいずれか。
・非アクティブ化を示すためにＴＭＰ用の一般的制約フラグを使用する。
・平面モードに対応するＬＦＮＳＴ変換カーネルが使用されるＴＭＰを使用する。
・テンプレートマッチング予測による多重変換選択を許容しない。
・ルーマ成分及びクロマ成分のためにＴＭＰを使用し、シンタックスが、ルーマ成分とクロマ成分の両方のためのＴＭＰの使用をシグナリングするために使用される。
・クロマ成分のために使用されるマッチングブロックの同じ位置を有するルーマ成分に対するテンプレートマッチングを使用する。
・コーディングツリーユニットの内部及び外部の予測候補を許容する。
・テンプレート差分の計算にＳＩＭＤを使用する。
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号。
・記載される実施形態のうちのいずれかに従って生成される情報を運ぶシンタックスを含むビットストリーム又は信号。
・記載される実施形態のいずれかにより、作り出しかつ／又は送信しかつ／又は受信しかつ／又は復号する。
・記載される実施形態のいずれかによる、方法、プロセス、装置、命令を格納する媒体、データを記憶する媒体、又は信号。
・エンコーダによって使用されることに対応する様態で、デコーダが復号情報を決定することを可能にするシンタックス要素をシグナリングに挿入する。
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を作り出しかつ／又は送信しかつ／又受信しかつ／又は復号する。
・記載される実施形態のいずれかによる、変換方法を行う、テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイス。
・記載される実施形態のいずれかにより、変換方法判定を下し、結果としてもたらされた画像を表示する（例えば、モニタ、スクリーン、などのタイプのディスプレイを使用して）表示する、テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイス。
・符号化済み画像を含む信号を受信するように、チャネルを選択し、帯域制限し、又はチューニングし（例えば、チューナを使用して）、記載される実施形態のいずれかにより変換方法を行う、テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化済み画像を含む信号を放送全体にわたって受信し、変換方法を行う、ＴＶ、セットトップボックス、携帯電話、タブレット、又はそれ以外の電子デバイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2023-03-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

方法であって、
少なくとも第１及び第２のコーディングツールがビデオブロック上で使用されることをシグナリングすることと、
前記第１及び第２のコーディングツールを使用して前記ビデオブロックを符号化することと、を含み、
テンプレートマッチング予測が使用され、平面モードに対応するＬＦＮＳＴ変換カーネルが使用されるか、又はテンプレートマッチング予測が使用され、多重変換選択フラグがシグナリングされず、変換選択がブロック寸法から決定される、方法。

【請求項2】

装置であって、
プロセッサを備え、前記プロセッサは、
少なくとも第１及び第２のコーディングツールがビデオブロック上で使用されることをシグナリングし、かつ
前記第１及び第２のコーディングツールを使用して前記ビデオブロックを符号化するように構成されており、
テンプレートマッチング予測が使用され、平面モードに対応するＬＦＮＳＴ変換カーネルが使用されるか、又はテンプレートマッチング予測が使用され、多重変換選択フラグがシグナリングされず、変換選択がブロック寸法から決定される、装置。

【請求項3】

方法であって、
ビデオブロックのための少なくとも第１及び第２の復号ツールを決定するためにビデオビットストリームを解析することと、
前記ビデオブロックに対して使用されるべき前記少なくとも第１及び第２のコーディングツールを使用して前記ビデオブロックを復号することと、を含み、
テンプレートマッチング予測が使用され、平面モードに対応するＬＦＮＳＴ変換カーネルが使用されるか、又はテンプレートマッチング予測が使用され、多重変換選択フラグがシグナリングされず、変換選択がブロック寸法から決定される、方法。

【請求項4】

装置であって、
プロセッサを備え、前記プロセッサは、
ビデオブロックのための少なくとも第１及び第２の復号ツールを決定するためにビデオビットストリームを解析し、かつ
前記ビデオブロックに対して使用されるべき前記少なくとも第１及び第２のコーディングツールを使用して前記ビデオブロックを復号するように構成されており、
テンプレートマッチング予測が使用され、平面モードに対応するＬＦＮＳＴ変換カーネルが使用されるか、又はテンプレートマッチング予測が使用され、多重変換選択フラグがシグナリングされず、変換選択がブロック寸法から決定される、装置。

【請求項5】

一般的な制約フラグが、非アクティブ化を示すためにＴＭＰに使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項6】

平面モードに対応するＬＦＮＳＴ変換カーネルが使用される場合、ＴＭＰが使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項7】

テンプレートマッチング予測による多重変換選択を許容しない、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項8】

ＴＭＰは、ルーマ成分及びクロマ成分のために使用され、シンタックスは、ルーマ成分とクロマ成分の両方のためのＴＭＰの使用をシグナリングするために使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項9】

テンプレートマッチングは、ルーマ成分に対して使用され、マッチングブロックの同じ位置は、クロマ成分に使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項10】

コーディングツリーユニットの内部及び外部からの予測候補が許容される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【請求項11】

テンプレート差分の計算にＳＩＭＤが使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。

【国際調査報告】