特表 2024-514081 ビデオコーディングのためのイントラモード依存多重変換選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-28

(54)【発明の名称】ビデオコーディングのためのイントラモード依存多重変換選択

(51)【国際特許分類】

   H04N 19/12 20140101AFI20240321BHJP

   H04N 19/136 20140101ALI20240321BHJP

   H04N 19/157 20140101ALI20240321BHJP

   H04N 19/159 20140101ALI20240321BHJP

【ＦＩ】

H04N19/12

H04N19/136

H04N19/157

H04N19/159

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023559794

(86)(22)【出願日】2022-04-12

(85)【翻訳文提出日】2023-09-27

(86)【国際出願番号】 US2022071669

(87)【国際公開番号】W WO2022221829

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】63/173,884

(32)【優先日】2021-04-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/223,377

(32)【優先日】2021-07-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/658,803

(32)【優先日】2022-04-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】バッパディトヤ・レイ

(72)【発明者】

【氏名】ムハンマド・ゼイド・コバン

(72)【発明者】

【氏名】ルイス・ジョゼフ・ケロフスキー

(72)【発明者】

【氏名】ヴァディム・セレジン

(72)【発明者】

【氏名】マルタ・カルチェヴィチ

(72)【発明者】

【氏名】ケミン・カオ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159TA37

5C159TB08

5C159TC24

5C159TC26

(57)【要約】

ビデオデータを復号するための例示的なデバイスは、ビデオデータを記憶するように構成されたメモリと、回路において実装される1つまたは複数のプロセッサであって、ビデオデータの現在のブロックのサイズを決定することと、ビデオデータの現在のブロックのためのイントラ予測モードを決定することと、決定されたイントラ予測モードを含むモードグループを決定することであって、モードグループが、イントラ予測モードのそれぞれのセットを各々が含む複数のモードグループのうちの1つである、ことと、現在のブロックのためのサイズおよびイントラ予測モードに従って、現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定することと、決定されたモードグループに従って、利用可能なMTS方式のセットからMTS方式を決定することと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成することと、残差ブロックを使用して現在のブロックを復号することとを行うように構成された1つまたは複数のプロセッサとを含む。

【特許請求の範囲】

【請求項1】

ビデオデータを復号する方法であって、
ビデオデータの現在のブロックのサイズを決定するステップと、
ビデオデータの前記現在のブロックのためのイントラ予測モードを決定するステップと、
決定された前記イントラ予測モードを含むモードグループを決定するステップであって、前記モードグループが、複数のモードグループのうちの1つであり、前記複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードが前記モードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ステップと、
前記現在のブロックのための前記サイズおよび前記イントラ予測モードに従って、前記現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定するステップであって、前記利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ステップと、
決定された前記モードグループに従って、前記利用可能なMTS方式のセットからMTS方式を決定するステップと、
前記MTS方式の変換を前記現在のブロックの変換ブロックに適用して、前記現在のブロックのための残差ブロックを生成するステップと、
前記残差ブロックを使用して前記現在のブロックを復号するステップと
を含む方法。

【請求項2】

前記複数のモードグループが、イントラ予測モード0および1を含む第1のモードグループと、イントラ予測モード2から12を含む第2のグループと、イントラ予測モード13から23を含む第3のグループと、イントラ予測モード24から34を含む第4のグループと、行列イントラ予測(MIP)モードを含む第5のグループとを含む、請求項1に記載の方法。

【請求項3】

前記現在のブロックの前記サイズが前記現在のブロックの幅および前記現在のブロックの高さを含み、前記現在のブロックの前記サイズがサイズグループに含まれる、請求項1に記載の方法。

【請求項4】

前記現在のブロックの前記サイズグループが、4×4、4×8、4×16、4×N、8×4、8×8、8×16、8×N、16×4、16×8、16×16、16×N、N×4、N×8、N×16、N×Nを含む複数のサイズグループのうちの1つから選択され、Nが2の整数べき乗であり、16よりも大きい、請求項3に記載の方法。

【請求項5】

前記現在のブロックの前記サイズに従って、利用可能なMTS方式のセットを決定する前記ステップが、前記現在のブロックのための前記サイズグループに従って、前記利用可能なMTS方式のセットを決定するステップを含む、請求項4に記載の方法。

【請求項6】

前記利用可能なMTS方式のセットのうちの前記MTS方式を表すMTSインデックス値を復号するステップをさらに含み、MTS方式を決定する前記ステップが、前記MTSインデックス値を使用して前記MTS方式を決定するステップを含む、請求項1に記載の方法。

【請求項7】

前記MTSインデックス値が、両端値を含む0から3までの値を有し、前記MTS方式の複数のセットが、
{ 17, 18, 23, 24}、
{ 3, 7, 18, 22}、
{ 2, 17, 18, 22}、
{ 3, 15, 17, 18}、
{ 3, 12, 18, 19}、
{ 12, 18, 19, 23}、
{ 2, 12, 17, 18}、
{ 2, 17, 18, 22}、
{ 2, 11, 17, 18}、
{ 12, 18, 19, 23}、
{ 12, 13, 16, 24}、
{ 2, 11, 16, 23}、
{ 2, 13, 17, 22}、
{ 2, 11, 17, 21}、
{ 13, 16, 19, 22}、
{ 7, 12, 13, 18}、
{ 1, 11, 12, 16}、
{ 3, 13, 17, 22}、
{ 1, 6, 12, 22}、
{ 12, 13, 15, 16}、
{ 18, 19, 23, 24}、
{ 2, 17, 18, 24}、
{ 3, 4, 17, 22}、
{ 12, 18, 19, 23}、
{ 12, 18, 19, 23}、
{ 6, 12, 18, 24}、
{ 2, 6, 12, 21}、
{ 1, 11, 17, 22}、
{ 3, 11, 16, 17}、
{ 8, 12, 19, 23}、
{ 7, 13, 16, 23}、
{ 1, 6, 11, 12}、
{ 1, 11, 17, 21}、
{ 6, 11, 17, 21}、
{ 8, 11, 14, 17}、
{ 6, 11, 12, 21}、
{ 1, 6, 11, 12}、
{ 2, 6, 11, 12}、
{ 1, 6, 11, 21}、
{ 7, 11, 12, 16}、
{ 8, 12, 19, 24}、
{ 1, 13, 18, 22}、
{ 2, 6, 17, 21}、
{ 11, 12, 16, 19}、
{ 8, 12, 17, 24}、
{ 6, 12, 19, 21}、
{ 6, 12, 13, 21}、
{ 2, 16, 17, 21}、
{ 6, 17, 19, 23}、
{ 6, 12, 14, 17}、
{ 6, 7, 11, 21}、
{ 1, 11, 12, 16}、
{ 1, 6, 11, 12}、
{ 6, 11, 12, 21}、
{ 7, 8, 9, 11}、
{ 6, 7, 11, 12}、
{ 6, 7, 11, 12}、
{ 1, 11, 12, 16}、
{ 6, 11, 17, 21}、
{ 6, 7, 11, 12}、
{ 12, 14, 18, 21}、
{ 1, 11, 16, 22}、
{ 1, 11, 16, 22}、
{ 7, 13, 15, 16}、
{ 1, 8, 12, 19}、
{ 6, 7, 9, 12}、
{ 2, 6, 12, 13}、
{ 1, 12, 16, 21}、
{ 7, 11, 16, 19}、
{ 7, 8, 11, 12}、
{ 6, 7, 11, 12}、
{ 6, 7, 11, 12}、
{ 1, 6, 11, 12}、
{ 6, 7, 11, 16}、
{ 6, 7, 11, 12}、
{ 6, 7, 11, 12}、
{ 6, 11, 12, 21}、
{ 1, 6, 11, 12}、
{ 6, 7, 11, 12}、
{ 6, 7, 11, 12}
を含み、
前記MTSインデックスが、
{ DCT8, DCT8 }、{ DCT8, DST7 }、{ DCT8, DCT5 }、{ DCT8, DST4 }、{DCT8, DST1}、
{ DST7, DCT8 }、{ DST7, DST7 }、{ DST7, DCT5 }、{ DST7, DST4 }、{DST7, DST1}、
{ DCT5, DCT8 }、{ DCT5, DST7 }、{ DCT5, DCT5 }、{ DCT5, DST4 }、{DCT5, DST1}、
{ DST4, DCT8 }、{ DST4, DST7 }、{ DST4, DCT5 }、{ DST4, DST4 }、{DST4, DST1}、
{ DST1, DCT8 }、{ DST1, DST7 }、{ DST1, DCT5 }、{ DST1, DST4 }、{DST1, DST1}
に従って、前記利用可能なMTS方式のセットの変換ペアを示す、請求項6に記載の方法。

【請求項8】

前記MTS方式の複数のセットの各々が、4つのそれぞれの変換ペア選択肢を含む、請求項1に記載の方法。

【請求項9】

前記現在のブロックの形状に従って、前記利用可能なMTS方式のセットにおける変換ペア選択肢の数を決定するステップをさらに含む、請求項1に記載の方法。

【請求項10】

前記現在のブロックの量子化パラメータに従って、前記利用可能なMTS方式のセットにおける変換ペア選択肢の数を決定するステップをさらに含む、請求項1に記載の方法。

【請求項11】

前記現在のブロックが第1のブロックを含み、前記MTS方式が水平変換と垂直変換とを含む変換ペアを含み、前記第1のブロックがW×Hのサイズを有し、WがHに等しくなく、前記イントラ予測モードがI₁を含み、角度イントラ予測モードであり、
前記方法が、
第2のブロックがH×Wのサイズを有すると決定するステップと、
前記第2のブロックが(68-I₁)のイントラ予測モードを有すると決定するステップと、
前記第2のブロックのための前記H×Wのサイズおよび前記(68-I₁)のイントラ予測モードに従って、前記第2のブロックのための前記利用可能なMTS方式のセットを決定するステップと、
前記第2のブロックのための前記MTS方式を決定するステップと、
垂直変換としての前記MTS方式の前記水平変換を前記第2のブロックに適用するステップと、
水平変換としての前記MTS方式の前記垂直変換を前記第2のブロックに適用するステップと
さらに含む、請求項1に記載の方法。

【請求項12】

前記現在のブロックが第1のブロックを含み、前記MTS方式が水平変換と垂直変換とを含む変換ペアを含み、前記第1のブロックがW×Hのサイズを有し、WがHに等しくなく、前記イントラ予測モードが第1の転置フラグ値を有する行列イントラ予測(MIP)モードを含み、
前記方法が、
第2のブロックがH×Wのサイズを有すると決定するステップと、
前記第2のブロックのためのイントラ予測モードが前記第1の転置フラグ値とは異なる第2の転置フラグ値を有するMIPイントラ予測モードであると決定するステップと、
前記第2のブロックのための前記H×Wのサイズおよび前記第2の転置フラグ値を有する前記MIPイントラ予測モードに従って、前記第2のブロックのための前記利用可能なMTS方式のセットを決定するステップと、
前記利用可能なMTS方式のセットから前記第2のブロックのための前記MTS方式を決定するステップと、
垂直変換としての前記MTS方式の前記水平変換を前記第2のブロックに適用するステップと、
水平変換としての前記MTS方式の前記垂直変換を前記第2のブロックに適用するステップと
さらに含む、請求項1に記載の方法。

【請求項13】

前記現在のブロックがデコーダ側イントラモード導出および融合イントラ予測(DIMD)モードを使用してコーディングされるとき、前記イントラ予測モードに従って、利用可能なMTS方式のセットを決定する前記ステップが、前記DIMDモードを使用して決定された優勢な角度モードに従って、前記利用可能なMTS方式のセットを決定するステップを含む、請求項1に記載の方法。

【請求項14】

前記優勢な角度モードが、最も高い重みを有するモードを含む、請求項13に記載の方法。

【請求項15】

前記現在のブロックがデコーダ側イントラモード導出および融合イントラ予測(DIMD)モードを使用してコーディングされるとき、前記イントラ予測モードに従って、利用可能なMTS方式のセットを決定する前記ステップが、2つの角度モード値の間の差がしきい値よりも大きいかどうかを決定するステップを含み、
前記差が前記しきい値よりも大きいとき、イントラ予測モードを決定する前記ステップが、前記利用可能なMTS方式のセットを決定するときに前記イントラ予測モードを平面モードであるものとして決定するステップを含むか、または、
前記差が前記しきい値よりも小さいかまたはそれに等しいとき、イントラ予測モードを決定する前記ステップが、前記イントラ予測モードを前記DIMDモードを使用して決定された優勢な角度モードであるものとして決定するステップを含む、請求項1に記載の方法。

【請求項16】

前記イントラ予測モードが広角イントラ予測モードを含むとき、前記イントラ予測モードに従って、利用可能なMTS方式のセットを決定するステップが、前記広角イントラ予測モードの角度に最も近い角度を有する従来のイントラ予測モードに従って、前記利用可能なMTS方式のセットを決定するステップを含む、請求項1に記載の方法。

【請求項17】

前記現在のブロックのための前記サイズおよび前記イントラ予測モードに従って、利用可能なMTS方式のセットを決定するステップが、以下の表に従って、前記利用可能なMTS方式のセットを決定するステップを含み、

【表1】

Nが、32に等しいかまたはそれよりも大きい整数値である、請求項1に記載の方法。

【請求項18】

イントラ予測モードを決定する前記ステップが、テンプレートベースのイントラモード導出(TIMD)モードに従って、前記イントラ予測モードを決定するステップを含む、請求項1に記載の方法。

【請求項19】

前記TIMDモードが2つのイントラ予測モードの融合を使用するとき、利用可能なMTS方式のセットを決定する前記ステップが、前記2つのイントラ予測モードのうちの優勢なイントラ予測モードに従って、前記利用可能なMTS方式のセットを決定するステップを含む、請求項18に記載の方法。

【請求項20】

前記TIMDモードが2つのイントラ予測モードの融合を使用するとき、利用可能なMTS方式のセットを決定する前記ステップが、
前記2つのイントラ予測モードの間の差がしきい値よりも大きいとき、平面モードに従って、前記利用可能なMTS方式のセットを決定するステップ、または、
前記2つのイントラ予測モードの間の前記差が前記しきい値よりも小さいかまたはそれに等しいとき、前記2つのイントラ予測モードのうちの優勢なイントラ予測モードに従って、前記利用可能なMTS方式のセットを決定するステップ
を含む、請求項18に記載の方法。

【請求項21】

前記優勢なイントラ予測モードが、より低いひずみをもたらす前記2つのイントラ予測モードのうちの前記イントラ予測モードを含む、請求項20に記載の方法。

【請求項22】

利用可能なMTS方式のセットを決定する前記ステップが、拡大されたイントラ予測モード角度を利用可能なMTS方式のセットにマッピングするテーブルに従って、前記利用可能なMTS方式のセットを決定するステップを含む、請求項20に記載の方法。

【請求項23】

前記現在のブロックを復号する前記ステップが、
前記イントラ予測モードを使用して前記現在のブロックのための予測ブロックを形成するステップと、
前記予測ブロックのサンプルを前記残差ブロックの対応するサンプルに加えるステップと
を含む、請求項1に記載の方法。

【請求項24】

前記現在のブロックを復号する前に前記現在のブロックを符号化するステップをさらに含む、請求項1に記載の方法。

【請求項25】

ビデオデータを復号するためのデバイスであって、
ビデオデータを記憶するように構成されたメモリと、
回路において実装される1つまたは複数のプロセッサであって、
ビデオデータの現在のブロックのサイズを決定することと、
ビデオデータの前記現在のブロックのためのイントラ予測モードを決定することと、
決定された前記イントラ予測モードを含むモードグループを決定することであって、前記モードグループが、複数のモードグループのうちの1つであり、前記複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードが前記モードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ことと、
前記現在のブロックのための前記サイズおよび前記イントラ予測モードに従って、前記現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定することであって、前記利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ことと、
決定された前記モードグループに従って、前記利用可能なMTS方式のセットからMTS方式を決定することと、
前記MTS方式の変換を前記現在のブロックの変換ブロックに適用して、前記現在のブロックのための残差ブロックを生成することと、
前記残差ブロックを使用して前記現在のブロックを復号することと
を行うように構成された1つまたは複数のプロセッサと
を備えるデバイス。

【請求項26】

前記複数のモードグループが、イントラ予測モード0および1を含む第1のモードグループと、イントラ予測モード2から12を含む第2のグループと、イントラ予測モード13から23を含む第3のグループと、イントラ予測モード24から34を含む第4のグループと、行列イントラ予測(MIP)モードを含む第5のグループとを含む、請求項25に記載のデバイス。

【請求項27】

前記現在のブロックの前記サイズが前記現在のブロックの幅および前記現在のブロックの高さを含み、前記現在のブロックの前記サイズがサイズグループに含まれる、請求項25に記載のデバイス。

【請求項28】

前記1つまたは複数のプロセッサが、前記利用可能なMTS方式のセットのうちの前記MTS方式を表すMTSインデックス値を復号するようにさらに構成され、前記1つまたは複数のプロセッサが、前記MTSインデックス値を使用して前記MTS方式を決定するように構成される、請求項25に記載のデバイス。

【請求項29】

前記現在のブロックが第1のブロックを含み、前記MTS方式が水平変換と垂直変換とを含む変換ペアを含み、前記第1のブロックがW×Hのサイズを有し、WがHに等しくなく、前記イントラ予測モードがI₁を含み、角度イントラ予測モードであり、
前記1つまたは複数のプロセッサが、
第2のブロックがH×Wのサイズを有すると決定することと、
前記第2のブロックが(68-I₁)のイントラ予測モードを有すると決定することと、
前記第2のブロックのための前記H×Wのサイズおよび前記(68-I₁)のイントラ予測モードに従って、前記第2のブロックのための前記利用可能なMTS方式のセットを決定することと、
前記第2のブロックのための前記MTS方式を決定することと、
垂直変換としての前記MTS方式の前記水平変換を前記第2のブロックに適用することと、
水平変換としての前記MTS方式の前記垂直変換を前記第2のブロックに適用することと
を行うようにさらに構成される、請求項25に記載のデバイス。

【請求項30】

前記現在のブロックが第1のブロックを含み、前記MTS方式が水平変換と垂直変換とを含む変換ペアを含み、前記第1のブロックがW×Hのサイズを有し、WがHに等しくなく、前記イントラ予測モードが第1の転置フラグ値を有する行列イントラ予測(MIP)モードを含み、
前記1つまたは複数のプロセッサが、
第2のブロックがH×Wのサイズを有すると決定することと、
前記第2のブロックのためのイントラ予測モードが前記第1の転置フラグ値とは異なる第2の転置フラグ値を有するMIPイントラ予測モードであると決定することと、
前記第2のブロックのための前記H×Wのサイズおよび前記第2の転置フラグ値を有する前記MIPイントラ予測モードに従って、前記第2のブロックのための前記利用可能なMTS方式のセットを決定することと、
前記利用可能なMTS方式のセットから前記第2のブロックのための前記MTS方式を決定することと、
垂直変換としての前記MTS方式の前記水平変換を前記第2のブロックに適用することと、
水平変換としての前記MTS方式の前記垂直変換を前記第2のブロックに適用することと
を行うようにさらに構成される、請求項25に記載のデバイス。

【請求項31】

前記1つまたは複数のプロセッサが、前記現在のブロックを復号する前に前記現在のブロックを符号化するようにさらに構成される、請求項25に記載のデバイス。

【請求項32】

復号された前記ビデオデータを表示するように構成されたディスプレイをさらに備える、請求項25に記載のデバイス。

【請求項33】

前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を含む、請求項25に記載のデバイス。

【請求項34】

ビデオデータを復号するためのデバイスであって、
ビデオデータの現在のブロックのサイズを決定するための手段と、
ビデオデータの前記現在のブロックのためのイントラ予測モードを決定するための手段と、
決定された前記イントラ予測モードを含むモードグループを決定するための手段であって、前記モードグループが、複数のモードグループのうちの1つであり、前記複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードが前記モードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、手段と、
前記現在のブロックのための前記サイズおよび前記イントラ予測モードに従って、前記現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定するための手段であって、前記利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、手段と、
決定された前記モードグループに従って、前記利用可能なMTS方式のセットからMTS方式を決定するための手段と、
前記MTS方式の変換を前記現在のブロックの変換ブロックに適用して、前記現在のブロックのための残差ブロックを生成するための手段と、
前記残差ブロックを使用して前記現在のブロックを復号するための手段と
を備えるデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、2022年4月11日に出願された米国特許出願第17/658,803号、ならびに2021年4月12日に出願された米国仮出願第63/173,884号、および2021年7月19日に出願された米国仮出願第63/223,377号の優先権を主張し、それらの出願の各々の内容全体は、参照により本明細書に組み込まれる。2022年4月11日に出願された米国特許出願第17/658,803号は、2021年4月12日に出願された米国仮出願第63/173,884号、および2021年7月19日に出願された米国仮出願第63/223,377号の利益を主張する。

【0002】

本開示は、ビデオ符号化およびビデオ復号を含むビデオコーディングに関する。

【背景技術】

【0003】

デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラーまたは衛星ラジオ電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4, Part 10、アドバンストビデオコーディング(AVC)、ITU-T H.265/高効率ビデオコーディング(HEVC)、ITU-T H.266/多用途ビデオコーディング(VVC)によって定義された規格、およびそのような規格の拡張に記載されている技法などの、ビデオコーディング技法、ならびにAlliance for Open Mediaによって開発されたAOMedia Video 1(AV1)などのプロプライエタリビデオコーデック/フォーマットを実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。

【0004】

ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス(たとえば、ビデオピクチャまたはビデオピクチャの一部分)は、ビデオブロックに区分されてもよく、ビデオブロックは、コーディングツリーユニット(CTU)、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

【発明の概要】

【課題を解決するための手段】

【0005】

一般に、本開示は、ビデオコーディングのための多重変換選択(MTS)方式を選択するための技法について説明する。ビデオコーダは、ピクチャをブロックに区分し、各ブロックを別々にコーディングし得る。コーディングは、一般に、予測モードに従って予測ブロックを形成し、残差ブロックをコーディングすることを含み、残差ブロックは、予測ブロックと実際のブロックとの間の差を表す。ビデオエンコーダは変換を残差ブロックに適用し得るが、ビデオデコーダは残差ブロックを再生するために逆変換を変換ブロックに適用し得る。MTS方式は、水平変換と垂直変換とを含む、残差ブロックコーディング中に適用される多重変換を含む。本開示の技法によれば、ビデオコーダは、ブロックのサイズおよびブロックのためのイントラ予測モードに従ってMTS方式を選択するように構成され得る。

【0006】

いくつかの例では、ビデオコーダは、ブロックのサイズを含むサイズグループに従ってMTS方式を決定し得る。たとえば、サイズグループは、ブロックサイズの範囲であり得る。ビデオコーダは、各々が異なるMTS方式に対応する、様々な異なるサイズグループで構成され得る。追加または代替として、いくつかの例では、ビデオコーダは、現在のブロックのためのイントラ予測モードを含むモードグループに従ってMTS方式を決定し得る。たとえば、モードグループは、イントラ予測モードのセットであり得る。ビデオコーダは、各々が異なるMTS方式に対応する、様々な異なるモードグループで構成され得る。いくつかの例では、ビデオコーダは、MTS方式を選択するためにサイズ対称性を適用し得る。たとえば、M×Nのサイズ(MおよびNは等しくない整数値であり、方向イントラ予測モードを使用して予測される)は、MTS方式にマッピングされてもよく、ビデオコーダは、対称の方向イントラ予測モードを使用して予測されるN×Mブロックについて同じMTS方式を選択するように構成されてもよい。

【0007】

一例では、ビデオデータを復号する方法は、ビデオデータの現在のブロックのサイズを決定するステップと、ビデオデータの現在のブロックのためのイントラ予測モードを決定するステップと、決定されたイントラ予測モードを含むモードグループを決定するステップであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ステップと、現在のブロックのためのサイズおよびイントラ予測モードに従って、現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定するステップであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ステップと、決定されたモードグループに従って、利用可能なMTS方式のセットからMTS方式を決定するステップと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成するステップと、残差ブロックを使用して現在のブロックを復号するステップとを含む。

【0008】

別の例では、ビデオデータを復号する(および場合によっては符号化もする)ためのデバイスは、ビデオデータを記憶するように構成されたメモリと、回路において実装される1つまたは複数のプロセッサであって、ビデオデータの現在のブロックのサイズを決定することと、ビデオデータの現在のブロックのためのイントラ予測モードを決定することと、決定されたイントラ予測モードを含むモードグループを決定することであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ことと、現在のブロックのためのサイズおよびイントラ予測モードに従って、現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定することであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ことと、決定されたモードグループに従って、利用可能なMTS方式のセットからMTS方式を決定することと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成することと、残差ブロックを使用して現在のブロックを復号することとを行うように構成された1つまたは複数のプロセッサとを含み得る。

【0009】

別の例では、コンピュータ可読記憶媒体は命令を記憶しており、命令は、実行されると、ビデオデータを復号するためのデバイスのプロセッサに、ビデオデータの現在のブロックのサイズを決定することと、ビデオデータの現在のブロックのためのイントラ予測モードを決定することと、決定されたイントラ予測モードを含むモードグループを決定することであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ことと、現在のブロックのためのサイズおよびイントラ予測モードに従って、現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定することであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ことと、決定されたモードグループに従って、利用可能なMTS方式のセットからMTS方式を決定することと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成することと、残差ブロックを使用して現在のブロックを復号することとを行わせる。

【0010】

別の例では、ビデオデータを復号する(および場合によっては符号化もする)ためのデバイスは、ビデオデータの現在のブロックのサイズを決定するための手段と、ビデオデータの現在のブロックのためのイントラ予測モードを決定するための手段と、決定されたイントラ予測モードを含むモードグループを決定するための手段であって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、手段と、現在のブロックのためのサイズおよびイントラ予測モードに従って、現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定するための手段であって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、手段と、決定されたモードグループに従って、利用可能なMTS方式のセットからMTS方式を決定するための手段と、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成するための手段と、残差ブロックを使用して現在のブロックを復号するための手段とを含む。

【0011】

1つまたは複数の例の詳細が、添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0012】

【図1】本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図である。

【図2】通常角度イントラ予測モードおよび広角イントラ予測モードを示す概念図である。

【図3】行列イントラ予測(MIP:matrix intra-prediction)プロセスの一例を示す流れ図である。

【図4】デコーダ側イントラモード導出および融合イントラ予測(DIMD:decoder-side intra mode derivation and fused intra prediction)のための勾配計算についてのヒストグラムを構築する例を示す概念図である。

【図5】DIMDのための例示的な重み決定および予測ブロック生成プロセスを示す流れ図である。

【図6】融合を用いたテンプレートベースのイントラモード導出(TIMD:template-based intra mode derivation with fusion)に使用されるテンプレートおよび基準サンプルを示す概念図である。

【図7】本開示の技法を実行し得る例示的なビデオエンコーダを示すブロック図である。

【図8】本開示の技法を実行し得る例示的なビデオデコーダを示すブロック図である。

【図9】本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。

【図10】本開示の技法による、現在のブロックを復号するための例示的な方法を示すフローチャートである。

【図11】本開示の技法による、ビデオデータのブロックを復号する別の例示的な方法を示すフローチャートである。

【図12】本開示の技法による、ビデオデータのブロックを復号する別の例示的な方法を示すフローチャートである。

【図13】本開示の技法による、ビデオデータのブロックを復号する別の例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0013】

ビデオコーディング規格は、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual(MPEG-4 Part 2)、そのスケーラブルビデオコーディング(SVC)拡張とマルチビュービデオコーディング(MVC)拡張とを含むITU-T H.264(ISO/IEC MPEG-4 AVCとしても知られている)、およびその拡張を有するITU-T H.265(ISO/IEC MPEG-4 HEVC(高効率ビデオコーディング)としても知られている)を含む。ジョイントビデオエキスパートチーム(JVET)の2018年4月の会議中に、(ITU-T H.266としても知られている)多用途ビデオコーディング(VVC)の規格化活動が始まり、提案募集(Call for Proposals)に応答してビデオ圧縮技術の評価が提出された。

【0014】

一般に、本開示は、ビデオコーディングのための多重変換選択(MTS)方式を選択するための技法について説明する。ビデオコーダは、ピクチャをブロックに区分し、各ブロックを別々にコーディングし得る。コーディングは、一般に、予測モードに従って予測ブロックを形成し、残差ブロックをコーディングすることを含み、残差ブロックは、予測ブロックと実際のブロックとの間の差を表す。ビデオエンコーダは変換を残差ブロックに適用し得るが、ビデオデコーダは残差ブロックを再生するために逆変換を変換ブロックに適用し得る。MTS方式は、水平変換と垂直変換とを含む、残差ブロックコーディング中に適用される多重変換を含む。本開示の技法によれば、ビデオコーダは、ブロックのサイズおよびブロックのためのイントラ予測モードに従ってMTS方式を選択するように構成され得る。

【0015】

Saidら、「CE6.1.1: Extended AMT」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のジョイントビデオエキスパートチーム(JVET)、第11回会議: リュブリャナ、スロベニア、2018年7月10～18日、文書番号JVET-K0375-v2(以下では「JVET-K0375」)は、非正方形ブロックの最短辺のみを使用してMTS方式を決定するための例示的なプロセスを記載している。その結果、たとえば、16×4ブロックおよび4×4ブロックは、MTS決定目的では同じように扱われることになる。しかしながら、統計上、これらのブロックについてのそれぞれの残差特性は、これらのブロックが同じイントラ予測モードを使用する場合でも異なり得る。加えて、行列イントラ予測(MIP)モードは、方向イントラ予測モードと比較して異なる残差特性を有し得る。しかしながら、JVET-K0375は、MIPモード用の異なる変換セットを規定していない。本開示は、ブロックサイズにおける水平方向と垂直方向の両方を考慮し、可能なイントラ予測モードとしてMIPモードも考慮する、様々なサイズのブロックについての残差特性を利用し得るMTS方式を選択するための様々な技法について説明する。したがって、これらの技法は、ビデオ品質に悪影響を及ぼすことなしにビデオ圧縮を改善し得る。

【0016】

図1は、本開示の技法を実行し得る例示的なビデオ符号化および復号システム100を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディング(符号化および/または復号)することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工のコーディングされていないビデオ、符号化されたビデオ、復号された(たとえば、再構成された)ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。

【0017】

図1に示すように、システム100は、この例では、宛先デバイス116によって復号および表示されるべき、符号化されたビデオデータを提供するソースデバイス102を含む。具体的には、ソースデバイス102は、コンピュータ可読媒体110を介して宛先デバイス116にビデオデータを提供する。ソースデバイス102および宛先デバイス116は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、ブロードキャスト受信機デバイスなどを含む、広範囲にわたるデバイスのいずれかを備えてもよい。場合によっては、ソースデバイス102および宛先デバイス116は、ワイヤレス通信用に装備されることがあり、したがって、ワイヤレス通信デバイスと呼ばれることがある。

【0018】

図1の例では、ソースデバイス102は、ビデオソース104、メモリ106、ビデオエンコーダ200、および出力インターフェース108を含む。宛先デバイス116は、入力インターフェース122、ビデオデコーダ300、メモリ120、およびディスプレイデバイス118を含む。本開示によれば、ソースデバイス102のビデオエンコーダ200および宛先デバイス116のビデオデコーダ300は、現在のブロックのサイズおよび現在のブロックのためのイントラ予測モードに従って多重変換選択(MTS)方式を決定するための技法を適用するように構成され得る。したがって、ソースデバイス102はビデオ符号化デバイスの一例を表し、宛先デバイス116はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイス102は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス116は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

【0019】

図1に示すようなシステム100は一例にすぎない。一般に、任意のデジタルビデオ符号化および/または復号デバイスは、現在のブロックのサイズおよび現在のブロックのためのイントラ予測モードに従って多重変換選択(MTS)方式を決定するための技法を実行し得る。ソースデバイス102および宛先デバイス116は、ソースデバイス102が宛先デバイス116に送信するためのコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示は、データのコーディング(符号化および/または復号)を実行するデバイスを「コーディング」デバイスと呼ぶ。したがって、ビデオエンコーダ200およびビデオデコーダ300は、コーディングデバイス、具体的には、それぞれ、ビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス102および宛先デバイス116は、ソースデバイス102および宛先デバイス116の各々がビデオ符号化および復号構成要素を含むように実質的に対称的な方法で動作し得る。したがって、システム100は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ソースデバイス102と宛先デバイス116との間の一方向または双方向のビデオ送信をサポートし得る。

【0020】

一般に、ビデオソース104は、ビデオデータ(すなわち、未加工のコーディングされていないビデオデータ)のソースを表し、ビデオデータの連続した一連のピクチャ(「フレーム」とも呼ばれる)をビデオエンコーダ200に提供し、ビデオエンコーダ200は、ピクチャのためのデータを符号化する。ソースデバイス102のビデオソース104は、ビデオカメラ、以前にキャプチャされた未加工ビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース104は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ200は、キャプチャされた、事前にキャプチャされた、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ200は、受信された順序(「表示順序」と呼ばれることがある)からコーディング用のコーディング順序にピクチャを並べ替え得る。ビデオエンコーダ200は、符号化されたビデオデータを含むビットストリームを生成し得る。次いで、ソースデバイス102は、たとえば、宛先デバイス116の入力インターフェース122による受信および/または取出しのために、符号化されたビデオデータを出力インターフェース108を介してコンピュータ可読媒体110上に出力し得る。

【0021】

ソースデバイス102のメモリ106および宛先デバイス116のメモリ120は、汎用メモリを表す。いくつかの例では、メモリ106、120は、未加工ビデオデータ、たとえば、ビデオソース104からの未加工ビデオと、ビデオデコーダ300からの未加工の復号されたビデオデータとを記憶し得る。追加または代替として、メモリ106、120は、たとえば、それぞれ、ビデオエンコーダ200およびビデオデコーダ300によって実行可能なソフトウェア命令を記憶し得る。メモリ106およびメモリ120は、この例ではビデオエンコーダ200およびビデオデコーダ300とは別々に示されているが、ビデオエンコーダ200およびビデオデコーダ300は、機能的に同様のまたは等価な目的で内部メモリも含み得ることを理解されたい。さらに、メモリ106、120は、符号化されたビデオデータ、たとえば、ビデオエンコーダ200からの出力およびビデオデコーダ300への入力を記憶し得る。いくつかの例では、メモリ106、120の一部は、たとえば、未加工の、復号された、および/または符号化されたビデオデータを記憶するための、1つまたは複数のビデオバッファとして割り振られ得る。

【0022】

コンピュータ可読媒体110は、符号化されたビデオデータをソースデバイス102から宛先デバイス116にトランスポートすることが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体110は、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、ソースデバイス102が符号化されたビデオデータを宛先デバイス116にリアルタイムで直接送信することを可能にする通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース108が符号化されたビデオデータを含む送信信号を変調し得、入力インターフェース122が受信された送信信号を復調し得る。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路などの、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス102から宛先デバイス116への通信を容易にするために有用であり得る任意の他の機器を含み得る。

【0023】

いくつかの例では、ソースデバイス102は、符号化されたデータを出力インターフェース108から記憶デバイス112に出力し得る。同様に、宛先デバイス116は、入力インターフェース122を介して、記憶デバイス112からの符号化されたデータにアクセスし得る。記憶デバイス112は、ハードドライブ、ブルーレイディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体などの、様々な分散されたまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。

【0024】

いくつかの例では、ソースデバイス102は、符号化されたビデオデータを、ソースデバイス102によって生成された符号化されたビデオデータを記憶し得るファイルサーバ114または別の中間記憶デバイスに出力し得る。宛先デバイス116は、ストリーミングまたはダウンロードを介して、ファイルサーバ114からの記憶されたビデオデータにアクセスし得る。

【0025】

ファイルサーバ114は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス116に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ114は、(たとえば、ウェブサイト用の)ウェブサーバ、(ファイル転送プロトコル(FTP)または単方向トランスポートを介したファイル配信(FLUTE:File Delivery over Unidirectional Transport)プロトコルなどの)ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク(CDN)デバイス、ハイパーテキスト転送プロトコル(HTTP)サーバ、マルチメディアブロードキャストマルチキャストサービス(MBMS)もしくは拡張MBMS(eMBMS)サーバ、および/またはネットワークアタッチトストレージ(NAS)デバイスを表し得る。ファイルサーバ114は、追加または代替として、動的適応ストリーミングオーバーHTTP(DASH:Dynamic Adaptive Streaming over HTTP)、HTTPライブストリーミング(HLS:HTTP Live Streaming)、リアルタイムストリーミングプロトコル(RTSP:Real Time Streaming Protocol)、HTTP動的ストリーミング(HTTP Dynamic Streaming)などの1つまたは複数のHTTPストリーミングプロトコルを実装し得る。

【0026】

宛先デバイス116は、インターネット接続を含む任意の標準的なデータ接続を通じて、ファイルサーバ114からの符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、ワイヤード接続(たとえば、デジタル加入者回線(DSL)、ケーブルモデムなど)、またはファイルサーバ114上に記憶された符号化されたビデオデータにアクセスするのに適した両方の組合せを含み得る。入力インターフェース122は、ファイルサーバ114からメディアデータを取り出すかもしくは受信するための上記で説明した様々なプロトコルまたはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか1つまたは複数に従って動作するように構成され得る。

【0027】

出力インターフェース108および入力インターフェース122は、ワイヤレス送信機/受信機、モデム、ワイヤードネットワーキング構成要素(たとえば、イーサネットカード)、様々なIEEE802.11規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース108および入力インターフェース122がワイヤレス構成要素を備える例では、出力インターフェース108および入力インターフェース122は、4G、4G-LTE(ロングタームエボリューション)、LTEアドバンスト、5Gなどのセルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース108がワイヤレス送信機を備えるいくつかの例では、出力インターフェース108および入力インターフェース122は、IEEE802.11仕様、IEEE802.15仕様(たとえば、ZigBee(商標))、Bluetooth(商標)規格などの他のワイヤレス規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス102および/または宛先デバイス116は、それぞれのシステムオンチップ(SoC)デバイスを含み得る。たとえば、ソースデバイス102は、ビデオエンコーダ200および/または出力インターフェース108に起因する機能を実行するためのSoCデバイスを含み得、宛先デバイス116は、ビデオデコーダ300および/または入力インターフェース122に起因する機能を実行するためのSoCデバイスを含み得る。

【0028】

本開示の技法は、オーバージエアテレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。

【0029】

宛先デバイス116の入力インターフェース122は、コンピュータ可読媒体110(たとえば、通信媒体、記憶デバイス112、ファイルサーバ114など)から、符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロックまたは他のコーディングされたユニット(たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど)の特性および/または処理を記述する値を有するシンタックス要素などの、ビデオエンコーダ200によって定義され、ビデオデコーダ300によっても使用されるシグナリング情報を含み得る。ディスプレイデバイス118は、復号されたビデオデータの復号されたピクチャをユーザに表示する。ディスプレイデバイス118は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなどの、様々なディスプレイデバイスのいずれかを表し得る。

【0030】

図1には示されていないが、いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は各々、オーディオエンコーダおよび/またはオーディオデコーダと統合されることがあり、共通のデータストリーム中のオーディオとビデオの両方を含む多重化されたストリームを処理するために、適切なMUX-DEMUXユニット、または他のハードウェアおよび/もしくはソフトウェアを含み得る。

【0031】

ビデオエンコーダ200およびビデオデコーダ300は各々、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなどの、様々な好適なエンコーダおよび/またはデコーダ回路のいずれかとして実装され得る。技法が部分的にソフトウェアにおいて実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェア用の命令を記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオエンコーダ200およびビデオデコーダ300の各々は、1つまたは複数のエンコーダまたはデコーダに含まれることがあり、それらのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(CODEC)の一部として統合されることがある。ビデオエンコーダ200および/またはビデオデコーダ300を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備え得る。

【0032】

ビデオエンコーダ200およびビデオデコーダ300は、高効率ビデオコーディング(HEVC)とも呼ばれるITU-T H.265などのビデオコーディング規格、またはマルチビューおよび/もしくはスケーラブルビデオコーディング拡張などのその拡張に従って動作し得る。代替として、ビデオエンコーダ200およびビデオデコーダ300は、多用途ビデオコーディング(VVC)とも呼ばれるITU-T H.266などの、他のプロプライエタリ規格または業界規格に従って動作し得る。他の例では、ビデオエンコーダ200およびビデオデコーダ300は、AOMedia Video 1(AV1)、AV1の拡張、および/またはAV1の後継バージョン(たとえば、AV2)などの、プロプライエタリビデオコーデック/フォーマットに従って動作し得る。他の例では、ビデオエンコーダ200およびビデオデコーダ300は、他のプロプライエタリフォーマットまたは業界規格に従って動作し得る。しかしながら、本開示の技法は、いかなる特定のコーディング規格またはフォーマットにも限定されない。一般に、ビデオエンコーダ200およびビデオデコーダ300は、現在のブロックのサイズおよび現在のブロックのためのイントラ予測モードに従って多重変換選択(MTS)方式を決定することを使用する本開示の技法を任意のビデオコーディング技法とともに実行するように構成され得る。

【0033】

一般に、ビデオエンコーダ200およびビデオデコーダ300は、ピクチャのブロックベースのコーディングを実行し得る。「ブロック」という用語は、一般に、処理される(たとえば、符号化および/または復号プロセスにおいて符号化される、復号される、または他の方法で使用される)べきデータを含む構造を指す。たとえば、ブロックは、ルミナンスおよび/またはクロミナンスデータのサンプルの2次元行列を含み得る。一般に、ビデオエンコーダ200およびビデオデコーダ300は、YUV(たとえば、Y、Cb、Cr)フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのための赤、緑、および青(RGB)データをコーディングするのではなく、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分およびクロミナンス成分をコーディングし得、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ200が、符号化に先立って、受信されたRGBフォーマットされたデータをYUV表現にコンバートし、ビデオデコーダ300が、YUV表現をRGBフォーマットにコンバートする。代替として、前処理ユニットおよび後処理ユニット(図示せず)が、これらのコンバージョンを実行し得る。

【0034】

本開示は、一般に、ピクチャのデータを符号化または復号するプロセスを含めるように、ピクチャのコーディング(たとえば、符号化および復号)に言及することがある。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセスを含めるように、ピクチャのブロックのコーディング、たとえば、予測および/または残差コーディングに言及することがある。符号化されたビデオビットストリームは、一般に、コーディング決定(たとえば、コーディングモード)およびブロックへのピクチャの区分を表すシンタックス要素のための一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、一般に、ピクチャまたはブロックを形成するシンタックス要素のためのコーディング値として理解されるべきである。

【0035】

HEVCは、コーディングユニット(CU)、予測ユニット(PU)、および変換ユニット(TU)を含む、様々なブロックを定義する。HEVCによれば、(ビデオエンコーダ200などの)ビデオコーダは、4分木構造に従ってコーディングツリーユニット(CTU)をCUに区分する。すなわち、ビデオコーダは、CTUおよびCUを4個の等しい重複しない正方形に区分し、4分木の各ノードは、0個または4個のいずれかの子ノードを有する。子ノードがないノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのCUは、1つもしくは複数のPUおよび/または1つもしくは複数のTUを含み得る。ビデオコーダはPUおよびTUをさらに区分し得る。たとえば、HEVCでは、残差4分木(RQT)はTUの区分を表す。HEVCでは、PUはインター予測データを表し、TUは残差データを表す。イントラ予測されるCUは、イントラモード指示などのイントラ予測情報を含む。

【0036】

別の例として、ビデオエンコーダ200およびビデオデコーダ300は、VVCに従って動作するように構成され得る。VVCによれば、(ビデオエンコーダ200などの)ビデオコーダは、ピクチャを複数のコーディングツリーユニット(CTU)に区分する。ビデオエンコーダ200は、4分木2分木(QTBT)構造またはマルチタイプツリー(MTT)構造などのツリー構造に従ってCTUを区分し得る。QTBT構造は、HEVCのCU、PU、およびTUの間の区別などの、複数の区分タイプの概念を排除する。QTBT構造は、2つのレベル、すなわち、4分木区分に従って区分された第1のレベルおよび2分木区分に従って区分された第2のレベルを含む。QTBT構造のルートノードは、CTUに対応する。2分木のリーフノードは、コーディングユニット(CU)に対応する。

【0037】

MTT区分構造では、ブロックは、4分木(QT)区分、2分木(BT)区分、および1つまたは複数のタイプの3分木(TT:triple tree)(3分木(TT:ternary tree)とも呼ばれる)区分を使用して区分され得る。3分木(triple tree)または3分木(ternary tree)区分は、ブロックが3つのサブブロックに分割される区分である。いくつかの例では、3分木(triple tree)または3分木(ternary tree)区分は、中心を通って元のブロックを分割することなく、ブロックを3つのサブブロックに分割する。MTTにおける区分タイプ(たとえば、QT、BT、およびTT)は対称または非対称であり得る。

【0038】

AV1コーデックに従って動作するとき、ビデオエンコーダ200およびビデオデコーダ300は、ビデオデータをブロック単位でコーディングするように構成され得る。AV1では、処理され得る最も大きいコーディングブロックは、スーパーブロックと呼ばれる。AV1では、スーパーブロックは、128×128ルーマサンプルまたは64×64ルーマサンプルのいずれかであり得る。しかしながら、後継ビデオコーディングフォーマット(たとえば、AV2)では、スーパーブロックは、異なる(たとえば、より大きい)ルーマサンプルサイズによって定義され得る。いくつかの例では、スーパーブロックは、ブロック4分木のトップレベルである。ビデオエンコーダ200は、スーパーブロックをより小さいコーディングブロックにさらに区分し得る。ビデオエンコーダ200は、正方形区分または非正方形区分を使用して、スーパーブロックおよび他のコーディングブロックをより小さいブロックに区分し得る。非正方形ブロックは、N/2×N、N×N/2、N/4×N、およびN×N/4ブロックを含み得る。ビデオエンコーダ200およびビデオデコーダ300は、コーディングブロックの各々に対して別個の予測プロセスおよび変換プロセスを実行し得る。

【0039】

AV1は、ビデオデータのタイルも定義する。タイルは、他のタイルとは無関係にコーディングされ得るスーパーブロックの矩形アレイである。すなわち、ビデオエンコーダ200およびビデオデコーダ300は、それぞれ、他のタイルからのビデオデータを使用することなしに、タイル内のコーディングブロックを符号化および復号し得る。しかしながら、ビデオエンコーダ200およびビデオデコーダ300は、タイル境界を越えてフィルタリングを実行し得る。タイルは、サイズが均一であっても不均一であってもよい。タイルベースのコーディングは、エンコーダおよびデコーダの実装形態のための並列処理および/またはマルチスレッディングを可能にし得る。

【0040】

いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分およびクロミナンス成分の各々を表すために単一のQTBTまたはMTT構造を使用し得るが、他の例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分のための1つのQTBT/MTT構造および両方のクロミナンス成分のための別のQTBT/MTT構造(またはそれぞれのクロミナンス成分のための2つのQTBT/MTT構造)などの、2つ以上のQTBTまたはMTT構造を使用し得る。

【0041】

ビデオエンコーダ200およびビデオデコーダ300は、4分木区分、QTBT区分、MTT区分、スーパーブロック区分、または他の区分構造を使用するように構成され得る。

【0042】

いくつかの例では、CTUは、ルーマサンプルのコーディングツリーブロック(CTB)、3つのサンプルアレイを有するピクチャのクロマサンプルの2つの対応するCTB、またはモノクロームピクチャもしくはサンプルをコーディングするために使用される3つの別個の色平面およびシンタックス構造を使用してコーディングされたピクチャのサンプルのCTBを含む。CTBは、CTBへの成分の分割が区分であるような、何らかの値のNに対するサンプルのN×Nブロックであり得る。成分は、4:2:0、4:2:2、もしくは4:4:4色フォーマットのピクチャの3つのアレイ(ルーマおよび2つのクロマ)のうちの1つからのアレイもしくはそのアレイの単一のサンプル、またはモノクロームフォーマットのピクチャのアレイもしくはそのアレイの単一のサンプルであり得る。いくつかの例では、コーディングブロックは、コーディングブロックへのCTBの分割が区分であるような、何らかの値のMおよびNに対するサンプルのM×Nブロックである。

【0043】

ブロック(たとえば、CTUまたはCU)は、ピクチャにおいて様々な方法でグループ化され得る。一例として、ブリックは、ピクチャにおける特定のタイル内のCTU行の長方形領域を指すことがある。タイルは、ピクチャにおける特定のタイル列および特定のタイル行内のCTUの長方形領域であり得る。タイル列は、ピクチャの高さに等しい高さおよび(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される幅を有する、CTUの長方形領域を指す。タイル行は、(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される高さおよびピクチャの幅に等しい幅を有する、CTUの長方形領域を指す。

【0044】

いくつかの例では、タイルは複数のブリックに区分されてもよく、ブリックの各々はタイル内の1つまたは複数のCTU行を含んでもよい。複数のブリックに区分されないタイルも、ブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。ピクチャの中のブリックは、スライスにおいても並べられ得る。スライスは、単一のネットワークアブストラクションレイヤ(NAL)ユニットに独占的に含まれ得る、ピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、ある数の完全なタイル、または、1つのタイルの完全なブリックの連続的なシーケンスのみ、のいずれかを含む。

【0045】

本開示は、垂直次元および水平次元に換算して(CUまたは他のビデオブロックなどの)ブロックのサンプル次元を指すために、互換的に「N×N」および「NかけるN(N by N)」、たとえば、16×16サンプルまたは16かける16(16 by 16)サンプルを使用し得る。一般に、16×16 CUは、垂直方向に16個のサンプル(y=16)および水平方向に16個のサンプル(x=16)を有する。同様に、N×N CUは、一般に、垂直方向にN個のサンプルおよび水平方向にN個のサンプルを有し、ここで、Nは負ではない整数値を表す。CUの中のサンプルは、行および列において並べられ得る。さらに、CUは、必ずしも水平方向に垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、CUはN×Mサンプルを備えてもよく、ここで、Mは必ずしもNに等しいとは限らない。

【0046】

ビデオエンコーダ200は、予測および/または残差情報、ならびに他の情報を表すCUのためのビデオデータを符号化する。予測情報は、CUのための予測ブロックを形成するためにCUがどのように予測されることになるかを示す。残差情報は、一般に、符号化に先立つCUのサンプルと予測ブロックのサンプルとの間のサンプルごとの差分を表す。

【0047】

CUを予測するために、ビデオエンコーダ200は、一般に、インター予測またはイントラ予測を通じてCUのための予測ブロックを形成し得る。インター予測は、一般に、以前にコーディングされたピクチャのデータからCUを予測することを指すが、イントラ予測は、一般に、同じピクチャの以前にコーディングされたデータからCUを予測することを指す。インター予測を実行するために、ビデオエンコーダ200は、1つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ200は、一般に、たとえば、CUと参照ブロックとの間の差分に関してCUと厳密に一致する参照ブロックを識別するために、動き探索を実行し得る。ビデオエンコーダ200は、参照ブロックが現在のCUと厳密に一致するかどうかを決定するために、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ200は、単方向予測または双方向予測を使用して現在のCUを予測し得る。

【0048】

VVCのいくつかの例は、インター予測モードと見なされ得るアフィン動き補償モードも提供する。アフィン動き補償モードでは、ビデオエンコーダ200は、ズームインもしくはズームアウト、回転、遠近運動、または他の不規則な運動タイプなどの、非並進運動を表す2つ以上の動きベクトルを決定し得る。

【0049】

イントラ予測を実行するために、ビデオエンコーダ200は、イントラ予測モードを選択して予測ブロックを生成し得る。VVCのいくつかの例は、様々な方向モードを含む67個のイントラ予測モード、ならびに平面モードおよびDCモードを提供する。一般に、ビデオエンコーダ200は、そこから現在のブロックのサンプルを予測するための現在のブロック(たとえば、CUのブロック)に対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、一般に、ビデオエンコーダ200がラスタ走査順序で(左から右に、上から下に)CTUおよびCUをコーディングすると仮定すると、現在のブロックと同じピクチャ中の現在のブロックの上方、上方および左側、または左側にあり得る。

【0050】

ビデオエンコーダ200は、現在のブロックのための予測モードを表すデータを符号化する。たとえば、インター予測モードの場合、ビデオエンコーダ200は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードについての動き情報を表すデータを符号化し得る。単方向または双方向インター予測の場合、たとえば、ビデオエンコーダ200は、高度動きベクトル予測(AMVP)またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ200は、アフィン動き補償モードのための動きベクトルを符号化するために類似のモードを使用し得る。

【0051】

AV1は、ビデオデータのコーディングブロックを符号化および復号するための2つの一般的な技法を含む。2つの一般的な技法は、イントラ予測(たとえば、イントラフレーム予測または空間予測)およびインター予測(たとえば、インターフレーム予測または時間予測)である。AV1の文脈では、イントラ予測モードを使用してビデオデータの現在のフレームのブロックを予測するとき、ビデオエンコーダ200およびビデオデコーダ300は、ビデオデータの他のフレームからのビデオデータを使用しない。大半のイントラ予測モードの場合、ビデオエンコーダ200は、現在のブロック中のサンプル値と同じフレーム中の基準サンプルから生成された予測値との間の差に基づいて、現在のフレームのブロックを符号化する。ビデオエンコーダ200は、イントラ予測モードに基づいて、基準サンプルから生成された予測値を決定する。

【0052】

ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ200はブロックのための残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成されたそのブロックのための予測ブロックとの間のサンプルごとの差分を表す。ビデオエンコーダ200は、サンプル領域ではなく変換領域において変換データを生成するために、1つまたは複数の変換を残差ブロックに適用し得る。たとえば、ビデオエンコーダ200は、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に類似の変換を残差ビデオデータに適用し得る。加えて、ビデオエンコーダ200は、第1の変換に続いて、モード依存型分離不可能二次変換(MDNSST:mode-dependent non-separable secondary transform)、信号依存変換、カルーネンレーベ変換(KLT:Karhunen-Loeve transform)などの二次変換を適用し得る。いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、水平変換と垂直変換の両方をブロックに適用することを含み得る多重変換選択(MTS)方式を実行するように構成され得る。ビデオエンコーダ200は、1つまたは複数の変換の適用に続いて、変換係数を生成する。

【0053】

上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ200は、変換係数の量子化を実行し得る。量子化は一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ200は、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、ビデオエンコーダ200は、量子化の間にnビット値をmビット値に切り捨ててもよく、ここで、nはmよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ200は、量子化されるべき値のビット単位の右シフトを実行してもよい。

【0054】

量子化に続いて、ビデオエンコーダ200は、変換係数を走査し、量子化された変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、より高いエネルギー(したがって、より低い周波数)の変換係数をベクトルの前方に置き、より低いエネルギー(したがって、より高い周波数)の変換係数をベクトルの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ200は、シリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化するために、量子化された変換係数を走査するための事前定義された走査順序を利用し得る。他の例では、ビデオエンコーダ200は適応走査を実行し得る。量子化された変換係数を走査して1次元ベクトルを形成した後、ビデオエンコーダ200は、たとえば、コンテキスト適応型バイナリ算術コーディング(CABAC)に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ200はまた、ビデオデータを復号する際にビデオデコーダ300によって使用するための符号化されたビデオデータに関連付けられたメタデータを記述するシンタックス要素のための値をエントロピー符号化し得る。

【0055】

CABACを実行するために、ビデオエンコーダ200は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が0値化されているか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

【0056】

ビデオエンコーダ200は、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、または、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、もしくはビデオパラメータセット(VPS)などの他のシンタックスデータにおいて、ビデオデコーダ300へのブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータをさらに生成し得る。ビデオデコーダ300は、そのようなシンタックスデータを同様に復号して、対応するビデオデータをどのように復号するかを決定し得る。

【0057】

このように、ビデオエンコーダ200は、符号化されたビデオデータ、たとえば、ブロック(たとえば、CU)へのピクチャの区分ならびにブロックについての予測および/または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ300は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。

【0058】

一般に、ビデオデコーダ300は、ビデオエンコーダ200によって実行されるプロセスとは逆のプロセスを実行して、ビットストリームの符号化されたビデオデータを復号する。たとえば、ビデオデコーダ300は、ビデオエンコーダ200のCABAC符号化プロセスとは逆であるが実質的に同様の方法で、CABACを使用してビットストリームのシンタックス要素のための値を復号し得る。シンタックス要素は、CTUへのピクチャの区分のための区分情報、およびQTBT構造などの対応する区分構造に従った各CTUの区分を定義して、CTUのCUを定義し得る。シンタックス要素は、ビデオデータのブロック(たとえば、CU)についての予測および残差情報をさらに定義し得る。

【0059】

残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ300は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ300は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード(イントラ予測またはインター予測)および関連する予測情報(たとえば、インター予測についての動き情報)を使用する。次いで、ビデオデコーダ300は、元のブロックを再生するために、予測ブロックおよび残差ブロックを(サンプルごとに)合成し得る。ビデオデコーダ300は、ブロックの境界に沿って視覚的アーティファクトを低減するためのデブロッキングプロセスを実行するなどの、追加の処理を実行し得る。

【0060】

本開示は、一般に、シンタックス要素などの特定の情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、一般に、シンタックス要素および/または符号化されたビデオデータを復号するために使用される他のデータのための値の通信を指すことがある。すなわち、ビデオエンコーダ200は、ビットストリーム中でシンタックス要素のための値をシグナリングし得る。一般に、シグナリングは、ビットストリーム中で値を生成することを指す。上述のように、ソースデバイス102は、実質的にリアルタイムで、または、宛先デバイス116によって後で取り出すためにシンタックス要素を記憶デバイス112に記憶するときに行われ得るなど、リアルタイムではなく、ビットストリームを宛先デバイス116にトランスポートし得る。

【0061】

上述のように、ビデオエンコーダ200およびビデオデコーダ300は、MTS方式を現在のブロックに適用するように構成され得る。たとえば、ビデオエンコーダ200は、(水平変換と垂直変換とを含む)MTS方式を残差ブロックに適用し得るが、ビデオデコーダ300は、残差ブロックを再構成するためにMTS方式を変換ブロックに適用し得る。本開示の技法によれば、MTS方式は利用可能なMTS方式のセットのうちの1つに対応してもよく、ビデオエンコーダ200およびビデオデコーダ300は、現在のブロックのサイズおよび現在のブロックのためのイントラ予測モードに従ってMTS方式の複数のセットから利用可能なMTS方式のセットを選択してもよい。

【0062】

図2は、通常角度イントラ予測モードおよび広角イントラ予測モードを示す概念図である。ナチュラルビデオに提示された任意の端部方向をキャプチャするために、VTM5における方向イントラモードの数は、HEVCにおいて使用される33から65に拡大される。VVCにおける新しい方向モードが図2に示されており、平面モードおよびDCモードはHEVCの場合と同じままである。これらのより密な方向イントラ予測モードは、すべてのブロックサイズに、かつVVCにおけるルーマイントラ予測とクロマイントラ予測の両方に適用される。

【0063】

従来の(または「通常」)角度イントラ予測方向はHEVCにおいて時計回り方向で45度から-135度に定義されており、これは図2のモード2からモード66に対応する。非正方形ブロックに対するより良い予測を提供するために、VVCでは、45度から-135度以外の角度が考慮されており、これはモード[67, 80]およびモード[-1, -14]として図2に示されている。これらのモードは、「広角」モードと呼ばれることがある。高さ(H)よりも大きい幅(W)を有するブロックの場合、モード[67, 80]が考慮され、高さ(H)よりも小さい幅(W)を有するブロックの場合、モード[-1, -14]が考慮される。これらの方向イントラ予測モードは、多重参照ライン(MRL:multiple reference line)またはイントラサブパーティションモード(ISP:intra-sub partition mode)のいずれかと組み合わせて使用され得る。詳細は、J. Chen、Y. Ye、S. Kim、「Algorithm description for Versatile Video Coding and Test Model 10 (VTM10)」、第19回JVET会議、遠隔会議、2020年7月、JVET-S2002、およびB. Bross、J. Chen、S. Liu、「Versatile Video Coding (Draft 10)」、第19回JVET会議、遠隔会議、2020年7月、JVET-S2001において見出され得る。

【0064】

図3は、行列イントラ予測(MIP)プロセスの一例を示す流れ図である。行列重み付きイントラ予測(MIP: matrix weighted intra prediction)方法は、VVCにおけるイントラ予測技法である。幅Wおよび高さHの長方形ブロック129のサンプルを予測するために、行列重み付きイントラ予測(MIP)を実行するビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)は、ブロック129の左のH再構成隣接境界サンプル(サンプル130B)の1行およびブロック129の上のW再構成隣接境界サンプル(サンプル130A)の1行を入力として取る。再構成サンプルが利用できない場合、ビデオコーダは、従来のイントラ予測において行われるように、それらに対する値を生成する。予測信号の生成は、図3に示すように、平均化、行列ベクトル乗算、および線形補間という3つのステップに基づく。

【0065】

具体的には、ビデオコーダは、サンプル130Bを平均化して平均化サンプル132Bを形成し、サンプル130Aを平均化して平均化サンプル132Aを形成し得る。次いで、ビデオコーダは、平均化サンプル132A、132Bを使用して行列ベクトル乗算を実行して、中間予測ブロック136を形成し得る。次いで、ビデオコーダは、中間予測ブロック136のサンプルに対して線形補間を実行して、予測ブロック138を形成し得る。

【0066】

VVCにおけるMIPプロセスに使用される3つの異なるサイズIdがある。VVCは、インデックスidx=idx(W,H)を以下のように定義している。

【0067】

【数1】

【0068】

idx=0、1、および2に対して、それぞれ、定義された16個、12個、および6個の行列があり、これらはその所与のidxに対するモードの数も定義している。加えて、各モードが転置される場合があり、その場合、行列ベクトル乗算を実行する前に左および上からのサンプルがスワップされる。したがって、加えて、ビデオコーダは、モードが転置されるかどうかを示すために、CUがMIPを用いてコーディングされるときに(モードシグナリングとともに)転置フラグをコーディングし得る。

【0069】

図4は、デコーダ側イントラモード導出および融合イントラ予測(DIMD)のための勾配計算についてのヒストグラム140A、140Bを構築する例を示す概念図である。図5は、DIMDのための例示的な重み決定および予測ブロック生成プロセスを示す流れ図である。Abdoliら、「Non-CE3: Decoder-side Intra Mode Derivation with Prediction Fusion Using Planar」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のジョイントビデオエキスパートチーム(JVET)、第15回会議: ヨーテボリ、スウェーデン、2019年7月3～12日、文書番号JVET-O0449-v2は、デコーダが導出したイントラモードに基づいて(すでに復号された隣接再構成サンプルを使用して)イントラ予測を実行すること、およびそれを平面予測サンプルと融合することを記載している。JVET-O0449では、2つの角度モードは、現在のブロックの隣接ピクセルから計算された、勾配のヒストグラム(HoG:Histogram of Gradient)から選択される。2つの角度モードが選択されると、それらの予測子が従来の角度イントラ予測モード(IPM)およびブロックの最終予測子を使用して計算される。平面モードの重みは21/64(≒1/3)において維持され、残りの43/64は、HoGにおける対応する振幅に基づいて、2つの角度モードに比例的に分散される。HoGは、図4に示すように、左および上の隣接再構成サンプルに沿って3×3ウィンドウをスライドさせることによって計算される。最終予測ブロック150は、イントラ予測モードM1、M2、および平面モードから形成された予測ブロックの重み付き組合せを使用して計算され得る。

【0070】

図6は、融合を用いたテンプレートベースのイントラモード導出(TIMD)に使用されるテンプレートおよび基準サンプルを示す概念図である。Wangら、「EE2-related: Template-based intra mode derivation using MPMs」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29のジョイントビデオエキスパートチーム(JVET)、第22回会議、遠隔会議による、2021年4月20～28日、文書番号JVET-V0098-v2は、別のデコーダ側イントラモード導出方法をテンプレートベースのイントラモード導出として提案した。

【0071】

図6は、TIMDの概念を示している。現在のCU160を所与として、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)は、2つのテンプレート領域(たとえば、現在のCU160の上および現在のCU160の左)を選択し、それに対応して、それらのテンプレートの基準サンプルを選択する。MPMリスト中のモードごとに、ビデオコーダは、テンプレート領域に対する予測を生成し、予測サンプルと再構成サンプルとの間のテンプレート領域上の絶対変換差分和(SATD:sum of absolute transform difference)コストを計算し得る。ビデオコーダは、最低コストを有するモードをTIMD用のモードとして選択し得る。また、ビデオコーダは、VVCと比較して拡大された(2倍にされた)、すなわち、角度が2倍の密度で配置された、いくつかの角度イントラモード(広角モードを含む)を使用し得る。

【0072】

さらに、Caoら、「EE2-related: Fusion for template-based intra mode derivation」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29のジョイントビデオエキスパートチーム(JVET)、第23回会議、遠隔会議による、2021年7月7～16日、文書番号JVET-W0123-v2は、TIMDのための融合を提案した。JVET-W0123によれば、ビデオコーダは、最小SATDコストを有する1つのみのモードを選択する代わりに、TIMD方法を使用して導出されるイントラモードのために最小SATDコストを有する最初の2つのモードを選び、次いで、これらの2つのモードを重みと融合してもよい。ビデオコーダは、現在のCUをコーディングするために、そのような重み付きイントラ予測を使用してもよい。ビデオコーダは、たとえば、以下のように2のコスト係数を適用して、2つの選択されたモードのコストをしきい値と比較してもよい。
costMode2 < 2*costMode1

【0073】

この条件が真である場合、ビデオコーダは融合を適用してもよく、そうでない場合、ビデオコーダはmode1のみを使用してもよい。

【0074】

ビデオコーダは、以下のように、モードに対する重みをモードのSATDコストから計算してもよい。
weight1 = costMode2/(costMode1 + costMode2)
weight2 = 1 - weight1

【0075】

HEVCにおいて採用されているDCT-IIに加えて、多重変換選択(MTS)方式は、VVCにおけるインターコード化ブロックとイントラコード化ブロックの両方に対する残差コーディングのために使用される。MTS方式は、たとえば、DCT8/DST7からの複数の選択された変換を使用する。新たに導入される変換行列はDST-7およびDCT-8である。これらの2つの変換カーネルの両方は、以下のように、水平変換(trHor)および垂直変換(trVer)の4つの異なる組合せに対応する、垂直変換と水平変換の両方に適用され得る。
{trVer, trHor} = {DST7, DST7}, {DST7, DCT8}, {DCT8, DST7}, {DCT8, DCT8}

【0076】

JVET-O0449では、所与のコーディングユニットについて、DCT2がtrHorとtrVerの両方に使用されるか(cu_mts_flag = 0)否か(cu_mts_flag = 1)を示すために、フラグ(cu_mts_flag)がシグナリングされる。DCT2が使用されない場合、これらの4つのDST7/DCT8組合せの中のどの変換組合せが使用されるかを示すために、cu_mts_idxという名称の別のシンタックスがシグナリングされる。

【0077】

JVET-K0375は、DCT5、DST1、DST4、および恒等変換を含む、追加の変換カーネルを記載している。7つの変換セットが定義され、各変換セットは({trVer, trHor}に対する)4つの異なる変換ペアを有する。異なるイントラ予測モードおよびブロックサイズに基づいて7つの変換セットの各々を割り当てるためのルックアップテーブルが定義される。7つの変換セットは、以下のように設計される。
T_{0, intra} = { (DST-4, DST-4), (DST-7, DST-7), (DST-4, DCT-8), (DCT-8, DST-4) }
T_{1, intra} = { (DST-7, DST-7), (DST-7, DCT-5), (DCT-5, DST-7), (DST-1, DCT-5) }
T_{2, intra} = { (DST-7, DST-7), (DST-7, DCT-8), (DCT-8, DST-7), (DCT-5, DCT-5) }
T_{3, intra} = { (DST-4, DST-4), (DST-4, DCT-5), (DCT-8, DST-4), (DST-1, DST-7) }
T_{4, intra} = { (DST-4, DST-7), (DST-7, DCT-5), (DCT-8, DST-7), (DST-1, DST-7) }
T_{5, intra} = { (DST-7, DST-7), (DST-7, DCT-5), (DCT-8, DST-7), (DST-1, DST-7) }
T_{6, intra} = { (DST-7, DST-7), (DST-7, DCT-5), (DCT-5, DST-7), (DST-1, DST-7) }

【0078】

JVET-K0375では、恒等変換は、16×16を越えず、水平イントラ方向および垂直イントラ方向の近接度内でイントラモードを有するブロックに適用され、近接度は、ブロックサイズベースのしきい値によって定義される。変換インデックスが3に等しく、ブロックが上記の条件を満たす場合、水平および/または垂直恒等変換が適用される。

【0079】

本開示の技法によれば、ビデオエンコーダ200およびビデオデコーダ300は、ブロックのためのブロックサイズおよびイントラ予測モードに従ってMTS方式を選択するように構成され得る。ビデオエンコーダ200およびビデオデコーダ300は、たとえば、以下の表1に示すように、幅と高さの両方に基づいてブロックを16個の異なるサイズグループのうちの1つに分類してもよく、サイズグループは{W×H}として表され、Wはサンプル単位の幅を表し、Hはサンプル単位の高さを表す。

【0080】

【表1】

【0081】

上記では、Nは、2のべき乗であり、16よりも大きい(たとえば、32よりも大きいかまたはそれに等しい)、整数値である。

【0082】

ビデオエンコーダ200およびビデオデコーダ300は、追加または代替として、イントラ予測モード情報に基づいて予測モードを複数のイントラ予測モードグループ(たとえば、5つのモードグループ)のうちの1つに分類してもよい。以下の表2は、モードグループ分類の一例を表す。

【0083】

【表2】

【0084】

サイズグループ(たとえば、16個のサイズグループ)とモードグループ(たとえば、5つのモードグループ)の両方が使用される例では、合計で16*5=80個のグループが考慮され得る。したがって、イントラ予測モードおよびブロックサイズは、利用可能なMTS方式の特定のグループに対応し得る。MTS方式は一般に、変換の組合せ、たとえば、水平変換および垂直変換を表す。すべての可能なMTS方式は、ブロック特性の特定のグループ、たとえば、サイズグループおよび/またはモードグループに対する利用可能なMTS方式のセットに分割され得る。各サイズグループおよび/またはモードグループは、MTSインデックス、たとえば、cu_mts_idxの異なるシグナリングされた値に対応し得る、4つのMTS方式(変換ペア)選択肢を有し得る。したがって、cu_mts_idxは、利用可能なMTS方式のグループの中の特定のMTS方式を表す、両端値を含む{0, 3}の中の値を有してもよく、これは、現在のブロックのためのサイズおよびイントラ予測モードに従って決定される。具体的には、利用可能なMTS方式のグループは、(たとえば、表1による)ブロックのサイズを含むサイズグループおよび/または現在のブロックのための(たとえば、表2による)イントラ予測モードを含むモードグループに従って決定され得る。

【0085】

いくつかの例では、変換ペアの数は、ブロック形状(たとえば、幅が高さよりも大きいかどうか)および/または対応する変換ブロックの量子化パラメータに依存する場合がある。

【0086】

加えて、いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、変換ペア設計のためにジョイントモードおよびブロック対称性を使用するように構成され得る。たとえば、ブロック形状A×Bを有するモードi(i>34)は、ブロック形状B×Aを有する(68-i)に対応する同じグループにマッピングされる。しかしながら、そのグループの中の変換ペアごとに、垂直変換および水平変換がスワップされる。

【0087】

言い換えれば、第1のブロックがW×Hのサイズを有し、イントラ予測モードiを使用して予測され、水平変換と垂直変換の変換ペアを使用して変換される場合、ビデオエンコーダ200およびビデオデコーダ300は、H×Wのサイズを有し、イントラ予測モード(68-i)を使用して予測されるが、垂直変換として水平変換を適用し、水平変換として垂直変換を適用する第2のブロックに対して、同じ変換ペアを選択し得る。

【0088】

たとえば、モード18(水平予測)を有する16×4ブロックがグループにマッピングされ、シグナリングされたcu_mts_idxが変換ペア{trVer, trHor}={DCT8, DST7}に対応すると仮定する。次いで、モード50(垂直予測)を有する4×16ブロックが同じグループにマッピングされ、同じcu_mts_idxを有すると、変換ペアは{trVer, trHor}={DST7, DCT8}になる。

【0089】

MIPコード化ブロックの場合、ビデオエンコーダ200およびビデオデコーダ300は、MTS方式を決定するために、対応する転置フラグをブロック形状対称性とともに使用し得る。たとえば、ビデオエンコーダ200およびビデオデコーダ300は、MIP転置フラグがオンになった形状A×Bを有するMIPコード化ブロックを、MIP転置フラグがオフになったブロック形状B×Aのグループと同じグループにマッピングし得る。

【0090】

ブロックがDIMDモードでコーディングされる場合、ビデオエンコーダ200およびビデオデコーダ300は、変換ペアを導出するために(最も高い重みを有する)優勢な角度モードを使用し得る。代替として、2つの角度モード値の間の差がしきい値よりも大きい場合、ビデオエンコーダ200およびビデオデコーダ300は、MTSカーネルを決定するためにモードを平面モード(モード0)として扱い得る。そうではなく、2つの角度モード値の間の差がしきい値よりも小さいかまたはそれに等しい場合、ビデオエンコーダ200およびビデオデコーダ300は、MTSカーネルを決定するために優勢モードのみを使用し得る。

【0091】

広角イントラ予測モードの場合、ビデオエンコーダ200およびビデオデコーダ300は、変換セット決定のために最も近い従来の角度モードを使用し得る。たとえば、ビデオエンコーダ200およびビデオデコーダ300は、-2から-14の間のすべてのモードに対してモード2を使用し得る。同様に、ビデオエンコーダ200およびビデオデコーダ300は、モード67からモード80に対してモード66を使用し得る。

【0092】

予測モードおよびブロックサイズ(形状)に従ってMTSグループを導出するためのマッピングテーブルの一例が、以下の表3に示されている。

【0093】

【表3】

【0094】

以下は、変換ペアインデックスの、対応する変換ペア(すなわち、MTS方式)への例示的なマッピングである。
const uint8_t g_aucTrIdxToTr[25][2] =
{
{ DCT8, DCT8 }, { DCT8, DST7 }, { DCT8, DCT5 }, { DCT8, DST4 },
{ DCT8, DST1 }, { DST7, DCT8 }, { DST7, DST7 }, { DST7, DCT5 },
{ DST7, DST4 }, { DST7, DST1 }, { DCT5, DCT8 }, { DCT5, DST7 },
{ DCT5, DCT5 }, { DCT5, DST4 }, { DCT5, DST1 }, { DST4, DCT8 },
{ DST4, DST7 }, { DST4, DCT5 }, { DST4, DST4 }, { DST4, DST1 },
{ DST1, DCT8 }, { DST1, DST7 }, { DST1, DCT5 }, { DST1, DST4 },
{ DST1, DST1 },
};

【0095】

以下は、4つの異なる変換ペアインデックスのセットの各々の、対応する変換ペア(すなわち、MTS方式)への例示的なマッピングである。
const uint8_t g_aucTrSet[80][4] =
{ { 17, 18, 23, 24},
{ 3, 7, 18, 22},
{ 2, 17, 18, 22},
{ 3, 15, 17, 18},
{ 3, 12, 18, 19},
{ 12, 18, 19, 23},
{ 2, 12, 17, 18},
{ 2, 17, 18, 22},
{ 2, 11, 17, 18},
{ 12, 18, 19, 23},
{ 12, 13, 16, 24},
{ 2, 11, 16, 23},
{ 2, 13, 17, 22},
{ 2, 11, 17, 21},
{ 13, 16, 19, 22},
{ 7, 12, 13, 18},
{ 1, 11, 12, 16},
{ 3, 13, 17, 22},
{ 1, 6, 12, 22},
{ 12, 13, 15, 16},
{ 18, 19, 23, 24},
{ 2, 17, 18, 24},
{ 3, 4, 17, 22},
{ 12, 18, 19, 23},
{ 12, 18, 19, 23},
{ 6, 12, 18, 24},
{ 2, 6, 12, 21},
{ 1, 11, 17, 22},
{ 3, 11, 16, 17},
{ 8, 12, 19, 23},
{ 7, 13, 16, 23},
{ 1, 6, 11, 12},
{ 1, 11, 17, 21},
{ 6, 11, 17, 21},
{ 8, 11, 14, 17},
{ 6, 11, 12, 21},
{ 1, 6, 11, 12},
{ 2, 6, 11, 12},
{ 1, 6, 11, 21},
{ 7, 11, 12, 16},
{ 8, 12, 19, 24},
{ 1, 13, 18, 22},
{ 2, 6, 17, 21},
{ 11, 12, 16, 19},
{ 8, 12, 17, 24},
{ 6, 12, 19, 21},
{ 6, 12, 13, 21},
{ 2, 16, 17, 21},
{ 6, 17, 19, 23},
{ 6, 12, 14, 17},
{ 6, 7, 11, 21},
{ 1, 11, 12, 16},
{ 1, 6, 11, 12},
{ 6, 11, 12, 21},
{ 7, 8, 9, 11},
{ 6, 7, 11, 12},
{ 6, 7, 11, 12},
{ 1, 11, 12, 16},
{ 6, 11, 17, 21},
{ 6, 7, 11, 12},
{ 12, 14, 18, 21},
{ 1, 11, 16, 22},
{ 1, 11, 16, 22},
{ 7, 13, 15, 16},
{ 1, 8, 12, 19},
{ 6, 7, 9, 12},
{ 2, 6, 12, 13},
{ 1, 12, 16, 21},
{ 7, 11, 16, 19},
{ 7, 8, 11, 12},
{ 6, 7, 11, 12},
{ 6, 7, 11, 12},
{ 1, 6, 11, 12},
{ 6, 7, 11, 16},
{ 6, 7, 11, 12},
{ 6, 7, 11, 12},
{ 6, 11, 12, 21},
{ 1, 6, 11, 12},
{ 6, 7, 11, 12},
{ 6, 7, 11, 12},};

【0096】

上記の例では、g_aucTrIdxToTrデータ構造は、25個の可能なMTS方式(変換ペア)の集合体を表す。これらのMTS方式は、1から25までのそれぞれのインデックス値に関連付けられる。g_aucTrSetデータ構造は、MTS方式の80個の異なるセットの集合体を表す。具体的には、MTS方式のセットの各々の中の値は、g_aucTrIdxToTrデータ構造へのインデックスに対応する。ブロックのサイズ(たとえば、サイズグループ)およびブロックのためのイントラ予測モード(たとえば、モードグループ)は一緒に、g_aucTrIdxToTrデータ構造のエントリのうちの1つにマッピングされ得る。ビデオエンコーダ200およびビデオデコーダ300はさらに、利用可能なMTS方式のセット、すなわち、ブロックサイズおよびイントラ予測モードがマッピングされるg_aucTrIdxToTrデータ構造のエントリのうちの1つへの、インデックス値(0、1、2、または3)を表す変換インデックスをコーディングし得る。ビデオデコーダ300は、復号されたインデックス値を使用して、g_aucTrIdxToTrデータ構造のエントリのセットの中のインデックスのうちの1つを決定し、次いで、g_aucTrIdxToTrデータ構造の中のエントリのセットから決定されたインデックスのうちの1つを使用して、たとえば、g_aucTrSetデータ構造を使用して、対応するMTS方式を決定し得る。

【0097】

たとえば、現在のブロックのサイズが4×4であり、イントラ予測モードがモード0またはモード1のいずれかである場合、現在のブロックのためのサイズおよびイントラ予測モードは、(表3に従って)g_aucTrIdxToTrデータ構造の1番目のエントリ(すなわち、{17, 18, 23, 24})にマッピングされる。復号された変換インデックスが0の値を有する場合、ビデオデコーダ300は、インデックスのうちの1つが17であると決定し得る。次いで、ビデオデコーダ300は、g_aucTrSetデータ構造を使用して、MTS方式が17番目の変換ペア、すなわち、{DST4, DST7}であると決定し得る。別の例として、現在のブロックのサイズが4×16であり、現在のブロックのためのイントラ予測モードがモード0またはモード1のいずれかである場合、現在のブロックのためのサイズおよびイントラ予測モードは、表3に従ってg_aucTrIdxToTrデータ構造の10番目のエントリ(すなわち、{12, 18, 19, 23})にマッピングされる。復号された変換インデックスが3の値を有する場合、ビデオデコーダ300は、インデックスのうちの1つが23であると決定し得る。ビデオデコーダ300は、g_aucTrSetデータ構造を使用して、MTS方式が23番目の変換ペア、すなわち、{DST1, DCT5}であると決定し得る。

【0098】

上記で説明したように、いくつかの例では、TIMDがアクティブ化されるとき、ビデオエンコーダ200およびビデオデコーダ300は、拡大された(たとえば、2倍にされた)数のイントラモードを使用し得る。すなわち、イントラモードの角度は、2倍の密度で配置され得る。変換カーネルを導出するための様々な技法について、以下で説明する。

【0099】

一例では、TIMDモードがイントラ予測に対して1つのイントラモード(すなわち、融合なし)を含むとき、ビデオエンコーダ200またはビデオデコーダ300は、そのイントラモードを(VVCの67+広角モードのうちの1つから選択された)最も近い角度を有するVVCイントラモードにマッピングし得る。その後、ビデオエンコーダ200またはビデオデコーダ300は、MTSカーネルを決定するために、マッピングされたモードを使用し得る。VVCイントラモードが拡大されたイントラモードのサブセットである(すなわち、拡大されたセットの中の1つおきのイントラモードがVVCイントラモードに対応する)場合、この変換は以下のようになり得る(モード0およびモード1は非角度モードであるので、この変換はそれらのモードに対する値に影響を及ぼさない)。
mode = (mode<2? mode:((mode>>1)+1))

【0100】

TIMDモードが融合を使用する(最終イントラ予測を生成するために2つのモードが関与する)とき、ビデオエンコーダ200またはビデオデコーダ300は、MTSカーネルを決定するために(より低いひずみを有する)優勢モードのみをVVCイントラモードにマッピングし得る。

【0101】

従来のエラー隠蔽モード(ECM:error concealment mode)によれば、ビデオエンコーダ200またはビデオデコーダ300などのビデオコーダは、イントラモードに基づいて低周波数非分離変換(LFNST:low frequency non-separable transform)を採用するであろう。本開示の技法によれば、ビデオエンコーダ200またはビデオデコーダ300は、上記で説明した技法をLFNST変換カーネルにも適用するように構成され得る。

【0102】

別の例では、イントラモードを変換カーネルにマッピングするためのルックアップテーブル(LUT)またはマッピングテーブルは、TIMDモードが使用されるときに指定され得る。テーブルは、拡大された(2倍にされた)角度について指定されてもよく、ビデオエンコーダ200およびビデオデコーダ300は、このテーブルで構成されてもよい。

【0103】

ビデオエンコーダ200またはビデオデコーダ300が融合を用いたTIMDを適用する(すなわち、最終イントラ予測を生成するために2つのモードが関与する)とき、ビデオエンコーダ200およびビデオデコーダ300は、MTSカーネルを決定するために優勢モードのみを使用し得る。

【0104】

代替として、2つのモード値の間の差がしきい値よりも大きいとき、ビデオエンコーダ200およびビデオデコーダ300は、MTSカーネルを決定するためにモードを平面モード(モード0)として扱い得る。そうではなく、差がしきい値よりも小さいかまたはそれに等しい場合、ビデオエンコーダ200およびビデオデコーダ300は、MTSカーネルを決定するために優勢モードのみを使用し得る。

【0105】

別の例では、TIMDモードが使用されるとき、ビデオエンコーダ200およびビデオデコーダ300はMTSを無効化してもよく、すなわち、DCT2のみがTIMDのために使用され得る。この場合、ビデオエンコーダ200はmts_idxをシグナリングすることを回避してもよく、ビデオデコーダ300は、mts_idxがシグナリングされないと決定し、代わりにmts_idxに対する値を推論してもよい。この無効化はブロックサイズにも依存する場合があり、たとえば、いくつかのブロックサイズについてMTSが無効化されることがある。同様に、場合によってはブロックサイズ制限と組み合わせて、TIMDコーディングが使用されるときにLFNSTも無効化される場合がある。

【0106】

図7は、本開示の技法を実行し得る例示的なビデオエンコーダ200を示すブロック図である。図7は説明のために提供され、本開示において広く例示および説明するような技法の限定と見なされるべきではない。説明のために、本開示は、VVC(開発中のITU-T H.266)およびHEVC(ITU-T H.265)の技法によるビデオエンコーダ200について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格ならびにAV1およびAV1ビデオコーディングフォーマットの後継などのビデオコーディングフォーマットに従って構成されたビデオ符号化デバイスによって実行され得る。

【0107】

図7の例では、ビデオエンコーダ200は、ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、フィルタユニット216、復号ピクチャバッファ(DPB)218、多重変換選択(MTS)グループ232、およびエントロピー符号化ユニット220を含む。ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、フィルタユニット216、DPB218、MTSグループ232、およびエントロピー符号化ユニット220のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオエンコーダ200のユニットは、ハードウェア回路の一部としての1つもしくは複数の回路もしくは論理要素として、またはプロセッサ、ASIC、もしくはFPGAの一部として実装され得る。さらに、ビデオエンコーダ200は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。

【0108】

ビデオデータメモリ230は、ビデオエンコーダ200の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ200は、たとえば、ビデオソース104(図1)から、ビデオデータメモリ230に記憶されたビデオデータを受信し得る。DPB218は、ビデオエンコーダ200による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ230およびDPB218は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ230およびDPB218は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ230は、図示のように、ビデオエンコーダ200の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。

【0109】

本開示では、ビデオデータメモリ230への言及は、そのようなものとして特に説明されていない限り、ビデオエンコーダ200の内部のメモリ、または、そのようなものとして特に説明されていない限り、ビデオエンコーダ200の外部のメモリに限定されるものとして解釈されるべきではない。むしろ、ビデオデータメモリ230への言及は、符号化するためにビデオエンコーダ200が受信するビデオデータ(たとえば、符号化されるべき現在のブロックのためのビデオデータ)を記憶する参照メモリとして理解されるべきである。図1のメモリ106はまた、ビデオエンコーダ200の様々なユニットからの出力の一時的な記憶を提供し得る。

【0110】

図7の様々なユニットは、ビデオエンコーダ200によって実行される動作を理解することを助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作に対してプリセットされる。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作において柔軟な機能を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは概して不変である。いくつかの例では、1つまたは複数のユニットは異なる回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、ユニットのうちの1つまたは複数は集積回路であってもよい。

【0111】

ビデオエンコーダ200は、算術論理ユニット(ALU)、初等関数ユニット(EFU)、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含み得る。ビデオエンコーダ200の動作がプログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ106(図1)が、ビデオエンコーダ200が受信および実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶してもよく、またはビデオエンコーダ200内の別のメモリ(図示せず)が、そのような命令を記憶してもよい。

【0112】

ビデオデータメモリ230は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ200は、ビデオデータメモリ230からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット204およびモード選択ユニット202に提供し得る。ビデオデータメモリ230中のビデオデータは、符号化されるべき未加工ビデオデータであり得る。

【0113】

モード選択ユニット202は、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226を含む。モード選択ユニット202は、他の予測モードに従ってビデオ予測を実行するための追加の機能ユニットを含み得る。例として、モード選択ユニット202は、パレットユニット、(動き推定ユニット222および/または動き補償ユニット224の一部であり得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。

【0114】

モード選択ユニット202は、一般に、符号化パラメータの組合せおよびそのような組合せに対する結果として生じるレートひずみ値をテストするために複数の符号化パスを協調させる。符号化パラメータは、CUへのCTUの区分、CUのための予測モード、CUの残差データのための変換タイプ、CUの残差データのための量子化パラメータなどを含み得る。モード選択ユニット202は、その他のテストされた組合せよりも良いレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。

【0115】

ビデオエンコーダ200は、ビデオデータメモリ230から取り出されたピクチャを一連のCTUに区分し、スライス内に1つまたは複数のCTUをカプセル化し得る。モード選択ユニット202は、上記で説明したMTT構造、QTBT構造、スーパーブロック構造、または4分木構造などのツリー構造に従ってピクチャのCTUを区分し得る。上記で説明したように、ビデオエンコーダ200は、ツリー構造に従ってCTUを区分することから1つまたは複数のCUを形成し得る。そのようなCUは、一般に、「ビデオブロック」または「ブロック」と呼ばれることもある。

【0116】

一般に、モード選択ユニット202はまた、現在のブロック(たとえば、現在のCU、またはHEVCでは、PUおよびTUの重複する部分)のための予測ブロックを生成するために、その構成要素(たとえば、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226)を制御する。現在のブロックのインター予測の場合、動き推定ユニット222は、1つまたは複数の参照ピクチャ(たとえば、DPB218に記憶された1つまたは複数の以前にコーディングされたピクチャ)中の1つまたは複数の厳密に一致する参照ブロックを識別するために動き探索を実行し得る。具体的には、動き推定ユニット222は、たとえば、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)などに従って、潜在的な参照ブロックが現在のブロックにどのくらい類似しているかを表す値を計算し得る。動き推定ユニット222は、一般に、現在のブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実行し得る。動き推定ユニット222は、現在のブロックに最も厳密に一致する参照ブロックを示す、これらの計算の結果として生じる最も低い値を有する参照ブロックを識別し得る。

【0117】

動き推定ユニット222は、現在のピクチャ中の現在のブロックの位置に対する参照ピクチャ中の参照ブロックの位置を定義する1つまたは複数の動きベクトル(MV)を形成し得る。次いで、動き推定ユニット222は動きベクトルを動き補償ユニット224に提供し得る。たとえば、単方向インター予測の場合、動き推定ユニット222は単一の動きベクトルを提供し得るが、双方向インター予測の場合、動き推定ユニット222は2つの動きベクトルを提供し得る。次いで、動き補償ユニット224は、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット224は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルがフラクショナルサンプル精度を有する場合、動き補償ユニット224は、1つまたは複数の補間フィルタに従って予測ブロックのための値を補間し得る。さらに、双方向インター予測の場合、動き補償ユニット224は、それぞれの動きベクトルによって識別された2つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付けされた平均化によって、取り出されたデータを合成し得る。

【0118】

AV1ビデオコーディングフォーマットに従って動作するとき、動き推定ユニット222および動き補償ユニット224は、並進動き補償、アフィン動き補償、オーバーラップブロック動き補償(OBMC:overlapped block motion compensation)、および/または複合インターイントラ予測を使用して、ビデオデータのコーディングブロック(たとえば、ルーマコーディングブロックとクロマコーディングブロックの両方)を符号化するように構成され得る。

【0119】

別の例として、イントラ予測またはイントラ予測コーディングの場合、イントラ予測ユニット226は、現在のブロックに隣接するサンプルから予測ブロックを生成し得る。たとえば、方向モードの場合、イントラ予測ユニット226は、一般に、隣接サンプルの値を数学的に合成し、これらの計算された値を現在のブロックにわたる定義された方向にポピュレートして、予測ブロックを生成し得る。別の例として、DCモードの場合、イントラ予測ユニット226は、現在のブロックに対する隣接サンプルの平均を計算し、予測ブロックのサンプルごとにこの結果として生じる平均を含めるべき予測ブロックを生成し得る。

【0120】

AV1ビデオコーディングフォーマットに従って動作するとき、イントラ予測ユニット226は、方向イントラ予測、非方向イントラ予測、再帰フィルタイントラ予測、chroma-from-luma(CFL)予測、イントラブロックコピー(IBC:intra block copy)、および/またはカラーパレットモードを使用して、ビデオデータのコーディングブロック(たとえば、ルーマコーディングブロックとクロマコーディングブロックの両方)を符号化するように構成され得る。モード選択ユニット202は、他の予測モードに従ってビデオ予測を実行するための追加の機能ユニットを含み得る。

【0121】

モード選択ユニット202は、予測ブロックを残差生成ユニット204に提供する。残差生成ユニット204は、ビデオデータメモリ230から現在のブロックの未加工のコーディングされていないバージョンを受信し、モード選択ユニット202から予測ブロックを受信する。残差生成ユニット204は、現在のブロックと予測ブロックとの間のサンプルごとの差分を計算する。結果として生じるサンプルごとの差分は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット204はまた、残差差分パルスコード変調(RDPCM)を使用して残差ブロックを生成するために、残差ブロック中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット204は、バイナリ減算を実行する1つまたは複数の減算器回路を使用して形成され得る。

【0122】

モード選択ユニット202がCUをPUに区分する例では、各PUはルーマ予測ユニットおよび対応するクロマ予測ユニットに関連付けられ得る。ビデオエンコーダ200およびビデオデコーダ300は、様々なサイズを有するPUをサポートし得る。上記で示したように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがあり、PUのサイズは、PUのルーマ予測ユニットのサイズを指すことがある。特定のCUのサイズが2N×2Nであると仮定すると、ビデオエンコーダ200は、イントラ予測に対して2N×2NまたはN×NのPUサイズ、およびインター予測に対して2N×2N、2N×N、N×2N、N×N、または類似の、対称のPUサイズをサポートし得る。ビデオエンコーダ200およびビデオデコーダ300はまた、インター予測に対して2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズのための非対称区分をサポートし得る。

【0123】

モード選択ユニット202がCUをPUにさらに区分しない例では、各PUはルーマコーディングブロックおよび対応するクロマコーディングブロックに関連付けられ得る。上記のように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがある。ビデオエンコーダ200およびビデオデコーダ300は、2N×2N、2N×N、またはN×2NのCUサイズをサポートし得る。

【0124】

いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル(LM)モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット202は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在のブロックのための予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット202は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構成する方法を示すシンタックス要素を生成してもよい。そのようなモードでは、モード選択ユニット202は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット220に提供し得る。

【0125】

上記で説明したように、残差生成ユニット204は、現在のブロックおよび対応する予測ブロックのためのビデオデータを受信する。次いで、残差生成ユニット204は現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット204は予測ブロックと現在のブロックとの間のサンプルごとの差分を計算する。

【0126】

変換処理ユニット206は、変換係数のブロック(本明細書では「変換係数ブロック」と呼ばれる)を生成するために、1つまたは複数の変換を残差ブロックに適用する。変換処理ユニット206は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。たとえば、変換処理ユニット206は、離散コサイン変換(DCT)、方向変換、カルーネンレーベ変換(KLT)、または概念的に類似の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット206は、複数の変換、たとえば、回転変換などの、一次変換および二次変換を残差ブロックに対して実行し得る。いくつかの例では、変換処理ユニット206は、変換を残差ブロックに適用しない。

【0127】

本開示の技法によれば、変換処理ユニット206は、ビデオデータの現在のブロックのためのサイズおよび予測モード(たとえば、イントラ予測モード)を表すデータを受信し得る。変換処理ユニット206は、現在のブロックのサイズおよび予測モードに従って、MTSグループ232からMTSグループを決定し得る。たとえば、変換処理ユニット206は、たとえば、上記で説明したような表1に従って、現在のブロックのサイズを含むサイズグループを決定し得る。別の例として、追加または代替として、変換処理ユニット206は、たとえば、上記の表2に従って、現在のブロックのためのイントラ予測モードを含むモードグループを決定し得る。次いで、変換処理ユニット206は、MTSグループ232からMTSグループを選択してもよく、たとえば、表3に関して上記で説明したように、そのMTSグループにサイズおよびイントラ予測モード(たとえば、サイズグループおよび/またはモードグループ)がマッピングされる。同様に、いくつかの例では、変換処理ユニット206は、ブロックサイズおよび/またはイントラ予測モードの対称性を利用してもよく、M×Nのサイズのブロックは、たとえば、上記で説明したように、N×Mのサイズのブロックと同じMTSグループにマッピングされてもよい。

【0128】

変換処理ユニット206は、決定されたMTSグループの中のMTS方式の各々を評価し得る。変換処理ユニット206は、グループからMTS方式のうちの1つを選択してもよく、その結果として、エネルギーが最も低い変換ブロック(たとえば、ゼロ値が最も多い係数を有するかまたは最も低い平均係数値を有する変換ブロック)がもたらされる。次いで、変換処理ユニット206は、変換インデックスとして符号化されるべきインデックス値をエントロピー符号化ユニット220に送ってもよく、変換インデックスは、MTSグループの中の決定されたMTS方式を識別する。変換処理ユニット206はまた、インデックス値を逆変換処理ユニット212に提供し得る。

【0129】

AV1に従って動作するとき、変換処理ユニット206は、変換係数のブロック(本明細書では「変換係数ブロック」と呼ばれる)を生成するために、1つまたは複数の変換を残差ブロックに適用し得る。変換処理ユニット206は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。たとえば、変換処理ユニット206は、離散コサイン変換(DCT)、非対称離散サイン変換(ADST)、反転ADST(たとえば、逆順のADST)、および恒等変換(IDTX)を含み得る、水平変換/垂直変換の組合せを適用し得る。恒等変換を使用するとき、垂直方向または水平方向のうちの1つにおいて変換がスキップされる。いくつかの例では、変換処理がスキップされ得る。

【0130】

量子化ユニット208は、変換係数ブロック中で変換係数を量子化して、量子化された変換係数ブロックを生成し得る。量子化ユニット208は、現在のブロックに関連付けられた量子化パラメータ(QP)値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ200は(たとえば、モード選択ユニット202を介して)、CUに関連付けられたQP値を調整することによって、現在のブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は情報の損失をもたらすことがあり、したがって、量子化された変換係数は変換処理ユニット206によって生成された元の変換係数よりも低い精度を有することがある。

【0131】

逆量子化ユニット210および逆変換処理ユニット212は、それぞれ、逆量子化および逆変換を量子化された変換係数ブロックに適用して、変換係数ブロックから残差ブロックを再構成し得る。再構成ユニット214は、再構成された残差ブロックおよびモード選択ユニット202によって生成された予測ブロックに基づいて、(ある程度のひずみを伴う可能性があるが)現在のブロックに対応する再構成されたブロックを生成し得る。たとえば、再構成ユニット214は、再構成された残差ブロックのサンプルをモード選択ユニット202によって生成された予測ブロックからの対応するサンプルに加えて、再構成されたブロックを生成し得る。

【0132】

本開示の技法によれば、逆変換処理ユニット212は、ビデオデータの現在のブロックのためのサイズおよび予測モード(たとえば、イントラ予測モード)を表すデータを受信し得る。逆変換処理ユニット212は、現在のブロックのサイズおよび予測モードに従って、MTSグループ232からMTSグループを決定し得る。たとえば、逆変換処理ユニット212は、たとえば、上記で説明したような表1に従って、現在のブロックのサイズを含むサイズグループを決定し得る。別の例として、追加または代替として、逆変換処理ユニット212は、たとえば、上記の表2に従って、現在のブロックのためのイントラ予測モードを含むモードグループを決定し得る。逆変換処理ユニット212はさらに、変換処理ユニット206から変換インデックスを受信し得る。逆変換処理ユニット212は、変換インデックスを使用して、MTSグループ232からのMTSグループの中のMTS方式を決定してもよく、たとえば、表3に関して上記で説明したように、そのMTS方式にサイズおよびイントラ予測モード(たとえば、サイズグループおよび/またはモードグループ)がマッピングされる。同様に、いくつかの例では、逆変換処理ユニット212は、ブロックサイズおよび/またはイントラ予測モードの対称性を利用してもよく、M×Nのサイズのブロックは、たとえば、上記で説明したように、N×Mのサイズのブロックと同じMTSグループにマッピングされてもよい。逆変換処理ユニット212は、決定されたMTS方式を使用して変換ブロックを逆変換し得る。

【0133】

フィルタユニット216は、再構成されたブロックに対して1つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット216は、CUの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。フィルタユニット216の動作は、いくつかの例では、スキップされ得る。

【0134】

AV1に従って動作するとき、フィルタユニット216は、再構成されたブロックに対して1つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット216は、CUの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。他の例では、フィルタユニット216は、デブロッキング後に適用され得る制約付き方向性強化フィルタ(CDEF:constrained directional enhancement filter)を適用してもよく、推定された端部方向に基づく非分離可能非線形ローパス方向性フィルタの適用を含んでもよい。フィルタユニット216はまた、CDEF後に適用されるループ復元フィルタを含んでもよく、分離可能対称正規化ウィーナーフィルタまたは二重自己誘導フィルタを含んでもよい。

【0135】

ビデオエンコーダ200は、再構成されたブロックをDPB218に記憶する。たとえば、フィルタユニット216の動作が実行されない例では、再構成ユニット214が再構成されたブロックをDPB218に記憶し得る。フィルタユニット216の動作が実行される例では、フィルタユニット216がフィルタ処理され再構成されたブロックをDPB218に記憶し得る。動き推定ユニット222および動き補償ユニット224は、後で符号化されるピクチャのブロックをインター予測するために、再構成された(かつ場合によってはフィルタリングされた)ブロックから形成された参照ピクチャをDPB218から取り出し得る。加えて、イントラ予測ユニット226は、現在のピクチャ中の他のブロックをイントラ予測するために、現在のピクチャのDPB218中の再構成されたブロックを使用し得る。

【0136】

一般に、エントロピー符号化ユニット220は、ビデオエンコーダ200の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット220は、量子化ユニット208からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット220は、モード選択ユニット202からの予測シンタックス要素(たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報)をエントロピー符号化し得る。エントロピー符号化ユニット220は、ビデオデータの別の例であるシンタックス要素に対して1つまたは複数のエントロピー符号化動作を実行して、エントロピー符号化されたデータを生成し得る。たとえば、エントロピー符号化ユニット220は、コンテキスト適応型可変長コーディング(CAVLC)動作、CABAC動作、可変対可変(V2V)長コーディング動作、シンタックスベースのコンテキスト適応型バイナリ算術コーディング(SBAC)動作、確率間隔区分エントロピー(PIPE)コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実行し得る。いくつかの例では、エントロピー符号化ユニット220は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

【0137】

ビデオエンコーダ200は、スライスまたはピクチャのブロックを再構成するために必要とされるエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。具体的には、エントロピー符号化ユニット220がビットストリームを出力し得る。

【0138】

AV1によれば、エントロピー符号化ユニット220は、シンボル間適応マルチシンボル算術コーダとして構成され得る。AV1におけるシンタックス要素はN個の要素のアルファベットを含み、コンテキスト(たとえば、確率モデル)はN個の確率のセットを含む。エントロピー符号化ユニット220は、確率をnビット(たとえば、15ビット)の累積分布関数(CDF)として記憶し得る。エントロピー符号化ユニット220は、コンテキストを更新するために、アルファベットサイズに基づく更新係数を用いて再帰スケーリングを実行し得る。

【0139】

上記で説明した動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび/またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明したように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、CUのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、PUのルーマ成分およびクロマ成分である。

【0140】

いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル(MV)および参照ピクチャを識別するための動作は、クロマコーディングブロックのためのMVおよび参照ピクチャを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのMVはクロマコーディングブロックのためのMVを決定するためにスケーリングされてもよく、参照ピクチャは同じであってもよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであってもよい。

【0141】

ビデオエンコーダ200は、ビデオデータのブロックのためのMTS方式を決定およびシグナリングするための本開示の技法のいずれかを適用するように構成され得る。

【0142】

図8は、本開示の技法を実行し得る例示的なビデオデコーダ300を示すブロック図である。図8は説明のために提供され、本開示において広く例示および説明するような技法を限定するものではない。説明のために、本開示は、VVC(開発中のITU-T H.266)およびHEVC(ITU-T H.265)の技法によるビデオデコーダ300について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されたビデオコーディングデバイスによって実行され得る。

【0143】

図8の例では、ビデオデコーダ300は、コード化ピクチャバッファ(CPB)メモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、フィルタユニット312、MTSグループ322、および復号ピクチャバッファ(DPB)314を含む。CPBメモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、フィルタユニット312、MTSグループ322、およびDPB314のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオデコーダ300のユニットは、ハードウェア回路の一部としての1つもしくは複数の回路もしくは論理要素として、またはプロセッサ、ASIC、もしくはFPGAの一部として実装され得る。さらに、ビデオデコーダ300は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。

【0144】

予測処理ユニット304は、動き補償ユニット316およびイントラ予測ユニット318を含む。予測処理ユニット304は、他の予測モードに従って予測を実行するための追加のユニットを含み得る。例として、予測処理ユニット304は、パレットユニット、(動き補償ユニット316の一部を形成し得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。他の例では、ビデオデコーダ300は、より多数の、より少数の、または異なる機能構成要素を含み得る。

【0145】

AV1に従って動作するとき、動き補償ユニット316は、上記で説明したような並進動き補償、アフィン動き補償、OBMC、および/または複合インターイントラ予測を使用して、ビデオデータのコーディングブロック(たとえば、ルーマコーディングブロックとクロマコーディングブロックの両方)を復号するように構成され得る。イントラ予測ユニット318は、上記で説明したような方向イントラ予測、非方向イントラ予測、再帰フィルタイントラ予測、CFL予測、イントラブロックコピー(IBC)、および/またはカラーパレットモードを使用して、ビデオデータのコーディングブロック(たとえば、ルーマコーディングブロックとクロマコーディングブロックの両方)を復号するように構成され得る。

【0146】

CPBメモリ320は、ビデオデコーダ300の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。CPBメモリ320に記憶されたビデオデータは、たとえば、コンピュータ可読媒体110(図1)から取得され得る。CPBメモリ320は、符号化されたビデオビットストリームからの符号化されたビデオデータ(たとえば、シンタックス要素)を記憶するCPBを含み得る。また、CPBメモリ320は、ビデオデコーダ300の様々なユニットからの出力を表す一時的なデータなどの、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶し得る。DPB314は、一般に、符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ300が参照ビデオデータとして出力および/または使用し得る、復号されたピクチャを記憶する。CPBメモリ320およびDPB314は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。CPUメモリ320およびDPB314は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、CPBメモリ320は、ビデオデコーダ300の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。

【0147】

追加または代替として、いくつかの例では、ビデオデコーダ300は、メモリ120(図1)からコーディングされたビデオデータを取り出し得る。すなわち、メモリ120は、CPBメモリ320に関して上記で説明したようなデータを記憶し得る。同様に、メモリ120は、ビデオデコーダ300の機能の一部または全部がビデオデコーダ300の処理回路によって実行されるべきソフトウェアにおいて実装されるとき、ビデオデコーダ300によって実行されるべき命令を記憶し得る。

【0148】

図8に示す様々なユニットは、ビデオデコーダ300によって実行される動作を理解することを助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図7と同様に、固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作に対してプリセットされる。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作において柔軟な機能を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは概して不変である。いくつかの例では、ユニットのうちの1つまたは複数は異なる回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、ユニットのうちの1つまたは複数は集積回路であってもよい。

【0149】

ビデオデコーダ300は、ALU、EFU、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含み得る。ビデオデコーダ300の動作がプログラマブル回路上で実行されるソフトウェアによって実行される例では、オンチップメモリまたはオフチップメモリが、ビデオデコーダ300が受信および実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶し得る。

【0150】

エントロピー復号ユニット302は、CPBから符号化されたビデオデータを受信し、ビデオデータをエントロピー復号して、シンタックス要素を再生し得る。予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、およびフィルタユニット312は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成し得る。

【0151】

一般に、ビデオデコーダ300は、ブロックごとにピクチャを再構成する。ビデオデコーダ300は、各ブロックに対して個別に再構成動作を実行し得る(ここで、現在再構成されている、すなわち、復号されているブロックは「現在のブロック」と呼ばれることがある)。

【0152】

エントロピー復号ユニット302は、量子化された変換係数ブロックの量子化された変換係数、ならびに量子化パラメータ(QP)および/または変換モード指示などの変換情報を定義するシンタックス要素をエントロピー復号し得る。逆量子化ユニット306は、量子化の程度と、同様に、逆量子化ユニット306が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたQPを使用し得る。逆量子化ユニット306は、たとえば、量子化された変換係数を逆量子化するために、ビット単位の左シフト演算を実行し得る。逆量子化ユニット306は、それによって、変換係数を含む変換係数ブロックを形成し得る。

【0153】

逆量子化ユニット306が変換係数ブロックを形成した後、逆変換処理ユニット308は、現在のブロックに関連付けられた残差ブロックを生成するために、1つまたは複数の逆変換を変換係数ブロックに適用し得る。たとえば、逆変換処理ユニット308は、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。

【0154】

本開示の技法によれば、逆変換処理ユニット308は、エントロピー復号ユニット302および/または予測処理ユニット304からビデオデータの現在のブロックのためのサイズおよび予測モード(たとえば、イントラ予測モード)を表すデータを受信し得る。逆変換処理ユニット308は、現在のブロックのサイズおよび予測モードに従って、MTSグループ322からMTSグループを決定し得る。たとえば、逆変換処理ユニット308は、たとえば、上記で説明したような表1に従って、現在のブロックのサイズを含むサイズグループを決定し得る。別の例として、追加または代替として、逆変換処理ユニット308は、たとえば、上記の表2に従って、現在のブロックのためのイントラ予測モードを含むモードグループを決定し得る。逆変換処理ユニット308はさらに、エントロピー復号ユニット302から変換インデックスを受信し得る。逆変換処理ユニット308は、変換インデックスを使用して、MTSグループ322からのMTSグループの中のMTS方式を決定してもよく、たとえば、表3に関して上記で説明したように、そのMTS方式にサイズおよびイントラ予測モード(たとえば、サイズグループおよび/またはモードグループ)がマッピングされる。同様に、いくつかの例では、逆変換処理ユニット308は、ブロックサイズおよび/またはイントラ予測モードの対称性を利用してもよく、M×Nのサイズのブロックは、たとえば、上記で説明したように、N×Mのサイズのブロックと同じMTSグループにマッピングされてもよい。逆変換処理ユニット308は、決定されたMTS方式を使用して変換ブロックを逆変換し得る。

【0155】

さらに、予測処理ユニット304は、エントロピー復号ユニット302によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット316は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、そこから参照ブロックを取り出すべきDPB314中の参照ピクチャ、ならびに現在のピクチャ中の現在のブロックの場所に対する参照ピクチャ中の参照ブロックの場所を識別する動きベクトルを示し得る。動き補償ユニット316は、一般に、動き補償ユニット224(図7)に関して説明した方法と実質的に同様の方法でインター予測プロセスを実行し得る。

【0156】

別の例として、現在のブロックがイントラ予測されることを予測情報シンタックス要素が示す場合、イントラ予測ユニット318は、予測情報シンタックス要素によって示されたイントラ予測モードに従って予測ブロックを生成し得る。やはり、イントラ予測ユニット318は、一般に、イントラ予測ユニット226(図7)に関して説明した方法と実質的に同様の方法でイントラ予測プロセスを実行し得る。イントラ予測ユニット318は、DPB314から現在のブロックに対する隣接サンプルのデータを取り出し得る。

【0157】

再構成ユニット310は、予測ブロックおよび残差ブロックを使用して現在のブロックを再構成し得る。たとえば、再構成ユニット310は、残差ブロックのサンプルを予測ブロックの対応するサンプルに加えて、現在のブロックを再構成し得る。

【0158】

フィルタユニット312は、再構成されたブロックに対して1つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット312は、再構成されたブロックの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。フィルタユニット312の動作は、必ずしもすべての例において実行されるとは限らない。

【0159】

ビデオデコーダ300は、再構成されたブロックをDPB314に記憶し得る。たとえば、フィルタユニット312の動作が実行されない例では、再構成ユニット310が再構成されたブロックをDPB314に記憶し得る。フィルタユニット312の動作が実行される例では、フィルタユニット312が精錬されフィルタ処理され再構成されたブロックをDPB314に記憶し得る。上記で説明したように、DPB314は、イントラ予測のための現在のピクチャおよび後続の動き補償のための以前に復号されたピクチャ(たとえば、復号されたビデオ)のサンプルなどの参照情報を予測処理ユニット304に提供し得る。さらに、ビデオデコーダ300は、図1のディスプレイデバイス118などのディスプレイデバイス上に後で提示するために、DPB314からの復号されたピクチャを出力し得る。

【0160】

このようにして、ビデオデコーダ300は、ビデオデータを記憶するように構成されたメモリと、回路において実装される1つまたは複数のプロセッサであって、ビデオデータの現在のブロックのサイズを決定することと、ビデオデータの現在のブロックのためのイントラ予測モードを決定することと、決定されたイントラ予測モードを含むモードグループを決定することであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ことと、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定することであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ことと、決定されたモードグループに従って利用可能なMTS方式のセットからMTS方式を決定することと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成することと、残差ブロックを使用して現在のブロックを復号することとを行うように構成された1つまたは複数のプロセッサとを含む、ビデオデータを復号するためのデバイスの一例を表す。

【0161】

図9は、本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含み得る。ビデオエンコーダ200(図1および図7)に関して説明するが、他のデバイスが図9の方法と同様の方法を実行するように構成され得ることを理解されたい。

【0162】

この例では、ビデオエンコーダ200は最初に、現在のブロックを予測する(350)。たとえば、ビデオエンコーダ200は、イントラ予測モードを使用して現在のブロックのための予測ブロックを形成し得る。次いで、ビデオエンコーダ200は、現在のブロックのための残差ブロックを計算し得る(352)。残差ブロックを計算するために、ビデオエンコーダ200は、元のコーディングされていないブロックと現在のブロックのための予測ブロックとの間の差分を計算し得る。次いで、ビデオエンコーダ200は、残差ブロックを変換し、残差ブロックの変換係数を量子化し得る(354)。具体的には、ビデオエンコーダ200は、本開示の様々な技法のいずれかに従って、たとえば、ブロックのサイズおよびブロックのためのイントラ予測モードに従って、残差ブロックに適用すべきMTS方式を決定し得る。次に、ビデオエンコーダ200は、残差ブロックの量子化された変換係数を走査し得る(356)。走査の間、または走査に続いて、ビデオエンコーダ200は、変換係数をエントロピー符号化し得る(358)。たとえば、ビデオエンコーダ200は、CAVLCまたはCABACを使用して、変換係数を符号化し得る。次いで、ビデオエンコーダ200は、ブロックのエントロピー符号化されたデータを出力し得る(360)。

【0163】

ビデオエンコーダ200はまた、現在のブロックを符号化した後に現在のブロックを復号して、現在のブロックの復号されたバージョンを、(たとえば、インター予測モードまたはイントラ予測モードにおける)後でコーディングされるデータに対する参照データとして使用し得る。したがって、ビデオエンコーダ200は、係数を逆量子化および逆変換して、残差ブロックを再生し得る(362)。ビデオエンコーダ200は、残差ブロックを予測ブロックと合成して、復号されたブロックを形成し得る(364)。次いで、ビデオエンコーダ200は、復号されたブロックをDPB218に記憶し得る(366)。

【0164】

図10は、本開示の技法による、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含み得る。ビデオデコーダ300(図1および図8)に関して説明するが、他のデバイスが図10の方法と同様の方法を実行するように構成され得ることを理解されたい。

【0165】

ビデオデコーダ300は、エントロピー符号化された予測情報および現在のブロックに対応する残差ブロックの変換係数のエントロピー符号化されたデータなどの、現在のブロックのためのエントロピー符号化されたデータを受信し得る(370)。ビデオデコーダ300は、現在のブロックのための予測情報を決定するために、および残差ブロックの変換係数を再生するために、エントロピー符号化されたデータをエントロピー復号し得る(372)。ビデオデコーダ300は、現在のブロックのための予測ブロックを計算するために、たとえば、現在のブロックのための予測情報によって示されるようなイントラ予測モードを使用して、現在のブロックを予測し得る(374)。次いで、ビデオデコーダ300は、量子化された変換係数のブロックを作成するために、再生された変換係数を逆走査し得る(376)。ビデオデコーダ300は、本開示の様々な技法のいずれかに従ってブロックのためのMTS方式を決定するために、イントラ予測モードおよびブロックのサイズを使用し得る。次いで、ビデオデコーダ300は、変換係数を逆量子化し、MTS方式を使用して逆変換を変換係数に適用して、残差ブロックを生成し得る(378)。ビデオデコーダ300は、予測ブロックおよび残差ブロックを合成することによって、現在のブロックを最終的に復号し得る(380)。

【0166】

図11は、本開示の技法による、ビデオデータのブロックを復号する例示的な方法を示すフローチャートである。図11の方法は、ビデオデコーダ300(図1および図8)によって実行されてもよく、例としてビデオデコーダ300に関して説明される。図1および図7のビデオエンコーダ200および他のビデオコーディング(符号化および/または復号)デバイスは、この方法または同様の方法を実行するように構成され得る。図11の方法は、図9の方法の一部(たとえば、ステップ354および/または362)として、または図10の方法の一部(たとえば、ステップ378)として実行され得る。

【0167】

最初に、ビデオデコーダ300は、ビデオデータの現在のブロックのサイズを決定する(400)。たとえば、ビデオデコーダ300は、現在のブロックの幅Wおよび高さHを決定してもよく、WおよびHは、現在のブロックの対応する寸法に沿ったサンプルの数を表す。ビデオデコーダ300はまた、現在のブロックのための現在のイントラ予測モードを決定し得る(402)。たとえば、ビデオデコーダ300は、現在のブロックのためのイントラ予測モードを表す1つまたは複数のイントラ予測モードシンタックス要素を復号し得る。代替として、ビデオデコーダ300は、イントラ予測モードを決定するために、図3から図6に関して上記で説明した様々な技法のいずれかを使用し得る。

【0168】

次いで、ビデオデコーダ300は、決定されたイントラ予測モードを含むモードグループを決定し得る(404)。たとえば、ビデオデコーダ300は、上記で説明したような表2に従ってモードグループを決定し得る。他の例では、各グループの中により多いもしくはより少ないグループおよび/またはより多いもしくはより少ないモードを含み得る他のモードグループ化が使用され得る。

【0169】

次いで、ビデオデコーダ300は、現在のブロックのモードグループおよびサイズに従って現在のブロックのための利用可能なMTS方式のセットを決定し得る(406)。たとえば、ビデオデコーダ300は、上記の表3に従って利用可能なMTS方式のセットを決定し得る。すなわち、利用可能なMTS方式のセットは、利用可能なMTS方式の複数のセットのうちの1つであり得る。セット(「グループ」とも呼ばれる)の各々は、上記で説明したように、4つのMTS方式を含み得る。たとえば、上記の例示的なg_aucTrSetデータ構造に示すように、80個の異なるMTS方式のセットがあり得る。利用可能なMTS方式のセットの各々は、たとえば、g_aucTrIdxToTrデータ構造に関して上記で説明したように、25個の可能なMTS方式のセットへのインデックスなどの、MTS方式を表す値を含み得る。

【0170】

ビデオデコーダ300はさらに、現在のブロック、すなわち、現在のブロックの変換ブロックに適用されるべき、MTS方式の決定されたセットのMTS方式のうちの1つを決定し得る(408)。たとえば、ビデオデコーダ300は、MTS方式の決定されたセットの4つのMTS方式のうちのどれが現在のブロックに適用されるべきかを表す変換インデックスを復号し得る。

【0171】

次いで、ビデオデコーダ300は、決定されたMTS方式を現在のブロックのための変換ブロックに適用し得る(410)。たとえば、ビデオデコーダ300は、MTS方式の垂直変換および水平変換を変換ブロックに適用し得る。MTS方式の適用は、再生された残差ブロックをもたらし得る。次いで、ビデオデコーダ300は、たとえば、サンプルごとに残差ブロックを予測ブロックと合成することによって、残差ブロックを使用して現在のブロックを復号し得る(412)。

【0172】

このようにして、図11の方法は、ビデオデータの現在のブロックのサイズを決定するステップと、ビデオデータの現在のブロックのためのイントラ予測モードを決定するステップと、決定されたイントラ予測モードを含むモードグループを決定するステップであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ステップと、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定するステップであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ステップと、決定されたモードグループに従って利用可能なMTS方式のセットからMTS方式を決定するステップと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成するステップと、残差ブロックを使用して現在のブロックを復号するステップとを含む、ビデオデータを復号する方法の一例を表す。

【0173】

図12は、本開示の技法による、ビデオデータのブロックを復号する例示的な方法を示すフローチャートである。図12の方法は、ビデオデコーダ300(図1および図8)によって実行されてもよく、例としてビデオデコーダ300に関して説明される。図1および図7のビデオエンコーダ200および他のビデオコーディング(符号化および/または復号)デバイスは、この方法または同様の方法を実行するように構成され得る。図12の方法は、図9の方法の一部(たとえば、ステップ354および/または362)として、または図10の方法の一部(たとえば、ステップ378)として実行され得る。図12の方法は、いくつかの例では、図11の方法とともに実行され得る。

【0174】

最初に、ビデオデコーダ300は、ビデオデータの現在のブロックのサイズを決定する(420)。たとえば、ビデオデコーダ300は、現在のブロックの幅Wおよび高さHを決定してもよく、WおよびHは、現在のブロックの対応する寸法に沿ったサンプルの数を表す。ビデオデコーダ300はまた、現在のブロックのための現在のイントラ予測モードを決定し得る(422)。たとえば、ビデオデコーダ300は、現在のブロックのためのイントラ予測モードを表す1つまたは複数のイントラ予測モードシンタックス要素を復号し得る。代替として、ビデオデコーダ300は、イントラ予測モードを決定するために、図3から図6に関して上記で説明した様々な技法のいずれかを使用し得る。

【0175】

次いで、ビデオデコーダ300は、決定されたイントラ予測モードを含むサイズグループを決定し得る(424)。たとえば、ビデオデコーダ300は、上記で説明したような表1に従ってサイズグループを決定し得る。他の例では、各グループの中により多いもしくはより少ないグループおよび/またはより多いもしくはより少ないサイズを含み得る他のサイズグループ化が使用され得る。

【0176】

次いで、ビデオデコーダ300は、現在のブロックのためのサイズグループおよびイントラ予測モードに従って現在のブロックのための利用可能なMTS方式のセットを決定し得る(426)。たとえば、ビデオデコーダ300は、上記の表3に従って利用可能なMTS方式のセットを決定し得る。すなわち、利用可能なMTS方式のセットは、利用可能なMTS方式の複数のセットのうちの1つであり得る。セット(「グループ」とも呼ばれる)の各々は、上記で説明したように、4つのMTS方式を含み得る。たとえば、上記の例示的なg_aucTrSetデータ構造に示すように、80個の異なるMTS方式のセットがあり得る。

【0177】

ビデオデコーダ300はさらに、現在のブロック、すなわち、現在のブロックの変換ブロックに適用されるべき、MTS方式の決定されたセットのMTS方式のうちの1つを決定し得る(428)。たとえば、ビデオデコーダ300は、MTS方式の決定されたセットの4つのMTS方式のうちのどれが現在のブロックに適用されるべきかを表す変換インデックスを復号し得る。

【0178】

次いで、ビデオデコーダ300は、決定されたMTS方式を現在のブロックのための変換ブロックに適用し得る(430)。たとえば、ビデオデコーダ300は、MTS方式の垂直変換および水平変換を変換ブロックに適用し得る。MTS方式の適用は、再生された残差ブロックをもたらし得る。次いで、ビデオデコーダ300は、たとえば、サンプルごとに残差ブロックを予測ブロックと合成することによって、残差ブロックを使用して現在のブロックを復号し得る(432)。

【0179】

図13は、本開示の技法による、ビデオデータのブロックを復号する例示的な方法を示すフローチャートである。図13の方法は、ビデオデコーダ300(図1および図8)によって実行されてもよく、例としてビデオデコーダ300に関して説明される。図1および図7のビデオエンコーダ200および他のビデオコーディング(符号化および/または復号)デバイスは、この方法または同様の方法を実行するように構成され得る。図13の方法は、図9の方法の一部(たとえば、ステップ354および/または362)として、または図10の方法の一部(たとえば、ステップ378)として実行され得る。

【0180】

最初に、ビデオデコーダ300は、ビデオデータの現在のブロックのサイズW×Hを決定する(440)。たとえば、ビデオデコーダ300は、現在のブロックの幅Wおよび高さHを決定してもよく、WおよびHは、現在のブロックの対応する寸法に沿ったサンプルの数を表す。ビデオデコーダ300はまた、現在のブロックのための現在のイントラ予測モードを決定し得る(442)。たとえば、ビデオデコーダ300は、現在のブロックのためのイントラ予測モードを表す1つまたは複数のイントラ予測モードシンタックス要素を復号し得る。代替として、ビデオデコーダ300は、イントラ予測モードを決定するために、図3から図6に関して上記で説明した様々な技法のいずれかを使用し得る。

【0181】

次いで、ビデオデコーダ300は、対称のサイズ(H×W)およびイントラ予測モードを決定し得る(444)。具体的には、現在のブロックの実際のサイズおよびイントラ予測モードが表3に含まれていない場合、ビデオデコーダ300は対称のサイズおよびイントラ予測モードを使用してMTS方式を決定し得る。単にW×HをH×Wに反転させることによって、ビデオデコーダ300は対称のブロックサイズを取得し得る。イントラ予測モードの対称性は、ミラーがモード34に平行であり、図2のブロックの左上隅および右下隅を横切ると仮定すると、図2に示すようなモード2から34の鏡像に従って決定され得る。したがって、たとえば、モード66はモード2に対して対称であり、モード65はモード3に対して対称であり、以下同様であり、最高でモード33はモード35に対して対称である(モード34はそれ自体に対して対称になる)。

【0182】

次いで、ビデオデコーダ300は、対称のブロックサイズ(H×W)および対称のイントラ予測モードに従って現在のブロックのための利用可能なMTS方式のセットを決定し得る(446)。たとえば、ビデオデコーダ300は、上記の表3に従って利用可能なMTS方式のセットを決定し得る。すなわち、利用可能なMTS方式のセットは、利用可能なMTS方式の複数のセットのうちの1つであり得る。セット(「グループ」とも呼ばれる)の各々は、上記で説明したように、4つのMTS方式を含み得る。たとえば、上記の例示的なg_aucTrSetデータ構造に示すように、80個の異なるMTS方式のセットがあり得る。利用可能なMTS方式のセットの各々は、たとえば、g_aucTrIdxToTrデータ構造に関して上記で説明したように、25個の可能なMTS方式のセットへのインデックスなどの、MTS方式を表す値を含み得る。たとえば、現在のブロックが8×32のサイズおよび58のイントラ予測モードを有する場合、ビデオデコーダ300は、対称のサイズが32×8であり、対称のイントラ予測モードが10であり、MTS方式のセットが、表3の例によれば、g_aucTrSetデータ構造の66番目のエントリであると決定し得る。

【0183】

ビデオデコーダ300はさらに、現在のブロック、すなわち、現在のブロックの変換ブロックに適用されるべき、MTS方式の決定されたセットのMTS方式のうちの1つを決定し得る(448)。たとえば、ビデオデコーダ300は、MTS方式の決定されたセットの4つのMTS方式のうちのどれが現在のブロックに適用されるべきかを表す変換インデックスを復号し得る。

【0184】

次いで、ビデオデコーダ300は、決定されたMTS方式を現在のブロックのための変換ブロックに適用し得る(450)。たとえば、ビデオデコーダ300は、MTS方式の垂直変換および水平変換を変換ブロックに適用し得る。MTS方式の適用は、再生された残差ブロックをもたらし得る。次いで、ビデオデコーダ300は、たとえば、サンプルごとに残差ブロックを予測ブロックと合成することによって、残差ブロックを使用して現在のブロックを復号し得る(452)。

【0185】

本開示の技法の様々な例が、以下の条項において要約される。

【0186】

条項1: ビデオデータを復号する方法であって、ビデオデータの現在のブロックのサイズを決定するステップと、ビデオデータの現在のブロックのためのイントラ予測モードを決定するステップと、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定するステップであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ステップと、利用可能なMTS方式のセットからMTS方式を決定するステップと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成するステップと、残差ブロックを使用して現在のブロックを復号するステップとを含む方法。

【0187】

条項2: 現在のブロックのサイズが、現在のブロックの幅および現在のブロックの高さに従うサイズグループを含む、条項1の方法。

【0188】

条項3: 現在のブロックのサイズグループが、4×4、4×8、4×16、4×N、8×4、8×8、8×16、8×N、16×4、16×8、16×16、16×N、N×4、N×8、N×16、N×Nを含む複数のサイズグループのうちの1つから選択され、Nが2の整数べき乗であり、16よりも大きい、条項2の方法。

【0189】

条項4: 現在のブロックのサイズに従って利用可能なMTS方式のセットを決定するステップが、現在のブロックのためのサイズグループに従って利用可能なMTS方式のセットを決定するステップを含む、条項3の方法。

【0190】

条項5: イントラ予測モードを決定するステップが、イントラ予測モードを含むモードグループを決定するステップを含み、現在のブロックのためのイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、現在のブロックのためのモードグループに従って利用可能なMTS方式のセットを決定するステップを含む、条項1から4のいずれかの方法。

【0191】

条項6: モードグループが、イントラ予測モード0および1を含む第1のグループと、イントラ予測モード2から12を含む第2のグループと、イントラ予測モード13から23を含む第3のグループと、イントラ予測モード24から34を含む第4のグループと、行列イントラ予測(MIP)モードを含む第5のグループとを含む複数のモードグループのうちの1つから選択される、条項5の方法。

【0192】

条項7: 利用可能なMTS方式のセットのうちのMTS方式を表すMTSインデックス値を復号するステップをさらに含み、MTS方式を決定するステップが、MTSインデックス値を使用してMTS方式を決定するステップを含む、条項1から6のいずれかの方法。

【0193】

条項8: MTSインデックス値が、両端値を含む0から3までの値を有し、MTS方式の複数のセットが、{ 17, 18, 23, 24}、{ 3, 7, 18, 22}、{ 2, 17, 18, 22}、{ 3, 15, 17, 18}、{ 3, 12, 18, 19}、{ 12, 18, 19, 23}、{ 2, 12, 17, 18}、{ 2, 17, 18, 22}、{ 2, 11, 17, 18}、{ 12, 18, 19, 23}、{ 12, 13, 16, 24}、{ 2, 11, 16, 23}、{ 2, 13, 17, 22}、{ 2, 11, 17, 21}、{ 13, 16, 19, 22}、{ 7, 12, 13, 18}、{ 1, 11, 12, 16}、{ 3, 13, 17, 22}、{ 1, 6, 12, 22}、{ 12, 13, 15, 16}、{ 18, 19, 23, 24}、{ 2, 17, 18, 24}、{ 3, 4, 17, 22}、{ 12, 18, 19, 23}、{ 12, 18, 19, 23}、{ 6, 12, 18, 24}、{ 2, 6, 12, 21}、{ 1, 11, 17, 22}、{ 3, 11, 16, 17}、{ 8, 12, 19, 23}、{ 7, 13, 16, 23}、{ 1, 6, 11, 12}、{ 1, 11, 17, 21}、{ 6, 11, 17, 21}、{ 8, 11, 14, 17}、{ 6, 11, 12, 21}、{ 1, 6, 11, 12}、{ 2, 6, 11, 12}、{ 1, 6, 11, 21}、{ 7, 11, 12, 16}、{ 8, 12, 19, 24}、{ 1, 13, 18, 22}、{ 2, 6, 17, 21}、{ 11, 12, 16, 19}、{ 8, 12, 17, 24}、{ 6, 12, 19, 21}、{ 6, 12, 13, 21}、{ 2, 16, 17, 21}、{ 6, 17, 19, 23}、{ 6, 12, 14, 17}、{ 6, 7, 11, 21}、{ 1, 11, 12, 16}、{ 1, 6, 11, 12}、{ 6, 11, 12, 21}、{ 7, 8, 9, 11}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}、{ 1, 11, 12, 16}、{ 6, 11, 17, 21}、{ 6, 7, 11, 12}、{ 12, 14, 18, 21}、{ 1, 11, 16, 22}、{ 1, 11, 16, 22}、{ 7, 13, 15, 16}、{ 1, 8, 12, 19}、{ 6, 7, 9, 12}、{ 2, 6, 12, 13}、{ 1, 12, 16, 21}、{ 7, 11, 16, 19}、{ 7, 8, 11, 12}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}、{ 1, 6, 11, 12}、{ 6, 7, 11, 16}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}、{ 6, 11, 12, 21}、{ 1, 6, 11, 12}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}を含み、MTSインデックスが、{ DCT8, DCT8 }、{ DCT8, DST7 }、{ DCT8, DCT5 }、{ DCT8, DST4 }、{DCT8, DST1}、{ DST7, DCT8 }、{ DST7, DST7 }、{ DST7, DCT5 }、{ DST7, DST4 }、{DST7, DST1}、{ DCT5, DCT8 }、{ DCT5, DST7 }、{ DCT5, DCT5 }、{ DCT5, DST4 }、{DCT5, DST1}、{ DST4, DCT8 }、{ DST4, DST7 }、{ DST4, DCT5 }、{ DST4, DST4 }、{DST4, DST1}、{ DST1, DCT8 }、{ DST1, DST7 }、{ DST1, DCT5 }、{ DST1, DST4 }、{DST1, DST1}に従って利用可能なMTS方式のセットの変換ペアを示す、条項7の方法。

【0194】

条項9: MTS方式のセットの各々が、4つのそれぞれの変換ペア選択肢を含む、条項1から8のいずれかの方法。

【0195】

条項10: 現在のブロックの形状に従って利用可能なMTS方式のセットにおける変換ペア選択肢の数を決定するステップをさらに含む、条項1から9のいずれかの方法。

【0196】

条項11: 現在のブロックの量子化パラメータに従って利用可能なMTS方式のセットにおける変換ペア選択肢の数を決定するステップをさらに含む、条項1から10のいずれかの方法。

【0197】

条項12: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードがI1を含み、角度イントラ予測モードであり、方法が、第2のブロックがH×Wのサイズを有すると決定するステップと、第2のブロックが(68-I1)のイントラ予測モードを有すると決定するステップと、第2のブロックのためのH×Wのサイズおよび(68-I1)のイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定するステップと、第2のブロックのためのMTS方式を決定するステップと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用するステップと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用するステップとをさらに含む、条項1から11のいずれかの方法。

【0198】

条項13: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードが第1の転置フラグ値を有する行列イントラ予測(MIP)モードを含み、方法が、第2のブロックがH×Wのサイズを有すると決定するステップと、第2のブロックのためのイントラ予測モードが第1の転置フラグ値とは異なる第2の転置フラグ値を有するMIPイントラ予測モードであると決定するステップと、第2のブロックのためのH×Wのサイズおよび第2の転置フラグ値を有するMIPイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定するステップと、利用可能なMTS方式のセットから第2のブロックのためのMTS方式を決定するステップと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用するステップと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用するステップとをさらに含む、条項1から11のいずれかの方法。

【0199】

条項14: 現在のブロックがデコーダ側イントラモード導出および融合イントラ予測(DIMD)モードを使用してコーディングされるとき、イントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、DIMDモードを使用して決定された優勢な角度モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項1から11のいずれかの方法。

【0200】

条項15: 優勢な角度モードが、最も高い重みを有するモードを含む、条項14の方法。

【0201】

条項16: 現在のブロックがデコーダ側イントラモード導出および融合イントラ予測(DIMD)モードを使用してコーディングされるとき、イントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、2つの角度モード値の間の差がしきい値よりも大きいかどうかを決定するステップを含み、差がしきい値よりも大きいとき、イントラ予測モードを決定するステップが、利用可能なMTS方式のセットを決定するときにイントラ予測モードを平面モードであるものとして決定するステップを含むか、または、差がしきい値よりも小さいかまたはそれに等しいとき、イントラ予測モードを決定するステップが、イントラ予測モードをDIMDモードを使用して決定された優勢な角度モードであるものとして決定するステップを含む、条項1から11のいずれかの方法。

【0202】

条項17: イントラ予測モードが広角イントラ予測モードを含むとき、イントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、広角イントラ予測モードの角度に最も近い角度を有する従来のイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項1から11のいずれかの方法。

【0203】

条項18: 現在のブロックのためのサイズおよびイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、以下の表に従って利用可能なMTS方式のセットを決定するステップを含み、

【0204】

【表4】

【0205】

Nが、32に等しいかまたはそれよりも大きい整数値である、条項1から17のいずれかの方法。

【0206】

条項19: イントラ予測モードを決定するステップが、テンプレートベースのイントラモード導出(TIMD)モードに従ってイントラ予測モードを決定するステップを含む、条項1から18のいずれかの方法。

【0207】

条項20: TIMDモードが2つのイントラ予測モードの融合を使用するとき、利用可能なMTS方式のセットを決定するステップが、2つのイントラ予測モードのうちの優勢なイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項19の方法。

【0208】

条項21: TIMDモードが2つのイントラ予測モードの融合を使用するとき、利用可能なMTS方式のセットを決定するステップが、2つのイントラ予測モードの間の差がしきい値よりも大きいとき、平面モードに従って利用可能なMTS方式のセットを決定するステップ、または、2つのイントラ予測モードの間の差がしきい値よりも小さいかまたはそれに等しいとき、2つのイントラ予測モードのうちの優勢なイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項19の方法。

【0209】

条項22: 優勢なイントラ予測モードが、より低いひずみをもたらす2つのイントラ予測モードのうちのイントラ予測モードを含む、条項20および21のいずれかの方法。

【0210】

条項23: 利用可能なMTS方式のセットを決定するステップが、拡大されたイントラ予測モード角度を利用可能なMTS方式のセットにマッピングするテーブルに従って利用可能なMTS方式のセットを決定するステップを含む、条項19から22のいずれかの方法。

【0211】

条項24: ビデオデータを復号する方法であって、ビデオデータの現在のブロックのサイズを決定するステップと、ビデオデータの現在のブロックのためのイントラ予測モードを決定するステップと、決定されたイントラ予測モードを含むモードグループを決定するステップであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ステップと、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定するステップであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ステップと、決定されたモードグループに従って利用可能なMTS方式のセットからMTS方式を決定するステップと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成するステップと、残差ブロックを使用して現在のブロックを復号するステップとを含む方法。

【0212】

条項25: 複数のモードグループが、イントラ予測モード0および1を含む第1のモードグループと、イントラ予測モード2から12を含む第2のグループと、イントラ予測モード13から23を含む第3のグループと、イントラ予測モード24から34を含む第4のグループと、行列イントラ予測(MIP)モードを含む第5のグループとを含む、条項24の方法。

【0213】

条項26: 現在のブロックのサイズが現在のブロックの幅および現在のブロックの高さを含み、現在のブロックのサイズがサイズグループに含まれる、条項24の方法。

【0214】

条項27: 現在のブロックのサイズグループが、4×4、4×8、4×16、4×N、8×4、8×8、8×16、8×N、16×4、16×8、16×16、16×N、N×4、N×8、N×16、N×Nを含む複数のサイズグループのうちの1つから選択され、Nが2の整数べき乗であり、16よりも大きい、条項26の方法。

【0215】

条項28: 現在のブロックのサイズに従って利用可能なMTS方式のセットを決定するステップが、現在のブロックのためのサイズグループに従って利用可能なMTS方式のセットを決定するステップを含む、条項27の方法。

【0216】

条項29: 利用可能なMTS方式のセットのうちのMTS方式を表すMTSインデックス値を復号するステップをさらに含み、MTS方式を決定するステップが、MTSインデックス値を使用してMTS方式を決定するステップを含む、条項24の方法。

【0217】

条項30: MTSインデックス値が、両端値を含む0から3までの値を有し、MTS方式の複数のセットが、{ 17, 18, 23, 24}、{ 3, 7, 18, 22}、{ 2, 17, 18, 22}、{ 3, 15, 17, 18}、{ 3, 12, 18, 19}、{ 12, 18, 19, 23}、{ 2, 12, 17, 18}、{ 2, 17, 18, 22}、{ 2, 11, 17, 18}、{ 12, 18, 19, 23}、{ 12, 13, 16, 24}、{ 2, 11, 16, 23}、{ 2, 13, 17, 22}、{ 2, 11, 17, 21}、{ 13, 16, 19, 22}、{ 7, 12, 13, 18}、{ 1, 11, 12, 16}、{ 3, 13, 17, 22}、{ 1, 6, 12, 22}、{ 12, 13, 15, 16}、{ 18, 19, 23, 24}、{ 2, 17, 18, 24}、{ 3, 4, 17, 22}、{ 12, 18, 19, 23}、{ 12, 18, 19, 23}、{ 6, 12, 18, 24}、{ 2, 6, 12, 21}、{ 1, 11, 17, 22}、{ 3, 11, 16, 17}、{ 8, 12, 19, 23}、{ 7, 13, 16, 23}、{ 1, 6, 11, 12}、{ 1, 11, 17, 21}、{ 6, 11, 17, 21}、{ 8, 11, 14, 17}、{ 6, 11, 12, 21}、{ 1, 6, 11, 12}、{ 2, 6, 11, 12}、{ 1, 6, 11, 21}、{ 7, 11, 12, 16}、{ 8, 12, 19, 24}、{ 1, 13, 18, 22}、{ 2, 6, 17, 21}、{ 11, 12, 16, 19}、{ 8, 12, 17, 24}、{ 6, 12, 19, 21}、{ 6, 12, 13, 21}、{ 2, 16, 17, 21}、{ 6, 17, 19, 23}、{ 6, 12, 14, 17}、{ 6, 7, 11, 21}、{ 1, 11, 12, 16}、{ 1, 6, 11, 12}、{ 6, 11, 12, 21}、{ 7, 8, 9, 11}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}、{ 1, 11, 12, 16}、{ 6, 11, 17, 21}、{ 6, 7, 11, 12}、{ 12, 14, 18, 21}、{ 1, 11, 16, 22}、{ 1, 11, 16, 22}、{ 7, 13, 15, 16}、{ 1, 8, 12, 19}、{ 6, 7, 9, 12}、{ 2, 6, 12, 13}、{ 1, 12, 16, 21}、{ 7, 11, 16, 19}、{ 7, 8, 11, 12}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}、{ 1, 6, 11, 12}、{ 6, 7, 11, 16}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}、{ 6, 11, 12, 21}、{ 1, 6, 11, 12}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}を含み、MTSインデックスが、{ DCT8, DCT8 }、{ DCT8, DST7 }、{ DCT8, DCT5 }、{ DCT8, DST4 }、{DCT8, DST1}、{ DST7, DCT8 }、{ DST7, DST7 }、{ DST7, DCT5 }、{ DST7, DST4 }、{DST7, DST1}、{ DCT5, DCT8 }、{ DCT5, DST7 }、{ DCT5, DCT5 }、{ DCT5, DST4 }、{DCT5, DST1}、{ DST4, DCT8 }、{ DST4, DST7 }、{ DST4, DCT5 }、{ DST4, DST4 }、{DST4, DST1}、{ DST1, DCT8 }、{ DST1, DST7 }、{ DST1, DCT5 }、{ DST1, DST4 }、{DST1, DST1}に従って利用可能なMTS方式のセットの変換ペアを示す、条項29の方法。

【0218】

条項31: MTS方式のセットの各々が、4つのそれぞれの変換ペア選択肢を含む、条項24の方法。

【0219】

条項32: 現在のブロックの形状に従って利用可能なMTS方式のセットにおける変換ペア選択肢の数を決定するステップをさらに含む、条項24の方法。

【0220】

条項33: 現在のブロックの量子化パラメータに従って利用可能なMTS方式のセットにおける変換ペア選択肢の数を決定するステップをさらに含む、条項24の方法。

【0221】

条項34: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードがI1を含み、角度イントラ予測モードであり、方法が、第2のブロックがH×Wのサイズを有すると決定するステップと、第2のブロックが(68-I1)のイントラ予測モードを有すると決定するステップと、第2のブロックのためのH×Wのサイズおよび(68-I1)のイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定するステップと、第2のブロックのためのMTS方式を決定するステップと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用するステップと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用するステップとをさらに含む、条項24の方法。

【0222】

条項35: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードが第1の転置フラグ値を有する行列イントラ予測(MIP)モードを含み、方法が、第2のブロックがH×Wのサイズを有すると決定するステップと、第2のブロックのためのイントラ予測モードが第1の転置フラグ値とは異なる第2の転置フラグ値を有するMIPイントラ予測モードであると決定するステップと、第2のブロックのためのH×Wのサイズおよび第2の転置フラグ値を有するMIPイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定するステップと、利用可能なMTS方式のセットから第2のブロックのためのMTS方式を決定するステップと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用するステップと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用するステップとをさらに含む、条項24の方法。

【0223】

条項36: 現在のブロックがデコーダ側イントラモード導出および融合イントラ予測(DIMD)モードを使用してコーディングされるとき、イントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、DIMDモードを使用して決定された優勢な角度モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項24の方法。

【0224】

条項37: 優勢な角度モードが、最も高い重みを有するモードを含む、条項36の方法。

【0225】

条項38: 現在のブロックがデコーダ側イントラモード導出および融合イントラ予測(DIMD)モードを使用してコーディングされるとき、イントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、2つの角度モード値の間の差がしきい値よりも大きいかどうかを決定するステップを含み、差がしきい値よりも大きいとき、イントラ予測モードを決定するステップが、利用可能なMTS方式のセットを決定するときにイントラ予測モードを平面モードであるものとして決定するステップを含むか、または、差がしきい値よりも小さいかまたはそれに等しいとき、イントラ予測モードを決定するステップが、イントラ予測モードをDIMDモードを使用して決定された優勢な角度モードであるものとして決定するステップを含む、条項24の方法。

【0226】

条項39: イントラ予測モードが広角イントラ予測モードを含むとき、イントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、広角イントラ予測モードの角度に最も近い角度を有する従来のイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項24の方法。

【0227】

条項40: 現在のブロックのためのサイズおよびイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、以下の表に従って利用可能なMTS方式のセットを決定するステップを含み、

【0228】

【表5】

【0229】

Nが、32に等しいかまたはそれよりも大きい整数値である、条項24の方法。

【0230】

条項41: イントラ予測モードを決定するステップが、テンプレートベースのイントラモード導出(TIMD)モードに従ってイントラ予測モードを決定するステップを含む、条項24の方法。

【0231】

条項42: TIMDモードが2つのイントラ予測モードの融合を使用するとき、利用可能なMTS方式のセットを決定するステップが、2つのイントラ予測モードのうちの優勢なイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項41の方法。

【0232】

条項43: TIMDモードが2つのイントラ予測モードの融合を使用するとき、利用可能なMTS方式のセットを決定するステップが、2つのイントラ予測モードの間の差がしきい値よりも大きいとき、平面モードに従って利用可能なMTS方式のセットを決定するステップ、または、2つのイントラ予測モードの間の差がしきい値よりも小さいかまたはそれに等しいとき、2つのイントラ予測モードのうちの優勢なイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項41の方法。

【0233】

条項44: 優勢なイントラ予測モードが、より低いひずみをもたらす2つのイントラ予測モードのうちのイントラ予測モードを含む、条項43の方法。

【0234】

条項45: 利用可能なMTS方式のセットを決定するステップが、拡大されたイントラ予測モード角度を利用可能なMTS方式のセットにマッピングするテーブルに従って利用可能なMTS方式のセットを決定するステップを含む、条項43の方法。

【0235】

条項46: 現在のブロックを復号するステップが、イントラ予測モードを使用して現在のブロックのための予測ブロックを形成するステップと、予測ブロックのサンプルを残差ブロックの対応するサンプルに加えるステップとを含む、条項24の方法。

【0236】

条項47: 現在のブロックを復号する前に現在のブロックを符号化するステップをさらに含む、条項24の方法。

【0237】

条項48: ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、回路において実装される1つまたは複数のプロセッサであって、ビデオデータの現在のブロックのサイズを決定することと、ビデオデータの現在のブロックのためのイントラ予測モードを決定することと、決定されたイントラ予測モードを含むモードグループを決定することであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ことと、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定することであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ことと、決定されたモードグループに従って利用可能なMTS方式のセットからMTS方式を決定することと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成することと、残差ブロックを使用して現在のブロックを復号することとを行うように構成された1つまたは複数のプロセッサとを備えるデバイス。

【0238】

条項49: 複数のモードグループが、イントラ予測モード0および1を含む第1のモードグループと、イントラ予測モード2から12を含む第2のグループと、イントラ予測モード13から23を含む第3のグループと、イントラ予測モード24から34を含む第4のグループと、行列イントラ予測(MIP)モードを含む第5のグループとを含む、条項48のデバイス。

【0239】

条項50: 現在のブロックのサイズが現在のブロックの幅および現在のブロックの高さを含み、現在のブロックのサイズがサイズグループに含まれる、条項48のデバイス。

【0240】

条項51: 1つまたは複数のプロセッサが、利用可能なMTS方式のセットのうちのMTS方式を表すMTSインデックス値を復号するようにさらに構成され、1つまたは複数のプロセッサが、MTSインデックス値を使用してMTS方式を決定するように構成される、条項48のデバイス。

【0241】

条項52: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードがI1を含み、角度イントラ予測モードであり、1つまたは複数のプロセッサが、第2のブロックがH×Wのサイズを有すると決定することと、第2のブロックが(68-I1)のイントラ予測モードを有すると決定することと、第2のブロックのためのH×Wのサイズおよび(68-I1)のイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定することと、第2のブロックのためのMTS方式を決定することと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用することと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用することとを行うようにさらに構成される、条項48のデバイス。

【0242】

条項53: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードが第1の転置フラグ値を有する行列イントラ予測(MIP)モードを含み、1つまたは複数のプロセッサが、第2のブロックがH×Wのサイズを有すると決定することと、第2のブロックのためのイントラ予測モードが第1の転置フラグ値とは異なる第2の転置フラグ値を有するMIPイントラ予測モードであると決定することと、第2のブロックのためのH×Wのサイズおよび第2の転置フラグ値を有するMIPイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定することと、利用可能なMTS方式のセットから第2のブロックのためのMTS方式を決定することと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用することと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用することとを行うようにさらに構成される、条項48のデバイス。

【0243】

条項54: 1つまたは複数のプロセッサが、現在のブロックを復号する前に現在のブロックを符号化するようにさらに構成される、条項48のデバイス。

【0244】

条項55: 復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、条項48のデバイス。

【0245】

条項56: デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を含む、条項48のデバイス。

【0246】

条項57: 命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されると、ビデオデータを復号するためのデバイスのプロセッサに、ビデオデータの現在のブロックのサイズを決定することと、ビデオデータの現在のブロックのためのイントラ予測モードを決定することと、決定されたイントラ予測モードを含むモードグループを決定することであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ことと、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定することであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ことと、決定されたモードグループに従って利用可能なMTS方式のセットからMTS方式を決定することと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成することと、残差ブロックを使用して現在のブロックを復号することとを行わせる、コンピュータ可読記憶媒体。

【0247】

条項58: 複数のモードグループが、イントラ予測モード0および1を含む第1のモードグループと、イントラ予測モード2から12を含む第2のグループと、イントラ予測モード13から23を含む第3のグループと、イントラ予測モード24から34を含む第4のグループと、行列イントラ予測(MIP)モードを含む第5のグループとを含む、条項57のコンピュータ可読記憶媒体。

【0248】

条項59: 現在のブロックのサイズが現在のブロックの幅および現在のブロックの高さを含み、現在のブロックのサイズがサイズグループに含まれる、条項57のコンピュータ可読記憶媒体。

【0249】

条項60: プロセッサに利用可能なMTS方式のセットのうちのMTS方式を表すMTSインデックス値を復号させる命令をさらに含み、プロセッサにMTS方式を決定させる命令が、プロセッサにMTSインデックス値を使用してMTS方式を決定させる命令を含む、条項57のコンピュータ可読記憶媒体。

【0250】

条項61: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードがI1を含み、角度イントラ予測モードであり、プロセッサに、第2のブロックがH×Wのサイズを有すると決定することと、第2のブロックが(68-I1)のイントラ予測モードを有すると決定することと、第2のブロックのためのH×Wのサイズおよび(68-I1)のイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定することと、第2のブロックのためのMTS方式を決定することと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用することと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用することとを行わせる命令をさらに含む、条項48のデバイス。

【0251】

条項62: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードが第1の転置フラグ値を有する行列イントラ予測(MIP)モードを含み、プロセッサに、第2のブロックがH×Wのサイズを有すると決定することと、第2のブロックのためのイントラ予測モードが第1の転置フラグ値とは異なる第2の転置フラグ値を有するMIPイントラ予測モードであると決定することと、第2のブロックのためのH×Wのサイズおよび第2の転置フラグ値を有するMIPイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定することと、利用可能なMTS方式のセットから第2のブロックのためのMTS方式を決定することと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用することと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用することとを行わせる命令をさらに含む、条項48のデバイス。

【0252】

条項63: プロセッサに現在のブロックを復号する前に現在のブロックを符号化させる命令をさらに含む、条項48のデバイス。

【0253】

条項64: ビデオデータを復号するためのデバイスであって、ビデオデータの現在のブロックのサイズを決定するための手段と、ビデオデータの現在のブロックのためのイントラ予測モードを決定するための手段と、決定されたイントラ予測モードを含むモードグループを決定するための手段であって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、手段と、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定するための手段であって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、手段と、決定されたモードグループに従って利用可能なMTS方式のセットからMTS方式を決定するための手段と、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成するための手段と、残差ブロックを使用して現在のブロックを復号するための手段とを備えるデバイス。

【0254】

条項65: ビデオデータを復号する方法であって、ビデオデータの現在のブロックのサイズを決定するステップと、ビデオデータの現在のブロックのためのイントラ予測モードを決定するステップと、決定されたイントラ予測モードを含むモードグループを決定するステップであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ステップと、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定するステップであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ステップと、決定されたモードグループに従って利用可能なMTS方式のセットからMTS方式を決定するステップと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成するステップと、残差ブロックを使用して現在のブロックを復号するステップとを含む方法。

【0255】

条項66: 複数のモードグループが、イントラ予測モード0および1を含む第1のモードグループと、イントラ予測モード2から12を含む第2のグループと、イントラ予測モード13から23を含む第3のグループと、イントラ予測モード24から34を含む第4のグループと、行列イントラ予測(MIP)モードを含む第5のグループとを含む、条項65の方法。

【0256】

条項67: 現在のブロックのサイズが現在のブロックの幅および現在のブロックの高さを含み、現在のブロックのサイズがサイズグループに含まれる、条項65および66のいずれかの方法。

【0257】

条項68: 現在のブロックのサイズグループが、4×4、4×8、4×16、4×N、8×4、8×8、8×16、8×N、16×4、16×8、16×16、16×N、N×4、N×8、N×16、N×Nを含む複数のサイズグループのうちの1つから選択され、Nが2の整数べき乗であり、16よりも大きい、条項67の方法。

【0258】

条項69: 現在のブロックのサイズに従って利用可能なMTS方式のセットを決定するステップが、現在のブロックのためのサイズグループに従って利用可能なMTS方式のセットを決定するステップを含む、条項68の方法。

【0259】

条項70: 利用可能なMTS方式のセットのうちのMTS方式を表すMTSインデックス値を復号するステップをさらに含み、MTS方式を決定するステップが、MTSインデックス値を使用してMTS方式を決定するステップを含む、条項65から69のいずれかの方法。

【0260】

条項71: MTSインデックス値が、両端値を含む0から3までの値を有し、MTS方式の複数のセットが、{ 17, 18, 23, 24}、{ 3, 7, 18, 22}、{ 2, 17, 18, 22}、{ 3, 15, 17, 18}、{ 3, 12, 18, 19}、{ 12, 18, 19, 23}、{ 2, 12, 17, 18}、{ 2, 17, 18, 22}、{ 2, 11, 17, 18}、{ 12, 18, 19, 23}、{ 12, 13, 16, 24}、{ 2, 11, 16, 23}、{ 2, 13, 17, 22}、{ 2, 11, 17, 21}、{ 13, 16, 19, 22}、{ 7, 12, 13, 18}、{ 1, 11, 12, 16}、{ 3, 13, 17, 22}、{ 1, 6, 12, 22}、{ 12, 13, 15, 16}、{ 18, 19, 23, 24}、{ 2, 17, 18, 24}、{ 3, 4, 17, 22}、{ 12, 18, 19, 23}、{ 12, 18, 19, 23}、{ 6, 12, 18, 24}、{ 2, 6, 12, 21}、{ 1, 11, 17, 22}、{ 3, 11, 16, 17}、{ 8, 12, 19, 23}、{ 7, 13, 16, 23}、{ 1, 6, 11, 12}、{ 1, 11, 17, 21}、{ 6, 11, 17, 21}、{ 8, 11, 14, 17}、{ 6, 11, 12, 21}、{ 1, 6, 11, 12}、{ 2, 6, 11, 12}、{ 1, 6, 11, 21}、{ 7, 11, 12, 16}、{ 8, 12, 19, 24}、{ 1, 13, 18, 22}、{ 2, 6, 17, 21}、{ 11, 12, 16, 19}、{ 8, 12, 17, 24}、{ 6, 12, 19, 21}、{ 6, 12, 13, 21}、{ 2, 16, 17, 21}、{ 6, 17, 19, 23}、{ 6, 12, 14, 17}、{ 6, 7, 11, 21}、{ 1, 11, 12, 16}、{ 1, 6, 11, 12}、{ 6, 11, 12, 21}、{ 7, 8, 9, 11}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}、{ 1, 11, 12, 16}、{ 6, 11, 17, 21}、{ 6, 7, 11, 12}、{ 12, 14, 18, 21}、{ 1, 11, 16, 22}、{ 1, 11, 16, 22}、{ 7, 13, 15, 16}、{ 1, 8, 12, 19}、{ 6, 7, 9, 12}、{ 2, 6, 12, 13}、{ 1, 12, 16, 21}、{ 7, 11, 16, 19}、{ 7, 8, 11, 12}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}、{ 1, 6, 11, 12}、{ 6, 7, 11, 16}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}、{ 6, 11, 12, 21}、{ 1, 6, 11, 12}、{ 6, 7, 11, 12}、{ 6, 7, 11, 12}を含み、MTSインデックスが、{ DCT8, DCT8 }、{ DCT8, DST7 }、{ DCT8, DCT5 }、{ DCT8, DST4 }、{DCT8, DST1}、{ DST7, DCT8 }、{ DST7, DST7 }、{ DST7, DCT5 }、{ DST7, DST4 }、{DST7, DST1}、{ DCT5, DCT8 }、{ DCT5, DST7 }、{ DCT5, DCT5 }、{ DCT5, DST4 }、{DCT5, DST1}、{ DST4, DCT8 }、{ DST4, DST7 }、{ DST4, DCT5 }、{ DST4, DST4 }、{DST4, DST1}、{ DST1, DCT8 }、{ DST1, DST7 }、{ DST1, DCT5 }、{ DST1, DST4 }、{DST1, DST1}に従って利用可能なMTS方式のセットの変換ペアを示す、条項70の方法。

【0261】

条項72: MTS方式のセットの各々が、4つのそれぞれの変換ペア選択肢を含む、条項65から71のいずれかの方法。

【0262】

条項73: 現在のブロックの形状に従って利用可能なMTS方式のセットにおける変換ペア選択肢の数を決定するステップをさらに含む、条項65から72のいずれかの方法。

【0263】

条項74: 現在のブロックの量子化パラメータに従って利用可能なMTS方式のセットにおける変換ペア選択肢の数を決定するステップをさらに含む、条項65から73のいずれかの方法。

【0264】

条項75: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードがI1を含み、角度イントラ予測モードであり、方法が、第2のブロックがH×Wのサイズを有すると決定するステップと、第2のブロックが(68-I1)のイントラ予測モードを有すると決定するステップと、第2のブロックのためのH×Wのサイズおよび(68-I1)のイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定するステップと、第2のブロックのためのMTS方式を決定するステップと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用するステップと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用するステップとをさらに含む、条項65から74のいずれかの方法。

【0265】

条項76: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードが第1の転置フラグ値を有する行列イントラ予測(MIP)モードを含み、方法が、第2のブロックがH×Wのサイズを有すると決定するステップと、第2のブロックのためのイントラ予測モードが第1の転置フラグ値とは異なる第2の転置フラグ値を有するMIPイントラ予測モードであると決定するステップと、第2のブロックのためのH×Wのサイズおよび第2の転置フラグ値を有するMIPイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定するステップと、利用可能なMTS方式のセットから第2のブロックのためのMTS方式を決定するステップと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用するステップと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用するステップとをさらに含む、条項65から74のいずれかの方法。

【0266】

条項77: 現在のブロックがデコーダ側イントラモード導出および融合イントラ予測(DIMD)モードを使用してコーディングされるとき、イントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、DIMDモードを使用して決定された優勢な角度モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項65から76のいずれかの方法。

【0267】

条項78: 優勢な角度モードが、最も高い重みを有するモードを含む、条項77の方法。

【0268】

条項79: 現在のブロックがデコーダ側イントラモード導出および融合イントラ予測(DIMD)モードを使用してコーディングされるとき、イントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、2つの角度モード値の間の差がしきい値よりも大きいかどうかを決定するステップを含み、差がしきい値よりも大きいとき、イントラ予測モードを決定するステップが、利用可能なMTS方式のセットを決定するときにイントラ予測モードを平面モードであるものとして決定するステップを含むか、または、差がしきい値よりも小さいかまたはそれに等しいとき、イントラ予測モードを決定するステップが、イントラ予測モードをDIMDモードを使用して決定された優勢な角度モードであるものとして決定するステップを含む、条項65から78のいずれかの方法。

【0269】

条項80: イントラ予測モードが広角イントラ予測モードを含むとき、イントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、広角イントラ予測モードの角度に最も近い角度を有する従来のイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項65から79のいずれかの方法。

【0270】

条項81: 現在のブロックのためのサイズおよびイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップが、以下の表に従って利用可能なMTS方式のセットを決定するステップを含み、

【0271】

【表6】

【0272】

Nが、32に等しいかまたはそれよりも大きい整数値である、条項65から80のいずれかの方法。

【0273】

条項82: イントラ予測モードを決定するステップが、テンプレートベースのイントラモード導出(TIMD)モードに従ってイントラ予測モードを決定するステップを含む、条項65から81のいずれかの方法。

【0274】

条項83: TIMDモードが2つのイントラ予測モードの融合を使用するとき、利用可能なMTS方式のセットを決定するステップが、2つのイントラ予測モードのうちの優勢なイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項82の方法。

【0275】

条項84: TIMDモードが2つのイントラ予測モードの融合を使用するとき、利用可能なMTS方式のセットを決定するステップが、2つのイントラ予測モードの間の差がしきい値よりも大きいとき、平面モードに従って利用可能なMTS方式のセットを決定するステップ、または、2つのイントラ予測モードの間の差がしきい値よりも小さいかまたはそれに等しいとき、2つのイントラ予測モードのうちの優勢なイントラ予測モードに従って利用可能なMTS方式のセットを決定するステップを含む、条項82の方法。

【0276】

条項85: 優勢なイントラ予測モードが、より低いひずみをもたらす2つのイントラ予測モードのうちのイントラ予測モードを含む、条項84の方法。

【0277】

条項86: 利用可能なMTS方式のセットを決定するステップが、拡大されたイントラ予測モード角度を利用可能なMTS方式のセットにマッピングするテーブルに従って利用可能なMTS方式のセットを決定するステップを含む、条項84および85のいずれかの方法。

【0278】

条項87: 現在のブロックを復号するステップが、イントラ予測モードを使用して現在のブロックのための予測ブロックを形成するステップと、予測ブロックのサンプルを残差ブロックの対応するサンプルに加えるステップとを含む、条項65から86のいずれかの方法。

【0279】

条項88: 現在のブロックを復号する前に現在のブロックを符号化するステップをさらに含む、条項65から87のいずれかの方法。

【0280】

条項89: ビデオデータを復号するためのデバイスであって、ビデオデータを記憶するように構成されたメモリと、回路において実装される1つまたは複数のプロセッサであって、ビデオデータの現在のブロックのサイズを決定することと、ビデオデータの現在のブロックのためのイントラ予測モードを決定することと、決定されたイントラ予測モードを含むモードグループを決定することであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ことと、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定することであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ことと、決定されたモードグループに従って利用可能なMTS方式のセットからMTS方式を決定することと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成することと、残差ブロックを使用して現在のブロックを復号することとを行うように構成された1つまたは複数のプロセッサとを備えるデバイス。

【0281】

条項90: 複数のモードグループが、イントラ予測モード0および1を含む第1のモードグループと、イントラ予測モード2から12を含む第2のグループと、イントラ予測モード13から23を含む第3のグループと、イントラ予測モード24から34を含む第4のグループと、行列イントラ予測(MIP)モードを含む第5のグループとを含む、条項89のデバイス。

【0282】

条項91: 現在のブロックのサイズが現在のブロックの幅および現在のブロックの高さを含み、現在のブロックのサイズがサイズグループに含まれる、条項89および90のいずれかのデバイス。

【0283】

条項92: 1つまたは複数のプロセッサが、利用可能なMTS方式のセットのうちのMTS方式を表すMTSインデックス値を復号するようにさらに構成され、1つまたは複数のプロセッサが、MTSインデックス値を使用してMTS方式を決定するように構成される、条項89から91のいずれかのデバイス。

【0284】

条項93: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードがI₁を含み、角度イントラ予測モードであり、1つまたは複数のプロセッサが、第2のブロックがH×Wのサイズを有すると決定することと、第2のブロックが(68-I₁)のイントラ予測モードを有すると決定することと、第2のブロックのためのH×Wのサイズおよび(68-I₁)のイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定することと、第2のブロックのためのMTS方式を決定することと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用することと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用することとを行うようにさらに構成される、条項89から92のいずれかのデバイス。

【0285】

条項94: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードが第1の転置フラグ値を有する行列イントラ予測(MIP)モードを含み、1つまたは複数のプロセッサが、第2のブロックがH×Wのサイズを有すると決定することと、第2のブロックのためのイントラ予測モードが第1の転置フラグ値とは異なる第2の転置フラグ値を有するMIPイントラ予測モードであると決定することと、第2のブロックのためのH×Wのサイズおよび第2の転置フラグ値を有するMIPイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定することと、利用可能なMTS方式のセットから第2のブロックのためのMTS方式を決定することと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用することと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用することとを行うようにさらに構成される、条項89から93のいずれかのデバイス。

【0286】

条項95: 1つまたは複数のプロセッサが、現在のブロックを復号する前に現在のブロックを符号化するようにさらに構成される、条項89から94のいずれかのデバイス。

【0287】

条項96: 復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、条項89から95のいずれかのデバイス。

【0288】

条項97: デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を含む、条項89から96のいずれかのデバイス。

【0289】

条項98: 命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されると、ビデオデータを復号するためのデバイスのプロセッサに、ビデオデータの現在のブロックのサイズを決定することと、ビデオデータの現在のブロックのためのイントラ予測モードを決定することと、決定されたイントラ予測モードを含むモードグループを決定することであって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、ことと、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定することであって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、ことと、決定されたモードグループに従って利用可能なMTS方式のセットからMTS方式を決定することと、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成することと、残差ブロックを使用して現在のブロックを復号することとを行わせる、コンピュータ可読記憶媒体。

【0290】

条項99: 複数のモードグループが、イントラ予測モード0および1を含む第1のモードグループと、イントラ予測モード2から12を含む第2のグループと、イントラ予測モード13から23を含む第3のグループと、イントラ予測モード24から34を含む第4のグループと、行列イントラ予測(MIP)モードを含む第5のグループとを含む、条項98のコンピュータ可読記憶媒体。

【0291】

条項100: 現在のブロックのサイズが現在のブロックの幅および現在のブロックの高さを含み、現在のブロックのサイズがサイズグループに含まれる、条項98および99のいずれかのコンピュータ可読記憶媒体。

【0292】

条項101: プロセッサに利用可能なMTS方式のセットのうちのMTS方式を表すMTSインデックス値を復号させる命令をさらに含み、プロセッサにMTS方式を決定させる命令が、プロセッサにMTSインデックス値を使用してMTS方式を決定させる命令を含む、条項98から100のいずれかのコンピュータ可読記憶媒体。

【0293】

条項102: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードがI₁を含み、角度イントラ予測モードであり、プロセッサに、第2のブロックがH×Wのサイズを有すると決定することと、第2のブロックが(68-I₁)のイントラ予測モードを有すると決定することと、第2のブロックのためのH×Wのサイズおよび(68-I₁)のイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定することと、第2のブロックのためのMTS方式を決定することと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用することと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用することとを行わせる命令をさらに含む、条項98から101のいずれかのデバイス。

【0294】

条項103: 現在のブロックが第1のブロックを含み、MTS方式が水平変換と垂直変換とを含む変換ペアを含み、第1のブロックがW×Hのサイズを有し、WがHに等しくなく、イントラ予測モードが第1の転置フラグ値を有する行列イントラ予測(MIP)モードを含み、プロセッサに、第2のブロックがH×Wのサイズを有すると決定することと、第2のブロックのためのイントラ予測モードが第1の転置フラグ値とは異なる第2の転置フラグ値を有するMIPイントラ予測モードであると決定することと、第2のブロックのためのH×Wのサイズおよび第2の転置フラグ値を有するMIPイントラ予測モードに従って第2のブロックのための利用可能なMTS方式のセットを決定することと、利用可能なMTS方式のセットから第2のブロックのためのMTS方式を決定することと、垂直変換としてのMTS方式の水平変換を第2のブロックに適用することと、水平変換としてのMTS方式の垂直変換を第2のブロックに適用することとを行わせる命令をさらに含む、条項98から102のいずれかのデバイス。

【0295】

条項104: プロセッサに現在のブロックを復号する前に現在のブロックを符号化させる命令をさらに含む、条項98から103のいずれかのデバイス。

【0296】

条項105: ビデオデータを復号するためのデバイスであって、ビデオデータの現在のブロックのサイズを決定するための手段と、ビデオデータの現在のブロックのためのイントラ予測モードを決定するための手段と、決定されたイントラ予測モードを含むモードグループを決定するための手段であって、モードグループが、複数のモードグループのうちの1つであり、複数のモードグループの中のモードグループの各々が、可能な各イントラ予測モードがモードグループのうちのただ1つに含まれるように、イントラ予測モードのそれぞれのセットを含む、手段と、現在のブロックのためのサイズおよびイントラ予測モードに従って現在のブロックのための利用可能な多重変換選択(MTS)方式のセットを決定するための手段であって、利用可能なMTS方式のセットが、MTS方式の複数のセットのうちの利用可能なMTS方式の1つのセットである、手段と、決定されたモードグループに従って利用可能なMTS方式のセットからMTS方式を決定するための手段と、MTS方式の変換を現在のブロックの変換ブロックに適用して、現在のブロックのための残差ブロックを生成するための手段と、残差ブロックを使用して現在のブロックを復号するための手段とを備えるデバイス。

【0297】

例に応じて、本明細書で説明する技法のいずれかのいくつかの行為またはイベントが、異なるシーケンスで実行される場合があり、追加され、統合され、または完全に除外されてもよい(たとえば、説明したすべての行為またはイベントが技法の実践にとって必要であるとは限らない)ことを認識されたい。さらに、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて、同時に実行されてもよい。

【0298】

1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

【0299】

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。

【0300】

命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の等価な集積論理回路もしくはディスクリート論理回路などの、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明する技法の実装に適した任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明する機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内で提供されてもよく、または複合コーデックに組み込まれてもよい。また、技法は、1つまたは複数の回路または論理要素において完全に実装され得る。

【0301】

本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。開示した技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて本開示で説明したが、それらは必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされてもよく、または好適なソフトウェアおよび/もしくはファームウェアとともに、上記で説明したような1つもしくは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてもよい。

【0302】

様々な例について説明してきた。これらおよび他の例は、添付の特許請求の範囲内にある。

【符号の説明】

【0303】

100 ビデオ符号化および復号システム
102 ソースデバイス
104 ビデオソース
106 メモリ
108 出力インターフェース
110 コンピュータ可読媒体
112 記憶デバイス
114 ファイルサーバ
116 宛先デバイス
118 ディスプレイデバイス
120 メモリ
122 入力インターフェース
129 長方形ブロック
130A，130B サンプル
132A，132B 平均化サンプル
136 中間予測ブロック
138 予測ブロック
140A，140B ヒストグラム
150 最終予測ブロック
160 現在のCU
200 ビデオエンコーダ
202 モード選択ユニット
204 残差生成ユニット
206 変換処理ユニット
208 量子化ユニット
210 逆量子化ユニット
212 逆変換処理ユニット
214 再構成ユニット
216 フィルタユニット
218 復号ピクチャバッファ(DPB)
220 エントロピー符号化ユニット
222 動き推定ユニット
224 動き補償ユニット
226 イントラ予測ユニット
230 ビデオデータメモリ
232 多重変換選択(MTS)グループ
300 ビデオデコーダ
302 エントロピー復号ユニット
304 予測処理ユニット
306 逆量子化ユニット
308 逆変換処理ユニット
310 再構成ユニット
312 フィルタユニット
314 復号ピクチャバッファ(DPB)
316 動き補償ユニット
318 イントラ予測ユニット
320 コード化ピクチャバッファ(CPB)メモリ
322 MTSグループ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】