特許 7614195 変換に基づく映像コーディング方法およびその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】変換に基づく映像コーディング方法およびその装置

(51)【国際特許分類】

   H04N 19/11 20140101AFI20250107BHJP

   H04N 19/70 20140101ALI20250107BHJP

   H04N 19/186 20140101ALI20250107BHJP

   H04N 19/157 20140101ALI20250107BHJP

   H04N 19/176 20140101ALI20250107BHJP

【ＦＩ】

H04N19/11

H04N19/70

H04N19/186

H04N19/157

H04N19/176

【請求項の数】 13

(21)【出願番号】P 2022525472

(86)(22)【出願日】2020-10-29

(65)【公表番号】

(43)【公表日】2023-01-05

(86)【国際出願番号】 KR2020014915

(87)【国際公開番号】W WO2021086056

(87)【国際公開日】2021-05-06

【審査請求日】2022-06-16

(31)【優先権主張番号】62/927,663

(32)【優先日】2019-10-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ク ムンモ

(72)【発明者】

【氏名】チャン ヒョンムン

(72)【発明者】

【氏名】キム スンファン

(72)【発明者】

【氏名】イム チェヒョン

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】ZHANG, Z. et al.，Non-CE6: On LFNST Transform Set Selection for a CCLM Coded Block，JVET-O0219 (version 1)，ITU，2019年06月24日，pp.1-4，[online]，[retrieved on 2023-08-22]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0219-v1.zip>，JVET-O0219-v1.docx

【文献】BROSS, Benjamin et al.，Versatile Video Coding (Draft 7)，JVET-P2001 (version 10)，ITU，2019年10月25日，pp.67-71, 174-176，[online]，[retrieved on 2023-08-22]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P2001-v10.zip>，JVET-P2001-vA.docx

【文献】hmjang，Incorrect Corresponding Luma Posiction for Chroma Mode Derivation with lfnst_idx > 0 in Subcluase 8.7.4.1，Ticket No.650 of JVET VVC TRAC，2019年11月05日，[online]，[retrieved on 2023-08-22]，Retrieved from the Internet: <URL: https://jvet.hhi.fraunhofer.de/trac/vvc/ticket/650>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

デコード装置により実行される映像デコード方法であって、
ビットストリームからイントラ予測モード情報及びＬＦＮＳＴ（low frequency non-separable transform）インデックスを取得するステップと、
クロマブロックのイントラ予測モードがＣＣＬＭ（cross-component linear model）モードであることに基づいて、前記クロマブロックの前記イントラ予測モードを前記クロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新するステップと、
前記更新されたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを含むＬＦＮＳＴセットを決定するステップと、
前記ＬＦＮＳＴセットから導出された前記ＬＦＮＳＴマトリクスに基づいて前記クロマブロックにＬＦＮＳＴを実行するステップと、を含み、
前記更新されたイントラ予測モードは、前記ルマブロック内の特定位置に対応するイントラ予測モードとして導出され、
前記特定位置に対応する予測モードがＩＢＣ（intra block copy）モードであることに基づいて、前記クロマブロックの前記イントラ予測モードは、イントラＤＣモードに更新され、
前記特定位置は、前記クロマブロックのカラーフォーマットに基づいて決定される、映像デコード方法。

【請求項2】

前記特定位置は、前記ルマブロックの中心位置である、請求項１に記載の映像デコード方法。

【請求項3】

前記特定位置は、（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２），（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））に設定され、
ｘＴｂＹ及びｙＴｂＹは、前記ルマブロックの左上端座標を示し、
ｎＴｂＷ及びｎＴｂＨは、前記クロマブロックの幅及び高さを示し、
ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは、前記カラーフォーマットに対応する変数を示す、請求項１に記載の映像デコード方法。

【請求項4】

前記カラーフォーマットが４：２：０である場合、ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは２であり、
前記カラーフォーマットが４：２：２である場合、ＳｕｂＷｉｄｔｈＣは２であり、ＳｕｂＨｅｉｇｈｔＣは１である、請求項３に記載の映像デコード方法。

【請求項5】

前記特定位置に対応する前記予測モードがＭＩＰ（matrix-based intra prediction）モードである場合、前記クロマブロックの前記イントラ予測モードは、イントラ平面モードに更新される、請求項１に記載の映像デコード方法。

【請求項6】

前記特定位置に対応する前記予測モードがパレットモードである場合、前記クロマブロックの前記イントラ予測モードは、イントラＤＣモードに更新される、請求項１に記載の映像デコード方法。

【請求項7】

映像エンコード装置により実行される映像エンコード方法であって、
クロマブロックに対するイントラ予測モードがＣＣＬＭ（cross-component linear model）であることに基づいて、前記クロマブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて前記クロマブロックに対する残差サンプルを導出するステップと、
前記クロマブロックの前記イントラ予測モードを前記クロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新するステップと、
前記更新されたイントラ予測モードに基づいてＬＦＮＳＴ（low frequency non-separable transform）マトリクスを含むＬＦＮＳＴセットを決定するステップと、
前記残差サンプル及び前記ＬＦＮＳＴマトリクスに基づいて前記クロマブロックにＬＦＮＳＴを実行するステップと、を含み、
前記更新されたイントラ予測モードは、前記ルマブロック内の特定位置に対応するイントラ予測モードとして導出され、
前記特定位置に対応する予測モードがＩＢＣ（intra block copy）モードであることに基づいて、前記クロマブロックの前記イントラ予測モードは、イントラＤＣモードに更新され、
前記特定位置は、前記クロマブロックのカラーフォーマットに基づいて決定される、映像エンコード方法。

【請求項8】

前記特定位置は、前記ルマブロックの中心位置である、請求項７に記載の映像エンコード方法。

【請求項9】

前記特定位置は、（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２），（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））に設定され、
ｘＴｂＹ及びｙＴｂＹは、前記ルマブロックの左上端座標を示し、
ｎＴｂＷ及びｎＴｂＨは、前記クロマブロックの幅及び高さを示し、
ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは、前記カラーフォーマットに対応する変数を示す、請求項７に記載の映像エンコード方法。

【請求項10】

前記カラーフォーマットが４：２：０である場合、ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣは２であり、
前記カラーフォーマットが４：２：２である場合、ＳｕｂＷｉｄｔｈＣは２であり、ＳｕｂＨｅｉｇｈｔＣは１である、請求項９に記載の映像エンコード方法。

【請求項11】

前記特定位置に対応する前記予測モードがＭＩＰ（matrix-based intra prediction）モードである場合、前記クロマブロックの前記イントラ予測モードは、イントラ平面モードに更新される、請求項７に記載の映像エンコード方法。

【請求項12】

前記特定位置に対応する前記予測モードがパレットモードである場合、前記クロマブロックの前記イントラ予測モードは、イントラＤＣモードに更新される、請求項７に記載の映像エンコード方法。

【請求項13】

映像情報に関するデータを送信するための方法であって、
映像に関するビットストリームを生成するステップであって、前記ビットストリームは、
クロマブロックに対するイントラ予測モードがＣＣＬＭ（cross-component linear model）であることに基づいて、前記クロマブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて前記クロマブロックに対する残差サンプルを導出するステップと、
前記クロマブロックの前記イントラ予測モードを前記クロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新するステップと、
前記更新されたイントラ予測モードに基づいてＬＦＮＳＴ（low frequency non-separable transform）マトリクスを含むＬＦＮＳＴセットを決定するステップと、
前記残差サンプル及び前記ＬＦＮＳＴマトリクスに基づいて前記クロマブロックにＬＦＮＳＴを実行するステップと、
残差情報をエンコードして前記ビットストリームを生成するステップと、に基づいて生成される、ステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記更新されたイントラ予測モードは、前記ルマブロック内の特定位置に対応するイントラ予測モードとして導出され、
前記特定位置に対応する予測モードがＩＢＣ（intra block copy）モードであることに基づいて、前記クロマブロックの前記イントラ予測モードは、イントラＤＣモードに更新され、
前記特定位置は、前記クロマブロックのカラーフォーマットに基づいて決定される、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本文書は、画像コーディング技術に関し、より詳細には、画像コーディングシステムにおいて変換（transform）に基づく画像コーディング方法およびその装置に関する。

【背景技術】

【0002】

近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ultra High Definition）画像／ビデオなどの高解像度、高品質の画像／ビデオに対する需要が様々な分野で増加している。画像／ビデオデータが高解像度、高品質になるほど、既存の画像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して画像データを送信したり、既存の記憶（格納）媒体を利用して画像／ビデオデータを記憶する場合、送信コスト（費用）および記憶コストが増加する。

【0003】

また、近年、ＶＲ（Virtual Reality）、ＡＲ（Artificial Reality）コンテンツやホログラムなどの没入型（実感）メディア（Immersive Media）に対する関心および需要が増加しており、ゲーム画像のように、現実画像と異なる画像特性を有する画像／ビデオに関する放送が増加している。

【0004】

これにより、上記のような様々な特性を有する高解像度高品質の画像／ビデオの情報を効果的に圧縮して送信するか記憶し、再生するために高効率の画像／ビデオ圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本文書の技術的課題は、映像コーディング効率を上げる方法および装置を提供することにある。

【0006】

本文書の他の技術的課題は、ＬＦＮＳＴインデックスコーディングの効率を上げる方法および装置を提供することにある。

【0007】

本文書の他の技術的課題は、ＬＦＮＳＴインデックスのコーディングを介して２次変換の効率を上げる方法および装置を提供することにある。

【0008】

本文書の他の技術的課題は、ＣＣＬＭモードであるとき、ルマブロックのイントラモードを用いてＬＦＮＳＴ変換セットを導出することに対する映像コーディング方法および装置を提供することにある。

【課題を解決するための手段】

【0009】

本文書の一実施例によると、デコード（デコーディング、復号）装置により実行される映像デコード方法を提供する。方法は、クロマブロックのイントラ予測モードがＣＣＬＭ（Cross-Component Linear Model）モードであることに基づいて、クロマブロックのイントラ予測モードをクロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新するステップと、更新されたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを有するＬＦＮＳＴセットを決定するステップと、ＬＦＮＳＴセットから導出されたＬＦＮＳＴマトリクスに基づいてクロマブロックに対するＬＦＮＳＴを実行するステップと、変換係数に基づいてクロマブロックに対する残差（レジデュアル）サンプルを導出するステップと、を有し、更新されたイントラ予測モードは、ルマブロック内の特定位置に対応するイントラ予測モードとして導出され、特定位置に対応するイントラ予測モードがイントラブロックコピー（ＩＢＣ）モードであることに基づいて、更新されたイントラ予測モードをイントラＤＣモードに更新することを特徴とする。

【0010】

特定位置は、クロマブロックのカラーフォーマットに基づいて設定される。

【0011】

特定位置は、ルマブロックの中心位置である。

【0012】

特定位置は、（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））に設定され、ｘＴｂＹおよびｙＴｂＹは、ルマブロックの左上端座標を示し、ｎＴｂＷおよびｎＴｂＨは、クロマブロックの幅および高さを示し、ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣは、カラーフォーマットに対応する変数である。

【0013】

カラーフォーマットが４：２：０である場合、ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣは２であり、カラーフォーマットが４：２：２である場合、ＳｕｂＷｉｄｔｈＣは２であり、ＳｕｂＨｅｉｇｈｔＣは１である。

【0014】

特定位置に対応するイントラ予測モードがＭＩＰモードである場合、更新されたイントラ予測モードは、イントラ平面（プラナー）モードである。

【0015】

特定位置に対応するイントラ予測モードがパレットモードである場合、更新されたイントラ予測モードは、イントラＤＣモードである。

【0016】

本文書の一実施例によると、エンコード（エンコーディング、符号化）装置により実行される映像エンコード方法を提供する。方法は、クロマブロックに対するイントラ予測モードがＣＣＬＭ（Cross-Component Linear Model）であることに基づいてクロマブロックに対する予測サンプルを導出するステップと、予測サンプルに基づいてクロマブロックに対する残差サンプルを導出するステップと、を有し、更新されたイントラ予測モードは、ルマブロック内の特定位置に対応するイントラ予測モードとして導出され、特定位置に対応するイントラ予測モードがイントラブロックコピー（ＩＢＣ）モードであることに基づいて、更新されたイントラ予測モードをイントラＤＣモードに更新する。

【0017】

本文書の他の一実施例によると、エンコード装置により実行された映像エンコード方法によって生成されたエンコードされた映像情報およびビットストリームが有されている映像データが記憶されたデジタル記憶媒体が提供される。

【0018】

本文書の他の一実施例によると、デコード装置により映像デコード方法を実行するようにするエンコードされた映像情報およびビットストリームが有されている映像データが記憶されたデジタル記憶媒体が提供される。

【発明の効果】

【0019】

本文書によると、全般的な映像／ビデオ圧縮効率を上げることができる。

【0020】

本文書によると、ＬＦＮＳＴインデックスコーディングの効率を上げることができる。

【0021】

本文書によると、ＬＦＮＳＴインデックスのコーディングを介して２次変換の効率を上げることができる。

【0022】

本文書によると、ＣＣＬＭモードであるとき、ルマブロックのイントラモードを用いてＬＦＮＳＴ変換セットを導出することに対する映像コーディング方法および装置を提供することができる。

【0023】

本明細書の具体的な一例を介して得られる効果は、以上で羅列された効果に制限されない。例えば、関連する技術分野における通常の知識を有する者（a person having ordinary skill in the related art）が、本明細書から理解または誘導できる様々な技術的効果が存在し得る。これによって、本明細書の具体的な効果は、本明細書に明示的に記載されているものに制限されず、本明細書の技術的特徴から理解または誘導できる様々な効果を含み得る。

【図面の簡単な説明】

【0024】

【図1】本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す図である。

【図2】本文書が適用されることができるビデオ／映像エンコード装置の構成を概略的に説明する図である。

【図3】本文書が適用されることができるビデオ／映像デコード装置の構成を概略的に説明する図である。

【図4】本文書の一実施例に係る多重変換技法（multiple transform scheme）を概略的に示す図である。

【図5】６５個の予測方向のイントラ方向性モードを例示的に示す図である。

【図6】本文書の一実施例に係るＲＳＴを説明する図である。

【図7】一例によって順方向１次変換の出力データを１次元ベクトルに配列する順序を示す図である。

【図8】一例によって順方向２次変換の出力データを２次元ブロックに配列する順序を示す図である。

【図9】本文書の一実施例に係る広角イントラ予測モードを示す図である。

【図10】ＬＦＮＳＴが適用されるブロック形状（もよう、パターン）（block shape）を示す図である。

【図11】一例によって順方向ＬＦＮＳＴの出力データの配置を示す図である。

【図12】一例によって順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定したことを示す図である。

【図13】一例によって４×４ＬＦＮＳＴが適用されるブロックにおけるゼロアウトを示す図である。

【図14】一例によって８×８ＬＦＮＳＴが適用されるブロックにおけるゼロアウトを示す図である。

【図15】一実施例によるクロマブロックのイントラ予測モード導出時に適用されることができるＣＣＬＭを説明する図である。

【図16】一例による映像のデコード方法を説明する図である。

【図17】一例による映像のエンコード方法を説明する図である。

【図18】本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す図である。

【発明を実施するための形態】

【0025】

本文書は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明しようとする。しかしながら、これは、本文書を特定実施例に限定しようとするものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであって、本文書の技術的思想を限定しようとする意図で使われるものではない。単数の表現は、コンテキスト上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定するものであり、一つまたは複数の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないと理解されなければならない。

【0026】

一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立して図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されることを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて一つの構成をなすこともでき、一つの構成が複数の構成に分けられることもできる。各構成が統合および／または分離された実施例も、本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

【0027】

以下、添付図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複する説明は省略する。

【0028】

この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示された方法／実施例は、ＶＶＣ（Versatile Video Coding）標準（ITU-T Rec.H.266）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはそれ以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（High Efficiency Video Coding）標準（ITU-T Rec.H.265）、ＥＶＣ（Essential Video Coding）標準、ＡＶＳ２標準など）と関連付けられている。

【0029】

この文書では、ビデオ／映像コーディングに関する多様な実施例を提示し、他の言及がない限り、上記実施例は、互いに組み合わせられて実行されることもできる。

【0030】

この文書において、ビデオ（video）は、時間の流れによる一連の映像（image）の集合を意味することができる。ピクチャ（picture）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（slice）／タイル（tile）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、一つまたは複数のＣＴＵ（Coding Tree Unit）を含むことができる。一つのピクチャは、一つまたは複数のスライス／タイルで構成されることができる。一つのピクチャは、一つまたは複数のタイルグループで構成されることができる。一つのタイルグループは、一つまたは複数のタイルを含むことができる。

【0031】

ピクセル（pixel）またはペル（pel）は、一つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（sample）」が使われることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（luma）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（chroma）成分のピクセル／ピクセル値のみを示すこともできる。あるいは、サンプルは、空間領域（ドメイン）におけるピクセル値を意味することもでき、このようなピクセル値が周波数領域に変換されると、周波数領域における変換係数を意味することもできる。

【0032】

ユニット（unit）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域および該当領域に関連する情報のうちの少なくとも一つを含むことができる。一つのユニットは、一つのルマブロックおよび２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（block）または領域（area）などの用語と混用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列およびＮ個の行からなるサンプル（または、サンプルアレイ）または変換係数（transform coefficient）の集合（または、アレイ）を含むことができる。

【0033】

この文書において、「／」および「、」は、「および／または」と解釈される。例えば、「Ａ／Ｂ」は、「Ａおよび／またはＢ」と解釈され、「Ａ、Ｂ」は、「Ａおよび／またはＢ」と解釈される。追加的に、「Ａ／Ｂ／Ｃ」は、「Ａ、Ｂおよび／またはＣのうちの少なくとも一つ」を意味する。また、「Ａ、Ｂ、Ｃ」も、「Ａ、Ｂおよび／またはＣのうちの少なくとも一つ」を意味する。（In this document, the term “/” and “、” should be interpreted to indicate “and/or.” For instance, the expression “A/B” may mean “A and/or B.” Further, “A, B” may mean “A and/or B.” Further, “A/B/C” may mean “at least one of A, B, and/or C.” Also, “A/B/C” may mean “at least one of A, B, and/or C.”）

【0034】

追加的に、本文書において、「または」は、「および／または」と解釈される。例えば、「ＡまたはＢ」は、１）「Ａ」のみを意味し、または２）「Ｂ」のみを意味し、または３）「ＡおよびＢ」を意味することができる。他の表現としては、本文書の「または」は、「追加的にまたは代替的に（additionally or alternatively）」を意味することができる。（Further, in the document, the term “or” should be interpreted to indicate “and/or.” For instance, the expression “A or B” may comprise 1)only A,2)only B, and/or 3)both A and B. In other words, the term “or” in this document should be interpreted to indicate “additionally or alternatively”.）

【0035】

本明細書において、「少なくとも一つのＡおよびＢ（at least one of A and B）」は、「ただＡ」、「ただＢ」または「ＡおよびＢの両方とも」を意味することができる。また、本明細書において、「少なくとも一つのＡまたはＢ（at least one of A or B）」や「少なくとも一つのＡおよび／またはＢ（at least one of A and/or B）」という表現は、「少なくとも一つのＡおよびＢ（at least one of A and B）」と同じく解釈されることができる。

【0036】

また、本明細書において、「少なくとも一つのＡ、ＢおよびＣ（at least one of A,B and C）」は、「ただＡ」、「ただＢ」、「ただＣ」、または「Ａ、ＢおよびＣの任意の全ての組み合わせ（any combination of A,B and C）」を意味することができる。また、「少なくとも一つのＡ、ＢまたはＣ（at least one of A,B or C）」や「少なくとも一つのＡ、Ｂおよび／またはＣ（at least one of A,B and/or C）」は、「少なくとも一つのＡ、ＢおよびＣ（at least one of A,B and C）」を意味することができる。

【0037】

また、本明細書で使われる括弧は、「例えば（for example）」を意味することができる。具体的には、「予測（イントラ予測）」で表示された場合、「予測」の一例として「イントラ予測」が提案されたものである。他の表現としては、本明細書の「予測」は、「イントラ予測」に制限（limit）されるものではなく、「イントラ予測」が「予測」の一例として提案されたものである。また、「予測（すなわち、イントラ予測）」で表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものである。

【0038】

本明細書において、一つの図面内で個別に説明される技術的特徴は、個別に具現されることもでき、同時に具現されることもできる。

【0039】

図１は、本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

【0040】

図１を参照すると、ビデオ／映像コーディングシステムは、ソースデバイスおよび受信デバイスを含むことができる。ソースデバイスは、エンコードされたビデオ（video）／映像（image）情報またはデータをファイルまたはストリーミング形態でデジタル記憶媒体またはネットワークを介して受信デバイスに伝達できる。

【0041】

上記ソースデバイスは、ビデオソース、エンコード装置、送信部を含むことができる。上記受信デバイスは、受信部、デコード装置、およびレンダラを含むことができる。上記エンコード装置は、ビデオ／映像エンコード装置と呼ばれることができ、上記デコード装置は、ビデオ／映像デコード装置と呼ばれることができる。送信器は、エンコード装置に含まれることができる。受信器は、デコード装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

【0042】

ビデオソースは、ビデオ／映像のキャプチャ、合成または生成過程（処理、プロセス）などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイスおよび／またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つまたは複数のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、およびスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成されることができ、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。

【0043】

エンコード装置は、入力ビデオ／映像をエンコードすることができる。エンコード装置は、圧縮およびコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコードされたデータ（エンコードされたビデオ／映像情報）は、ビットストリーム（bitstream）形態で出力されることができる。

【0044】

送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル記憶媒体（またはネットワーク）を介して受信デバイスの受信部に伝達できる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な記憶媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、上記ビットストリームを受信／抽出してデコード装置に伝達できる。

【0045】

デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／映像をデコードすることができる。

【0046】

レンダラは、デコードされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介して表示（ディスプレイ）されることができる。

【0047】

図２は、本文書が適用されることができるビデオ／映像エンコード装置の構成を概略的に説明する図である。以下、ビデオエンコード装置は、映像エンコード装置を含むことができる。

【0048】

図２を参照すると、エンコード装置２００は、映像分割部（image partitioner）２１０、予測部（predictor）２２０、残差処理部（residual processor）２３０、エントロピ符号化（エントロピーエンコーディング）部（entropy encoder）２４０、加算部（adder）２５０、フィルタリング部（filter）２６０、およびメモリ（memory）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１およびイントラ予測部２２２を含むことができる。残差処理部２３０は、変換部（transformer）２３２、量子化部（quantizer）２３３、逆量子化部（dequantizer）２３４、逆変換部（inverse transformer）２３５を含むことができる。残差処理部２３０は、減算部（subtractor）２３１をさらに含むことができる。加算部２５０は、復元部（reconstructor）または復元ブロック生成部（reconstructed block generator）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、残差処理部２３０、エントロピ符号化部２４０、加算部２５０、およびフィルタリング部２６０は、実施例によって一つまたは複数のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（Decoded Picture Buffer）を含むことができ、デジタル記憶媒体により構成されることもできる。上記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。

【0049】

映像分割部２１０は、エンコード装置２００に入力された入力映像（または、ピクチャ、フレーム）を一つまたは複数の処理ユニット（processing unit）に分割できる。一例として、上記処理ユニットは、コーディングユニット（Coding Unit、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（Coding Tree Unit、ＣＴＵ）または最大コーディングユニット（Largest Coding Unit、ＬＣＵ）からＱＴＢＴＴＴ（Quad-Tree Binary-Tree Ternary-Tree）構造によって再帰的に（recursively）分割されることができる。例えば、一つのコーディングユニットは、四分木（クアッドツリー）構造、二分木（バイナリツリー）構造、および／または三分木（ターナリ）構造に基づいて下位（deeper）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、四分木構造が先に適用され、二分木構造および／または三分木構造がその後に適用されることができる。あるいは、二分木構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（recursively）さらに下位デプスのコーディングユニットに分割されて、最適なサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順は、後述する予測、変換、および復元などの手順を含むことができる。他の例として、上記処理ユニットは、予測ユニット（ＰＵ：Prediction Unit）または変換ユニット（ＴＵ：Transform Unit）をさらに含むことができる。この場合、上記予測ユニットおよび上記変換ユニットは、各々、前述した最終コーディングユニットから分割またはパーティショニングされることができる。上記予測ユニットは、サンプル予測の単位であり、上記変換ユニットは、変換係数を導出（誘導）する単位および／または変換係数から残差信号（residual signal）を導出する単位である。

【0050】

ユニットは、場合によって、ブロック（block）または領域（area）などの用語と混用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列およびＮ個の行からなるサンプルまたは変換係数（transform coefficient）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（luma）成分のピクセル／ピクセル値のみを示すこともでき、彩度（chroma）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または、映像）をピクセル（pixel）またはペル（pel）に対応する用語として使われることができる。

【0051】

減算部２３１は、入力映像信号（オリジナル（原本）ブロック、オリジナルサンプルまたはオリジナルサンプルアレイ）から、予測部２２０から出力された予測信号（予測されたブロック、予測サンプルまたは予測サンプルアレイ）を減算して残差信号（残差ブロック、残差サンプルまたは残差サンプルアレイ）を生成することができ、生成された残差信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現（現在）ブロックという）に対する予測を実行し、上記現ブロックに対する予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部２２０は、現ブロックもしくはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードに関する説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピ符号化部２４０に伝達できる。予測に関する情報は、エントロピ符号化部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0052】

イントラ予測部２２２は、現ピクチャ内のサンプルを参照して現ブロックを予測することができる。上記参照されるサンプルは、予測モードによって、上記現ブロックの隣接（neighbor）に位置することもでき、または離れて位置することもできる。イントラ予測で、予測モードは、複数の非方向性モードおよび複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモードおよび平面（プラナー）モード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かさの程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使われることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを利用して、現ブロックに適用される予測モードを決定することもできる。

【0053】

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現ブロックに対する予測されたブロックを導出することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測できる。上記動き情報は、動きベクトルおよび参照ピクチャインデックスを含むことができる。上記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現ピクチャ内に存在する空間隣接ブロック（spatial neighboring block）と、参照ピクチャに存在する時間隣接ブロック（temporal neighboring block）と、を含むことができる。上記参照ブロックを含む参照ピクチャと上記時間隣接ブロックを含む参照ピクチャとは、同じこともあり、異なることもある。上記時間隣接ブロックは、コロケート（同一位置）参照ブロック（collocated reference block）、コロケートＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、上記時間隣接ブロックを含む参照ピクチャは、コロケートピクチャ（collocated picture、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、上記現ブロックの動きベクトルおよび／または参照ピクチャインデックスを導出するために、どの候補が使われるかを指示する情報を生成することができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードおよびマージモードの場合、インター予測部２２１は、隣接ブロックの動き情報を現ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは異なり、残差信号が送信されない。動き情報予測（Motion Vector Prediction、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（motion vector predictor）として利用し、動きベクトル差分（motion vector difference）をシグナリングすることで、現ブロックの動きベクトルを指示することができる。

【0054】

予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用できる。これは、Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ Ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（Intra Block Copy、ＩＢＣ）を実行することもできる。上記イントラブロックコピーは、例えば、ＳＣＣ（Screen Content Coding）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現ピクチャ内で予測を実行するが、現ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。すなわち、ＩＢＣは、本文書で説明されるインター予測技法のうちの少なくとも一つを利用することができる。

【0055】

インター予測部２２１および／もしくはイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために利用され、または残差信号を生成するために利用されることができる。変換部２３２は、残差信号に変換技法を適用して変換係数（transform coefficients）を生成することができる。例えば、変換技法は、ＤＣＴ（Discrete Cosine Transform）、ＤＳＴ（Discrete Sine Transform）、ＧＢＴ（Graph-Based Transform）、またはＣＮＴ（Conditionally Non-linear Transform）などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（all previously reconstructed pixel）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じ大きさを有するピクセルブロックに適用されることもでき、正方形でない可変な大きさのブロックに適用されることもできる。

【0056】

量子化部２３３は、変換係数を量子化してエントロピ符号化部２４０に送信し、エントロピ符号化部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームで出力できる。上記量子化された変換係数に関する情報は、残差情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（scan order）に基づいて、ブロック形態の量子化された変換係数を１次元ベクトル形態で再整列でき、上記１次元ベクトル形態の量子化された変換係数に基づいて、上記量子化された変換係数に関する情報を生成することもできる。エントロピ符号化部２４０は、例えば、指数ゴロム（exponential Golomb）、ＣＡＶＬＣ（Context-Adaptive Variable Length Coding）、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）などの多様なエンコード方法を実行することができる。エントロピ符号化部２４０は、量子化された変換係数以外にビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（syntax elements）の値など）を共にまたは別途にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（Network Abstraction Layer）ユニット単位で送信または記憶されることができる。上記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）など、多様なパラメータセットに関する情報をさらに含むことができる。また、上記ビデオ／映像情報は、一般制限情報（general constraint information）をさらに含むことができる。本文書で後述されるシグナリング／送信される情報および／またはシンタックス要素は、前述したエンコーディング手順を介してエンコードされて上記ビットストリームに含まれることができる。上記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル記憶媒体に記憶されることができる。ここで、ネットワークは、放送網および／または通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な記憶媒体を含むことができる。エントロピ符号化部２４０から出力された信号を送信する送信部（図示せず）および／もしくは記憶する記憶部（図示せず）は、エンコード装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピ符号化部２４０に含まれることもできる。

【0057】

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４および逆変換部２３５を介して逆量子化および逆変換を適用することによって、残差信号（残差ブロックまたは残差サンプル）が復元されることができる。加算部２５０は、復元された残差信号を予測部２２０から出力された予測信号に加えることによって復元（reconstructed）信号（復元ピクチャ、復元ブロック、復元サンプルまたは復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合のように処理対象ブロックに対する残差がない場合、予測されたブロックが復元ブロックとして使われることができる。生成された復元信号は、現ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使われることもできる。

【0058】

一方、ピクチャエンコーディングおよび／または復元過程でＬＭＣＳ（Luma Mapping with Chroma Scaling）が適用されることもできる。

【0059】

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（modified）復元ピクチャを生成することができ、上記修正された復元ピクチャをメモリ２７０、具体的には、メモリ２７０のＤＰＢに記憶することができる。上記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応オフセット（Sample Adaptive Offset、ＳＡＯ）、適応ループフィルタ（adaptive loop filter）、両方向フィルタ（bilateral filter）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に関する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピ符号化部２４０に伝達できる。フィルタリング関する情報は、エントロピ符号化部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0060】

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使われることができる。エンコード装置は、これを介してインター予測が適用される場合、エンコード装置２００とデコード装置とにおける予測ミスマッチを避けることができ、符号化効率も向上させることができる。

【0061】

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために記憶することができる。メモリ２７０は、現ピクチャ内の動き情報が導出された（または、エンコードされた）ブロックの動き情報および／または既に復元されたピクチャ内のブロックの動き情報を記憶することができる。上記記憶された動き情報は、空間隣接ブロックの動き情報または時間隣接ブロックの動き情報として活用されるためにインター予測部２２１に伝達されることができる。メモリ２７０は、現ピクチャ内の復元されたブロックの復元サンプルを記憶することができ、イントラ予測部２２２に伝達できる。

【0062】

図３は、本文書が適用されることができるビデオ／映像デコード装置の構成を概略的に説明する図である。

【0063】

図３を参照すると、デコード装置３００は、エントロピ復号（エントロピーデコーディング）部（entropy decoder）３１０、残差処理部（residual processor）３２０、予測部（predictor）３３０、加算部（adder）３４０、フィルタリング部（filter）３５０、およびメモリ（memory）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３２およびイントラ予測部３３１を含むことができる。残差処理部３２０は、逆量子化部（dequantizer）３２１および逆変換部（inverse transformer）３２２を含むことができる。前述したエントロピ復号部３１０、残差処理部３２０、予測部３３０、加算部３４０、およびフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（Decoded Picture Buffer）を含むことができ、デジタル記憶媒体により構成されることもできる。上記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。

【0064】

ビデオ／映像情報を含むビットストリームが入力される場合、デコード装置３００は、図２のエンコード装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコード装置３００は、上記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコード装置３００は、エンコード装置で適用された処理ユニットを利用してデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットから、四分木構造、二分木構造および／または三分木ツリー構造によって分割されることができる。コーディングユニットから一つまたは複数の変換ユニットが導出されることができる。そして、デコード装置３００を介してデコーディングおよび出力された復元映像信号は、再生装置を介して再生されることができる。

【0065】

デコード装置３００は、図２のエンコード装置から出力された信号をビットストリーム形態で受信することができ、受信した信号を、エントロピ復号部３１０を介してデコードすることができる。例えば、エントロピ復号部３１０は、上記ビットストリームをパージングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。上記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、多様なパラメータセットに関する情報をさらに含むことができる。また、上記ビデオ／映像情報は、一般制限情報（general constraint information）をさらに含むことができる。デコード装置は、上記パラメータセットに関する情報および／または上記一般制限情報にさらに基づいてピクチャをデコードすることができる。本文書で後述されるシグナリング／受信される情報および／またはシンタックス要素は、上記デコーディング手順を介してデコードされて上記ビットストリームから取得されることができる。例えば、エントロピ復号部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードし、映像復元に必要なシンタックスエレメントの値、残差に関する変換係数の量子化された値を出力することができる。より詳しくは、ＣＡＢＡＣエントロピ復号方法は、ビットストリームで各構文要素に該当するｂｉｎを受信し、デコーディング対象構文要素情報ならびに隣接およびデコーディング対象ブロックのデコーディング情報、または以前のステップでデコードされたシンボル／ｂｉｎの情報を利用して、コンテキスト（context）モデルを決定し、決定されたコンテキストモデルによってｂｉｎの発生確率を予測してｂｉｎの算術復号（算術デコーディング）（arithmetic decoding）を実行することで各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピ復号方法は、コンテキストモデルの決定後、次のシンボル／ｂｉｎのコンテキストモデルのためにデコードされたシンボル／ｂｉｎの情報を利用してコンテキストモデルをアップデートすることができる。エントロピ復号部３１０でデコードされた情報のうち、予測に関する情報は、予測部３３０に提供され、エントロピ復号部３１０でエントロピ復号が実行された残差に関する情報、すなわち、量子化された変換係数および関連パラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピ復号部３１０でデコードされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコード装置から出力された信号を受信する受信部（図示せず）がデコード装置３００の内／外部エレメントとしてさらに構成されてもよく、または、受信部は、エントロピ復号部３１０の構成要素であってもよい。一方、本文書によるデコード装置は、ビデオ／映像／ピクチャデコード装置と呼ばれることができ、上記デコード装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）とサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）とに区分することもできる。上記情報デコーダは、上記エントロピ復号部３１０を含むことができ、上記サンプルデコーダは、上記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、およびメモリ３６０のうちの少なくとも一つを含むことができる。

【0066】

逆量子化部３２１は、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列できる。この場合、上記再整列は、エンコード装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（transform coefficient）を取得することができる。

【0067】

逆変換部３２２は、変換係数を逆変換して残差信号（残差ブロック、残差サンプルアレイ）を取得する。

【0068】

予測部は、現ブロックに対する予測を実行し、上記現ブロックに対する予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部は、エントロピ復号部３１０から出力された上記予測に関する情報に基づいて、上記現ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

【0069】

予測部は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することもできる。これは、Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ Ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（Intra Block Copy、ＩＢＣ）を実行することもできる。上記イントラブロックコピーは、例えば、ＳＣＣ（Screen Content Coding）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現ピクチャ内で予測を実行するが、現ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。すなわち、ＩＢＣは、本文書で説明されるインター予測技法のうちの少なくとも一つを利用することができる。

【0070】

イントラ予測部３３１は、現ピクチャ内のサンプルを参照して現ブロックを予測することができる。上記参照されるサンプルは、予測モードによって、上記現ブロックの隣接（neighbor）に位置することもでき、または離れて位置することもできる。イントラ予測で、予測モードは、複数の非方向性モードおよび複数の方向性モードを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを利用し、現ブロックに適用される予測モードを決定することもできる。

【0071】

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現ブロックに対する予測されたブロックを導出することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測できる。上記動き情報は、動きベクトルおよび参照ピクチャインデックスを含むことができる。上記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現ピクチャ内に存在する空間隣接ブロック（spatial neighboring block）と、参照ピクチャに存在する時間隣接ブロック（temporal neighboring block）と、を含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて、上記現ブロックの動きベクトルおよび／または参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、上記予測に関する情報は、上記現ブロックに対するインター予測のモードを指示する情報を含むことができる。

【0072】

加算部３４０は、取得された残差信号を、予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることによって復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対する残差がない場合、予測されたブロックが復元ブロックとして使われることができる。

【0073】

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使われることもできる。

【0074】

一方、ピクチャデコーディング過程でＬＭＣＳ（Luma Mapping with Chroma Scaling）が適用されることもできる。

【0075】

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用することで、修正された（modified）復元ピクチャを生成することができ、上記修正された復元ピクチャをメモリ３６０、具体的には、メモリ３６０のＤＰＢに送信できる。上記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応オフセット（sample adaptive offset）、適応ループフィルタ（adaptive loop filter）、両方向フィルタ（bilateral filter）などを含むことができる。

【0076】

メモリ３６０のＤＰＢに記憶された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使われることができる。メモリ３６０は、現ピクチャ内の動き情報が導出された（または、デコードされた）ブロックの動き情報および／または既に復元されたピクチャ内のブロックの動き情報を記憶することができる。上記記憶された動き情報は、空間隣接ブロックの動き情報または時間隣接ブロックの動き情報として活用されるために、インター予測部３３２に伝達されることができる。メモリ３６０は、現ピクチャ内の復元されたブロックの復元サンプルを記憶することができ、イントラ予測部３３１に伝達できる。

【0077】

本明細書において、デコード装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、およびフィルタリング部３５０などで説明された実施例は、各々、エンコード装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、およびフィルタリング部２６０などにも同一または対応するように適用されることができる。

【0078】

前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、上記予測されたブロックは、空間領域（または、ピクセル領域）における予測サンプルを含む。上記予測されたブロックは、エンコード装置とデコード装置とで同じく導出され、上記エンコード装置は、オリジナルブロックのオリジナルサンプル値自体でない上記オリジナルブロックと上記予測されたブロックとの間の残差に関する情報（残差情報）をデコード装置にシグナリングすることで映像コーディング効率を上げることができる。デコード装置は、上記残差情報に基づいて残差サンプルを含む残差ブロックを導出し、上記残差ブロックと上記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

【0079】

上記残差情報は、変換および量子化手順を介して生成されることができる。例えば、エンコード装置は、上記オリジナルブロックと上記予測されたブロックとの間の残差ブロックを導出し、上記残差ブロックに含まれている残差サンプル（残差サンプルアレイ）に変換手順を実行して変換係数を導出し、上記変換係数に量子化手順を実行して量子化された変換係数を導出して関連する残差情報を（ビットストリームを介して）デコード装置にシグナリングできる。ここで、上記残差情報は、上記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコード装置は、上記残差情報に基づいて逆量子化／逆変換手順を実行して残差サンプル（または、残差ブロック）を導出することができる。デコード装置は、予測されたブロックと上記残差ブロックとに基づいて復元ピクチャを生成することができる。また、エンコード装置は、以後のピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換して残差ブロックを導出し、これに基づいて復元ピクチャを生成することができる。

【0080】

図４は、本文書による多重変換技法を概略的に示す。

【0081】

図４を参照すると、変換部は、前述した図２のエンコード装置内の変換部に対応することができ、逆変換部は、前述した図２のエンコード装置内の逆変換部または図３のデコード装置内の逆変換部に対応することができる。

【0082】

変換部は、残差ブロック内の残差サンプル（残差サンプルアレイ）に基づいて１次変換を実行して（１次）変換係数を導出することができる（Ｓ４１０）。このような１次変換（primary transform）は、コア変換（核心変換）（core transform）と呼ばれることができる。ここで、上記１次変換は、多重変換選択（Multiple Transform Selection、ＭＴＳ）に基づくことができ、１次変換として多重変換が適用される場合、マルチコア変換（多重核心変換）と呼ばれることができる。

【0083】

マルチコア変換は、ＤＣＴ（Discrete Cosine Transform）タイプ２およびＤＳＴ（Discrete Sine Transform）タイプ７、ＤＣＴタイプ８、ならびに／またはＤＳＴタイプ１を追加的に使用して変換する方式を示すことができる。すなわち、上記マルチコア変換は、上記ＤＣＴタイプ２、上記ＤＳＴタイプ７、上記ＤＣＴタイプ８、および上記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて、空間領域の残差信号（または、残差ブロック）を周波数領域の変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、上記１次変換係数は、変換部の立場で一時（臨時）変換係数と呼ばれることができる。

【0084】

すなわち、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいて、残差信号（または、残差ブロック）に対する空間領域から周波数領域への変換が適用されて変換係数が生成されることができた。これと違って、上記マルチコア変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、および／またはＤＳＴタイプ１などに基づいて、残差信号（または、残差ブロック）に対する空間領域から周波数領域への変換が適用されて変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、およびＤＳＴタイプ１などは、変換タイプ、変換カーネル（kernel）または変換コア（core）と呼ばれることができる。このようなＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができる。

【0085】

上記マルチコア変換が実行される場合、上記変換カーネルの中から対象ブロックに対する垂直変換カーネルおよび水平変換カーネルが選択されることができ、上記垂直変換カーネルに基づいて上記対象ブロックに対する垂直変換が実行され、上記水平変換カーネルに基づいて上記対象ブロックに対する水平変換が実行されることができる。ここで、上記水平変換は、上記対象ブロックの水平成分に対する変換を示すことができ、上記垂直変換は、上記対象ブロックの垂直成分に対する変換を示すことができる。上記垂直変換カーネル／水平変換カーネルは、残差ブロックを含む対象ブロック（ＣＵまたはサブブロック）の予測モードおよび／または変換インデックスに基づいて適応的に決定されることができる。

【0086】

また、一例によると、ＭＴＳを適用して１次変換を実行する場合、特定の基底関数を所定値に設定し、垂直変換または水平変換であるとき、どのような基底関数が適用されるかを組み合わせて変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒで表し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒで表す場合、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値２はＤＣＴ８に設定されることができる。

【0087】

この場合、多数の変換カーネルセットのうちのいずれか一つを指示するために、ＭＴＳインデックス情報がエンコードされてデコード装置にシグナリングされることができる。例えば、ＭＴＳインデックスが０である場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒ値が両方とも０であることを指示し、ＭＴＳインデックスが１である場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒ値が両方とも１であることを指示し、ＭＴＳインデックスが２である場合、ｔｒＴｙｐｅＨｏｒ値は２であり、ｔｒＴｙｐｅＶｅｒ値は１であることを指示し、ＭＴＳインデックスが３である場合、ｔｒＴｙｐｅＨｏｒ値は１であり、ｔｒＴｙｐｅＶｅｒ値は２であることを指示し、ＭＴＳインデックスが４である場合、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒ値が両方とも２であることを指示することができる。

【0088】

一例によって、ＭＴＳインデックス情報による変換カーネルセットを表で示すと、以下の通りである。

【0089】

＜表１＞

【表1】

【0090】

変換部は、上記（１次）変換係数に基づいて２次変換を実行して修正された（２次）変換係数を導出することができる（Ｓ４２０）。上記１次変換は、空間領域から周波数領域への変換であり、上記２次変換は、（１次）変換係数間に存在する相関関係（correlation）を利用してより圧縮する表現で変換することを意味する。上記２次変換は、非分離変換（non-separable transform）を含むことができる。この場合、上記２次変換は、非分離２次変換（Non-Separable Secondary Transform、ＮＳＳＴ）またはＭＤＮＳＳＴ（Mode-Dependent Non-Separable Secondary Transform）と呼ばれることができる。上記非分離２次変換は、上記１次変換を介して導出された（１次）変換係数を非分離変換マトリクス（non-separable transform matrix）に基づいて２次変換して、残差信号に対する修正された変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、上記非分離変換マトリクスに基づいて、上記（１次）変換係数に対して垂直変換と水平変換とを分離して（または、水平および垂直変換を独立して）適用せずに、一度に変換を適用することができる。すなわち、上記非分離２次変換は、上記（１次）変換係数に対して垂直方向と水平方向とに別に適用されずに、例えば、２次元信号（変換係数）を特定の決められた方向（例えば、行優先（row-first）方向または列優先（column-first）方向）を介して１次元信号に再整列した後、上記非分離変換マトリクスに基づいて修正された変換係数（または、２次変換係数）を生成する変換方法を示すことができる。例えば、行優先順序は、Ｍ×Ｎブロックに対して１番目の行、２番目の行、．．．、Ｎ番目の行の順序で一列に配置することであり、列優先順序は、Ｍ×Ｎブロックに対して１番目の列、２番目の列、．．．、Ｍ番目の列の順序で一列に配置することである。上記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ばれることができる）の左上端（top-left）領域に対して適用されることができる。例えば、上記変換係数ブロックの幅（Ｗ）および高さ（Ｈ）が両方とも８以上である場合、８×８非分離２次変換が上記変換係数ブロックの左上端８×８領域に対して適用されることができる。また、上記変換係数ブロックの幅（Ｗ）および高さ（Ｈ）が両方とも４以上であり、上記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さい場合、４×４非分離２次変換が上記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。ただし、実施例は、これに限定されるものではなく、例えば、上記変換係数ブロックの幅（Ｗ）および高さ（Ｈ）が両方とも４以上である条件のみを満たしても、４×４非分離２次変換が上記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることもできる。

【0091】

具体的には、例えば、４×４入力ブロックが使われる場合、非分離２次変換は、下記のように実行されることができる。

【0092】

上記４×４入力ブロックＸは、以下のように示される。

【0093】

＜数式１＞

【数1】

【0094】

上記Ｘをベクトル形態で表す場合、ベクトル

は、以下のように示される。

【0095】

＜数式２＞

【数2】

【0096】

数式２のように、ベクトル

は、行優先（row-first）順序によって、数式１のＸの２次元ブロックを１次元ベクトルで再配列する。

【0097】

この場合、上記２次非分離変換は、下記のように計算されることができる。

【0098】

＜数式３＞

【数3】

【0099】

ここで、

は、変換係数ベクトルを示し、Ｔは、１６×１６（非分離）変換マトリクスを示す。

【0100】

上記数式３を介して１６×１変換係数ベクトル

が導出されることができ、上記

は、スキャン順序（水平、垂直、対角（diagonal）など）を介して４×４ブロックで再構成（re-organized）されることができる。ただし、前述した計算は、例示に過ぎず、非分離２次変換の計算複雑度を減らすために、ＨｙＧＴ（Hypercube-Givens Transform）などが非分離２次変換の計算のために使われることもできる。

【0101】

一方、上記非分離２次変換は、モードベースの（mode dependent）変換カーネル（または、変換コア、変換タイプ）が選択されることができる。ここで、モードは、イントラ予測モードおよび／またはインター予測モードを含むことができる。

【0102】

前述したように、上記非分離２次変換は、上記変換係数ブロックの幅（Ｗ）および高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて実行されることができる。８×８変換は、ＷおよびＨが両方とも８より大きいまたは同じとき、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上端８×８領域である。同様に、４×４変換は、ＷおよびＨが両方とも４より大きいまたは同じとき、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は、該当変換係数ブロック内部の左上端４×４領域である。例えば、８×８変換カーネルマトリクスは、６４×６４／１６×６４行列、４×４変換カーネルマトリクスは、１６×１６／８×１６行列になることができる。

【0103】

このとき、モードベースの変換カーネル選択のために、８×８変換および４×４変換の両方に対して非分離２次変換のための変換セットあたり２個ずつの非分離２次変換カーネルが構成されることができ、変換セットは、４個である。すなわち、８×８変換に対して４個の変換セットが構成され、４×４変換に対して４個の変換セットが構成されることができる。この場合、８×８変換に対する４個の変換セットには、各々、２個ずつの８×８変換カーネルが含まれることができ、この場合、４×４変換に対する４個の変換セットには、各々、２個ずつの４×４変換カーネルが含まれることができる。

【0104】

ただし、上記変換のサイズ、すなわち、変換が適用される領域のサイズは、例示に過ぎず、８×８または４×４以外のサイズが使われることができ、上記セットの数はｎ個、各セット内の変換カーネルの数はｋ個である。

【0105】

上記変換セットは、ＮＳＳＴセットまたはＬＦＮＳＴセットと呼ばれることができる。上記変換セットの中からの特定セットの選択は、例えば、現ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて実行されることができる。低周波非分離変換（Low-Frequency Non-Separable Transform；ＬＦＮＳＴ）は、後述される減少された非分離変換の一例であり、低周波成分に対する非分離変換を示す。

【0106】

参考までに、例えば、イントラ予測モードは、２個の非方向性（non-directional、または非角度性（non-angular））イントラ予測モードと、６５個の方向性（directional、または角度性（angular））イントラ予測モードと、を含むことができる。上記非方向性イントラ予測モードは、０番である平面（planar）イントラ予測モードおよび１番であるＤＣイントラ予測モードを含むことができ、上記方向性イントラ予測モードは、２番ないし６６番の６５個のイントラ予測モードを含むことができる。ただし、これは例示に過ぎず、本文書は、イントラ予測モードの数が異なる場合にも適用されることができる。一方、場合によって、６７番のイントラ予測モードがさらに使用されることができ、上記６７番のイントラ予測モードは、ＬＭ（Linear Model）モードを示すことができる。

【0107】

図５は、６５個の予測方向のイントラ方向性モードを例示的に示す。

【0108】

図５を参照すると、右下向対角予測方向を有する３４番のイントラ予測モードを中心にして、水平方向性（horizontal directionality）を有するイントラ予測モードと、垂直方向性（vertical directionality）を有するイントラ予測モードと、を区分することができる。図５のＨおよびＶは、各々、水平方向性および垂直方向性を意味し、－３２～３２の数字は、サンプルグリッド位置（ポジション）（sample grid position）上で１／３２単位の変位を示す。これは、モードインデックス値に対するオフセットを示すことができる。２番ないし３３番のイントラ予測モードは水平方向性を有し、３４番ないし６６番のイントラ予測モードは垂直方向性を有する。一方、３４番のイントラ予測モードは、厳密には、水平方向性でも垂直方向性でもないとみることができるが、２次変換の変換セットを決定する観点で水平方向性に属すると分類されることができる。これは、３４番のイントラ予測モードを中心にして対称的な垂直方向モードに対しては入力データをトランスポーズ（transpose）して使用し、３４番のイントラ予測モードに対しては水平方向モードに対する入力データ整列方式を使用するためである。入力データをトランスポーズすることは、２次元ブロックデータＭ×Ｎに対して行が列になり、列が行になってＮ×Ｍデータを構成することを意味する。１８番のイントラ予測モードおよび５０番のイントラ予測モードは、各々、水平イントラ予測モード（horizontal intra prediction mode）、垂直イントラ予測モード（vertical intra prediction mode）を示し、２番のイントラ予測モードは、左側参照ピクセルを有して右上向方向に予測するため、右上向対角イントラ予測モードと呼ばれることができ、同じ脈絡で、３４番のイントラ予測モードは右下向対角イントラ予測モードと呼ばれ、６６番のイントラ予測モードは左下向対角イントラ予測モードと呼ばれることができる。

【0109】

一例によって、イントラ予測モードによって４個の変換セットのマッピング（mapping）は、例えば、以下の表のように示される。

【0110】

＜表２＞

【表2】

【0111】

表２のように、イントラ予測モードによって、４個の変換セットのうちのいずれか一つ、すなわち、ｌｆｎｓｔＴｒＳｅｔＩｄｘが０から３、すなわち、４個のうちのいずれか一つにマッピングされることができる。

【0112】

一方、非分離変換に特定セットが使われると決定される場合、非分離２次変換インデックスを介して上記特定セット内のｋ個の変換カーネルの中から一つが選択されることができる。エンコード装置は、ＲＤ（Rate-Distortion）チェックに基づいて特定変換カーネルを指す非分離２次変換インデックスを導出することができ、上記非分離２次変換インデックスをデコード装置にシグナリングできる。デコード装置は、上記非分離２次変換インデックスに基づいて特定セット内のｋ個の変換カーネルの中から一つを選択することができる。例えば、ｌｆｎｓｔインデックス値０は、１番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔインデックス値１は、２番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔインデックス値２は、３番目の非分離２次変換カーネルを指すことができる。あるいは、ｌｆｎｓｔインデックス値０は、対象ブロックに対して１番目の非分離２次変換が適用されないことを指すことができ、ｌｆｎｓｔインデックス値１ないし３は、上記３個の変換カーネルを指すことができる。

【0113】

変換部は、選択された変換カーネルに基づいて上記非分離２次変換を実行して修正された（２次）変換係数を取得することができる。上記修正された変換係数は、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコードされてデコード装置にシグナリングおよびエンコード装置内の逆量子化／逆変換部に伝達されることができる。

【0114】

一方、前述したように、２次変換が省略される場合、上記１次（分離）変換の出力である（１次）変換係数が、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコードされてデコード装置にシグナリングおよびエンコード装置内の逆量子化／逆変換部に伝達されることができる。

【0115】

逆変換部は、前述した変換部で実行された手順の逆順に一連の手順を実行することができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を実行して（１次）変換係数を導出し（Ｓ４５０）、上記（１次）変換係数に対して１次（逆）変換を実行して残差ブロック（残差サンプル）を取得することができる（Ｓ４６０）。ここで、上記１次変換係数は、逆変換部の立場で修正された（modified）変換係数と呼ばれることができる。エンコード装置およびデコード装置は、上記残差ブロックと予測されたブロックとに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述の通りである。

【0116】

一方、デコード装置は、２次逆変換適用可否決定部（または、２次逆変換の適用が可能か否かを決定する要素）と、２次逆変換決定部（または、２次逆変換を決定する要素）と、をさらに含むことができる。２次逆変換適用可否決定部は、２次逆変換の適用が可能か否かを決定することができる。例えば、２次逆変換は、ＮＳＳＴ、ＲＳＴまたはＬＦＮＳＴであり、２次逆変換適用可否決定部は、ビットストリームからパージングした２次変換フラグに基づいて２次逆変換の適用が可能か否かを決定することができる。他の一例として、２次逆変換適用可否決定部は、残差ブロックの変換係数に基づいて２次逆変換の適用が可能か否かを決定することもできる。

【0117】

２次逆変換決定部は、２次逆変換を決定することができる。このとき、２次逆変換決定部は、イントラ予測モードによって指定されたＬＦＮＳＴ（ＮＳＳＴまたはＲＳＴ）変換セットに基づいて現ブロックに適用される２次逆変換を決定することができる。また、一実施例として、１次変換決定方法に依存的に（depend on）２次変換決定方法が決定されることができる。イントラ予測モードによって、１次変換と２次変換との多様な組み合わせが決定されることができる。また、一例として、２次逆変換決定部は、現ブロックの大きさに基づいて２次逆変換が適用される領域を決定することもできる。

【0118】

一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して上記１次（分離）逆変換を実行することで残差ブロック（残差サンプル）を取得することができる。エンコード装置およびデコード装置は、上記残差ブロックと予測されたブロックとに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述の通りである。

【0119】

一方、本文書では、非分離２次変換による計算量およびメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリクス（カーネル）の大きさが減少されたＲＳＴ（Reduced Secondary Transform）を適用することができる。

【0120】

一方、本文書で説明された変換カーネル、変換マトリクス、変換カーネルマトリクスを構成する係数、すなわち、カーネル係数またはマトリクス係数は、８ビットで表現されることができる。これは、デコード装置およびエンコード装置で具現されるための一つの条件であり、既存の９ビットまたは１０ビットと比較して合理的に受け入れることができる性能低下と共に、変換カーネルを記憶するためのメモリ要求量を減らすことができる。また、カーネルマトリクスを８ビットで表現することによって小さい掛け算器を使用することができ、最適なソフトウェア具現のために使われるＳＩＭＤ（Single Instruction Multiple Data）命令にさらに適合できる。

【0121】

本明細書において、ＲＳＴは、簡素化ファクタ（factor）によって大きさが減少された変換マトリクス（transform matrix）に基づいて、対象ブロックに対する残差サンプルに対して実行される変換を意味することができる。簡素化変換を実行する場合、変換マトリクスの大きさの減少によって変換時に要求される演算量が減少されることができる。すなわち、ＲＳＴは、大きさが大きいブロックの変換または非分離変換時に発生する演算複雑度（complexity）の問題を解消するために利用されることができる。

【0122】

ＲＳＴは、減少された変換、減少変換、ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍなど、多様な用語で呼ばれることができ、ＲＳＴと呼ばれる名称は、羅列された例示に限定されるものではない。あるいは、ＲＳＴは、主に変換ブロックで０でない係数を含む低周波領域で行われるため、ＬＦＮＳＴ（Low-Frequency Non-Separable Transform）と呼ばれることもできる。上記変換インデックスは、ＬＦＮＳＴインデックスと命名されることができる。

【0123】

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコード装置２００の逆変換部２３５およびデコード装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて上記対象ブロックに対する残差サンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、残差に適用された１次変換の逆変換を意味する。本文書で変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。

【0124】

図６は、本文書の一実施例に係るＲＳＴを説明する図である。

【0125】

本明細書において、「対象ブロック」は、コーディングが実行される現ブロックまたは残差ブロックまたは変換ブロックを意味することができる。

【0126】

一実施例に係るＲＳＴで、Ｎ次元ベクトル（N dimensional vector）が異なる空間に位置するＲ次元ベクトル（R dimensional vector）にマッピングされて減少された変換マトリクスが決定されることができ、ここで、Ｒは、Ｎより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（length）の自乗（square）または変換が適用されるブロックと対応する変換係数の総数を意味することができ、簡素化ファクタは、Ｒ／Ｎ値を意味することができる。簡素化ファクタは、減少されたファクタ、減少ファクタ、ｒｅｄｕｃｅｄ ｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ、ｓｉｍｐｌｅ ｆａｃｔｏｒなど、多様な用語で呼ばれることができる。一方、Ｒは、簡素化係数（reduced coefficient）と呼ばれることができるが、場合によっては、簡素化ファクタがＲを意味することもできる。また、場合によって、簡素化ファクタは、Ｎ／Ｒ値を意味することもできる。

【0127】

一実施例において、簡素化ファクタまたは簡素化係数は、ビットストリームを介してシグナリングされることができるが、実施例がこれに限定されるものではない。例えば、簡素化ファクタまたは簡素化係数に対する予め定義された値が各エンコード装置２００およびデコード装置３００に記憶されている場合があり、この場合、簡素化ファクタまたは簡素化係数は、別途にシグナリングされない。

【0128】

一実施例に係る簡素化変換マトリクスのサイズは、通常の変換マトリクスのサイズＮ×Ｎより小さいＲ×Ｎであり、以下の数式４のように定義されることができる。

【0129】

＜数式４＞

【数4】

【0130】

図６の（ａ）に示すＲｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴは、数式４のマトリクスＴ_R×Nを意味することができる。図６の（ａ）のように、対象ブロックに対する残差サンプルに対して簡素化変換マトリクスＴ_R×Nが掛けられる場合、対象ブロックに対する変換係数が導出されることができる。

【0131】

一実施例において、変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（すなわち、Ｒ／Ｎ＝１６／６４＝１／４）である場合、図６の（ａ）によるＲＳＴは、以下の数式５のような行列演算で表現されることができる。この場合、メモリおよび掛け算が簡素化ファクタにより概略１／４に減少されることができる。

【0132】

本文書において、行列演算とは、行列を列ベクトルの左側に置いて行列と列ベクトルとをかけて列ベクトルを得る演算として理解されることができる。

【0133】

＜数式５＞

【数5】

【0134】

数式５において、ｒ₁ないしｒ₆₄は、対象ブロックに対する残差サンプルを示すことができ、より具体的には、１次変換を適用して生成された変換係数である。数式５の演算結果、対象ブロックに対する変換係数ｃ_iが導出されることができ、ｃ_iの導出過程は、数式６の通りである。

【0135】

＜数式６＞

【数6】

【0136】

数式６の演算の結果、対象ブロックに対する変換係数ｃ₁ないしｃ_Rが導出されることができる。すなわち、Ｒ＝１６である場合、対象ブロックに対する変換係数ｃ₁ないしｃ₁₆が導出されることができる。ＲＳＴではなく通常の（regular）変換が適用されてサイズが６４×６４（Ｎ×Ｎ）である変換マトリクスが、サイズが６４×１（Ｎ×１）である残差サンプルに掛けられた場合、対象ブロックに対する変換係数が６４個（Ｎ個）が導出されるが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総数がＮ個からＲ個に減少してエンコード装置２００がデコード装置３００に送信するデータの量が減少するため、エンコード装置２００－デコード装置３００間の送信効率が増加されることができる。

【0137】

変換マトリクスのサイズの観点で検討すると、通常の変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、簡素化変換マトリクスのサイズは１６×６４（Ｒ×Ｎ）に減少するため、通常の変換を実行するときと比較すると、ＲＳＴを実行するときにメモリ使用をＲ／Ｎの割合で減少させることができる。また、通常の変換マトリクスを利用するときの掛け算演算数Ｎ×Ｎと比較すると、簡素化変換マトリクスを利用する場合、掛け算の演算数をＲ／Ｎの割合で減少（Ｒ×Ｎ）させることができる。

【0138】

一実施例において、エンコード装置２００の変換部２３２は、対象ブロックに対する残差サンプルを１次変換およびＲＳＴベースの２次変換を実行することによって対象ブロックに対する変換係数を導出することができる。このような変換係数は、デコード装置３００の逆変換部に伝達されることができ、デコード装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（Reduced Secondary Transform）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対する残差サンプルを導出することができる。

【0139】

一実施例に係る逆ＲＳＴマトリクスＴ_N×Rのサイズは、通常の逆変換マトリクスのサイズＮ×Ｎより小さいＮ×Ｒであり、数式４に示す簡素化変換マトリクスＴ_R×Nとトランスポーズ（transpose）関係にある。

【0140】

図６の（ｂ）に示すＲｅｄｕｃｅｄ Ｉｎｖ．Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴ^ｔは、逆ＲＳＴマトリクスＴ_R×N ^Ｔを意味することができる（上付き文字Ｔは、トランスポーズを意味する）。図６の（ｂ）のように、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_R×N ^Ｔが掛けられる場合、対象ブロックに対する修正された変換係数または対象ブロックに対する残差サンプルが導出されることができる。逆ＲＳＴマトリクスＴ_R×N ^Ｔは、（Ｔ_R×N）^Ｔ _N×Rで表現されることもできる。

【0141】

より具体的には、２次逆変換として逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_R×N ^Ｔが掛けられると、対象ブロックに対する修正された変換係数が導出されることができる。一方、逆１次変換として逆ＲＳＴが適用されることができ、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_R×N ^Ｔが掛けられると、対象ブロックに対する残差サンプルが導出されることができる。

【0142】

一実施例において、逆変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（すなわち、Ｒ／Ｎ＝１６／６４＝１／４である場合）である場合、図６の（ｂ）によるＲＳＴは、以下の数式７のような行列演算で表現されることができる。

【0143】

＜数式７＞

【数7】

【0144】

数式７において、ｃ₁ないしｃ₁₆は、対象ブロックに対する変換係数を示すことができる。数式７の演算の結果、対象ブロックに対する修正された変換係数または対象ブロックに対する残差サンプルを示すｒ_iが導出されることができ、ｒ_iの導出過程は、数式８の通りである。

【0145】

＜数式８＞

【数8】

【0146】

数式８の演算の結果、対象ブロックに対する修正された変換係数または対象ブロックに対する残差サンプルを示すｒ₁ないしｒ_Nが導出されることができる。逆変換マトリクスのサイズの観点で検討すると、通常の逆変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、簡素化逆変換マトリクスのサイズは６４×１６（Ｎ×Ｒ）に減少するため、通常の逆変換を実行するときと比較すると、逆ＲＳＴを実行するときにメモリ使用をＲ／Ｎの割合で減少させることができる。また、通常の逆変換マトリクスを利用するときの掛け算演算数Ｎ×Ｎと比較すると、簡素化逆変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎの割合で減少（Ｎ×Ｒ）させることができる。

【0147】

一方、８×８ ＲＳＴに対しても、表２のような変換セット構成を適用することができる。すなわち、表２における変換セットによって該当８×８ ＲＳＴが適用されることができる。一つの変換セットは、画面内の予測モードによって２個または３個の変換（カーネル）で構成されているため、２次変換を適用しない場合を含んで最大４個の変換の中から一つを選択するように構成されることができる。２次変換を適用しないときの変換は、恒等行列が適用されたと見なされることができる。４個の変換に対して各々０、１、２、３のインデックスを付与するとしたとき（例えば、０番のインデックスが、恒等行列、すなわち、２次変換が適用されない場合に割り当てられることができる）、変換インデックスまたはｌｆｎｓｔインデックスというシンタックス要素（syntax element）を変換係数ブロックごとにシグナリングして適用される変換を指定することができる。すなわち、変換インデックスを介して８×８左上端ブロックに対して、ＲＳＴ構成では８×８ ＲＳＴを指定することができ、またはＬＦＮＳＴが適用される場合、８×８ ｌｆｎｓｔを指定することができる。８×８ ｌｆｎｓｔおよび８×８ ＲＳＴは、変換の対象になる対象ブロックのＷおよびＨが両方とも８より大きいまたは同じとき、該当の変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当の８×８領域は、該当変換係数ブロック内部の左上端８×８領域である。同様に、４×４ ｌｆｎｓｔおよび４×４ ＲＳＴは、対象ブロックのＷおよびＨが両方とも４より大きいまたは同じとき、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は、該当の変換係数ブロック内部の左上端４×４領域である。

【0148】

一方、本文書の一実施例によって、エンコーディング過程の変換で、８×８領域を構成する６４個のデータに対して１６×６４変換カーネルマトリクスでない、４８個のデータのみを選択して最大１６×４８変換カーネルマトリクスを適用することができる。ここで、「最大」とは、ｍ個の係数を生成することができるｍ×４８変換カーネルマトリクスに対してｍの最大値が１６であることを意味する。すなわち、８×８領域にｍ×４８変換カーネルマトリクス（ｍ≦１６）を適用してＲＳＴを実行する場合、４８個のデータの入力を受けてｍ個の係数を生成することができる。ｍが１６である場合、４８個のデータの入力を受けて１６個の係数を生成する。すなわち、４８個のデータが４８×１ベクトルをなすとしたとき、１６×４８行列と４８×１ベクトルとが順に掛けられて１６×１ベクトルが生成されることができる。このとき、８×８領域をなす４８個のデータを適切に配列して４８×１ベクトルを構成することができる。例えば、８×８領域のうちの右下端４×４領域を除外した領域を構成する４８個のデータに基づいて４８×１ベクトルを構成することができる。このとき、最大１６×４８変換カーネルマトリクスを適用して行列演算を実行すると、１６個の修正された変換係数が生成され、１６個の修正された変換係数は、スキャン順序によって左上端４×４領域に配置されることができ、右上端４×４領域および左下端４×４領域は、０で満たされることができる。

【0149】

デコーディング過程の逆変換には、上記叙述された変換カーネルマトリクスのトランスポーズされたマトリクスが使われることができる。すなわち、デコード装置で実行される逆変換過程として逆ＲＳＴまたはＬＦＮＳＴが実行される場合、逆ＲＳＴが適用される入力係数データは、所定の配列順序によって１次元ベクトルで構成され、１次元ベクトルに該当の逆ＲＳＴ行列を左側でかけて得られた修正された係数ベクトルは、所定の配列順序によって２次元ブロックに配列されることができる。

【0150】

整理すると、変換過程で、８×８領域にＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち、８×８領域の右下端領域を除外した左上端、右上端、左下端領域の４８個の変換係数と１６×４８の変換カーネルマトリクスとの行列演算が実行される。行列演算のために、４８個の変換係数は、１次元配列で入力される。このような行列演算が実行されると、１６個の修正された変換係数が導出され、修正された変換係数は、８×８領域の左上端領域に配列されることができる。

【0151】

逆に、逆変換過程で、８×８領域に逆ＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうちの８×８領域の左上端に対応する１６個の変換係数は、スキャン順序によって１次元配列形態で入力されて４８×１６の変換カーネルマトリクスと行列演算されることができる。すなわち、このような場合の行列演算は、（４８×１６行列）＊（１６×１変換係数ベクトル）＝（４８×１修正された変換係数ベクトル）で表すことができる。ここで、ｎ×１ベクトルは、ｎ×１行列のような意味で解釈されることができるため、ｎ×１列ベクトルで表記されることもできる。また、＊は、行列の掛け算演算を意味する。このような行列演算が実行される場合、４８個の修正された変換係数が導出されることができ、４８個の修正された変換係数は、８×８領域の右下端領域を除外した左上端、右上端、左下端領域に配列されることができる。

【0152】

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコード装置２００の逆変換部２３５およびデコード装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて上記対象ブロックに対する残差サンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、残差に適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当の変換を適用して変換係数を導出することを意味することができる。

【0153】

詳述された非分離変換、ＬＦＮＳＴに対して具体的にみると、以下の通りである。ＬＦＮＳＴは、エンコード装置による順方向（forward）変換とデコード装置による逆方向（inverse）変換とを含むことができる。

【0154】

エンコード装置は、順方向１次変換（primary (core) transform）を適用した後に導出された結果（または、結果の一部）を入力とし、順方向２次変換（secondary transform）を適用する。

【0155】

［数９］
ｙ＝Ｇ^Ｔｘ

【0156】

上記数式９において、ｘおよびｙは、各々、２次変換の入力および出力であり、Ｇは、２次変換を示す行列であって、変換基底ベクトル（transform basis vector）は、列ベクトルで構成される。逆方向ＬＦＮＳＴの場合、変換行列Ｇの次元（dimension）を［ｒｏｗ数×ｃｏｌｕｍｎ数］で表記したとき、順方向ＬＦＮＳＴの場合、行列Ｇのトランスポーズを行ったものがＧ^Ｔの次元になる。

【0157】

逆方向ＬＦＮＳＴの場合、行列Ｇの次元は、［４８×１６］、［４８×８］、［１６×１６］、［１６×８］になり、［４８×８］行列および［１６×８］行列は、各々、［４８×１６］行列および［１６×１６］行列の左側から８個の変換基底ベクトルをサンプリングした部分行列である。

【0158】

それに対して、順方向ＬＦＮＳＴの場合、行列Ｇ^Ｔの次元は、［１６×４８］、［８×４８］、［１６×１６］、［８×１６］になり、［８×４８］行列および［８×１６］行列は、各々、［１６×４８］行列および［１６×１６］行列の上側から８個の変換基底ベクトルをサンプリングした部分行列である。

【0159】

したがって、順方向ＬＦＮＳＴの場合、入力ｘとしては［４８×１］ベクトルまたは［１６×１］ベクトルが可能であり、出力ｙとしては［１６×１］ベクトルまたは［８×１］ベクトルが可能である。ビデオコーディングおよびデコーディングにおける順方向１次変換の出力は、二次元（２Ｄ）データであるため、入力ｘとして［４８×１］ベクトルまたは［１６×１］ベクトルを構成するために、順方向変換の出力である２Ｄデータを適切に配列して１次元ベクトルを構成しなければならない。

【0160】

図７は、一例によって順方向１次変換の出力データを１次元ベクトルに配列する順序を示す図である。図７の（ａ）および（ｂ）の左側の図は、［４８×１］ベクトルを作成する順序を示し、図７の（ａ）および（ｂ）の右側の図は、［１６×１］ベクトルを作成する順序を示す。ＬＦＮＳＴの場合、図７の（ａ）および（ｂ）のような順序で、２Ｄデータを順次配列して一次元ベクトルｘを得ることができる。

【0161】

このような順方向１次変換の出力データの配列方向は、現ブロックのイントラ予測モードによって決定されることができる。例えば、現ブロックのイントラ予測モードが対角線方向を基準にして水平方向である場合、順方向１次変換の出力データは、図７の（ａ）の順序で配列されることができ、現ブロックのイントラ予測モードが対角線方向を基準にして垂直方向である場合、順方向１次変換の出力データは、図７の（ｂ）の順序で配列されることができる。

【0162】

一例によって、図７の（ａ）および（ｂ）の配列順序（ordering）と異なる配列順序を適用することができ、図７の（ａ）および（ｂ）の配列順序を適用したときと同じ結果（ｙベクトル）を導出しようとする場合は、行列Ｇの列ベクトルを該当配列順序に合わせて再配列すればよい。すなわち、ｘベクトルを構成する各要素に対して常に同じ変換基底ベクトルと掛けられるようにＧの列ベクトルを再配置することができる。

【0163】

数式９を介して導出される出力ｙは、一次元ベクトルであるため、順方向２次変換の結果を入力として処理する構成、例えば、量子化または残差コーディングを実行する構成が入力データとして２次元データを必要とする場合、数式９の出力ｙベクトルは、再び２Ｄデータで適切に配置されなければならない。

【0164】

図８は、一例によって順方向２次変換の出力データを２次元ブロックに配列する順序を示す図である。

【0165】

ＬＦＮＳＴの場合、決められたスキャン順序によって２Ｄブロックに配置されることができる。図８の（ａ）は、出力ｙが［１６×１］ベクトルである場合、２次元ブロックの１６個の位置に対角スキャン（diagonal scan）順序によって出力値が配置されることを示す。図８の（ｂ）は、出力ｙが［８×１］ベクトルである場合、２次元ブロックの８個の位置に対角スキャン順序によって出力値が配置され、残り８個の位置は、０で満たされることを示す。図８の（ｂ）のＸは、０で満たされることを示す。

【0166】

他の例によって、量子化または残差コーディングを実行する構成により出力ベクトルｙが処理される順序は、予め設定された順序によって実行できるため、図８のように出力ベクトルｙが２Ｄブロックに配置されないことがある。ただし、残差コーディングの場合、ＣＧ（Coefficient Group）のような２Ｄブロック（例えば、４×４）単位でデータコーディングが実行されることができ、この場合、図８の対角スキャン順序のように特定順序によってデータが配列されることができる。

【0167】

一方、デコード装置は、逆方向変換のために逆量子化過程などを介して出力された２次元データを予め設定されたスキャン順序によって配列（羅列）して１次元入力ベクトルであるｙを構成することができる。入力ベクトルｙは、下記数式により入力ベクトルｘとして出力されることができる。

【0168】

［数１０］
ｘ＝Ｇｙ

【0169】

逆方向ＬＦＮＳＴの場合、［１６×１］ベクトルまたは［８×１］ベクトルである入力ベクトルｙにＧ行列を掛けることによって、出力ベクトルｘを導出することができる。逆方向ＬＦＮＳＴの場合、出力ベクトルｘは、［４８×１］ベクトルまたは［１６×１］ベクトルである。

【0170】

出力ベクトルｘは、図７に示す順序によって２次元ブロックに配置されて２次元データで配列され、このような２次元データは、逆方向１次変換の入力データ（または、入力データの一部）になる。

【0171】

したがって、逆方向２次変換は、全体的に順方向２次変換過程と反対であり、逆変換の場合、順方向と違って、逆方向２次変換を先に適用した後に逆方向１次変換を適用する。

【0172】

逆方向ＬＦＮＳＴでは、変換行列Ｇとして［４８×１６］行列８個および［１６×１６］行列８個の中から一つが選択されることができる。［４８×１６］行列および［１６×１６］行列のうちのどの行列を適用するかは、ブロックの大きさおよび形状によって決定される。

【0173】

また、８個の行列は、前述された表２のように４個の変換セットから導出されることができ、各変換セットは、２個の行列で構成されることができる。４個の変換セットのうちのどの変換セットを使用するかは、イントラ予測モードによって決定され、より具体的には、広角イントラ予測モード（Wide Angle Intra Prediction、ＷＡＩＰ）を考慮して拡張されたイントラ予測モード値に基づいて変換セットが決定される。選択された変換セットを構成する２個の行列の中からどの行列を選択するかは、インデックスシグナリング（index signaling）を介して導出される。より具体的には、送信されるインデックス値では０、１、２が可能であり、０は、ＬＦＮＳＴを適用しないことを指示し、１および２は、イントラ予測モード値に基づいて選択された変換セットを構成する２個の変換行列のうちのいずれか一つを指示することができる。

【0174】

図９は、本文書の一実施例に係る広角イントラ予測モードを示す図である。

【0175】

一般的なイントラ予測モード値は、０～６６および８１～８３までの値を有することができ、図示されたように、ＷＡＩＰによって拡張されたイントラ予測モード値は、－１４～８３までの値を有することができる。８１～８３までの値は、ＣＣＬＭ（Cross Component Linear Model）モードを指し、－１４～－１までの値および６７～８０までの値は、ＷＡＩＰ適用によって拡張されたイントラ予測モード値を指す。

【0176】

予測現ブロックの幅が高さより大きい場合、一般的に上側参照ピクセルが予測しようとするブロック内部の位置により近い。したがって、右上端（top-right）方向に予測することより左下端（bottom-left）方向に予測することがより正確である。それに対して、ブロックの高さが幅より大きい場合は、左側参照ピクセルが予測しようとするブロック内部の位置に一般的に近い。したがって、左下端（bottom-left）方向に予測することより右上端（top-right）方向に予測することがより正確である。したがって、広角イントラ予測モードのインデックスでリマッピング、すなわち、モードインデックス変換を適用することが有利である。

【0177】

広角イントラ予測が適用される場合、既存のイントラ予測に関する情報がシグナリングされることができ、上記情報がパージングされた以後、上記情報が上記広角イントラ予測モードのインデックスでリマッピングされることができる。したがって、特定ブロック（例えば、特定サイズの非正方形ブロック）に対する総イントラ予測モードの数は変更されず、すなわち、総イントラ予測モードの数は６７個であり、上記特定ブロックに対するイントラ予測モードコーディングは変更されない。

【0178】

以下の表３は、イントラ予測モードを広角イントラ予測モードにリマッピングして修正されたイントラモードを導出する過程を示している。

【0179】

＜表３＞

【表3】

【0180】

表３において、最終的にｐｒｅｄＭｏｄｅＩｎｔｒａ変数に拡張されたイントラ予測モード値が記憶され、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴは、現在ＶＶＣ標準に採択されているＩｎｔｒａ Ｓｕｂ Ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）技術によりＣＵブロックがサブパーティションに分割されないことを示し、変数値ｃＩｄｘが０、１、２であることは、各々、ルマ、Ｃｂ、Ｃｒコンポーネントである場合を指す。表３に示すＬｏｇ２関数は、ベース（base）が２であるログ値をリターンし、Ａｂｓ関数は、絶対値をリターンする。

【0181】

広角イントラ予測モードのマッピング過程（Wide angle intra prediction mode mapping process）の入力値として、イントラ予測モードを指示する変数ｐｒｅｄＭｏｄｅＩｎｔｒａ、変換ブロックの高さおよび幅などが使われ、出力値は、修正されたイントラ予測モード（the modified intra prediction mode predModeIntra）になる。変換ブロックまたはコーディングブロックの高さおよび幅が、イントラ予測モードのリマッピングのための現ブロックの高さおよび幅になることができる。このとき、幅と高さとの比率を反映する変数ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ））に設定されることができる。

【0182】

正方形でないブロックに対して、イントラ予測モードは、２つの場合に区分されて修正されることができる。

【0183】

まず、（１）現ブロックの幅が高さより大きい、（２）修正前のイントラ予測モードが２より大きいまたは同じ、（３）イントラ予測モードが、変数ｗｈＲａｔｉｏが１より大きい場合は（８＋２＊ｗｈＲａｔｉｏ）であり、変数ｗｈＲａｔｉｏが１より小さいまたは同じ場合は８であって、導出される値より小さい［ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｌｅｓｓ ｔｈａｎ（ｗｈＲａｔｉｏ＞１）？（８＋２＊ｗｈＲａｔｉｏ）：８］という全ての条件を満たす場合、イントラ予測モードは、イントラ予測モードより６５大きい値に設定される［ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｓｅｔ ｅｑｕａｌ ｔｏ（ｐｒｅｄＭｏｄｅＩｎｔｒａ＋６５）］。

【0184】

上記と異なる場合、（１）現ブロックの高さが幅より大きい、（２）修正前のイントラ予測モードが６６より小さいまたは同じ、（３）イントラ予測モードが、変数ｗｈＲａｔｉｏが１より大きい場合は（６０－２＊ｗｈＲａｔｉｏ）であり、変数ｗｈＲａｔｉｏが１より小さいまたは同じ場合は６０であって、導出される値より大きい［ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ（ｗｈＲａｔｉｏ＞１）？（６０－２＊ｗｈＲａｔｉｏ）：６０］という全ての条件を満たす場合、イントラ予測モードは、イントラ予測モードより６７小さい値に設定される［ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｓｅｔ ｅｑｕａｌ ｔｏ（ｐｒｅｄＭｏｄｅＩｎｔｒａ－６７）］。

【0185】

前述された表２は、ＬＦＮＳＴでＷＡＩＰにより拡張されたイントラ予測モード値に基づいて変換セットがどのように選択されるかを示している。図９のように、１４～３３までのモードと３５～８０までのモードとは、モード３４を中心にして予測方向の観点で互いに対称である。例えば、モード１４とモード５４とは、モード３４に該当する方向を中心にして対称である。したがって、互いに対称的な方向に位置するモードどうしは同じ変換セットを適用するようになり、表２でもこのような対称性が反映されている。

【0186】

ただし、モード５４に対する順方向ＬＦＮＳＴ入力データは、モード１４に対する順方向ＬＦＮＳＴ入力データと対称を成すと仮定する。例えば、モード１４およびモード５４に対しては、各々、図７の（ａ）および図７の（ｂ）に示す配列順序によって２次元データを１次元データで再配列するようになり、図７の（ａ）および図７の（ｂ）に示す順序のパターンは、モード３４が指す方向（対角線方項）を中心にして対称であることを知ることができる。

【0187】

一方、前述したように、［４８×１６］行列と［１６×１６］行列とのうちのどの変換行列をＬＦＮＳＴに適用するかは、変換対象ブロックの大きさおよび形状により決定される。

【0188】

図１０は、ＬＦＮＳＴが適用されるブロック形状を示す図である。図１０の（ａ）は４×４ブロックを、（ｂ）は４×８および８×４ブロックを、（ｃ）はＮが１６以上である４×ＮまたはＮ×４ブロックを、（ｄ）は８×８ブロックを、（ｅ）はＭ≧８、Ｎ≧８であり、Ｎ＞８またはＭ＞８であるＭ×Ｎブロックを示している。

【0189】

図１０において、太い枠のブロックがＬＦＮＳＴが適用される領域を指す。図１０の（ａ）および（ｂ）のブロックに対しては左上端（top-left）４×４領域に対してＬＦＮＳＴが適用され、図１０の（ｃ）のブロックに対しては連続して配置される２個の左上端４×４領域に対して各々ＬＦＮＳＴが適用される。図１０の（ａ）、（ｂ）、（ｃ）では、４×４領域単位でＬＦＮＳＴが適用されるため、このようなＬＦＮＳＴを以下「４×４ＬＦＮＳＴ」と命名するようにし、該当変換行列として、数式９および数式１０のＧに対する行列次元に基づいて、［１６×１６］または［１６×８］行列が適用されることができる。

【0190】

より具体的には、図１０の（ａ）の４×４ブロック（４×４ＴＵまたは４×４ＣＵ）に対しては［１６×８］行列が適用され、図１０の（ｂ）および（ｃ）のブロックに対しては［１６×１６］行列が適用される。これは、最悪の場合（worst case）に対する計算複雑度をサンプルあたり８回の乗算（8 multiplications per sample）に合わせるためである。

【0191】

図１０の（ｄ）および（ｅ）に対しては左上端８×８領域に対してＬＦＮＳＴが適用され、このようなＬＦＮＳＴを以下「８×８ＬＦＮＳＴ」と命名するようにする。該当変換行列として、［４８×１６］または［４８×８］行列が適用されることができる。順方向ＬＦＮＳＴの場合、入力データとして［４８×１］ベクトル（数式９のｘベクトル）が入力されるため、左上端８×８領域の全てのサンプル値が順方向ＬＦＮＳＴの入力値として使われない。すなわち、図７の（ａ）の左側の順序または図７の（ｂ）の左側の順序で見ることができるように、右下端（bottom-right）の４×４ブロックはそのまま置き、残り３個の４×４ブロックに属するサンプルに基づいて［４８×１］ベクトルを構成することができる。

【0192】

図１０の（ｄ）における８×８ブロック（８×８ＴＵまたは８×８ＣＵ）に［４８×８］行列が適用され、図１０の（ｅ）における８×８ブロックに［４８×１６］行列が適用されることができる。これも最悪の場合（worst case）に対する計算複雑度をサンプルあたり８回の乗算（8 multiplications per sample）に合わせるためである。

【0193】

ブロック形状によって、これに対応する順方向ＬＦＮＳＴ（４×４ＬＦＮＳＴまたは８×８ＬＦＮＳＴ）が適用されると、８個または１６個の出力データ（数式９におけるｙベクトル、［８×１］または［１６×１］ベクトル）が生成され、順方向ＬＦＮＳＴでは、行列ＧＴの特性上、出力データの数が入力データの数と同じかまたは少なくなる。

【0194】

図１１は、一例によって順方向ＬＦＮＳＴの出力データの配列を示し、ブロック形状によって順方向ＬＦＮＳＴの出力データが配置されるブロックを示す図である。

【0195】

図１１に示すブロックの左上端に陰影で処理された領域が順方向ＬＦＮＳＴの出力データが位置する領域に該当し、０で表記された位置は値０で満たされるサンプルを示し、残りの領域は、順方向ＬＦＮＳＴにより変更されない領域を示す。ＬＦＮＳＴにより変更されない領域には、順方向１次変換の出力データが変更されずにそのまま存在する。

【0196】

前述したように、ブロック形状によって適用される変換行列の次元が変わるため、出力データの数も変わる。図１１のように、順方向ＬＦＮＳＴの出力データが左上端４×４ブロックを全部満たすことができない場合もある。図１１の（ａ）および（ｄ）の場合、太線で表示されたブロックまたはブロック内部の一部の領域には、各々、［１６×８］行列および［４８×８］行列が適用されて順方向ＬＦＮＳＴの出力として［８×１］ベクトルが生成される。すなわち、図８の（ｂ）に示すスキャン順序によって８個の出力データのみが図１１の（ａ）および（ｄ）のように満たされ、残り８個の位置に対しては０で満たされることができる。図１０の（ｄ）のＬＦＮＳＴ適用ブロックの場合、図１１の（ｄ）のように左上端４×４ブロックに隣接する右上端および左下端の２つの４×４ブロックも値０で満たされる。

【0197】

上記のように、基本的にＬＦＮＳＴインデックスをシグナリングしてＬＦＮＳＴ適用が可能か否かおよび適用する変換行列を指定する。図１１に示すように、ＬＦＮＳＴが適用される場合、順方向ＬＦＮＳＴの出力データ数が入力データ数と同じまたは少ないことがあるため、値０で満たされる領域が下記のように発生する。

【0198】

１）図１１の（ａ）のように左上端４×４ブロック内にスキャン順序上８番目以後の位置、すなわち、９番目から１６番目までのサンプル

【0199】

２）図１１の（ｄ）および（ｅ）のように、［１６×４８］行列または［８×４８］行列が適用されて左上端４×４ブロックに隣接する２つの４×４ブロックまたはスキャン順序上２番目および３番目の４×４ブロック

【0200】

したがって、上記１）および２）の領域をチェックして０でない（non-zero）データが存在すると、ＬＦＮＳＴが適用されないことが確実であるため、該当のＬＦＮＳＴインデックスのシグナリングを省略することができる。

【0201】

一例によって、例えば、ＶＶＣ標準に採択されたＬＦＮＳＴの場合、ＬＦＮＳＴインデックスのシグナリングは、残差コーディング以後に実行されるため、エンコード装置は、残差コーディングを介してＴＵまたはＣＵブロック内部の全ての位置に対する０でないデータ（有効係数）の存在が可能か否かを知ることができる。したがって、エンコード装置は、０でないデータの存在が可能か否かを介してＬＦＮＳＴインデックスに対するシグナリングを実行するかどうかを判断することができ、デコード装置は、ＬＦＮＳＴインデックスのパージングが可能か否かを判断することができる。上記１）および２）で指定された領域に０でないデータが存在しない場合、ＬＦＮＳＴインデックスのシグナリングを実行する。

【0202】

ＬＦＮＳＴインデックスに対する二進化方法でトランケイテッドユナリコード（truncated unary code）を適用するため、ＬＦＮＳＴインデックスは、最大２個のｂｉｎで構成され、可能なＬＦＮＳＴインデックス値である０、１、２に対する二進化コード（binary code）で、各々０、１０、１１が割り当てられる。一例によって、１番目のｂｉｎに対してはコンテキストベースのＣＡＢＡＣコーディングが適用され（regular coding）、２番目のｂｉｎに対してもコンテキストベースのＣＡＢＡＣコーディングが適用されることができる。ＬＦＮＳＴインデックスのコーディングを表で表すと、以下の通りである。

【0203】

＜表４＞

【表4】

【0204】

表４のように、１番目のｂｉｎ（ｂｉｎＩｄｘ＝０）に対して、シングルツリーの場合は、０番のコンテキストを適用し、シングルツリーでない場合は、１番のコンテキストを適用することができる。また、表４のように、２番目のｂｉｎ（ｂｉｎＩｄｘ＝１）に対しては、２番のコンテキストを適用することができる。すなわち、１番目のｂｉｎに対しては２個のコンテキストが割り当てられることができ、２番目のｂｉｎに対しては１個のコンテキストが割り当てられることができ、ｃｔｘＩｎｃの値（０、１、２）により各々のコンテキストが区分されることができる。

【0205】

ここで、シングルツリーは、ルマ成分とクロマ成分とが同じコーディング構造（coding structure）でコーディングされることを意味する。コーディングユニットが同じコーディング構造で分割された後、コーディングユニットの大きさが特定閾値以下になってルマ成分とクロマ成分とが別途のツリー構造でコーディングされる場合、該当コーディングユニットに対してはデュアルツリーと見なして１番目のｂｉｎのコンテキストを決定することができる。すなわち、表４のように１番のコンテキストを割り当てることができる。

【0206】

あるいは、１番目のｂｉｎに対して変数ｔｒｅｅＴｙｐｅの値がＳＩＮＧＬＥ＿ＴＲＥＥで割り当てられる場合は、０番のコンテキストを、そうでない場合は、１番のコンテキストを使用してコーディングできる。

【0207】

一方、採択されたＬＦＮＳＴに対して、下記のような単純化方法が適用されることができる。

【0208】

（ｉ）一例によって、順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定できる。

【0209】

図１０の（ｃ）の場合、左上端に隣接する２個の４×４領域に各々４×４ＬＦＮＳＴが適用されることができ、このとき、最大３２個のＬＦＮＳＴ出力データが生成されることができる。順方向ＬＦＮＳＴに対する出力データ数を最大１６に限定する場合、４×Ｎ／Ｎ×４（Ｎ≧１６）ブロック（ＴＵまたはＣＵ）に対しても左上端に存在する１個の４×４領域に対してのみ４×４ＬＦＮＳＴを適用し、図１０の全てのブロックに対してＬＦＮＳＴを１回のみ適用できる。これを介して映像コーディングに対する具現が単純になる。

【0210】

図１２は、一例によって順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定したことを示す図である。図１２のように、Ｎが１６以上である４×ＮまたはＮ×４ブロックで最左上端４×４領域に対してＬＦＮＳＴが適用されると、順方向ＬＦＮＳＴの出力データは、１６個になる。

【0211】

（ｉｉ）一例によって、ＬＦＮＳＴが適用されない領域に対して追加的にゼロアウト（zero-out）を適用することができる。本文書において、ゼロアウトは、特定領域に属する全ての位置の値を値０で満たすことを意味することができる。すなわち、ＬＦＮＳＴによって変更されずに、順方向１次変換の結果を維持している領域に対してもゼロアウトを適用することができる。前述したように、ＬＦＮＳＴは、４×４ＬＦＮＳＴと８×８ＬＦＮＳＴとに区分されるため、下記のように２種類（（ｉｉ）－（Ａ）および（ｉｉ）－（Ｂ））にゼロアウトを区分することができる。

【0212】

（ｉｉ）－（Ａ）４×４ＬＦＮＳＴが適用されるとき、４×４ＬＦＮＳＴが適用されない領域をゼロアウトすることができる。図１３は、一例によって４×４ＬＦＮＳＴが適用されるブロックにおけるゼロアウトを示す図である。

【0213】

図１３のように、４×４ＬＦＮＳＴが適用されるブロックに対して、すなわち、図１１の（ａ）、（ｂ）、および（ｃ）のブロックに対してＬＦＮＳＴが適用されない領域まで全て０で満たされることができる。

【0214】

一方、図１３の（ｄ）は、図１２のように順方向ＬＦＮＳＴの出力データの個数の最大値を１６に限定した場合、４×４ＬＦＮＳＴが適用されない残りブロックに対してゼロアウトを実行したことを示す。

【0215】

（ｉｉ）－（Ｂ）８×８ＬＦＮＳＴが適用されるとき、８×８ＬＦＮＳＴが適用されない領域をゼロアウトすることができる。図１４は、一例によって８×８ＬＦＮＳＴが適用されるブロックにおけるゼロアウトを示す図である。

【0216】

図１４のように、８×８ＬＦＮＳＴが適用されるブロックに対して、すなわち、図１１の（ｄ）および（ｅ）のブロックに対してＬＦＮＳＴが適用されない領域まで全て０で満たされることができる。

【0217】

（ｉｉｉ）上記（ｉｉ）で提示したゼロアウトによってＬＦＮＳＴが適用されるとき、０で満たされる領域が変わることができる。したがって、上記（ｉｉ）で提案されたゼロアウトによって０でないデータが存在するかどうかを図１１のＬＦＮＳＴの場合より広い領域に対してチェックできる。

【0218】

例えば、（ｉｉ）－（Ｂ）を適用する場合、図１１の（ｄ）および（ｅ）で値０で満たされる領域に追加して、図１４で追加的に０で満たされた領域まで０でないデータが存在するかどうかをチェックした後、０でないデータが存在しない場合にのみＬＦＮＳＴインデックスに対するシグナリングを実行することができる。

【0219】

もちろん、上記（ｉｉ）で提案されたゼロアウトを適用しても、既存のＬＦＮＳＴインデックスシグナリングと同じく０でないデータが存在するかどうかをチェックすることができる。すなわち、図１１に０で満たされたブロックに対して０でないデータが存在するかどうかをチェックしてＬＦＮＳＴインデックスシグナリングを適用することができる。このような場合、エンコード装置にのみゼロアウトを実行し、デコード装置では該当ゼロアウトを仮定することなく、すなわち、図１１で明示的に０で表記された領域に対してのみ０でないデータが存在するかどうかのみをチェックしてＬＦＮＳＴインデックスパージングを実行することができる。

【0220】

上記ＬＦＮＳＴに対する単純化方法（（ｉ）、（ｉｉ）－（Ａ）、（ｉｉ）－（Ｂ）、（ｉｉｉ））の組み合わせを適用した多様な実施例が導出されることができる。もちろん、上記単純化方法に対する組み合わせは、下記の実施例に限定されるものではなく、任意の組み合わせをＬＦＮＳＴに適用できる。

【0221】

実施例

【0222】

－順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定→（ｉ）

【0223】

－４×４ＬＦＮＳＴが適用されるとき、４×４ＬＦＮＳＴが適用されない領域を全てゼロアウト→（ｉｉ）－（Ａ）

【0224】

－８×８ＬＦＮＳＴが適用されるとき、８×８ＬＦＮＳＴが適用されない領域を全てゼロアウト→（ｉｉ）－（Ｂ）

【0225】

－既存の値０で満たされる領域と追加的なゼロアウト（（ｉｉ）－（Ａ）、（ｉｉ）－（Ｂ））によって０で満たされる領域とに対しても、０でないデータが存在するかどうかをチェックした後、０でないデータが存在しない場合にのみＬＦＮＳＴインデキシングシグナリング→（ｉｉｉ）

【0226】

上記実施例の場合、ＬＦＮＳＴが適用されるとき、０でない出力データが存在できる領域が左上端４×４領域内部に制限される。より詳細には、図１３の（ａ）および図１４の（ａ）の場合、スキャン順序上、８番目の位置が０でないデータが存在できる最後の位置になり、図１３の（ｂ）および（ｄ）ならびに図１４の（ｂ）の場合、スキャン順序上、１６番目の位置（すなわち、左上端４×４ブロックの右下端の最端位置）が０でないデータが存在できる最後の位置になる。

【0227】

したがって、ＬＦＮＳＴが適用されたとき、残差コーディング過程が許容されない位置（最後の位置を超えた位置）で０でないデータが存在するかどうかをチェックした後、ＬＦＮＳＴインデックスシグナリングが可能か否かが決定されることができる。

【0228】

（ｉｉ）で提案されたゼロアウト方式の場合、１次変換およびＬＦＮＳＴを全て適用したときに最終的に発生するデータの数を減らすため、全変換過程を実行するときに要求される計算量を減らすことができる。すなわち、ＬＦＮＳＴが適用される場合、ＬＦＮＳＴが適用されない領域に存在する順方向１次変換出力データに対してもゼロアウトを適用するため、順方向１次変換を実行するときからゼロアウトになる領域に対するデータを生成する必要がない。したがって、該当のデータ生成に要求される演算量を節約することができる。（ｉｉ）で提案されたゼロアウト方式の追加的な効果を整理すると、下記の通りである。

【0229】

第一に、上記のように全体変換過程の実行に必要な計算量が低減される。

【0230】

特に、（ｉｉ）－（Ｂ）を適用する場合、最悪の場合に対する計算量が減少して変換過程を軽量化することができる。説明を敷延すると、一般的に大きいサイズの１次変換実行に多くの量の演算が要求され、（ｉｉ）－（Ｂ）を適用すると、順方向ＬＦＮＳＴ実行結果として導出されるデータの数を１６個以下に減らすことができ、ブロック（ＴＵまたはＣＵ）全体の大きさが大きくなるほど、変換演算量低減効果はより増加する。

【0231】

第二に、変換過程全体に必要な演算量が減少して変換実行に必要な電力消費を減らすことができる。

【0232】

第三に、変換過程に伴われる遅延時間（latency）を減少させる。

【0233】

ＬＦＮＳＴのような２次変換は、既存の１次変換に計算量を追加することになるため、変換実行に伴われる全体の遅延時間を増加させる。特にイントラ予測の場合、予測過程で隣接ブロックの復元データが使われるため、エンコーディング時に２次変換による遅延時間増加が復元（reconstruction）までの遅延時間増加につながるようになって、イントラ予測エンコーディングの全体的な遅延時間増加につながることができる。

【0234】

しかしながら、（ｉｉ）で提示したゼロアウトを適用すると、ＬＦＮＳＴ適用時に１次変換実行の遅延時間を大幅減らすことができるため、変換実行全体に対する遅延時間は、そのまま維持され、または減るようになって、エンコード装置をより簡単に具現できる。

【0235】

一方、従来のイントラ予測は、現在符号化しようとするブロックを一つの符号化単位と見なして分割無しで符号化を実行した。しかしながら、ＩＳＰ（Intra Sub-Partitions）コーディングは、現在符号化しようとするブロックを水平方向または垂直方向に分割してイントラ予測符号化を実行することを意味する。このとき、分割されたブロック単位で符号化／復号を実行して復元されたブロックを生成し、復元されたブロックは、次に分割されたブロックの参照ブロックとして使われることができる。一例によって、ＩＳＰコーディング時に一つのコーディングブロックが２個または４個のサブブロックに分割されてコーディングされることができ、ＩＳＰで一つのサブブロックは、隣接する左側または隣接する上側に位置するサブブロックの復元されたピクセル値を参照してイントラ予測が実行される。以下、使われる「コーディング」は、エンコード装置で実行されるコーディングとデコード装置で実行されるデコーディングとを全て含む概念で使われることができる。

【0236】

一方、以下では、ＬＦＮＳＴインデックスおよびＭＴＳインデックスのシグナリング順序について考察する。

【0237】

一例によって、残差コーディングでシグナリングされるＬＦＮＳＴインデックスは、最後の０ではない係数位置に対するコーディング位置の次にコーディングされることができ、ＭＴＳインデックスは、ＬＦＮＳＴインデックスの直後にコーディングされることができる。このような構成の場合、変換ユニットごとにＬＦＮＳＴインデックスがシグナリングされることができる。あるいは、残差コーディングでシグナリングされなくても、ＬＦＮＳＴインデックスは、最後の有効係数位置に対するコーディングの次にコーディングされることができ、ＭＴＳインデックスは、ＬＦＮＳＴインデックスの次にコーディングされることができる。

【0238】

一例に係る残差コーディングのシンタックスは、下記の通りである。

【0239】

＜表５＞

【表5-1】

【0240】

【表5-2】

【0241】

表５に示す主要変数の意味は、下記の通りである。

【0242】

１．ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔ：現コーディングブロック（Coding Block）の幅および高さ

【0243】

２．ｌｏｇ２ＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ：現変換ブロック（Transform Block）の幅および高さに対するベース－２のログ値であり、ゼロアウトが反映されて０ではない係数（non-zero coefficient）が存在できる左上端領域に縮小されることができる。

【0244】

３．ｓｐｓ＿ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ：ＬＦＮＳＴの適用（enable）が可能か否かを示すフラグであって、フラグ値が０である場合は、ＬＦＮＳＴが適用不可であることを示し、フラグ値が１である場合は、ＬＦＮＳＴが適用可能であることを示す。シーケンスパラメータセット（Sequence Parameter Set；ＳＰＳ）において定義されている。

【0245】

４．ＣｕＰｒｅｄＭｏｄｅ［ｃｈＴｙｐｅ］［ｘ０］［ｙ０］：変数ｃｈＴｙｐｅおよび位置（ｘ０、ｙ０）に対応する予測モード、ｃｈＴｙｐｅは、値０および１を有することができ、０はルマ成分を示し、１はクロマ成分を示す。位置（ｘ０、ｙ０）は、ピクチャ上における位置を示し、ＣｕＰｒｅｄＭｏｄｅ［ｃｈＴｙｐｅ］［ｘ０］［ｙ０］の値では、ＭＯＤＥ＿ＩＮＴＲＡ（イントラ予測）およびＭＯＤＥ＿ＩＮＴＥＲ（インター予測）が可能である。

【0246】

５．ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］：位置（ｘ０、ｙ０）に対する内容は、上記４と同じである。位置（ｘ０、ｙ０）においてどのようなＩＳＰ分割が適用されたかを示し、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴは、位置（ｘ０、ｙ０）に該当するコーディングユニットがパーティションブロックに分割されないことを示す。

【0247】

６．ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］：位置（ｘ０、ｙ０）に対する内容は、上記４と同じである。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは、ＭＩＰ（Matrix-based Intra Prediction）予測モードが適用されたかどうかを示すフラグである。フラグ値が０である場合は、ＭＩＰが適用不可であることを示し、フラグ値が１である場合は、ＭＩＰが適用されることを示す。

【0248】

７．ｃＩｄｘ：値０は、ルマを示し、値１および値２は、各々、クロマ成分であるＣｂ、Ｃｒを示す。

【0249】

８．ｔｒｅｅＴｙｐｅ：シングルツリー（single-tree）およびデュアルツリー（dual-tree）などを指す（ＳＩＮＧＬＥ＿ＴＲＥＥ：シングルツリー、ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ：ルマ成分に対するデュアルツリー、ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ：クロマ成分に対するデュアルツリー）

【0250】

９．ｔｕ＿ｃｂｆ＿ｃｂ［ｘ０］［ｙ０］：位置（ｘ０、ｙ０）に対する内容は、上記４と同じである。Ｃｂ成分に対するＣＢＦ（Coded Block Flag）を示す。その値が０である場合は、０でない係数がＣｂ成分に対する該当変換ユニットに存在しないことを意味し、１である場合は、０でない係数がＣｂ成分に対する該当変換ユニットに存在するということを示す。

【0251】

１０．ｌａｓｔＳｕｂＢｌｏｃｋ：最後の有効係数（last non-zero coefficient）が位置するサブブロック（Sub-Block、Coefficient Group（ＣＧ））のスキャン順序上の位置を示す。０は、ＤＣ成分が含まれているサブブロックを指し、０より大きい場合は、ＤＣ成分が含まれているサブブロックでない。

【0252】

１１．ｌａｓｔＳｃａｎＰｏｓ：最後の有効係数が一サブブロック内部でスキャン順序上どの位置にあるかを示す。一つのサブブロックが１６個の位置で構成されている場合、０から１５までの値が可能である。

【0253】

１２．ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］：パージングしようとするＬＦＮＳＴインデックスシンタックスエレメントである。パージングされない場合、値０と類推される。すなわち、デフォルト値が０に設定され、ＬＦＮＳＴを適用しないことを示す。

【0254】

１３．ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ、ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ：最後の有効係数が変換ブロック内に位置するｘ座標およびｙ座標を示す。ｘ座標は、０から始めて左側から右側へ増加し、ｙ座標は０から始めて上側から下側に増加する。２つの変数の値が全て０である場合は、最後の有効係数がＤＣに位置することを意味する。

【0255】

１４．ｃｕ＿ｓｂｔ＿ｆｌａｇ：現在ＶＶＣ標準に含まれているサブブロック変換（SubBlock Transform、ＳＢＴ）が適用可能かどうかを示すフラグであって、フラグ値が０である場合は、ＳＢＴが適用不可であることを示し、フラグ値が１である場合は、ＳＢＴが適用されることを示す。

【0256】

１５．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ：各々インターＣＵおよびイントラＣＵに対して明示的なＭＴＳが適用されたかどうかを示すフラグであって、該当フラグ値が０である場合は、インターＣＵまたはイントラＣＵに対してＭＴＳが適用不可であることを示し、１である場合は、適用可能であることを示す。

【0257】

１６．ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］：パージングしようとするＭＴＳインデックスシンタックスエレメントである。パージングされない場合、値０と類推される。すなわち、デフォルト値が０に設定され、水平方向および垂直方向に対して全てＤＣＴ－２が適用されることを示す。

【0258】

表５のように、シングルツリーである場合は、ルマに対する最後の有効係数位置条件のみを有してＬＦＮＳＴインデックスのシグナリングが可能か否かを決定することができる。すなわち、最後の有効係数位置がＤＣでなく、最後の有効係数が左上端サブブロック（ＣＧ）、例えば、４×４ブロック、内部に存在する場合、ＬＦＮＳＴインデックスがシグナリングされる。このとき、４×４変換ブロックおよび８×８変換ブロックの場合は、左上端サブブロック内部の０から７までの位置に最後の有効係数が存在する場合のみ（してこそ）ＬＦＮＳＴインデックスがシグナリングされる。

【0259】

デュアルツリーの場合は、ルマおよびクロマは、各々、独立してＬＦＮＳＴインデックスがシグナリングされ、クロマの場合は、Ｃｂ成分に対してのみ最後の有効係数位置条件を適用してＬＦＮＳＴインデックスをシグナリングすることができる。Ｃｒ成分に対しては該当条件をチェックせず、Ｃｂに対するＣＢＦ値が０である場合は、Ｃｒ成分に対して最後の有効係数位置条件を適用してＬＦＮＳＴインデックスをシグナリングすることができる。

【0260】

表５の「Ｍｉｎ（ｌｏｇ２ＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ）＞＝２」は、「Ｍｉｎ（ｔｂＷｉｄｔｈ、ｔｂＨｅｉｇｈｔ）＞＝４」で表現されることができ、「Ｍｉｎ（ｌｏｇ２ＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ）＞＝４」は、「Ｍｉｎ（ｔｂＷｉｄｔｈ、ｔｂＨｅｉｇｈｔ）＞＝１６」で表現されることができる。

【0261】

表５において、ｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＺｏＴｂＨｅｉｇｈｔは、各々、ゼロアウトにより最後の有効係数が存在できる左上端領域に対する幅および高さのベースが２である（ｂａｓｅ－２）ログ値を意味する。

【0262】

表５のように、ｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＺｏＴｂＨｅｉｇｈｔ値は、二箇所でアップデートされることができる。１番目は、ＭＴＳインデックスまたはＬＦＮＳＴインデックス値がパージングされる前であり、２番目は、ＭＴＳインデックスのパージング後である。

【0263】

１番目のアップデートは、ＭＴＳインデックス（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］）値がパージングされる前であるため、ＭＴＳインデックス値にかかわらずｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを設定することができる。

【0264】

ＭＴＳインデックスがパージングされた後には、ＭＴＳインデックス値が０より大きい場合（ＤＳＴ－７／ＤＣＴ－８組み合わせである場合）に対して、ｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを設定する。１次変換で水平方向および垂直方向に対して各々独立してＤＳＴ－７／ＤＣＴ－８を適用する場合、各方向に対して行または列ごとに最大１６個までの有効係数が存在できる。すなわち、長さ３２以上のＤＳＴ－７／ＤＣＴ－８を適用した後、左側または上側から行または列ごとに最大１６個の変換係数が導出されることができる。したがって、２次元ブロックに対しては水平方向および垂直方向の両方に対してＤＳＴ－７／ＤＣＴ－８が適用されるとき、最大左上端１６×１６領域までのみ有効係数が存在できる。

【0265】

また、現在１次変換で水平方向および垂直方向に対して各々独立してＤＣＴ－２が適用される場合、各方向に対して行または列ごとに最大３２個までの有効係数が存在できる。すなわち、長さ６４以上のＤＣＴ－２を適用するときは、左側または上側から行または列ごとに最大３２個の変換係数が導出されることができる。したがって、２次元ブロックに対しては水平方向および垂直方向の両方に対してＤＣＴ－２が適用されるとき、最大左上端３２×３２領域までのみ有効係数が存在できる。

【0266】

また、水平方向および垂直方向に対して、一方ではＤＳＴ－７／ＤＣＴ－８が適用され、他方ではＤＣＴ－２が適用されるとき、前者の方向では１６個の有効係数が存在でき、後者の方向では３２個の有効係数が存在できる。例えば、６４×８変換ブロックであり、水平方向にはＤＣＴ－２が適用され、垂直方向にはＤＳＴ－７が適用される場合（暗黙的ＭＴＳが適用される状況で発生し得る）、最大左上端３２×８領域で有効係数が存在できる。

【0267】

表５のようにｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＺｏＴｂＨｅｉｇｈｔが二箇所でアップデートされる場合、すなわち、ＭＴＳインデックスパージング前にアップデートされる場合、以下の表のように、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘおよびｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの範囲がｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＺｏＴｂＨｅｉｇｈｔにより決められることができる。

【0268】

＜表６＞

【表6】

【0269】

また、このような場合、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘおよびｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘに対する二進化過程で、ｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＴｂＨｅｉｇｈｔ値を反映して、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘおよびｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘの最大値を設定することができる。

【0270】

＜表７＞

【表7】

【0271】

一方、一例によって、ＩＳＰモードであり、ＬＦＮＳＴが適用される場合、表５のシグナリングを適用したとき、表８のようにスペックテキストが構成されることができる。表５と比較したとき、ＩＳＰモードでない場合に対してのみＬＦＮＳＴインデックスをシグナリングするという条件（表５のＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］＝＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）が削除された。

【0272】

シングルツリーである場合、ルマであるとき（ｃＩｄｘ＝０であるとき）に送信したＬＦＮＳＴインデックスをクロマであるときに再使用する場合は、有効係数が存在する１番目のＩＳＰパーティションブロックに対して送信されたＬＦＮＳＴインデックスをクロマ変換ブロックに適用できる。あるいは、シングルツリーであるとしても、クロマ成分である場合に対して、ルマ成分とは別途にＬＦＮＳＴインデックスをシグナリングすることができる。表８に記載された変数に関する説明は、表５の通りである。

【0273】

＜表８＞

【表8】

【0274】

一方、一例によって、ＬＦＮＳＴインデックスおよび／またはＭＴＳインデックスは、コーディングユニットレベルでシグナリングされることができる。ＬＦＮＳＴインデックスは、前述したように、０、１、２の３つの値を有することができ、０は、ＬＦＮＳＴを適用しないことを指し、１および２は、選択されたＬＦＮＳＴセットに含まれている２個のＬＦＮＳＴカーネル候補のうちの各々１番目の候補および２番目の候補を指示する。ＬＦＮＳＴインデックスは、トランケイテッド単項（ユナリ）二進化（truncated unary binarization）を介してコーディングされ、値０、１、２は、各々、ｂｉｎストリング０、１０、１１でコーディングされることができる。

【0275】

一例によると、１次変換で水平方向および垂直方向の両方に対してＤＣＴ－２が適用されるときにのみＬＦＮＳＴが適用されることができる。したがって、ＭＴＳインデックスをＬＦＮＳＴインデックスシグナリング後にシグナリングする場合、ＬＦＮＳＴインデックス値が０である場合に限ってのみＭＴＳインデックスをシグナリングすることができ、ＬＦＮＳＴインデックスが０でない場合には、ＭＴＳインデックスをシグナリングせずに水平方向および垂直方向の両方にＤＣＴ－２を適用して１次変換を実行することができる。

【0276】

ＭＴＳインデックス値は、０、１、２、３、４の値を有することができ、０、１、２、３、４は、各々、水平方向および垂直方向に対してＤＣＴ－２／ＤＣＴ－２、ＤＳＴ－７／ＤＳＴ－７、ＤＣＴ－８／ＤＳＴ－７、ＤＳＴ－７／ＤＣＴ－８、ＤＣＴ－８／ＤＣＴ－８が適用されることを指示することができる。また、ＭＴＳインデックスは、トランケイテッド単項二進化を介してコーディングされることができ、上記値０、１、２、３、４は、各々、ｂｉｎストリング０、１０、１１０、１１１０、１１１１でコーディングされることができる。

【0277】

ＬＦＮＳＴインデックスおよびＭＴＳインデックスは、コーディングユニットレベルでシグナリングされることができ、ＭＴＳインデックスをコーディングユニットレベルでＬＦＮＳＴインデックス以後に続いてコーディングできる。これに対するコーディングユニットシンタックステーブルは、以下の通りである。

【0278】

＜表９＞

【表9】

【0279】

表９によると、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングする条件において、既存のｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］の値が０であるかをチェックする条件（すなわち、水平方向および垂直方向に対して両方ともＤＣＴ－２であるかどうかをチェックすること）は、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］の値が０であるかをチェックする条件（！ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］）に変更された。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は、コーディングユニットが、変換が省略される変換スキップモードでコーディングされたかどうかを示し、上記フラグは、ＭＴＳインデックスおよびＬＦＮＳＴインデックスより先にシグナリングされる。すなわち、ｔｕ＿ｍｔｘ＿ｉｄｘ［ｘ０］［ｙ０］の値をシグナリングする前にｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングするため、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］の値に対する条件のみをチェックすることができる。

【0280】

表９に示すように、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］をコーディングするとき、様々な条件がチェックされ、前述したように、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］の値が０である場合にのみｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］がシグナリングされる。

【0281】

また、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］は、ルマ成分に対して有効係数が存在するかどうかを示すフラグであり、ｃｂＷｉｄｔｈおよびｃｂＨｅｉｇｈｔは、各々、ルマ成分に対するコーディングユニットの幅および高さを示す。

【0282】

また、表９において、（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］＝＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）は、ＩＳＰモードでない場合を示し、（！ｃｕ＿ｓｂｔ＿ｆｌａｇ）は、ＳＢＴが適用されない場合を示す。

【0283】

表９によると、ルマ成分に対するコーディングユニットの幅および高さが両方とも３２以下であるとき、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］がシグナリングされ、すなわち、ＭＴＳ適用が可能か否かがルマ成分に対するコーディングユニットの幅および高さにより決定される。

【0284】

他の例によって、変換ブロックタイリング（TU tiling）が発生する場合（例えば、最大変換の大きさが３２に設定された場合、６４×６４コーディングユニットは、４個の３２×３２変換ブロックに分割されてコーディングされる）、各変換ブロックの大きさを基準にしてＭＴＳインデックスがシグナリングされることができる。例えば、変換ブロックの幅および高さが両方とも３２以下であるとき、コーディングユニット内の全ての変換ブロックに対しては同じＭＴＳインデックス値が適用されて同じ１次変換が適用されることができる。また、変換ブロックタイリングが発生する場合、表９のｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］の値は、左上端変換ブロックに対するＣＢＦ値であり、または全ての変換ブロックに対して一つの変換ブロックでも該当ＣＢＦ値が１である場合、１に設定されることができる。

【0285】

一例によって、現ブロックにＩＳＰモードが適用される場合、ＬＦＮＳＴを適用することができ、この場合、表９は、表１０のように変更されることができる。

【0286】

＜表１０＞

【表10】

【0287】

表１０のように、ＩＳＰモードである場合にも（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ！＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングするように構成でき、全てのＩＳＰパーティションブロックに対して同じＬＦＮＳＴインデックス値が適用されることができる。

【0288】

また、表１０のように、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、ＩＳＰモードでない場合にのみシグナリングされることができるため、ＭＴＳインデックスコーディング部分は、表９と同じである。

【0289】

表９および表１０のように、ＭＴＳインデックスをＬＦＮＳＴインデックスの直後にシグナリングする場合、残差コーディングを実行するとき、１次変換に関する情報を知ることができない。すなわち、ＭＴＳインデックスが残差コーディング以後にシグナリングされる。したがって、残差コーディングパートで長さ３２のＤＳＴ－７またはＤＣＴ－８に対して１６個の係数のみを残してゼロアウトを実行する部分は、以下の表１１のように変更されることができる。

【0290】

＜表１１＞

【表11-1】

【0291】

【表11-2】

【0292】

表１１のようにｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを決定する過程で（ここで、ｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＺｏＴｂＨｅｉｇｈｔは、各々、ゼロアウトが実行された後に残った左上端領域に対する幅および高さのベース－２（Ｂａｓｅ－２）ログ値を示す）、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］の値をチェックする部分が省略されることができる。

【0293】

表１１のｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘおよびｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘに対する二進化は、表７のようにｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＺｏＴｂＨｅｉｇｈｔに基づいて決定されることができる。

【0294】

また、表１１のように、残差コーディングでｌｏｇ２ＺｏＴｂＷｉｄｔｈおよびｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを決定するとき、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅ＿ｆｌａｇをチェックする条件が追加されることができる。

【0295】

表７のＴＲは、トランケイテッドライス二進化（Truncated Rice binarization）方式を示し、表７で定義されたｃＭａｘおよびｃＲｉｃｅＰａｒａｍに基づいて、最後の有効係数情報が二進化されることができる。

【0296】

一例によって、ルマ変換ブロックに対する最後の有効係数位置に関する情報を残差コーディング過程で記録しておくと、表１２のようにＭＴＳインデックスをシグナリングすることもできる。

【0297】

＜表１２＞

【表12】

【0298】

表１２において、ＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸおよびＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹは、各々、ルマ変換ブロックに対する最後の有効係数位置のＸ座標およびＹ座標を示す。ＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸおよびＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹが全て１６より小さくなければならないという条件が表１２に追加され、２つのうちの１つでも１６以上になると、水平方向および垂直方向の両方ともＤＣＴ－２が適用されるため、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］に対するシグナリングを省略し、水平方向および垂直方向に対して全てＤＣＴ－２が適用されると類推できる。

【0299】

ＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸおよびＬｕｍａＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹが全て１６より小さいということは、最後の有効係数が左上端１６×１６領域内に存在することを意味し、現在ＶＶＣ標準で長さ３２のＤＳＴ－７またはＤＣＴ－８が適用される場合、最左側または最上部から１６個の変換係数のみを残すゼロアウトが適用された可能性が存在することを示す。したがって、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングして１次変換のために使われた変換カーネルを指示することができる。

【0300】

一方、他の例によって、コーディングユニットシンタックステーブル、変換ユニットシンタックステーブル、および残差コーディングシンタックステーブルは、以下の表の通りである。表１３によると、ＭＴＳインデックスは、変換ユニットレベルからコーディングユニットレベルのシンタックスに移動し、ＬＦＮＳＴインデックスシグナリング以後にシグナリングされる。また、コーディングユニットにＩＳＰが適用される場合、ＬＦＮＳＴを許容しない制限条件は除去される。コーディングユニットにＩＳＰが適用される場合、ＬＦＮＳＴを許容しない制限条件が除去されるため、ＬＦＮＳＴを全てのイントラ予測ブロックに適用できる。また、ＭＴＳインデックスおよびＬＦＮＳＴインデックスは、両方ともコーディングユニットレベルの最後の部分において条件付きでシグナリングされる。

【0301】

＜表１３＞

【表13】

【0302】

＜表１４＞

【表14】

【0303】

＜表１５＞

【表15】

【0304】

表１３において、ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、最初に１に設定され、この値は、表１５の残差コーディングで変更されることができる。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ゼロアウトによって０で満たされるべき領域（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ＞１５｜｜ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ＞１５）に有効係数が存在すると、その値が１から０へ変更され、この場合、表１５のように、ＭＴＳインデックスはシグナリングされない。

【0305】

一方、表１３のように、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］が０である場合にはｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］コーディングを省略することができる。すなわち、ルマ成分のＣＢＦ値が０である場合は、変換を適用しないため、ＭＴＳインデックスをシグナリングする必要がなく、ＭＴＳインデックスコーディングを省略することができる。

【0306】

一例によって、上記技術的特徴は、他の条件付き構文で具現されることができる。例えば、ＭＴＳが実行された後、現ブロックのＤＣ領域を除外した領域に有効係数が存在するかどうかを示す変数を導出することができ、上記変数がＤＣ領域を除外した領域に有効係数が存在することを示す場合、ＭＴＳインデックスをシグナリングすることができる。すなわち、現ブロックのＤＣ領域を除外した領域に有効係数が存在するということは、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］の値が１であることを示し、この場合、ＭＴＳインデックスをシグナリングすることができる。

【0307】

上記変数は、ＭｔｓＤｃＯｎｌｙで表すことができ、変数ＭｔｓＤｃＯｎｌｙは、コーディングユニットレベルで最初に１に設定された後、残差コーディングレベルで現ブロックのＤＣ領域を除外した領域に有効係数が存在することを示す場合、その値が０に変更されることができる。変数ＭｔｓＤｃＯｎｌｙが０である場合、ＭＴＳインデックスがシグナリングされるように映像情報が構成されることができる。

【0308】

ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］が０である場合は、表１４の変換ユニットレベルで残差コーディングシンタックスの呼び出しが行われないため、変数ＭｔｓＤｃＯｎｌｙは、初期値１を維持する。このような場合、変数ＭｔｓＤｃＯｎｌｙが０に変更されなかったため、ＭＴＳインデックスがシグナリングされないように映像情報が構成されることができる。すなわち、ＭＴＳインデックスは、パージングおよびシグナリングされない。

【0309】

一方、デコード装置は、表１５の変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇを導出するために変換係数のカラーインデックス（ｃＩｄｘ）を判断することができる。カラーインデックス（ｃＩｄｘ）が０であることは、ルマ成分を意味する。

【0310】

一例によって、現ブロックのルマ成分にのみＭＴＳが適用されることができるため、デコード装置は、ＭＴＳインデックスのパージングが可能か否かを決定する変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇを導出するとき、カラーインデックスがルマであるかどうかを判断することができる。

【0311】

変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ＭＴＳ適用時にゼロアウトが実行されたかどうかを示す変数であって、ＭＴＳ実行後にゼロアウトにより最後の有効係数が存在しうる左上端領域、すなわち、左上端１６×１６領域以外の領域に変換係数が存在するかどうかを示す。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、表１３のようにコーディングユニットレベルで最初に１に設定され（ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝１）、１６×１６領域以外の領域に変換係数が存在すると、表１５のように残差コーディングレベルでその値が１から０へ変更されることができる（ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝０）。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が０である場合、ＭＴＳインデックスはシグナリングされない。

【0312】

表１５のように、残差コーディングレベルで、ＭＴＳに伴われるゼロアウトが実行されたかどうかによって０でない変換係数が存在しうる非（ノン）ゼロアウト領域が設定されることができ、この場合にも、カラーインデックス（ｃＩｄｘ）が０である場合、非ゼロアウト領域は、現ブロックの左上端１６×１６領域に設定されることができる。

【0313】

このように、ＭＴＳインデックスのパージングが可能か否かを決定する変数を導出するときは、カラー成分がルマであるかまたはクロマであるかを判断するが、現ブロックのルマ成分およびクロマ成分の両方にＬＦＮＳＴが適用されることができるため、ＬＦＮＳＴインデックスのパージングが可能か否かを決定する変数を導出するときはカラー成分を判断しない。

【0314】

例えば、表１３には、ＬＦＮＳＴ適用時にゼロアウトが実行されたことを示すことができる変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇが示されている。変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、現ブロックの左上端第１の領域を除外した第２の領域に有効係数が存在するかどうかを示し、この値は、最初に１に設定され、第２の領域に有効係数が存在すると、その値は、０に変更されることができる。最初に設定された変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が１に維持される場合のみ（てこそ）ＬＦＮＳＴインデックスがパージングされることができる。変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が１であるかどうかを判断および導出するとき、現ブロックのルマ成分およびクロマ成分の両方にＬＦＮＳＴが適用されることができるため、現ブロックのカラーインデックスは判断されない。

【0315】

図１５は、一実施例によるクロマブロックのイントラ予測モード導出時に適用されることができるＣＣＬＭを説明する図である。

【0316】

本明細書において、「参照サンプルテンプレート」は、現クロマブロックを予測するための現クロマブロック周辺の参照サンプルの集合を意味することができる。参照サンプルテンプレートは、予め定義されることができ、参照サンプルテンプレートに関する情報がエンコード装置２００からデコード装置３００にシグナリングされることもできる。

【0317】

図１５を参照すると、現クロマブロックである４×４ブロックの周辺に１ラインで陰影表示されたサンプルの集合は、参照サンプルテンプレートを示す。参照サンプルテンプレートが１ラインの参照サンプルで構成され、それに対して、参照サンプルテンプレートと対応するルマ領域内の参照サンプル領域は、２ラインで構成されることを図１５で確認することができる。

【0318】

一実施例において、ＪＶＥＴ（Joint Video Exploration Team）で使われるＪＥＭ（Joint Exploration TEST Model）でクロマ映像の画面内の符号化を実行するとき、ＣＣＬＭ（Cross Component Linear Model）を利用することができる。ＣＣＬＭは、クロマ映像の画素値を復元された輝度映像の画素値で予測する方法であって、輝度映像とクロマ映像との間の相関度（correlation）が高いという特性に基づく。

【0319】

ＣｂおよびＣｒクロマ映像のＣＣＬＭ予測は、以下の数式に基づいて行われる。

【0320】

＜数式１１＞

【数11】

【0321】

ここで、Ｐｒｅｄ_C（ｉ、ｊ）は、予測されるＣｂまたはＣｒクロマ映像を意味し、Ｒｅｃ_L’（ｉ、ｊ）は、クロマブロックサイズに調節された復元された輝度映像を意味し、（ｉ、ｊ）は、画素の座標を意味する。カラーフォーマット（color format）４：２：０では、輝度映像の大きさが色彩映像の２倍であるため、ダウンサンプリング（down sampling）を介してクロマブロックサイズのＲｅｃ_L’を生成すべきであり、したがって、クロマ映像Ｐｒｅｄ_c（ｉ、ｊ）に使われる輝度映像の画素は、Ｒｅｃ_L（２ｉ、２ｊ）の他に周辺画素まで全て考慮して使用することができる。上記Ｒｅｃ_L’（ｉ、ｊ）は、ダウンサンプリングされたルマサンプルを示すことができる。

【0322】

例えば、上記Ｒｅｃ_L’（ｉ、ｊ）は、以下の数式のように６個の周辺画素を利用して導出されることができる。

【0323】

＜数式１２＞

【数12】

【0324】

また、α、βは、図１２の陰影表示された領域のように、ＣｂまたはＣｒクロマブロック周辺テンプレートと輝度ブロック周辺テンプレートとの間のｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎおよび平均値の差を示す。α、βは、例えば、以下の数式１３の通りである。

【0325】

＜数式１３＞

【数13】

【0326】

ここで、Ｌ（ｎ）は、現在のクロマ映像に対応するルマブロックの周辺参照サンプルおよび／または左側周辺サンプルを意味し、Ｃ（ｎ）は、現在符号化が適用される現クロマブロックの周辺参照サンプルおよび／または左側周辺サンプルを意味し、（ｉ、ｊ）は、画素位置を意味する。また、Ｌ（ｎ）は、上記現ルマブロックのダウンサンプリング（down-sampled）された上側周辺サンプルおよび／または左側周辺サンプルを示すことができる。また、Ｎは、ＣＣＬＭパラメータ計算に使われた画素対（pair、輝度およびクロマ）値の総数を示すことができ、上記現クロマブロックの幅（width）および高さ（height）のうちの小さい値の２倍である値を示すことができる。

【0327】

一方、ピクチャは、コーディングツリーユニット（ＣＴＵｓ）のシーケンスに分割される（divided into a sequence）ことができる。ＣＴＵは、コーディングツリーブロック（ＣＴＢ）に対応することができる。あるいは、ＣＴＵは、ルマサンプルのコーディングツリーブロックと、対応するクロマサンプルのコーディングツリーブロックと、を含むことができる。ツリータイプは、ルマブロックと対応するクロマブロックが個別の分割構造を有するかどうかによって、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）またはデュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）として区分されることができる。クロマブロックがルマブロックと同じ分割構造を有する場合はシングルツリーで表し、クロマ成分ブロックがルマ成分ブロックと異なる分割構造を有する場合はデュアルツリーで表すことができる。

【0328】

一方、一例によって、クロマ変換ブロックにＬＦＮＳＴを適用するとき、コロケート（同一位置の）ルマ変換ブロック（collocated Luma transform block）に関する情報を参照する必要がある。

【0329】

該当部分に対する既存のスペックテキストを表で表すと、以下の通りである。

【0330】

＜表１６＞

【表16】

【0331】

表１６に示すように、現在のイントラ予測モードがＣＣＬＭモードであるとき、コロケートルマ変換ブロックに対するイントラ予測モード値を使用して該当クロマ変換ブロックに対する変数値ｐｒｅｄＭｏｄｅＩｎｔｒａが決定される（イタリック体で表示された部分）。このようにルマ変換ブロックのイントラ予測モード値（ｐｒｅｄＭｏｄｅＩｎｔｒａの値）は、以後ＬＦＮＳＴセットを決定するときに使われることができる。

【0332】

しかしながら、本変換過程の入力値で入力される変数ｎＴｂＷおよび変数ｎＴｂＨは、現変換ブロック（the current transform block）に対する幅および高さを示す。現ブロックがルマ変換ブロックである場合、変数ｎＴｂＷおよび変数ｎＴｂＨは、ルマ変換ブロックに対する幅および高さを示し、現ブロックがクロマ変換ブロックである場合、変数ｎＴｂＷおよび変数ｎＴｂＨは、クロマ変換ブロックに対する幅および高さを示す。

【0333】

このとき、表１６のイタリック体の部分内の変数ｎＴｂＷおよび変数ｎＴｂＨは、カラーフォーマットを反映しないクロマ変換ブロックの幅および高さを示しているため、クロマ変換ブロックに対応するルマ変換ブロックの参照位置を正確に指示していない。したがって、表１６のイタリック体部分は、以下の表のように修正されることができる。

【0334】

＜表１７＞

【表17】

【0335】

表１７に示すように、ｎＴｂＷ（／２）およびｎＴｂＨ（／２）は、各々、（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２および（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２に変更された。ｘＴｂＹおよびｙＴｂＹは、各々、ルマに対する現ピクチャ内における位置を示し（the top-left sample of the current luma transform block relative to the top left luma sample of the current picture）、ｎＴｂＷおよびｎＴｂＨは、現在コーディングする変換ブロックの幅および高さを示すことができる（a variable nTbW specifying the width of the current transform block, a variable nTbH specifying the height of the current transform block）。

【0336】

現在コーディングする変換ブロックがクロマに対する（ＣｂまたはＣｒに対する）変換ブロックである場合、ｎＴｂＷおよびｎＴｂＨは、各々、クロマ変換ブロックに対する幅および高さになる。したがって、現在コーディングする変換ブロックがクロマ変換ブロックである場合（ｃＩｄｘ＞０）、コロケートルマ変換ブロック（collocated Luma transform block）に対する参照位置を求めるとき、該当ルマ変換ブロックに対する幅および高さで該当参照位置を求めなければならない。表１７のＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣは、カラーフォーマット（Chroma format、例えば、４：２：０、４：２：２、４：４：４）によって設定される値であり、より具体的には、各々、ルマ成分およびクロマ成分の幅の比率および高さの比率を示すため（以下の表１８を参照）、クロマ変換ブロックの場合、（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）および（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）は、各々、コロケートルマ変換ブロックに対する幅および高さに対する値になることができる。

【0337】

結果的に、値ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２および値ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２は、現ピクチャの左上端位置を基準とするコロケートルマ変換ブロック内部のセンタ位置値を指示するため、より明確にはコロケートルマ変換ブロックを指すことができる。

【0338】

＜表１８＞

【表18】

【0339】

表１７において、ｐｒｅｄＭｏｄｅＩｎｔｒａ変数は、イントラ予測モード値を指し、変数値ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭであることは、現在の変換ブロックがクロマに対する変換ブロックであることを示す。一例によって、現在ＶＶＣ標準でＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭは、イントラ予測モード値のうち、各々、８１、８２、８３のモード値に該当する。したがって、表１７のように、値ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２および値ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２を使用して、コロケートルマ変換ブロックで参照位置を求めなければならない。

【0340】

表１７のように、ｐｒｅｄＭｏｄｅＩｎｔｒａ変数値は、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］変数およびＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］変数を共に考慮してその値が更新される。

【0341】

変数ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは、現変換ブロック（または、コーディングユニット）がＭＩＰ（Matrix-based Intra Prediction）方式でコーディングされたかを示す変数であり、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ］［ｙ］は、現ピクチャ内で左上端位置を（０、０）としたとき、ルマ成分を基準にして（ｘ、ｙ）座標に該当する位置に対するＭＩＰ適用が可能か否かを指示するフラグ値を示す。ｘ座標およびｙ座標は、各々、左側から右側へ、上側から下側へ増加する。ＭＩＰ適用が可能か否かを示すフラグ値が１であるときは、ＭＩＰが適用されたことを示す。ＭＩＰ適用が可能か否かを示すフラグ値が０であるときは、ＭＩＰが適用されないことを示す。ＭＩＰは、ルマブロックに対してのみ適用されることができる。

【0342】

表１７の修正された内容部分によると、コロケートルマ変換ブロック内部のｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］の値が１であるときは、ｐｒｅｄＭｏｄｅＩｎｔｒａ値を平面モードに設定する（ＩＮＴＲＡ＿ＰＬＡＮＡＲ）。

【0343】

変数値ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］は、ルマ成分に対して現ピクチャの左上端位置を（０、０）としたとき、（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２、ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２）座標に該当する予測モード値を示す。予測モード値は、ＭＯＤＥ＿ＩＮＴＲＡ、ＭＯＤＥ＿ＩＢＣ、ＭＯＤＥ＿ＰＬＴ、ＭＯＤＥ＿ＩＮＴＥＲ値を有することができ、各々、イントラ予測モード、ＩＢＣ（Intra Block Copy）予測モード、ＰＬＴ（Palette）コーディングモード、インター予測モードを示す。表１７によると、変数値ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］がＭＯＤＥ＿ＩＢＣまたはＭＯＤＥ＿ＰＬＴである場合、変数ｐｒｅｄＭｏｄｅＩｎｔｒａの値は、ＤＣモードに設定される。上記２つの場合でない場合、変数ｐｒｅｄＭｏｄｅＩｎｔｒａの値は、ＩｎｔｒａＰｒｅｄＭｏｄｅＹ［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２］の値に（コロケートルマ変換ブロック内部の中心位置に該当するイントラ予測モード値に）設定される。

【0344】

一例によって、表１７で更新された値ｐｒｅｄＭｏｄｅＩｎｔｒａに基づいて以下の表のように広角イントラ予測（wide angle intra prediction）が可能か否かを考慮して変数ｐｒｅｄＭｏｄｅＩｎｔｒａの値をもう一回更新できる。

【0345】

＜表１９＞

【表19】

【0346】

表１９で提示されたマッピング過程の入力値であるｐｒｅｄＭｏｄｅＩｎｔｒａ、ｎＴｂＷ、ｎＴｂＨは、各々、表１７で更新された変数ｐｒｅｄＭｏｄｅＩｎｔｒａの値および表１７で参照されるｎＴｂＷ、ｎＴｂＨと同じである。

【0347】

表１９において、ｎＣｂＷおよびｎＣｂＨは、各々、該当変換ブロックに対応するコーディングブロックの幅および高さを指し、ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ変数は、ＩＳＰモードが適用されたかどうかを示す。ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴである場合は、ＩＳＰによってコーディングユニットが分割されていないことを（すなわち、ＩＳＰモードが適用されていないことを）示す。変数ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅの値がＩＳＰ＿ＮＯ＿ＳＰＬＩＴでない場合は、ＩＳＰモードが適用されてコーディングユニットが２個または４個のパーティションブロックに分割されたことを示す。表１９において、ｃＩｄｘは、カラー成分（color component）を指すインデックスであり、ｃＩｄｘの値が０である場合は、ルマブロックを示し、ｃＩｄｘの値が０でない場合は、クロマブロックを示す。表１９のマッピング過程を介して出力されるｐｒｅｄＭｏｄｅＩｎｔｒａの値は、広角イントラ予測（ＷＡＩＰ）モードの適用が可能か否かを考慮して更新された値である。

【0348】

表１９を介して更新されたｐｒｅｄＭｏｄｅＩｎｔｒａの値に対して以下の表のようなマッピング関係を介してＬＦＮＳＴセットが決定されることができる。

【0349】

＜表２０＞

【表20】

【0350】

上記表において、ｌｆｎｓｔＴｒＳｅｔＩｄｘは、ＬＦＮＳＴセットを指すインデックスを示し、０から３までの値を有するため、合計４個のＬＦＮＳＴセットが構成されたことを確認することができる。各ＬＦＮＳＴセットは、２個の変換カーネル、すなわち、ＬＦＮＳＴカーネルで構成されることができ（ＬＦＮＳＴが適用される領域によって、該当変換カーネルは、順方向基準にして１６×１６行列ないし１６×４８行列になることができる）、該当２個の変換カーネルのうちのどの変換カーネルが適用されるかは、ＬＦＮＳＴインデックスのシグナリングを介して指定できる。また、ＬＦＮＳＴインデックスを介してＬＦＮＳＴの適用が可能か否かも指定できる。現在ＶＶＣ標準でＬＦＮＳＴインデックスは値０、１、２を有することができ、０は、ＬＦＮＳＴを適用しないということを指し、１および２は、各々該当２個の変換カーネルを示す。

【0351】

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴は、以下の図面に使われた具体的な名称に制限されない。

【0352】

図１６は、本文書の一実施例によるビデオデコード装置の動作を示す流れ図である。

【0353】

図１６に開示された各ステップは、図４ないし図１５で詳述した内容のうちの一部に基づく。したがって、図３ないし図１５で詳述した内容と重複する具体的な内容は、説明を省略または簡単にする。

【0354】

一実施例によるデコード装置３００は、ビットストリームからイントラ予測モード情報およびＬＦＮＳＴインデックスを取得することができる（Ｓ１６１０）。

【0355】

イントラ予測モード情報は、現ブロックの周辺ブロック（例えば、左側および／または上側周辺ブロック）のイントラ予測モードおよび追加的な候補モードに基づいて導出されたＭＰＭ（Most Probable Mode）リスト内のｍｐｍ候補のうちの一つを指示するｍｐｍインデックスまたは上記ｍｐｍ候補に含まれない残りのイントラ予測モードのうちの一つを指示する残りの（リメイニング）イントラ予測モード情報を含むことができる。

【0356】

また、イントラモード情報は、現ブロックにＣＣＬＭが適用されるかどうかを指示するフラグ情報ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇおよびクロマ成分に対するイントラ予測モードに関する情報ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅを含むことができる。

【0357】

ＬＦＮＳＴインデックス情報は、シンタックス情報で受信され、シンタックス情報は、０および１を含む二進化されたｂｉｎストリングで受信される。

【0358】

本実施例によるＬＦＮＳＴインデックスのシンタックス要素は、逆ＬＦＮＳＴまたは逆非分離変換が適用されるかどうかと、変換セットに含まれている変換カーネルマトリクスのうちのいずれか一つと、を指示することができ、変換セットが２つの変換カーネルマトリクスを含む場合、変換インデックスのシンタックス要素の値は３つである。

【0359】

すなわち、一実施例によって、ＬＦＮＳＴインデックスに関するシンタックス要素値は、対象ブロックに逆ＬＦＮＳＴが適用されない場合を指示する０、変換カーネルマトリクスのうちの１番目の変換カーネルマトリクスを指示する１、変換カーネルマトリクスのうちの２番目の変換カーネルマトリクスを指示する２、を含むことができる。

【0360】

また、デコード装置３００は、ビットストリームから現ブロックに対する量子化された変換係数に関する情報をデコードすることができ、現ブロックに対する量子化された変換係数に関する情報に基づいて対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に関する情報は、ＳＰＳ（Sequence Parameter Set）またはスライスヘッダ（slice header）に含まれることができ、簡素化変換（ＲＳＴ）が適用されるかどうかに関する情報、簡素化ファクタに関する情報、簡素化変換を適用する最小変換サイズに関する情報、簡素化変換を適用する最大変換サイズに関する情報、簡素化逆変換サイズ、変換セットに含まれている変換カーネルマトリクスのうちのいずれか一つを指示する変換インデックスに関する情報のうちの少なくとも一つを含むことができる。

【0361】

デコード装置３００は、現ブロックに対する残差情報、すなわち、量子化された変換係数に対して逆量子化を実行して変換係数を導出することができ、導出された変換係数を所定のスキャン順序で配列できる。

【0362】

具体的には、導出された変換係数は、４×４ブロック単位で逆方向対角スキャン順序によって配列されることができ、４×４ブロック内の変換係数も逆方向対角スキャン順序によって配列されることができる。すなわち、逆量子化が実行された変換係数は、ＶＶＣやＨＥＶＣなどのビデオコーデックで適用されている逆方向スキャン順序によって配置されることができる。

【0363】

このような残差情報に基づいて導出された変換係数は、上記のように逆量子化された変換係数であってもよく、量子化された変換係数であってもよい。すなわち、変換係数は、量子化が可能か否かにかかわらず、現ブロックで０でないデータであるかどうかをチェックすることができるデータであればよい。

【0364】

デコード装置は、クロマブロックのイントラ予測モードがＣＣＬＭモードであることに基づいて、クロマブロックのイントラ予測モードをクロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新でき、特に、ルマブロックのイントラ予測モードがイントラブロックコピー（ＩＢＣ）モードであることに基づいて、イントラＤＣモードに更新できる（Ｓ１６２０）。

【0365】

デコード装置は、イントラ予測モード情報に基づいてクロマブロックのイントラ予測モードをＣＣＬＭモードとして導出することができる。例えば、デコード装置は、ビットストリームを介して現クロマブロックのイントラ予測モードに関する情報を受信することができ、イントラ予測モードに関する情報に基づいてＣＣＬＭモードを上記現クロマブロックのイントラ予測モードとして導出することができる。

【0366】

ＣＣＬＭモードは、左上側ベースのＣＣＬＭモード、上側ベースのＣＣＬＭモードまたは左側ＣＣＬＭモードを含むことができる。

【0367】

前述したように、デコード装置は、非分離変換であるＬＦＮＳＴまたは分離変換であるＭＴＳを適用して残差サンプルを導出することができ、このような変換は、各々、ＬＦＮＳＴカーネル、すなわち、ＬＦＮＳＴマトリクスを指示するＬＦＮＳＴインデックスとＭＴＳカーネルを指示するＭＴＳインデックスとに基づいて実行されることができる。

【0368】

一方、ＬＦＮＳＴのためにＬＦＮＳＴセットが決定されるべきであり、ＬＦＮＳＴセットは、現ブロックのイントラ予測モードとマッピング関係を有する。

【0369】

デコード装置は、クロマブロックの逆ＬＦＮＳＴのために、クロマブロックのイントラ予測モードをクロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新できる。

【0370】

一例によって、更新されたイントラ予測モードは、ルマブロック内の特定の位置に対応するイントラ予測モードとして導出されることができ、このとき、特定位置は、クロマブロックのカラーフォーマットに基づいて設定されることができる。

【0371】

特定位置は、ルマブロックの中心位置であり、（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））で表現されることができる。

【0372】

上記中心位置で、ｘＴｂＹおよびｙＴｂＹは、ルマブロックの左上端座標、すなわち、現変換ブロックに対するルマサンプル基準における左上端位置を示し、ｎＴｂＷおよびｎＴｂＨは、上記クロマブロックの幅および高さを示し、ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣは、カラーフォーマットに対応する変数に対応する。（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））は、ルマ変換ブロックの中間位置を示し、ＩｎｔｒａＰｒｅｄＭｏｄｅＹ［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２」は、該当位置に対するルマブロックにおけるイントラ予測モードを指す。

【0373】

ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣは、表１８のように導出されることができる。すなわち、カラーフォーマットが４：２：０である場合、ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣは２であり、カラーフォーマットが４：２：２である場合、ＳｕｂＷｉｄｔｈＣは２であり、ＳｕｂＨｅｉｇｈｔＣは１である。

【0374】

表１７のように、カラーフォーマットにかかわらずにクロマブロックに対応するルマブロックの特定位置を指定するために、特定位置を指示する変数にカラーフォーマットが反映された。

【0375】

前述したように、特定位置に対応するルマブロックのイントラ予測モードがＩＢＣモードである場合、デコード装置は、更新されたイントラ予測モードをイントラＤＣモードに更新できる。

【0376】

ＩＢＣは、基本的に現ピクチャ内で予測を実行するが、現ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。すなわち、ＩＢＣは、本文書で説明されるインター予測技法のうちの少なくとも一つを利用することができる。

【0377】

あるいは、一例によって、特定位置に対応するイントラ予測モードがパレットモードである場合、デコード装置は、更新されたイントラ予測モードをイントラＤＣモードに設定できる。

【0378】

ＩＢＣモードまたはパレットモードは、例えば、ＳＣＣ（Screen Content Coding）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現ピクチャ内で予測を実行するが、現ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。すなわち、ＩＢＣは、本文書で説明されるインター予測技法のうちの少なくとも一つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見ることができる。パレットモードが適用される場合、パレットテーブルおよびパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。

【0379】

あるいは、他の例によって、特定位置に対応するルマブロックのイントラ予測モードがマトリクスベースのイントラ予測（Matrix based intra prediction、以下、ＭＩＰ）モードである場合、デコード装置は、更新されたイントラ予測モードをイントラ平面モードに設定できる。

【0380】

ＭＩＰモードは、アフィン線形加重イントラ予測（Affine Linear Weighted Intra Prediction、ＡＬＷＩＰ）またはマトリクス加重イントラ予測（Matrix Weighted Intra Prediction、ＭＷＩＰ）とも呼ばれる。ＭＩＰが現ブロックに対して適用される場合、ｉ）アベレージング（averaging）手順が実行された周辺参照サンプルを利用して、ｉｉ）マトリクスベクトルマルチプリケーション（matrix-vector-multiplication）手順を実行し、ｉｉｉ）必要によって、水平／垂直補間（interpolation）手順をさらに実行することで、上記現ブロックに対する予測サンプルを導出することができる。

【0381】

整理すると、中心位置に対するイントラ予測モードがＭＩＰモード、ＩＢＣモード、およびパレットモードである場合、クロマブロックのイントラ予測モードは、イントラ平面モードまたはイントラＤＣモードなどの特定モードに更新されることができる。

【0382】

もちろん、中心位置のイントラ予測モードがＭＩＰモード、ＩＢＣモード、およびパレットモードでない場合、クロマブロックとルマブロックとの関連性を反映するために、クロマブロックのイントラ予測モードは、中心位置に対するルマブロックのイントラ予測モードに更新されることができる。

【0383】

デコード装置は、更新されたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを含むＬＦＮＳＴセットを決定し（Ｓ１６３０）、ＬＦＮＳＴセットから導出されたＬＦＮＳＴマトリクスに基づいてクロマブロックに対するＬＦＮＳＴを実行して変換係数を導出することができる（Ｓ１６４０）。

【0384】

複数のＬＦＮＳＴマトリクスのうちのいずれか一つは、ＬＦＮＳＴセットおよびＬＦＮＳＴインデックスに基づいて複数の中からいずれか一つを選択することができる。

【0385】

表２０のように、イントラ予測モードによってＬＦＮＳＴ変換セットが導出される。イントラ予測モードでＣＣＬＭモードを示す８１ないし８３は省略されており、これは、ＣＣＬＭモードの場合、対応するルマブロックに対するイントラモード値を有してＬＦＮＳＴ変換セットを導出するためである。

【0386】

一例によって、表２０のように、現ブロックのイントラ予測モードによって４個のＬＦＮＳＴセットのうちのいずれか一つが決定されることができ、このとき、現クロマブロックに適用されるＬＦＮＳＴセットも決定されることができる。

【0387】

その後、デコード装置は、逆量子化された変換係数にＬＦＮＳＴマトリクスを適用して逆ＲＳＴ、例えば、逆ＬＦＮＳＴを実行することによって、現クロマブロックに対する修正された変換係数を導出することができる。

【0388】

デコード装置は、１次逆変換を介して変換係数から残差（レジデュアル）サンプルを導出することができ（Ｓ１６５０）、現ブロックがクロマブロックである場合、変換係数に基づいてクロマブロックに対する残差サンプルを導出することができる。１次逆変換としてＭＴＳが使われることができる。

【0389】

また、デコード装置は、現ブロックに対する残差サンプルおよび現ブロックに対する予測サンプルに基づいて、復元サンプルを生成することができる。

【0390】

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴は、以下の図面に使われた具体的な名称に制限されない。

【0391】

図１７は、本文書の一実施例によるビデオエンコード装置の動作を示す流れ図である。

【0392】

図１７に開示された各ステップは、図４ないし図１５で詳述した内容のうちの一部に基づく。したがって、図２および図４ないし図１５で詳述した内容と重複する具体的な内容は、説明を省略または簡単にする。

【0393】

一実施例によるエンコード装置２００は、クロマブロックに対するイントラ予測モードがＣＣＬＭモードであることに基づいてクロマブロックに対する予測サンプルを導出することができる（Ｓ１７１０）。

【0394】

まず、エンコード装置は、クロマブロックに対するイントラ予測モードをＣＣＬＭモードとして導出することができる。

【0395】

例えば、エンコード装置は、ＲＤコスト（Rate-Distortion cost）（または、ＲＤＯ）に基づいて上記現クロマブロックのイントラ予測モードを決定することができる。ここで、上記ＲＤコストは、ＳＡＤ（Sum of Absolute Difference）に基づいて導出されることができる。エンコード装置は、ＲＤコストに基づいて上記ＣＣＬＭモードを上記現クロマブロックのイントラ予測モードとして決定できる。

【0396】

ＣＣＬＭモードは、左上側ベースのＣＣＬＭモード、上側ベースのＣＣＬＭモードまたは左側ベースのＣＣＬＭモードを含むことができる。

【0397】

また、エンコード装置は、上記現クロマブロックのイントラ予測モードに関する情報をエンコードすることができ、ビットストリームを介して上記イントラ予測モードに関する情報は、シグナリングされることができる。上記現クロマブロックの予測関連情報は、上記イントラ予測モードに関する情報を含むことができる。

【0398】

一実施例によるエンコード装置は、予測サンプルに基づいてクロマブロックに対する残差（レジデュアル）サンプルを導出することができる（Ｓ１７２０）。

【0399】

一実施例によるエンコード装置は、残差サンプルに対する１次変換に基づいてクロマブロックに対する変換係数を導出することができる。

【0400】

１次変換は、複数の変換カーネルを介して実行されることができ、この場合、イントラ予測モードに基づいて変換カーネルが選択されることができる。

【0401】

エンコード装置は、クロマブロックのＬＦＮＳＴのために、クロマブロックのイントラ予測モードを、クロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新でき、ルマブロックのイントラ予測モードがイントラブロックコピー（ＩＢＣ）モードであることに基づいてイントラＤＣモードに更新できる（Ｓ１７３０）。

【0402】

エンコード装置は、表１７に示すように、クロマブロックに対するＣＣＬＭモードをクロマブロックに対応するルマブロックのイントラ予測モードに基づいて更新できる（Ｗｈｅｎ ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｅｑｕａｌ ｔｏ ｅｉｔｈｅｒ ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ，ＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ，ｏｒ ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭ，ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｄｅｒｉｖｅｄ ａｓ ｆｏｌｌｏｗ：）。

【0403】

一例によって、更新されたイントラ予測モードは、ルマブロック内の特定位置に対応するイントラ予測モードとして導出されることができ、このとき、特定位置は、クロマブロックのカラーフォーマットに基づいて設定されることができる。

【0404】

特定位置は、ルマブロックの中心位置であり、（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））で表現されることができる。

【0405】

上記中心位置で、ｘＴｂＹおよびｙＴｂＹは、ルマブロックの左上端座標、すなわち、現変換ブロックに対するルマサンプル基準における左上端位置を示し、ｎＴｂＷおよびｎＴｂＨは、上記クロマブロックの幅および高さを示し、ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣは、カラーフォーマットに対応する変数に対応する。（（ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２）、（ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２））は、ルマ変換ブロックの中間位置を示し、ＩｎｔｒａＰｒｅｄＭｏｄｅＹ［ｘＴｂＹ＋（ｎＴｂＷ＊ＳｕｂＷｉｄｔｈＣ）／２］［ｙＴｂＹ＋（ｎＴｂＨ＊ＳｕｂＨｅｉｇｈｔＣ）／２」は、該当位置に対するルマブロックにおけるイントラ予測モードを指す。

【0406】

ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈＣは、表１８のように導出されることができる。すなわち、カラーフォーマットが４：２：０である場合、ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣは２であり、カラーフォーマットが４：２：２である場合、ＳｕｂＷｉｄｔｈＣは２であり、ＳｕｂＨｅｉｇｈｔＣは１である。

【0407】

表１７のように、カラーフォーマットにかかわらずクロマブロックに対応するルマブロックの特定位置を指定するために、特定位置を指示する変数にカラーフォーマットが反映された。

【0408】

前述したように、特定位置に対応するルマブロックのイントラ予測モードがＩＢＣモードである場合、エンコード装置は、更新されたイントラ予測モードをイントラＤＣモードに更新できる。

【0409】

ＩＢＣは、基本的に現ピクチャ内で予測を実行するが、現ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。すなわち、ＩＢＣは、本文書で説明されるインター予測技法のうちの少なくとも一つを利用することができる。

【0410】

あるいは、一例によって、特定位置に対応するイントラ予測モードがパレットモードである場合、エンコード装置は、更新されたイントラ予測モードをイントラＤＣモードに設定できる。

【0411】

ＩＢＣモードまたはパレットモードは、例えば、ＳＣＣ（Screen Content Coding）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現ピクチャ内で予測を実行するが、現ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。すなわち、ＩＢＣは、本文書で説明されるインター予測技法のうちの少なくとも一つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例として見ることができる。パレットモードが適用される場合、パレットテーブルおよびパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。

【0412】

あるいは、他の例によって、特定位置に対応するルマブロックのイントラ予測モードがマトリクスベースのイントラ予測（Matrix based Intra Prediction、以下、ＭＩＰ）モードである場合、エンコード装置は、更新されたイントラ予測モードをイントラ平面モードに設定できる。

【0413】

ＭＩＰモードは、アフィン線形加重イントラ予測（Affine Linear Weighted Intra Prediction、ＡＬＷＩＰ）またはマトリクス加重イントラ予測（Matrix Weighted Intra Prediction、ＭＷＩＰ）とも呼ばれる。ＭＩＰが現ブロックに対して適用される場合、ｉ）アベレージング（averaging）手順が実行された周辺参照サンプルを利用して、ｉｉ）マトリクスベクトルマルチプリケーション（matrix-vector-multiplication）手順を実行し、ｉｉｉ）必要によって、水平／垂直補間（interpolation）手順をさらに実行することで、上記現ブロックに対する予測サンプルを導出することができる。

【0414】

整理すると、中心位置に対するイントラ予測モードがＭＩＰモード、ＩＢＣモード、およびパレットモードである場合、クロマブロックのイントラ予測モードは、イントラ平面モードまたはイントラＤＣモードなどの特定モードに更新されることができる。

【0415】

もちろん、中心位置のイントラ予測モードがＭＩＰモード、ＩＢＣモード、およびパレットモードでない場合、クロマブロックとルマブロックとの関連性を反映するために、クロマブロックのイントラ予測モードは、中心位置に対するルマブロックのイントラ予測モードに更新されることができる。

【0416】

エンコード装置は、更新されたイントラ予測モードに基づいてＬＦＮＳＴマトリクスを含むＬＦＮＳＴセットを決定し（Ｓ１７４０）、残差サンプル、ＬＦＮＳＴマトリクスに基づいてクロマブロックに対するＬＦＮＳＴを実行して修正された変換係数を導出することができる（Ｓ１７５０）。

【0417】

エンコード装置は、現ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて変換セットを決定し、変換セットに含まれている２つのうちのいずれか一つのＬＦＮＳＴ行列に基づいてＬＦＮＳＴ、すなわち、非分離変換を実行することができる。

【0418】

前述したように、変換の対象になる変換ブロックのイントラ予測モードによって、複数の変換セットが決定されることができる。ＬＦＮＳＴに適用される行列は、逆方向ＬＦＮＳＴに使われる行列とトランスポーズ関係にある。

【0419】

一例において、ＬＦＮＳＴ行列は、行の個数が列の個数より少ない非正方形マトリクスである。

【0420】

エンコード装置は、現クロマブロックに対する修正された変換係数に基づいて量子化を実行して量子化された変換係数を導出し、量子化された変換係数に関する情報、イントラ予測モード情報、およびＬＦＮＳＴマトリクスを指示するＬＦＮＳＴインデックスを含む映像情報をエンコードした後に出力できる（Ｓ１７６０）。

【0421】

より具体的には、エンコード装置２００は、量子化された変換係数に関する情報を生成し、生成された量子化された変換係数に関する情報をエンコードすることができる。

【0422】

一例において、量子化された変換係数に関する情報は、ＬＦＮＳＴが適用されるかどうかに関する情報、簡素化ファクタに関する情報、ＬＦＮＳＴを適用する最小変換サイズに関する情報、およびＬＦＮＳＴを適用する最大変換サイズに関する情報のうちの少なくとも一つを含むことができる。

【0423】

エンコード装置は、イントラモード情報として現ブロックにＣＣＬＭが適用されるかどうかを指示するフラグ情報ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇおよびクロマ成分に対するイントラ予測モードに関する情報ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅをエンコードすることができる。

【0424】

ＣＣＬＭモードに関する情報であるｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅは、左上側ベースのＣＣＬＭモード、上側ベースのＣＣＬＭモードまたは左側ベースのＣＣＬＭモードを指示することができる。

【0425】

本文書において、量子化／逆量子化および／または変換／逆変換の少なくとも１つは省略され得る。上記量子化／逆量子化が省略される場合、上記量子化された変換係数は、変換係数と呼ばれ得る。上記変換／逆変換が省略される場合、上記変換係数は、係数または残差係数と呼ばれることもあり、または表現の統一のために依然として変換係数と呼ばれることもある。

【0426】

また、本文書において、量子化された変換係数および変換係数は、各々変換係数およびスケーリングされた（scaled）変換係数と呼称され得る。この場合、残差情報は、変換係数に関する情報を含むことができ、上記変換係数に関する情報は、残差コーディングシンタックスを介してシグナリングされることができる。上記残差情報（または上記変換係数に関する情報）に基づいて変換係数が導出されることができ、上記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。上記スケーリングされた変換係数に対する逆変換（変換）に基づいて、残差サンプルが導出されることができる。これは、本文書の別の部分でも同様に適用／表現できる。

【0427】

前述した実施例において、方法は、一連のステップまたはブロックとしてフローチャートに基づいて説明されているが、本文書は、ステップの順序に限定されるわけではなく、あるステップは、前述したものと異なるステップおよび異なる順序で、または同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、別のステップが含まれるか、フローチャートの一つまたは複数のステップが本文書の範囲に影響を与えずに削除され得ることを理解することができる。

【0428】

前述した本文書に係る方法は、ソフトウェアの形態で具現されることができ、本文書に係るエンコード装置および／またはデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの画像処理を行う装置に含まれ得る。

【0429】

本文書において、実施例がソフトウェアで具現されるとき、前述した方法は、前述した機能を行うモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに記憶され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（Application-Specific Integrated Circuit）、他のチップセット、論理回路および／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、メモリカード、記憶媒体および／または他の記憶装置を含むことができる。すなわち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。

【0430】

また、本文書が適用されるデコード装置およびエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、ビデオオンデマンド（オーダーメイド型ビデオ）（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Over the Top Video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、および医療用ビデオ装置などに含まれ得、ビデオ信号またはデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Over the Top Video）装置としては、ゲームコンソール、ブルーレイプレーヤ、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recorder）などを含み得る。

【0431】

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に記憶されることができる。本文書に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に記憶されることができる。上記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取ることができるデータが記憶される全ての種類の記憶装置および分散記憶装置を含む。上記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバーサルシリアル（汎用直列）バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、および光学データ記憶装置を含み得る。また、上記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取ることができる記録媒体に記憶されるか、有無線通信ネットワークを介して送信されることができる。また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で具現されることができ、上記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。上記プログラムコードは、コンピュータによって読み取り可能なキャリア上に記憶されることができる。

【0432】

図１８は、本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【0433】

また、本文書が適用されるコンテンツストリーミングシステムは、主として、エンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア記憶装置（格納所）、ユーザ装置、およびマルチメディア入力装置を含むことができる。

【0434】

上記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを上記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、上記エンコードサーバは省略されることができる。上記ビットストリームは、本文書が適用されるエンコード方法またはビットストリーム生成方法により生成されることができ、上記ストリーミングサーバは、上記ビットストリームを送信または受信する過程で一時的に上記ビットストリームを記憶することができる。

【0435】

上記ストリーミングサーバは、ウェブサーバを介したユーザリクエスト（要請）に基づいてマルチメディアデータをユーザ装置に送信し、上記ウェブサーバは、どのようなサービスがあるかをユーザに知らせる媒介体の役割をする。ユーザが上記ウェブサーバに所望のサービスをリクエストすると、上記ウェブサーバは、これをストリーミングサーバに伝達し、上記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、上記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、上記制御サーバは、上記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

【0436】

上記ストリーミングサーバは、メディア記憶装置および／またはエンコードサーバからコンテンツを受信することができる。例えば、上記エンコードサーバからコンテンツを受信する場合、上記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、上記ストリーミングサーバは、上記ビットストリームを一定時間の間記憶することができる。

【0437】

上記ユーザ装置の例として、携帯電話、スマートフォン（smart phone）、ノートパソコン（laptop computer）、デジタル放送用端末機、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーション、スレートＰＣ（slate PC）、タブレットＰＣ（tablet PC）、ウルトラブック（ULTRABOOK（登録商標））、ウエラブルデバイス（wearable device、例えば、スマートウォッチ（ウォッチ型端末機）（smartwatch）、スマートグラス（グラス型端末機）（smart glass）、ＨＭＤ（Head Mounted Display）、デジタルＴＶ、デスクトップコンピュータ、デジタル署名（サイニジ）などがある。上記コンテンツストリーミングシステム内の各サーバは、分散サーバで運用されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

【0438】

本明細書に記載された請求項は、多様な方式で組み合わせられることができる。例えば、本明細書の方法の請求項の技術的特徴が組み合わせられて装置において具現されることができ、本明細書の装置の請求項の技術的特徴が組み合わせられて方法において具現されることができる。また、本明細書の方法の請求項の技術的特徴と装置の請求項の技術的特徴とが組み合わせられて装置で具現されることができ、本明細書の方法の請求項の技術的特徴と装置の請求項の技術的特徴とが組み合わせられて方法で具現されることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6(a)】

【図6(b)】

【図7(a)】

【図7(b)】

【図8(a)】

【図8(b)】

【図9】

【図10(a)】

【図10(b)】

【図10(c)】

【図10(d)】

【図10(e)】

【図11(a)】

【図11(b)】

【図11(c)】

【図11(d)】

【図11(e)】

【図12】

【図13(a)】

【図13(b)】

【図13(c)】

【図13(d)】

【図14(a)】

【図14(b)】

【図15】

【図16】

【図17】

【図18】