特表 2024-507579 映像コーディング方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-20

(54)【発明の名称】映像コーディング方法及びその装置

(51)【国際特許分類】

   H04N 19/112 20140101AFI20240213BHJP

   H04N 19/157 20140101ALI20240213BHJP

   H04N 19/176 20140101ALI20240213BHJP

   H04N 19/625 20140101ALI20240213BHJP

【ＦＩ】

H04N19/112

H04N19/157

H04N19/176

H04N19/625

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023551749

(86)(22)【出願日】2022-02-21

(85)【翻訳文提出日】2023-09-20

(86)【国際出願番号】 KR2022002524

(87)【国際公開番号】W WO2022182083

(87)【国際公開日】2022-09-01

(31)【優先権主張番号】63/153,363

(32)【優先日】2021-02-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ク ムンモ

(72)【発明者】

【氏名】イム チェヒョン

(72)【発明者】

【氏名】キム ソンファン

(72)【発明者】

【氏名】チャオ チエ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MC01

5C159MC23

5C159TA35

5C159TB08

5C159TC26

5C159UA02

5C159UA05

(57)【要約】

本文書による映像デコーディング方法は、変換係数に対して逆２次変換に基づいて修正された変換係数を導出するステップ；及び、前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップ；を含み、前記対象ブロックの大きさがＭ×Ｎ（Ｍ≧１６、Ｎ≧１６）であることに基づいて、前記対象ブロックの左上端の出力領域にＬ個（４８<Ｌ≦９６）の修正された変換係数が配列される。
【選択図】図１７

【特許請求の範囲】

【請求項1】

デコーディング装置により実行される映像デコーディング方法において、
ビットストリームから対象ブロックに対するレジデュアル情報を受信するステップ；
前記レジデュアル情報に基づいて前記対象ブロックに対する変換係数を導出するステップ；
前記変換係数に対して逆２次変換に基づいて修正された変換係数を導出するステップ；
前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップ；及び、
前記対象ブロックに対するレジデュアルサンプルに基づいて復元ピクチャを生成するステップ；を含み、
前記対象ブロックの大きさがＭ×Ｎ（Ｍ≧１６、Ｎ≧１６）であることに基づいて、前記対象ブロックの左上端の出力領域にＬ個（４８<Ｌ≦９６）の修正された変換係数が配列されることを特徴とする映像デコーディング方法。

【請求項2】

前記修正された変換係数を導出するステップは、
順方向対角スキャニング順序によって前記変換係数を整列して入力アレイを導出するステップ；
前記入力アレイと変換カーネルのマトリックス演算を介して前記変換係数より多い個数の前記修正された変換係数を導出するステップ；及び、
前記修正された変換係数を前記出力領域に配列するステップ；を含み、
前記修正された変換係数は、前記対象ブロックのイントラ予測モードによって行優先方向または列優先方向のうちいずれか一つの順序に基づいて前記出力領域に配列されることを特徴とする請求項１に記載の映像デコーディング方法。

【請求項3】

前記出力領域は、前記対象ブロックの前記ＤＣ位置からスキャニング順序によって配列されることができる複数の４×４サブブロックで構成されることを特徴とする請求項２に記載の映像デコーディング方法。

【請求項4】

前記出力領域は、前記対象ブロックの前記ＤＣ位置から所定の順序によって配列されることができる複数のｐ×ｑサブブロックで構成されることを特徴とする請求項２に記載の映像デコーディング方法。

【請求項5】

前記出力領域は、前記対象ブロックの左上端ｍ×ｎブロック（ｍ≦Ｍ、ｎ≦Ｎ）であることを特徴とする請求項２に記載の映像デコーディング方法。

【請求項6】

前記出力領域は、前記対象ブロックの前記ＤＣ位置から同じ距離に離隔されているラインで構成された扇形領域を含むことを特徴とする請求項２に記載の映像デコーディング方法。

【請求項7】

前記入力アレイは、Ｒ個の変換係数を含み、
前記Ｒは、Ｌより小さい１６の倍数であることを特徴とする請求項２に記載の映像デコーディング方法。

【請求項8】

前記入力アレイは、前記対象ブロックの前記ＤＣ位置から前記順方向対角スキャニング順序に配列されることができる４×４サブブロック単位で整列され、前記４×４サブブロック内の前記順方向対角スキャニング順序によって整列されることを特徴とする請求項２に記載の映像デコーディング方法。

【請求項9】

前記修正された変換係数を導出するステップは、前記２次変換に適用される前記変換カーネルを導出するステップを含み、
前記変換カーネルは、前記対象ブロックに適用されるイントラ予測モードに基づいて導出される変換セットに基づいて導出され、
前記変換セットは、前記イントラ予測モードとのマッピング関係に基づいて複数個が存在し、一つの変換セットは、複数の変換カーネルで構成され、
前記対象ブロックの大きさに基づいて前記逆２次変換の大きさが設定され、
前記逆２次変換の大きさに基づいて、変換セットの個数、前記変換セットを構成する変換カーネルの個数及び変換カーネルの次元のうち少なくとも一つが導出されることを特徴とする請求項２に記載の映像デコーディング方法。

【請求項10】

前記対象ブロックの横及び縦の長さが両方とも４より大きいまたは同じであり、横または縦の長さが４であることに基づいて、前記逆２次変換の大きさは、第１の値に設定され、
前記対象ブロックの横及び縦の長さが両方とも８より大きいまたは同じであり、横または縦の長さが８であることに基づいて、前記逆２次変換の大きさは、第２の値に設定され、
前記対象ブロックの横及び縦の長さが両方とも１６より大きいまたは同じであることに基づいて、前記逆２次変換の大きさは、第３の値に設定されることを特徴とする請求項９に記載の映像デコーディング方法。

【請求項11】

前記逆２次変換の大きさが前記第１の値であることに基づいて、前記変換カーネルの次元は１６×１６に設定され、
前記逆２次変換の大きさが前記第２の値であることに基づいて、前記変換カーネルの次元は４８×Ｒまたは６４×Ｓに設定され、Ｒは１６、３２、４８のうちいずれか一つであり、Ｓは１６、３２、４８、６４のうちいずれか一つであり、
前記逆２次変換の大きさが前記第３の値であることに基づいて、前記変換カーネルの次元は９６×Ｒ、６４×Ｓまたは４８×Ｔのうちいずれか一つに設定され、Ｒは１６、３２、４８、６４、８０、９６のうちいずれか一つであり、Ｓは１６、３２、４８、６４のうちいずれか一つであり、Ｔは１６、３２、４８のうちいずれか一つであることを特徴とする請求項１０に記載の映像デコーディング方法。

【請求項12】

前記逆１次変換にＤＳＴ－７、ＤＣＴ－８またはＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）のうちいずれか一つが適用されることを特徴とする請求項１に記載の映像デコーディング方法。

【請求項13】

前記修正された変換係数を導出するステップは、前記２次変換に適用される変換カーネルを導出するステップを含み、
前記変換カーネルは、前記対象ブロックに適用されるイントラ予測モードに基づいて導出される変換セットに基づいて導出され、
前記変換セットは、前記イントラ予測モードとのマッピング関係に基づいて複数個が存在し、一つの変換セットは、複数の変換カーネルで構成され、
前記対象ブロックの大きさに基づいて前記逆２次変換の大きさが設定され、
前記逆２次変換の大きさ及び前記逆１次変換に適用される変換カーネルに基づいて、変換セットの個数、前記変換セットを構成する変換カーネルの個数及び変換カーネルの次元のうち少なくとも一つが導出されることを特徴とする請求項１２に記載の映像デコーディング方法。

【請求項14】

前記逆１次変換は、水平方向変換及び垂直方向変換を含み、
前記水平方向変換または前記垂直方向変換に変換スキップが適用されることを特徴とする請求項１に記載の映像デコーディング方法。

【請求項15】

インター予測に基づいて前記対象ブロックに対する予測サンプルを導出するステップをさらに含むことを特徴とする請求項１に記載の映像デコーディング方法。

【請求項16】

前記逆２次変換に適用される変換インデックスに対する情報を受信するステップをさらに含み、
前記変換インデックスは、前記対象ブロックの特定領域に変換係数が存在する場合は受信され、
前記特定領域は、前記逆２次変換の大きさに基づいて設定されることを特徴とする請求項９に記載の映像デコーディング方法。

【請求項17】

前記対象ブロックのツリータイプがシングルツリーであることに基づいて、前記対象ブロックのルマ成分及びクロマ成分に前記逆２次変換が実行されることを特徴とする請求項１に記載の映像デコーディング方法。

【請求項18】

映像エンコーディング装置により実行される映像エンコーディング方法において、
対象ブロックに対する予測サンプルを導出するステップ；
前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップ；
前記レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出するステップ；
前記変換係数に対して２次変換に基づいて修正された変換係数を導出するステップ；及び、
前記修正された変換係数に基づいて導出されたレジデュアル情報を含む映像情報をエンコーディングするステップ；を含み、
前記対象ブロックの大きさがＭ×Ｎ（Ｍ≧１６、Ｎ≧１６）であることに基づいて、前記対象ブロックの左上端の入力領域に配列されているＬ個（４８<Ｌ≦９６）の変換係数に対する前記２次変換が実行されることを特徴とする映像エンコーディング方法。

【請求項19】

コンピュータで読み取り可能なデジタル格納媒体であって、前記デジタル格納媒体には所定方法によって生成されたビットストリームが格納され、前記方法は、
対象ブロックに対する予測サンプルを導出するステップ；
前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップ；
前記レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出するステップ；
前記変換係数に対して２次変換に基づいて修正された変換係数を導出するステップ；及び、
前記ビットストリームを生成するために前記修正された変換係数に基づいて導出されたレジデュアル情報を含む映像情報をエンコーディングするステップ；を含み、
前記対象ブロックの大きさがＭ×Ｎ（Ｍ≧１６、Ｎ≧１６）であることに基づいて、前記対象ブロックの左上端の入力領域に配列されているＬ個（４８<Ｌ≦９６）の変換係数に対する前記２次変換が実行されることを特徴とするデジタル格納媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本文書は、映像コーディング技術に関し、より詳しくは、映像コーディングシステムにおいて、イントラ予測に基づく映像コーディング方法及びその装置に関する。

【背景技術】

【0002】

近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像／ビデオのような高解像度、高品質の画像／ビデオに対する需要が様々な分野で増加している。画像／ビデオデータが高解像度、高品質になるほど、既存の画像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、既存の格納媒体を利用して画像／ビデオデータを格納する場合、送信費用と格納費用が増加する。

【0003】

また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム画像のように、現実画像と異なる画像特性を有する画像／ビデオに対する放送が増加している。

【0004】

これにより、前記のような様々な特性を有する高解像度高品質の画像／ビデオの情報を効果的に圧縮して送信するか格納し、再生するために高効率の画像／ビデオ圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本文書の技術的課題は画像符号化効率を高める方法及び装置を提供することである。

【0006】

本文書の他の技術的課題は、多様な条件でＬＦＮＳＴが適用された映像コーディング方法及び装置を提供することである。

【0007】

本文書の他の技術的課題は、多様な方法で１次変換と組み合わせられたＬＦＮＳＴが適用された映像コーディング方法及び装置を提供することである。

【0008】

本文書の他の技術的課題は、符号化性能を向上させ、複雑度を最小化することができるＬＦＮＳＴを適用した映像コーディング方法及び装置を提供することである。

【課題を解決するための手段】

【0009】

本文書の一実施例によると、デコーディング装置により実行される映像デコーディング方法を提供する。前記方法は、レジデュアル情報に基づいて前記対象ブロックに対する変換係数を導出するステップ、前記変換係数に対して逆２次変換に基づいて修正された変換係数を導出するステップ、前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップ、及び、前記対象ブロックに対するレジデュアルサンプルに基づいて復元ピクチャを生成するステップを含み、前記対象ブロックの大きさがＭ×Ｎ（Ｍ≧１６、Ｎ≧１６）であることに基づいて、前記対象ブロックの左上端の出力領域にＬ個（４８<Ｌ≦９６）の修正された変換係数が配列される。

【0010】

前記修正された変換係数を導出するステップは、順方向対角スキャニング順序によって前記変換係数を整列して入力アレイを導出するステップ、前記入力アレイと変換カーネルのマトリックス演算を介して前記変換係数より多い個数の前記修正された変換係数を導出するステップ、及び、前記修正された変換係数を前記出力領域に配列するステップを含み、前記修正された変換係数は、前記対象ブロックのイントラ予測モードによって行優先方向または列優先方向のうちいずれか一つの順序に基づいて前記出力領域に配列される。

【0011】

前記出力領域は、前記対象ブロックの前記ＤＣ位置からスキャニング順序によって配列されることができる複数の４×４サブブロックで構成される。

【0012】

前記出力領域は、前記対象ブロックの前記ＤＣ位置から所定の順序によって配列されることができる複数のｐ×ｑサブブロックで構成される。

【0013】

前記出力領域は、前記対象ブロックの左上端ｍ×ｎブロック（ｍ≦Ｍ、ｎ≦Ｎ）である。

【0014】

前記出力領域は、前記対象ブロックの前記ＤＣ位置から同じ距離に離隔されているラインで構成された扇形領域を含む。

【0015】

前記入力アレイは、Ｒ個の変換係数を含み、前記Ｒは、Ｌより小さい１６の倍数である。

【0016】

前記入力アレイは、前記対象ブロックの前記ＤＣ位置から前記順方向対角スキャニング順序に配列されることができる４×４サブブロック単位で整列され、前記４×４サブブロック内の前記順方向対角スキャニング順序によって整列される。

【0017】

前記修正された変換係数を導出するステップは、前記２次変換に適用される前記変換カーネルを導出するステップを含み、前記変換カーネルは、前記対象ブロックに適用されるイントラ予測モードに基づいて導出される変換セットに基づいて導出され、前記変換セットは、前記イントラ予測モードとのマッピング関係に基づいて複数個が存在し、一つの変換セットは、複数の変換カーネルで構成され、前記対象ブロックの大きさに基づいて前記逆２次変換の大きさが設定され、前記逆２次変換の大きさに基づいて、変換セットの個数、前記変換セットを構成する変換カーネルの個数及び変換カーネルの次元のうち少なくとも一つが導出される。

【0018】

前記対象ブロックの横及び縦の長さが両方とも４より大きいまたは同じであり、横または縦の長さが４であることに基づいて、前記逆２次変換の大きさは、第１の値に設定され、前記対象ブロックの横及び縦の長さが両方とも８より大きいまたは同じであり、横または縦の長さが８であることに基づいて、前記逆２次変換の大きさは、第２の値に設定され、前記対象ブロックの横及び縦の長さが両方とも１６より大きいまたは同じであることに基づいて、前記逆２次変換の大きさは、第３の値に設定される。

【0019】

前記逆２次変換の大きさが前記第１の値であることに基づいて、前記変換カーネルの次元は１６×１６に設定され、前記逆２次変換の大きさが前記第２の値であることに基づいて、前記変換カーネルの次元は４８×Ｒまたは６４×Ｓに設定され、Ｒは１６、３２、４８のうちいずれか一つであり、Ｓは１６、３２、４８、６４のうちいずれか一つであり、前記逆２次変換の大きさが前記第３の値であることに基づいて、前記変換カーネルの次元は９６×Ｒ、６４×Ｓまたは４８×Ｔのうちいずれか一つに設定され、Ｒは１６、３２、４８、６４、８０、９６のうちいずれか一つであり、Ｓは１６、３２、４８、６４のうちいずれか一つであり、Ｔは１６、３２、４８のうちいずれか一つである。

【0020】

前記逆１次変換にＤＳＴ－７、ＤＣＴ－８またはＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）のうちいずれか一つが適用される。

【0021】

前記逆２次変換の大きさ及び前記逆１次変換に適用される変換カーネルに基づいて、変換セットの個数、前記変換セットを構成する変換カーネルの個数及び変換カーネルの次元のうち少なくとも一つが導出される。

【0022】

前記逆１次変換は、水平方向変換及び垂直方向変換を含み、前記水平方向変換または前記垂直方向変換に変換スキップが適用される。

【0023】

インター予測に基づいて前記対象ブロックに対する予測サンプルを導出するステップをさらに含み、インター予測が適用された対象ブロックにもＬＦＮＳＴが適用される。

【0024】

前記逆２次変換に適用される変換インデックスに対する情報を受信するステップをさらに含み、前記変換インデックスは、前記対象ブロックの特定領域に変換係数が存在する場合は受信され、前記特定領域は、前記逆２次変換の大きさに基づいて設定される。

【0025】

前記対象ブロックのツリータイプがシングルツリーであることに基づいて、前記対象ブロックのルマ成分及びクロマ成分に前記逆２次変換が実行される。

【0026】

本文書の一実施例によると、エンコーディング装置により実行される映像エンコーディング方法を提供する。前記方法は、レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出するステップ、前記変換係数に対して２次変換に基づいて修正された変換係数を導出するステップ、及び、前記ビットストリームを生成するために前記修正された変換係数に基づいて導出されたレジデュアル情報を含む映像情報をエンコーディングするステップを含み、前記対象ブロックの大きさがＭ×Ｎ（Ｍ≧１６、Ｎ≧１６）であることに基づいて、前記対象ブロックの左上端の入力領域に配列されているＬ個（４８<Ｌ≦９６）の変換係数に対する前記２次変換が実行される。

【0027】

本文書の他の一実施例によると、エンコーディング装置により実行された映像エンコーディング方法によって生成されたエンコーディングされた映像情報及び／又はビットストリームが含まれている映像データが格納されたデジタル格納媒体及びこのような映像情報及び／又はビットストリームの送信方法が提供される。

【0028】

本文書の他の一実施例によると、デコーディング装置により前記映像デコーディング方法を実行するようにするエンコーディングされた映像情報及び／又はビットストリームが含まれている映像データが格納されたデジタル格納媒体及びこのような映像情報及び／又はビットストリームの送信方法が提供される。

【発明の効果】

【0029】

本文書によると、全般的な映像／ビデオ圧縮効率を高めることができる。

【0030】

本文書によると、多様な条件でＬＦＮＳＴが適用された映像コーディング方法及び装置が提供されることができる。

【0031】

本文書によると、多様な方法で１次変換と組み合わせられたＬＦＮＳＴが提供されることができる。

【0032】

本文書によると、符号化性能を向上させ、複雑度を最小化することができるＬＦＮＳＴを適用した映像コーディング方法及び装置が提供されることができる。

【0033】

本明細書の具体的な一例を介して得られる効果は、以上で羅列された効果に制限されない。例えば、関連する技術分野における通常の知識を有する者（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が、本明細書から理解または誘導できる様々な技術的効果が存在し得る。これによって、本明細書の具体的な効果は、本明細書に明示的に記載されているものに制限されず、本明細書の技術的特徴から理解または誘導できる様々な効果を含み得る。

【図面の簡単な説明】

【0034】

【図1】本文書が適用されることができるビデオ／画像コーディングシステムの例を概略的に示す。

【図2】本文書が適用されることができるビデオ／画像エンコーディング装置の構成を概略的に説明する図である。

【図3】本文書が適用されることができるビデオ／画像デコーディング装置の構成を概略的に説明する図である。

【図4】本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【図5】６５個予測方向のイントラ方向性モードを例示的に示す。

【図6】本文書の一実施例に係る変換技法を概略的に示す。

【図7】本文書の一実施例に係るＲＳＴを説明するための図である。

【図8】本文書の一実施例に係る順方向ＬＦＮＳＴ入力領域を示す図である。

【図9a】本文書の一実施例に係る入力データの入力順序を示す図である。

【図9b】本文書の一実施例に係る入力データの入力順序を示す図である。

【図10a】本文書の他の実施例に係る入力データの入力順序を示す図である。

【図10b】本文書の他の実施例に係る入力データの入力順序を示す図である。

【図11】本文書の一実施例に係る非正方形のＲＯＩを示す図である。

【図12】本文書の他の実施例に係る不規則形状のＲＯＩを示す図である。

【図13】本文書の一実施例に係る不規則形状を有する６４サンプルＲＯＩを示す図である。

【図14】本文書の一実施例に係る不規則形状を有する９６サンプルＲＯＩを示す図である。

【図15】本文書の一実施例に係るスーパーセットＲＯＩとサブセットＲＯＩを示す図である。

【図16】本文書の一実施例に係る変換係数のスキャン順序を示す図である。

【図17】本文書の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。

【図18】本文書の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。

【発明を実施するための形態】

【0035】

本文書は、多様な変更を加えることができ、様々な実施形態を有することができ、特定実施形態を図面に例示して詳細に説明しようとする。しかし、これは本文書を特定実施形態に限定しようとするものではない。本明細書で使用する用語は、単に特定の実施形態を説明するために使われたものであって、本文書の技術的思想を限定しようとする意図で使われるものではない。単数の表現は、コンテキスト上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたもの等の存在または付加可能性をあらかじめ排除しないと理解されなければならない。

【0036】

一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて一つの構成をなすこともでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／または分離された実施形態も、本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

【0037】

以下、添付図面を参照して、本文書の好ましい実施形態をより詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。

【0038】

この文書は、ビデオ／画像コーディングに関する。例えば、この文書に開示された方法／実施形態は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはその以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準等）と関連付けられている。

【0039】

この文書ではビデオ／映像コーディングに関する多様な実施例を提示し、他の言及がない限り、前記実施例は、互いに組み合わせられて実行されることもできる。この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。

【0040】

本明細書において、一つの図面内で個別的に説明される技術的特徴は、個別的に具現されることもでき、同時に具現されることもできる。

【0041】

図１は、本文書が適用されることができるビデオ／画像コーディングシステムの例を概略的に示す。

【0042】

図１を参照すると、ビデオ／画像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／画像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。

【0043】

前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／画像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／画像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

【0044】

ビデオソースは、ビデオ／画像のキャプチャ、合成または生成過程などを介してビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイス及び／またはビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、関連データが生成される過程にビデオ／画像キャプチャ過程が代替されることができる。

【0045】

エンコーディング装置は、入力ビデオ／画像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコーディングされたデータ（エンコーディングされたビデオ／画像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

【0046】

送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／画像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。

【0047】

デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／画像をデコーディングすることができる。

【0048】

レンダラは、デコーディングされたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介してディスプレイされることができる。

【0049】

図２は、本文書が適用されることができるビデオ／画像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、画像エンコーディング装置を含むことができる。

【0050】

図２を参照すると、エンコーディング装置２００は、画像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した画像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって一つ以上のハードウェアコンポーネント（例えば、エンコーディングチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。

【0051】

画像分割部２１０は、エンコーディング装置２００に入力された入力画像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割できる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々、前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。

【0052】

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的に、ピクセルまたはピクセルの値を示すことができる。

【0053】

減算部２３１は、入力映像信号（原本ブロック、原本サンプルまたは原本サンプルアレイ）で予測部２２０から出力された予測信号（予測されたブロック、予測サンプルまたは予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルまたはレジデュアルサンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部２３２に送信される。

【0054】

予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるかまたはインター予測が適用されるかを決定することができる。予測部は、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

【0055】

イントラ予測部２２２は、現在ピクチャ内のサンプル（参照サンプル）を参照して現在ブロックを予測することができる。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

【0056】

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。

【0057】

インター予測部２２１及び／またはイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために利用され、またはレジデュアル信号を生成するために利用されることができる。

【0058】

変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ（ＫＬＴ）またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）などを含むことができる。変換部２３２は、１次変換及び／又は２次変換を実行することができる。

【0059】

量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信し、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームで出力できる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）に基づいて、ブロック形態の量子化された変換係数を１次元ベクトル形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0060】

エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコーディング方法を実行することができる。エントロピーエンコーディング部２４０は、量子化された変換係数外にビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別途にエンコーディングすることもできる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／または格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコーディング部２４０に含まれることもできる。

【0061】

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。

【0062】

加算部２５０は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加算することによって復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルまたは復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使われることもできる。

【0063】

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0064】

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使われることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置２００とデコーディング装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

【0065】

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。 メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達できる。

【0066】

図３は、本文書が適用されることができるビデオ／画像デコーディング装置の構成を概略的に説明する図である。

【0067】

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３２及びイントラ予測部３３１を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２２を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって一つのハードウェアコンポーネント（例えば、デコーディングチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。

【0068】

ビデオ／映像情報を含むビットストリームが入力されると、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。デコーディングの処理ユニットは、例えば、コーディングユニット、予測ユニットまたは変換ユニットである。コーディングユニットから一つ以上の変換ユニットが導出されることができる。

【0069】

デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして画像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。本文書で後述されるシグナリング／受信される情報及び／またはシンタックス要素は、前記デコーディング手順を介してデコーディングされて前記ビットストリームから取得されることができる。

【0070】

逆量子化部３２１では量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列できる。この場合、前記再整列は、エンコーディング装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0071】

逆変換部３２２では変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。逆変換部３２２は、逆１次変換及び／又は逆２次変換を実行することができる

【0072】

予測部３３０は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。

【0073】

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照となるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置でき、または離隔して位置することもできる。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３２は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

【0074】

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、を含むことができる。例えば、インター予測部３３１は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

【0075】

加算部３４０は、取得されたレジデュアル信号を予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加算することによって復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するようにフィルタリングを経て出力されることもでき、または次のピクチャのインター予測のために使われることもできる。

【0076】

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0077】

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３１で参照ピクチャとして使われることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。

【0078】

本明細書において、デコーディング装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０などで説明された実施例は、各々、エンコーディング装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０などにも同一または対応されるように適用されることができる。

【0079】

図４は、本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【0080】

また、本文書が適用されるコンテンツストリーミングシステムは、大きくエンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。

【0081】

前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略され得る。前記ビットストリームは、本文書が適用されるエンコーディング方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを格納することができる。

【0082】

前記ストリーミングサーバは、ウェブサーバを介したユーザの要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体の役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。そのとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

【0083】

前記ストリーミングサーバは、メディアストレージ及び／又はエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信することになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間格納することができる。

【0084】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがあり得る。前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

【0085】

一方、イントラ予測モードは、非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｏｎａｌ、または非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと、方向性（ｄｉｒｅｃｔｉｏｎａｌ、または角度性（ａｎｇｕｌａｒ））イントラ予測モードと、を含むことができる。

【0086】

図５は、本文書の実施例が適用可能なイントラ予測モードの一例を示す。

【0087】

図５を参照すると、左上向対角予測方向を有する３４番イントラ予測モードを中心に、水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードとを区分することができる。図５のように、２番乃至３３番イントラ予測モードは水平方向性を有し、３４番乃至６６番イントラ予測モードは垂直方向性を有する。１８番イントラ予測モードと５０番イントラ予測モードは、各々、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示し、２番イントラ予測モードは左下向対角イントラ予測モード、３４番イントラ予測モードは左上向対角イントラ予測モード、６６番イントラ予測モードは右上向対角イントラ予測モードと呼ばれることができる。非方向性予測モードには０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができる。

【0088】

図６は、本文書による変換技法を概略的に示す。

【0089】

図６を参照すると、変換部は、前述した図２のエンコーディング装置内の変換部に対応し得、逆変換部は、前述した図２のエンコーディング装置内の逆変換部又は図３のデコーディング装置内の逆変換部に対応し得る。

【0090】

変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を行って、（１次）変換係数を導出することができる（Ｓ６１０）。このような１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と指称され得る。ここで、前記１次変換は、多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づき得、１次変換として多重変換が適用される場合、多重核心変換と指称され得る。

【0091】

多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／又はＤＳＴタイプ１をさらに使用して変換する方式を示すことができる。すなわち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１のうち選択された複数の変換カーネルに基づいて、空間ドメインのレジデュアル信号（又はレジデュアルブロック）を周波数ドメインの変換係数（又は１次変換係数）に変換する変換方法を示すことができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）または変換コア（ｃｏｒｅ）と呼ばれることができる。このようなＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができる。

【0092】

前記多重核心変換が実行される場合、前記変換カーネルの中から対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が実行され、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が実行されることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。

【0093】

一例によると、ＭＴＳを適用して１次変換を実行する場合、特定の基底関数を所定の値に設定し、垂直変換又は水平変換であるとき、どの基底関数が適用されるか否かを組み合わせて、変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向の変換カーネルをｔｒＴｙｐｅＨｏｒで示し、垂直方向の変換カーネルをｔｒＴｙｐｅＶｅｒで示す場合、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒの値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒの値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒの値２はＤＣＴ８に設定されることができる。

【0094】

この場合、多数の変換カーネルセットのいずれかを指示するために、ＭＴＳインデックス情報がエンコーディングされ、デコーディング装置にシグナリングされることができる。例えば、ＭＴＳインデックスが０であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値がすべて０であることを指示し、ＭＴＳインデックスが１であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値がすべて１であることを指示し、ＭＴＳインデックスが２であると、ｔｒＴｙｐｅＨｏｒの値は２であり、ｔｒＴｙｐｅＶｅｒの値は１であることを指示し、ＭＴＳインデックスが３であると、ｔｒＴｙｐｅＨｏｒの値は１であり、ｔｒＴｙｐｅＶｅｒの値は２であることを指示し、ＭＴＳインデックスが４であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値がすべて２であることを指示することができる。

【0095】

一例によって、ＭＴＳのインデックス情報による変換カーネルセットを表で示すと、次の通りである。

【0096】

【表1】

【0097】

変換部は、前記（１次）変換係数に基づいて２次変換を行って修正された（２次）変換係数を導出する（Ｓ６２０）。前記１次変換は空間ドメインから周波数ドメインへの変換であり、前記２次変換は（１次）変換係数間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を利用してより圧縮的な表現に変換することを意味する。前記２次変換は非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含む。この場合、前記２次変換は非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）又はＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれてもよい。

【0098】

前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリックス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する修正された変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリックスに基づいて前記（１次）変換係数に対して垂直変換及び水平変換を分離して（または、水平垂直変換を独立的に）適用せずに、一度に変換を適用することができる。例えば、非分離２次変換は、２次元信号（変換係数）を特定決められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向または列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を介して１次元信号に再整列した後、このような１次元ベクトルと前記非分離変換マトリックスとのマトリックス演算に基づいて修正された変換係数（または、２次変換係数）を導出することができる。

【0099】

例えば、行優先順序は、Ｍ×Ｎブロックに対して１番目の行、２番目の行、...、Ｎ番目の行の順序に一列に配置することであり、列優先順序は、Ｍ×Ｎブロックに対して１番目の列、２番目の列、...、Ｍ番目の列の順序に一列に配置することである。すなわち、非分離２次変換のために（１次変換を介して導出された）変換係数は、行優先方向によって１次元ベクトルに整列された後、マトリックス演算が実行されることもでき、列優先方向によって１次元ベクトルに整列された後、マトリックス演算が実行されることもできる。

【0100】

前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックまたは変換ブロックと呼ばれることができる）の左上端（ｔｏｐ－ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上である場合、８×８非分離２次変換が前記変換係数ブロックの左上端８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上であり、かつ、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さい場合、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。ただし、実施例は、これに限定されるものではなく、例えば、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が両方とも４以上である条件のみを満たしても、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることもできる。整理すれば、変換ブロックの大きさによって、変換ブロックの左上端４×４領域または８×８領域に非分離２次変換が適用されることができる。一例によって、左上端４×４領域に対する変換を４×４変換、左上端８×８領域に対する変換を８×８変換と命名できる。

【0101】

このとき、変換カーネル選択のために、８×８変換及び４×４変換の両方ともに対して非分離２次変換のための変換セット当たり２個ずつの非分離２次変換カーネルが構成されることができ、変換セットは４個である。すなわち、８×８変換に対して４個の変換セットが構成され、４×４変換に対して４個の変換セットが構成されることができる。この場合、８×８変換に対する４個の変換セットには各々２個ずつの８×８変換カーネルが含まれることができ、この場合、４×４変換に対する４個の変換セットには各々２個ずつの４×４変換カーネルが含まれることができる。

【0102】

但し、前記変換のサイズ、すなわち、変換が適用される領域のサイズは例示として８×８又は４×４以外のサイズが使用され得、前記セットの数はｎ個、各セット内の変換カーネルの数はｋ個であり得る。

【0103】

前記変換セットは、ＮＳＳＴセット又はＬＦＮＳＴセットと呼ばれ得る。前記変換セットのうちの特定セットの選択は、例えば、現在ブロック（ＣＵ又はサブブロック）のイントラ予測モードに基づいて実行されることができる。ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）は、後述される減少した非分離変換の一例であり得、低周波成分に対する非分離変換を示す。

【0104】

一例によって、イントラ予測モードによって、４個の変換セットのマッピング（ｍａｐｐｉｎｇ）は、例えば、次の表のように示され得る。

【0105】

【表2】

【0106】

表２のように、イントラ予測モードによって４個の変換セットのいずれか、すなわち、ｌｆｎｓｔＴｒＳｅｔＩｄｘが０から３、すなわち、４個のいずれかにマッピングされることができる

【0107】

一方、非分離変換に特定セットが使用されるものと決定されると、非分離２次変換インデックスを介して、前記特定セット内のｋ個の変換カーネルのうち一つが選択できる。エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定の変換カーネルを指す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコーディング装置にシグナリングできる。デコーディング装置は、前記非分離２次変換インデックスに基づいて、特定セット内のｋ個の変換カーネルのうち一つを選択することができる。例えば、ｌｆｎｓｔのインデックス値０は、１番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔのインデックス値１は、２番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔのインデックス値２は、３番目の非分離２次変換カーネルを指すことができる。或いは、ｌｆｎｓｔのインデックス値０は、対象ブロックに対して、１番目の非分離２次変換が適用されないことを指すことができ、ｌｆｎｓｔのインデックス値１乃至３は、前記３個の変換カーネルを指すことができる。

【0108】

変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行し、修正された（２次）変換係数を獲得することができる。前記修正された変換係数は、前述したように量子化部を介して量子化された変換係数で導出されることができ、エンコーディングされて、デコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

【0109】

一方、前述したように２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が、前述したように量子化部を介して量子化された変換係数で導出されることができ、エンコーディングされて、デコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

【0110】

逆変換部は、前述した変換部で実行された手順の逆順で一連の手順を実行することができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を実行して（１次）変換係数を導出し（Ｓ６３０）、前記（１次）変換係数に対して１次（逆）変換を実行し、レジデュアルブロック（レジデュアルサンプル）を獲得することができる（Ｓ６４０）。ここで、前記１次変換係数は、逆変換部の立場で、修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれ得る。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックとに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成できることは前述した通りである。

【0111】

逆変換部は、特定順序、例えば、対角スキャン順序によって（具体的に、変換ブロックの左上端を始めとして右下端方向に進行する対角スキャン順序）整列された（逆量子化された）変換係数に変換カーネルマトリックスを適用して修正された変換係数を導出することができる。修正された変換係数は、変換部で２次変換のために変換係数が読まれた方向、すなわち、行優先方向または列優先方向によって変換ブロックの左上端領域に２次元に配列されることができる。変換部で４×４変換が実行された場合、逆変換部は、変換ブロックの４×４領域に修正された変換係数を２次元に整列でき、変換部で８×８変換が実行された場合、逆変換部は、変換ブロックの８×８領域に修正された変換係数を２次元に整列できる。

【0112】

一方、２次逆変換は、ＮＳＳＴ、ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）またはＬＦＮＳＴであり、ビットストリームからパーシングした２次変換フラグに基づいて２次逆変換の適用可否が決定されることができる。他の一例として、２次逆変換適用可否は、レジデュアルブロックの変換係数に基づいて決定されることもできる。

【0113】

このような２次逆変換（すなわち、変換カーネル、変換マトリックスまたは変換カーネルマトリックス）は、イントラ予測モードによって指定されたＬＦＮＳＴ（ＮＳＳＴまたはＲＳＴ）変換セットに基づいて決定されることができる。また、一実施例として、１次変換決定方法に依存的に（ｄｅｐｅｎｄｏｎ）２次変換決定方法が決定されることができる。イントラ予測モードによって、１次変換と２次変換の多様な組み合わせが決定されることができる。また、一例として、現在ブロックの大きさに基づいて２次逆変換が適用される領域が決定されることもできる。

【0114】

一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信し、前記１次（分離）逆変換を実行してレジデュアルブロック（レジデュアルサンプル）を獲得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成できることは前述した通りである。

【0115】

一方、本文書では非分離２次変換に伴われる計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリックス（カーネル）の大きさが減少されたＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用することができる。また、ＲＳＴは、主に変換ブロックで０でない係数を含む低周波領域で行われるため、ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）と指称されることもできる。前記変換インデックスは、ＬＦＮＳＴインデックスと命名されることができる。

【0116】

本明細書において、ＬＦＮＳＴは、大きさが減少された変換マトリックス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて対象ブロックに対するレジデュアルサンプルに対して実行される変換を意味することができる。簡素化変換を実行する場合、変換マトリックスの大きさ減少によって変換時に要求される演算量が減少されることができる。すなわち、ＬＦＮＳＴは、大きさが大きいブロックの変換または非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）問題を解消するために利用されることができる。

【0117】

一方、２次逆変換がＬＦＮＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。

【0118】

図７は、本文書の一実施例に係るＲＳＴまたはＲＳＴが適用されたＬＦＮＳＴを説明するための図である。

【0119】

本明細書において、「対象ブロック」は、コーディングが実行される現在ブロックまたはレジデュアルブロックまたは変換ブロックを意味することができる。

【0120】

一実施例に係るＲＳＴで、Ｎ次元ベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が他の空間に位置したＲ次元ベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマッピングされて減少された変換マトリックスが決定されることができ、ここで、ＲはＮより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の二乗または変換が適用されるブロックに対応される変換係数の総個数を意味することができ、簡素化ファクターは、Ｒ／Ｎ値を意味することができる。簡素化ファクターは、減少されたファクター、減少ファクター、ｒｅｄｕｃｅｄ ｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ、ｓｉｍｐｌｅ ｆａｃｔｏｒなど、多様な用語で指称されることができる。一方、Ｒは、簡素化係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）と指称されることができるが、場合によっては簡素化ファクターがＲを意味することもできる。また、場合によって、簡素化ファクターは、Ｎ／Ｒ値を意味することもできる。

【0121】

一実施形態にかかる簡素化変換マトリックスのサイズは、通常の変換マトリックスのサイズＮ×Ｎよりも小さいＲ×Ｎであり、下記の数式１のように定義されることができる。

【0122】

【数1】

【0123】

図７の（ａ）に示すＲｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍブロック内のマトリックスＴは、数式１のマトリックスＴ_Ｒ×Ｎを意味することができる。図７の（ａ）のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリックスＴ_Ｒ×Ｎが掛けられる場合、対象ブロックに対する変換係数が導出できる。

【0124】

一実施形態において、変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（すなわち、Ｒ／Ｎ＝１６／６４＝１／４である）である場合、図７の（ａ）によるＲＳＴは、下記の数式２のような行列演算で表現され得る。この場合、メモリと掛け算演算が簡素化ファクターにより略１／４と減少し得る。

【0125】

本文書において行列演算とは、行列を列ベクトルの左側に置いて、行列と列ベクトルを掛けて列ベクトルを得る演算で理解できる。

【0126】

【数2】

【0127】

数式２において、ｒ_１乃至ｒ_６４は、対象ブロックに対するレジデュアルサンプルを示すことができ、より具体的に、１次変換を適用して生成された変換係数であり得る。数式２の演算結果、対象ブロックに対する変換係数ｃ_ｉが導出でき、ｃ_ｉの導出過程は数式３の通りである。

【0128】

【数3】

【0129】

数式３の演算結果、対象ブロックに対する変換係数ｃ_１乃至ｃ_Ｒが導出できる。すなわち、Ｒ＝１６である場合、対象ブロックに対する変換係数ｃ_１乃至ｃ_１６が導出できる。もし、ＲＳＴではなく、通常の（ｒｅｇｕｌａｒ）変換が適用されて、サイズが６４×６４（Ｎ×Ｎ）である変換マトリックスが、サイズが６４×１（Ｎ×１）であるレジデュアルサンプルに掛けられたら、対象ブロックに対する変換係数が６４個（Ｎ個）が導出されるかもしれないが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少し、エンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少するので、エンコーディング装置２００－デコーディング装置３００の間の送信効率が増加し得る。

【0130】

変換マトリックスのサイズ観点で検討すると、通常の変換マトリックスのサイズは６４×６４（Ｎ×Ｎ）であり、それに対して、簡素化変換マトリックスのサイズは１６×６４（Ｒ×Ｎ）に減少するため、通常の変換を実行する時と比較すると、ＬＦＮＳＴを実行するとき、メモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の変換マトリックスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化変換マトリックスを利用するとき、掛け算演算数をＲ／Ｎ割合で減少（Ｒ×Ｎ）させることができる。

【0131】

一実施形態において、エンコーディング装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴベースの２次変換を実行することによって、対象ブロックに対する変換係数を導出することができる。このような変換係数は、デコーディング装置３００の逆変換部に伝達されることができ、デコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて、対象ブロックに対するレジデュアルサンプルを導出することができる。

【0132】

一実施形態にかかる逆ＲＳＴマトリックスＴ_Ｎ×Ｒのサイズは、通常の逆変換マトリックスのサイズＮ×Ｎよりも小さいＮ×Ｒであり、数式１に示した簡素化変換マトリックスＴ_Ｒ×Ｎとトランスポーズ（ｔｒａｎｓｐｏｓｅ）の関係にある。

【0133】

図７の（ｂ）に示したＲｅｄｕｃｅｄ Ｉｎｖ． Ｔｒａｎｓｆｏｒｍブロック内のマトリックスＴ^ｔは、逆ＲＳＴマトリックスＴ_Ｒ×Ｎ ^Ｔを意味することができる（上付き文字Ｔはトランスポーズを意味する）。図７の（ｂ）のように、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴ_Ｒ×Ｎ ^Ｔが掛けられる場合、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルが導出できる。逆ＲＳＴマトリックスＴ_Ｒ×Ｎ ^Ｔは、（Ｔ_Ｒ×Ｎ）^Ｔ _Ｎ×Ｒと表現することもある。

【0134】

より具体的に、２次逆変換に逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴ_Ｒ×Ｎ ^Ｔが掛けられると、対象ブロックに対する修正された変換係数が導出できる。

【0135】

一方、一例によって、逆１次変換として逆ＲＳＴが適用されることができる。この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴ_Ｒ×Ｎ ^Ｔが掛けられると、対象ブロックに対するレジデュアルサンプルが導出されることができる。

【0136】

一実施例において、逆変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（すなわち、Ｒ／Ｎ＝１６／６４＝１／４である場合）である場合、図７の（ｂ）による逆ＲＳＴは、以下の数式４のような行列演算で表現されることができる。

【0137】

【数4】

【0138】

数式４において、ｃ_１乃至ｃ_１６は、対象ブロックに対する変換係数、すなわち、レジデュアルコーディングを介して導出された変換係数を示すことができる。数式４の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_ｉが導出されることができ、ｒ_ｉの導出過程は、数式５の通りである。

【0139】

【数5】

【0140】

数式５の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_１乃至ｒ_Ｎが導出されることができる。数式４において、Ｎが６４であるため、数式５を介して６４個の修正された変換係数が導出されることができる。

【0141】

逆変換マトリックスのサイズ観点で検討すると、通常の逆変換マトリックスのサイズは６４×６４（Ｎ×Ｎ）であり、それに対して、簡素化逆変換マトリックスのサイズは６４×１６（Ｎ×Ｒ）に減少するため、通常の逆変換を実行する時と比較すると、逆ＲＳＴを実行するとき、メモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の逆変換マトリックスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化逆変換マトリックスをするとき、掛け算演算数をＲ／Ｎ割合で減少（Ｎ×Ｒ）させることができる。簡素化逆変換マトリックスまたは逆変換マトリックスは、変換であるかまたは逆変換であるかが混同されない場合、簡素化変換マトリックスまたは変換マトリックスと命名されることもできる。

【0142】

一方、本文書の一実施形態にかかり、エンコーディング過程の変換で、８×８領域を構成する６４個のデータに対して、１６×６４の変換カーネルマトリックスではなく、４８個のデータのみを選択し、最大１６×４８の変換カーネルマトリックスを適用することができる。ここで、「最大」とは、ｍ個の係数を生成することができるｍ×４８の変換カーネルマトリックスに対して、ｍの最大値が１６ということを意味する。

【0143】

すなわち、８×８の領域にｍ×４８の変換カーネルマトリックス（ｍ≦１６）を適用してＲＳＴを実行する場合、４８個のデータの入力を受けて、ｍ個の係数を生成できる。ｍが１６である場合、４８個のデータの入力を受けて、１６個の係数を生成する。すなわち、４８個のデータが４８×１ベクトルをなすとしたとき、１６×４８行列と４８×１ベクトルを順序通りに掛けて、１６×１ベクトルが生成できる。このような実施例の場合、数式２の列ベクトルはｒ_１乃至ｒ_４８になり、変換マトリックスの大きさは１６×４８になり、マトリックス演算を介して１６個の修正された変換係数（ｃ_１乃至ｃ_１６）が導出される。

【0144】

このとき、８×８領域をなす４８個のデータを適切に配列して４８×１ベクトルを構成することができる。例えば、８×８領域のうち右下端４×４領域を除外した領域を構成する４８個のデータに基づいて４８×１ベクトルを構成することができる。このとき、最大１６×４８変換カーネルマトリックスを適用して行列演算を実行すると、１６個の修正された変換係数が生成され、１６個の修正された変換係数は、スキャニング順序によって左上端４×４領域に配置されることができ、右上端４×４領域と左下端４×４領域は０で満たされることができる。

【0145】

デコーディング過程の逆変換には前記叙述された変換カーネルマトリックスのトランスポーズされたマトリックスが使われることができる。すなわち、デコーディング装置で実行される逆変換過程として逆ＲＳＴまたは逆ＬＦＮＳＴが実行される場合、逆ＲＳＴを適用する入力係数データは、所定の配列順序（対角スキャニング順序）によって１次元ベクトルで構成され、１次元ベクトルに該当逆ＲＳＴ行列を左側で掛けて得られた修正された係数ベクトルを所定の配列順序によって２次元ブロックに配列されることができる。

【0146】

８×８領域にＲＳＴまたはＬＦＮＳＴが実行され、これに対する逆ＲＳＴまたは逆ＬＦＮＳＴが実行される場合、数式４の変換マトリックスの大きさは４８×１６であり、列ベクトルはｃ_１乃至ｃ_１６になり、マトリックス演算を介して４８個の修正された変換係数（ｒ_１乃至ｒ_４８）が導出される。

【0147】

整理すれば、エンコーディング装置で実行される変換過程で、８×８領域にＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち８×８領域の右下端領域を除外した左上端、右上端、左下端領域の４８個変換係数と１６×４８の変換カーネルマトリックスとの行列演算が実行される。行列演算のために４８個の変換係数は、１次元配列で入力される。このような行列演算が実行されると、１６個の修正された変換係数が導出され、修正された変換係数は、８×８領域の左上端領域に配列されることができる。

【0148】

それに対して、エンコーディング装置またはデコーディング装置で実行される逆変換過程で、８×８領域に逆ＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち８×８領域の左上端に対応する１６個の変換係数は、スキャニング順序によって１次元配列形態で入力されて４８×１６の変換カーネルマトリックスと行列演算されることができる。すなわち、このような場合の行列演算は、（４８×１６行列）＊（１６×１変換係数ベクトル）＝（４８×１修正された変換係数ベクトル）で示すことができる。ここで、ｎ×１ベクトルは、ｎ×１行列と同じ意味で解釈されることができるため、ｎ×１列ベクトルで表記されることもできる。また、＊は、行列掛け算演算を意味する。このような行列演算が実行されると、４８個の修正された変換係数が導出されることができ、４８個の修正された変換係数は、８×８領域の右下端領域を除外した左上端、右上端、左下端領域に配列されることができる。

【0149】

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使われた具体的な名称に制限されるものではない。

【0150】

以下では、前述されたＬＦＮＳＴを拡張した多様な実施例が論議される。

【0151】

実施例１：順方向ＬＦＮＳＴ（ｆｏｒｗａｒｄ ＬＦＮＳＴ）を基準で、入力データ領域を示すＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を構成する方法

【0152】

順方向ＬＦＮＳＴは、１次変換が適用された変換係数を入力で受ける。このとき、全ての変換係数を入力で受けるものでなく、変換ブロック内にあらかじめ定義された特定領域に属する変換係数を入力で受けることができる。

【0153】

図８の（ａ）は、ＶＶＣ標準での順方向ＬＦＮＳＴ入力領域の一例を示し、４×４サブブロック（ｓｕｂｂｌｏｃｋ）に対するスキャン順序上３番目の位置までを該当入力領域に設定している。以下、このような入力領域、すなわち、順方向ＬＦＮＳＴのために入力される入力変換係数の領域をＲｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ乃至ＲＯＩと命名する。

【0154】

図８の（ｂ）は、図８の（ａ）に示したＲＯＩに４×４サブブロックに対するスキャン順序上４番目から６番目のサブブロックをＲＯＩに追加したものを示している。すなわち、ＲＯＩが６個の４×４サブブロックで構成されるため、サンプルを（ここでは１次変換が適用された変換係数）基準に図８の（ｂ）のＲＯＩは、全て９６個のサンプルで構成される。ＶＶＣに使われた図８の（ａ）のＲＯＩと比較した時、図８の（ｂ）の場合、より多くの１次変換係数がＬＦＮＳＴで考慮されることができる。このような拡張されたＲＯＩに基づくＬＦＮＳＴ（ｅｘｔｅｎｄｅｄ ＬＦＮＳＴ）は、既存のＶＶＣ ＬＦＮＳＴより大きいブロック（例えば、ｌａｒｇｅｒ ｔｈａｎ ｏｒ ｅｑｕａｌ ｔｏ １６×１６）に対してより高い符号化性能を提供することができる。

【0155】

ＲＯＩに属するＮ個のサンプルに基づいて非分離変換行列を導出するようになると、該当変換行列が正方行列とした時、Ｎ×Ｎ変換行列が導出される。ここで、減少された変換のために前記図７を参照して説明されたＲを適用する場合、Ｒ値は、Ｎより小さいまたは同じであり、Ｒ値は、順方向ＬＦＮＳＴ観点ではＬＦＮＳＴを適用して導出される出力変換係数の個数と解釈されることができる。したがって、図８の（ｂ）に対応されるＬＦＮＳＴ変換カーネルの次元は、９６×９６だけでなく、１６×９６、３２×９６、４８×９６、６４×９６、８０×９６等も可能である（該当例示では１６ｍ×９６行列（ｍ≧１）と見ることができる）。このとき、出力変換係数の個数が必ず１６の倍数である場合のみが許容されるものではなく、Ｒ値は、Ｎ（すなわち、９６）より小さいまたは同じ任意の正の整数になることができる。９６×９６正方行列でＲ×９６行列を生成する時は、順方向ＬＦＮＳＴ基準に９６×９６行列でＲ個の行をサンプリングして生成できる。もし、９６×９６行列を構成する行が上から重要度順に整列された場合、上からＲ個の行を順にサンプリングしてＲ×９６行列を構成することができる。

【0156】

図８の（ａ）及び図８の（ｂ）でのＲＯＩは、各々、４８個と９６個の入力サンプル（入力変換係数または入力データ）で構成されている。ＲＯＩで入力サンプルを読む順序はあらかじめ定めておくことができるが、基本的に順序は任意に設定されることができる。より具体的に、任意のＲＯＩに適用される順方向ＬＦＮＳＴ行列をＲ×Ｎ行列とした時（すなわち、ＲＯＩは、Ｎ個の入力サンプルで構成）、たとえ、入力サンプルを読む順序を変更するとしても、Ｎ個の列ベクトルを変更された順序によって再配置すると、変更前と比較した時、出力値は入力サンプルの順序と関係なしに変更されない（出力値はＲ個の変換係数で構成される）。

【0157】

一方、特定順方向ＬＦＮＳＴ変換行列に対して（すなわち、列ベクトルを位置が固定されたとした時）ＲＯＩを構成する入力サンプルは、図９または図１０のような順序に読まれて入力ベクトルで構成されることができる。図９及び図１０は、イントラ予測モードによってＲＯＩから入力データを読む順序を示す。

【0158】

図９ａ及び図１０ａは図８の（ａ）に対応し、図９ｂ及び図１０ｂは図８の（ｂ）に対応する。もし、ＶＶＣ ＬＦＮＳＴのように、イントラ予測モードに対して３４番モードを中心とする対称性を適用する場合、図５の－１４～－１、２～３３番モードに対しては図９ａ及び図９ｂのように行優先順序を適用し、３５～８０番モードに対しては図１０ａ及び図１０ｂの列優先順序を適用することができる。プラナーモードとＤＣモードを指す０番と１番モードと３４番モードに対しては図９ａ及び図９ｂの順序をそのまま適用することもでき、モード別に図９ａ及び図９ｂまたは図１０ａ及び図１０ｂを適用することもできる。

【0159】

ＲＯＩに対する他の例示として、変換ブロックの左上端の四角形領域がＲＯＩとして設定されることができる。すなわち、Ｍ×Ｎ変換ブロックで左上端ｍ×ｎ（ｍ≦Ｍ、ｎ≦Ｎ）領域がＲＯＩとして設定されることができ、順方向ＬＦＮＳＴ観点で入力サンプル（１次変換を経た変換係数）数は、ｍ×ｎ個になる。より具体的な実施例として、ｍとｎが両方とも８であり、順方向ＬＦＮＳＴ行列の次元はＲ×６４になることができる（Ｒは６４より小さいまたは同じであり、Ｒ値の例示として１６、３２、４８、６４などが可能）。ｍｎ×ｍｎ正方行列から（例えば、６４×６４行列）Ｒ個の行を選択する方式は、前述した９６×９６でＲ×９６行列を生成する方式と同じである。

【0160】

一方、ＲＯＩは、図８のように４×４サブブロックのみで構成可能なものではない。ＶＶＣ標準で、４×４サブブロックは、ＬＦＮＳＴが適用されることができる変換ブロックに対する変換グループ（Ｃｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ、ＣＧ）に対応されることができるが、このようなＣＧが必ず４×４サブブロックであるものではない。一例によって、ＣＧは、４×４サブブロックでないあらかじめ定義された任意のｐ×ｑサブブロックになることができる。４×４サブブロックでない異なる大きさのサブブロック（ＣＧ）が適用されるとしても、サブブロック構成と関係なしに順方向ＬＦＮＳＴのＲＯＩ入力サンプルを読む順序は、図９ａ及び図９ｂまたは図１０ａ及び図１０ｂのように決められた特定順序に従うことができ、順方向ＬＦＮＳＴにより出力される変換係数は、該当ＣＧと変換係数に対するスキャン順序によって配置されることができる。

【0161】

ＲＯＩが正方形でない非正方形（ｎｏｎ－ｓｑｕａｒｅ）である場合（すなわち、左上端領域ｍ×ｎに対してｍ≠ｎ）、一つのＭ×Ｎ変換ブロックに対して対称となるイントラ予測モード間の（例えば、３４番モードを中心に対称である二つのモードであって、２４番と４４番モード）対称性を利用することができない。図１１は、本文書の一実施例に係る非正方形のＲＯＩを示す図である。図１１の（ａ）のようにＲＯＩが非正方形である場合、行優先方向に入力サンプルを読む時と列優先方向に読む時を比較した時、二つの場合に対して変換係数の位相が整列（ａｌｉｇｎ）されないため、対称性を利用することができない。このような場合、一Ｍ×Ｎブロックを置いて、二つの対称であるモードが予測方向の対称性を利用してＬＦＮＳＴカーネルを共有することはできないが、Ｍ×Ｎ変換ブロックとＮ×Ｍ変換ブロックとの間には３４番モードを中心に対称であるイントラ予測モードの対称性を活用することができる。

【0162】

例えば、図１１の（ｂ）のようにＭ×ＮブロックとＮ×ＭブロックでのＲＯＩが各々左上端ｍ×ｎ領域とｎ×ｍ領域である場合、２番モードと６６番モードに対して図１１の（ｂ）で表示された順序によって入力サンプルを読むことができる。すなわち、２番モードに対しては図１１の（ｂ）の左側順序によって入力サンプルを読み、６６番モードに対しては図１１の（ｂ）の右側順序によって入力サンプルを読むことができる。このように二つの予測モードの対称性を活用して入力サンプルを読むと、図１１の（ｂ）の二つのＲＯＩに同じＬＦＮＳＴカーネルを適用することができる。

【0163】

他の例によって、多少不規則形状を有するＲＯＩもＬＦＮＳＴに適用されることができる。図１２は、本文書の一実施例に係る不規則形状のＲＯＩを示す図である。図１２の（ａ）のように、ＲＯＩは、互いに異なる長さを有するラインで構成されることもでき、図１２の（ｂ）のように、ＲＯＩは、連続されないサンプルのセグメントで構成されることもできる。順方向ＬＦＮＳＴを適用する時は、図１２に提示されたパターンによって入力サンプルを集めて入力ベクトルを構成した後、ＬＦＮＳＴカーネルを適用することができ、逆ＬＦＮＳＴを適用する時は、該当カーネル行列を掛けて生成される出力を図１２に提示されたパターンによって配置できる。

【0164】

他の例によって、ＲＯＩは、図８のような４×４サブブロック単位または単純四角形の形状でない、ライン別に異なる長さを有し、またはライン別に複数個のセグメントで構成される等の複雑な形状を有することができる。図１３は、本文書の一実施例に係る不規則形状を有する６４サンプルＲＯＩを示す図であり、図１４は、不規則形状を有する９６サンプルＲＯＩを示す図である。

【0165】

図１３及び図１４のように、ＲＯＩは、図８と比較して図１２のように複雑な形状を有し、ＤＣ位置を中心に密集された形態で構成されることができる。図１３の（ａ）、（ｂ）、（ｃ）に示すＲＯＩは、６４個の位置（６４個のサンプル）で構成されることができ、ＲＯＩの境界がＤＣを中心に同一または類似の長さほど離隔されるように構成される。類似の方式に、図１４のように９６個の位置（９６個のサンプル）で構成されたＲＯＩで構成されることもできる。すなわち、ＲＯＩは、図１３及び図１４のように、ＤＣ位置を中心に同一または類似の長さほど離隔されている特定境界内の変換係数で構成されることができる。

【0166】

一方、ＶＶＣ標準では変換ブロック大きさによって異なるＬＦＮＳＴカーネルが適用されるように構成されている。すなわち、４×４変換ブロックまたは４×Ｎ／Ｎ×４（Ｎ≧８）変換ブロック（横長さと縦長さが両方とも４より大きいまたは同じであり、かつ横長さまたは縦長さが４である変換ブロック）に対しては左上端４×４領域に適用されることができる１６×１６行列形態を有するＬＦＮＳＴカーネルが適用される（ＬＦＮＳＴ＿４×４と命名可能）。また、横長さと縦長さが両方とも８より大きいまたは同じ変換ブロックに対しては、ＲＯＩが左上端４×４サブブロック、左上端４×４サブブロックの右側に隣接した４×４サブブロック、左上端４×４サブブロックの下側に隣接した４×４サブブロックで構成され、ＲＯＩに順方向ＬＦＮＳＴ基準に１６×４８行列形態を有するＬＦＮＳＴカーネルが適用される（ＬＦＮＳＴ＿８×８と命名可能）。

【0167】

ＬＦＮＳＴ＿４×４とＬＦＮＳＴ＿８×８は、各々、４個のセットで構成され、各セットは、２個の変換カーネルで構成され、どのようなセットに属するカーネルを適用するかはイントラ予測モードにより決定される。決定されたセットに対して２個のカーネルのうちどのようなカーネルを適用するかとＬＦＮＳＴの適用可否は、ＬＦＮＳＴインデックスをシグナリングを介して指定される。ＬＦＮＳＴインデックス値が０である場合はＬＦＮＳＴを適用せずに、１である場合は１番目のカーネルが適用され、２である場合は２番目のカーネルが適用される。

【0168】

このようにＶＶＣ標準でのＬＦＮＳＴ構造を簡略化して説明したが、その他、いくつかの例外場合も存在する。例えば、４×４変換ブロックと８×８変換ブロックに対しては各々１６×１６行列と１６×４８行列でない該当行列からサンプリングされた８×１６行列と８×４８行列が順方向ＬＦＮＳＴとして適用され、ＭＩＰ予測モードが適用される場合にはイントラ予測モードをプラナーモードと見なしてＬＦＮＳＴセットが決定される。

【0169】

前記ＬＦＮＳＴ＿４×４とＬＦＮＳＴ＿８×８は、各々、４個のＬＦＮＳＴセットで構成されているため、ＬＦＮＳＴ＿４×４やＬＦＮＳＴ＿８×８と命名されるＬＦＮＳＴセットの束は、以下、説明の便宜上ＬＦＮＳＴセットリスト（ＬＦＮＳＴ ｓｅｔ ｌｉｓｔ）で示すことができる。

【0170】

一方、本文書において、ＬＦＮＳＴ＿８×８は、横長さと縦長さが両方とも８より大きいまたは同じであり、かつ横長さまたは縦長さが８である変換ブロックに適用されるＬＦＮＳＴセットリストを示すことができ、追加的に横長さと縦長さが両方とも１６より大きいまたは同じ変換ブロックに適用されるＬＦＮＳＴセットリストをＬＦＮＳＴ＿１６×１６と命名できる。

【0171】

ＬＦＮＳＴ＿４×４、ＬＦＮＳＴ＿８×８、ＬＦＮＳＴ＿１６×１６が有することができる行列次元及びＲＯＩに対する追加的な実施例は、下記の通りである。以下の実施例において、変換行列は、順方向変換を適用する時を基準とする。

【0172】

１．ＬＦＮＳＴ＿４×４は、１６×１６行列を有することができ、ＲＯＩは、左上端４×４領域になることができる。

【0173】

２．ＬＦＮＳＴ＿８×８は、Ｒ×４８行列乃至Ｓ×６４行列を有することができ、Ｒ値として１６、３２、４８が可能であり、Ｓ値として１６、３２、４８、６４が可能である。Ｒ×４８行列に対するＲＯＩは、図８の（ａ）になることができ、Ｓ×６４行列に対するＲＯＩは、左上端８×８領域になることができる。

【0174】

３．ＬＦＮＳＴ＿１６×１６は、Ｒ×９６行列またはＳ×６４行列またはＴ×４８行列を有することができ、Ｒ値として１６、３２、４８、６４、８０、９６が可能であり、Ｓ値として１６、３２、４８、６４が可能であり、Ｔ値として１６、３２、４８が可能である。Ｒ×９６行列に対するＲＯＩは、図８の（ｂ）になることができ、Ｓ×６４行列に対するＲＯＩは、左上端８×８領域になることができ、Ｔ×４８行列に対するＲＯＩは、図８の（ａ）になることができる。

【0175】

ＬＦＮＳＴ＿４×４、ＬＦＮＳＴ＿８×８、ＬＦＮＳＴ＿１６×１６に対するアーキテクチャとして、前記１番、２番、３番で提示した行列次元とＲＯＩのどのような組み合わせも可能である。例えば、ＬＦＮＳＴ＿４×４の場合、１６×１６行列に左上端４×４領域のＲＯＩが適用され、ＬＦＮＳＴ＿８×８の場合、３２×６４行列に左上端８×８領域のＲＯＩが適用され、ＬＦＮＳＴ＿１６×１６の場合、３２×９６行列に図８の（ｂ）のようなＲＯＩが適用されることができる。

【0176】

また、ＬＦＮＳＴ＿４×４、ＬＦＮＳＴ＿８×８、ＬＦＮＳＴ＿１６×１６のうちいずれか一対でも行列次元が同じになると、該当対に対してＬＦＮＳＴセットとＬＦＮＳＴカーネルを共有することができる。例えば、ＬＦＮＳＴ＿８×８の行列次元が３２×６４であり、ＬＦＮＳＴ＿１６×１６の行列次元が３２×６４である場合、ＬＦＮＳＴ＿８×８とＬＦＮＳＴ＿１６×１６に同じＬＦＮＳＴセットリストが割り当てられることができ、ＲＯＩも同じく設定されることができる（例えば、ＲＯＩを左上端８×８領域に設定できる）。

【0177】

他の例として、ＬＦＮＳＴ＿８×８の行列次元が３２×４８であり、ＬＦＮＳＴ＿１６×１６の行列次元が３２×４８である時、ＬＦＮＳＴ＿８×８とＬＦＮＳＴ＿１６×１６に同じＬＦＮＳＴセットリストを割り当てることができ、ＲＯＩも同じく設定されることができる（例えば、ＲＯＩを図８の（ａ）のように設定できる）。

【0178】

一方、逆ＬＦＮＳＴ（ｉｎｖｅｒｓｅ ＬＦＮＳＴ）を適用する場合、Ｒ個の変換係数を入力して入力ベクトルを構成して該当入力ベクトルの左側にＮ×Ｒ行列を掛けると、Ｎ個の出力サンプル（出力変換係数）が生成される。ここで、Ｎ×Ｒ行列は、順方向ＬＦＮＳＴでのＲ×Ｎ行列の前置行列になり、Ｎ個の出力サンプルは、図８乃至図１４のＲＯＩに配置されることができる。ＲＯＩに配置される時は、イントラ予測モード値によって図９または図１０に提示された順序に従うことができる。例えば、イントラ予測モード間の対称性を活用する場合、イントラ予測モード－１４～－１、２～３３番に対しては図９の行優先順序を適用し、３５～８０番モードに対しては図１０の列優先順序を適用することができる。プラナーモードとＤＣモードを指す０番と１番モードと３４番モードに対しては、全て図９ａ及び図９ｂの順序を適用し、またはモード別に図９ａ及び図９ｂまたは図１０ａ及び図１０ｂの順序を適用することができる。

【0179】

一方、一実施例によって、大きい（スーパーセット、ｓｕｐｅｒｓｅｔ）ＲＯＩから小さい（サブセット、ｓｕｂｓｅｔ）ＲＯＩに対する変換行列を導出する方式が提案される。

【0180】

もし、ＲＯＩがＬ個の位置で構成されている時、該当ＲＯＩに対する順方向変換行列は、下記のようにＬ個の列ベクトルｖ_ｉで（ｉ＝１、２、...、Ｌ－１、Ｌ）構成され、各ｖ_ｉは、Ｒ×１ベクトルで構成されることができる。すなわち、順方向行列Ｇは、以下の数式のようにＲ×Ｌ次元行列になり、Ｒ値は、Ｌより小さいまたは同じである）。

【0181】

【数6】

【0182】

もし、サブセットであるＲＯＩがＬ個の位置のうち一部で構成されている場合、該当一部位置に対する集合をＪとし、Ｊに属する位置インデックスをｊ１、ｊ２、...、ｊＭに設定できる。すなわち、集合Ｊは、総Ｍ個の位置で構成され、該当Ｍ個の位置は、スーパーセットであるＲＯＩにも属する。このとき、サブセットであるＲＯＩに対する順方向変換行列Ｈは、以下の数式のようにｖ_ｊ１、ｖ_ｊ２、...、ｖ_ｊＭで構成されることができる。

【0183】

【数7】

【0184】

前記Ｈは、Ｒ×Ｍ行列次元を有し、Ｈから行の個数をＲより小さいまたは同じく設定したＨ′を構成する場合、順方向変換行列Ｈ′は、ｖ′_ｊ１、ｖ′_ｊ２、...、ｖ′_ｊＭで構成されることができる。ｖ′_ｊ１、ｖ′_ｊ２、...、ｖ′_ｊＭがＷ×１次元ベクトルである場合、ＷはＲより小さいまたは同じである。Ｈを構成するＲ個の行からＷ個の行を選択する時は、原則的には任意の行を選択することができるが、Ｒ個の行が重要度順序に上から下まで配置されたと仮定すると、Ｗ個の行は、Ｒ個の行のうち上からＷ個の行をサンプリングして得ることができる。

【0185】

図１５は、一実施例に係るスーパーセットＲＯＩとサブセットＲＯＩを示す図である。図１５において、ＲＯＩは、４×４サブブロック毎に（１）から（６）までの一連番号が付与されている。

【0186】

９６個の位置で構成されたスーパーセットＲＯＩを仮定すると、図１５のＲＯＩは、図８の（ｂ）と同じである。ＲＯＩにＬＦＮＳＴを適用すると、図９の（ｂ）の順序通りに入力サンプルを読んで１次元ベクトルを構成した後、順方向変換行列を掛けて出力変換係数を導出することができる。イントラ予測モードによって、図１０の（ｂ）で提示された順序によって入力ベクトルを構成することもできる。

【0187】

図１５に対応される順方向変換行列は、Ｒ×９６になることができ、Ｒ値として１６、３２、４８、６４、８０、９６などが可能である。一実施例によって、変換ブロックの大きさに対応して特定ＲＯＩを図１５のサブセットになるように構成でき、サブセットは、多様な方式で構成されることができる。変換ブロックの大きさを下記のように分類する場合、変換ブロックの形状毎に可能なＲＯＩと行列Ｇから（すなわち、Ｒ×９６変換行列から）サンプリングされた順方向変換行列は、下記のように導出されることができる。

【0188】

１．４×４変換ブロック

【0189】

ＲＯＩは、図１５の（１）番４×４サブブロックで構成されることができ、行列Ｇから（１）番４×４サブブロックに該当する１６個の位置に対する列ベクトルｖ_ｉを抽出して変換行列を構成することができる（Ｒ×１６行列）。もし、構成される変換行列の行の数がＲより小さいまたは同じ場合、該当Ｒ×１６行列から必要な行の数ほどの行が抽出されることができ、一例として、Ｒ×１６行列の最も上の行から順序通りに必要な数ほどの行が抽出されることができる。Ｒ′個ほどの行が抽出された場合、Ｒ′×１６行列を順方向変換行列で適用してＲ′個の変換係数が生成されることができる。

【0190】

２．８×４変換ブロック

【0191】

ＲＯＩは、図１５の（１）番４×４サブブロックのみで構成され、または（１）番と（２）番４×４サブブロックで構成されることができる。前記１番４×４ブロック場合と類似するように、必要な位置に対する列ベクトルをＧから抽出した後、必要な行の個数（Ｒ′）のみを抽出して順方向変換行列を構成することができる。（１）番４×４サブブロックのみでＲＯＩが構成される場合は、Ｒ′×１６行列が適用され、（１）番と（２）番４×４サブブロックで構成される場合は、Ｒ′×３２行列が適用されることができる。

【0192】

３．４×８変換ブロック

【0193】

ＲＯＩは、図１５の（１）番４×４サブブロックのみで構成され、または（１）番と（４）番４×４サブブロックで構成されることができる。前記１番４×４ブロック場合と類似するように、必要な位置に対する列ベクトルをＧから抽出した後、必要な行の個数（Ｒ′）のみを抽出して順方向変換行列を構成することができる。（１）番４×４サブブロックのみでＲＯＩが構成される場合は、Ｒ′×１６行列が適用され、（１）番と（４）番４×４サブブロックで構成される場合は、Ｒ′×３２行列が適用されることができる。

【0194】

４．Ｎ×４（Ｎ≧１６）変換ブロック

【0195】

ＲＯＩは、図１５の（１）番４×４サブブロックのみで構成され、または（１）番と（２）番４×４サブブロックで構成され、または（１）番と（２）番と（３）番４×４サブブロックで構成されることができる。前記１番４×４ブロック場合と類似するように、必要な位置に対する列ベクトルをＧから抽出した後、必要な行の個数（Ｒ′）のみを抽出して順方向変換行列を構成することができる。（１）番４×４サブブロックのみでＲＯＩが構成される場合は、Ｒ′×１６行列が適用され、（１）番と（２）番４×４サブブロックで構成される場合は、Ｒ′×３２行列が適用され、（１）番と（２）番と（３）番４×４サブブロックで構成される場合は、Ｒ′×４８行列が適用されることができる。

【0196】

５．４×Ｎ（Ｎ≧１６）変換ブロック

【0197】

ＲＯＩは、図１５の（１）番４×４サブブロックのみで構成され、または（１）番と（４）番４×４サブブロックで構成され、または（１）番と（４）番と（６）番４×４サブブロックで構成されることができる。前記１番４×４ブロック場合と類似するように、必要な位置に対する列ベクトルをＧから抽出した後、必要な行の個数（Ｒ′）のみを抽出して順方向変換行列を構成することができる。（１）番４×４サブブロックのみでＲＯＩが構成される場合は、Ｒ′×１６行列が適用され、（１）番と（４）番４×４サブブロックで構成される場合は、Ｒ′×３２行列が適用され、（１）番と（４）番と（６）番４×４サブブロックで構成される場合は、Ｒ′×４８行列が適用されることができる。

【0198】

６．８×８変換ブロック

【0199】

ＲＯＩは、図１５の（１）番４×４サブブロックのみで構成され、または（１）番と（２）番と（４）番４×４サブブロックで構成され、または（１）番と（２）番と（４）番と（５）番４×４サブブロックで構成されることができる。前記１番４×４ブロック場合と類似するように、必要な位置に対する列ベクトルをＧから抽出した後、必要な行の個数（Ｒ′）のみを抽出して順方向変換行列を構成することができる。（１）番４×４サブブロックのみでＲＯＩが構成される場合は、Ｒ′×１６行列が適用され、（１）番と（２）番と（４）番４×４サブブロックで構成される場合は、Ｒ′×４８行列が適用され、（１）番と（２）番と（４）番と（５）番４×４サブブロックで構成される場合は、Ｒ′×６４行列が適用されることができる。

【0200】

７．Ｎ×８（Ｎ≧１６）変換ブロック

【0201】

ＲＯＩは、図１５の（１）番４×４サブブロックのみで構成され、または（１）番と（２）番と（４）番４×４サブブロックで構成され、または（１）番と（２）番と（４）番と（５）番４×４サブブロックで構成され、または（１）番と（２）番と（３）番と（４）番と（５）番４×４サブブロックで構成されることができる。前記１番４×４ブロック場合と類似するように、必要な位置に対する列ベクトルをＧから抽出した後、必要な行の個数（Ｒ′）のみを抽出して順方向変換行列を構成することができる。（１）番４×４サブブロックのみでＲＯＩが構成される場合は、Ｒ′×１６行列が適用され、（１）番と（２）番と（４）番４×４サブブロックで構成される場合は、Ｒ′×４８行列が適用され、（１）番と（２）番と（４）番と（５）番４×４サブブロックで構成される場合は、Ｒ′×６４行列が適用され、（１）番と（２）番と（３）番と（４）番と（５）番４×４サブブロックで構成される場合は、Ｒ′×８０行列が適用されることができる。

【0202】

８．８×Ｎ（Ｎ≧１６）変換ブロック

【0203】

ＲＯＩは、図１５の（１）番４×４サブブロックのみを含み、または（１）番と（２）番と（４）番４×４サブブロックで構成され、または（１）番と（２）番と（４）番と（５）番４×４サブブロックで構成され、または（１）番と（２）番と（４）番と（５）番と（６）番４×４サブブロックで構成されることができる。前記１番４×４ブロック場合と類似するように、必要な位置に対する列ベクトルをＧから抽出した後、必要な行の個数（Ｒ′）のみを抽出して順方向変換行列を構成することができる。（１）番４×４サブブロックのみでＲＯＩが構成される場合は、Ｒ′×１６行列が適用され、（１）番と（２）番と（４）番４×４サブブロックで構成される場合は、Ｒ′×４８行列が適用され、（１）番と（２）番と（４）番と（５）番４×４サブブロックで構成される場合は、Ｒ′×６４行列が適用され、（１）番と（２）番と（４）番と（５）番と（６）番４×４サブブロックで構成される場合は、Ｒ′×８０行列が構成されることができる。

【0204】

９．１６×１６以上変換ブロック（すなわち、横長さと縦長さが両方とも１６より大きいまたは同じ場合）

【0205】

ＲＯＩは、図１５で提示されたＲＯＩと同じであり（すなわち、（１）番から（６）番までの４×４サブブロックで構成）、該当順方向変換行列としてＲ×９６行列になることができる。

【0206】

Ｒ値として１６、３２、４８、６４、８０、９６などが可能であり、Ｒ′値はブロック形状毎に異なることがあるが、４×４／４×Ｎ／Ｎ×４（Ｎ≧８）変換ブロックと８×８変換ブロックに対してはＲ′値が１６に設定され、残りの場合に対してはＲ′値が３２に設定されることができる。または、４×４／４×Ｎ／Ｎ×４（Ｎ≧８）変換ブロックと８×８／８×Ｎ／Ｎ×８（Ｎ≧８）変換ブロックに対してはＲ′値が１６に設定され、残りの場合に対してはＲ′値が３２に設定されることができる。他の実施例として、４×４／４×Ｎ／Ｎ×４（Ｎ≧８）変換ブロックに対してはＲ′値が１６に設定され、残りの場合に対してはＲ′値が３２に設定されることができる。

【0207】

実施例２：順方向ＬＦＮＳＴを基準で、出力データを構成する方法

【0208】

ＶＶＣ標準では変換係数に対するスキャン順序が階層的に構成される。ＣＧのスキャン順序があり、ＣＧ毎に内部のスキャン順序がある。図１６は、このような変換係数のスキャン順序を示す図である。図１６のように、スキャン順序は、左側下から右側上まで対角線方向に進行される。図１６において、小さい四角形は一つの変換係数を示し、小さい四角形内部の数字はスキャン順序を指す。

【0209】

ＣＧ単位で一回左側下から右側上までをスキャンすることを一つのスキャンラインとすると、１番目のスキャンラインは１個のＣＧで構成され、２番目と３番目のスキャンラインは各々２個と３個のＣＧで構成され、同じ方式によってＮ番目のスキャンラインも複数のＣＧで構成される。

【0210】

図８の（ａ）及び図８の（ｂ）に示すＲＯＩは、全てこのようなＣＧ単位のスキャンラインで構成されている。図８の（ａ）及び図８の（ｂ）は、各々、初めの２個と３個のスキャンラインで構成されたＲＯＩを示し、当然、ＲＯＩは、より多くのスキャンラインで構成されることもできる。

【0211】

前述したように、順方向ＬＦＮＳＴ基準での出力変換係数の個数をＲ、入力サンプルの数をＮとした時、Ｒは、Ｎより小さいまたは同じく設定されることができる。特に、図８のように、Ｒは、１６の倍数に設定されることができる（すなわち、Ｒ＝１６ｋ、ｋ≧１）。これはＬＦＮＳＴが適用される変換ブロックに対するＣＧが４×４サブブロックである場合を考慮して順方向ＬＦＮＳＴの出力変換係数の個数が一つのＣＧ内部に存在するサンプル数の倍数になるように設定したことである。したがって、Ｒを１６の倍数に設定すると、順方向ＬＦＮＳＴを適用して得られた変換係数が特定４×４サブブロックにのみ配列されるように設計できる。このような設計を介してレジデュアルコーディング（ｒｅｓｉｄｕａｌ ｃｏｄｉｎｇ）パートとＬＦＮＳＴインデックスシグナリング設計をさらに単純化させることができる。

【0212】

例えば、ＬＦＮＳＴ変換係数が存在できる領域以外の領域で変換係数がパーシングされる場合、ＬＦＮＳＴインデックスのシグナリングを省略してＬＦＮＳＴが適用されないと類推できる。ここで、ＬＦＮＳＴ変換係数が存在できる領域が４×４サブブロック単位で構成されてレジデュアルコーディングが該当４×４サブブロック単位で実行されると、ＬＦＮＳＴ変換係数が存在できる領域以外の領域で変換係数が存在するかどうかをチェックすることがさらに簡単に実行されることができる。

【0213】

他の実施例によって、ＣＧは、４×４サブブロックでない異なる形状になることができ、このような場合（例えば、ｍ×ｎブロック、ｍ≠ｎ）Ｒ値は、ｍ×ｎの倍数に設定されることができる。また、順方向ＬＦＮＳＴ出力変換係数が存在できるＣＧは、ＣＧのスキャン順序によって配置された初めのｋ個のＣＧで構成されることができる。

【0214】

基本的に、順方向ＬＦＮＳＴの出力係数は、変換係数スキャン順序によって配置されることができる。普遍的に、順方向ＬＦＮＳＴカーネルの行ベクトルは、重要度順によって上から下へ配置されるため、出力ベクトルを構成する変換係数を上から下の順序に配置するとした時（ここで、出力ベクトルは列ベクトルと仮定）、より重要な係数から順序通りに配置されることができる。通常的に、変換係数のスキャン順序は、重要な係数からスキャンすると仮定され、左上端位置で示されるＤＣ位置からスキャンしてＤＣ位置から遠ざかるほど重要度が落ちる変換係数が配置されて主に０や０に近い値を有するようになる。したがって、順方向ＬＦＮＳＴの出力変換係数は、ＤＣ位置からスキャン順序によって順序通りに配置することがコーディング性能観点で有利である。また、レジデュアルコーディングパートもＤＣ位置から遠ざかるほど０または０と近い値を有する変換係数がよく登場する時、コーディング効率が高まるように設計される場合が多い。

【0215】

一方、順方向ＬＦＮＳＴの出力変換係数を必ず固定された一つのスキャン順序によって配置する必要はない。すなわち、他の実施例によって、ＬＦＮＳＴの出力変換係数は、スキャン順序でない異なる順序によって整列されることができる。

【0216】

もし、統計的にＶＶＣ標準でのスキャン順序でない異なるスキャン順序が該当ＬＦＮＳＴ出力係数に適すると判断される場合、レジデュアルコーディング実行前にＬＦＮＳＴ適用可否があらかじめ知られた場合に対しては既存決められたスキャン順序でないＬＦＮＳＴに特化されたスキャン順序が適用されることができる。また、イントラ予測モードのようなコーディングコンテキスト（ｃｏｄｉｎｇ ｃｏｎｔｅｘｔ）によって最適のスキャン順序が変わる場合、一例によって、イントラ予測モード（または、イントラ予測モードグループ）毎に異なるスキャン順序を順方向ＬＦＮＳＴ出力変換係数に適用できる。

【0217】

実施例３：変換ブロックの大きさによって多様なＬＦＮＳＴセットリスト／ＬＦＮＳＴセット／ＬＦＮＳＴカーネルを適用する方法

【0218】

一例によると、ＶＶＣでのＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、セット当たりＬＦＮＳＴカーネル構成と違って（ここで、セット当たりＬＦＮＳＴカーネル構成は、どのようなＬＦＮＳＴセットがいくつかの候補カーネルで構成されるかなどを指す。）、変換ブロックの大きさ別にＬＦＮＳＴセットリストをさらに細分化して適用できる。

【0219】

例えば、可能な全ての変換ブロックの形状毎に（すなわち、可能なＭ×Ｎブロック毎に）異なるＬＦＮＳＴセットリストが適用されることができ、該当セットリストは、例えば、ＬＦＮＳＴ＿Ｍ×Ｎのように示すことができる。または、変換ブロック形状をグルーピング（ｇｒｏｕｐｉｎｇ）してグループ毎に該当ＬＦＮＳＴセットリストが適用されることができる。ＶＶＣ標準の場合は、変換ブロック形状によって二つのグループに分けて二種類のＬＦＮＳＴセットリスト、すなわち、ＬＦＮＳＴ＿４×４とＬＦＮＳＴ＿８×８が適用されると見ることができる。他のグルーピングの例示は、下記の通りである。

【0220】

１．変換ブロックの横長さと縦長さが両方とも１６より大きいまたは同じ場合に対して別途のグループを設定し、該当グループに適用されるＬＦＮＳＴセットリストが割り当てられることができる。ここで、ＬＦＮＳＴセットリストは、ＬＦＮＳＴ＿１６×１６と命名されることができる。ＶＶＣ標準のグルーピングと結合するようになると、（Ｇｒｏｕｐ１）４×４、４×Ｎ／Ｎ×４（Ｎ≧８）変換ブロック、（Ｇｒｏｕｐ２）８×８、８×Ｎ／Ｎ×８（Ｎ≧１６）変換ブロック、（Ｇｒｏｕｐ３）横と縦が両方とも１６より大きいまたは同じ変換ブロックのように三つのグループに分けられることができ、各グループ及び／又はグループに適用されるＬＦＮＳＴセットリストをＬＦＮＳＴ＿４×４、ＬＦＮＳＴ＿８×８、ＬＦＮＳＴ＿１６×１６と命名できる。

【0221】

２．前記１番でのグルーピングにおけるＧｒｏｕｐ１は、再び４×４変換ブロックと４×Ｎ／Ｎ×４（Ｎ≧８）とに分けられることができ、Ｇｒｏｕｐ１ＡとＧｒｏｕｐ１Ｂのように区分できる。Ｇｒｏｕｐ２も８×８変換ブロックと８×Ｎ／Ｎ×８（Ｎ≧１６）変換ブロックとに分けられることができ、Ｇｒｏｕｐ２ＡとＧｒｏｕｐ２Ｂのように区分できる。また、Ｇｒｏｕｐ３も特定基準を介してＧｒｏｕｐ３ＡとＧｒｏｕｐ３Ｂとに分けられることができる。例えば、１６×１６と１６×Ｎ／Ｎ×１６（Ｎ≧１６）変換ブロックをＧｒｏｕｐ３Ａに置いて、残りの場合をＧｒｏｕｐ３Ｂに分類できる。

【0222】

また、Ｇｒｏｕｐ１、Ｇｒｏｕｐ２、Ｇｒｏｕｐ３は、各々、前記のように細部グループに分けられることもあり、そうでないこともある。例えば、Ｇｒｏｕｐ１とＧｒｏｕｐ３のみ細部グループに分けられる場合、全体グループは、Ｇｒｏｕｐ１Ａ、Ｇｒｏｕｐ１Ｂ、Ｇｒｏｕｐ２、Ｇｒｏｕｐ３Ａ、Ｇｒｏｕｐ３Ｂのように構成されることができる。当然、Ｇｒｏｕｐ１、Ｇｒｏｕｐ２、Ｇｒｏｕｐ３が全て分けられる場合、グループは、Ｇｒｏｕｐ１Ａ、Ｇｒｏｕｐ１Ｂ、Ｇｒｏｕｐ２Ａ、Ｇｒｏｕｐ２Ｂ、Ｇｒｏｕｐ３Ａ、Ｇｒｏｕｐ３Ｂのように分類されることができる。

【0223】

前記二つの実施例だけでなく、変換ブロックの大きさを基準に多様な基準によってグルーピングを適用することができ、各グループ毎に該当ＬＦＮＳＴセットリストを付与することができる。このようなＬＦＮＳＴセットリストは、グループ毎に異なるように構成されることができる。

【0224】

例えば、ＬＦＮＳＴセットリストを構成するＬＦＮＳＴセット当たりカーネル数を異なるように設定でき（例えば、Ｇｒｏｕｐ１に対しては３個のセット当たりＬＦＮＳＴカーネル数を付与し、Ｇｒｏｕｐ２に対しては２個のセット当たりＬＦＮＳＴカーネル数を付与し、すなわち、Ｇｒｏｕｐ１に対しては３個のセット毎にセットを構成するＬＦＮＳＴカーネル数を設定し、Ｇｒｏｕｐ２に対しては２個のセット毎にセットを構成するＬＦＮＳＴカーネル数を設定する）、より詳しくは、一つのＬＦＮＳＴセットリストを構成するＬＦＮＳＴセット毎にセットを構成するカーネル数が異なるように設定されることもできる。

【0225】

または、ＬＦＮＳＴセットリスト毎に含まれるＬＦＮＳＴセットの数を異なるように設定でき、例えば、Ｇｒｏｕｐ１は１８個のＬＦＮＳＴセットで構成し、Ｇｒｏｕｐ２は１０個のＬＦＮＳＴセットで構成することができる。当然、ＬＦＮＳＴセットリストによってカーネル行列の次元が異なるように設定されることができる。ＶＶＣ標準を例に挙げると、ＬＦＮＳＴ＿４×４は１６×１６行列で構成され、ＬＦＮＳＴ＿８×８は１６×４８行列で構成される。

【0226】

より多様に、ＬＦＮＳＴセットリストを構成するＬＦＮＳＴセット毎にカーネル行列の次元が異なるように設定されることもできる。このようなＬＦＮＳＴセットリストの細部構成に対する具体的な実施例は、下記の通りである。

【0227】

１．Ｇｒｏｕｐ１（ＬＦＮＳＴ＿４×４）は１８個のＬＦＮＳＴセットで構成され、各ＬＦＮＳＴセットは３個のカーネルで構成され、該当カーネル行列の次元は１６×１６である。Ｇｒｏｕｐ２（ＬＦＮＳＴ＿８×８）は１８個のＬＦＮＳＴセットで構成され、各ＬＦＮＳＴセットは３個のカーネルで構成され、該当カーネル行列の次元は１６×４８である。Ｇｒｏｕｐ３（ＬＦＮＳＴ＿１６×１６）は１８個のＬＦＮＳＴセットで構成され、各ＬＦＮＳＴセットは３個のカーネルで構成され、該当カーネル行列の次元は３２×９６である。

【0228】

２．前記１番構成において、全てのＬＦＮＳＴセットは、３個のカーネルの代わりに２個のカーネルで構成されることができる。

【0229】

３．前記１番構成において、全てのＬＦＮＳＴセットリストは、１８個でない異なる個数のセットで構成されることができる。例えば、ＬＦＮＳＴセットリストは、１６個、１５個、１０個、６個、４個の変換セットで構成されることができる。

【0230】

４．前記１番構成において、ＬＦＮＳＴ＿８×８を構成するカーネル行列の次元は、３２×４８乃至４８×４８に設定されることができる。

【0231】

５．前記１番構成において、ＬＦＮＳＴ＿１６×１６を構成するカーネル行列の次元は、１６×９６、４８×９６、６４×９６、８０×９６、９６×９６のうち一つに設定されることができる。ここで、９６は、順方向ＬＦＮＳＴ観点でＲＯＩを構成する入力サンプル（入力変換係数）の数を示し、ＲＯＩは、図８の（ｂ）のように構成されることができる。もし、ＬＦＮＳＴ＿１６×１６に対応されるＲＯＩを図８の（ｂ）ではなく図８の（ａ）のように構成する場合、ＬＦＮＳＴ＿１６×１６を構成するカーネル行列の次元は、１６×４８、３２×４８、４８×４８のうち一つに設定されることができる。

【0232】

６．前記１番を基本とし、前記２番、３番、４番、５番が自由に組み合わせられることができる。例えば、３番を適用してＬＦＮＳＴセットの数は、１５に設定され、４番を適用してＬＦＮＳＴ＿８×８を構成するカーネル行列の次元は、３２×４８に設定されることができる。

【0233】

実施例４：ＲＯＩに複数のＬＦＮＳＴを適用する方法

【0234】

ＶＶＣ標準では左上端ＲＯＩに対して順方向ＬＦＮＳＴが一回適用される。したがって、ＶＶＣ標準で順方向ＬＦＮＳＴに対するカーネル行列次元がＲ×Ｎとした時、該当ＲＯＩ領域に属するサンプルの数はＮ個になる。

【0235】

もし、ＲＯＩに属するサンプルの数が該当カーネル行列に掛けられる入力ベクトルの次元より大きい場合、一例によって、該当ＲＯＩに対して順方向ＬＦＮＳＴを複数回適用するように構成できる。

【0236】

例えば、４×Ｎ／Ｎ×４（Ｎ≧８）変換ブロックに対してＲＯＩが左上端４×４ブロックでない４×８または８×４とした場合（４×Ｎに対しては４×８であり、Ｎ×４に対しては８×４）、該当ＲＯＩに対して二つの４×４サブブロックに分けた後、各々、ＬＦＮＳＴ＿４×４に対するカーネルを適用することができる。

【0237】

このようにＬＦＮＳＴ＿４×４に対するカーネルを二回適用して生成された出力変換係数は、（二つの出力変換係数ベクトルで構成）二つの変換係数ベクトルが順序通りに連結（ｃｏｎｃａｔｅｎａｔｅ）されて一つのベクトルで生成された後、スキャン順序によって変換ブロックのＤＣ位置から配置されることができる。または、出力変換係数は、各４×４サブブロック位置に該当するＣＧのＤＣ位置から各々配置されることができる。もし、出力変換係数ベクトルの長さが１６である場合、前記二つの方式は、同じ結果をもたらすことができる。

【0238】

または、他の例によって、４×Ｎ／Ｎ×４（Ｎ≧８）変換ブロックを全て４×４サブブロックに分けた後、全てのサブブロックにＬＦＮＳＴ＿４×４に対するカーネルを適用することができる。この場合、前記例と同じ方式に、出力変換係数は、ＤＣ位置から配置され、または各ＣＧに分けて配置されることができる。

【0239】

他の実施例として、特定ＬＦＮＳＴセットリスト及び特定ＬＦＮＳＴセットに対してはＲＯＩを分割してＬＦＮＳＴを分割されたＲＯＩ領域毎に適用し、残りのＬＦＮＳＴセットリスト及び他のＬＦＮＳＴセットに対してはＲＯＩを分割せずにＬＦＮＳＴをＲＯＩに一回のみ適用できる。例えば、ＬＦＮＳＴ＿４×４に対しては２個以上の隣接した４×４ブロックにＬＦＮＳＴが適用され、ＬＦＮＳＴ＿８×８に対しては左上端ＲＯＩに対してのみＬＦＮＳＴが適用されることができる。

【0240】

他の例示として、横と縦が両方とも１６より大きいまたは同じ変換ブロックに対してＲＯＩを左上端１６×１６領域に置いて、該当ＲＯＩを４個の８×８ブロックに分けることができる。各８×８ブロックに対して、８×８ブロックを構成する左上端、右上端、左下端４×４サブブロック内の変換係数で順方向ＬＦＮＳＴの入力ベクトルを構成した後、各々ＬＦＮＳＴ＿８×８に対するカーネルを（例えば、１６×４８／３２×４８行列）適用することができる。各８×８ブロックに対して順方向ＬＦＮＳＴを適用して生成された出力変換係数ベクトルは、決められた順序によって連結（ｃｏｎｃａｔｅｎａｔｅ）されてスキャン順序によって配置され、または各８×８ブロック毎に内部の左上端位置からスキャン順序によって配置されることができる。

【0241】

また、前述したように、ＣＧ単位でＲＯＩが設定されることができ、ＲＯＩに属するサンプルの数が順方向ＬＦＮＳＴカーネルを適用する入力ベクトルの次元より大きい。この場合、一例によって該当ＲＯＩが分割され、分割された領域毎に特定ＬＦＮＳＴが適用されることができる。すなわち、分割された領域毎に特定変換カーネルが適用されることができる。

【0242】

例えば、図８の（ｂ）において、１番目のスキャンラインと２番目のスキャンラインで構成された３個の４×４サブブロックに対しては１６×４８乃至３２×４８の次元を有する一つのカーネル行列（どのようなＬＦＮＳＴセットに属するカーネル行列になることができる）が適用されることができ、３番目のスキャンラインで構成された３個の４×４サブブロックに対しては異なるカーネル行列（この場合も１６×４８乃至３２×４８の次元を有することができる）が適用されることができる。

【0243】

もちろん、二つの分割された領域に対して同じカーネル行列が適用されることもでき、二つの領域に対しては異なるＬＦＮＳＴセットが割り当てられることで全く異なるカーネル行列が適用されることもできる。二つの領域を介して生成された変換係数は、前述した方式と同一または類似するようにチェーンのように連結されて（ｃｏｎｃａｔｅｎａｔｅ）ＲＯＩのＤＣ位置から配置され、または分割された領域でスキャン順序上最も優先位置から各々配置することもできる。

【0244】

実施例５：ＬＦＮＳＴと１次変換の組み合わせ

【0245】

ＶＶＣ標準では１次変換として水平方向と垂直方向に両方ともＤＣＴ－２が適用される場合にのみＬＦＮＳＴが適用されることができる。以下、水平方向と垂直方向に対して各々Ａ、Ｂ変換が適用される場合は、（Ａ、Ｂ）のように表記する。例えば、水平方向と垂直方向に両方ともＤＣＴ－２が適用される場合は、（ＤＣＴ－２、ＤＣＴ－２）で表記できる。

【0246】

本文書の一実施例によって、前記（ＤＣＴ－２、ＤＣＴ－２）場合以外に異なる１次変換が適用される場合にも、変換ブロックにＬＦＮＳＴが適用されることができる。すなわち、（ＤＣＴ－２、ＤＣＴ－２）場合以外に異なる１次変換が適用される場合にも、ＬＦＮＳＴが適用されるように映像情報が構成されることができる。

【0247】

現在ＶＶＣ標準では（ＤＣＴ－２、ＤＣＴ－２）以外にもＤＳＴ－７とＤＣＴ－８の組み合わせである（ＤＳＴ－７、ＤＳＴ－７）、（ＤＣＴ－８、ＤＳＴ－７）、（ＤＳＴ－７、ＤＣＴ－８）、（ＤＣＴ－８、ＤＣＴ－８）が１次変換として適用されることができる。一例によって、全てのＤＳＴ－７とＤＣＴ－８組み合わせによる１次変換が適用された変換ブロックにもＬＦＮＳＴが適用されることができる。

【0248】

他の実施例として、全てのＤＳＴ－７とＤＣＴ－８組み合わせでない一部組み合わせに対してのみＬＦＮＳＴが適用されるように映像情報が構成されることができる。例えば、ＤＳＴ－７とＤＣＴ－８の組み合わせのうち最も頻度数が高い（ＤＳＴ－７、ＤＳＴ－７）に対してのみＬＦＮＳＴが適用されることができる。

【0249】

他の実施例として、イントラ予測モードによってＬＦＮＳＴが適用される１次変換の構成を異なるように設定できる。例えば、プラナーモードとＤＣモードに対しては（ＤＣＴ－２、ＤＣＴ－２）以外に（ＤＳＴ－７、ＤＳＴ－７）にのみＬＦＮＳＴが適用されることができるように許容し、水平方向モードに対しては（ＤＣＴ－２、ＤＣＴ－２）以外に（ＤＳＴ－７、ＤＣＴ－７）と（ＤＳＴ－７、ＤＣＴ－８）にのみＬＦＮＳＴが適用されることができるように許容することができる。

【0250】

ＶＶＣ標準では明示的（ｅｘｐｌｉｃｉｔ）ＭＴＳ以外に暗黙的（ｉｍｐｌｉｃｉｔ）ＭＴＳが適用されることができる。暗黙的ＭＴＳが適用される場合、横と縦の長さが４以上であり、かつ１６以下である場合に対してＤＳＴ－７が適用されることができるため、可能な１次変換の組み合わせでＤＣＴ－８は存在せずにＤＣＴ－２とＤＳＴ－７の組み合わせのみが可能である。一例によって、暗黙的ＭＴＳで可能な（ＤＣＴ－２、ＤＣＴ－２）、（ＤＳＴ－７、ＤＣＴ－２）、（ＤＣＴ－２、ＤＳＴ－７）、（ＤＳＴ－７、ＤＳＴ－７）のうち、（ＤＣＴ－２、ＤＣＴ－２）と（ＤＳＴ－７、ＤＳＴ－７）に対してのみＬＦＮＳＴが適用されるように許容することができる。または、前記全ての四つの組み合わせに対してＬＦＮＳＴが適用されることができるように映像情報が構成されることができる。

【0251】

ＶＶＣ標準ではＬＦＮＳＴインデックスに対するシグナリングを先に実行した後にＭＴＳインデックスをシグナリングするため、暗黙的に１次変換が決定される場合を除いてＬＦＮＳＴインデックスをシグナリングする時にどのような１次変換が適用されるかを知ることができない。

【0252】

ＶＶＣ標準のシグナリング順序によると、ＬＦＮＳＴインデックスは、ＭＴＳと関係なしにシグナリングされ、ＬＦＮＳＴインデックスシグナリング後にＭＴＳインデックスがシグナリングされる。ＬＦＮＳＴが特定の１次変換に対してのみ適用されて変換インデックスに対するＶＶＣ標準のシグナリング順序に従う場合、ＬＦＮＳＴの適用可否によって許容可能な１次変換候補がＭＴＳインデックスにより指定されることができる。すなわち、１次変換候補がＬＦＮＳＴ適用可否によって構成されることができる。

【0253】

例えば、ＬＦＮＳＴが（ＤＣＴ－２、ＤＣＴ－２）と（ＤＳＴ－７、ＤＳＴ－７）に対してのみ適用される場合、ＭＴＳインデックスは一つのビン（ｂｉｎ）で構成されることができ、その値が０である場合は（ＤＣＴ－２、ＤＣＴ－２）を指し、その値が１である場合は（ＤＳＴ－７、ＤＳＴ－７）を特定することができる。

【0254】

もし、ＭＴＳインデックスを先にシグナリングするように映像情報が構成される場合、どのような１次変換が適用されるかをＬＦＮＳＴインデックスシグナリング前に知ることができる。このような場合、ＬＦＮＳＴインデックスシグナリング可否を１次変換とコーディングコンテキスト（ｃｏｄｉｎｇ ｃｏｎｔｅｘｔ、例えば、イントラ予測モード）等を介して決定し、ＬＦＮＳＴインデックスのシグナリングが必要な場合にのみＬＦＮＳＴインデックスがシグナリングされるように映像情報が構成されることができる。

【0255】

一例によって、ＶＶＣ標準でサポートする１次変換以外に異なる１次変換もＬＦＮＳＴと組み合わせられることができる。ＬＦＮＳＴと組み合わせが可能な他の１次変換は、下記の通りである。

【0256】

１．ＶＶＣ標準でサポートするＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８以外に異なるサイン（ｓｉｎｅ）変換またはコサイン（ｃｏｓｉｎｅ）変換が可能である。参考までに、サイン変換とコサイン変換は、各々、八つの種類がある（すなわち、ＤＳＴ－１～ＤＳＴ－８、ＤＣＴ－１～ＤＣＴ－８）。

【0257】

２．サイン変換とコサイン変換でなく任意の変換が可能である。例えば、トレーニング（ｔｒａｉｎｉｎｇ）を介して得たＫａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ（ＫＬＴ）が可能であり、ＫＬＴは、非分離変換形態で適用されることもでき、分離変換形態で適用されることもできる。

【0258】

Ｍ×Ｎ変換ブロックに対してＫＬＴが非分離変換形態で適用されると、該当ＫＬＴは、正方行列の場合、ＭＮ×ＭＮ形態を有するようになる。順方向のＫＬＴの場合、ＭＮ個より少ない数の変換基底ベクトル（ｔｒａｎｓｆｏｒｍ ｂａｓｉｓ ｖｅｃｔｏｒ）のみを適用してＭＮ個より少ない数の出力変換係数を得ようとする場合、Ｒ×ＭＮ（Ｒ≦ＭＮ）次元形態を有する行列が変換に使われることができる。

【0259】

また、非分離変換形態のＫＬＴがＭ×Ｎブロックに適用されると、Ｎ個の行に対して各々異なるＭ×Ｍ変換が適用されることもでき、Ｍ個の列に対して各々異なるＮ×Ｎ変換が適用されることもできる。

【0260】

ＫＬＴが分離変換形態で適用されると、水平方向と垂直方向に別途の変換を適用することができる。例えば、Ｍ×Ｎ変換ブロックに分離変換形態のＫＬＴを適用する場合、水平方向にはＭ×Ｍ変換を適用し（ここでも類似するようにＭ個より少ない数の出力変換係数を得るためにＲ×Ｍ（Ｒ≦Ｍ）変換を適用することができる）、垂直方向にはＮ×Ｎ変換を適用することができる（ここでも類似するようにＮ個より少ない数の出力変換係数を得るためにＳ×Ｎ（Ｓ≦Ｍ）変換を適用することができる）。

【0261】

より具体的に、順方向ＫＬＴを基準とした時、水平方向にＭ×Ｍ変換をＮ個の行に対して適用した後、垂直方向にＮ×Ｎ変換をＭ個の列に対して適用すると、Ｍ×Ｎ出力変換係数ブロックが導出されることができる。

【0262】

それに対して、垂直方向から変換を適用した後、水平方向に変換を適用することも可能である。また、計算量及びメモリ要求量のような複雑度を減らすために、前述したようにより少ない数の出力変換係数が導出されることができる。このためにＭ×Ｍ変換とＮ×Ｎ変換の代わりに各々Ｒ×Ｍ変換とＳ×Ｎ変換を適用すると、結果的にＲ×Ｓ出力変換係数ブロックが導出されることができる。

【0263】

非分離変換形態のＫＬＴの場合は、ブロック形状（Ｍ×Ｎ）毎に異なるＫＬＴが適用されることができ、分離変換形態のＫＬＴの場合は、変換係数の長さ毎に異なるＫＬＴが適用されることができる。すなわち、長さ２、４、８、１６、３２、６４、１２８等によって異なるＫＬＴが適用されることができる。

【0264】

イントラ予測コーディングブロックの場合、イントラ予測モードまたは適用されるコーディングツールによって異なる統計的特徴を有するレジデュアルデータが生成されることができる。したがって、イントラ予測モードまたはコーディングツール（例えば、ＭＩＰ、ＩＳＰ、ＭＲＬ）によって異なるＫＬＴを適用することができる。すなわち、イントラ予測モードまたはコーディングツールに対する統計的特性によって相関性を最もよく除去できる（ｄｅｃｏｒｒｅｌａｔｅ）最適のＫＬＴを変換に活用できる。イントラ予測モード毎に異なるＫＬＴを適用する場合、メモリ要求量を多く占めることができるため、イントラ予測モードグループ別に（例えば、０番と１番、２番から１０番）異なるＫＬＴを適用することができ、これを介して必要なＫＬＴの数を減らすこともできる。

【0265】

３．ＶＶＣ標準では長さ６４まで（変換ブロック一辺の長さが６４以下である場合）１次変換が適用可能であり、ＤＣＴ－２でないＤＳＴ－７とＤＣＴ－８に対しては長さ３２まで（変換ブロック一辺の長さが３２以下である場合）１次変換が適用可能である。ＶＶＣ標準以外の今後標準ではより大きい、かつ多様な長さの１次変換が適用されることができる。例えば、ＤＣＴ－２が長さ６４より大きい１２８と２５６まで適用されることができ、ＤＳＴ－７とＤＣＴ－８が長さ３２まででない長さ６４以上に対しても（例えば、６４、１２８、２５６）適用されることができる。

【0266】

４．ＬＦＮＳＴと組み合わせられることができる１次変換として、垂直方向または水平方向に変換スキップが適用される場合も可能である。より具体的に、変換スキップをＴＳで表記し、変換スキップでない変換（例えば、サイン変換、コサイン変換、ＫＬＴ）をＮｏｎ－ＴＳで表記する時、（Ｎｏｎ－ＴＳ、ＴＳ）または（ＴＳ、Ｎｏｎ－ＴＳ）がＬＦＮＳＴと組み合わせられることができる。ＬＦＮＳＴと組み合わせることができる他の１次変換の例としても（ＴＳ、ＴＳ）可能であり、該当場合は１次変換を省略してＬＦＮＳＴを直接適用する場合と見なされることができる。

【0267】

また、一例によって、ＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネル別に１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）との組み合わせを異なるように構成できる。

【0268】

例えば、特定大きさの変換ブロックまたは特定大きさ以上の変換ブロック（例えば、横と縦が両方とも１６より大きいまたは同じ変換ブロック）に対しては特定１次変換に対してのみ（例えば、（ＤＣＴ－２、ＤＣＴ－２）に対してのみ）ＬＦＮＳＴが適用されることができるように映像情報が構成されることができる。他の例によって、特定ブロック形状を有する変換ブロックに対しては（例えば、横長さが８未満であり、または縦長さが８未満である変換ブロック）ＤＣＴ－２以外の異なる１次変換（例えば、ＤＳＴ－７とＤＣＴ－８の組み合わせ）に対してもＬＦＮＳＴが適用されることができるように映像情報が構成されることができる。

【0269】

前記例を一般化すると、変換ブロックの形状（Ｍ×Ｎ）毎にＬＦＮＳＴと組み合わせ可能な１次変換のリストが各々異なるように構成されることができる。

【0270】

例えば、４×４変換ブロックに対する組み合わせ可能な１次変換リストは、（ＤＣＴ－２、ＤＣＴ－２）と（ＤＳＴ－７、ＤＳＴ－７）であり、８×１６変換ブロックに対する組み合わせ可能な１次変換リストは、（ＤＣＴ－２、ＤＣＴ－２）と分離変換形態のＫＬＴになることができる。

【0271】

ＬＦＮＳＴインデックスがＭＴＳインデックスより先にシグナリングされる場合、ＬＦＮＳＴインデックスを介してＬＦＮＳＴ適用可否が先に把握され、その後、現在の変換ブロック大きさを共に考慮してＭＴＳインデックスのシグナリング可否が決定されることができる。ここで、ＭＴＳインデックスがシグナリングされない場合、（ＤＣＴ－２、ＤＣＴ－２）がデフォルトで適用されると見なされることができる。

【0272】

一方、ＭＴＳインデックスがＬＦＮＳＴインデックスより先にシグナリングされる場合にはＭＴＳインデックスを介してどのような１次変換が適用されるかが把握され、もちろん、ＭＴＳインデックスと関係なしに適用される１次変換が暗黙的に決定される場合もある。その後、現在の変換ブロック大きさを共に考慮してＬＦＮＳＴインデックスのシグナリング可否が決定されることができる。ここで、ＬＦＮＳＴインデックスがシグナリングされない場合、ＬＦＮＳＴが適用されないと見なされることができる。

【0273】

または、他の例によって、１次変換によって異なるＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネルが適用されることができる。

【0274】

例えば、（ＤＳＴ－７、ＤＳＴ－７）に対してＬＦＮＳＴが適用可能である場合、（ＤＳＴ－７、ＤＣＴ－７）に特化されたＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネルを別途にトレーニングして既存ＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネルでないトレーニングを介して導出されたＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネルを適用することができる。

【0275】

一方、前記例のようにブロック形状によって、ＬＦＮＳＴセットリストは、ＬＦＮＳＴ＿４×４、ＬＦＮＳＴ＿８×８、ＬＦＮＳＴ＿１６×１６にグルーピングされることができる。これと類似するように、（ＤＳＴ－７、ＤＳＴ－７）と組み合わせられることができる別途のＬＦＮＳＴセットリストもグルーピングされることができ、該当ＬＦＮＳＴセットリストは、ＬＦＮＳＴ＿ＤＳＴ７＿４×４、ＬＦＮＳＴ＿ＤＳＴ７＿８×８、ＬＦＮＳＴ＿ＤＳＴ７＿１６×１６のように命名できる。このとき、ＬＦＮＳＴ＿ＤＳＴ７＿４×４、ＬＦＮＳＴ＿ＤＳＴ７＿８×８、ＬＦＮＳＴ＿ＤＳＴ７＿１６×１６は、ＬＦＮＳＴ＿４×４、ＬＦＮＳＴ＿８×８、ＬＦＮＳＴ＿１６×１６と比較した時、ＬＦＮＳＴセットの数、セット当たりＬＦＮＳＴカーネル数、カーネルの次元などが各々異なるように構成されることができる。より一般化して１次変換または１次変換グループ毎に異なるＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネルが適用されると、該当ＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネルの構成は各々異なることがある。

【0276】

実施例６：分離可能なＬＦＮＳＴ適用

【0277】

一例によって、１次変換のようにＬＦＮＳＴを分離変換形態で適用できる。すなわち、ＲＯＩに対して水平方向と垂直方向に各々ＬＦＮＳＴを適用することができる。

【0278】

例えば、ＲＯＩが変換ブロックの左上端Ｐ×Ｑブロックとした時、順方向ＬＦＮＳＴ基準に先に水平方向にＰ×Ｐ変換行列をＱ個の行に適用した後、垂直方向にＱ×Ｑ変換行列をＰ個の列に適用できる。ＬＦＮＳＴの形態と適用方式のみが異なり（すなわち、水平方向変換と垂直方向変換で構成）、ＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、セット当たりＬＦＮＳＴカーネル数などの構成は、前述した非分離変換形態のＬＦＮＳＴと同じ方式に構成されることができる。また、ブロック大きさ（Ｍ×Ｎ）毎に異なるＲＯＩが設定されることもできる。

【0279】

また、非分離変換形態のＬＦＮＳＴを適用する時、ライン（ｌｉｎｅ、変換係数の行または列）毎に同じＬＦＮＳＴカーネルが適用されることもでき、各々異なるＬＦＮＳＴカーネルが適用されることもできる。より一般化すると、ライン毎に各々異なるＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネルが適用されることができる。もちろん、イントラ予測モード（または、モードグループ）乃至コーディングツール別に異なるＬＦＮＳＴセットが適用されることもできる。

【0280】

一例によって、分離変換形態のＬＦＮＳＴは、ラインの長さによって（すなわち、４、８、１６、３２、６４、１２８等）分類されることができる。非分離変換形態のＬＦＮＳＴは、前述したようにブロック形状によってグルーピングでき（例えば、ＬＦＮＳＴ＿４×４、ＬＦＮＳＴ＿８×８、ＬＦＮＳＴ＿１６×１６）、分離変換形態のＬＦＮＳＴは、ラインの長さによってグルーピングできる。

【0281】

また、非分離変換形態のＬＦＮＳＴは、２次元領域形態でＲＯＩが設定されたが、分離変換形態のＬＦＮＳＴは、一ラインの部分集合（例えば、左側乃至上側から長さＮほどのセグメント（ｓｅｇｍｅｎｔ））がＲＯＩとして設定されることができる。例えば、長さ４に対しては長さ４の上側セグメントまたは左側セグメントがＲＯＩとして設定されることができ、長さ８、１６に対しては長さ８の上側セグメントまたは左側セグメントがＲＯＩとして設定されることができ、長さ３２以上に対しては長さ１６の上側セグメントまたは左側セグメントがＲＯＩとして設定されることができる。

【0282】

ＬＦＮＳＴセットリストを分ける方式もライン長さを基準に分類できる。例えば、ライン長さ毎にＬＦＮＳＴセットリストが設定されることもでき（ＬＦＮＳＴ＿４、ＬＦＮＳＴ＿８、ＬＦＮＳＴ＿１６等）、ライン長さを基準にグルーピングしてＬＦＮＳＴセットリストが設定されることもできる。前記例に対してはＲＯＩが長さ４、長さ８、長さ１６、長さ３２以上に設定された各場合を各々グループに設定し、該当グループ毎にＬＦＮＳＴセットリストが設定されることができる（ＬＦＮＳＴ＿４、ＬＦＮＳＴ＿８、ＬＦＮＳＴ＿３２と命名可能）。各ＬＦＮＳＴセットリスト毎にＬＦＮＳＴセットやＬＦＮＳＴカーネルに対する構成などが個別的に設定されることができる。

【0283】

分離可能ＬＦＮＳＴに対する他の実施例として、水平方向または垂直方向のうちいずれか一つの方向に対してのみＬＦＮＳＴが適用されることができる。水平方向と垂直方向のうち一つの方向に対して１次変換（変換スキップ（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）でない変換、例えば、ｓｉｎｅ変換、コサイン変換、ＫＬＴ）が適用された場合、該当方向に対してのみＬＦＮＳＴが適用されることができる

【0284】

実施例７：インター予測にＬＦＮＳＴを適用する方法

【0285】

一例によって、イントラ予測モードだけでなく、インター予測により生成されたレジデュアルデータに対しても１次変換適用以後ＬＦＮＳＴが適用されることができる。

【0286】

インター予測モードが適用される場合、適用されるインター予測モードに関係なしに同じＬＦＮＳＴセットリスト乃至ＬＦＮＳＴセットが適用されることもでき、適用されるインター予測コーディングツール別に（例えば、ＶＶＣのＣＩＩＰ、ＧＰＭ等）異なるＬＦＮＳＴセットリスト、異なるＬＦＮＳＴセット、異なるＬＦＮＳＴカーネルが適用されることも可能である。

【0287】

一つのＬＦＮＳＴセットリストが複数個のＬＦＮＳＴセットで構成されているため、インター予測モードである時、特定基準によって複数個のＬＦＮＳＴセットの中からどのようなセットを選択するかを決定することができる。前記特定基準に現在適用されるインター予測コーディングツールのコーディングモード情報（例えば、ＧＰＭでのパーティション情報）などになることができる。

【0288】

また、一例によって、インター予測モードが適用される多くの場合、動きベクトルが存在するため、動きベクトル情報をＬＦＮＳＴセット選択乃至ＬＦＮＳＴカーネル選択に活用できる。例えば、動きベクトルのｘ成分とｙ成分の符号によってＬＦＮＳＴセット乃至ＬＦＮＳＴカーネルを選択することができる。より具体的に、ｘ成分とｙ成分の符号が全て＋である場合は、１番目の「ＬＦＮＳＴセット及びＬＦＮＳＴカーネル」が選択され、ｘ成分が＋であり、かつｙ成分の符号が－である場合は、２番目の「ＬＦＮＳＴセット及びＬＦＮＳＴカーネル」が選択されることができる。

【0289】

もし、ＬＦＮＳＴセットが複数個のＬＦＮＳＴカーネルで構成された場合、ＬＦＮＳＴセットは、前記特定基準を適用して選択されることができる。そして、イントラ予測モードに適用されたように、ＬＦＮＳＴインデックスをシグナリングすることで、選択されたＬＦＮＳＴセットを構成するＬＦＮＳＴカーネルのうちどのようなＬＦＮＳＴカーネルを適用するかを指定することができる。

【0290】

一例によって、インター予測モードの場合にはイントラ予測モードと異なるＲＯＩが設定されることができる。インター予測モードの場合、１次変換を適用した時、０でない変換係数が一般的にイントラ予測モードより少なく発生する。インター予測モードに対してはＲＯＩをイントラ予測モードより小さく設定することができる。例えば、ブロック形状及び大きさと関係なしにＲＯＩを常に左上端４×４領域に設定できる。

【0291】

一例によって、インター予測モードに適用されるＬＦＮＳＴも、イントラ予測モードのようにブロック形状及び大きさを基準にグルーピングされ、グループ毎にＬＦＮＳＴセットリストを異なるように構成できる。例えば、イントラ予測モードと類似の方式にＬＦＮＳＴをグルーピングしてＬＦＮＳＴ＿４×４、ＬＦＮＳＴ＿８×８、ＬＦＮＳＴ＿１６×１６をＬＦＮＳＴセットリストに設定し、ＬＦＮＳＴセットリスト毎にＬＦＮＳＴセット、セット当たりＬＦＮＳＴカーネル数、ＬＦＮＳＴカーネルの行列次元などを異なるように設定できる。

【0292】

一例によって、順方向ＬＦＮＳＴを基準とした時、インター予測モードである場合、ＬＦＮＳＴ出力変換係数の個数をイントラ予測モードより小さく設定できる。例えば、インター予測モードに対するＬＦＮＳＴ＿４×４の場合、順方向ＬＦＮＳＴ基準に１６×１６変換行列の代わりに８×１６変換行列を適用して出力変換係数の個数を減らすことができる。ＬＦＮＳＴセットリスト（ＬＦＮＳＴ＿４×４、ＬＦＮＳＴ＿８×８、ＬＦＮＳＴ＿１６×１６）によってＬＦＮＳＴ出力変換係数の数を異なるように設定でき、出力変換係数の数とＲＯＩによって該当ＬＦＮＳＴカーネル行列の次元が決定されることができる。

【0293】

また、一例によってインター予測モードに適用されるＬＦＮＳＴの場合、ＶＶＣ標準のＬＦＮＳＴのように、ＲＯＩ外部に存在する変換係数は（該当変換係数は、ＬＦＮＳＴが適用されない１次変換のみを介して求められた変換係数である）、全てゼロアウトされることもあり、ゼロアウトされないこともある。

【0294】

ＶＶＣ標準ではインター予測モードが適用される時、コーディングブロックの分割されたサブブロックに変換を適用するＳＢＴ（ｓｕｂｂｌｏｃｋ ｔｒａｎｓｆｏｒｍ）が適用されることができる。ＳＢＴが適用される場合、全体レジデュアルブロックの一部（すなわち、半分または１／４）に対してのみレジデュアルデータを残し、残りはゼロアウト（ｚｅｒｏ－ｏｕｔ）されたと見なされる。したがって、レジデュアルデータが残されたパーティションブロックに対してのみ１次変換が適用されることができるため、ＬＦＮＳＴも該当パーティションブロックに対してのみ適用されることができる。

【0295】

実施例８：ブロック大きさ及び変換係数パターンによってＬＦＮＳＴ適用条件を変更する方法

【0296】

ＶＶＣ標準では一つのコーディングブロックを構成する変換ブロックに対して、一つの変換ブロックのみでもＤＣ位置でない位置に０でない変換係数が存在する場合にのみＬＦＮＳＴが適用されることができるように制限している（但し、例外場合として、ＩＳＰモードが適用される場合には前記制限条件が適用されない）。すなわち、少なくとも一つの変換ブロックにＤＣ位置でない位置に０でない変換係数が存在する場合にのみＬＦＮＳＴが適用されることができる。

【0297】

一例によって、前記条件は、ＬＦＮＳＴセットリストによって異なるように適用されることもでき、変形された形態で適用されることもできる。関連した実施例を羅列してみると、下記の通りである。

【0298】

１．４×Ｎ／Ｎ×４（Ｎ≧４）変換ブロックに対してはＶＶＣ標準と同じくＤＣ位置以外の位置に０でない変換係数が存在する場合にのみＬＦＮＳＴが適用されるように構成できる。それ以外の変換ブロック（すなわち、横長さと縦長さが両方とも８より大きいまたは同じ変換ブロック）に対してはＤＣ位置から始めてＮ番目までの（Ｎ≧２）位置以外の位置に０でない変換係数が存在する場合にのみＬＦＮＳＴが適用されるように構成できる。

【0299】

より一般化してどのような特定領域でない領域、または特定領域に０でない変換係数が存在するかどうかによってＬＦＮＳＴが適用されるように制限できる。例えば、特定領域は、左上端Ｐ×Ｑ領域であり（例えば、Ｐ＝Ｑ＝２）、または左上端Ｐ×Ｑ領域でない領域になることができる。または、特定領域は、前記例示のようにスキャン順序基準にＤＣ位置からＮ番目の位置までの領域であり、またはＮ番目の位置以後の領域である。

【0300】

２．ＬＦＮＳＴセットリストによって１番で説明した特定領域は、変わることができ、１番で提示した例は、このような構成に対する一つの実施例であると見ることができる。

【0301】

ＬＦＮＳＴセットリストがＬＦＮＳＴ＿４×４、ＬＦＮＳＴ＿８×８、ＬＦＮＳＴ＿１６×１６で構成される場合、ＬＦＮＳＴ＿４×４に対しては１番で提示した特定領域が左上端１×１領域またはＤＣ位置からの１番目の位置までの領域になることができ、ＬＦＮＳＴ＿８×８に対しては特定領域が左上端２×２領域またはＤＣ位置からの２番目の位置までの領域になることができる。ＬＦＮＳＴ＿１６×１６に対しては特定領域が２×２領域またはＤＣ位置からの３番目の位置までの領域になることができる。

【0302】

３．１番で提示した特定領域は、任意の形状を有する領域であり、または特定位置の集合で構成された領域になることができる。例えば、スキャン順序を基準とした時、該当集合は、１番目、３番目、５番目のスキャン順序位置で構成されることができる。

【0303】

または、一例によって、変数ｘによって導出される関数値（ｙ＝ｆ（ｘ））によってＬＦＮＳＴカーネルを選択することができる。特定位置に存在する（例えば、スキャン順序によって８番目まで存在する）変換係数に対して０でない値が存在するかどうかを示すベクトルまたは変換係数のベクトル（または、絶対値ベクトル）を変数ｘに設定できる。このようなｘを入力して任意の関数ｙ＝ｆ（ｘ）を通過させた後、ｙ値によってＬＦＮＳＴを適用するかどうかまたはどのようなＬＦＮＳＴカーネルが選択されるかなどが決定されることができる。

【0304】

ここで、ｆ（ｘ）は、ベクトルｘを構成する成分（ｅｌｅｍｅｎｔ）に対する線形組み合わせになることができる。例えば、ｆ（ｘ）＝ｗ^Ｔｘにおけるベクトルｗは、線形組み合わせに対する加重値（ｗｅｉｇｈｔ）のベクトルまたはアフィン（ａｆｆｉｎｅ）関数（すなわち、線形組み合わせにバイアス（ｂｉａｓ）が加えられた形態）である。

【0305】

ｙ値によってＬＦＮＳＴ適用可否などを決定することができる。例えば、ｙ値がある閾値より小さい場合、ＬＦＮＳＴが適用されずに（適用され）、該当閾値値より大きい場合、ＬＦＮＳＴが適用されるように（適用されないように）設定されることができる。また、閾値と比較して小さいかまたは大きいかによって候補ＬＦＮＳＴカーネルの中から一つが選択されるように設定されることもできる。

【0306】

実施例９：カラー成分（Ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）によるＬＦＮＳＴ適用方法

【0307】

ＶＶＣ標準ではコーディングユニットのツリータイプがシングルツリー（ｓｉｎｇｌｅ ｔｒｅｅ）である時は、ルマ成分に対してのみＬＦＮＳＴが適用され、分離ツリー（ｓｅｐａｒａｔｅ ｔｒｅｅ）、すなわち、デュアルツリー（ｄｕａｌ ｔｒｅｅ）である場合、ルマ成分に対する分離ツリー（デュアルツリールマ）である時は、ルマ成分にＬＦＮＳＴが適用され、クロマ成分に対する分離ツリー（デュアルツリークロマ）である時は、クロマ成分にＬＦＮＳＴが適用される。

【0308】

ＶＶＣ標準とは違って一実施例によると、ＬＦＮＳＴをルマ成分にのみ適用できる。ルマ成分にのみＬＦＮＳＴを適用すると、シングルツリーではＶＶＣ標準のようにルマ成分に対してのみＬＦＮＳＴを適用し、クロマ成分にはＬＦＮＳＴを適用しないため、ＬＦＮＳＴインデックスは、ルマ成分に適用されたＬＦＮＳＴカーネルのみを指示するようになる。ルマ成分にのみＬＦＮＳＴが適用される場合、クロマ成分に対する分離ツリーである時は、ＬＦＮＳＴが適用されないため、ＬＦＮＳＴインデックスもシグナリングされない（ＬＦＮＳＴインデックスがシグナリングされない場合、デフォルトでＬＦＮＳＴが適用されないと仮定されることができる）。

【0309】

または、他の実施例によって、ＶＶＣ標準とは違ってシングルツリーである時、ルマ成分とクロマ成分の両方ともにＬＦＮＳＴが適用されることができる。この場合、二つの方法で具現可能である。すなわち、１）一つのＬＦＮＳＴインデックスをシグナリングすることで、ルマ成分とクロマ成分の両方ともに対して該当ＬＦＮＳＴカーネルを選択することができるように映像情報を構成し、２）ルマ成分とクロマ成分に対して個別的なＬＦＮＳＴインデックスがシグナリングされるように映像情報を構成することで、各成分に最も適したＬＦＮＳＴカーネルが選択されるようにすることができる。

【0310】

シングルツリーである時、ルマ成分とクロマ成分に対して個別的にＬＦＮＳＴインデックスがシグナリングされるように映像情報が構成される場合、ルマ成分とクロマ成分に対するＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネルを異なるように構成できる。

【0311】

シングルツリーである時、ルマ成分とクロマ成分に対するＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネルが各々異なるように設定されており、一つのＬＦＮＳＴインデックスをシグナリングしてルマ成分とクロマ成分に対するＬＦＮＳＴカーネルを選択する場合、シグナリングされる一つのＬＦＮＳＴインデックスにより指定されるルマ成分とクロマ成分に対するＬＦＮＳＴカーネルは、各々異なるＬＦＮＳＴセットリスト、ＬＦＮＳＴセットから選択されるため、異なることがある。

【0312】

一方、ＶＶＣ標準ではルマ成分とクロマ成分に対して同じＬＦＮＳＴセットリストを適用している。

【0313】

一実施例によると、ＶＶＣ標準とは違ってルマ成分とクロマ成分に対して異なるＬＦＮＳＴセットリスト、異なるＬＦＮＳＴセット、異なるＬＦＮＳＴカーネルが適用されることができる。または、一実施例によって、全てのカラー成分に対しても異なるＬＦＮＳＴセットリスト、異なるＬＦＮＳＴセット、異なるＬＦＮＳＴカーネルを適用することもできる。例えばＹ、Ｃｂ、Ｃｒに各々異なるＬＦＮＳＴセットリストが適用されることができる。また、異なるカラーフォーマットが適用される場合（例えば、ＹＵＶ４：２：２、ＹＵＶ４：４：４、ＲＧＢ４：４：４）、該当するカラーフォーマットに対して各々異なるＬＦＮＳＴセットリスト、異なるＬＦＮＳＴセット、異なるＬＦＮＳＴカーネルが適用されることができる。より具体的な例示として、ＲＧＢ４：４：４フォーマットである場合、Ｒ成分、Ｇ成分、Ｂ成分に対して各々異なるＬＦＮＳＴセットリスト、異なるＬＦＮＳＴセット、異なるＬＦＮＳＴカーネルが適用されることができる。もちろん、三つの成分に対して同じＬＦＮＳＴセットリスト、ＬＦＮＳＴセット、ＬＦＮＳＴカーネルを適用するように構成することもできる。

【0314】

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使われた具体的な名称に制限されるものではない。

【0315】

図１７は、本文書の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。

【0316】

図１７に開示された各ステップは、図５乃至図１６で詳述された内容のうち一部に基づいたものである。したがって、図３、図５乃至図１６で詳述された内容と重複する具体的な内容は、説明を省略し、または簡単にする。

【0317】

一実施例に係るデコーディング装置３００は、ビットストリームから対象ブロックに対するレジデュアル情報を受信することができる（Ｓ１７１０）。対象ブロックは、コーディングまたは変換の対象となるコーディングブロックまたは変換ブロックである。

【0318】

デコーディング装置は、レジデュアル情報から量子化された変換係数に対する情報を取得することができ、映像デコーディングのための多様な情報を受信することができる。より具体的に、デコーディング装置３００は、ビットストリームから対象ブロックに対する量子化された変換係数に関する情報をデコーディングすることができ、対象ブロックに対する量子化された変換係数に関する情報に基づいて対象ブロックに対する量子化された変換係数を導出することができる。

【0319】

また、対象ブロックに適用されるＬＦＮＳＴに対する情報も受信されることができ、ＬＦＮＳＴに対する情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）またはスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）に含まれることができる。このような情報は、ＬＦＮＳＴが適用されるかどうかに対する情報、ＬＦＮＳＴを適用する最小変換サイズに対する情報、ＬＦＮＳＴを適用する最大変換サイズに対する情報、変換セットに含まれている変換カーネルのうちいずれか一つを指示する変換インデックスに対する情報のうち少なくとも一つを含むことができる。

【0320】

一実施例に係るデコーディング装置３００は、レジデュアル情報に基づいて対象ブロックに対する変換係数を導出することができる（Ｓ１７２０）。デコーディング装置は、対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出することができる。

【0321】

導出された変換係数は、４×４サブブロック単位で逆方向対角スキャン順序によって配列されることができ、４×４サブブロック内の変換係数も逆方向対角スキャン順序によって配列されることができる。すなわち、逆量子化が実行された変換係数は、ＶＶＣやＨＥＶＣのようなビデオコーデックで適用されている逆方向スキャン順序によって配置されることができる。

【0322】

一実施例に係るデコーディング装置３００は、変換係数に対する逆２次変換に基づいて修正された変換係数を導出することができる（Ｓ１７３０）。

【0323】

本文書による場合、逆２次変換は、ＬＦＮＳＴ、すなわち、ＲＳＴが反映された非分離２次変換を含むことができ、逆２次変換は、ＬＦＮＳＴカーネルに基づいて実行されることができ、ＬＦＮＳＴカーネルは、列の個数が行の個数より少ない非正方形マトリックスでありうる。

【0324】

修正された変換係数を導出するステップは、順方向対角スキャニング順序によって変換係数を整列して入力アレイを導出するステップと、入力アレイと変換カーネルのマトリックス演算を介して入力される変換係数より多い個数の修正された変換係数を導出するステップと、修正された変換係数を出力領域に配列するステップと、を含むことができる。

【0325】

本文書による場合、既存のＶＶＣ標準とは違って、１６×１６より大きい変換ブロックの左上端１６×１６領域にＬＦＮＳＴが適用されることができる。一例として、左上端１６×１６内の６個の４×４サブブロックからなる９６個のサンプルに対する領域にＬＦＮＳＴが適用されることができる。すなわち、対象ブロックの左上端１６×１６領域に属する一部変換係数、すなわち、入力アレイに基づいて変換係数より多い個数の修正された変換係数を導出することができる。一例によって、デコーディング装置は、対象ブロックの左上端領域のＲ個の変換係数に基づいてＬ個（４８<Ｌ≦９６）の修正された変換係数を導出することができ、導出されたＬ個（４８<Ｌ≦９６）の修正された変換係数は、所定の出力領域に配列されることができる。Ｒは、Ｌより小さい。

【0326】

入力アレイを構成する入力変換係数の個数Ｒ及び出力領域に配列される出力変換係数の個数Ｌは、変換カーネルの次元によって変更されることができる。一例によって、Ｒは１６、３２、４８、８０などになり、Ｌは６４または９６になることができる。

【0327】

一例によって、入力アレイは、対象ブロックのＤＣ位置から順方向対角スキャニング順序に配列されることができる４×４サブブロック単位で整列され、４×４サブブロック内の順方向対角スキャニング順序によって整列されることができる。したがって、入力アレイを構成する変換係数の個数であるＲは、４×４サブブロック内の変換係数の個数である１６の倍数に設定されることができる。

【0328】

出力領域は、エンコーディング装置で２次変換を実行するために入力された入力変換係数の領域を意味するため、デコーディング装置で逆２次変換を実行する場合、出力変換係数が配列される領域を意味することができる。出力領域は、前述された図面を参考して説明されたＲＯＩに対応されることができる。

【0329】

一例によって、出力領域は、図８乃至図１０のように対象ブロックのＤＣ位置からスキャニング順序によって配列されることができる複数の４×４サブブロックで構成されることができる。また、出力領域は、対象ブロックのＤＣ位置から所定の順序によって配列されることができる複数のｐ×ｑサブブロックで構成されることができる。または、出力領域は、対象ブロックの左上端ｍ×ｎブロック（ｍ≦Ｍ、ｎ≦Ｎ）であり、図１１のように非正方形形態を有することもできる。

【0330】

または、他の例によって、出力領域は、四角形態でないより複雑でかつ不規則的な形状であり、例えば、対象ブロックのＤＣ位置から同じ距離に離隔されているラインで構成された扇形領域を含むこともできる。変換係数は、ＤＣ位置を中心に密集されている確率が高いため、出力領域は、ＤＣ位置から一定の距離に離隔されている変換係数の集合に設定されることができる。

【0331】

修正された変換係数は、対象ブロックのイントラ予測モードによって行優先方向または列優先方向のうちいずれか一つの順序に基づいて出力領域に配列されることができる。対象ブロックに適用されることができるイントラ予測モードが６５個の方向性モードのうちいずれか一つであり、イントラ予測モードが左上端対角線方向のイントラ予測モード３４番モードを中心に対称であり、対象ブロックに適用されるイントラ予測モードがイントラ予測モード３４番モードを基準に左側方向の２番乃至前記３４番モードである場合、修正された変換係数は、行優先方向順序によって出力領域に２次元配列されることができる。もし、対象ブロックに適用されるイントラ予測モードがイントラ予測モード３４番モードを基準に右側方向の３５番乃至前記６６番モードである場合、修正された変換係数は、列優先方向順序によって２次元配列されることができる。また、対象ブロックに適用されるイントラ予測モードがプラナーモードまたはＤＣモードである場合、修正された変換係数は、行優先方向順序によって出力領域に２次元配列されることができる。

【0332】

一方、修正された変換係数を導出するステップは、変換のための変換カーネルを導出するステップを含むことができ、変換カーネルは、対象ブロックに適用されるイントラ予測モードに基づいて導出される変換セットに基づいて導出されることができる。

【0333】

変換セットは、表２のようにイントラ予測モードとのマッピング関係に基づいて複数個が存在し、一つの変換セットは、複数の変換カーネルで構成されることができる。変換セットを構成する変換カーネルのうちいずれかをＬＦＮＳＴに適用するかは、変換インデックスから指示されることができる。

【0334】

一方、対象ブロックの大きさに基づいて逆２次変換の大きさが設定されることができ、このような逆２次変換の大きさに基づいて変換セットの個数、変換セットを構成する変換カーネルの個数及び変換カーネルの次元のうち少なくとも一つが導出されることができる。

【0335】

対象ブロックの横及び縦の長さが両方とも４より大きいまたは同じであり、横または縦の長さが４であることに基づいて、逆２次変換の大きさは、第１の値に設定されることができる。例えば、第１の値は２に設定されることができる。逆２次変換の大きさが２であることは、対象ブロックの左上端４×４領域にＬＦＮＳＴが適用されることであり、前述されたＬＦＮＳＴ＿４×４に対応されることができる。

【0336】

または、対象ブロックの横及び縦の長さが両方とも８より大きいまたは同じであり、横または縦の長さが８であることに基づいて、逆２次変換の大きさは、第２の値に設定されることができる。例えば、第２の値は３に設定されることができる。逆２次変換の大きさが３であることは、対象ブロックの左上端８×８領域にＬＦＮＳＴが適用されることであり、前述されたＬＦＮＳＴ＿８×８に対応されることができる。

【0337】

または、対象ブロックの横及び縦の長さが両方とも１６より大きいまたは同じであることに基づいて、逆２次変換の大きさは、第３の値に設定されることができる。例えば、第３の値は４に設定されることができる。逆２次変換の大きさが４であることは、対象ブロックの左上端１６×１６領域にＬＦＮＳＴが適用されることであり、前述されたＬＦＮＳＴ＿１６×１６に対応されることができる。

【0338】

逆２次変換の大きさ、すなわち、ＬＦＮＳＴが適用される大きさによるグルーピングに基づいて対象ブロックに適用される変換セットの個数、変換セットを構成する変換カーネルの個数及び変換カーネルの次元のうち少なくとも一つが導出されることができる。すなわち、変換セットの個数、変換セットを構成する変換カーネルの個数及び変換カーネルの次元などは、逆２次変換の大きさまたは対象ブロックの大きさに対応して多様に設定及び構成されることができる。

【0339】

例えば、逆２次変換の大きさが２であることに基づいて、変換カーネルの次元は、１６×１６に設定されることができる。また、逆２次変換の大きさが３であることに基づいて、変換カーネルの次元は、４８×Ｒまたは６４×Ｓに設定されることができ、このとき、Ｒは１６、３２、４８のうちいずれか一つに設定され、Ｓは１６、３２、４８、６４のうちいずれか一つに設定されることができる。また、逆２次変換の大きさが４であることに基づいて、変換カーネルの次元は、９６×Ｒ、６４×Ｓまたは４８×Ｔのうちいずれか一つに設定され、Ｒは１６、３２、４８、６４、８０、９６のうちいずれか一つに設定され、Ｓは１６、３２、４８、６４のうちいずれか一つに設定され、Ｔは１６、３２、４８のうちいずれか一つに設定されることができる。

【0340】

一方、一例によって、ＤＣ位置以外の領域（特定領域）に変換係数が存在する場合のみＬＦＮＳＴが実行される条件で、特定領域は、既存ＶＶＣ標準と異なるように設定されることができる。特定領域は、逆２次変換の大きさまたは対象ブロックの大きさによって多様な領域に設定されることができる。

【0341】

一方、一例によって、対象ブロックのツリータイプがシングルツリーであることに基づいて、対象ブロックのルマ成分及びクロマ成分に逆２次変換、すなわち、ＬＦＮＳＴが実行されることができる。または、他の例によって、対象ブロックのツリータイプがデュアルツリーである場合、クロマブロックにはＬＦＮＳＴが実行されない。

【0342】

Ｓ１７３０を参照すると、対象ブロックに対する変換係数に対するＬＦＮＳＴに基づいて対象ブロックに対するレジデュアルサンプルが導出されることを確認することができる。逆変換マトリックスのサイズ観点で検討すると、通常の逆変換マトリックスのサイズはＮ×Ｎであり、ＬＦＮＳＴカーネルのサイズはＮ×Ｒに減少するため、通常の変換を実行する時と比較すると、ＬＦＮＳＴを実行するとき、メモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の逆変換マトリックスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、ＬＦＮＳＴカーネルをする場合、掛け算演算数をＲ／Ｎ割合で減少（Ｎ×Ｒ）させることができる。併せて、ＬＦＮＳＴを適用する時、Ｒ個の変換係数のみをデコーディングすればよいため、通常の逆変換が適用される時、Ｎ個の変換係数をデコーディングしなければならないことと比較すると、対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してコーディング効率が増加できる。整理すれば、Ｓ１７３０によると、ＬＦＮＳＴを介してデコーディング装置３００の（逆）変換効率及びコーディング効率が増加できる。

【0343】

一実施例に係るデコーディング装置３００は、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１７４０）。

【0344】

デコーディング装置３００は、対象ブロックに対する修正された変換係数に対して逆１次変換を実行することができ、このとき、逆１次変換は、簡素化逆変換が適用されることもでき、通常的な分離変換が使われることもできる。

【0345】

一実施例によって、逆１次変換としてＤＳＴ－７、ＤＣＴ－８またはＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）などが適用された対象ブロックにもＬＦＮＳＴが適用されることができる。

【0346】

または、一例によって、水平方向変換または垂直方向変換に変換スキップが適用された対象ブロックにもＬＦＮＳＴが適用されることができる。

【0347】

逆１次変換に適用される変換カーネル（ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８等）または変換カーネルの組み合わせによって、変換セットの個数、変換セットを構成する変換カーネルの個数及び変換カーネルの次元などに対する多様な組み合わせ設計が可能である。

【0348】

一実施例に係るデコーディング装置３００は、対象ブロックに対するレジデュアルサンプル及び対象ブロックに対する予測サンプルに基づいて復元ピクチャを生成することができる（Ｓ１７５０）。

【0349】

本文書の一例による場合、イントラ予測だけでなく、インター予測に基づいて予測サンプルが導出された対象ブロックにもＬＦＮＳＴが適用されることができる。動き情報、動きベクトルの特徴などによって、変換セット、変換カーネルなどが多様に設計されることができる。

【0350】

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使われた具体的な名称に制限されるものではない。

【0351】

図１８は、本文書の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。

【0352】

図１８に開示された各ステップは、図５乃至図１６で詳述された内容のうち一部に基づいたものである。したがって、図２及び図５乃至図１６で詳述された内容と重複する具体的な内容は、説明を省略し、または簡単にする。

【0353】

一実施例に係るエンコーディング装置２００は、対象ブロックに適用される予測モードに基づいて予測サンプルを導出することができる（Ｓ１８１０）。

【0354】

本文書の一例による場合、イントラ予測だけでなく、インター予測に基づいて予測サンプルが導出された対象ブロックにもＬＦＮＳＴが適用されることができる。動き情報、動きベクトルの特徴などによって、後述される変換セット、変換カーネルなどが多様に設計されることができる。

【0355】

一実施例に係るエンコーディング装置２００は、予測サンプルに基づいて対象ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１８２０）。

【0356】

一実施例に係るエンコーディング装置２００は、レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出することができる（Ｓ１８３０）。

【0357】

１次変換は、複数の変換カーネルを介して実行されることができ、この場合、イントラ予測モードに基づいて変換カーネルが選択されることができる。

【0358】

１次変換は、簡素化逆変換が適用されることもでき、通常的な分離変換が使われることもできる。

【0359】

１次変換としてＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８またはＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）などが適用されることができ、本文書の一実施例によって、１次変換としてＤＣＴ－２でないＤＳＴ－７、ＤＣＴ－８またはＫＬＴなどが適用された対象ブロックにもＬＦＮＳＴが適用されることができる。

【0360】

または、一例によって、水平方向変換または垂直方向変換に変換スキップが適用された対象ブロックにもＬＦＮＳＴが適用されることができる。

【0361】

１次変換に適用される変換カーネル（ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８等）または変換カーネルの組み合わせによって、ＬＦＮＳＴに適用される変換セットの個数、変換セットを構成する変換カーネルの個数及び変換カーネルの次元などに対する多様な組み合わせ設計が可能である。

【0362】

一実施例に係るエンコーディング装置２００は、変換係数に対する２次変換に基づいて対象ブロックに対する修正された変換係数を導出することができる（Ｓ１８４０）。

【0363】

本文書による場合、２次変換は、ＬＦＮＳＴ、すなわち、ＲＳＴが反映された非分離２次変換を含むことができ、２次変換は、ＬＦＮＳＴカーネルに基づいて実行されることができ、ＬＦＮＳＴカーネルは、行の個数が列の個数より少ない非正方形マトリックスである。

【0364】

本文書による場合、既存のＶＶＣ標準とは違って、１６×１６より大きい変換ブロックの左上端１６×１６領域にＬＦＮＳＴが適用されることができる。一例として、左上端１６×１６内の６個の４×４サブブロックからなる９６個のサンプルに対する領域にＬＦＮＳＴが適用されることができる。すなわち、対象ブロックの左上端１６×１６領域に属する一部変換係数に基づいて変換係数より少ない個数の修正された変換係数を導出することができる。一例によって、エンコーディング装置は、対象ブロックの大きさがＭ×Ｎ（Ｍ≧１６、Ｎ≧１６）であることに基づいて、対象ブロックの左上端領域のＬ個（４８<Ｌ≦９６）の変換係数に基づいてＲ個の修正された変換係数を導出することができる。導出されたＲ個の修正された変換係数は、所定のスキャニング順序によって出力アレイで導出されることができる。Ｒは、Ｌより小さい。

【0365】

エンコーディング装置で２次変換の対象となる入力変換係数の領域を意味する入力領域は、デコーディング方法で説明された出力領域及び前述された図面を参考して説明されたＲＯＩに対応されることができる。したがって、ＲＯＩに対する重複した説明は省略する。

【0366】

入力領域に配列される入力変換係数の個数Ｌ及びマトリックス演算を介して導出された修正された変換係数の個数Ｒは、変換カーネルの次元によって変更されることができる。一例によって、Ｒは１６、３２、４８、８０などになり、Ｌは６４または９６になることができる。

【0367】

一例によって、修正された変換係数は、対象ブロックのＤＣ位置から順方向対角スキャニング順序に配列されることができる４×４サブブロック単位で整列され、４×４サブブロック内の順方向対角スキャニング順序によって整列されることができる。したがって、修正された変換係数の個数であるＲは、４×４サブブロック内の変換係数の個数である１６の倍数に設定されることができる。

【0368】

修正された変換係数を導出するステップは、変換のための変換カーネルを導出するステップを含むことができ、変換カーネルは、対象ブロックに適用されるイントラ予測モードに基づいて導出される変換セットに基づいて導出されることができる。

【0369】

変換セットは、表２のようにイントラ予測モードとのマッピング関係に基づいて複数個が存在し、一つの変換セットは、複数の変換カーネルで構成されることができる。変換セットを構成する変換カーネルのうちいずれかをＬＦＮＳＴに適用するかは、変換インデックスでエンコーディングされることができる。

【0370】

一方、対象ブロックの大きさに基づいて２次変換の大きさが設定されることができ、このような２次変換の大きさに基づいて、変換セットの個数、変換セットを構成する変換カーネルの個数及び変換カーネルの次元のうち少なくとも一つが導出されることができる。

【0371】

対象ブロックの横及び縦の長さが両方とも４より大きいまたは同じであり、横または縦の長さが４であることに基づいて、２次変換の大きさは、第１の値に設定されることができる。例えば、第１の値は２に設定されることができる。２次変換の大きさが２であることは、対象ブロックの左上端４×４領域にＬＦＮＳＴが適用されることであって、前述されたＬＦＮＳＴ＿４×４に対応されることができる。

【0372】

または、対象ブロックの横及び縦の長さが両方とも８より大きいまたは同じであり、横または縦の長さが８であることに基づいて、２次変換の大きさは、第２の値に設定されることができる。例えば、第２の値は３に設定されることができる。２次変換の大きさが３であることは、対象ブロックの左上端８×８領域にＬＦＮＳＴが適用されることであって、前述されたＬＦＮＳＴ＿８×８に対応されることができる。

【0373】

または、対象ブロックの横及び縦の長さが両方とも１６より大きいまたは同じであることに基づいて、２次変換の大きさは、第３の値に設定されることができる。例えば、第３の値は４に設定されることができる。２次変換の大きさが４であることは、対象ブロックの左上端１６×１６領域にＬＦＮＳＴが適用されることであって、前述されたＬＦＮＳＴ＿１６×１６に対応されることができる。

【0374】

２次変換の大きさ、すなわち、ＬＦＮＳＴが適用される大きさによるグルーピングに基づいて、対象ブロックに適用される変換セットの個数、変換セットを構成する変換カーネルの個数及び変換カーネルの次元のうち少なくとも一つが導出されることができる。すなわち、変換セットの個数、変換セットを構成する変換カーネルの個数及び変換カーネルの次元などは、２次変換の大きさまたは対象ブロックの大きさに対応して多様に設定及び構成されることができる。

【0375】

例えば、２次変換の大きさが２であることに基づいて、変換カーネルの次元は１６×１６に設定されることができる。また、２次変換の大きさが３であることに基づいて、変換カーネルの次元はＲ×４８またはＳ×６４に設定されることができ、このとき、Ｒは１６、３２、４８のうちいずれか一つに設定され、Ｓは１６、３２、４８、６４のうちいずれか一つに設定されることができる。また、２次変換の大きさが４であることに基づいて、変換カーネルの次元はＲ×９６、Ｓ×６４またはＴ×４８のうちいずれか一つに設定され、Ｒは１６、３２、４８、６４、８０、９６のうちいずれか一つに設定され、Ｓは１６、３２、４８、６４のうちいずれか一つに設定され、Ｔは１６、３２、４８のうちいずれか一つに設定されることができる。

【0376】

一方、一例によって、ＤＣ位置以外の領域（特定領域）に変換係数が存在する場合のみＬＦＮＳＴが実行される条件で、特定領域は、既存ＶＶＣ標準と異なるように設定されることができる。特定領域は、逆２次変換の大きさまたは対象ブロックの大きさによって多様な領域に設定されることができる。

【0377】

一方、一例によって、対象ブロックのツリータイプがシングルツリーであることに基づいて、対象ブロックのルマ成分及びクロマ成分に２次変換、すなわち、ＬＦＮＳＴが実行されることができる。または、他の例によって、対象ブロックのツリータイプがデュアルツリーである場合、クロマブロックにはＬＦＮＳＴが実行されない。

【0378】

Ｓ１８４０を参照すると、レジデュアルサンプルに対するＬＦＮＳＴに基づいて対象ブロックに対する変換係数が導出されることを確認することができる。変換カーネルマトリックスのサイズ観点で検討すると、通常の変換カーネルマトリックスのサイズはＮ×Ｎであり、ＬＦＮＳＴカーネルのサイズはＲ×Ｎに減少するため、通常の変換を実行する時と比較すると、ＬＦＮＳＴを実行するとき、メモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の変換カーネルマトリックスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、ＬＦＮＳＴカーネルをする場合、掛け算演算数をＲ／Ｎ割合で減少（Ｒ×Ｎ）させることができる。併せて、ＬＦＮＳＴが適用される時、Ｒ個の変換係数のみが導出されるため、通常の変換が適用される時、Ｎ個の変換係数が導出されることと比較すると、対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少し、エンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少できる。整理すれば、Ｓ１８４０によると、ＲＳＴを介してエンコーディング装置２００の変換効率及びコーディング効率が増加できる。

【0379】

一実施例に係るエンコーディング装置２００は、対象ブロックに対するレジデュアル情報を含む映像情報をエンコーディングすることができる（Ｓ１８５０）。

【0380】

エンコーディング装置は、修正された変換係数に基づいて量子化を実行して量子化された変換係数を導出し、量子化された変換係数に関するレジデュアル情報を生成及びエンコーディングできる。レジデュアル情報は、前述した変換関連情報／シンタックス要素を含むことができる。エンコーディング装置は、レジデュアル情報を含む映像／ビデオ情報をエンコーディングしてビットストリーム形態で出力できる。

【0381】

また、エンコーディング装置は、対象ブロックに適用されたＬＦＮＳＴに対する情報もエンコーディングでき、ＬＦＮＳＴに対する情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）またはスライスヘッダ（ｓｌｉｃｅｈｅａｄｅｒ）に含まれることができる。このような情報は、ＬＦＮＳＴが適用されるかどうかに対する情報、ＬＦＮＳＴを適用する最小変換サイズに対する情報、ＬＦＮＳＴを適用する最大変換サイズに対する情報、変換セットに含まれている変換カーネルのうちいずれか一つを指示する変換インデックスに対する情報のうち少なくとも一つを含むことができる。

【0382】

本文書において、量子化／逆量子化及び／又は変換／逆変換のうち少なくとも一つは省略されることができる。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれることができる。前記変換／逆変換が省略される場合、前記変換係数は、係数またはレジデュアルサンプルと呼ばれることもでき、または表現の統一性のために変換係数と依然として呼ばれることもできる。

【0383】

また、本文書において、量子化された変換係数及び変換係数は、それぞれ変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と指称され得る。この場合、レジデュアル情報は、変換係数に関する情報を含むことができ、前記変換係数に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（又は前記変換係数に関する情報）に基づいて変換係数が導出でき、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出できる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいて、レジデュアルサンプルが導出できる。これは、本文書の別の部分でも同様に適用／表現できる。

【0384】

前述した実施例において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本文書は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、別のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本文書の範囲に影響を与えずに削除され得ることを理解することができる。

【0385】

前述した本文書に係る方法は、ソフトウェアの形態で具現されることができ、本文書に係るエンコード装置及び／又はデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の画像処理を行う装置に含まれ得る。

【0386】

本文書において、実施例がソフトウェアで具現されるとき、前述した方法は、前述した機能を行うモジュール（過程、機能等）で具現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されることができる。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されることができる。

【0387】

また、本文書が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含み得る。

【0388】

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に格納されることができる。本文書に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に格納されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取ることができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ格納装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取ることができる記録媒体に格納されるか、有無線通信ネットワークを介して送信されることができる。また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に格納されることができる。

【0389】

本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法として具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として具現されることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7(a)】

【図7(b)】

【図8(a)】

【図8(b)】

【図9a】

【図9b】

【図10a】

【図10b】

【図11(a)】

【図11(b)】

【図12(a)】

【図12(b)】

【図13(a)】

【図13(b)】

【図13(c)】

【図14(a)】

【図14(b)】

【図14(c)】

【図14(d)】

【図15】

【図16】

【図17】

【図18】

【手続補正書】

【提出日】2023-10-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

デコーディング装置により実行される映像デコーディング方法において、
ビットストリームから対象ブロックに対するレジデュアル情報を受信するステップと、
前記レジデュアル情報に基づいて前記対象ブロックに対する変換係数を導出するステップと、
前記変換係数に対して逆２次変換に基づいて修正された変換係数を導出するステップと、
前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
前記対象ブロックに対する前記レジデュアルサンプルに基づいて復元ピクチャを生成するステップと、を含み、
前記対象ブロックの大きさがＭ×Ｎ（Ｍ≧１６、Ｎ≧１６）であることに基づいて、前記対象ブロックの左上端の出力領域にＬ個（４８<Ｌ≦９６）の修正された変換係数が配列される、映像デコーディング方法。

【請求項2】

前記修正された変換係数を導出するステップは、
順方向対角スキャニング順序によって前記変換係数を整列して入力アレイを導出するステップと、
前記入力アレイと変換カーネルのマトリックス演算を介して前記変換係数より多い個数の修正された変換係数を導出するステップと、
前記修正された変換係数を前記出力領域に配列するステップと、を含み、
前記修正された変換係数は、前記対象ブロックのイントラ予測モードによって行優先方向または列優先方向のうちいずれか一つの順序に基づいて前記出力領域に配列される、請求項１に記載の映像デコーディング方法。

【請求項3】

前記出力領域は、前記対象ブロックのＤＣ位置からスキャニング順序によって配列されることができる複数の４×４サブブロックで構成される、請求項２に記載の映像デコーディング方法。

【請求項4】

前記出力領域は、前記対象ブロックのＤＣ位置から所定の順序によって配列されることができる複数のｐ×ｑサブブロックで構成される、請求項２に記載の映像デコーディング方法。

【請求項5】

前記出力領域は、前記対象ブロックの左上端ｍ×ｎブロック（ｍ≦Ｍ、ｎ≦Ｎ）である、請求項２に記載の映像デコーディング方法。

【請求項6】

前記出力領域は、前記対象ブロックのＤＣ位置から同じ距離に離隔されているラインで構成された扇形領域を含む、請求項２に記載の映像デコーディング方法。

【請求項7】

前記入力アレイは、Ｒ個の変換係数を含み、
前記Ｒは、Ｌより小さい１６の倍数である、請求項２に記載の映像デコーディング方法。

【請求項8】

前記入力アレイは、前記対象ブロックのＤＣ位置から前記順方向対角スキャニング順序に配列されることができる４×４サブブロック単位で整列され、前記４×４サブブロック内の前記順方向対角スキャニング順序によって整列される、請求項２に記載の映像デコーディング方法。

【請求項9】

前記修正された変換係数を導出するステップは、２次変換に適用される前記変換カーネルを導出するステップを含み、
前記変換カーネルは、前記対象ブロックに適用されるイントラ予測モードに基づいて導出される変換セットに基づいて導出され、
前記変換セットは、前記イントラ予測モードとのマッピング関係に基づいて複数個が存在し、一つの変換セットは、複数の変換カーネルで構成され、
前記対象ブロックの大きさに基づいて前記逆２次変換の大きさが設定され、
前記逆２次変換の大きさに基づいて、変換セットの個数、前記変換セットを構成する変換カーネルの個数及び変換カーネルの次元のうち少なくとも一つが導出される、請求項２に記載の映像デコーディング方法。

【請求項10】

前記対象ブロックの横及び縦の長さが両方とも４より大きいまたは同じであり、横または縦の長さが４であることに基づいて、前記逆２次変換の大きさは、第１の値に設定され、
前記対象ブロックの横及び縦の長さが両方とも８より大きいまたは同じであり、横または縦の長さが８であることに基づいて、前記逆２次変換の大きさは、第２の値に設定され、
前記対象ブロックの横及び縦の長さが両方とも１６より大きいまたは同じであることに基づいて、前記逆２次変換の大きさは、第３の値に設定される、請求項９に記載の映像デコーディング方法。

【請求項11】

前記逆２次変換の大きさが前記第１の値であることに基づいて、前記変換カーネルの次元は１６×１６に設定され、
前記逆２次変換の大きさが前記第２の値であることに基づいて、前記変換カーネルの次元は４８×Ｒまたは６４×Ｓに設定され、Ｒは１６、３２、４８のうちいずれか一つであり、Ｓは１６、３２、４８、６４のうちいずれか一つであり、
前記逆２次変換の大きさが前記第３の値であることに基づいて、前記変換カーネルの次元は９６×Ｒ、６４×Ｓまたは４８×Ｔのうちいずれか一つに設定され、Ｒは１６、３２、４８、６４、８０、９６のうちいずれか一つであり、Ｓは１６、３２、４８、６４のうちいずれか一つであり、Ｔは１６、３２、４８のうちいずれか一つである、請求項１０に記載の映像デコーディング方法。

【請求項12】

前記逆１次変換にＤＳＴ－７、ＤＣＴ－８またはＫＬＴ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）のうちいずれか一つが適用される、請求項１に記載の映像デコーディング方法。

【請求項13】

前記修正された変換係数を導出するステップは、２次変換に適用される変換カーネルを導出するステップを含み、
前記変換カーネルは、前記対象ブロックに適用されるイントラ予測モードに基づいて導出される変換セットに基づいて導出され、
前記変換セットは、前記イントラ予測モードとのマッピング関係に基づいて複数個が存在し、一つの変換セットは、複数の変換カーネルで構成され、
前記対象ブロックの大きさに基づいて前記逆２次変換の大きさが設定され、
前記逆２次変換の大きさ及び前記逆１次変換に適用される変換カーネルに基づいて、変換セットの個数、前記変換セットを構成する変換カーネルの個数及び変換カーネルの次元のうち少なくとも一つが導出される、請求項１２に記載の映像デコーディング方法。

【請求項14】

前記逆１次変換は、水平方向変換及び垂直方向変換を含み、
前記水平方向変換または前記垂直方向変換に変換スキップが適用される、請求項１に記載の映像デコーディング方法。

【請求項15】

インター予測に基づいて前記対象ブロックに対する予測サンプルを導出するステップをさらに含む、請求項１に記載の映像デコーディング方法。

【請求項16】

前記逆２次変換に適用される変換インデックスに対する情報を受信するステップをさらに含み、
前記変換インデックスは、前記対象ブロックの特定領域に変換係数が存在する場合は受信され、
前記特定領域は、前記逆２次変換の大きさに基づいて設定される、請求項９に記載の映像デコーディング方法。

【請求項17】

前記対象ブロックのツリータイプがシングルツリーであることに基づいて、前記対象ブロックのルマ成分及びクロマ成分に前記逆２次変換が実行される、請求項１に記載の映像デコーディング方法。

【請求項18】

エンコーディング装置により実行される映像エンコーディング方法において、
対象ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出するステップと、
前記変換係数の２次変換に基づいて修正された変換係数を導出するステップと、
前記修正された変換係数に基づいて導出されたレジデュアル情報を含む映像情報をエンコーディングするステップと、を含み、
前記対象ブロックの大きさがＭ×Ｎ（Ｍ≧１６、Ｎ≧１６）であることに基づいて、前記対象ブロックの左上端の入力領域に配列されているＬ個（４８<Ｌ≦９６）の変換係数に対する前記２次変換が実行される、映像エンコーディング方法。

【請求項19】

映像情報のビットストリームを含むデータに対する送信方法において、
レジデュアル情報を含む前記映像情報の前記ビットストリームを取得するステップであって、前記ビットストリームは、対象ブロックに対する予測サンプルを導出し、前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出し、前記レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出し、前記変換係数の２次変換に基づいて修正された変換係数を導出し、前記修正された変換係数に基づいて導出された前記レジデュアル情報を含む映像情報をエンコーディングすることにより生成される、ステップと、
前記レジデュアル情報を含む前記映像情報の前記ビットストリームを含む前記データを送信するステップと、を含み、
前記対象ブロックの大きさがＭ×Ｎ（Ｍ≧１６、Ｎ≧１６）であることに基づいて、前記対象ブロックの左上端の入力領域に配列されているＬ個（４８<Ｌ≦９６）の変換係数に対する前記２次変換が実行される、送信方法。

【国際調査報告】