特許 7590428 変換に基づく映像コーディング方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】変換に基づく映像コーディング方法及びその装置

(51)【国際特許分類】

   H04N 19/70 20140101AFI20241119BHJP

   H04N 19/176 20140101ALI20241119BHJP

   H04N 19/186 20140101ALI20241119BHJP

   H04N 19/12 20140101ALI20241119BHJP

【ＦＩ】

H04N19/70

H04N19/176

H04N19/186

H04N19/12

【請求項の数】 10

(21)【出願番号】P 2022526808

(86)(22)【出願日】2020-11-09

(65)【公表番号】

(43)【公表日】2023-01-10

(86)【国際出願番号】 KR2020015587

(87)【国際公開番号】W WO2021096172

(87)【国際公開日】2021-05-20

【審査請求日】2022-06-06

(31)【優先権主張番号】62/933,972

(32)【優先日】2019-11-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/933,951

(32)【優先日】2019-11-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ク ムンモ

(72)【発明者】

【氏名】キム スンファン

(72)【発明者】

【氏名】メフディ サレヒファー

(72)【発明者】

【氏名】イム チェヒョン

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】特表２０２３－５０１５２９（ＪＰ，Ａ）

【文献】BROSS, Benjamin et al.，Versatile Video Coding (Draft 7)，JVET-P2001 (version 11)，ITU，2019年10月31日，pp.67-71, 77-85, 147-153, 161-163，[online]，[retrieved on 2023-07-31]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P2001-v11.zip>，JVET-P2001-vB.docx

【文献】BROSS, Benjamin et al.，Versatile Video Coding (Draft 8)，JVET-Q2001 (version 5)，ITU，2020年01月19日，pp.79-82，[online]，[retrieved on 2024-04-12]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v5.zip>，JVET-Q2001-v5.docx

【文献】LAINEMA, Jani，On MTS Index Signalling，JVET-Q0055 (version 3)，ITU，2020年01月09日，pp.1-3，[online]，[retrieved on 2024-04-12]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q0055-v3.zip>，JVET-Q0055_v2.docx

【文献】KOO, Moonmo et al.，Alignment of MTS Index Signalling Condition with MTS Zero-Out，JVET-Q0136 (version 2)，ITU，2020年01月09日，pp.1-6，[online]，[retrieved on 2024-04-12]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q0136-v2.zip>，JVET-Q0136-v1.docx

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

デコーディング装置により実行される映像デコーディング方法において、
ビットストリームからレジデュアル情報を取得するステップと、
前記レジデュアル情報に基づいて現在ブロックに対する変換係数を導出するステップと、
ＭＴＳ（Multiple Transform Selection）インデックスに基づいて前記変換係数に逆１次変換を適用して前記現在ブロックに対するレジデュアルサンプルを導出するステップと、を含み、
前記変換係数を導出するステップは、
逆対角スキャン順序に従って既に設定されたスキャンサブブロック単位内でスキャンサブブロックをスキャンすることによって、有効係数が前記スキャンサブブロック内に存在するかどうかを導出するステップと、
（ｉ）前記有効係数が前記スキャンサブブロック内に存在するかどうか、
（ｉｉ）前記スキャンサブブロックが前記現在ブロックの左上端１６×１６領域以外の第２の領域に属するかどうか、及び、
（ｉｉｉ）前記現在ブロックのカラーインデックスが０かどうか、
に基づいて、前記有効係数が前記第２の領域に存在するかどうかを示すフラグ情報を導出するステップと、を含み、
前記ＭＴＳインデックスは、前記有効係数が前記第２の領域に存在しないことを示す前記フラグ情報に基づいてパーシングされる、映像デコーディング方法。

【請求項2】

前記ＭＴＳインデックスは、前記ＭＴＳインデックスがパーシングされない場合、０と類推される、請求項１に記載の映像デコーディング方法。

【請求項3】

前記有効係数が前記スキャンサブブロック内に存在するかどうかを導出するステップは、前記有効係数が前記スキャンサブブロック内に存在するかどうかを示すフラグをパーシングするステップを含む、請求項１に記載の映像デコーディング方法。

【請求項4】

前記フラグ情報は、最初１に設定され、
前記有効係数が前記第２の領域に位置する場合、前記フラグ情報は、０に変更される、請求項１に記載の映像デコーディング方法。

【請求項5】

前記スキャンサブブロックは、４×４ブロックであり、
前記スキャンサブブロックは、前記現在ブロック内の最後の有効係数を含む最後のスキャンサブブロックから前記逆対角スキャン順序に従ってスキャンされる、請求項１に記載の映像デコーディング方法。

【請求項6】

映像エンコーディング装置により実行される映像エンコーディング方法において、
現在ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに１次変換を適用して前記現在ブロックに対する変換係数を導出するステップと、
前記現在ブロックの左上端１６×１６領域の前記変換係数に基づいてレジデュアル情報を導出するステップと、
有効係数が前記左上端１６×１６領域以外の第２の領域に存在することに基づいて１次変換カーネルを示すＭＴＳ（Multiple Transform Selection）インデックスをパーシングするように映像情報を構成するステップと、を含み、
前記映像情報を構成するステップは、
逆対角スキャン順序に従って既に設定されたスキャンサブブロック単位内でスキャンサブブロックをスキャンすることによって、前記有効係数が前記スキャンサブブロック内に存在するかどうかを示すフラグをエンコーディングするステップと、
（ｉ）前記有効係数が前記スキャンサブブロック内に存在するかどうか、
（ｉｉ）前記スキャンサブブロックが前記現在ブロックの左上端１６×１６領域以外の第２の領域に属するかどうか、及び、
（ｉｉｉ）前記現在ブロックのカラーインデックスが０かどうか、
に基づいて、前記有効係数が前記第２の領域に存在するかどうかを示すフラグ情報を導出するステップと、
前記有効係数が前記第２の領域に存在しないことを示す前記フラグ情報に基づいて前記ＭＴＳインデックスをエンコードするステップと、
を含む、映像エンコーディング方法。

【請求項7】

前記ＭＴＳインデックスは、前記ＭＴＳインデックスがエンコードされない場合、０と類推される、請求項６に記載の映像エンコーディング方法。

【請求項8】

前記フラグ情報は、最初１に設定され、
前記有効係数が前記第２の領域に位置する場合、前記フラグ情報は、０に変更される、請求項６に記載の映像エンコーディング方法。

【請求項9】

前記スキャンサブブロックは、４×４ブロックであり、
前記スキャンサブブロックは、前記現在ブロック内の最後の有効係数を含む最後のスキャンサブブロックから前記逆対角スキャン順序に従ってスキャンされる、請求項７に記載の映像エンコーディング方法。

【請求項10】

映像情報のためのデータを送信するための方法であって、
映像のためのビットストリームを生成するステップであって、前記ビットストリームは、
現在ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに１次変換を適用して前記現在ブロックに対する変換係数を導出するステップと、
前記現在ブロックの左上端１６×１６領域の前記変換係数に基づいてレジデュアル情報を導出するステップと、
有効係数が前記左上端１６×１６領域以外の第２の領域に存在することに基づいて１次変換カーネルを示すＭＴＳ（Multiple Transform Selection）インデックスをパーシングするように映像情報を構成するステップと、
に基づいて生成される、ステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記映像情報を構成するステップは、
逆対角スキャン順序に従って既に設定されたスキャンサブブロック単位内でスキャンサブブロックをスキャンすることによって、前記有効係数が前記スキャンサブブロック内に存在するかどうかを示すフラグをエンコーディングするステップと、
（ｉ）前記有効係数が前記スキャンサブブロック内に存在するかどうか、
（ｉｉ）前記スキャンサブブロックが前記現在ブロックの左上端１６×１６領域以外の第２の領域に属するかどうか、及び、
（ｉｉｉ）前記現在ブロックのカラーインデックスが０かどうか、
に基づいて、前記有効係数が前記第２の領域に存在するかどうかを示すフラグ情報を導出するステップと、
前記有効係数が前記第２の領域に存在しないことを示す前記フラグ情報に基づいて前記ＭＴＳインデックスをエンコードするステップと、
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本文書は、画像コーディング技術に関し、より詳細には、画像コーディングシステムにおいて変換（ｔｒａｎｓｆｏｒｍ）に基づく画像コーディング方法及びその装置に関する。

【背景技術】

【0002】

近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像／ビデオのような高解像度、高品質の画像／ビデオに対する需要が様々な分野で増加している。画像／ビデオデータが高解像度、高品質になるほど、既存の画像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、既存の格納媒体を利用して画像／ビデオデータを格納する場合、送信費用と格納費用が増加する。

【0003】

また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム画像のように、現実画像と異なる画像特性を有する画像／ビデオに対する放送が増加している。

【0004】

これにより、前記のような様々な特性を有する高解像度高品質の画像／ビデオの情報を効果的に圧縮して送信するか格納し、再生するために高効率の画像／ビデオ圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本文書の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。

【0006】

本文書の他の技術的課題は、変換インデックスコーディングの効率を上げる方法及び装置を提供することにある。

【0007】

本文書の他の技術的課題は、ＭＴＳを活用した映像コーディング方法及び装置を提供することにある。

【0008】

本文書の他の技術的課題は、ＭＴＳインデックスシグナリングに対する映像コーディング方法及び装置を提供することにある。

【課題を解決するための手段】

【0009】

本文書の一実施例によると、デコーディング装置により実行される映像デコーディング方法を提供する。前記方法は、変換係数に逆１次変換を適用して前記現在ブロックに対するレジデュアルサンプルを導出するステップを含み、前記逆１次変換は、前記ビットストリームから受信されるＭＴＳインデックスに基づいて実行され、前記ＭＴＳインデックスは、前記現在ブロックの左上端第１の領域を除外した第２の領域に有効係数が存在しないことに基づいてパーシングされ、前記第１の領域は、前記現在ブロックの左上端１６×１６領域であることを特徴とする。

【0010】

前記ＭＴＳインデックスは、前記第２の領域に有効係数が存在するかどうかを示すフラグ情報に基づいてパーシングされ、前記フラグ情報は、前記有効係数がスキャンされるスキャンサブブロック単位で前記有効係数が前記第２の領域に存在するかどうかを判断することによって導出される。

【0011】

前記フラグ情報は、前記スキャンサブブロック内に前記有効係数が存在するかどうかを示すフラグ値が１であり、前記スキャンサブブロック内に存在する有効係数が前記第２の領域に位置する場合、前記第２の領域に前記有効係数が存在することを指示する。

【0012】

前記フラグ情報は、前記スキャンサブブロック内に前記有効係数が存在するかどうかを示すフラグ値が１であり、前記スキャンサブブロックが前記第２の領域に位置する場合、前記第２の領域に前記有効係数が存在することを指示する。

【0013】

前記フラグ情報は、最初１に設定され、前記有効係数が前記第２の領域に位置する場合、前記フラグ情報は、０に変更される。

【0014】

前記スキャンサブブロックは、４×４ブロックであり、前記スキャンサブブロックは、前記現在ブロック内の前記最後の有効係数の位置から逆対角スキャン方向によってスキャンされる。

【0015】

本文書の一実施例によると、エンコーディング装置により実行される映像エンコーディング方法を提供する。前記方法は、レジデュアルサンプルにＭＴＳを適用して前記現在ブロックに対する変換係数を導出するステップと、前記現在ブロックの左上端第１の領域を除外した第２の領域をゼロアウトするステップと、前記第１の領域の前記変換係数に基づいてレジデュアル情報を導出するステップと、前記第２の領域に有効係数が存在するかどうかに基づいて前記ＭＴＳの変換カーネルを指示するＭＴＳインデックスがパーシングされるように映像情報を構成するステップと、を含み、前記第１の領域は、前記現在ブロックの左上端１６×１６領域である。

【0016】

本文書の他の一実施例によると、エンコーディング装置により実行された映像エンコーディング方法によって生成されたエンコーディングされた映像情報及びビットストリームが含まれている映像データが格納されたデジタル格納媒体が提供される。

【0017】

本文書の他の一実施例によると、デコーディング装置により前記映像デコーディング方法を実行するようにするエンコーディングされた映像情報及びビットストリームが含まれている映像データが格納されたデジタル格納媒体が提供される。

【発明の効果】

【0018】

本文書によると、全般的な映像／ビデオ圧縮効率を上げることができる。

【0019】

本文書によると、ＭＴＳインデックスコーディングの効率を上げることができる。

【0020】

本文書によると、ＭＴＳを活用した映像コーディング方法の効率を上げることができる。

【0021】

本明細書の具体的な一例を介して得られる効果は、以上で羅列された効果に制限されない。例えば、関連する技術分野における通常の知識を有する者（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が、本明細書から理解または誘導できる様々な技術的効果が存在し得る。これによって、本明細書の具体的な効果は、本明細書に明示的に記載されているものに制限されず、本明細書の技術的特徴から理解または誘導できる様々な効果を含み得る。

【図面の簡単な説明】

【0022】

【図1】本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

【図2】本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。

【図3】本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

【図4】本文書の一実施例に係る多重変換技法を概略的に示す。

【図5】６５個予測方向のイントラ方向性モードを例示的に示す。

【図6】本文書の一実施例に係るＲＳＴを説明するための図である。

【図7】一例によって順方向１次変換の出力データを１次元ベクトルに配列する順序を示す図である。

【図8】一例によって順方向２次変換の出力データを２次元ブロックに配列する順序を示す図である。

【図9】本文書の一実施例に係る広角イントラ予測モードを示す図である。

【図10】ＬＦＮＳＴが適用されるブロックもようを示す図である。

【図11】一例によって順方向ＬＦＮＳＴの出力データの配置を示す図である。

【図12】一例によって順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定したことを示す図である。

【図13】一例によって４×４ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

【図14】一例によって８×８ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

【図15】本文書の一例に係る３２×３２変換ブロックのスキャンを説明するための図である。

【図16】一例による映像のデコーディング方法を説明するための図である。

【図17】一例による映像のエンコーディング方法を説明するための図である。

【図18】本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【発明を実施するための形態】

【0023】

本文書は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明しようとする。しかし、これは本文書を特定実施例に限定しようとするものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであって、本文書の技術的思想を限定しようとする意図で使われるものではない。単数の表現は、コンテキスト上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたもの等の存在または付加可能性をあらかじめ排除しないと理解されなければならない。

【0024】

一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて一つの構成をなすこともでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／または分離された実施例も、本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

【0025】

以下、添付図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。

【0026】

この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示された方法／実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはその以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準等）と関連付けられている。

【0027】

この文書ではビデオ／映像コーディングに関する多様な実施例を提示し、他の言及がない限り、前記実施例は互いに組み合わせられて実行されることもできる。

【0028】

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャは、一つ以上のスライス／タイルで構成されることができる。一つのピクチャは、一つ以上のタイルグループで構成されることができる。一つのタイルグループは、一つ以上のタイルを含むことができる。

【0029】

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使われることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。

【0030】

ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び該当領域に関連した情報のうち少なくとも一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。

【0031】

この文書において、「／」と「、」は、「及び／または」と解釈される。例えば、「Ａ／Ｂ」は、「Ａ及び／またはＢ」と解釈され、「Ａ、Ｂ」は、「Ａ及び／またはＢ」と解釈される。追加的に、「Ａ／Ｂ／Ｃ」は、「Ａ、Ｂ及び／またはＣのうち少なくとも一つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／またはＣのうち少なくとも一つ」を意味する。（Ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ 「／」 ａｎｄ 「、」 ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ 「ａｎｄ／ｏｒ．」Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ 「Ａ／Ｂ」 ｍａｙ ｍｅａｎ 「Ａ ａｎｄ／ｏｒ Ｂ．」Ｆｕｒｔｈｅｒ，「Ａ，Ｂ」 ｍａｙ ｍｅａｎ 「Ａ ａｎｄ／ｏｒ Ｂ．」Ｆｕｒｔｈｅｒ，「Ａ／Ｂ／Ｃ」 ｍａｙ ｍｅａｎ 「ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．」Ａｌｓｏ， 「Ａ／Ｂ／Ｃ」 ｍａｙ ｍｅａｎ 「ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”）

【0032】

追加的に、本文書において、「または」は、「及び／または」と解釈される。例えば、「ＡまたはＢ」は、１）「Ａ」のみを意味し、または２）「Ｂ」のみを意味し、または３）「Ａ及びＢ」を意味することができる。他の表現としては、本文書の「または」は、「追加的にまたは代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。（Ｆｕｒｔｈｅｒ，ｉｎ ｔｈｅ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ 「ｏｒ」 ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ 「ａｎｄ／ｏｒ．」Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ 「Ａ ｏｒ Ｂ」 ｍａｙ ｃｏｍｐｒｉｓｅ １）ｏｎｌｙ Ａ，２）ｏｎｌｙ Ｂ，ａｎｄ／ｏｒ ３）ｂｏｔｈ Ａ ａｎｄ Ｂ．Ｉｎ ｏｔｈｅｒ ｗｏｒｄｓ，ｔｈｅ ｔｅｒｍ 「ｏｒ」 ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ 「ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ．」）

【0033】

本明細書において、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「ただＡ」、「ただＢ」または「ＡとＢの両方とも」を意味することができる。また、本明細書において、「少なくとも一つのＡまたはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも一つのＡ及び／またはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同じく解釈されることができる。

【0034】

また、本明細書において、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、または「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。また、「少なくとも一つのＡ、ＢまたはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ｏｒ Ｃ）」や「少なくとも一つのＡ、Ｂ及び／またはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。

【0035】

また、本明細書で使われる括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味することができる。具体的に、「予測（イントラ予測）」で表示された場合、「予測」の一例として「イントラ予測」が提案されたものである。他の表現としては、本明細書の「予測」は、「イントラ予測」に制限（ｌｉｍｉｔ）されるものではなく、「イントラ予測」が「予測」の一例として提案されたものである。また、「予測（即ち、イントラ予測）」で表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものである。

【0036】

本明細書において、一つの図面内で個別的に説明される技術的特徴は、個別的に具現されることもでき、同時に具現されることもできる。

【0037】

図１は、本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

【0038】

図１を参照すると、ビデオ／映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。

【0039】

前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

【0040】

ビデオソースは、ビデオ／映像のキャプチャ、合成または生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成されることができ、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。

【0041】

エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

【0042】

送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。

【0043】

デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／映像をデコーディングすることができる。

【0044】

レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。

【0045】

図２は、本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、映像エンコーディング装置を含むことができる。

【0046】

図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって一つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。

【0047】

映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割できる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／またはターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／またはターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々、前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。

【0048】

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使われることができる。

【0049】

減算部２３１は、入力映像信号（原本ブロック、原本サンプルまたは原本サンプルアレイ）から、予測部２２０から出力された予測信号（予測されたブロック、予測サンプルまたは予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルまたはレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードに対する説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

【0050】

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測で、予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定によってそれ以上またはその以下の個数の方向性予測モードが使われることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。

【0051】

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、を含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャは、同じこともあり、異なることもある。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するために、どの候補が使われるかを指示する情報を生成することができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは違って、レジデュアル信号が送信されない。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることで、現在ブロックの動きベクトルを指示することができる。

【0052】

予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。

【0053】

インター予測部２２１及び／またはイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために利用され、またはレジデュアル信号を生成するために利用されることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとする時、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じ大きさを有するピクセルブロックに適用されることもでき、正方形でない可変大きさのブロックに適用されることもできる。

【0054】

量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信し、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームで出力できる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形態の量子化された変換係数を１次元ベクトル形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコーディング方法を実行することができる。エントロピーエンコーディング部２４０は、量子化された変換係数外にビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別途にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書で後述されるシグナリング／送信される情報及び／またはシンタックス要素は、前述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／または格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコーディング部２４０に含まれることもできる。

【0055】

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることによって復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルまたは復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使われることもできる。

【0056】

一方、ピクチャエンコーディング及び／または復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0057】

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。フィルタリング関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

【0058】

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使われることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置２００とデコーディング装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

【0059】

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部２２１に伝達できる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達できる。

【0060】

図３は、本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

【0061】

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３２及びイントラ予測部３３１を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２２を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。

【0062】

ビデオ／映像情報を含むビットストリームが入力される場合、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを利用してデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットから、クアッドツリー構造、バイナリツリー構造及び／またはターナリツリー構造によって分割されることができる。コーディングユニットから一つ以上の変換ユニットが導出されることができる。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。

【0063】

デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／または前記一般制限情報にさらに基づいてピクチャをデコーディングすることができる。本文書で後述されるシグナリング／受信される情報及び／またはシンタックス要素は、前記デコーディング手順を介してデコーディングされて前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳しくは、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各構文要素に該当するｂｉｎを受信し、デコーディング対象構文要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってｂｉｎの発生確率を予測してｂｉｎの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル／ｂｉｎのコンテキストモデルのためにデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部３３０に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが実行されたレジデュアルに対する情報、即ち、量子化された変換係数及び関連パラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されてもよく、または、受信部は、エントロピーデコーディング部３１０の構成要素であってもよい。一方、本文書によるデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０のうち少なくとも一つを含むことができる。

【0064】

逆量子化部３２１では量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列できる。この場合、前記再整列は、エンコーディング装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0065】

逆変換部３２２では変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

【0066】

予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

【0067】

予測部は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することもできる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。

【0068】

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測で、予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

【0069】

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、を含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

【0070】

加算部３４０は、取得されたレジデュアル信号を、予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることによって復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。

【0071】

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使われることもできる。

【0072】

一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0073】

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用することで、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信できる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0074】

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使われることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部３３２に伝達できる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達できる。

【0075】

本明細書において、デコーディング装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０などで説明された実施例は、各々、エンコーディング装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０などにも同一または対応されるように適用されることができる。

【0076】

前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同じく導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

【0077】

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出して関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックとに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

【0078】

図４は、本文書による多重変換技法を概略的に示す。

【0079】

図４を参照すると、変換部は、前述した図２のエンコーディング装置内の変換部に対応されることができ、逆変換部は、前述した図２のエンコーディング装置内の逆変換部または図３のデコーディング装置内の逆変換部に対応されることができる。

【0080】

変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を実行して（１次）変換係数を導出することができる（Ｓ４１０）。このような１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。ここで、前記１次変換は、多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づくことができ、１次変換として多重変換が適用される場合、多重核心変換と呼ばれることができる。

【0081】

多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２とＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１を追加的に使用して変換する方式を示すことができる。即ち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて、空間ドメインのレジデュアル信号（または、レジデュアルブロック）を周波数ドメインの変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部立場で臨時変換係数と呼ばれることができる。

【0082】

即ち、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成されることができた。これと違って、前記多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１などに基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）または変換コア（ｃｏｒｅ）と呼ばれることができる。このようなＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができる。

【0083】

前記多重核心変換が実行される場合、前記変換カーネルの中から対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が実行され、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が実行されることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵまたはサブブロック）の予測モード及び／または変換インデックスに基づいて適応的に決定されることができる。

【0084】

また、一例によると、ＭＴＳを適用して１次変換を実行する場合、特定基底関数を所定値に設定し、垂直変換または水平変換である時、どのような基底関数が適用されるかを組み合わせて変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒで表し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒで表す場合、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値２はＤＣＴ８に設定されることができる。

【0085】

この場合、多数の変換カーネルセットのうちいずれか一つを指示するために、ＭＴＳインデックス情報がエンコーディングされてデコーディング装置にシグナリングされることができる。例えば、ＭＴＳインデックスが０である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも０であることを指示し、ＭＴＳインデックスが１である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも１であることを指示し、ＭＴＳインデックスが２である場合、ｔｒＴｙｐｅＨｏｒ値は２であり、ｔｒＴｙｐｅＶｅｒ値は１であることを指示し、ＭＴＳインデックスが３である場合、ｔｒＴｙｐｅＨｏｒ値は１であり、ｔｒＴｙｐｅＶｅｒ値は２であることを指示し、ＭＴＳインデックスが４である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも２であることを指示することができる。

【0086】

一例によって、ＭＴＳインデックス情報による変換カーネルセットを表で示すと、以下の通りである。

【0087】

【表1】

【0088】

変換部は、前記（１次）変換係数に基づいて２次変換を実行して修正された（２次）変換係数を導出することができる（Ｓ４２０）。前記１次変換は、空間ドメインから周波数ドメインへの変換であり、前記２次変換は、（１次）変換係数間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を利用してもっと圧縮的な表現で変換することを意味する。前記２次変換は、非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）またはＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリクス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する修正された変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリクスに基づいて、前記（１次）変換係数に対して垂直変換及び水平変換を分離して（または、水平垂直変換を独立的に）適用せずに、一度に変換を適用することができる。即ち、前記非分離２次変換は、前記（１次）変換係数に対して垂直方向と水平方向に別に適用されずに、例えば、２次元信号（変換係数）を特定決められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向または列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を介して１次元信号に再整列した後、前記非分離変換マトリクスに基づいて修正された変換係数（または、２次変換係数）を生成する変換方法を示すことができる。例えば、行優先順序は、Ｍ×Ｎブロックに対して１番目の行、２番目の行、...、Ｎ番目の行の順序に一列に配置することであり、列優先順序は、Ｍ×Ｎブロックに対して１番目の列、２番目の列、...、Ｍ番目の列の順序に一列に配置することである。前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ばれることができる）の左上端（ｔｏｐ－ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上であると、８×８非分離２次変換が前記変換係数ブロックの左上端８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上であり、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さいと、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。ただし、実施例は、これに限定されるものではなく、例えば、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が両方とも４以上である条件のみを満たしても、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることもできる。

【0089】

具体的に、例えば、４×４入力ブロックが使われる場合、非分離２次変換は、下記のように実行されることができる。

【0090】

前記４×４入力ブロックＸは、以下のように示される。

【0091】

【数1】

【0092】

前記Ｘをベクトル形態で表す場合、ベクトル

は、以下のように示される。

【0093】

【数2】

【0094】

数式２のように、ベクトル

は、行優先（ｒｏｗ－ｆｉｒｓｔ）順序によって、数式１のＸの２次元ブロックを１次元ベクトルで再配列する。

【0095】

この場合、前記２次非分離変換は、下記のように計算されることができる。

【0096】

【数3】

【0097】

ここで、

は、変換係数ベクトルを示し、Ｔは、１６×１６（非分離）変換マトリクスを示す。

【0098】

前記数式３を介して１６×１変換係数ベクトル

が導出されることができ、前記

は、スキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）等）を介して４×４ブロックで再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）されることができる。ただし、前述した計算は、例示に過ぎず、非分離２次変換の計算複雑度を減らすために、ＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｆｏｒｍ）などが非分離２次変換の計算のために使われることもできる。

【0099】

一方、前記非分離２次変換は、モードベースの（ｍｏｄｅｄｅｐｅｎｄｅｎｔ）変換カーネル（または、変換コア、変換タイプ）が選択されることができる。ここで、モードは、イントラ予測モード及び／またはインター予測モードを含むことができる。

【0100】

前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて実行されることができる。８×８変換は、ＷとＨが両方とも８より大きいまたは同じ時、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上端８×８領域である。同様に、４×４変換は、ＷとＨが両方とも４より大きいまたは同じ時、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は、該当変換係数ブロック内部の左上端４×４領域である。例えば、８×８変換カーネルマトリクスは、６４×６４／１６×６４行列、４×４変換カーネルマトリクスは、１６×１６／８×１６行列になることができる。

【0101】

このとき、モードベースの変換カーネル選択のために、８×８変換及び４×４変換の両方ともに対して非分離２次変換のための変換セット当たり２個ずつの非分離２次変換カーネルが構成されることができ、変換セットは、４個である。即ち、８×８変換に対して４個の変換セットが構成され、４×４変換に対して４個の変換セットが構成されることができる。この場合、８×８変換に対する４個の変換セットには、各々、２個ずつの８×８変換カーネルが含まれることができ、この場合、４×４変換に対する４個の変換セットには、各々、２個ずつの４×４変換カーネルが含まれることができる。

【0102】

ただし、前記変換のサイズ、即ち、変換が適用される領域のサイズは、例示に過ぎず、８×８または４×４以外のサイズが使われることができ、前記セットの数はｎ個、各セット内の変換カーネルの数はｋ個である。

【0103】

前記変換セットは、ＮＳＳＴセットまたはＬＦＮＳＴセットと呼ばれることができる。前記変換セットの中からの特定セットの選択は、例えば、現在ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて実行されることができる。ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）は、後述される減少された非分離変換の一例であり、低周波成分に対する非分離変換を示す。

【0104】

参考までに、例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ、または非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと、６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ、または角度性（ａｎｇｕｌａｒ））イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードは、０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。ただし、これは例示に過ぎず、本文書は、イントラ予測モードの数が異なる場合にも適用されることができる。一方、場合によって、６７番イントラ予測モードがさらに使用されることができ、前記６７番イントラ予測モードは、ＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを示すことができる。

【0105】

図５は、６５個の予測方向のイントラ方向性モードを例示的に示す。

【0106】

図５を参照すると、右下向対角予測方向を有する３４番イントラ予測モードを中心にして、水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、を区分することができる。図５のＨとＶは、各々、水平方向性と垂直方向性を意味し、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。これはモードインデックス値に対するオフセットを示すことができる。２番乃至３３番イントラ予測モードは水平方向性を有し、３４番乃至６６番イントラ予測モードは垂直方向性を有する。一方、３４番イントラ予測モードは、厳密には、水平方向性でも垂直方向性でもないとみることができるが、２次変換の変換セットを決定する観点で水平方向性に属すると分類されることができる。これは、３４番イントラ予測モードを中心にして対称な垂直方向モードに対しては入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番イントラ予測モードに対しては水平方向モードに対する入力データ整列方式を使用するためである。入力データをトランスポーズすることは、２次元ブロックデータＭ×Ｎに対して行が列になり、列が行になってＮ×Ｍデータを構成することを意味する。１８番イントラ予測モードと５０番イントラ予測モードは、各々、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示し、２番イントラ予測モードは、左側参照ピクセルを有して右上向方向に予測するため、右上向対角イントラ予測モードと呼ばれることができ、同じ脈絡で、３４番イントラ予測モードは右下向対角イントラ予測モードと呼ばれ、６６番イントラ予測モードは左下向対角イントラ予測モードと呼ばれることができる。

【0107】

一例によって、イントラ予測モードによって４個の変換セットのマッピング（ｍａｐｐｉｎｇ）は、例えば、以下の表のように示される。

【0108】

【表2】

【0109】

表２のように、イントラ予測モードによって、４個の変換セットのうちいずれか一つ、即ち、ｌｆｎｓｔＴｒＳｅｔＩｄｘが０から３、即ち、４個のうちいずれか一つにマッピングされることができる。

【0110】

一方、非分離変換に特定セットが使われると決定される場合、非分離２次変換インデックスを介して前記特定セット内のｋ個の変換カーネルの中から一つが選択されることができる。エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定変換カーネルを指す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコーディング装置にシグナリングできる。デコーディング装置は、前記非分離２次変換インデックスに基づいて特定セット内のｋ個の変換カーネルの中から一つを選択することができる。例えば、ｌｆｎｓｔインデックス値０は、１番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔインデックス値１は、２番目の非分離２次変換カーネルを指すことができ、ｌｆｎｓｔインデックス値２は、３番目の非分離２次変換カーネルを指すことができる。または、ｌｆｎｓｔインデックス値０は、対象ブロックに対して１番目の非分離２次変換が適用されないことを指すことができ、ｌｆｎｓｔインデックス値１乃至３は、前記３個の変換カーネルを指すことができる。

【0111】

変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行して修正された（２次）変換係数を取得することができる。前記修正された変換係数は、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

【0112】

一方、前述したように、２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

【0113】

逆変換部は、前述した変換部で実行された手順の逆順に一連の手順を実行することができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を実行して（１次）変換係数を導出し（Ｓ４５０）、前記（１次）変換係数に対して１次（逆）変換を実行してレジデュアルブロック（レジデュアルサンプル）を取得することができる（Ｓ４６０）。ここで、前記１次変換係数は、逆変換部立場で修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれることができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックとに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述の通りである。

【0114】

一方、デコーディング装置は、２次逆変換適用可否決定部（または、２次逆変換の適用可否を決定する要素）と、２次逆変換決定部（または、２次逆変換を決定する要素）をさらに含むことができる。２次逆変換適用可否決定部は、２次逆変換の適用可否を決定することができる。例えば、２次逆変換は、ＮＳＳＴ、ＲＳＴまたはＬＦＮＳＴであり、２次逆変換適用可否決定部は、ビットストリームからパーシングした２次変換フラグに基づいて２次逆変換の適用可否を決定することができる。他の一例として、２次逆変換適用可否決定部は、レジデュアルブロックの変換係数に基づいて２次逆変換の適用可否を決定することもできる。

【0115】

２次逆変換決定部は、２次逆変換を決定することができる。このとき、２次逆変換決定部は、イントラ予測モードによって指定されたＬＦＮＳＴ（ＮＳＳＴまたはＲＳＴ）変換セットに基づいて現在ブロックに適用される２次逆変換を決定することができる。また、一実施例として、１次変換決定方法に依存的に（ｄｅｐｅｎｄ ｏｎ）２次変換決定方法が決定されることができる。イントラ予測モードによって、１次変換と２次変換の多様な組み合わせが決定されることができる。また、一例として、２次逆変換決定部は、現在ブロックの大きさに基づいて２次逆変換が適用される領域を決定することもできる。

【0116】

一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して前記１次（分離）逆変換を実行することでレジデュアルブロック（レジデュアルサンプル）を取得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述の通りである。

【0117】

一方、本文書では非分離２次変換による計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリクス（カーネル）の大きさが減少されたＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用することができる。

【0118】

一方、本文書で説明された変換カーネル、変換マトリクス、変換カーネルマトリクスを構成する係数、即ち、カーネル係数またはマトリクス係数は８ビットで表現されることができる。これはデコーディング装置及びエンコーディング装置で具現されるための一つの条件であり、既存の９ビットまたは１０ビットと比較して合理的に受け入れることができる性能低下と共に、変換カーネルを格納するためのメモリ要求量を減らすことができる。また、カーネルマトリクスを８ビットで表現することによって小さい掛け算器を使用することができ、最適のソフトウェア具現のために使われるＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）命令にさらに適合できる。

【0119】

本明細書において、ＲＳＴは、簡素化ファクタ（ｆａｃｔｏｒ）によって大きさが減少された変換マトリクス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて、対象ブロックに対するレジデュアルサンプルに対して実行される変換を意味することができる。簡素化変換を実行する場合、変換マトリクスの大きさ減少によって変換時に要求される演算量が減少されることができる。即ち、ＲＳＴは、大きさが大きいブロックの変換または非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）問題を解消するために利用されることができる。

【0120】

ＲＳＴは、減少された変換、減少変換、ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍなど、多様な用語で呼ばれることができ、ＲＳＴと呼ばれる名称は、羅列された例示に限定されるものではない。または、ＲＳＴは、主に変換ブロックで０でない係数を含む低周波領域で行われるため、ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれることもできる。前記変換インデックスは、ＬＦＮＳＴインデックスと命名されることができる。

【0121】

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書で変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出するのを意味することができる。

【0122】

図６は、本文書の一実施例に係るＲＳＴを説明するための図である。

【0123】

本明細書において、「対象ブロック」は、コーディングが実行される現在ブロックまたはレジデュアルブロックまたは変換ブロックを意味することができる。

【0124】

一実施例に係るＲＳＴで、Ｎ次元ベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が異なる空間に位置したＲ次元ベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマッピングされて減少された変換マトリクスが決定されることができ、ここで、Ｒは、Ｎより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の自乗または変換が適用されるブロックと対応される変換係数の総個数を意味することができ、簡素化ファクタは、Ｒ／Ｎ値を意味することができる。簡素化ファクタは、減少されたファクタ、減少ファクタ、ｒｅｄｕｃｅｄ ｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ、ｓｉｍｐｌｅ ｆａｃｔｏｒなど、多様な用語で呼ばれることができる。一方、Ｒは、簡素化係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれることができるが、場合によっては、簡素化ファクタがＲを意味することもできる。また、場合によって、簡素化ファクタは、Ｎ／Ｒ値を意味することもできる。

【0125】

一実施例において、簡素化ファクタまたは簡素化係数は、ビットストリームを介してシグナリングされることができるが、実施例がこれに限定されるものではない。例えば、簡素化ファクタまたは簡素化係数に対する既定義された値が各エンコーディング装置２００及びデコーディング装置３００に格納されている場合があり、この場合、簡素化ファクタまたは簡素化係数は、別途にシグナリングされない。

【0126】

一実施例に係る簡素化変換マトリクスのサイズは、通常の変換マトリクスのサイズＮ×Ｎより小さいＲ×Ｎであり、以下の数式４のように定義されることができる。

【0127】

【数4】

【0128】

図６の（ａ）に示すＲｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴは、数式４のマトリクスＴ_Ｒ×Ｎを意味することができる。図６の（ａ）のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリクスＴＲ×Ｎが掛けられる場合、対象ブロックに対する変換係数が導出されることができる。

【0129】

一実施例において、変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４）である場合、図６の（ａ）によるＲＳＴは、以下の数式５のような行列演算で表現されることができる。この場合、メモリと掛け演算が簡素化ファクタにより概略１／４に減少できる。

【0130】

本文書において、行列演算とは、行列を列ベクトルの左側に置いて行列と列ベクトルをかけて列ベクトルを得る演算と理解されることができる。

【0131】

【数5】

【0132】

数式５において、ｒ_１乃至ｒ_６４は、対象ブロックに対するレジデュアルサンプルを示すことができ、より具体的に、１次変換を適用して生成された変換係数である。数式５の演算結果、対象ブロックに対する変換係数ｃ_ｉが導出されることができ、ｃ_ｉの導出過程は、数式６の通りである。

【0133】

【数6】

【0134】

数式６の演算結果、対象ブロックに対する変換係数ｃ_１乃至ｃ_Ｒが導出されることができる。即ち、Ｒ＝１６である場合、対象ブロックに対する変換係数ｃ_１乃至ｃ_１６が導出されることができる。もし、ＲＳＴではなく通常の（ｒｅｇｕｌａｒ）変換が適用されてサイズが６４×６４（Ｎ×Ｎ）である変換マトリクスが、サイズが６４×１（Ｎ×１）であるレジデュアルサンプルに掛けられた場合、対象ブロックに対する変換係数が６４個（Ｎ個）導出されるが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してエンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少するため、エンコーディング装置２００－デコーディング装置３００間の送信効率が増加できる。

【0135】

変換マトリクスのサイズ観点で検討すると、通常の変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、簡素化変換マトリクスのサイズは１６×６４（Ｒ×Ｎ）に減少するため、通常の変換を実行する時と比較すると、ＲＳＴを実行する時にメモリ使用をＲ／Ｎ割合に減少させることができる。また、通常の変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合に減少（Ｒ×Ｎ）させることができる。

【0136】

一実施例において、エンコーディング装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴベースの２次変換を実行することによって対象ブロックに対する変換係数を導出することができる。このような変換係数は、デコーディング装置３００の逆変換部に伝達されることができ、デコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる。

【0137】

一実施例に係る逆ＲＳＴマトリクスＴ_Ｎ×Ｒのサイズは、通常の逆変換マトリクスのサイズＮ×Ｎより小さいＮ×Ｒであり、数式４に示す簡素化変換マトリクスＴ_Ｒ×Ｎとトランスポーズ（ｔｒａｎｓｐｏｓｅ）関係にある。

【0138】

図６の（ｂ）に示すＲｅｄｕｃｅｄ Ｉｎｖ．Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴ^ｔは、逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔを意味することができる（上付き文字Ｔは、トランスポーズを意味する）。図６の（ｂ）のように、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛けられる場合、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルが導出されることができる。逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔは、（Ｔ_Ｒ×Ｎ）^Ｔ _Ｎ×Ｒで表現することもできる。

【0139】

より具体的に、２次逆変換として逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛けられると、対象ブロックに対する修正された変換係数が導出されることができる。一方、逆１次変換として逆ＲＳＴが適用されることができ、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛けられると、対象ブロックに対するレジデュアルサンプルが導出されることができる。

【0140】

一実施例において、逆変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４である場合）である場合、図６の（ｂ）によるＲＳＴは、以下の数式７のような行列演算で表現されることができる。

【0141】

【数7】

【0142】

数式７において、ｃ_１乃至ｃ_１６は、対象ブロックに対する変換係数を示すことができる。数式７の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_ｉが導出されることができ、ｒ_ｉの導出過程は、数式８の通りである。

【0143】

【数8】

【0144】

数式８の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_１乃至ｒ_Ｎが導出されることができる。逆変換マトリクスのサイズ観点で検討すると、通常の逆変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、簡素化逆変換マトリクスのサイズは６４×１６（Ｎ×Ｒ）に減少するため、通常の逆変換を実行する時と比較すると、逆ＲＳＴを実行する時にメモリ使用をＲ／Ｎ割合に減少させることができる。また、通常の逆変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化逆変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合に減少（Ｎ×Ｒ）させることができる。

【0145】

一方、８×８ ＲＳＴに対しても、表２のような変換セット構成を適用することができる。即ち、表２での変換セットによって該当８×８ ＲＳＴが適用されることができる。一つの変換セットは、画面内の予測モードによって２個または３個の変換（カーネル）で構成されているため、２次変換を適用しないとまで含んで最大４個の変換の中から一つを選択するように構成されることができる。２次変換を適用しない時の変換は、恒等行列が適用されたと見なされることができる。４個の変換に対して各々０、１、２、３のインデックスを付与するとした時（例えば、０番インデックスを恒等行列、即ち、２次変換を適用しない場合で割り当てることができる）、変換インデックスまたはｌｆｎｓｔインデックスというシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を変換係数ブロック毎にシグナリングして適用される変換を指定することができる。即ち、変換インデックスを介して８×８左上端ブロックに対して、ＲＳＴ構成では８×８ ＲＳＴを指定することができ、またはＬＦＮＳＴが適用される場合、８×８ ｌｆｎｓｔを指定することができる。８×８ ｌｆｎｓｔ及び８×８ ＲＳＴは、変換の対象になる対象ブロックのＷとＨが両方とも８より大きいまたは同じ時、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上端８×８領域である。同様に、４×４ ｌｆｎｓｔ及び４×４ ＲＳＴは、対象ブロックのＷとＨが両方とも４より大きいまたは同じ時、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は該当変換係数ブロック内部の左上端４×４領域である。

【0146】

一方、本文書の一実施例によって、エンコーディング過程の変換で、８×８領域を構成する６４個のデータに対して１６×６４変換カーネルマトリクスでない、４８個のデータのみを選択して最大１６×４８変換カーネルマトリクスを適用することができる。ここで、「最大」とは、ｍ個の係数を生成することができるｍ×４８変換カーネルマトリクスに対してｍの最大値が１６であることを意味する。即ち、８×８領域にｍ×４８変換カーネルマトリクス（ｍ≦１６）を適用してＲＳＴを実行する場合、４８個のデータの入力を受けてｍ個の係数を生成することができる。ｍが１６である場合、４８個のデータの入力を受けて１６個の係数を生成する。即ち、４８個のデータが４８×１ベクトルをなすとした時、１６×４８行列と４８×１ベクトルをじゅんにかけて１６×１ベクトルが生成されることができる。このとき、８×８領域をなす４８個のデータを適切に配列して４８×１ベクトルを構成することができる。例えば、８×８領域のうち右下端４×４領域を除外した領域を構成する４８個のデータに基づいて４８×１ベクトルを構成することができる。このとき、最大１６×４８変換カーネルマトリクスを適用して行列演算を実行すると、１６個の修正された変換係数が生成され、１６個の修正された変換係数は、スキャニング順序によって左上端４×４領域に配置されることができ、右上端４×４領域と左下端４×４領域は、０で満たされることができる。

【0147】

デコーディング過程の逆変換には前記叙述された変換カーネルマトリクスのトランスポーズされたマトリクスが使われることができる。即ち、デコーディング装置で実行される逆変換過程として逆ＲＳＴまたはＬＦＮＳＴが実行される場合、逆ＲＳＴを適用する入力係数データは、所定の配列順序によって１次元ベクトルで構成され、１次元ベクトルに該当逆ＲＳＴ行列を左側でかけて得られた修正された係数ベクトルを所定の配列順序によって２次元ブロックに配列されることができる。

【0148】

整理すると、変換過程で、８×８領域にＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち、８×８領域の右下端領域を除外した左上端、右上端、左下端領域の４８個変換係数と１６×４８の変換カーネルマトリクスとの行列演算が実行される。行列演算のために、４８個の変換係数は、１次元配列で入力される。このような行列演算が実行されると、１６個の修正された変換係数が導出され、修正された変換係数は、８×８領域の左上端領域に配列されることができる。

【0149】

逆に、逆変換過程で、８×８領域に逆ＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち８×８領域の左上端に対応する１６個の変換係数は、スキャニング順序によって１次元配列形態で入力されて４８×１６の変換カーネルマトリクスと行列演算されることができる。即ち、このような場合の行列演算は、（４８×１６行列）＊（１６×１変換係数ベクトル）＝（４８×１修正された変換係数ベクトル）で表すことができる。ここで、ｎ×１ベクトルは、ｎ×１行列のような意味で解釈されることができるため、ｎ×１列ベクトルで表記されることもできる。また、＊は、行列掛け算演算を意味する。このような行列演算が実行される場合、４８個の修正された変換係数が導出されることができ、４８個の修正された変換係数は、８×８領域の右下端領域を除外した左上端、右上端、左下端領域に配列されることができる。

【0150】

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。

【0151】

詳述された非分離変換、ＬＦＮＳＴに対して具体的にみると、以下の通りである。ＬＦＮＳＴは、エンコーディング装置による順方向（ｆｏｒｗａｒｄ）変換とデコーディング装置による逆方向（ｉｎｖｅｒｓｅ）変換とを含むことができる。

【0152】

エンコーディング装置は、順方向１次変換（ｐｒｉｍａｒｙ （ｃｏｒｅ） ｔｒａｎｓｆｏｒｍ）を適用した後に導出された結果（または、結果の一部）を入力とし、順方向２次変換（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用する。

【0153】

【数9】

【0154】

前記数式９において、ｘとｙは、各々、２次変換の入力と出力であり、Ｇは、２次変換を示す行列であって、変換基底ベクトル（ｔｒａｎｓｆｏｒｍ ｂａｓｉｓ ｖｅｃｔｏｒ）は、列ベクトルで構成される。逆方向ＬＦＮＳＴの場合、変換行列Ｇの次元（ｄｉｍｅｎｓｉｏｎ）を［ｒｏｗ数×ｃｏｌｕｍｎ数］で表記した時、順方向ＬＦＮＳＴの場合、行列Ｇのトランスポーズを行ったものがＧ^Ｔの次元になる。

【0155】

逆方向ＬＦＮＳＴの場合、行列Ｇの次元は、［４８×１６］、［４８×８］、［１６×１６］、［１６×８］になり、［４８×８］行列と［１６×８］行列は、各々、［４８×１６］行列と［１６×１６］行列の左側から８個の変換基底ベクトルをサンプリングした部分行列である。

【0156】

それに対して、順方向ＬＦＮＳＴの場合、行列Ｇ^Ｔの次元は［１６×４８］、［８×４８］、［１６×１６］、［８×１６］になり、［８×４８］行列と［８×１６］行列は、各々、［１６×４８］行列と［１６×１６］行列の上側から８個の変換基底ベクトルをサンプリングした部分行列である。

【0157】

したがって、順方向ＬＦＮＳＴの場合、入力ｘとしては［４８×１］ベクトルまたは［１６×１］ベクトルが可能であり、出力ｙとしては［１６×１］ベクトルまたは［８×１］ベクトルが可能である。ビデオコーディング及びデコーディングにおける順方向１次変換の出力は、二次元（２Ｄ）データであるため、入力ｘとして［４８×１］ベクトルまたは［１６×１］ベクトルを構成するために、順方向変換の出力である２Ｄデータを適切に配列して１次元ベクトルを構成しなければならない。

【0158】

図７は、一例によって順方向１次変換の出力データを１次元ベクトルに配列する順序を示す図である。図７の（ａ）及び（ｂ）の左側図は、［４８×１］ベクトルを作成するための順序を示し、図７の（ａ）及び（ｂ）の右側図は、［１６×１］ベクトルを作成するための順序を示す。ＬＦＮＳＴの場合、図７の（ａ）及び（ｂ）のような順序に、２Ｄデータを順次に配列して一次元ベクトルｘを得ることができる。

【0159】

このような順方向１次変換の出力データの配列方向は、現在ブロックのイントラ予測モードによって決定されることができる。例えば、現在ブロックのイントラ予測モードが対角線方向を基準にして水平方向である場合、順方向１次変換の出力データは、図７の（ａ）の順序に配列されることができ、現在ブロックのイントラ予測モードが対角線方向を基準にして垂直方向である場合、順方向１次変換の出力データは、図７の（ｂ）の順序に配列されることができる。

【0160】

一例によって、図７の（ａ）及び（ｂ）の配列順序（ｏｒｄｅｒｉｎｇ）と異なる配列順序を適用することができ、図７の（ａ）及び（ｂ）の配列順序を適用した時と同じ結果（ｙベクトル）を導出しようとする場合は、行列Ｇの列ベクトルを該当配列順序に合わせて再配列すればよい。即ち、ｘベクトルを構成する各要素に対して常に同じ変換基底ベクトルと掛けられるようにＧの列ベクトルを再配置することができる。

【0161】

数式９を介して導出される出力ｙは、一次元ベクトルであるため、もし、順方向２次変換の結果を入力として処理する構成、例えば、量子化またはレジデュアルコーディングを実行する構成が入力データとして２次元データが必要である場合、数式９の出力ｙベクトルは、再び２Ｄデータで適切に配置されなければならない。

【0162】

図８は、一例によって順方向２次変換の出力データを２次元ブロックに配列する順序を示す図である。

【0163】

ＬＦＮＳＴの場合、決められたスキャン順序によって２Ｄブロックに配置されることができる。図８の（ａ）は、出力ｙが［１６×１］ベクトルである場合、２次元ブロックの１６個の位置に対角スキャン（ｄｉａｇｏｎａｌ ｓｃａｎ）順序によって出力値が配置されることを示す。図８の（ｂ）は、出力ｙが［８×１］ベクトルである場合、２次元ブロックの８個の位置に対角スキャン順序によって出力値が配置され、残り８個の位置には０で満たされることを示す。図８の（ｂ）のＸは、０で満たされることを示す。

【0164】

他の例によって、量子化またはレジデュアルコーディングを実行する構成により出力ベクトルｙが処理される順序は、既設定された順序によって実行できるため、図８のように出力ベクトルｙが２Ｄブロックに配置されないことがある。ただし、レジデュアルコーディングの場合、ＣＧ（Ｃｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ）のような２Ｄブロック（例えば、４×４）単位でデータコーディングが実行されることができ、この場合、図８の対角スキャン順序のように特定順序によってデータが配列されることができる。

【0165】

一方、デコーディング装置は、逆方向変換のために逆量子化過程などを介して出力された２次元データを既設定されたスキャン順序によって羅列して１次元入力ベクトルであるｙを構成することができる。入力ベクトルｙは、下記数式により入力ベクトルｘとして出力されることができる。

【0166】

【数10】

【0167】

逆方向ＬＦＮＳＴの場合、［１６×１］ベクトルまたは［８×１］ベクトルである入力ベクトルｙにＧ行列を掛けることによって、出力ベクトルｘを導出することができる。逆方向ＬＦＮＳＴの場合、出力ベクトルｘは、［４８×１］ベクトルまたは［１６×１］ベクトルである。

【0168】

出力ベクトルｘは、図７に示す順序によって２次元ブロックに配置されて２次元データで配列され、このような２次元データは、逆方向１次変換の入力データ（または、入力データの一部）になる。

【0169】

したがって、逆方向２次変換は、全体的に順方向２次変換過程と反対であり、逆変換の場合、順方向と違って、逆方向２次変換を先に適用した後に逆方向１次変換を適用するようになる。

【0170】

逆方向ＬＦＮＳＴでは変換行列Ｇとして［４８×１６］行列８個と［１６×１６］行列８個の中から一つが選択されることができる。［４８×１６］行列と［１６×１６］行列のうちどの行列を適用するかは、ブロックの大きさともようによって決定される。

【0171】

また、８個の行列は、前述された表２のように４個の変換セットから導出されることができ、各変換セットは、２個の行列で構成されることができる。４個の変換セットのうちどの変換セットを使用するかは、イントラ予測モードによって決定され、より具体的に、広角イントラ予測モード（Ｗｉｄｅ Ａｎｇｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ、ＷＡＩＰ）まで考慮して拡張されたイントラ予測モード値に基づいて変換セットが決定される。選択された変換セットを構成する２個の行列の中からどの行列を選択するかは、インデックスシグナリング（ｉｎｄｅｘ ｓｉｇｎａｌｉｎｇ）を介して導出される。より具体的に、送信されるインデックス値では０、１、２が可能であり、０は、ＬＦＮＳＴを適用しないことを指示し、１と２は、イントラ予測モード値に基づいて選択された変換セットを構成する２個の変換行列のうちいずれか一つを指示することができる。

【0172】

図９は、本文書の一実施例に係る広角イントラ予測モードを示す図である。

【0173】

一般的なイントラ予測モード値は、０～６６と８１～８３までの値を有することができ、図示されたように、ＷＡＩＰによって拡張されたイントラ予測モード値は、－１４～８３までの値を有することができる。８１～８３までの値は、ＣＣＬＭ（Ｃｒｏｓｓ Ｃｏｍｐｏｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ）モードを指し、－１４～－１までの値と６７～８０までの値は、ＷＡＩＰ適用によって拡張されたイントラ予測モード値を指す。

【0174】

予測現在ブロックの幅が高さより大きい場合、一般的に上側参照ピクセルが予測しようとするブロック内部の位置ともっと近い。したがって、右上端（ｔｏｐ－ｒｉｇｈｔ）方向に予測することより左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）方向に予測することがより正確である。それに対して、ブロックの高さが幅より大きい場合は、左側参照ピクセルが予測しようとするブロック内部の位置と一般的に近い。したがって、左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）方向に予測することより右上端（ｔｏｐ－ｒｉｇｈｔ）方向に予測することがより正確である。したがって、広角イントラ予測モードのインデックスでリマッピング、即ち、モードインデックス変換を適用することが有利である。

【0175】

広角イントラ予測が適用される場合、既存のイントラ予測に対する情報がシグナリングされることができ、前記情報がパーシングされた以後、前記情報が前記広角イントラ予測モードのインデックスでリマッピングされることができる。したがって、特定ブロック（例えば、特定サイズの非正方形ブロック）に対する総イントラ予測モードの数は変更されなく、即ち、総イントラ予測モードの数は６７個であり、前記特定ブロックに対するイントラ予測モードコーディングは変更されない。

【0176】

以下の表３は、イントラ予測モードを広角イントラ予測モードにリマッピングして修正されたイントラモードを導出する過程を示している。

【0177】

【表3】

【0178】

表３において、最終的にｐｒｅｄＭｏｄｅＩｎｔｒａ変数に拡張されたイントラ予測モード値が格納され、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴは、現在ＶＶＣ標準に採択されたＩｎｔｒａ Ｓｕｂ Ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）技術によりＣＵブロックがサブパーティションに分割されないことを示し、ｃＩｄｘ変数値が０、１、２であることは、各々、ルマ、Ｃｂ、Ｃｒコンポーネントである場合を指す。表３に示すＬｏｇ２関数は、ベース（ｂａｓｅ）が２であるログ値をリターンし、Ａｂｓ関数は、絶対値をリターンする。

【0179】

広角イントラ予測モードのマッピング過程（Ｗｉｄｅ ａｎｇｌｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ ｍａｐｐｉｎｇ ｐｒｏｃｅｓｓ）の入力値として、イントラ予測モードを指示する変数ｐｒｅｄＭｏｄｅＩｎｔｒａ、変換ブロックの高さ及び幅などが使われ、出力値は、修正されたイントラ予測モード（ｔｈｅ ｍｏｄｉｆｉｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ ｐｒｅｄＭｏｄｅＩｎｔｒａ）になる。変換ブロックまたはコーディングブロックの高さ及び幅が、イントラ予測モードのリマッピングのための現在ブロックの高さ及び幅になることができる。このとき、幅と高の比率を反映する変数ｗｈＲａｔｉｏは、Ａｂｓ（Ｌｏｇ２（ｎＷ／ｎＨ））に設定されることができる。

【0180】

正方形でないブロックに対して、イントラ予測モードは、二つの場合に区分されて修正されることができる。

【0181】

まず、（１）現在ブロックの幅が高さより大きい、（２）修正前のイントラ予測モードが２より大きいまたは同じ、（３）イントラ予測モードが、変数ｗｈＲａｔｉｏが１より大きい場合は（８＋２＊ｗｈＲａｔｉｏ）であり、変数ｗｈＲａｔｉｏが１より小さいまたは同じ場合は８であって、導出される値より小さい［ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｌｅｓｓ ｔｈａｎ（ｗｈＲａｔｉｏ>１）？（８＋２＊ｗｈＲａｔｉｏ）：８］という全ての条件を満たす場合、イントラ予測モードは、イントラ予測モードより６５大きい値に設定される［ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｓｅｔ ｅｑｕａｌ ｔｏ（ｐｒｅｄＭｏｄｅＩｎｔｒａ＋６５）］。

【0182】

前記と異なる場合、（１）現在ブロックの高さが幅より大きい、（２）修正前のイントラ予測モードが６６より小さいまたは同じ、（３）イントラ予測モードが、変数ｗｈＲａｔｉｏが１より大きい場合は（６０－２＊ｗｈＲａｔｉｏ）であり、変数ｗｈＲａｔｉｏが１より小さいまたは同じ場合は６０であって、導出される値より大きい［ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ（ｗｈＲａｔｉｏ>１）？（６０－２＊ｗｈＲａｔｉｏ）：６０］という全ての条件を満たす場合、イントラ予測モードは、イントラ予測モードより６７小さい値に設定される［ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｓｅｔ ｅｑｕａｌ ｔｏ（ｐｒｅｄＭｏｄｅＩｎｔｒａ－６７）］。

【0183】

前述された表２は、ＬＦＮＳＴでＷＡＩＰにより拡張されたイントラ予測モード値に基づいて変換セットがどのように選択されるかを示している。図９のように、１４～３３までのモードと３５～８０までのモードは、モード３４を中心にして予測方向観点で互いに対称である。例えば、モード１４とモード５４は、モード３４に該当する方向を中心にして対称である。したがって、互いに対称な方向に位置するモードどうしは同じ変換セットを適用するようになり、表２でもこのような対称性が反映されている。

【0184】

ただし、モード５４に対する順方向ＬＦＮＳＴ入力データは、モード１４に対する順方向ＬＦＮＳＴ入力データと対称であることを仮定する。例えば、モード１４とモード５４に対しては、各々、図７の（ａ）と図７の（ｂ）に示す配列順序によって２次元データを１次元データで再配列するようになり、図７の（ａ）と図７の（ｂ）に示す順序のパターンは、モード３４が指す方向（対角線方項）を中心にして対称であることを知ることができる。

【0185】

一方、前述したように、［４８×１６］行列と［１６×１６］行列のうちどの変換行列をＬＦＮＳＴに適用するかは、変換対象ブロックの大きさともようにより決定される。

【0186】

図１０は、ＬＦＮＳＴが適用されるブロックもようを示す図である。図１０の（ａ）は４×４ブロックを、（ｂ）は４×８及び８×４ブロックを、（ｃ）はＮが１６以上である４×ＮまたはＮ×４ブロックを、（ｄ）は８×８ブロックを、（ｅ）はＭ≧８、Ｎ≧８であり、Ｎ〉８またはＭ〉８であるＭ×Ｎブロックを示している。

【0187】

図１０で太い枠のブロックがＬＦＮＳＴが適用される領域を指す。図１０の（ａ）及び（ｂ）のブロックに対しては左上端（ｔｏｐ－ｌｅｆｔ）４×４領域に対してＬＦＮＳＴが適用され、図１０の（ｃ）のブロックに対しては連続配置された２個の左上端４×４領域に対して各々ＬＦＮＳＴが適用される。図１０の（ａ）、（ｂ）、（ｃ）では４×４領域単位でＬＦＮＳＴが適用されるため、このようなＬＦＮＳＴを以下「４×４ＬＦＮＳＴ」と命名するようにし、該当変換行列では数式９及び数式１０のＧに対する行列次元を基準［１６×１６］または［１６×８］行列が適用されることができる。

【0188】

より具体的に、図１０の（ａ）の４×４ブロック（４×４ＴＵまたは４×４ＣＵ）に対しては［１６×８］行列が適用され、図１０の（ｂ）及び（ｃ）のブロックに対しては［１６×１６］行列が適用される。これは最悪の場合（ｗｏｒｓｔ ｃａｓｅ）に対する計算複雑度をサンプル当たり８乗算（８ ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓ ｐｅｒ ｓａｍｐｌｅ）に合わせるためである。

【0189】

図１０の（ｄ）及び（ｅ）に対しては左上端８×８領域に対してＬＦＮＳＴが適用され、このようなＬＦＮＳＴを以下「８×８ＬＦＮＳＴ」と命名するようにする。該当変換行列では［４８×１６］または［４８×８］行列が適用されることができる。順方向ＬＦＮＳＴの場合、入力データとして［４８×１］ベクトル（数式９のｘベクトル）が入力されるため、左上端８×８領域の全てのサンプル値が順方向ＬＦＮＳＴの入力値として使われない。即ち、図７の（ａ）の左側順序または図７の（ｂ）の左側順序で見ることができるように、右下端（ｂｏｔｔｏｍ－ｒｉｇｈｔ）の４×４ブロックはそのまま置き、残り３個の４×４ブロックに属するサンプルに基づいて［４８×１］ベクトルを構成することができる。

【0190】

図１０の（ｄ）での８×８ブロック（８×８ＴＵまたは８×８ＣＵ）に［４８×８］行列が適用され、図１０の（ｅ）での８×８ブロックに［４８×１６］行列が適用されることができる。これも最悪の場合（ｗｏｒｓｔ ｃａｓｅ）に対する計算複雑度をサンプル当たり８乗算（８ ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓ ｐｅｒ ｓａｍｐｌｅ）に合わせためである。

【0191】

ブロックもようによって、これに対応する順方向ＬＦＮＳＴ（４×４ＬＦＮＳＴまたは８×８ＬＦＮＳＴ）が適用されると、８個または１６個の出力データ（数式９でのｙベクトル、［８×１］または［１６×１］ベクトル）が生成され、順方向ＬＦＮＳＴでは行列ＧＴの特性上、出力データの数が入力データの数と同じまたは少なくなる。

【0192】

図１１は、一例によって順方向ＬＦＮＳＴの出力データの配列を示し、ブロックもようによって順方向ＬＦＮＳＴの出力データが配置されるブロックを示す図である。

【0193】

図１１に示すブロックの左上端に陰影で処理された領域が順方向ＬＦＮＳＴの出力データが位置する領域に該当し、０で表記された位置は０値で満たされるサンプルを示し、残り領域は、順方向ＬＦＮＳＴにより変更されない領域を示す。ＬＦＮＳＴにより変更されない領域には順方向１次変換の出力データが変更されずにそのまま存在する。

【0194】

前述したように、ブロックもようによって適用される変換行列の次元が変わるため、出力データの数も変わる。図１１のように、順方向ＬＦＮＳＴの出力データが左上端４×４ブロックを全部満たすことができない場合もある。図１１の（ａ）及び（ｄ）の場合、太線で表示されたブロックまたはブロック内部の一部領域には、各々、［１６×８］行列と［４８×８］行列が適用されて順方向ＬＦＮＳＴの出力として［８×１］ベクトルが生成される。即ち、図８の（ｂ）に示すスキャン順序によって８個の出力データのみが図１１の（ａ）及び（ｄ）のように満たされ、残り８個の位置に対しては０で満たされることができる。図１０の（ｄ）のＬＦＮＳＴ適用ブロックの場合、図１１の（ｄ）のように左上端４×４ブロックに隣接した右上端及び左下端の二つの４×４ブロックも０値で満たされる。

【0195】

前記のように、基本的にＬＦＮＳＴインデックスをシグナリングしてＬＦＮＳＴ適用可否及び適用する変換行列を指定するようになる。図１１に示すように、ＬＦＮＳＴが適用される場合、順方向ＬＦＮＳＴの出力データ数が入力データ数と同じまたは少ないことがあるため、０値で満たされる領域が下記のように発生する。

【0196】

１）図１１の（ａ）のように左上端４×４ブロック内にスキャン順序上８番目以後の位置、即ち、９番目から１６番目までのサンプル

【0197】

２）図１１の（ｄ）及び（ｅ）のように、［１６×４８］行列または［８×４８］行列が適用されて左上端４×４ブロックに隣接した二つの４×４ブロックまたはスキャン順序上２番目と３番目の４×４ブロック

【0198】

したがって、前記１）と２）の領域をチェックして０でない（ｎｏｎ－ｚｅｒｏ）データが存在するようになると、ＬＦＮＳＴが適用されないことが確実であるため、該当ＬＦＮＳＴインデックスのシグナリングを省略することができるようになる。

【0199】

一例によって、例えば、ＶＶＣ標準に採択されたＬＦＮＳＴの場合、ＬＦＮＳＴインデックスのシグナリングは、レジデュアルコーディング以後に実行されるため、エンコーディング装置は、レジデュアルコーディングを介してＴＵまたはＣＵブロック内部の全ての位置に対する０でないデータ（有効係数）の存在有無を知ることができるようになる。したがって、エンコーディング装置は、０でないデータ存在有無を介してＬＦＮＳＴインデックスに対するシグナリングを実行するかどうかを判断することができ、デコーディング装置は、ＬＦＮＳＴインデックスのパーシング可否を判断することができる。もし、前記１）と２）で指定された領域に０でないデータが存在しない場合、ＬＦＮＳＴインデックスのシグナリングを実行するようになる。

【0200】

ＬＦＮＳＴインデックスに対する二進化方法でトランケイテッドユナリコード（ｒｕｎｃａｔｅｄ ｕｎａｒｙ ｃｏｄｅ）を適用するため、ＬＦＮＳＴインデックスは最大２個のｂｉｎで構成され、可能なＬＦＮＳＴインデックス値である０、１、２に対する二進化コード（ｂｉｎａｒｙ ｃｏｄｅ）では各々０、１０、１１が割り当てられる。一例によって、１番目のｂｉｎに対してはコンテキストベースのＣＡＢＡＣコーディングが適用され（ｒｅｇｕｌａｒ ｃｏｄｉｎｇ）、２番目のｂｉｎに対してもコンテキストベースのＣＡＢＡＣコーディングが適用されることができる。ＬＦＮＳＴインデックスのコーディングを表で表せると、以下の通りである。

【0201】

【表4】

【0202】

表４のように、１番目のｂｉｎ（ｂｉｎＩｄｘ＝０）に対して、シングルツリーの場合は０番コンテキストを適用し、シングルツリーでない場合は１番コンテキストを適用することができる。また、表４のように、２番目のｂｉｎ（ｂｉｎＩｄｘ＝１）に対しては、２番コンテキストを適用することができる。即ち、１番目のｂｉｎに対しては２個のコンテキストが割り当てられることができ、２番目のｂｉｎに対しては１個のコンテキストが割り当てられることができ、ｃｔｘＩｎｃ値（０、１、２）により各々のコンテキストが区分されることができる。

【0203】

ここで、シングルツリーは、ルマ成分とクロマ成分が同じコーディング構造（ｃｏｄｉｎｇ ｓｔｒｕｃｔｕｒｅ）でコーディングされることを意味する。コーディングユニットが同じコーディング構造で分割された後、コーディングユニットの大きさが特定閾値以下になってルマ成分とクロマ成分が別途のツリー構造でコーディングされる場合、該当コーディングユニットに対してはデュアルツリーと見なして１番目のｂｉｎのコンテキストを決定することができる。即ち、表４のように１番コンテキストを割り当てることができる。

【0204】

または、１番目のｂｉｎに対して変数ｔｒｅｅＴｙｐｅの値がＳＩＮＧＬＥ＿ＴＲＥＥで割り当てられる場合は０番コンテキストを、そうでない場合は１番コンテキストを使用してコーディングできる。

【0205】

一方、採択されたＬＦＮＳＴに対して、下記のような単純化方法が適用されることができる。

【0206】

（ｉ）一例によって、順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定できる。

【0207】

図１０の（ｃ）の場合、左上端に隣接した２個の４×４領域に各々４×４ＬＦＮＳＴが適用されることができ、このとき、最大３２個のＬＦＮＳＴ出力データが生成されることができる。もし、順方向ＬＦＮＳＴに対する出力データ数を最大１６に限定する場合、４×Ｎ／Ｎ×４（Ｎ≧１６）ブロック（ＴＵまたはＣＵ）に対しても左上端に存在する１個の４×４領域に対してのみ４×４ＬＦＮＳＴを適用し、図１０の全てのブロックに対してＬＦＮＳＴを１回のみ適用できる。これを介して映像コーディングに対する具現が単純になる。

【0208】

図１２は、一例によって順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定したことを示す図である。図１２のように、Ｎが１６以上である４×ＮまたはＮ×４ブロックで最左上端４×４領域に対してＬＦＮＳＴが適用されると、順方向ＬＦＮＳＴの出力データは、１６個になる。

【0209】

（ｉｉ）一例によって、ＬＦＮＳＴが適用されない領域に対して追加的にゼロアウト（ｚｅｒｏ－ｏｕｔ）を適用することができる。本文書において、ゼロアウトは、特定領域に属する全ての位置の値を０値で満たすことを意味することができる。即ち、ＬＦＮＳＴによって変更されずに、順方向１次変換の結果を維持している領域に対してもゼロアウトを適用することができる。前述したように、ＬＦＮＳＴは、４×４ＬＦＮＳＴと８×８ＬＦＮＳＴに区分されるため、下記のように２種類（（ｉｉ）－（Ａ）及び（ｉｉ）－（Ｂ））にゼロアウトを区分することができる。

【0210】

（ｉｉ）－（Ａ）４×４ＬＦＮＳＴが適用される時、４×４ＬＦＮＳＴが適用されない領域をゼロアウトすることができる。図１３は、一例によって４×４ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

【0211】

図１３のように、４×４ＬＦＮＳＴが適用されるブロックに対して、即ち、図１１の（ａ）、（ｂ）、及び（ｃ）のブロックに対してＬＦＮＳＴが適用されない領域まで全て０で満たされることができる。

【0212】

一方、図１３の（ｄ）は、図１２のように順方向ＬＦＮＳＴの出力データ個数の最大値を１６に限定した場合、４×４ＬＦＮＳＴが適用されない残りブロックに対してゼロアウトを実行したことを示す。

【0213】

（ｉｉ）－（Ｂ）８×８ＬＦＮＳＴが適用される時、８×８ＬＦＮＳＴが適用されない領域をゼロアウトすることができる。図１４は、一例によって８×８ＬＦＮＳＴが適用されるブロックでのゼロアウトを示す図である。

【0214】

図１４のように、８×８ＬＦＮＳＴが適用されるブロックに対して、即ち、図１１の（ｄ）及び（ｅ）のブロックに対してＬＦＮＳＴが適用されない領域まで全て０で満たされることができる。

【0215】

（ｉｉｉ）前記（ｉｉ）で提示したゼロアウトによってＬＦＮＳＴが適用される時、０で満たされる領域が変わることができる。したがって、前記（ｉｉ）で提案されたゼロアウトによって０でないデータが存在するかどうかを図１１のＬＦＮＳＴの場合より広い領域に対してチェックできる。

【0216】

例えば、（ｉｉ）－（Ｂ）を適用する場合、図１１の（ｄ）及び（ｅ）で０値で満たされる領域に追加して図１４で追加的に０で満たされた領域まで０でないデータが存在するかどうかをチェックした後、０でないデータが存在しない場合にのみＬＦＮＳＴインデックスに対するシグナリングを実行することができる。

【0217】

もちろん、前記（ｉｉ）で提案されたゼロアウトを適用しても、既存ＬＦＮＳＴインデックスシグナリングと同じく０でないデータが存在するかどうかをチェックすることができる。即ち、図１１に０で満たされたブロックに対して０でないデータが存在するかどうかをチェックしてＬＦＮＳＴインデックスシグナリングを適用することができる。このような場合、エンコーディング装置にのみゼロアウトを実行し、デコーディング装置では該当ゼロアウトを仮定することなく、即ち、図１１で明示的に０で表記された領域に対してのみ０でないデータが存在するかどうかのみをチェックしてＬＦＮＳＴインデックスパーシングを実行することができる。

【0218】

前記ＬＦＮＳＴに対する単純化方法（（ｉ）、（ｉｉ）－（Ａ）、（ｉｉ）－（Ｂ）、（ｉｉｉ））の組み合わせを適用した多様な実施例が導出されることができる。もちろん、前記単純化方法に対する組み合わせは、下記の実施例に限定されるものではなく、任意の組み合わせをＬＦＮＳＴに適用できる。

【0219】

実施例

【0220】

－順方向ＬＦＮＳＴに対する出力データ数を最大１６個に限定→（ｉ）

【0221】

－４×４ＬＦＮＳＴが適用される時、４×４ＬＦＮＳＴが適用されない領域を全てゼロアウト→（ｉｉ）－（Ａ）

【0222】

－８×８ＬＦＮＳＴが適用される時、８×８ＬＦＮＳＴが適用されない領域を全てゼロアウト→（ｉｉ）－（Ｂ）

【0223】

－既存０値で満たされる領域と追加的なゼロアウト（（ｉｉ）－（Ａ）、（ｉｉ）－（Ｂ））によって０で満たされる領域に対しても、０でないデータが存在するかどうかをチェックした後、０でないデータが存在しない場合にのみＬＦＮＳＴインデクシングシグナリング→（ｉｉｉ）

【0224】

前記実施例の場合、ＬＦＮＳＴが適用される時、０でない出力データが存在できる領域が左上端４×４領域内部に制限される。より詳細に、図１３の（ａ）と図１４の（ａ）の場合、スキャン順序上、８番目の位置が０でないデータが存在できる最後の位置になり、図１３の（ｂ）及び（ｄ）と図１４の（ｂ）の場合、スキャン順序上、１６番目の位置（即ち、左上端４×４ブロックの右下端の最端位置）が０でないデータが存在できる最後の位置になる。

【0225】

したがって、ＬＦＮＳＴが適用された時、レジデュアルコーディング過程が許容されない位置（最後の位置を超えた位置）で０でないデータが存在するかどうかをチェックした後、ＬＦＮＳＴインデックスシグナリング可否が決定されることができる。

【0226】

（ｉｉ）で提案されたゼロアウト方式の場合、１次変換とＬＦＮＳＴを全て適用した時に最終的に発生するようになるデータの数を減らすため、全体変換過程を実行する時に要求される計算量を減らすことができる。即ち、ＬＦＮＳＴが適用される場合、ＬＦＮＳＴが適用されない領域に存在する順方向１次変換出力データに対してもゼロアウトを適用するため、順方向１次変換を実行する時からゼロアウトになる領域に対するデータを生成する必要がない。したがって、該当データ生成に要求される演算量を節約することができる。（ｉｉ）で提案されたゼロアウト方式の追加的な効果を整理すると、下記の通りである。

【0227】

第一、前記のように全体変換過程の実行に必要な計算量が低減される。

【0228】

特に、（ｉｉ）－（Ｂ）を適用する場合、最悪の場合に対する計算量が減少して変換過程を軽量化することができる。説明を敷延すると、一般的に大きいサイズの１次変換実行に多い量の演算が要求され、（ｉｉ）－（Ｂ）を適用するようになると、順方向ＬＦＮＳＴ実行結果として導出されるデータの数を１６個以下に減らすことができ、全体ブロック（ＴＵまたはＣＵ）大きさが大きくなるほど、変換演算量低減効果は一層増加される。

【0229】

第二、変換過程全体に必要な演算量が減少して変換実行に必要な電力消費を減らすことができる。

【0230】

第三、変換過程に伴われる遅延時間（ｌａｔｅｎｃｙ）を減少させる。

【0231】

ＬＦＮＳＴのような２次変換は、既存１次変換に計算量を追加するようになるため、変換実行に伴われる全体遅延時間を増加させる。特にイントラ予測の場合、予測過程で隣接ブロックの復元データが使われるため、エンコーディング時に２次変換による遅延時間増加が復元（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）までの遅延時間増加につながるようになって、イントラ予測エンコーディングの全体的な遅延時間増加につながることができる。

【0232】

しかし、（ｉｉ）で提示したゼロアウトを適用するようになると、ＬＦＮＳＴ適用時に１次変換実行の遅延時間を大幅減らすことができるため、変換実行全体に対する遅延時間は、そのまま維持され、または減るようになって、エンコーディング装置をより簡単に具現できる。

【0233】

一方、従来のイントラ予測は、現在符号化しようとするブロックを一つの符号化単位と見なして分割無しで符号化を実行した。しかし、ＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｉｔｉｏｎｓ）コーディングは、現在符号化しようとするブロックを水平方向または垂直方向に分割してイントラ予測符号化を実行することを意味する。このとき、分割されたブロック単位で符号化／復号化を実行して復元されたブロックを生成し、復元されたブロックは次に分割されたブロックの参照ブロックとして使われることができる。一例によって、ＩＳＰコーディング時に一つのコーディングブロックが２個または４個のサブブロックに分割されてコーディングされることができ、ＩＳＰで一つのサブブロックは、隣接した左側または隣接した上側に位置したサブブロックの復元されたピクセル値を参照してイントラ予測が実行される。以下、使われる「コーディング」は、エンコーディング装置で実行されるコーディングとデコーディング装置で実行されるデコーディングを全て含む概念で使われることができる。

【0234】

一方、以下ではＬＦＮＳＴインデックスとＭＴＳインデックスのシグナリングに対して説明する。

【0235】

一例に係るＬＦＮＳＴインデックスとＭＴＳインデックスのシグナリングに関連したコーディングユニットシンタックステーブル、変換ユニットシンタックステーブル、及びレジデュアルコーディングシンタックステーブルは、以下の表の通りである。表５によると、ＭＴＳインデックスは、変換ユニットレベルからコーディングユニットレベルのシンタックスに移動し、ＬＦＮＳＴインデックスシグナリング以後にシグナリングされる。また、コーディングユニットにＩＳＰが適用される場合、ＬＦＮＳＴを許容しない制限条件が除去された。コーディングユニットにＩＳＰが適用される場合、ＬＦＮＳＴを許容しない制限条件が除去されるため、ＬＦＮＳＴを全てのイントラ予測ブロックに適用できる。また、ＭＴＳインデックス及びＬＦＮＳＴインデックスの両方ともコーディングユニットレベルの最後の部分に条件付きでシグナリングされる。

【0236】

【表5】

【0237】

【表6】

【0238】

【表7】

【0239】

前記表の主要変数の意味は、下記の通りである。

【0240】

１．ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔ：現在コーディングブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）の幅と高さ

【0241】

２．ｌｏｇ２ＴｂＷｉｄｔｈ、ｌｏｇ２ＴｂＨｅｉｇｈｔ：現在変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）の幅と高さに対するベース－２のログ値、ゼロアウトが反映されて０ではない係数（ｎｏｎ－ｚｅｒｏ ｃｏｅｆｆｉｃｉｅｎｔ）が存在できる左上端領域に縮小されることができる。

【0242】

３．ｓｐｓ＿ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ：ＬＦＮＳＴの適用可能（ｅｎａｂｌｅ）可否を示すフラグであって、フラグ値が０である場合は、ＬＦＮＳＴが適用不可であることを示し、フラグ値が１である場合は、ＬＦＮＳＴが適用可能であることを示す。シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ）に定義されている。

【0243】

４．ＣｕＰｒｅｄＭｏｄｅ［ｃｈＴｙｐｅ］［ｘ０］［ｙ０］：変数ｃｈＴｙｐｅと（ｘ０、ｙ０）位置に対応される予測モード、ｃｈＴｙｐｅは０と１値を有することができ、０はルマ成分を示し、１はクロマ成分を示す。（ｘ０、ｙ０）位置は、ピクチャ上での位置を示し、ＣｕＰｒｅｄＭｏｄｅ［ｃｈＴｙｐｅ］［ｘ０］［ｙ０］値ではＭＯＤＥ＿ＩＮＴＲＡ（イントラ予測）とＭＯＤＥ＿ＩＮＴＥＲ（インター予測）が可能である。

【0244】

５．ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］：（ｘ０、ｙ０）位置に対する内容は、前記４と同じである。（ｘ０、ｙ０）位置でのどのようなＩＳＰ分割が適用されたかを示し、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴは、（ｘ０、ｙ０）位置に該当するコーディングユニットがパーティションブロックに分割されないことを示す。

【0245】

６．ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］：（ｘ０、ｙ０）位置に対する内容は、前記４と同じである。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは、ＭＩＰ（Ｍａｔｒｉｘ－ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）予測モードが適用されたかどうかを示すフラグである。フラグ値が０である場合は、ＭＩＰが適用不可であることを示し、フラグ値が１である場合は、ＭＩＰが適用されることを示す。

【0246】

７．ｃＩｄｘ：０値は、ルマを示し、１値と２値は、各々、クロマ成分であるＣｂ、Ｃｒを示す。

【0247】

８．ｔｒｅｅＴｙｐｅ：シングルツリー（ｓｉｎｇｌｅ－ｔｒｅｅ）とデュアルツリー（ｄｕａｌ－ｔｒｅｅ）などを指す（ＳＩＮＧＬＥ＿ＴＲＥＥ：シングルツリー、ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ：ルマ成分に対するデュアルツリー、ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ：クロマ成分に対するデュアルツリー）

【0248】

９．ｌａｓｔＳｕｂＢｌｏｃｋ：最後の有効係数（ｌａｓｔ ｎｏｎ－ｚｅｒｏ ｃｏｅｆｆｉｃｉｅｎｔ）が位置するサブブロック（ｓｕｂ－ｂｌｏｃｋ、Ｃｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ（ＣＧ））のスキャン順序上の位置を示す。０は、ＤＣ成分が含まれているサブブロックを指し、０より大きい場合は、ＤＣ成分が含まれているサブブロックでない。

【0249】

１０．ｌａｓｔＳｃａｎＰｏｓ：最後の有効係数が一サブブロック内部でスキャン順序上どの位置にあるかを示す。一つのサブブロックが１６個の位置で構成されている場合、０から１５までの値が可能である。

【0250】

１１．ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］：パーシングしようとするＬＦＮＳＴインデックスシンタックスエレメントである。パーシングされない場合、０値と類推される。即ち、デフォルト値が０に設定され、ＬＦＮＳＴを適用しないことを示す。

【0251】

１２．ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ、ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ：最後の有効係数が変換ブロック内に位置するｘ座標とｙ座標を示す。ｘ座標は、０から始めて左側から右側へ増加し、ｙ座標は０から始めて上側から下側に増加する。二つの変数の値が全て０である場合は、最後の有効係数がＤＣに位置することを意味する。

【0252】

１３．ｃｕ＿ｓｂｔ＿ｆｌａｇ：現在ＶＶＣ標準に含まれているサブブロック変換（ＳｕｂＢｌｏｃｋ Ｔｒａｎｓｆｏｒｍ、ＳＢＴ）が適用可能かどうかを示すフラグであって、フラグ値が０である場合は、ＳＢＴが適用不可であることを示し、フラグ値が１である場合は、ＳＢＴが適用されることを示す。

【0253】

１４．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ：各々インターＣＵとイントラＣＵに対して明示的なＭＴＳが適用されたかどうかを示すフラグであって、該当フラグ値が０である場合は、インターＣＵまたはイントラＣＵに対してＭＴＳが適用不可であることを示し、１である場合は、適用可能であることを示す。

【0254】

１５．ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］：パーシングしようとするＭＴＳインデックスシンタックスエレメントである。パーシングされない場合、０値と類推される。即ち、デフォルト値が０に設定され、水平方向と垂直方向に対して全てＤＣＴ－２が適用されることを示す。

【0255】

表５に示すように、ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］をコーディングするとき、様々な条件がチェックされ、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］値が０である場合にのみｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］がシグナリングされる。

【0256】

また、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］は、ルマ成分に対して有効係数が存在するかどうかを示すフラグである。

【0257】

表５によると、ルマ成分に対するコーディングユニットの幅と高さが両方とも３２以下であるとき、ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］がシグナリングされ（Ｍａｘ（ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔ）<＝３２）、即ち、ＭＴＳ適用可否がルマ成分に対するコーディングユニットの幅と高さにより決定される。

【0258】

また、表５によると、ＩＳＰモードの場合にも（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ！＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］をシグナリングするように構成でき、全てのＩＳＰパーティションブロックに対して同じＬＦＮＳＴインデックス値が適用されることができる。

【0259】

一方、ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、ＩＳＰモードでない場合にのみシグナリングされることができる（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］＝＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）。

【0260】

表７のようにｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを決定する過程で（ここで、ｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔは、各々、ゼロアウトが実行された後に残った左上端領域に対する幅と高さのベース－２（ｂａｓｅ－２）ログ値を示す）ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］値をチェックする部分が省略されることができる。

【0261】

また、一例によってレジデュアルコーディングでｌｏｇ２ＺｏＴｂＷｉｄｔｈとｌｏｇ２ＺｏＴｂＨｅｉｇｈｔを決定するとき、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅ＿ｆｌａｇをチェックする条件が追加されることができる。

【0262】

表５の変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ＬＦＮＳＴが適用されるとき、ゼロアウトになる位置に有効係数が存在する場合は０であり、そうでない場合は１になる。変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、表７に示す様々な条件によって設定されることができる。

【0263】

一例によって、表５の変数ＬｆｎｓｔＤｃＯｎｌｙは、該当ＣＢＦ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ、該当ブロック内に有効係数が一つでも存在する場合は１、そうでない場合は０）値が１である変換ブロックに対して最後の有効係数が全てＤＣ位置（左上端位置）に位置する場合は１になり、そうでない場合は０になる。より具体的に、デュアルツリールマである場合には最後の有効係数の位置をルマ変換ブロック一つに対してチェックし、デュアルツリークロマである場合にはＣｂに対する変換ブロックとＣｒに対する変換ブロックの両方ともに対して最後の有効係数位置をチェックする。シングルツリーである場合にはルマ、Ｃｂ、Ｃｒに対する変換ブロックに対して最後の有効係数位置をチェックすることができる。

【0264】

表５において、ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、最初に１に設定され、この値は、表７のレジデュアルコーディングで変更されることができる。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ゼロアウトによって０で満たされるべき領域（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ>１５||ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ>１５）に有効係数が存在すると、その値が１から０へ変更され、この場合、表５のように、ＭＴＳインデックスはシグナリングされない。

【0265】

一方、表５のように、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］が０である場合にはｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］コーディングを省略することができる。即ち、ルマ成分のＣＢＦ値が０である場合は、変換を適用しないため、ＭＴＳインデックスをシグナリングする必要がなくて、ＭＴＳインデックスコーディングを省略することができる。

【0266】

一例によって、前記技術的特徴は、他の条件付き構文で具現されることができる。例えば、ＭＴＳが実行された後、現在ブロックのＤＣ領域を除外した領域に有効係数が存在するかどうかを示す変数を導出することができ、前記変数がＤＣ領域を除外した領域に有効係数が存在することを示す場合、ＭＴＳインデックスをシグナリングすることができる。即ち、現在ブロックのＤＣ領域を除外した領域に有効係数が存在するということは、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］値が１であることを示し、この場合、ＭＴＳインデックスをシグナリングすることができる。

【0267】

前記変数は、ＭｔｓＤｃＯｎｌｙで表すことができ、変数ＭｔｓＤｃＯｎｌｙは、コーディングユニットレベルで最初に１に設定された後、レジデュアルコーディングレベルで現在ブロックのＤＣ領域を除外した領域に有効係数が存在することを示す場合、その値が０に変更されることができる。変数ＭｔｓＤｃＯｎｌｙが０である場合、ＭＴＳインデックスがシグナリングされるように映像情報が構成されることができる。

【0268】

もし、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］が０である場合は、表６の変換ユニットレベルでレジデュアルコーディングシンタックスの呼び出しが行われないため、変数ＭｔｓＤｃＯｎｌｙは、初期値１を維持するようになる。このような場合、変数ＭｔｓＤｃＯｎｌｙが０に変更されなかったため、ＭＴＳインデックスがシグナリングされないように映像情報が構成されることができる。即ち、ＭＴＳインデックスは、パーシング及びシグナリングされない。

【0269】

一方、デコーディング装置は、表７の変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇを導出するために変換係数のカラーインデックス（ｃＩｄｘ）を判断することができる。カラーインデックス（ｃＩｄｘ）が０であることは、ルマ成分を意味する。

【0270】

一例によって、現在ブロックのルマ成分にのみＭＴＳが適用されることができるため、デコーディング装置は、ＭＴＳインデックスのパーシング可否を決定する変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇを導出する時、カラーインデックスがルマであるかどうかを判断することができる。

【0271】

変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、ＭＴＳ適用時にゼロアウトが実行されたかどうかを示す変数であって、ＭＴＳ実行後にゼロアウトにより最後の有効係数が存在できる左上端領域、即ち、左上端１６×１６領域以外の領域に変換係数が存在するかどうかを示す。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、表５のようにコーディングユニットレベルで最初に１に設定され（ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝１）、１６×１６領域以外の領域に変換係数が存在すると、表７のようにレジデュアルコーディングレベルでその値が１から０へ変更されることができる（ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝０）。変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇの値が０である場合、ＭＴＳインデックスはシグナリングされない。

【0272】

表７のように、レジデュアルコーディングレベルで、ＭＴＳに伴われるゼロアウトが実行されたかどうかによって０でない変換係数が存在できるノンゼロアウト領域が設定されることができ、この場合にも、カラーインデックス（ｃＩｄｘ）が０である場合、ノンゼロアウト領域は、現在ブロックの左上端１６×１６領域に設定されることができる。

【0273】

このように、ＭＴＳインデックスのパーシング可否を決定する変数を導出する時は、カラー成分がルマであるかまたはクロマであるかを判断するが、現在ブロックのルマ成分またはクロマ成分の両方ともにＬＦＮＳＴが適用されることができるため、ＬＦＮＳＴインデックスのパーシング可否を決定する変数を導出する時はカラー成分を判断しない。

【0274】

例えば、表５にはＬＦＮＳＴ適用時にゼロアウトが実行されたことを示すことができる変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇが示されている。変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、現在ブロックの左上端第１の領域を除外した第２の領域に有効係数が存在するかどうかを示し、この値は、最初に１に設定され、第２の領域に有効係数が存在すると、その値は、０に変更されることができる。最初設定された変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が１に維持されてこそＬＦＮＳＴインデックスがパーシングされることができる。変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が１であるかどうかを判断及び導出する時、現在ブロックのルマ成分またはクロマ成分の両方ともにＬＦＮＳＴが適用されることができるため、現在ブロックのカラーインデックスは判断されない。

【0275】

表５のように、コーディングユニット毎にＭＴＳインデックスがシグナリングされており、ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇが１である時のみｍｔｓ＿ｉｄｘ（ＭＴＳインデックス）をシグナリングするようになっている。

【0276】

また、表７に示すように、ＭｔｓＺｅｒｏＯｕｔＣｏｅｆｆＦｌａｇ値は、レジデュアルコーディングレベルで特定条件（ｉｆ（（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ>１５||ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ>１５）＆＆ｃＩｄｘ＝＝０））によって決定されることができる。

【0277】

ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値は、最後の０でない係数に対するＸ座標（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ）値が１５より大きいまたは最後の０でない係数に対するＹ座標（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ）値が１５より大きい場合、０に設定される（ここで、Ｘ座標値は、該当変換ブロック内で左側から右側へ増加し、Ｙ座標値は、該当変換ブロック内で上側から下側へ増加する。該当変換ブロックの左上端位置は（０、０）である。

【0278】

ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、表５で１に初期化されたため、表７で提示された条件を満たしてＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が０に設定されない場合、１値がそのまま維持される。

【0279】

水平方向に適用される１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）をＡ、垂直方向に適用される１次変換をＢとするとき、１次変換は（Ａ、Ｂ）で表示されることができる。現在ＶＶＣ標準で、（ＤＳＴ－７、ＤＳＴ－７）、（ＤＳＴ－７、ＤＣＴ－８）、（ＤＣＴ－８、ＤＳＴ－７）、（ＤＣＴ－８、ＤＣＴ－８）である場合、該当変換ブロックの左上端１６×１６領域にのみ変換係数が存在するように制限している。したがって、表７の（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ>１５||ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ>１５）条件は、最後の０でない係数が左上端１６×１６領域の外側に位置することを示す。表７において、変数ｃＩｄｘはカラー成分を示し、変数ｃＩｄｘ値が０である場合はルマ成分であることを意味する。

【0280】

現在ＶＶＣ標準ではＭＴＳインデックス（ｍｔｓ＿ｉｄｘ）は、レジデュアルコーディングに対するパーシング以後にパーシングされる。より具体的に、表５は、コーディングユニットに対するシンタックスパーシング関数であるコーディングユニットであり、変換ツリー関数以後にＭＴＳインデックスがパーシングされ、変換ツリー関数内でレジデュアルコーディングパーシングを実行する関数が呼び出される。したがって、ＭＴＳインデックスは、レジデュアルに対するパーシング以後にパーシングされ（表７に示すレジデュアルパーシング関数が該当レジデュアルコーディングに対するパーシングを担当する）、レジデュアルコーディングが進行される間にデコーディング観点で見ると、ＭＴＳインデックス情報を知らないため、どのような１次変換が適用されるかを知ることができない。ただし、ＭＴＳが適用可能（ｅｎａｂｌｅ）であり、ＳＢＴまたはＩＳＰが適用される場合または暗黙的（ｉｍｐｌｉｃｉｔ）ＭＴＳが適用される場合には、ＭＴＳが暗黙的に適用されるため、レジデュアルコーディングに対するパーシング前に該当１次変換に対して知ることができる。

【0281】

表７のような条件チェックが必要な理由は、現在ＶＶＣ標準で３２長さＤＳＴ－７または３２長さＤＣＴ－８の場合、順方向変換を適用したとき、１６個の変換係数のみを出力するように制限しているためである。例えば、ＭＴＳインデックス値が０より大きくて適用される１次変換が（ＤＳＴ－７、ＤＳＴ－７）、（ＤＳＴ－７、ＤＣＴ－８）、（ＤＣＴ－８、ＤＳＴ－７）、（ＤＣＴ－８、ＤＣＴ－８）のうち一つであることを指す場合、該当変換ブロックの左上端１６×１６領域にのみ０でない変換係数が存在できるようになる。

【0282】

したがって、最後の０でない変換係数の位置が左上端１６×１６領域の外側である場合は、ＭＴＳインデックス値が０である場合に該当するため、表５のようにＭＴＳインデックスに対するシグナリングを省略することができる。しかしながら、最後の０でない変換係数の位置が左上端１６×１６領域の内部であるとしても、左上端１６×１６領域の外側に０でない係数が存在できるため、該当場合に対してはＭＴＳインデックス値が０である場合にも、ＭＴＳインデックスを０でシグナリングする状況が発生することができ、該当場合に対して説明すると、下記の通りである。

【0283】

１次変換が（ＤＣＴ－２、ＤＣＴ－２）である場合、０でない最後の係数の位置が左上端１６×１６領域に存在すると同時に、左上端１６×１６外側にも０でない変換係数が存在できる。これは変換ブロック内でのスキャン順序上左上端１６×１６領域の外側、即ち、左上端１６×１６領域以外の領域をスキャンして、かつ左上端１６×１６領域をスキャンすることもでき、それに対して、左上端１６×１６領域をスキャンして、かつ左上端１６×１６領域の外側をスキャンすることができるためである。

【0284】

図１５は、本文書の一例に係る３２×３２変換ブロックのスキャンを説明するための図であり、より具体的に、３２×３２変換ブロックが４×４係数グループ（ｃｏｅｆｆｉｃｉｅｎｔ ｇｒｏｕｐ、ＣＧ）に分けられてスキャンされることを示している。本文書ではＣＧに分けられてスキャンされるとき、該当ＣＧを“スキャンサブブロック”とも呼ばれる。

【0285】

各ＣＧ毎に表示された数字は、順方向スキャン順序を示し、デコーディング装置では最後の０でない変換係数が存在する位置から逆方向スキャン順序によってスキャンされる。図１５では２５番ＣＧに最後の０でない変換係数が存在すると仮定することができ、該当２５番ＣＧは、左上端１６×１６領域内に存在する。

【0286】

図１５のように２５番ＣＧに最後の０でない変換係数が存在する場合、デコーディング装置では逆方向スキャン順序によって最後の０でない変換係数が存在するＣＧからスキャンするため、図１５に表記された数字を基準にして、２５、２４、２３、...、３、２、１の順序によってＣＧをスキャンするようになる。２４、２３、２２、２１、２０、１７、１６、１５、１１番ＣＧは、左上端１６×１６領域の外側に位置しているため、表７のようにＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸとＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹが左上端１６×１６領域に該当するかをチェックすることだけでは、左上端１６×１６領域にのみ０でない係数が存在するかどうかを知ることができない。

【0287】

したがって、レジデュアルコーディングに対するパーシングを実行するとき、０でない変換係数をスキャンする度に該当４×４係数グループが左上端１６×１６領域に属するかどうかをチェックすると、左上端１６×１６領域の外側に０でない係数が存在する場合に対してのみＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値を０に設定できる。これを反映したレジデュアルコーディングシンタックスは、以下の表の通りである。

【0288】

【表8-1】

【0289】

【表8-2】

【0290】

【表8-3】

【0291】

表８のように０でない変換係数が発見される度に左上端１６×１６領域に位置するかをチェックして（ｉｆ（（ｘＣ>１５||ｙＣ>１５）＆＆ｃＩｄｘ＝＝０））ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値を０に設定するように構成できる。このとき、変換係数の存在有無を示すフラグ情報であるｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｘＣ］［ｙＣ］値が１である場合に前記条件をチェックし（ｉｆ（ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｘＣ］［ｙＣ］））、ｘＣとｙＣは、各々、現在変換ブロック内部でのサンプル単位Ｘ座標とＹ座標を指す。該当変換ブロックの左上端位置は（０、０）である。

【0292】

表８には表７で提示した条件チェックとＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ更新部分（ｉｆ（（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ>１５||ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ>１５）＆＆ｃＩｄｘ＝＝０）ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝０）が含まれている。もし、最後の０でない変換係数に対するｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｘＣ］［ｙＣ］値が１と類推される場合、表８での該当条件チェックとＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ更新部分を除去することもできる。

【0293】

整理すると、表８のようなシンタックス構成を介して、表５でＭＴＳインデックスをシグナリングする時は、どのような１次変換が適用されたかにかかわらず、ルマ変換ブロックの左上端１６×１６領域に０でない変換係数が存在する場合にのみＭＴＳインデックスをシグナリングするようになる。ＭＴＳインデックスがシグナリングされない場合、該当値は０と類推、即ち、（ＤＣＴ－２、ＤＣＴ－２）が適用される。

【0294】

前述したように、ＭＴＳインデックスがシグナリングされる前に適用される１次変換を知ることができる場合は、下記の三つである。

【0295】

１）サブブロック変換（Ｓｕｂｂｌｏｃｋ Ｔｒａｎｓｆｏｒｍ、ＳＢＴ）が適用される場合

【0296】

２）イントラサブパーティション（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ、ＩＳＰ）が適用される場合

【0297】

３）暗黙的ＭＴＳが適用される場合

【0298】

（１）の場合、表５でＳＢＴ適用可否を指すｃｕ＿ｓｂｔ＿ｆｌａｇ値が０である場合にのみＭＴＳインデックスをシグナリングするように構成されているため、即ち、ＳＢＴが適用されない場合にのみＭＴＳインデックスがシグナリングされるため、ＳＢＴが適用される場合は、表７の修正と関係がない。

【0299】

（２）の場合も、表４でＩＳＰが適用されない場合にのみＭＴＳインデックスがシグナリングされるため（表５でＭＴＳインデックスをシグナリングするとき、ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔ［ｘ０］［ｙ０］＝＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ条件をチェックすることに該当）、ＩＳＰが適用される場合も表８の修正と関係がない。

【0300】

（３）の場合に対しても、表５で明示的（ｅｘｐｌｉｃｉｔ）ＭＴＳが適用可能な（ｅｎａｂｌｅ）場合に対してのみＭＴＳインデックスをシグナリングするため、暗黙的ＭＴＳが適用される場合も表８の修正と関係がない。即ち、イントラ予測により生成される残差ブロックに適用されるＭＴＳ（イントラＭＴＳ）の場合は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値が１であり、インター予測により生成される残差ブロックに適用されるＭＴＳ（インターＭＴＳ）の場合は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ値が１である場合にのみ、ＭＴＳインデックスがシグナリングされるため、表８の修正は、暗黙的ＭＴＳが適用される場合に影響を与えない。

【0301】

一方、他の例によって、以下の表のようにＣＧ単位で０でない係数が左上端１６×１６領域の外側に存在するかどうかをチェックすることができる。

【0302】

【表9-1】

【0303】

【表9-2】

【0304】

【表9-3】

【0305】

表９のｘＳとｙＳは、現在の変換ブロック内部の各ＣＧ単位でのＸ座標位置とＹ座標位置を示し、変換係数が左上端１６×１６外側に位置するかを確認するために、ｘＳとｙＳをサンプル単位の座標に変換する必要がある。即ち、ｘＳとｙＳは、（ｘＳ<<ｌｏｇ２ＳｂＷ）、（ｙＳ<<ｌｏｇ２ＳｂＨ）のようにサンプル単位座標に変換される。このとき、ｌｏｇ２ＳｂＷとｌｏｇ２ＳｂＨは、各々、該当ＣＧの幅と高さに対するベース－２ログ値であり、Ｘ座標は左側から右側へ増加し、Ｙ座標は上側から下側へ増加する。該当変換ブロックの左上端位置に対する座標は（０、０）である。

【0306】

表９に示すようにＣＧ単位でスキャンするとき、各ＣＧに対して該当ＣＧ内部に０でない変換係数が存在し（ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ［ｘＳ］［ｙＳ］値が１である場合）、該当ＣＧが該当変換ブロックの左上端１６×１６領域の外側に位置することが確認されると（（ｘＳ<<ｌｏｇ２ＳｂＷ）>１５||（ｙＳ<<ｌｏｇ２ＳｂＨ）>１５））、ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値は、０に設定される。

【0307】

表５に示すように、変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値は１に初期化されるため、ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が０に設定されない場合は１値に維持される。もし、最後の０でない変換係数が属するＣＧのｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ［ｘＳ］［ｙＳ］値が１と類推される場合、表９で表７での該当条件チェック部分とＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ更新部分（ｉｆ（（ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＸ>１５||ＬａｓｔＳｉｇｎｉｆｉｃａｎｔＣｏｅｆｆＹ>１５）＆＆ｃＩｄｘ＝＝０）ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ＝０）を除去することもできる。

【0308】

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使われた具体的な名称に制限されない。

【0309】

図１６は、本文書の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。

【0310】

図１６に開示された各ステップは、図４乃至図１５で詳述した内容のうち一部に基づいている。したがって、図３乃至図１５で詳述した内容と重複する具体的な内容は、説明を省略または簡単にする。

【0311】

一実施例に係るデコーディング装置３００は、レジデュアル情報を含むビットストリームを受信し、ビットストリームから現在ブロック、即ち、変換対象になる変換ブロックに対するレジデュアル情報、例えば、量子化された変換係数を導出することができる（Ｓ１６１０）。

【0312】

より具体的に、デコーディング装置３００は、ビットストリームから現在ブロックに対する量子化された変換係数に関する情報をデコーディングすることができ、現在ブロックに対する量子化された変換係数に関する情報に基づいて対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に関する情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）またはスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）に含まれることができ、簡素化変換（ＲＳＴ）が適用されるかどうかに対する情報、簡素化ファクタに関する情報、簡素化変換を適用する最小変換サイズに対する情報、簡素化変換を適用する最大変換サイズに対する情報、簡素化逆変換サイズ、変換セットに含まれている変換カーネルマトリクスのうちいずれか一つを指示する変換インデックスに対する情報のうち少なくとも一つを含むことができる。

【0313】

デコーディング装置３００は、レジデュアル情報に基づいて現在ブロック内の最後の有効係数の位置及び現在ブロックに対する変換係数を導出することができる（Ｓ１６２０）。デコーディング装置３００は、現在ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出することができる。

【0314】

導出された変換係数は、現在ブロックに２次元配列されることができ、デコーディング装置は、このようなレジデュアルコーディングを介して現在ブロックで０でないデータ、即ち、０でない有効係数に対する情報を導出することができる。即ち、デコーディング装置は、現在ブロックで０でない有効係数の最後の位置情報を把握することができる。

【0315】

Ｓ１６２０のレジデュアル情報に基づいて導出された変換係数は、前記のように逆量子化された変換係数であってもよく、量子化された変換係数であってもよい。即ち、変換係数は、量子化可否にかかわらず、現在ブロックで０でないデータであるかどうか及び有効係数の位置を把握することができるデータであればよい。

【0316】

デコーディング装置は、変換係数にＬＦＮＳＴを適用して修正された変換係数を導出することもあり、ＬＦＮＳＴを実行しないこともある。

【0317】

デコーディング装置は、変換係数または修正された変換係数を逆１次変換してレジデュアルサンプルを導出することができる。デコーディング装置は、逆１次変換のために通常的なＤＣＴ－２を変換カーネルとして使用することもでき、詳述されたＭＴＳを適用することもできる。

【0318】

ＭＴＳは、暗黙的に実行されることもでき、明示的なＭＴＳインデックスのシグナリングに基づいて実行されることもできる。

【0319】

デコーディング装置は、ＭＴＳインデックスをパーシングするために所定の条件をチェックすることができる。一例によって、デコーディング装置は、現在ブロックの左上端第１の領域を除外した第２の領域に有効係数が存在しないことに基づいてＭＴＳインデックスをパーシングすることができる（Ｓ１６３０）。

【0320】

ＭＴＳインデックスは、第２の領域に有効係数が存在するかどうかを示すフラグ情報を導出することができ、このとき、フラグ情報は、有効係数がスキャンされるスキャンサブブロック単位で有効係数が第２の領域に存在するかどうかを判断することによって導出されることができる。

【0321】

デコーディング装置は、変換の対象になる現在ブロックの左上端第１の領域の変換係数を対象にして逆１次変換を実行することができる。即ち、現在ブロックの左上端第１の領域を除外した第２の領域は、ゼロアウトされて変換係数が存在しない。

【0322】

一例によって、ＭＴＳが適用される場合、第１の領域は、現在ブロックの左上端１６×１６領域であり、この場合、第２の領域は、左上端１６×１６以外の領域を示すことができる。

【0323】

スキャンサブブロックは、４×４ブロックであり、スキャンサブブロックは、図１５のように、現在ブロック内の前記最後の有効係数の位置から逆対角スキャン方向によってスキャンされることができる。

【0324】

ゼロアウトされた領域に有効係数が存在するかどうかを判断した後、ＭＴＳインデックスをパーシングするために、デコーディング装置は、第２の領域に有効係数が存在するかどうかを示すフラグ情報を導出し、これに基づいてＭＴＳインデックスをパーシングすることができる。

【0325】

このようなフラグ情報は、変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇであり、有効係数がスキャンされるスキャンサブブロック単位で有効係数が第２の領域に存在するかどうかが判断されることができる。

【0326】

変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、表９のようにスキャンサブブロック内に有効係数が存在するかどうかを示すフラグ（ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇまたはｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ）値が１であり、スキャンサブブロック内に存在する有効係数が第２の領域に位置する場合（（（ｘＳ<<ｌｏｇ２ＳｂＷ）>１５||（ｙＳ<<ｌｏｇ２ＳｂＨ）>１５））、第２の領域に前記有効係数が存在することを指示することができる。

【0327】

または、表８のように変換係数をスキャンする度に４×４スキャンサブブロックが第１の領域に属するかどうかをチェックすることによって、変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇが導出されることができる。即ち、スキャンサブブロック内に有効係数が存在するかどうかを示すフラグ（ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ）値が１であり、スキャンサブブロック内に存在する有効係数が第２の領域に位置する場合（ｉｆ（（ｘＣ>１５||ｙＣ>１５））、変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、第２の領域に有効係数が存在することを指示することができる。

【0328】

または、変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、有効係数が存在するかどうかを示すフラグ値が１であり、スキャンサブブロック自体が第２の領域に位置する場合、第２の領域に有効係数が存在することを指示することもできる。

【0329】

このような変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、最初１に設定されることができ、有効係数が第２の領域に位置しない場合、１に維持され、有効係数が第２の領域に位置する場合、０に変更されることができる。

【0330】

整理すると、デコーディング装置は、フラグ情報が第２の領域に有効係数が存在しないことを指示することに基づいてＭＴＳインデックスをパーシングすることができ、最初１に設定された変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇがその値を維持するとき、ＭＴＳインデックスがパーシングされることができる。

【0331】

この後、デコーディング装置は、ＭＴＳインデックスに基づいて導出された変換カーネルを第１の領域の変換係数に適用して現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１６４０）。

【0332】

次に、デコーディング装置３００は、現在ブロックに対するレジデュアルサンプル及び現在ブロックに対する予測サンプルに基づいて復元サンプルを生成することができる。

【0333】

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使われた具体的な名称に制限されない。

【0334】

図１７は、本文書の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。

【0335】

図１７に開示された各ステップは、図４乃至図１５で詳述した内容のうち一部に基づいている。したがって、図２及び図４乃至図１５で詳述した内容と重複する具体的な内容は、説明を省略または簡単にする。

【0336】

一実施例に係るエンコーディング装置２００は、現在ブロックに適用されるイントラ予測モードに基づいて予測サンプルを導出することができる（Ｓ１７１０）。

【0337】

一実施例に係るエンコーディング装置２００は、予測サンプルに基づいて現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１７２０）。

【0338】

一実施例に係るエンコーディング装置２００は、レジデュアルサンプルにＭＴＳを適用して現在ブロックに対する変換係数を導出することができる（Ｓ１７３０）。

【0339】

一例によって、エンコーディング装置は、１次変換のために、詳述されたＭＴＳを適用することもでき、通常的なＤＣＴ－２を変換カーネルとして使用することもできる。

【0340】

ＭＴＳは、暗黙的に実行されることもでき、明示的なＭＴＳインデックスのシグナリングに基づいて実行されることもできる。

【0341】

エンコーディング装置は、１次変換に対してＭＴＳを実行するかどうかを決定することができ、ＭＴＳを実行することと決定されると、レジデュアルサンプルにＤＣＴ－８またはＤＳＴ－７を適用して変換係数を導出することができる。

【0342】

一例によって、エンコーディング装置は、１次変換としてＭＴＳが適用される場合、現在ブロックの左上端第１の領域を除外した第２の領域をゼロアウトすることができる（Ｓ１７４０）。

【0343】

一例によって、第１の領域は、現在ブロックの左上端１６×１６領域であり、この場合、第２の領域は、左上端１６×１６以外の領域を示すことができる。

【0344】

このようなゼロアウトによって全体変換過程の実行に必要な計算量が減少され、変換過程の全体に必要な演算量が減少されることで、変換実行に必要な電力消費を減らすことができる。また、変換過程に伴われる遅延時間（ｌａｔｅｎｃｙ）を減少されて映像コーディング効率が増加されることができる。

【0345】

エンコーディング装置は、１次変換後に導出された変換係数にＬＦＮＳＴをさらに適用して修正された変換係数を導出することもできる。

【0346】

エンコーディング装置は、現在ブロックに対する変換係数または修正された変換係数に基づいてレジデュアル情報を導出することができる（Ｓ１７５０）。

【0347】

即ち、エンコーディング装置は、量子化された変換係数に対する情報を含むレジデュアル情報を生成することができる。レジデュアル情報は、詳述した変換関連情報／シンタックス要素を含むことができる。エンコーディング装置は、レジデュアル情報を含む映像／ビデオ情報をエンコーディングしてビットストリーム形態で出力できる。

【0348】

より具体的に、エンコーディング装置２００は、量子化された変換係数に関する情報を生成し、生成された量子化された変換係数に関する情報をエンコーディングすることができる。

【0349】

また、エンコーディング装置は、第２の領域に有効係数が存在するかどうかに基づいてＭＴＳの変換カーネルを指示するＭＴＳインデックスがパーシングされるように映像情報を構成することができる（Ｓ１７６０）。

【0350】

また、エンコーディング装置は、有効係数がスキャンされるスキャンサブブロック単位で有効係数が第２の領域に存在するかどうかを示すフラグ情報が導出されるように映像情報を構成することができる。

【0351】

即ち、エンコーディング装置は、表８または表９に示されている映像情報がデコーディング装置でパーシングされるように映像情報を構成することができる。

【0352】

一例によって、スキャンサブブロックは、４×４ブロックであり、スキャンサブブロックは、デコーディング装置で、図１５のように、現在ブロック内の前記最後の有効係数の位置から逆対角スキャン方向によってスキャンされることができる。

【0353】

フラグ情報は、変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇであり、有効係数がスキャンされるスキャンサブブロック単位で有効係数が第２の領域に存在するかどうかが判断されることができる。

【0354】

変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、表９のようにスキャンサブブロック内に有効係数が存在するかどうかを示すフラグ（ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ）値が１であり、スキャンサブブロック内に存在する有効係数が第２の領域に位置する場合（（（ｘＳ<<ｌｏｇ２ＳｂＷ）>１５||（ｙＳ<<ｌｏｇ２ＳｂＨ）>１５））、第２の領域に前記有効係数が存在することを指示することができる。

【0355】

または、表８のように変換係数をスキャンする度に４×４スキャンサブブロックが第１の領域に属するかどうかをチェックすることによって、変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇが導出されることができる。即ち、スキャンサブブロック内に有効係数が存在するかどうかを示すフラグ（ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ）値が１であり、スキャンサブブロック内に存在する有効係数が第２の領域に位置する場合（ｉｆ（（ｘＣ>１５||ｙＣ>１５））、変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、第２の領域に有効係数が存在することを指示することができる。

【0356】

または、変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、有効係数が存在するかどうかを示すフラグ値が１であり、スキャンサブブロック自体が第２の領域に位置する場合、第２の領域に有効係数が存在することを指示することもできる。

【0357】

このような変数ＭｔｓＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、最初１に設定されることができ、有効係数が第２の領域に位置しない場合、１に維持され、有効係数が第２の領域に位置する場合、０に変更されることができる。

【0358】

エンコーディング装置は、変換係数に基づいて導出されたレジデュアル情報及びフラグ情報が第２の領域に有効係数が存在するしないことを示すことに基づいてＭＴＳインデックスをエンコーディングした後に出力できる。

【0359】

本文書において、量子化／逆量子化及び／又は変換／逆変換の少なくとも１つは省略され得る。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれ得る。前記変換／逆変換が省略される場合、前記変換係数は、係数又はレジデュアル係数と呼ばれることもあり、又は表現の統一性のために変換係数と依然として呼ばれることもある。

【0360】

また、本文書において、量子化された変換係数及び変換係数は、各々変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と指称され得る。この場合、レジデュアル情報は、変換係数に関する情報を含むことができ、前記変換係数に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（又は前記変換係数に関する情報）に基づいて変換係数が導出でき、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出できる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいて、レジデュアルサンプルが導出できる。これは、本文書の別の部分でも同様に適用／表現できる。

【0361】

前述した実施例において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本文書は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、別のステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本文書の範囲に影響を与えずに削除され得ることを理解することができる。

【0362】

前述した本文書に係る方法は、ソフトウェアの形態で具現されることができ、本文書に係るエンコード装置及び／又はデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の画像処理を行う装置に含まれ得る。

【0363】

本文書において、実施例がソフトウェアで具現されるとき、前述した方法は、前述した機能を行うモジュール（過程、機能等）で具現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されることができる。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されることができる。

【0364】

また、本文書が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置等に含まれ、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含み得る。

【0365】

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に格納されることができる。本文書に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に格納されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取ることができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ格納装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取ることができる記録媒体に格納されるか、有無線通信ネットワークを介して送信されることができる。また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に格納されることができる。

【0366】

図１８は、本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【0367】

また、本文書が適用されるコンテンツストリーミングシステムは、大いに、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

【0368】

前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略されることができる。前記ビットストリームは、本文書が適用されるエンコーディング方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

【0369】

前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、どのようなサービスがあるかをユーザに知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

【0370】

前記ストリーミングサーバは、メディア格納所及び／またはエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間に格納することができる。

【0371】

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウエラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがある。前記コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

【0372】

本明細書に記載された請求項は、多様な方式で組み合わせられることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置で具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法で具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて装置で具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて方法で具現されることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6(a)】

【図6(b)】

【図7(a)】

【図7(b)】

【図8(a)】

【図8(b)】

【図9】

【図10(a)】

【図10(b)】

【図10(c)】

【図10(d)】

【図10(e)】

【図11(a)】

【図11(b)】

【図11(c)】

【図11(d)】

【図11(e)】

【図12】

【図13(a)】

【図13(b)】

【図13(c)】

【図13(d)】

【図14(a)】

【図14(b)】

【図15】

【図16】

【図17】

【図18】