特許 7585531 変換に基づく映像コーディング方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】変換に基づく映像コーディング方法及びその装置

(51)【国際特許分類】

   H04N 19/70 20140101AFI20241111BHJP

   H04N 19/12 20140101ALI20241111BHJP

   H04N 19/157 20140101ALI20241111BHJP

   H04N 19/176 20140101ALI20241111BHJP

   H04N 19/186 20140101ALI20241111BHJP

【ＦＩ】

H04N19/70

H04N19/12

H04N19/157

H04N19/176

H04N19/186

【請求項の数】 13

(21)【出願番号】P 2024014858

(22)【出願日】2024-02-02

(62)【分割の表示】P 2022549702の分割

【原出願日】2021-02-22

(65)【公開番号】P2024036479

(43)【公開日】2024-03-15

【審査請求日】2024-02-21

(31)【優先権主張番号】62/980,082

(32)【優先日】2020-02-21

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/992,098

(32)【優先日】2020-03-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/001,456

(32)【優先日】2020-03-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ク ムンモ

(72)【発明者】

【氏名】イム チェヒョン

(72)【発明者】

【氏名】キム スンファン

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０２１／０９６２９０（ＷＯ，Ａ１）

【文献】Takeshi Tsukuba, Masaru Ikeda, Yoichi Yagasaki, and Teruhiko Suzuki，On Interaction of LFNST and Transform skip，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-Q0099-v1，17th Meeting: Brussels, BE，2019年12月，pp.1-6

【文献】Benjamin Bross, Jianle Chen, Shan Liu, and Ye-Kui Wan，Versatile Video Coding (Draft 8)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-Q2001 (version 13)，17th Meeting: Brussels, BE，2020年02月09日，pp.69-73,307-310,313-314

【文献】Moonmo Koo, Jaehyun Lim, Mehdi Salehifar, and Seung-Hwan Kim，AHG16: The interaction between LFNST and BDPCM，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-R0319-v2，18th Meeting: by teleconference，2020年04月，pp.1-5

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

デコーディング装置によって行われる映像デコーディング方法であって、
ビットストリームからレジデュアル情報を受信する段階と、
前記レジデュアル情報に基づいて逆量子化を行って現在ブロックの第１成分に対する変換係数を導出する段階であって、前記第１成分は前記現在ブロックのルマ成分又はクロマ成分の一つを示す、段階と、
前記変換係数にＬＦＮＳＴ(Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ)を適用して修正された変換係数を導出する段階を含み、
前記修正された変換係数を導出する段階は、
前記現在ブロックのツリータイプと、前記現在ブロックの第２成分に対する変換係数コーディングフラグと、前記現在ブロックの前記第１成分に対する変換スキップフラグと、前記第２成分が前記現在ブロックの前記ルマ成分又は前記クロマ成分のその他を示すことに基づき、ＬＦＮＳＴ適用変数に設定する段階と、
前記ＬＦＮＳＴ適用変数の値に基づいて、前記ビットストリームから、ＬＦＮＳＴセットにおいて複数のＬＦＮＳＴマトリックスの一つを示すＬＦＮＳＴインデックスをパースする段階と、
前記ＬＦＮＳＴインデックスに基づいて、前記変換係数に前記ＬＦＮＳＴを実行する段階とを含み、
前記ＬＦＮＳＴ適用変数の値が１に等しいことに基づいて、前記ＬＦＮＳＴインデックスは、前記ビットストリームからパースされ、
前記現在ブロックの前記第２成分がＢＤＰＣＭ（ｂｌｏｃｋ－ｂａｓｅｄ ｄｅｌｔａ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）モードでコーディングされる間、前記現在ブロックの前記第１成分は前記ＢＤＰＣＭモードでコーディングされない、映像デコーディング方法。

【請求項2】

前記現在ブロックの前記第２成分に対する前記変換係数コーディングフラグが０であることに基づいて、前記ＬＦＮＳＴ適用変数の値は１に等しく設定される、請求項１に記載の映像デコーディング方法。

【請求項3】

前記現在ブロックの前記第１成分に対する前記変換スキップフラグが０に等しいことに基づいて、前記ＬＦＮＳＴ適用変数の値は、１に等しく設定される、請求項１に記載の映像デコーディング方法。

【請求項4】

前記現在ブロックの前記ツリータイプがシングルツリーであることに基づいて、前記現在ブロックの前記第２成分に対する前記変換係数コーディングフラグが０に等しく、前記現在ブロックの前記第１成分に対する変換スキップフラグが０に等しく、前記ＬＦＮＳＴ適用変数の値は、１に等しく設定される、請求項１に記載の映像デコーディング方法。

【請求項5】

前記現在ブロックの第１成分に対する変換係数コーディングフラッグにかかわらず、前記ＬＦＮＳＴの変数は１に等しく設定される、請求項４に記載の映像デコーディング方法。

【請求項6】

前記現在ブロックの前記第２成分の変換スキップフラグは１に等しいと類推される、請求項１に記載の映像デコーディング方法。

【請求項7】

エンコーディング装置によって行われる映像エンコーディング方法であって、
現在ブロックの第１成分に対する予測サンプルを導出する段階であって、前記第１成分は前記現在ブロックのルマ成分又はクロマ成分の一つを示す、段階と、
前記予測サンプルに基づいて前記現在ブロックの第１成分に対するレジデュアルサンプルを導出する段階と、
前記レジデュアルサンプルに対する１次変換に基づいて前記現在ブロックの前記第１成分に対する変換係数を導出する段階と、
ＬＦＮＳＴ(Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ)を適用して、前記変換係数から修正された変換係数を導出する段階を含み、
前記修正された変換係数を導出する段階は、
前記現在ブロックのツリータイプと、前記現在ブロックの第２成分に対する変換係数コーディングフラグと、前記現在ブロックの前記第１成分に対する変換スキップフラグと、前記第２成分が前記現在ブロックの前記ルマ成分又は前記クロマ成分のその他を示すことに基づいて、ＬＦＮＳＴ適用変数を設定する段階と、
前記ＬＦＮＳＴ適用変数に基づいて前記ＬＦＮＳＴを適用する段階を含み、
ＬＦＮＳＴセットにおいて複数のＬＦＮＳＴマトリックスの一つを示すＬＦＮＳＴインデックスは前記ＬＦＮＳＴ適用変数の値に基づいてビットストリームにエンコーディングされ、
前記ＬＦＮＳＴ適用変数の値が１に等しいことに基づいて前記ＬＦＮＳＴが適用され、
前記現在ブロックの前記第２成分がＢＤＰＣＭ（ｂｌｏｃｋ－ｂａｓｅｄ ｄｅｌｔａ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）モードでコーディングされる間、前記現在ブロックの前記第１成分は前記ＢＤＰＣＭモードでコーディングされない、映像エンコーディング方法。

【請求項8】

前記現在ブロックの前記第２成分に対する前記変換係数コーディングフラグが０に等しいことに基づいて、前記ＬＦＮＳＴ適用変数の値は、１に等しく設定される、請求項７に記載の映像エンコーディング方法。

【請求項9】

前記現在ブロックの前記第１成分に対する前記変換スキップフラグが０に等しいことに基づいて、前記ＬＦＮＳＴ適用変数の値は、１に等しく設定される、請求項７に記載の映像エンコーディング方法。

【請求項10】

前記現在ブロックの前記ツリータイプがシングルツリーであることに基づいて、前記現在ブロックの前記第２成分に対する前記変換係数コーディングフラグが０に等しく、前記現在ブロックの前記第１成分に対する前記変換スキップフラグは０に等しく、前記ＬＦＮＳＴ適用変数の値は、１に等しく設定される、請求項７に記載の映像エンコーディング方法。

【請求項11】

前記現在ブロックの第１成分に対する変換係数コーディングフラッグにかかわらず、前記ＬＦＮＳＴ適用変数の値が１に等しい、請求項１０に記載の映像エンコーディング方法。

【請求項12】

前記現在ブロックの前記第２成分に対する前記変換スキップフラグは１に等しいと類推される、請求項７に記載の映像エンコーディング方法。

【請求項13】

映像情報に対するデータを送信する方法であって、
現在ブロックの第１成分に対する予測サンプルを導出する段階であって、前記第１成分は、前記現在ブロックのルマ成分又はクロマ成分の一つを示す、段階と、
前記予測サンプルに基づいて前記現在ブロックの前記第１成分に対するレジデュアルサンプルを導出する段階と、
前記レジデュアルサンプルの第１変換に基づいて前記現在ブロックの前記第１成分に対する変換係数を導出する段階と、
ＬＦＮＳＴ(Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ)を適用することにより、前記変換係数から修正された変換係数を導出する段階と、
前記修正された変換係数に基づいて量子化を実行することにより、量子化された変換係数を導出する段階と、
ビットストリームを生成するために、前記量子化された変換係数に対するレジデュアル情報をエンコーディングする段階と、
前記ビットストリームを含む前記データを送信する段階とを含み、
前記修正された変換係数を導出する段階は、
前記現在ブロックのツリータイプと、前記現在ブロックの第２成分に対する変換係数コーディングフラグと、前記現在ブロックの前記第１成分に対する変換スキップフラグと、前記第２成分が前記現在ブロックの前記ルマ成分又は前記クロマ成分のその他を示すことに基づいて、ＬＦＮＳＴ適用変数を設定する段階と、
前記ＬＦＮＳＴ適用変数に基づいて前記ＬＦＮＳＴを適用する段階を含み、
ＬＦＮＳＴセットにおいて複数のＬＦＮＳＴマトリックスの一つを示すＬＦＮＳＴインデックスは前記ＬＦＮＳＴ適用変数の値に基づいて前記ビットストリームにエンコーディングされ、
前記ＬＦＮＳＴ適用変数の値が１に等しいことに基づいて前記ＬＦＮＳＴが適用され、
前記現在ブロックの前記第２成分がＢＤＰＣＭ（ｂｌｏｃｋ－ｂａｓｅｄ ｄｅｌｔａ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）モードでコーディングされる間、前記現在ブロックの前記第１成分は前記ＢＤＰＣＭモードでコーディングされない、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本文書は、映像コーディング技術に関し、より詳細には、映像コーディングシステムにおいて変換（ｔｒａｎｓｆｏｒｍ）に基づく映像コーディング方法及びその装置に関する。

【背景技術】

【0002】

近年、４Ｋ又は８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が様々な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に伝送される情報量又はビット量が増加するため、既存の有無線広帯域回線のような媒体を用いて映像データを伝送したり既存の記憶媒体を用いて映像／ビデオデータを記憶する場合に、伝送及び記憶にかかるコストが増加する。

【0003】

また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。

【0004】

このため、上記のような様々な特性を有する高解像度・高品質の映像／ビデオの情報を効果的に圧縮して伝送したり記憶し、再生するために高効率の映像／ビデオ圧縮技術が要求される。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本文書の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。

【0006】

本文書の他の技術的課題は、ＬＦＮＳＴインデックスのコーディング効率を上げる方法及び装置を提供することにある。

【0007】

本文書のさらに他の技術的課題は、ＢＤＰＣＭ及び変換係数の存在に対するフラグ情報に基づいてＬＦＮＳＴインデックスのコーディング効率を上げる方法及び装置を提供することにある。

【課題を解決するための手段】

【0008】

本文書の一実施例によれば、デコーディング装置によって行われる映像デコーディング方法を提供する。前記方法は、修正された変換係数を導出する段階を含み、該修正された変換係数を導出する段階は、前記現在ブロックのツリータイプと、前記現在ブロックの各成分に対する変換係数コーディングフラグ又は前記現在ブロックの各成分に対する変換スキップフラグに基づき、前記ＬＦＮＳＴの適用有無に対するＬＦＮＳＴ適用変数を設定する段階を含み、前記ＬＦＮＳＴ適用変数の値に基づいてＬＦＮＳＴインデックスをパースする段階を含むことができる。

【0009】

前記現在ブロックの各成分に対する前記変換係数コーディングフラグが０であることに基づき、前記ＬＦＮＳＴ適用変数の値は、前記ＬＦＮＳＴインデックスがパーシング可能であることを示す１に設定されてよい。

【0010】

前記現在ブロックの各成分に対する前記変換スキップフラグが０であることに基づき、前記ＬＦＮＳＴ適用変数の値は、前記ＬＦＮＳＴインデックスがパーシング可能であることを示す１に設定されてよい。

【0011】

前記ツリータイプがシングルツリーであり、前記現在ブロックのルマ成分に対する前記変換スキップフラグが０であり、前記現在ブロックのクロムＡ成分がＢＤＰＣＭモードであれば、前記ＬＦＮＳＴ適用変数の値は、前記ＬＦＮＳＴインデックスがパーシング可能であることを示す１に設定されてよい。

【0012】

前記クロムＡ成分の前記変換係数コーディングフラグは、０であってよい。

【0013】

前記クロムＡ成分の前記変換スキップフラグは、１と類推されてよい。

【0014】

本文書の一実施例によれば、エンコーディング装置によって行われる映像エンコーディング方法を提供する。前記方法は、ＬＦＮＳＴを適用して、変換係数から、修正された変換係数を導出する段階を含み、前記修正された変換係数を導出する段階は、前記現在ブロックのツリータイプと、前記現在ブロックの各成分に対する変換係数コーディングフラグ又は前記現在ブロックの各成分に対する変換スキップフラグに基づき、前記ＬＦＮＳＴの適用有無に対するＬＦＮＳＴ適用変数を設定する段階を含み、前記ＬＦＮＳＴ適用変数の値に基づいて前記ＬＦＮＳＴを適用する段階を含むことができる。

【0015】

本文書のさらに他の実施例によれば、エンコーディング装置によって行われた映像エンコーディング方法によって生成されたエンコードされた映像情報及びビットストリームが含まれた映像データが記憶されたデジタル記憶媒体が提供されてよい。

【0016】

本文書のさらに他の実施例によれば、デコーディング装置によって前記映像デコーディング方法を行うようにするエンコードされた映像情報及びビットストリームが含まれた映像データが記憶されたデジタル記憶媒体が提供されてよい。

【発明の効果】

【0017】

本文書によれば、映像／ビデオ圧縮効率の全般を上げることができる。

【0018】

本文書によれば、ＬＦＮＳＴインデックスのコーディング効率を上げることができる。

【0019】

本文書によれば、ＢＤＰＣＭ及び変換係数の存在に対するフラグ情報に基づいてＬＦＮＳＴインデックスのコーディング効率を上げることができる。

【0020】

本明細書の具体的な一例から得られる効果は、以上に述べた効果に制限されない。例えば、関連する技術分野における通常の知識を有する者（ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が、本明細書から理解したり誘導できる様々な技術的効果が存在してよい。したがって、本明細書の具体的な効果は、本明細書に明示的に記載されたものに制限されず、本明細書の技術的特徴から理解されたり誘導されたりできる様々な効果を含むことができる。

【図面の簡単な説明】

【0021】

【図1】本文書が適用可能なビデオ／映像コーディングシステムの例を概略的に示す図である。

【図2】本文書が適用可能なビデオ／映像エンコーディング装置の構成を概略的に説明する図である。

【図3】本文書が適用可能なビデオ／映像デコーディング装置の構成を概略的に説明する図である。

【図4】本文書が適用されるコンテンツストリーミングシステム構造を例示する図である。

【図5】本文書の一実施例に係る多重変換手法を概略的に示す図である。

【図6】６５個予測方向のイントラ方向性モードを例示する図である。

【図7】本文書の一実施例に係るＲＳＴを説明するための図である。

【図8】一例によって順方向１次変換の出力データを１次元ベクトルとして配列する順序を示す図である。

【図9】一例によって順方向２次変換の出力データを２次元ブロックに配列する順序を示す図である。

【図10】本文書の一実施例に係る広角イントラ予測モードを示す図である。

【図11】ＬＦＮＳＴが適用されるブロック形態を示す図である。

【図12】一例によって順方向ＬＦＮＳＴの出力データの配列を示す図である。

【図13】一例によって４ｘ４ＬＦＮＳＴが適用されるブロックにおけるゼロアウトを示す図である。

【図14】一例によって８ｘ８ＬＦＮＳＴが適用されるブロックにおけるゼロアウトを示す図である。

【図15】本文書の一実施例に係るビデオデコーディング装置の動作を示すフローチャートである。

【図16】本文書の一実施例に係るビデオエンコーディング装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0022】

本文書は様々な変更を加えることができ、様々な実施例を有し得るところ、特定実施例を図面に例示して詳細に説明する。ただし、これは、本文書を特定実施例に限定しようとするものではない。本明細書で常用する用語は特定の実施例を説明するために使われるだけで、本文書の技術的思想を限定する意図で使われるものではない。単数の表現は、文脈において別に断らない限り、複数の表現をも含む。本明細書において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はそれらを組み合わせたものが存在することを指定するためのものであり、１つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はそれらを組み合わせたものの存在又は付加の可能性をあらかじめ排除しないものとして理解されるべきである。

【0023】

一方、本文書で説明される図面上の各構成は、それぞれ異なる特徴的な機能に関する説明の便宜のために独立して示すものであり、各構成が互いに別個のハードウェアや別個のソフトウェアとして具現されるということを意味するものではない。例えば、各構成のうち２つ以上の構成が合わせられて一つの構成をなしてもよく、一つの構成が複数の構成に分けられてもよい。各構成が統合及び／又は分離された実施例も、本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

【0024】

以下、添付の図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同一の構成要素には同一の参照符号を付し、同一の構成要素について重複する説明は省略する。

【0025】

この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示されている方法／実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、又はその他のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準など）と関連し得る。

【0026】

この文書ではビデオ／映像コーディングに関する様々な実施例を提示し、特に言及がない限り、これらの実施例は互いに組み合わせられて行われてもよい。

【0027】

この文書においてビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味できる。ピクチャー（ｐｉｃｔｕｒｅ）は一般に、特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャーの一部を構成する単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャーは、一つ以上のスライス／タイルで構成されてよい。一つのピクチャーは、一つ以上のタイルグループで構成されてよい。一つのタイルグループは、一つ以上のタイルを含むことができる。

【0028】

ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、一つのピクチャー（又は、映像）を構成する最小の単位を意味できる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使われてよい。サンプルは一般に、ピクセル又はピクセルの値を表すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを表すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを表すこともできる。又は、サンプルは、空間ドメインにおけるピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインにおける変換係数を意味することもできる。

【0029】

ユニット（ｕｎｉｔ）は、映像処理の基本単位を表すことができる。ユニットは、ピクチャーの特定領域及び当該領域に関連した情報のうち少なくとも一つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（ｅｘ．ｃｂ，ｃｒ）ブロックを含むことができる。ユニットは、場合によってブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と同じ意味で使われてよい。一般の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプル（又は、サンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（又は、アレイ）を含むことができる。

【0030】

この文書において、「／」と「、」は、「及び／又は」と解釈される。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」と解釈され、「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈される。さらに、「Ａ／Ｂ／Ｃ」は、「Ａ、Ｂ及び／又はＣのうち少なくとも１つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／又はＣのうち少なくとも１つ」を意味する。

【0031】

追加的に、本文書において「又は」は、「及び／又は」と解釈される。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味し、２）「Ｂ」のみを意味し、又は３）「Ａ及びＢ」を意味できる。言い換えると、本文書の「又は」は、「追加として又は代替として（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味できる。

【0032】

本明細書において「Ａ及びＢのうち少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「ＡとＢ両方」を意味できる。また、本明細書において「Ａ又はＢのうち少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「Ａ及び／又はＢのうち少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「Ａ及びＢのうち少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同一に解釈されてよい。

【0033】

また、本明細書において「Ａ、Ｂ及びＣのうち少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、又は「Ａ、Ｂ及びＣの任意の全ての組合せ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味できる。また、「Ａ、Ｂ又はＣのうち少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ｏｒ Ｃ）」や「Ａ、Ｂ及び／又はＣのうち少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）」は、「Ａ、Ｂ及びＣのうち少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味できる。

【0034】

また、本明細書で使われる括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味できる。具体的に、「予測（イントラ予測）」と表示された場合に、「予測」の一例として「イントラ予測」が提案されたものであってよい。言い換えると、本明細書における「予測」は「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであろう。また、「予測（すなわち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであろう。

【0035】

本明細書において、一つの図面で個別に説明される技術的特徴は、個別に具現されてもよく、同時に具現されてもよい。

【0036】

図１には、本文書が適用可能なビデオ／映像コーディングシステムの例を概略的に示す。

【0037】

図１を参照すると、ビデオ／映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコードされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミングの形態で、デジタル記憶媒体又はネットワークを介して受信デバイスに伝達できる。

【0038】

前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置及びレンダラーを含むことができる。前記エンコーディング装置はビデオ／映像エンコーディング装置と呼ばれてもよく、前記デコーディング装置はビデオ／映像デコーディング装置と呼ばれてもよい。送信機はエンコーディング装置に含まれてよい。受信機はデコーディング装置に含まれてよい。レンダラーはディスプレイ部を含むこともでき、ディスプレイ部は別個のデバイス又は外部コンポーネントとして構成されてもよい。

【0039】

ビデオソースは、ビデオ／映像のキャプチャー、合成又は生成過程などによってビデオ／映像を取得できる。ビデオソースは、ビデオ／映像キャプチャーデバイス及び／又はビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャーデバイスは、例えば、１つ以上のカメラ、以前にキャプチャーされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどによって仮想のビデオ／映像が生成されてよく、この場合、関連データが生成される過程でビデオ／映像キャプチャー過程に代えてよい。

【0040】

エンコーディング装置は、入力ビデオ／映像をエンコードすることができる。エンコーディング装置は、圧縮及びコーディング効率のために予測、変換、量子化などの一連の手順を行うことができる。エンコードされたデータ（エンコードされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）の形態で出力されてよい。

【0041】

送信部は、ビットストリームの形態で出力されたエンコードされたビデオ／映像情報又はデータをファイル又はストリーミングの形態で、デジタル記憶媒体又はネットワークを介して受信デバイスの受信部に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含むことができる。送信部は、あらかじめ定められたファイルフォーマットによってメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した伝送のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。

【0042】

デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／映像をデコードすることができる。

【0043】

レンダラーは、デコードされたビデオ／映像をレンダーすることができる。レンダーされたビデオ／映像は、ディスプレイ部でディスプレイされてよい。

【0044】

図２は、本文書が適用可能なビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置は、映像エンコーディング装置を含むことができる。

【0045】

図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ，２１０）、予測部（ｐｒｅｄｉｃｔｏｒ，２２０）、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ，２３０）、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ，２４０）、加算部（ａｄｄｅｒ，２５０）、フィルタリング部（ｆｉｌｔｅｒ，２６０）及びメモリ（ｍｅｍｏｒｙ，２７０）を含んで構成されてよい。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ，２３２）、量子化部（ｑｕａｎｔｉｚｅｒ２３３）、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ，２３４）、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ，２３５）を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ，２３１）をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）又は復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれてもよい。上述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０及びフィルタリング部２６０は、実施例によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセット又はプロセッサ）によって構成されてよい。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって構成されてもよい。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。

【0046】

映像分割部２１０は、エンコーディング装置２００に入力された入力映像（又は、ピクチャー、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ，ＣＵ）と呼ぶことができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ，ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ，ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されてよい。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はタナーリー構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されてよい。この場合、例えば、クアッドツリー構造がまず適用され、バイナリツリー構造及び／又はタナーリー構造が後で適用されてよい。又は、バイナリツリー構造がまず適用されてもよい。それ以上分割されない最終コーディングユニットに基づいて、本文書によるコーディング手順が行われてよい。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが直ちに最終コーディングユニットとして用いられてよく、又は、必要によってコーディングユニットは再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）さらに下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終コーディングユニットとして用いられてよい。ここでもコーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットはそれぞれ、上述した最終コーディングユニットから分割又はパーティションされてよい。前記予測ユニットはサンプル予測の単位であってよく、前記変換ユニットは、変換係数を誘導する単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であってよい。

【0047】

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と同じ意味で使われてよい。一般の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を表すことができる。サンプルは一般に、ピクセル又はピクセルの値を表すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを表すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを表すこともできる。サンプルは、１つのピクチャー（又は、映像）のピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）に対応する用語として使われてよい。

【0048】

減算部２３１は、入力映像信号（原本ブロック、原本サンプル又は原本サンプルアレイ）から、予測部２２０から出力された予測信号（予測されたブロック、予測サンプル又は予測サンプルアレイ）を減算して、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル又はレジデュアルサンプルアレイ）を生成でき、生成されたレジデュアル信号は変換部２３２に伝送される。予測部２２０は、処理対象ブロック（以下、現在ブロックという。）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか又はインター予測が適用されるかを決定できる。予測部は、各予測モードに関する説明で後述するように、予測モード情報などの予測に関する様々な情報を生成してエントロピーエンコーディング部２４０に伝達できる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコードされてビットストリームの形態で出力されてよい。

【0049】

イントラ予測部２２２は、現在ピクチャー内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、又は離れて位置してもよい。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプレーナモード（Ｐｌａｎａｒ ｍｏｄｅ）を含むことができる。方向性モードは、予測方向の細密な程度によって、例えば、３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示であり、設定によってそれ以上又はそれ以下の個数の方向性予測モードが用いられてもよい。イントラ予測部２２２は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することができる。

【0050】

インター予測部２２１は、参照ピクチャー上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロック間の動き情報の相関性に基づき、動き情報をブロック、サブブロック又はサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャーインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測において、周辺ブロックは、現在ピクチャー内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャーに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャーと前記時間的周辺ブロックを含む参照ピクチャーは同一であってもよく、異なってもよい。前記時間的周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などと呼ぶこともでき、前記時間的周辺ブロックを含む参照ピクチャーは、同一位置ピクチャー（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ，ｃｏｌＰｉｃ）と呼ぶこともできる。例えば、インター予測部２２１は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャーインデックスを導出するためにどの候補が用いられるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われてよく、例えば、スキップモードとマージモードでは、インター予測部２２１は周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードでは、マージモードとは違い、レジデュアル信号が伝送されなくてよい。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ，ＭＶＰ）モードでは、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナルすることによって現在ブロックの動きベクトルを指示することができる。

【0051】

予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、１つのブロックに対する予測のためにイントラ予測又はインター予測を適用できる他に、イントラ予測とインター予測を同時に適用することもできる。これをＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ぶことができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ，ＩＢＣ）を行うことができる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために用いられてよい。ＩＢＣは基本的に現在ピクチャー内で予測を行うが、現在ピクチャー内で参照ブロックを導出する点でインター予測と類似に行われ得る。すなわち、ＩＢＣは、本文書で説明されるインター予測手法のうち少なくとも１つを用いることができる。

【0052】

インター予測部２２１及び／又はイントラ予測部２２２で生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられてよい。変換部２３２は、レジデュアル信号に変換手法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換手法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同一サイズを有するピクセルブロックに適用されてもよく、正方形以外の可変サイズのブロックに適用されてもよい。

【0053】

量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に伝送し、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームとして出力できる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ぶことができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づき、ブロック形態の量子化された変換係数を１次元ベクトルの形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づき、前記量子化された変換係数に関する情報を生成することができる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコーディング方法を行うことができる。エントロピーエンコーディング部２４０は、量子化された変換係数の他にも、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を共に又は別にエンコードすることができる。エンコードされた情報（例えば、エンコードされたビデオ／映像情報）は、ビットストリームの形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は記憶されてよい。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャーパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書で後述されるシグナリング／伝送される情報及び／又はシンタックス要素は、上述したエンコーディング手順によってエンコードされて前記ビットストリームに含まれてよい。前記ビットストリームはネットワークを介して伝送されてよく、又はデジタル記憶媒体に記憶されてよい。ここで、ネットワークは放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、伝送する送信部（図示せず）及び／又は記憶する記憶部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されてよく、又は送信部はエントロピーエンコーディング部２４０に含まれてもよい。

【0054】

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられてよい。例えば、量子化された変換係数に、逆量子化部２３４及び逆変換部２３５で逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号を、予測部２２０から出力された予測信号に足すことにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャー、復元ブロック、復元サンプル又は復元サンプルアレイ）が生成されてよい。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合に、予測されたブロックが復元ブロックとして用いられてよい。生成された復元信号は、現在ピクチャー内の次の処理対象ブロックのイントラ予測のために用いられてよく、後述するように、フィルタリングを経て次のピクチャーのインター予測のために用いられてよい。

【0055】

一方、ピクチャーエンコーディング及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されてもよい。

【0056】

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャーに様々なフィルタリング方法を適用し、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャーを生成でき、前記修正された復元ピクチャーをメモリ２７０、具体的にメモリ２７０のＤＰＢに記憶させることができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ，ＳＡＯ）、適応的ループフィルター（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルター（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に関する説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコーディング部２９０に伝達することができる。フィルタリング関する情報は、エントロピーエンコーディング部２９０でエンコードされてビットストリームの形態で出力されてよい。

【0057】

メモリ２７０に伝送された修正された復元ピクチャーは、インター予測部２８０で参照ピクチャーとして用いられてよい。エンコーディング装置は、これによってインター予測が適用される場合に、エンコーディング装置２００とデコーディング装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

【0058】

メモリ２７０のＤＰＢは、修正された復元ピクチャーをインター予測部２２１での参照ピクチャーとして使用するために記憶することができる。メモリ２７０は、現在ピクチャー内動き情報が導出された（又は、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャー内ブロックの動き情報を記憶することができる。前記記憶された動き情報は、空間的周辺ブロックの動き情報又は時間的周辺ブロックの動き情報として活用するためにインター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャー内復元されたブロックの復元サンプルを記憶することができ、イントラ予測部２２２に伝達することができる。

【0059】

図３は、本文書が適用可能なビデオ／映像デコーディング装置の構成を概略的に説明する図である。

【0060】

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ，３１０）、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ，３２０）、予測部（ｐｒｅｄｉｃｔｏｒ，３３０）、加算部（ａｄｄｅｒ，３４０）、フィルタリング部（ｆｉｌｔｅｒ，３５０）及びメモリ（ｍｅｍｏｒｙ，３６０）を含んで構成されてよい。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ，３２１）及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ，３２１）を含むことができる。上述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０及びフィルタリング部３５０は、実施例によって、１つのハードウェアコンポーネント（例えば、デコーダチップセット又はプロセッサ）によって構成されてもよい。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって構成されてもよい。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。

【0061】

ビデオ／映像情報を含むビットストリームが入力されると、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを用いてデコーディングを行うことができる。したがって、デコーディングの処理ユニットは、例えばコーディングユニットであってよく、コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットから、クアッドツリー構造、バイナリツリー構造及び／又はタナーリーツリー構造をしたがって分割されてよい。コーディングユニットから１つ以上の変換ユニットが導出されてよい。そして、デコーディング装置３００でデコーディング及び出力された復元映像信号は、再生装置で再生されてよい。

【0062】

デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリームの形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０でデコードされてよい。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングし、映像復元（又は、ピクチャー復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャーパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報にさらに基づいてピクチャーをデコードすることができる。本文書で後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコーディング手順によってデコードされ、前記ビットストリームから取得されてよい。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内情報をデコードし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームから各構文要素に該当するビン（ｂｉｎ）を受信し、デコーディング対象構文要素情報、周辺及びデコーディング対象ブロックのデコーディング情報、或いは以前段階でデコードされたシンボル／ビンの情報を用いて文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、文脈モデル決定後に、次のシンボル／ビンの文脈モデルのためにデコードされたシンボル／ビンの情報を用いて文脈モデルをアップデートすることができる。エントロピーデコーディング部３１０でデコードされた情報のうち予測に関する情報は予測部３３０に提供されて、エントロピーデコーディング部３１０でエントロピーデコーディングが行われたレジデュアルに関する情報、すなわち、量子化された変換係数及び関連パラメータ情報は、逆量子化部３２１に入力されてよい。また、エントロピーデコーディング部３１０でデコードされた情報のうちフィルタリングに関する情報は、フィルタリング部３５０に提供されてよい。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されてよく、又は受信部はエントロピーデコーディング部３１０の構成要素であってもよい。一方、本文書に係るデコーディング装置は、ビデオ／映像／ピクチャーデコーディング装置と呼ぶことができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャー情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャーサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０及びメモリ３６０のうち少なくとも１つを含むことができる。

【0063】

逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部３２１は、量子化された変換係数を、２次元ブロックの形態で再整列できる。この場合、前記再整列は、エンコーディング装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0064】

逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得する。

【0065】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか又はインター予測が適用されるかが決定でき、具体的なイントラ／インター予測モードを決定することができる。

【0066】

予測部は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のためにイントラ予測又はインター予測を適用してもよく、イントラ予測とインター予測を同時に適用してもよい。これをＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ぶことができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ，ＩＢＣ）を行うことができる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために用いられてよい。ＩＢＣは基本的に現在ピクチャー内で予測を行うが、現在ピクチャー内で参照ブロックを導出する点でインター予測と類似に行われ得る。すなわち、ＩＢＣは、本文書で説明されるインター予測手法のうち少なくとも１つを用いることができる。

【0067】

イントラ予測部３３２は、現在ピクチャー内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、又は離れて位置してもよい。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部３３２は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することができる。

【0068】

インター予測部３３１は、参照ピクチャー上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロック間の動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャーインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測において、周辺ブロックは、現在ピクチャー内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャーに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部３３１は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャーインデックスを導出することができる。様々な予測モードに基づいてインター予測が行われてよく、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

【0069】

加算部３４０は、取得されたレジデュアル信号を、予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に足すことにより、復元信号（復元ピクチャー、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合に、予測されたブロックが復元ブロックとして用いられてよい。

【0070】

加算部３４０は、復元部又は復元ブロック生成部と呼ぶことができる。生成された復元信号は、現在ピクチャー内の次の処理対象ブロックのイントラ予測のために用いられてよく、後述するように、フィルタリングを経て出力されてもよく、又は次のピクチャーのインター予測のために用いられてもよい。

【0071】

一方、ピクチャーデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されてもよい。

【0072】

フィルタリング部３５０は、復元信号にフィルタリングを適用して、主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャーに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャーを生成でき、前記修正された復元ピクチャーを、メモリ６０、具体的にメモリ３６０のＤＰＢに伝送することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルター（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルター（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0073】

メモリ３６０のＤＰＢに記憶された（修正された）復元ピクチャーは、インター予測部３３１で参照ピクチャーとして用いられてよい。メモリ３６０は、現在ピクチャー内動き情報が導出された（又は、デコードされた）ブロックの動き情報及び／又は既に復元されたピクチャー内ブロックの動き情報を記憶することができる。前記記憶された動き情報は、空間的周辺ブロックの動き情報又は時間的周辺ブロックの動き情報として活用するためにインター予測部３３１に伝達することができる。メモリ３６０は、現在ピクチャー内復元されたブロックの復元サンプルを記憶することができ、イントラ予測部３３２に伝達することができる。

【0074】

本明細書において、デコーディング装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２及びフィルタリング部３５０などで説明された実施例は、それぞれ、エンコーディング装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５及びフィルタリング部２６０などにも同一に又は対応するように適用されてよい。

【0075】

上述したように、ビデオコーディングを行う際に、圧縮効率を上げるために予測を行う。これにより、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（又は、ピクセルドメイン）における予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同一に導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体ではなく前記原本ブロックと前記予測されたブロック間のレジデュアルに関する情報（レジデュアル情報）をデコーディング装置にシグナルすることによって映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいて、レジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを合わせて、復元サンプルを含む復元ブロックを生成でき、復元ブロックを含む復元ピクチャーを生成することができる。

【0076】

前記レジデュアル情報は、変換及び量子化手順によって生成されてよい。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロック間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれたレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を行って変換係数を導出し、前記変換係数に量子化手順を行って量子化された変換係数を導出し、関連したレジデュアル情報を（ビットストリームを用いて）デコーディング装置にシグナルすることができる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換手法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を行い、レジデュアルサンプル（又は、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャーを生成することができる。また、エンコーディング装置は、その後、ピクチャーのインター予測のための参照のために、量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャーを生成することができる。

【0077】

図４には、本文書が適用されるコンテンツストリーミングシステム構造を例示する。

【0078】

また、本文書が適用されるコンテンツストリーミングシステムは、大きく、エンコーディングサーバー、ストリーミングサーバー、ウェブサーバー、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0079】

前記エンコーディングサーバーは、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力装置から入力されたコンテンツを、デジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバーに伝送する役割を担う。他の例として、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合に、前記エンコーディングサーバーは省略されてよい。前記ビットストリームは、本文書が適用されるエンコーディング方法又はビットストリーム生成方法によって生成されてよく、前記ストリーミングサーバーは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0080】

前記ストリーミングサーバーは、ウェブサーバーを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に伝送し、前記ウェブサーバーは、いかなるサービスがあるかをユーザに知らせる媒介体の役割を担う。ユーザが前記ウェブサーバーに所望のサービスを要請すれば、前記ウェブサーバーはこれをストリーミングサーバーに伝達し、前記ストリーミングサーバーはユーザにマルチメディアデータを伝送する。このとき、前記コンテンツストリーミングシステムは別の制御サーバーを含むことができ、この場合、前記制御サーバーは前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を担う。

【0081】

前記ストリーミングサーバーは、メディアストレージ及び／又はエンコーディングサーバーからコンテンツを受信することができる。例えば、前記エンコーディングサーバーからコンテンツを受信する場合に、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバーは前記ビットストリームを一定時間保存することができる。

【0082】

前記ユーザ装置の例には、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ，例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。前記コンテンツストリーミングシステム内の各サーバーは分散サーバーとして運営されてよく、この場合、各サーバーで受信するデータは分散処理されてよい。

【0083】

図５には、本文書に係る多重変換手法を概略的に示す。

【0084】

図５を参照すると、変換部は、上述した図２のエンコーディング装置内の変換部に対応してよく、逆変換部は、上述した図２のエンコーディング装置内の逆変換部、又は図３のデコーディング装置内の逆変換部に対応してよい。

【0085】

変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を行って（１次）変換係数を導出することができる（Ｓ５１０）。このような１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と呼ぶことができる。ここで、前記１次変換は、多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ，ＭＴＳ）を基にしてよく、１次変換として多重変換が適用される場合に、多重核心変換と呼ばれてよい。

【0086】

多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２とＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／又はＤＳＴタイプ１をさらに使用して変換する方式を表すことができる。すなわち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８及び前記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて空間ドメインのレジデュアル信号（又は、レジデュアルブロック）を周波数ドメインの変換係数（又は、１次変換係数）に変換する変換方法を表すことができる。ここで、前記１次変換係数は、変換部の立場では臨時変換係数と呼ばれてよい。

【0087】

言い換えると、既存の変換方法が適用される場合に、ＤＣＴタイプ２に基づいてレジデュアル信号（又は、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成可能であった。これと違い、前記多重核心変換が適用される場合には、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及び／又はＤＳＴタイプ１などに基づいてレジデュアル信号（又は、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（又は、１次変換係数）が生成可能である。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１などは、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）又は変換コア（ｃｏｒｅ）（だ）と呼ぶことができる。このようなＤＣＴ／ＤＳＴ変換タイプは基底関数に基づいて定義されてよい。

【0088】

前記多重核心変換が行われる場合に、前記変換カーネルのうち、対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されてよく、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が行われ、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が行われてよい。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を表すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を表すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵ又はサブブロック）の予測モード及び／又は変換インデックスに基づいて適応的に決定されてよい。

【0089】

また、一例によれば、ＭＴＳを適用して１次変換を行う場合に、特定基底関数を所定値に設定し、垂直変換又は水平変換の時にいかなる基底関数が適用されるかを組み合わせて変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒと表し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒと表す場合に、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒ値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒ値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒ値２はＤＣＴ８に設定されてよい。

【0090】

この場合、複数の変換カーネルセットのうちいずれか１つを指示するために、ＭＴＳインデックス情報がエンコードされてデコーディング装置にシグナルされてよい。例えば、ＭＴＳインデックスが０であれば、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値がいずれも０であることを示し、ＭＴＳインデックスが１であれば、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値がいずれも１であることを示し、ＭＴＳインデックスが２であれば、ｔｒＴｙｐｅＨｏｒ値は２で、ｔｒＴｙｐｅＶｅｒ値は１であることを示し、ＭＴＳインデックスが３であれば、ｔｒＴｙｐｅＨｏｒ値は１で、ｔｒＴｙｐｅＶｅｒ値は２であることを示し、ＭＴＳインデックスが４であれば、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値がいずれも２であることを示すことができる。

【0091】

一例によって、ＭＴＳインデックス情報による変換カーネルセットを表にすると、次の通りである。

【0092】

【表1】

【0093】

変換部は、前記（１次）変換係数に基づいて２次変換を行い、修正された（２次）変換係数を導出することができる（Ｓ５２０）。前記１次変換は、空間ドメインから周波数ドメインへの変換であり、前記２次変換は、（１次）変換係数間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を用いてより圧縮的な表現に変換することを意味する。前記２次変換は非分離変換（ｎｏｎ－ ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ，ＮＳＳＴ）又はＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ぶことができる。前記非分離２次変換は、前記１次変換によって導出された（１次）変換係数を、非分離変換マトリックス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換し、レジデュアル信号に対する修正された変換係数（又は、２次変換係数）を生成する変換を表すことができる。ここで、前記非分離変換マトリックスに基づき、前記（１次）変換係数に対して垂直変換及び水平変換を分離して（又は、水平垂直変換を独立して）適用せずに一度で変換を適用することができる。言い換えると、前記非分離２次変換は、前記（１次）変換係数に対して垂直方向と水平方向に別個に適用されず、例えば、２次元信号（変換係数）を特定の定められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向又は列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）によって１次元信号として再整列した後、前記非分離変換マトリックスに基づいて、修正された変換係数（又は、２次変換係数）を生成する変換方法を表すことができる。例えば、行優先順序は、ＭｘＮブロックに対して１番目行、２番目行、．．．，Ｎ番目行の順序で一列に配置するものであり、列優先順序は、ＭｘＮブロックに対して１番目列、２番目列、．．．、Ｍ番目列の順序で一列に配置するものである。前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ぶことができる。）の左上端（ｔｏｐ－ｌｅｆｔ）領域に対して適用されてよい。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上である場合に、８×８非分離２次変換が、前記変換係数ブロックの左上端８×８領域に対して適用されてよい。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上であり、且つ前記変換係数ブロックの幅（Ｗ）又は高さ（Ｈ）が８よりも小さい場合に、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して適用されてよい。ただし、実施例はこれに限定されず、例えば、前記変換係数ブロックの幅（Ｗ）又は高さ（Ｈ）がいずれも４以上である条件のみを満足しても、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して適用されてもよい。

【0094】

具体的には、例えば、４×４入力ブロックが用いられる場合に、非分離２次変換は次のように行われてよい。

【0095】

前記４×４入力ブロックＸは、次のように表されてよい。

【0096】

【数1】

【0097】

前記Ｘをベクトルの形態で表す場合に、ベクトル

は次のように表されてよい。

【0098】

【数2】

【0099】

式２のように、ベクトル

は、行優先（ｒｏｗ－ｆｉｒｓｔ）順序によって、式１のＸの２次元ブロックを１次元ベクトルとして再配列する。

【0100】

この場合、前記２次非分離変換は次のように計算されてよい。

【0101】

【数3】

【0102】

ここで、

は、変換係数ベクトルを表し、Ｔは、１６×１６（非分離）変換マトリックスを表す。

【0103】

上記式３によって１６×１変換係数ベクトル

が導出されてよく、前記

は、スキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）など）によって４×４ブロックとして再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）されてよい。ただし、上述した計算は例示であり、非分離２次変換の計算複雑度を減らすために、ＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｆｏｒｍ）などが非分離２次変換の計算のために用いられてもよい。

【0104】

一方、前記非分離２次変換は、モード依存（ｍｏｄｅ ｄｅｐｅｎｄｅｎｔ）変換カーネル（又は、変換コア、変換タイプ）が選択されてよい。ここで、モードは、イントラ予測モード及び／又はインター予測モードを含むことができる。

【0105】

上述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換又は４×４変換に基づいて行われてよい。８ｘ８変換は、ＷとＨがいずれも８と等しい又はより大きいとき、当該変換係数ブロック内部に含まれた８ｘ８領域に適用され得る変換を表し、当該８ｘ８領域は当該変換係数ブロック内部の左上端８ｘ８領域であってよい。類似に、４ｘ４変換は、ＷとＨがいずれも４と等しい又はより大きいとき、当該変換係数ブロック内部に含まれた４ｘ４領域に適用され得る変換を表し、当該４ｘ４領域は当該変換係数ブロック内部の左上端４ｘ４領域であってよい。例えば、８ｘ８変換カーネルマトリックスは６４ｘ６４／１６ｘ６４行列、４ｘ４変換カーネルマトリックスは１６ｘ１６／８ｘ１６行列であってよい。

【0106】

このとき、モード依存変換カーネル選択のために、８×８変換及び４×４変換の両方に対して非分離２次変換のための変換セット当たりに２個ずつの非分離２次変換カーネルが構成されてよく、変換セットは４個であってよい。すなわち、８×８変換に対して４個の変換セットが構成され、４×４変換に対して４個の変換セットが構成されてよい。ここで、８×８変換に対する４個の変換セットにはそれぞれ２個ずつの８×８変換カーネルが含まれてよく、この場合、４×４変換に対する４個の変換セットにはそれぞれ２個ずつの４×４変換カーネルが含まれてよい。

【0107】

ただし、前記変換のサイズ、すなわち変換が適用される領域のサイズは例示であり、８×８又は４×４以外のサイズが用いられてもよく、前記セットの数はｎ個、各セット内変換カーネルの数はｋ個であってもよい。

【0108】

前記変換セットは、ＮＳＳＴセット又はＬＦＮＳＴセットと呼ぶことができる。前記変換セットのうち特定セットの選択は、例えば、現在ブロック（ＣＵ又はサブブロック）のイントラ予測モードに基づいて行われてよい。ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）は、後述される減少された非分離変換の一例でよく、低周波成分に対する非分離変換を表す。

【0109】

参考として、例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ）（又は、非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ）（又は、角度性（ａｎｇｕｌａｒ））イントラ予測モードを含むことができる。前記非方向性イントラ予測モードは、０番であるプレーナ（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番～６６番の６５個のイントラ予測モードを含むことができる。ただし、これは例示であり、本文書は、イントラ予測モードの数が異なる場合にも適用されてよい。一方、場合によって６７番イントラ予測モードがさらに用いられてもよく、前記６７番イントラ予測モードはＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを表すことができる。

【0110】

図６には、６５個の予測方向のイントラ方向性モードを例示する。

【0111】

図６を参照すると、右下方の対角予測方向を有する３４番イントラ予測モードを中心に、水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードを区分できる。図６のＨとＶはそれぞれ、水平方向性と垂直方向性を意味し、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を表す。これは、モードインデックス値に対するオフセットを表すことができる。２番～３３番イントラ予測モードは水平方向性を、３４番～６６番イントラ予測モードは垂直方向性を有する。一方、３４番イントラ予測モードは厳密には水平方向性でも垂直方向性でもないといえるが、２次変換の変換セットを決定する観点で水平方向性に属すると分類してよい。これは、３４番イントラ予測モードを中心に対称である垂直方向モードに対しては入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番イントラ予測モードに対しては水平方向モードに対する入力データ整列方式を用いるためである。入力データをトランスポーズするということは、２次元ブロックデータＭｘＮに対して行が列になり、列が行になってＮｘＭデータを構成することを意味する。１８番イントラ予測モードと５０番イントラ予測モードはそれぞれ、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を表し、２番イントラ予測モードは左側参照ピクセルを持って右上の方向に予測するので、右上方の対角イントラ予測モードと呼ぶことができ、同様に、３４番イントラ予測モードは右下方の対角イントラ予測モード、６６番イントラ予測モードは左下方の対角イントラ予測モードと呼ぶことができる。

【0112】

一例によって、イントラ予測モードによって４個の変換セットが、例えば次表のようにマップされてよい。

【0113】

【表2】

【0114】

表２のように、イントラ予測モードによって４個の変換セットのいずれか１つ、すなわちｌｆｎｓｔＴｒＳｅｔＩｄｘが０から３、すなわち、４個のうちいずれか１つにマップされてよい。

【0115】

一方、非分離変換に特定セットが用いられることが決定されると、非分離２次変換インデックスによって、前記特定セット内のｋ個の変換カーネルのうちの１つが選択されてよい。エンコーディング装置はＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックベースで特定変換カーネルを示す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコーディング装置にシグナルすることができる。デコーディング装置は、前記非分離２次変換インデックスに基づいて特定セット内ｋ個の変換カーネルのうち１つを選択できる。例えば、ｌｆｎｓｔインデックス値０は１番目非分離２次変換カーネルを示すことができ、ｌｆｎｓｔインデックス値１は２番目非分離２次変換カーネルを示すことができ、ｌｆｎｓｔインデックス値２は３番目非分離２次変換カーネルを示すことができる。又は、ｌｆｎｓｔインデックス値０は、対象ブロックに対して１番目非分離２次変換が適用されないことを示すことができ、ｌｆｎｓｔインデックス値１～３は、前記３個の変換カーネルを示すことができる。

【0116】

変換部は、選択された変換カーネルに基づいて前記非分離２次変換を行い、修正された（２次）変換係数を取得できる。前記修正された変換係数は、上述したように、量子化部で量子化された変換係数として導出されてよく、エンコードされてデコーディング装置にシグナルされ、及びエンコーディング装置内の逆量子化／逆変換部に伝達されてよい。

【0117】

一方、上述したように、２次変換が省略される場合に、前記１次（分離）変換の出力である（１次）変換係数が、上述したように、量子化部で量子化された変換係数として導出されてよく、エンコードされてデコーディング装置にシグナルされ、及びエンコーディング装置内の逆量子化／逆変換部に伝達されてよい。

【0118】

逆変換部は、上述した変換部で行われた手順の逆順で一連の手順を行うことができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を行って（１次）変換係数を導出し（Ｓ５５０）、前記（１次）変換係数に対して１次（逆）変換を行ってレジデュアルブロック（レジデュアルサンプル）を取得することができる（Ｓ５６０）。ここで、前記１次変換係数は、逆変換部の立場では、修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれてよい。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロック及び予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャーを生成できることは上述した通りである。

【0119】

一方、デコーディング装置は、２次逆変換適用有無決定部（又は、２次逆変換を適用するか否かを決定する要素）と、２次逆変換決定部（又は、２次逆変換を決定する要素）をさらに含むことができる。２次逆変換適用有無決定部は、２次逆変換を適用するか否かを決定できる。例えば、２次逆変換は、ＮＳＳＴ、ＲＳＴ又はＬＦＮＳＴであってよく、２次逆変換適用有無決定部は、ビットストリームからパースした２次変換フラグに基づいて２次逆変換を適用するか否かを決定できる。他の例として、２次逆変換適用有無決定部は、レジデュアルブロックの変換係数に基づいて２次逆変換を適用するか否かを決定することもできる。

【0120】

２次逆変換決定部は２次逆変換を決定できる。このとき、２次逆変換決定部は、イントラ予測モードによって指定されたＬＦＮＳＴ（ＮＳＳＴ又はＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定できる。また、一実施例として、１次変換決定方法に依存して（ｄｅｐｅｎｄ ｏｎ）２次変換決定方法が決定されてよい。イントラ予測モードによって１次変換と２次変換の様々な複数の組合せが決定されてよい。また、一例として、２次逆変換決定部は、現在ブロックのサイズに基づいて２次逆変換が適用される領域を決定することもできる。

【0121】

一方、上述したように、２次（逆）変換が省略される場合に（逆量子化された）変換係数を受信し、前記１次（分離）逆変換を行いってレジデュアルブロック（レジデュアルサンプル）を取得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロック及び予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャーを生成できることは上述した通りである。

【0122】

一方、本文書では、非分離２次変換に伴う計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリックス（カーネル）のサイズが減少したＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用することができる。

【0123】

一方、本文書で説明された変換カーネル、変換マトリックス、変換カーネルマトリックスを構成する係数、すなわち、カーネル係数又はマトリックス係数は、８ビットで表現されてよい。これは、デコーディング装置及びエンコーディング装置において具現されるための一条件であってよく、既存の９ビット又は１０ビットと比較して、合理的に受容可能な性能低下を伴いながら変換カーネルを記憶するためのメモリ要求量を減らすことができる。また、カーネルマトリックスを８ビットで表現することにより、小さい乗算器を使用でき、最適のソフトウェア具現のために用いられるＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）命令に、より一層適合であり得る。

【0124】

本明細書において、ＲＳＴは、簡素化ファクター（ｆａｃｔｏｒ）によってサイズが減少した変換マトリックス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて、対象ブロックに対するレジデュアルサンプルに対して行われる変換を意味できる。簡素化変換を行う場合に、変換マトリックスのサイズ減少によって変換時に要求される演算量が減少し得る。すなわち、ＲＳＴは、サイズの大きいブロックの変換又は非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）の問題を解消するために用いられてよい。

【0125】

ＲＳＴは、減少した変換（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）、減少した２次変換（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）、減少変換（ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ）、簡素化した変換（ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ）、簡素変換（ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍ）などの様々な用語としてもよく、ＲＳＴの名称は、挙げられたこれらの例示に限定されない。又は、ＲＳＴは、主に変換ブロックにおいて０以外の係数を含む低周波領域でなされることから、ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）と呼ぶこともでき、前記変換インデックスは、ＬＦＮＳＴインデックスと呼ぶことができる。

【0126】

一方、２次逆変換がＲＳＴベースでなされる場合に、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、当該変換を適用して変換係数を導出することを意味できる。

【0127】

図７は、本文書の一実施例に係るＲＳＴを説明するための図である。

【0128】

本明細書において、「対象ブロック」は、コーディングが行われる現在ブロック又はレジデュアルブロック又は変換ブロックを意味できる。

【0129】

一実施例に係るＲＳＴにおいて、Ｎ次元ベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が、別の空間に位置しているＲ次元ベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマップされて、減少した変換マトリックスが決定されてよく、ここで、ＲはＮよりも小さい。Ｎは、変換が適用されるブロックの１辺の長さ（ｌｅｎｇｔｈ）の自乗又は変換が適用されるブロックと対応する変換係数の総個数を意味でき、簡素化ファクターは、Ｒ／Ｎ値を意味できる。簡素化ファクターは、減少したファクター（ｒｅｄｕｃｅｄ ｆａｃｔｏｒ）、減少ファクター（ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ）、簡素化したファクター（ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ）、簡素ファクター（ｓｉｍｐｌｅ ｆａｃｔｏｒ）などの様々な用語とすることができる。一方、Ｒは、簡素化係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）と呼ぶことができるが、場合によっては簡素化ファクターがＲを意味することもできる。また、場合によって、簡素化ファクターはＮ／Ｒ値を意味することもできる。

【0130】

一実施例において、簡素化ファクター又は簡素化係数は、ビットストリームによってシグナルされてよいが、実施例がこれに限定されるものではない。例えば、簡素化ファクター又は簡素化係数に対する既に定義された値が、各エンコーディング装置２００及びデコーディング装置３００に記憶されていてよく、この場合、簡素化ファクター又は簡素化係数は別にシグナルされなくてよい。

【0131】

一実施例に係る簡素化変換マトリックスのサイズは、通常の変換マトリックスのサイズＮｘＮよりも小さいＲｘＮであり、下式４のように定義されてよい。

【0132】

【数4】

【0133】

図７の（ａ）に示す、減少した変換（Ｒｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍ）ブロック内のマトリックスＴは、式４のマトリックスＴ_ＲｘＮを意味できる。図７の（ａ）のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリックスＴ_ＲｘＮが掛けられる場合に、対象ブロックに対する変換係数が導出され得る。

【0134】

一実施例において、変換が適用されるブロックのサイズが８ｘ８であり、Ｒ＝１６（すなわち、Ｒ／Ｎ＝１６／６４＝１／４）である場合に、図７の（ａ）によるＲＳＴは、下式５のような行列演算で表現されてよい。この場合、メモリと掛け演算が簡素化ファクターによって略１／４に減少し得る。

【0135】

本文書において、行列演算とは、行列を列ベクトルの左側に置き、行列と列ベクトルを掛けて列ベクトルを得る演算と理解されてよい。

【0136】

【数5】

【0137】

式５で、ｒ_１～ｒ_６４は、対象ブロックに対するレジデュアルサンプルを表すことができ、より具体的には、１次変換を適用して生成された変換係数であってよい。式５の演算の結果、対象ブロックに対する変換係数ｃ_ｉが導出され得、ｃ_ｉの導出過程は、式６の通りでよい。

【0138】

【数6】

【0139】

式６の演算の結果、対象ブロックに対する変換係数ｃ_１～ｃ_Ｒが導出され得る。すなわち、Ｒ＝１６の場合に、対象ブロックに対する変換係数ｃ_１～ｃ_１６が導出され得る。仮にＲＳＴではなく通常の（ｒｅｇｕｌａｒ）変換が適用され、サイズ６４ｘ６４（ＮｘＮ）の変換マトリックスがサイズ６４ｘ１（Ｎｘ１）のレジデュアルサンプルに掛けられたとすれば、対象ブロックに対する変換係数が６４個（Ｎ個）が導出されたはずであるが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出されるわけである。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少し、エンコーディング装置２００がデコーディング装置３００に伝送するデータの量が減少するので、エンコーディング装置２００－デコーディング装置３００間の伝送効率が増加し得る。

【0140】

変換マトリックスのサイズ観点で検討すれば、通常の変換マトリックスのサイズは６４ｘ６４（ＮｘＮ）であるが、簡素化変換マトリックスのサイズは１６ｘ６４（ＲｘＮ）に減少するので、通常の変換を行う時と比較すれば、ＲＳＴを行う際にメモリ使用をＲ／Ｎの割合に減少させることができる。また、通常の変換マトリックスを用いる時の掛け算演算数ＮｘＮと比較すれば、簡素化変換マトリックスを用いると掛け算演算数をＲ／Ｎの割合に減少（ＲｘＮ）させることができる。

【0141】

一実施例において、エンコーディング装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルに１次変換及びＲＳＴベースの２次変換を行うことによって対象ブロックに対する変換係数を導出することができる。このような変換係数はデコーディング装置３００の逆変換部に伝達されてよく、デコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる。

【0142】

一実施例に係る逆ＲＳＴマトリックスＴ_ＮｘＲのサイズは、通常の逆変換マトリックスのサイズＮｘＮよりも小さいＮｘＲであり、式４に示す簡素化変換マトリックスＴ_ＲｘＮとトランスポーズ（ｔｒａｎｓｐｏｓｅ）の関係にある。

【0143】

図７の（ｂ）に示す、減少した逆変換（Ｒｅｄｕｃｅｄ Ｉｎｖ．Ｔｒａｎｓｆｏｒｍ）ブロック内のマトリックスＴ_ｔは、逆ＲＳＴマトリックスＴ_ＲｘＮ ^Ｔを意味できる（上付き文字Ｔは、トランスポーズを意味する。）。図７の（ｂ）のように、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴ_ＲｘＮ ^Ｔが掛けられる場合に、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルが導出され得る。逆ＲＳＴマトリックスＴ_ＲｘＮ ^Ｔは、（Ｔ_ＲｘＮ）^Ｔ _ＮｘＲと表現できる。

【0144】

より具体的に、２次逆変換として逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴ_ＲｘＮ ^Ｔが掛けられると、対象ブロックに対する修正された変換係数が導出され得る。一方、逆１次変換として逆ＲＳＴが適用されてよく、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴＲｘＮＴが掛けられると、対象ブロックに対するレジデュアルサンプルが導出され得る。

【0145】

一実施例において、逆変換が適用されるブロックのサイズが８ｘ８であり、Ｒ＝１６（すなわち、Ｒ／Ｎ＝１６／６４＝１／４）である場合に、図７の（ｂ）によるＲＳＴは、下式７のような行列演算で表現されてよい。

【0146】

【数7】

【0147】

式７で、ｃ_１～ｃ_１６は、対象ブロックに対する変換係数を表すことができる。式７の演算の結果、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルを表すｒ_ｉが導出され得、ｒ_ｉの導出過程は式８との通りでよい。

【0148】

【数8】

【0149】

式８の演算の結果、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルを表すｒ_１～ｒ_Ｎが導出され得る。逆変換マトリックスのサイズ観点で検討すれば、通常の逆変換マトリックスのサイズは６４ｘ６４（ＮｘＮ）であるが、簡素化逆変換マトリックスのサイズは６４ｘ１６（ＮｘＲ）に減少するので、通常の逆変換を行う時と比較すれば、逆ＲＳＴを行う際にメモリ使用をＲ／Ｎの割合に減少させることができる。また、通常の逆変換マトリックスを用いる時の掛け算演算数ＮｘＮと比較すれば、簡素化逆変換マトリックスを用いる場合に掛け算演算数をＲ／Ｎの割合に減少（ＮｘＲ）させることができる。

【0150】

一方、８ｘ８ ＲＳＴに対しても、表２のような変換セット構成を適用できる。すなわち、表２での変換セットによって当該８ｘ８ ＲＳＴが適用されてよい。１つの変換セットは、画面内予測モードによって２個又は３個の変換（カーネル）で構成されているので、２次変換を適用しない場合まで含めて最大で４個の変換のうち１つを選択するように構成されてよい。２次変換を適用しない時の変換は、恒等行列が適用されたものと見なされてよい。４個の変換に対してそれぞれ０、１、２、３のインデックスを付与するとしたとき（例えば、０番インデックスを恒等行列、すなわち２次変換を適用しない場合と割り当てることができる。）、変換インデックス又はｌｆｎｓｔインデックスというシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を変換係数ブロックごとにシグナルし、適用される変換を指定できる。すなわち、変換インデックスを用いて、８ｘ８左上端ブロックに対して、ＲＳＴ構成では８ｘ８ ＲＳＴを指定でき、又はＬＦＮＳＴが適用される場合に８ｘ８ ｌｆｎｓｔを指定できる。８ｘ８ ｌｆｎｓｔ及び８ｘ８ ＲＳＴは、変換の対象になる対象ブロックのＷとＨがいずれも８と等しい又はより大きいとき、当該変換係数ブロック内部に含まれた８ｘ８領域に適用され得る変換を表し、当該８ｘ８領域は、当該変換係数ブロック内部の左上端８ｘ８領域であってよい。類似に、４ｘ４ ｌｆｎｓｔ及び４ｘ４ ＲＳＴは、対象ブロックのＷとＨがいずれも４と等しい又はより大きいとき、当該変換係数ブロック内部に含まれた４ｘ４領域に適用され得る変換を表し、当該４ｘ４領域は、当該変換係数ブロック内部の左上端４ｘ４領域であってよい。

【0151】

一方、本文書の一実施例によって、エンコーディング過程の変換において、８ｘ８領域を構成する６４個のデータに対して、１６ｘ６４変換カーネルマトリックスではなく、４８個のデータのみを選択して最大１６ｘ４８変換カーネルマトリックスを適用することができる。ここで、「最大」とは、ｍ個の係数を生成できるｍｘ４８変換カーネルマトリックスに対してｍの最大値が１６であるということを意味する。すなわち、８ｘ８領域にｍｘ４８変換カーネルマトリックス（ｍ≦１６）を適用してＲＳＴを行う場合に、４８個のデータを受信してｍ個の係数を生成することができる。ｍが１６である場合に、４８個のデータを受信して１６個の係数を生成する。すなわち、４８個のデータが４８ｘ１ベクトルをなすとしたとき、１６ｘ４８行列と４８ｘ１ベクトルを順に掛け、１６ｘ１ベクトルが生成されてよい。このとき、８ｘ８領域をなす４８個のデータを適切に配列して４８ｘ１ベクトルを構成できる。例えば、８ｘ８領域のうち右下端４ｘ４領域を除く領域を構成する４８個のデータに基づいて４８ｘ１ベクトルを構成できる。この時、最大１６ｘ４８変換カーネルマトリックスを適用して行列演算を行うと１６個の修正された変換係数が生成されるが、１６個の修正された変換係数はスキャニング順序によって左上端４ｘ４領域に配置されてよく、右上端４ｘ４領域と左下端４ｘ４領域は０で埋められてよい。

【0152】

デコーディング過程の逆変換には、上述した変換カーネルマトリックスのトランスポーズされたマトリックスが用いられてよい。すなわち、デコーディング装置において行われる逆変換過程として逆ＲＳＴ又はＬＦＮＳＴが行われる場合に、逆ＲＳＴを適用する入力係数データは所定の配列順序によって１次元ベクトルとして構成され、１次元ベクトルに当該逆ＲＳＴ行列を左側で掛けて得られた修正された係数ベクトルは所定の配列順序によって２次元ブロックに配列されてよい。

【0153】

要するに、変換過程において、８ｘ８領域にＲＳＴ又はＬＦＮＳＴが適用される場合に、８ｘ８領域の変換係数のうち８ｘ８領域の右下端領域を除く左上端、右上端、左下端領域の４８個変換係数と１６ｘ４８の変換カーネルマトリックスとの行列演算が行われる。行列演算のために４８個の変換係数は１次元配列の形態で入力される。このような行列演算が行われると、１６個の修正された変換係数が導出され、修正された変換係数は８ｘ８領域の左上端領域に配列され得る。

【0154】

逆に、逆変換過程において、８ｘ８領域に逆ＲＳＴ又はＬＦＮＳＴが適用される場合に、８ｘ８領域の変換係数のうち８ｘ８領域の左上端に対応する１６個の変換係数はスキャニング順序によって１次元配列の形態で入力され、４８ｘ１６の変換カーネルマトリックスと行列演算されてよい。すなわち、このような場合の行列演算は（４８ｘ１６行列）＊（１６ｘ１変換係数ベクトル）＝（４８ｘ１修正された変換係数ベクトル）と表すことができる。ここで、ｎｘ１ベクトルは、ｎｘ１行列と同じ意味で解釈されてよいので、ｎｘ１列ベクトルと表記されてもよい。また、＊は、行列掛け算演算を意味する。このような行列演算が行われると、４８個の修正された変換係数が導出され得、４８個の修正された変換係数は８ｘ８領域の右下端領域を除く左上端、右上端、左下端領域に配列され得る。

【0155】

一方、２次逆変換がＲＳＴに基づいてなされる場合に、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、当該変換を適用して変換係数を導出することを意味できる。

【0156】

上述した非分離変換、ＬＦＮＳＴについて具体的に説明すると、次の通りである。ＬＦＮＳＴは、エンコーディング装置による順方向（ｆｏｒｗａｒｄ）変換とデコーディング装置による逆方向（ｉｎｖｅｒｓｅ）変換を含むことができる。

【0157】

エンコーディング装置は、順方向１次変換（ｐｒｉｍａｒｙ（ｃｏｒｅ）ｔｒａｎｓｆｏｒｍ）を適用した後に導出された結果（又は、結果の一部）を入力として、順方向２次変換（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用する。

【0158】

【数9】

【0159】

上記式９で、ｘとｙはそれぞれ、２次変換の入力と出力であり、Ｇは、２次変換を表す行列であって、変換基底ベクトル（ｔｒａｎｓｆｏｒｍ ｂａｓｉｓ ｖｅｃｔｏｒ）は列ベクトルで構成される。逆方向ＬＦＮＳＴの場合、変換行列Ｇの次元（ｄｉｍｅｎｓｉｏｎ）を［ｒｏｗ数ｘｃｏｌｕｍｎ数］と表記したとき、順方向ＬＦＮＳＴの場合、行列Ｇのトランスポーズを取ったものがＧ^Ｔの次元となる。

【0160】

逆方向ＬＦＮＳＴの場合、行列Ｇの次元は、［４８ｘ１６］、［４８ｘ８］、［１６ｘ１６］、［１６ｘ８］になり、［４８ｘ８］行列と［１６ｘ８］行列はそれぞれ、［４８ｘ１６］行列と［１６ｘ１６］行列の左側から８個の変換基底ベクトルをサンプリングした部分行列である。

【0161】

一方、順方向ＬＦＮＳＴの場合、行列Ｇ^Ｔの次元は、［１６ｘ４８］、［８ｘ４８］、［１６ｘ１６］、［８ｘ１６］になり、［８ｘ４８］行列と［８ｘ１６］行列はそれぞれ、［１６ｘ４８］行列と［１６ｘ１６］行列の上側から８個の変換基底ベクトルをサンプリングした部分行列である。

【0162】

したがって、順方向ＬＦＮＳＴの場合、入力ｘとしては［４８ｘ１］ベクトル又は［１６ｘ１］ベクトルが可能であり、出力ｙとしては［１６ｘ１］ベクトル又は［８ｘ１］ベクトルが可能である。ビデオコーディング及びデコーディングにおいて順方向１次変換の出力は、２次元（２Ｄ）データであるので、入力ｘとして［４８ｘ１］ベクトル又は［１６ｘ１］ベクトルを構成するために、順方向変換の出力である２Ｄデータを適切に配列して１次元ベクトルを構成しなければならない。

【0163】

図８は、一例によって順方向１次変換の出力データを１次元ベクトルとして配列する順序を示す図である。図８の（ａ）及び（ｂ）の左図は、［４８ｘ１］ベクトルを作るための順序を示し、図８の（ａ）及び（ｂ）の右図は、［１６ｘ１］ベクトルを作るための順序を示す。ＬＦＮＳＴの場合、図８の（ａ）及び（ｂ）のような順序で２Ｄデータを順次に配列して一次元ベクトルｘを得ることができる。

【0164】

このような順方向１次変換の出力データの配列方向は、現在ブロックのイントラ予測モードによって決定されてよい。例えば、現在ブロックのイントラ予測モードが対角線方向を基準に水平方向であれば、順方向１次変換の出力データは、図８の（ａ）の順序で配列されてよく、現在ブロックのイントラ予測モードが対角線方向を基準に垂直方向であれば、順方向１次変換の出力データは、図８の（ｂ）の順序で配列されてよい。

【0165】

一例によって、図８の（ａ）及び（ｂ）の配列順序（ｏｒｄｅｒｉｎｇ）と異なる配列順序を適用でき、図８の（ａ）及び（ｂ）の配列順序を適用した時と同じ結果（ｙベクトル）を導出するためには、行列Ｇの列ベクトルを当該配列順序に合わせて再配列すればよい。すなわち、ｘベクトルを構成する各要素に対して、常に同じ変換基底ベクトルと掛けられるようにＧの列ベクトルを再配置できる。

【0166】

式９によって導出される出力ｙは一次元ベクトルであるので、仮に順方向２次変換の結果を入力として処理する構成、例えば、量子化又はレジデュアルコーディングを行う構成が入力データとして２次元データが必要であれば、式９の出力ｙベクトルはさらに２Ｄデータとして適切に配置されなければならない。

【0167】

図９は、一例によって、順方向２次変換の出力データを２次元ブロックに配列する順序を示す図である。

【0168】

ＬＦＮＳＴの場合、定められたスキャン順序によって２Ｄブロックに配置されてよい。図９の（ａ）は、出力ｙが［１６ｘ１］ベクトルである場合に、２次元ブロックの１６個の位置に対角スキャン（ｄｉａｇｏｎａｌ ｓｃａｎ）順序によって出力値が配置されることを示す。図９の（ｂ）は、出力ｙが［８ｘ１］ベクトルである場合に、２次元ブロックの８個の位置に対角スキャン順序によって出力値が配置され、残り８個の位置には０で埋められることを示す。図９の（ｂ）のＸは、０で埋められたことを示す。

【0169】

他の例によって、量子化又はレジデュアルコーディングを行う構成によって出力ベクトルｙが処理される順序は、既に設定された順序によって行われてよいので、図９のように、出力ベクトルｙが２Ｄブロックに配置されなくてよい。ただし、レジデュアルコーディングの場合、ＣＧ（Ｃｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ）のような２Ｄブロック（例えば、４ｘ４）単位でデータコーディングが行われてよく、この場合、図９の対角スキャン順序のように、特定順序によってデータが配列されてよい。

【0170】

一方、デコーディング装置は、逆方向変換のために、逆量子化過程などによって出力された２次元データを、既に設定されたスキャン順序によって並べて、１次元入力ベクトルであるｙを構成できる。入力ベクトルｙは、下記式によって入力ベクトルｘとして出力されてよい。

【0171】

【数10】

【0172】

逆方向ＬＦＮＳＴの場合、［１６ｘ１］ベクトル又は［８ｘ１］ベクトルである入力ベクトルｙにＧ行列を掛けることによって、出力ベクトルｘを導出することができる。逆方向ＬＦＮＳＴの場合、出力ベクトルｘは［４８ｘ１］ベクトル又は［１６ｘ１］ベクトルであってよい。

【0173】

出力ベクトルｘは、図８に示す順序によって２次元ブロックに配置されて２次元データとして配列され、このような２次元データは、逆方向１次変換の入力データ（又は、入力データの一部）となる。

【0174】

したがって、逆方向２次変換は全体的に順方向２次変換過程と反対であり、逆変換の場合、順方向におけるとは違い、逆方向２次変換をまず適用した後、逆方向１次変換を適用する。

【0175】

逆方向ＬＦＮＳＴでは、変換行列Ｇとして［４８ｘ１６］行列８個と［１６ｘ１６］行列８個の中から１つが選択されてよい。［４８ｘ１６］行列と［１６ｘ１６］行列のうちどの行列を適用するかは、ブロックのサイズと形態によって決定される。

【0176】

また、８個の行列は、上述した表２のように、４個の変換セットから導出されてよく、各変換セットは、２個の行列で構成されてよい。４個の変換セットのうちどの変換セットを使用するかは、イントラ予測モードによって決定され、より具体的には、広角イントラ予測モード（Ｗｉｄｅ Ａｎｇｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ，ＷＡＩＰ）まで考慮して拡張されたイントラ予測モード値に基づいて変換セットが決定される。選択された変換セットを構成する２個の行列のうちどの行列を選択するかは、インデックスシグナリング（ｉｎｄｅｘ ｓｉｇｎａｌｉｎｇ）によって導出される。より具体的には、伝送されるインデックス値としては０、１、２が可能であり、０は、ＬＦＮＳＴを適用しないことを示し、１と２は、イントラ予測モード値に基づいて選択された変換セットを構成する２個の変換行列のいずれか１つを示す。

【0177】

図１０は、本文書の一実施例に係る広角イントラ予測モードを示す図である。

【0178】

一般のイントラ予測モード値は、０～６６と８１～８３までの値を有してよく、図示のように、ＷＡＩＰによって拡張されたイントラ予測モード値は－１４～８３までの値も有してよい。８１～８３までの値は、ＣＣＬＭ（Ｃｒｏｓｓ Ｃｏｍｐｏｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ）モードを示し、－１４～－１までの値と６７～８０までの値は、ＷＡＩＰ適用によって拡張されたイントラ予測モード値を示す。

【0179】

予測現在ブロックの幅が高さよりも大きい場合に、たいてい、上側の参照ピクセルが、予測しようとするブロック内部の位置と相対的に近い。したがって、右上端（ｔｏｐ－ｒｉｇｈｔ）方向に予測することよりは、左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）方向に予測する方が、より正確であり得る。逆に、ブロックの高さが幅よりも大きい場合には、左側の参照ピクセルが、予測しようとするブロック内部の位置と相対的に近い。したがって、左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）方向に予測することよりは、右上端（ｔｏｐ－ｒｉｇｈｔ）方向に予測する方が、より正確であり得る。したがって、広角イントラ予測モードのインデックスにリマッピング、すなわち、モードインデックス変換を適用することが有利であり得る。

【0180】

広角イントラ予測が適用される場合に、既存のイントラ予測に関する情報がシグナルされてよく、前記情報がパーシングされた後、前記情報が前記広角イントラ予測モードのインデックスにリマップされてよいしたがって、特定ブロック（例えば、特定サイズの非正方形ブロック）に対する総イントラ予測モードの数は変更されずに済み、すなわち、総イントラ予測モードの数は６７個であり、前記特定ブロックに対するイントラ予測モードコーディングは変更されずに済む。

【0181】

一方、上述したように、［４８ｘ１６］行列と［１６ｘ１６］行列のうちどの変換行列をＬＦＮＳＴに適用するかは、変換対象ブロックのサイズと形態によって決定される。

【0182】

図１１は、ＬＦＮＳＴが適用されるブロック形態を示す図である。図１１の（ａ）は、４ｘ４ブロックを、（ｂ）は、４ｘ８及び８ｘ４ブロックを、（ｃ）は、Ｎが１６以上である４ｘＮ又はＮｘ４ブロックを、（ｄ）は、８ｘ８ブロックを、（ｅ）は、Ｍ≧８、Ｎ≧８であり、Ｎ＞８又はＭ＞８であるＭｘＮブロックを示している。

【0183】

図１１で、太い縁のブロックは、ＬＦＮＳＴが適用される領域を表す。図１１の（ａ）及び（ｂ）のブロックに対しては、左上端（ｔｏｐ－ｌｅｆｔ）４ｘ４領域に対してＬＦＮＳＴが適用され、図１１の（ｃ）のブロックに対しては、連続して配置された２個の左上端４ｘ４領域に対してそれぞれＬＦＮＳＴが適用される。図１１の（ａ）、（ｂ）、（ｃ）では、４ｘ４領域単位でＬＦＮＳＴが適用されることから、このようなＬＦＮＳＴを以下、「４ｘ４ＬＦＮＳＴ」と命名するものとし、当該変換行列としては、式９及び式１０のＧに対する行列次元を基準に［１６ｘ１６］又は［１６ｘ８］行列が適用されてよい。

【0184】

より具体的に、図１１の（ａ）の４ｘ４ブロック（４ｘ４ＴＵ又は４ｘ４ＣＵ）に対しては［１６ｘ８］行列が適用され、図１１の（ｂ）及び（ｃ）におけるブロックに対しては［１６ｘ１６］行列が適用される。これは、最悪の場合（ｗｏｒｓｔ ｃａｓｅ）に対する計算複雑度を、サンプル当たり８掛け算（８ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓ ｐｅｒ ｓａｍｐｌｅ）と合わせるためである。

【0185】

図１１の（ｄ）及び（ｅ）に対しては、左上端８ｘ８領域に対してＬＦＮＳＴが適用され、このようなＬＦＮＳＴを以下、「８ｘ８ＬＦＮＳＴ」と命名する。当該変換行列としては［４８ｘ１６］又は［４８ｘ８］行列が適用されてよい。順方向ＬＦＮＳＴの場合、入力データとして［４８ｘ１］ベクトル（式９のｘベクトル）が入力されるので、左上端８ｘ８領域の全てのサンプル値が順方向ＬＦＮＳＴの入力値として使用されない。すなわち、図８の（ａ）の左順序、又は図８の（ｂ）の左順序に見られるように、右下端（ｂｏｔｔｏｍ－ｒｉｇｈｔ）の４ｘ４ブロックはそのまま置き、残り３個の４ｘ４ブロックに属したサンプルに基づいて［４８ｘ１］ベクトルを構成できる。

【0186】

図１１の（ｄ）における８ｘ８ブロック（８ｘ８ＴＵ又は８ｘ８ＣＵ）に［４８ｘ８］行列が適用され、図１１の（ｅ）における８ｘ８ブロックに［４８ｘ１６］行列が適用されてよい。これも同様、最悪の場合（ｗｏｒｓｔ ｃａｓｅ）に対する計算複雑度をサンプル当たり８掛け算（８ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓ ｐｅｒ ｓａｍｐｌｅ）と合わせるためである。

【0187】

ブロックの形態によってそれに対応する順方向ＬＦＮＳＴ（４ｘ４ＬＦＮＳＴ又は８ｘ８ＬＦＮＳＴ）が適用されると、８個又は１６個の出力データ（式９におけるｙベクトル、［８ｘ１］又は［１６ｘ１］ベクトル）が生成され、順方向ＬＦＮＳＴでは、行列ＧＴの特性の上、出力データの数が入力データの数と等しくなる或いはより少なくなる。

【0188】

図１２は、一例によって、順方向ＬＦＮＳＴの出力データの配列を示す図であり、ブロックの形態によって順方向ＬＦＮＳＴの出力データが配置されるブロックを示している。

【0189】

図１２に示すブロックの左上端に陰影で処理された領域が、順方向ＬＦＮＳＴの出力データが位置する領域に該当し、０と表記された位置は、０値で埋められるサンプルを表し、残り領域は、順方向ＬＦＮＳＴによって変更されない領域を表す。ＬＦＮＳＴによって変更されない領域には、順方向１次変換の出力データが変更されずにそのまま存在する。

【0190】

上述したように、ブロックの形態によって、適用される変換行列の次元が異なるので、出力データの数も異なる。図１２のように、順方向ＬＦＮＳＴの出力データが左上端４ｘ４ブロックを全て埋められないこともある。図１２の（ａ）及び（ｄ）で、太線で表示されたブロック又はブロック内部の一部領域にはそれぞれ［１６ｘ８］行列と［４８ｘ８］行列が適用され、順方向ＬＦＮＳＴの出力として［８ｘ１］ベクトルが生成される。すなわち、図９の（ｂ）に示すスキャン順序によって、８個の出力データのみが図１２の（ａ）及び（ｄ）のように埋められ、残り８個の位置に対しては０が埋められてよい。図１１の（ｄ）のＬＦＮＳＴ適用ブロックの場合、図１２の（ｄ）のように、左上端４ｘ４ブロックに隣接した右上端及び左下端の２つの４ｘ４ブロックも０値で埋められる。

【0191】

上記のように、基本的に、ＬＦＮＳＴインデックスをシグナルして、ＬＦＮＳＴを適用するか否か及び適用する変換行列を指定する。図１２に示すように、ＬＦＮＳＴが適用される場合に、順方向ＬＦＮＳＴの出力データ数が入力データ数と等しい又は少ないことがあるので、０値で埋められる領域が次のように発生する。

【0192】

１）図１２の（ａ）のように、左上端４ｘ４ブロック内にスキャン順序において８番目後の位置、すなわち、９番目から１６番目までのサンプル

【0193】

２）図１２の（ｄ）及び（ｅ）のように、［１６ｘ４８］行列又は［８ｘ４８］行列が適用されて左上端４ｘ４ブロックに隣接した２つの４ｘ４ブロック又はスキャン順序において２番目と３番目の４ｘ４ブロック

【0194】

したがって、前記１）と２）の領域をチェックし、０以外（ｎｏｎ－ｚｅｒｏ）のデータが存在すると、ＬＦＮＳＴが適用されていないことが確実なので、当該ＬＦＮＳＴインデックスのシグナリングが省略可能になる。

【0195】

一例によって、例えば、ＶＶＣ標準に採択されたＬＦＮＳＴの場合、ＬＦＮＳＴインデックスのシグナリングはレジデュアルコーディング後に行われるので、エンコーディング装置は、レジデュアルコーディングによってＴＵ又はＣＵブロック内部の全ての位置に対する０以外のデータ（有効係数）の存在有無が把握可能になる。したがって、エンコーディング装置は、０以外のデータの存在有無によってＬＦＮＳＴインデックスに対するシグナリングを行うか否かが判断でき、デコーディング装置は、ＬＦＮＳＴインデックスをパースするか否かが判断できる。仮に、前記１）と２）で指定された領域に０以外のデータが存在しない場合、ＬＦＮＳＴインデックスのシグナリングを行う。

【0196】

一方、採択されたＬＦＮＳＴに対して、次のような単純化方法が適用されてよい。

【0197】

（ｉ）一例によって、順方向ＬＦＮＳＴに対する出力データ数を最大で１６個に限定できる。

【0198】

図１１の（ｃ）の場合、左上端に隣接した２個の４ｘ４領域にそれぞれ４ｘ４ＬＦＮＳＴが適用されてよく、この時、最大で３２個のＬＦＮＳＴ出力データが生成されてよい。仮に、順方向ＬＦＮＳＴに対する出力データ数を最大で１６に限定すれば、４ｘＮ／Ｎｘ４（Ｎ≧１６）ブロック（ＴＵ又はＣＵ）に対しても、左上端に存在する１個の４ｘ４領域に対してのみ４ｘ４ＬＦＮＳＴを適用し、図１１の全てのブロックに対してＬＦＮＳＴを１回のみ適用できる。これにより、映像コーディングに対する具現が単純化し得る。

【0199】

（ｉｉ）一例によって、ＬＦＮＳＴが適用されない領域に対してさらにゼロアウト（ｚｅｒｏ－ｏｕｔ）を適用できる。本文書において、ゼロアウトは、特定領域に属した全ての位置の値を０値で埋めることを意味できる。すなわち、ＬＦＮＳＴによって変更されずに順方向１次変換の結果を維持している領域に対してもゼロアウトを適用できる。上述したように、ＬＦＮＳＴは４ｘ４ＬＦＮＳＴと８ｘ８ＬＦＮＳＴに区分されるので、次のように２種類（（ｉｉ）－（Ａ）及び（ｉｉ）－（Ｂ））にゼロアウトを区分できる。

【0200】

（ｉｉ）－（Ａ）４ｘ４ＬＦＮＳＴが適用されるとき、４ｘ４ＬＦＮＳＴが適用されない領域をゼロアウトすることができる。図１３は、一例によって、４ｘ４ＬＦＮＳＴが適用されるブロックにおけるゼロアウトを示す図である。

【0201】

図１３のように、４ｘ４ＬＦＮＳＴが適用されるブロックに対して、すなわち、図１２の（ａ）、（ｂ）及び（ｃ）のブロックに対して、ＬＦＮＳＴが適用されない領域まで全て０で埋められてよい。

【0202】

一方、図１３の（ｄ）は、一例によって、順方向ＬＦＮＳＴの出力データ個数の最大値を１６に限定した場合に、４ｘ４ＬＦＮＳＴが適用されない残りのブロックに対してゼロアウトを行ったことを示す。

【0203】

（ｉｉ）－（Ｂ）８ｘ８ＬＦＮＳＴが適用されるとき、８ｘ８ＬＦＮＳＴが適用されない領域をゼロアウトすることができる。図１４は、一例によって、８ｘ８ＬＦＮＳＴが適用されるブロックにおけるゼロアウトを示す図である。

【0204】

図１４のように、８ｘ８ＬＦＮＳＴが適用されるブロックに対して、すなわち、図１２の（ｄ）及び（ｅ）のブロックに対して、ＬＦＮＳＴが適用されない領域まで全て０で埋められてよい。

【0205】

（ｉｉｉ）前記（ｉｉ）から提示したゼロアウトによって、ＬＦＮＳＴが適用される時に０で埋められる領域が変わることがある。したがって、前記（ｉｉ）で提案されたゼロアウトによって０以外のデータが存在するか否かを、図１２のＬＦＮＳＴの場合に比べてより広い領域に対してチェックできる。

【0206】

例えば、（ｉｉ）－（Ｂ）を適用する場合に、図１２の（ｄ）及び（ｅ）において０値で埋められる領域に追加して、図１４でさらに０で埋められた領域まで、０以外のデータが存在するか否かをチェックした後、０以外のデータが存在しない場合にのみ、ＬＦＮＳＴインデックスに対するシグナリングを行うことができる。

【0207】

勿論、前記（ｉｉ）で提案されたゼロアウトを適用しても、既存ＬＦＮＳＴインデックスシグナリングと同様に０以外のデータが存在するか否かをチェックできる。すなわち、図１２で０で埋められたブロックに対して０以外のデータが存在するか否かをチェックし、ＬＦＮＳＴインデックスシグナリングを適用することができる。このような場合、エンコーディング装置にのみゼロアウトを行い、デコーディング装置では当該ゼロアウトを仮定しないで、すなわち、図１２で明示的に０と表記された領域に対してのみ０以外のデータが存在するか否かをチェックしてＬＦＮＳＴインデックスパーシングを行うことができる。

【0208】

前記ＬＦＮＳＴに対する単純化方法（（ｉ）、（ｉｉ）－（Ａ）、（ｉｉ）－（Ｂ）、（ｉｉｉ））の組合せを適用した様々な実施例が導出されてよい。勿論、前記単純化方法に対する組合せは次の下実施例に限定されず、任意の組合せをＬＦＮＳＴに適用できる。

【0209】

実施例

【0210】

－ 順方向ＬＦＮＳＴに対する出力データ数を最大で１６個に限定→（ｉ）

【0211】

－ ４ｘ４ＬＦＮＳＴが適用される時に、４ｘ４ＬＦＮＳＴが適用されない領域を全てゼロアウト→（ｉｉ）－（Ａ）

【0212】

－ ８ｘ８ＬＦＮＳＴが適用される時に、８ｘ８ＬＦＮＳＴが適用されない領域を全てゼロアウト→（ｉｉ）－（Ｂ）

【0213】

－ 既存０値で埋められる領域の他に追加のゼロアウト（（ｉｉ）－（Ａ）、（ｉｉ）－（Ｂ））によって０で埋められる領域に対しても０以外のデータが存在するか否かをチェックした後、０以外のデータが存在しない場合にのみＬＦＮＳＴインデクシングシグナリング→（ｉｉｉ）

【0214】

前記実施例の場合、ＬＦＮＳＴが適用される時に、０以外の出力データが存在し得る領域が、左上端４ｘ４領域内部に制限される。より詳細には、図１３の（ａ）と図１４の（ａ）の場合、スキャン順序において８番目位置が０以外のデータが存在し得る最後の位置となり、図１３の（ｂ）及び（ｄ）と図１４の（ｂ）の場合、スキャン順序において１６番目位置（すなわち、左上端４ｘ４ブロックの右下端の最端位置）が０以外のデータが存在し得る最後の位置となる。

【0215】

したがって、ＬＦＮＳＴが適用された時にレジデュアルコーディング過程が許容されない位置（最後の位置を超えた位置）で０以外のデータが存在するか否かをチェックした後、ＬＦＮＳＴインデックスシグナリングをするか否かが決定されてよい。

【0216】

（ｉｉ）で提案されたゼロアウト方式の場合、１次変換とＬＦＮＳＴの両方を適用した時に最終的に発生するデータの数を減らすので、全体変換過程を行う時に要求される計算量を減らすことができる。すなわち、ＬＦＮＳＴが適用される場合に、ＬＦＮＳＴが適用されない領域に存在する順方向１次変換出力データに対してもゼロアウトを適用するので、順方向１次変換を行う時からゼロアウトとなる領域に対するデータを生成し始める必要がない。したがって、当該データ生成に要求される演算量を節約できる。（ｉｉ）で提案されたゼロアウト方式の追加の効果をまとめると、次の通りである。

【0217】

第一に、上記のように、全体変換過程の実行に必要な計算量が低減する。

【0218】

特に、（ｉｉ）－（Ｂ）を適用する場合に、最悪の場合に対する計算量が減少し、変換過程を軽量化できる。さらにいうと、一般的に大きいサイズの１次変換実行に多量の演算が要求されるが、（ｉｉ）－（Ｂ）を適用すると、順方向ＬＦＮＳＴ実行結果として導出されるデータの数を１６個以下に減らすことができ、全体ブロック（ＴＵ又はＣＵ）サイズが大きくなるほど変換演算量低減効果はより増大する。

【0219】

第二に、変換過程全体に必要な演算量が減少し、変換実行に必要な電力消費を減らすことができる。

【0220】

第三に、変換過程に伴う遅延時間（ｌａｔｅｎｃｙ）を減少させる。

【0221】

ＬＦＮＳＴのような２次変換は、既存１次変換に計算量を追加するため、変換実行に伴う全体遅延時間を増加させる。特に、イントラ予測の場合、予測過程で隣接ブロックの復元データが用いられるので、エンコーディング時に２次変換による遅延時間の増加が、復元（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）までの遅延時間の増加につながってしまい、イントラ予測エンコーディングの全体的な遅延時間の増加を招くことがある。

【0222】

しかし、（ｉｉ）で提示したゼロアウトを適用すると、ＬＦＮＳＴ適用時に１次変換実行の遅延時間を大幅に減らすことができるので、変換実行全体に対する遅延時間はそのまま維持されるか、却って減少し、エンコーディング装置をより簡単にすることができる。

【0223】

一方、従来のイントラ予測は、現在符号化しようとするブロックを、１つの符号化単位と見なして分割無しで符号化を行った。しかし、ＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｉｔｉｏｎｓ）コーディングは、現在符号化しようとするブロックを水平方向或いは垂直方向に分割してイントラ予測符号化を行うことを意味する。このとき、分割されたブロック単位で符号化／復号化を行って復元されたブロックを生成し、復元されたブロックは、次の分割されたブロックの参照ブロックとして用いられてよい。一例によって、ＩＳＰコーディング時に１つのコーディングブロックが２個又は４個のサブブロックに分割してコードされてよく、ＩＳＰにおいて１つのサブブロックは、隣接した左側又は隣接した上側に位置しているサブブロックの復元されたピクセル値を参照してイントラ予測が行われる。以下、使用される「コーディング」とは、エンコーディング装置で行われるコーディングとデコーディング装置で行われるデコーディングのいずれをも含む概念であってよい。

【0224】

ＩＳＰは、ブロックのサイズによって、ルマイントラで予測されたブロックを、垂直方向又は水平方向に２又は４個のサブパーティショニングに分割することである。例えば、ＩＳＰが適用され得る最小ブロックサイズは、４ｘ８又は８ｘ４である。仮に、ブロックサイズが４ｘ８又は８ｘ４よりも大きいと、ブロックは４個のサブパーティショニングに分割される。

【0225】

ＩＳＰ適用時に、サブブロックは分割形態によって、例えば、水平（Ｈｏｒｉｚｏｎｔａｌ）又は垂直（Ｖｅｒｔｉｃｉａｌ）、左側から右側、又は上側から下側に順次にコードされ、１つのサブブロックに対する逆変換とイントラ予測を経て復元過程まで行われた後、次のサブブロックに対するコーディングが行われてよい。最左側又は最上側のサブブロックに対しては、通常のイントラ予測方式のように、既にコードされたコーディングブロックの復元ピクセルを参照する。また、続く内部のサブブロックの各辺に対して以前サブブロックと隣接していない場合には、当該辺に隣接した参照ピクセルを導出するために、通常のイントラ予測方式のように、既にコードされた隣接したコーディングブロックの復元ピクセルを参照する。

【0226】

ＩＳＰコーディングモードでは、全てのサブブロックが同一のイントラ予測モードでコードされてよく、ＩＳＰコーディングを用いか否かを示すフラグと、どの方向（水平又は垂直）に分割するかを示すフラグなどがシグナルされてよい。この時、ブロックの形態によってサブブロックの個数を２個又は４個に調節でき、１つのサブブロックのサイズ（幅ｘ高さ）が１６未満である場合に、当該サブブロックへの分割を許容しないように、又はＩＳＰコーディング自体を適用しないように制限できる。

【0227】

一方、ＩＳＰ予測モードである場合に、１つのコーディングユニットが２個又は４個のパーティションブロック、すなわち、サブブロックに分割されて予測され、当該分割された２個又は４個のパーティションブロックには同一の画面内予測モードが適用される。

【0228】

上述したように、分割方向としては、水平方向（横長と縦長がそれぞれＭ、ＮであるＭｘＮコーディングユニットが水平方向に分割されると、２個に分割される場合にＭｘ（Ｎ／２）ブロックに分割され、４個に分割される場合にＭｘ（Ｎ／４）ブロックに分割される。）と垂直方向（ＭｘＮコーディングユニットが垂直方向に分割されると、２個に分割される場合に（Ｍ／２）ｘＮブロックに分割され、４個に分割される場合に（Ｍ／４）ｘＮブロックに分割される。）とも可能である。水平方向に分割される場合に、上から下の方向への順序でパーティションブロックがコードされ、垂直方向に分割される場合に、左から右の方向への順序でパーティションブロックがコードされる。現在コードされるパーティションブロックは、水平（垂直）方向分割である場合に上側（左側）パーティションブロックの復元されたピクセル値を参照して予測されてよい。

【0229】

ＩＳＰ予測方法で生成されたレジデュアル信号に、パーティションブロック単位で変換が適用されてよい。順方向（ｆｏｒｗａｒｄ）を基準に１次変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ又はｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）に、既存ＤＣＴ－２の他にＤＳＴ－７／ＤＣＴ－８組合せベースのＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）技術も適用されてよく、１次変換によって生成された変換係数に順方向ＬＦＮＳＴ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）が適用され、最終的な修正された変換係数が生成され得る。

【0230】

すなわち、ＩＳＰ予測モードが適用されて分割されたパーティションブロックにもＬＦＮＳＴが適用されてよく、上述したように、分割されたパーティションブロックには同一のイントラ予測モードが適用される。したがって、イントラ予測モードに基づいて導出されるＬＦＮＳＴセット選択時に、全てのパーティションブロックに導出されたＬＦＮＳＴセットを適用できる。すなわち、全てのパーティションブロックに同一のイントラ予測モードが適用され、これによって全てのパーティションブロックには同一のＬＦＮＳＴセットが適用され得る。

【0231】

一方、一例によって、ＬＦＮＳＴは横と縦の長さがいずれも４以上である変換ブロックに対してのみ適用されてよい。したがって、ＩＳＰ予測方式によって分割されたパーティションブロックの横又は縦の長さが４未満である場合に、ＬＦＮＳＴが適用されず、ＬＦＮＳＴインデックスもシグナルされない。また、各パーティションブロックにＬＦＮＳＴを適用する場合に、当該パーティションブロックを１つの変換ブロックと見なしてよい。勿論、ＩＳＰ予測方式が適用されない場合に、コーディングブロックにＬＦＮＳＴが適用されてよい。

【0232】

各パーティションブロックにＬＦＮＳＴを適用することを具体的に説明すると、次の通りである。

【0233】

一例によって、個別的なパーティションブロックに対して順方向ＬＦＮＳＴを適用した後、左上端４ｘ４領域に変換係数スキャニング順序によって最大で１６個（８個又は１６個）の係数のみを残した後、残りの位置及び領域はいずれも０値で埋めるゼロアウトが適用されてよい。

【0234】

又は、一例によって、パーティションブロックの１辺の長さが４である場合に、左上端４ｘ４領域に対してのみＬＦＮＳＴを適用し、パーティションブロックの全ての辺、すなわち幅及び高さの長さが８以上である場合に、左上端８ｘ８領域内部の右下端４ｘ４領域を除く残り４８個の係数に対してＬＦＮＳＴを適用してよい。

【0235】

又は、一例によって、最悪の場合の計算複雑度を８掛け算／サンプル（ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓ ｐｅｒ ｓａｍｐｌｅ）と合わせるために、各パーティションブロックが４ｘ４又は８ｘ８である場合には、順方向ＬＦＮＳＴ適用後に８個の変換係数のみを出力できる。すなわち、パーティションブロックが４ｘ４であれば、変換マトリックスとして８ｘ１６行列が適用され、パーティションブロックが８ｘ８であれば、変換マトリックスとして８ｘ４８行列が適用されてよい。

【0236】

一方、現在ＶＶＣ標準において、ＬＦＮＳＴインデックスシグナリングは、コーディングユニット単位で行われる。したがって、ＩＳＰ予測モードであり、且つ全てのパーティションブロックに対してＬＦＮＳＴを適用する場合に、当該パーティションブロックに対しては同一のＬＦＮＳＴインデックス値が適用されてよい。すなわち、コーディングユニットレベルでＬＦＮＳＴインデックス値が一度伝送されると、コーディングユニット内部の全てのパーティションブロックに対しては、当該ＬＦＮＳＴインデックスが適用されてよい。上述したように、ＬＦＮＳＴインデックス値は０、１、２値を有することができ、０は、ＬＦＮＳＴが適用されない場合を示し、１と２は、ＬＦＮＳＴが適用される時に、１つのＬＦＮＳＴセット内に存在する２つの変換マトリックスを指示する。

【0237】

上記のように、ＬＦＮＳＴセットは、イントラ予測モードによって決定され、ＩＳＰ予測モードである場合に、コーディングユニット内の全てのパーティションブロックが同一のイントラ予測モードで予測されるので、パーティションブロックは同一のＬＦＮＳＴセットを参照できる。

【0238】

さらに他の例として、ＬＦＮＳＴインデックスシグナリングは相変らずコーディングユニット単位で行われるが、ＩＳＰ予測モードの場合に全てのパーティションブロックに対して一様に、ＬＦＮＳＴを適用するか否かを決定せず、別個の条件によって、それぞれのパーティションブロックに対してコーディングユニットレベルでシグナルされたＬＦＮＳＴインデックス値を適用するかそれともＬＦＮＳＴを適用しないかを決定できる。ここで、別個の条件は、ビットストリームによって各パーティションブロック別にフラグの形態でシグナルされてよく、フラグ値が１であれば、コーディングユニットレベルでシグナルされたＬＦＮＳＴインデックス値を適用し、フラグ値が０であれば、ＬＦＮＳＴを適用しなくてよい。

【0239】

以下では、ＩＳＰモードにＬＦＮＳＴの適用時に、最悪の場合に対する計算複雑度を維持する方法について述べる。

【0240】

ＩＳＰモードである場合に、ＬＦＮＳＴ適用時に、サンプル当たり（又は、係数当たり、位置当たり）掛け算数を一定値以下に維持するためにＬＦＮＳＴ適用を制限してよい。パーティションブロックのサイズによって次のようにＬＦＮＳＴを適用し、サンプル当たり（或いは、係数当たり、位置当たり）掛け算数を８個以下に維持できる。

【0241】

１．パーティションブロックの横長と縦長とも４以上である場合には、現在ＶＶＣ標準におけるＬＦＮＳＴに対する最悪の場合に対する計算複雑度調節方式と同じ方式を適用できる。

【0242】

すなわち、パーティションブロックが４ｘ４ブロックである場合には、１６ｘ１６行列の代わりに、順方向では１６ｘ１６行列から上位８個の行をサンプリングした８ｘ１６行列を適用し、逆方向では１６ｘ１６行列から左側８個の列をサンプリングした１６ｘ８行列を適用できる。また、パーティションブロックが８ｘ８ブロックである場合には、順方向の場合、１６ｘ４８行列の代わりに、１６ｘ４８行列から上位８個の行をサンプリングした８ｘ４８行列を適用し、逆方向の場合、４８ｘ１６行列の代わりに、４８ｘ１６行列から左側８個の列をサンプリングした４８ｘ８行列を適用できる。

【0243】

４ｘＮ又はＮｘ４（Ｎ＞４）ブロックの場合、順方向変換を行う時に、左上端４ｘ４ブロックに対してのみ１６ｘ１６行列を適用した後、生成された１６個の係数は左上端４ｘ４領域に配置され、それ以外の領域は０値で埋められてよい。また、逆方向変換を行う時は、左上端４ｘ４ブロックに位置した１６個の係数をスキャニング順序によって配置して入力ベクトルを構成した後、１６ｘ１６行列を掛けて１６個の出力データを生成できる。生成された出力データは、左上端４ｘ４領域に配置され、左上端４ｘ４領域を除く残りの領域は０で埋められてよい。

【0244】

８ｘＮ又はＮｘ８（Ｎ＞８）ブロックの場合、順方向変換を行う時に、左上端８ｘ８ブロック内部のＲＯＩ領域（左上端８ｘ８ブロックから右下端４ｘ４ブロックを除く残りの領域）に対してのみ１６ｘ４８行列を適用した後、生成された１６個の係数は左上端４ｘ４領域に配置され、それ以外領域はいずれも０値で埋められてよい。また、逆方向変換を行う時は、左上端４ｘ４ブロックに位置した１６個の係数をスキャニング順序によって配置して入力ベクトルを構成した後、４８ｘ１６行列を掛けて４８個の出力データを生成できる。生成された出力データは前記ＲＯＩ領域に埋められ、残りの領域はいずれも０値で埋められてよい。

【0245】

さらに他の例として、サンプル当たり（又は、係数当たり、位置当たり）掛け算数を一定値以下に維持するために、ＩＳＰパーティションブロックのサイズではなくＩＳＰコーディングユニットサイズを基準に、サンプル当たり（或いは、係数当たり、位置当たり）掛け算数を８個以下に維持できる。仮に、ＩＳＰパーティションブロックのうち、ＬＦＮＳＴが適用される条件を満たすブロックが１つのみ存在する場合に、パーティションブロックのサイズではなく当該コーディングユニットサイズに基づいてＬＦＮＳＴの最悪の場合に対する複雑度演算が適用されてよい。例えば、あるコーディングユニットに対するルマコーディングブロックが４ｘ４サイズの４個のパーティションブロックに分割されてＩＳＰでコードされ、そのうち２個のパーティションブロックに対しては０以外の変換係数が存在しない場合に、他の２個のパーティションブロックには（エンコーダ基準で）それぞれ８個ではなく１６個の変換係数が生成されるように設定できる。

【0246】

以下では、ＩＳＰモードの場合に、ＬＦＮＳＴインデックスをシグナルする方法について説明する。

【0247】

上述したように、ＬＦＮＳＴインデックスは０、１、２値を有することができ、０は、ＬＦＮＳＴを適用しないことを示し、１と２は、選択されたＬＦＮＳＴセットに含まれた２つのＬＦＮＳＴカーネルマトリックスの１つずつを示す。ＬＦＮＳＴインデックスによって選択されたＬＦＮＳＴカーネルマトリックスに基づいてＬＦＮＳＴが適用される。現在ＶＶＣ標準においてＬＦＮＳＴインデックスが伝送される方式を説明すると、次の通りである。

【0248】

１．コーディングユニット（ＣＵ）ごとに１回ずつＬＦＮＳＴインデックスを伝送することができ、デュアルツリー（ｄｕａｌ－ｔｒｅｅ）の時には、ルマブロックとクロマブロックに対してそれぞれ個別のＬＦＮＳＴインデックスがシグナルされてよい。

【0249】

２．ＬＦＮＳＴインデックスがシグナルされない場合には、ＬＦＮＳＴインデックス値はデフォルト値である０に定められる（ｉｎｆｅｒ）。ＬＦＮＳＴインデックス値が０と類推される場合は、次の通りである。

【0250】

Ａ．変換が適用されないモードである場合（例えば、変換スキップ（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）、ＢＤＰＣＭ、無損失（ｌｏｓｓｌｅｓｓ）コーディングなど）

【0251】

Ｂ．１次変換がＤＣＴ－２でない場合（ＤＳＴ７やＤＣＴ８）、すなわち、水平方向の変換又は垂直方向の変換がＤＣＴ－２でない場合

【0252】

Ｃ．コーディングユニットのルマブロックに対する横長又は縦長が、変換が可能な最大ルマ変換のサイズを超える場合に、例えば、変換が可能な最大ルマ変換のサイズが６４である場合に、コーディングブロックのルマブロックに対するサイズが１２８ｘ１６と同じ場合にはＬＦＮＳＴが適用不可能である。

【0253】

デュアルツリーの場合、ルマ成分に対するコーディングユニットとクロマ成分に対するコーディングユニットのそれぞれに対して最大ルマ変換のサイズを超えるか否かが判断される。すなわち、ルマブロックに対して変換が可能な最大ルマ変換のサイズを超えるか否かがチェックされ、クロマブロックに対してカラーフォーマットに対する対応ルマブロックの横長又は縦長が最大変換が可能な最大ルマ変換のサイズを超えるか否かがチェックされる。例えば、カラーフォーマットが４：２：０である場合には、対応ルマブロックの横／縦長はそれぞれ、当該クロマブロックの２倍になり、対応ルマブロックの変換サイズは当該クロマブロックの２倍となる。さらに他の例として、カラーフォーマットが４：４：４である場合には、対応ルマブロックの横／縦長と変換サイズは、対応するクロマブロックと同一である。

【0254】

６４長変換又は３２長変換が意味するところがそれぞれ、６４又は３２の長さを有する横又は縦に適用される変換を意味し、「変換サイズ」は、当該長さである６４又は３２を意味できる。

【0255】

シングルツリーの場合、ルマブロックに対して横長又は縦長が変換が可能な最大ルマ変換ブロックサイズを超えるか否かをチェックした後、超える場合にＬＦＮＳＴインデックスシグナリングを省略してよい。

【0256】

Ｄ．コーディングユニットの横長と縦長の両方とも４以上である場合にのみＬＦＮＳＴインデックスを伝送できる。

【0257】

デュアルツリーの場合、当該成分（すなわち、ルマ又はクロマ成分）に対する横長と縦長がいずれも４以上である場合に対してのみＬＦＮＳＴインデックスをシグナルすることができる。

【0258】

シングルツリーの場合には、ルマ成分に対する横長と縦長がいずれも４以上である場合に対してＬＦＮＳＴインデックスをシグナルすることができる。

【0259】

Ｅ．最後の０以外の係数の位置（ｌａｓｔ ｎｏｎ－ｚｅｒｏ ｃｏｅｆｆｉｃｉｅｎｔ ｐｏｓｉｔｉｏｎ）がＤＣ位置（ブロックの左上端位置）でない場合に、デュアルツリータイプのルマブロックであれば、最後の０以外の係数の位置がＤＣ位置でないとＬＦＮＳＴインデックスを伝送する。デュアルツリータイプのクロマブロックであれば、Ｃｂに対する最後の０以外の係数の位置とＣｒに対する最後の０以外の係数の位置のいずれか１つでもＤＣ位置でないと当該ＬＮＦＳＴインデックスを伝送する。

【0260】

シングルツリータイプの場合、ルマ成分、Ｃｂ成分、Ｃｒ成分のいずれか１つでも当該最後の０以外の係数の位置がＤＣ位置でないとＬＦＮＳＴインデックスを伝送する。

【0261】

ここで、１つの変換ブロックに対する変換係数の存在有無を示すＣＢＦ（ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ）値が０であれば、ＬＦＮＳＴインデックスシグナリングするか否かを判断するために、当該変換ブロックに対する最後の０以外の係数の位置をチェックしない。すなわち、当該ＣＢＦ値が０である場合、当該ブロックに変換が適用されないので、ＬＦＮＳＴインデックスシグナリングに対する条件をチェックする時に最後の０以外の係数の位置を考慮しなくてよい。

【0262】

例えば、１）デュアルツリータイプであり、ルマ成分である場合に、当該ＣＢＦ値が０であれば、ＬＦＮＳＴインデックスをシグナルしなく、２）デュアルツリータイプであり、クロマ成分である場合に、Ｃｂに対するＣＢＦ値が０であり、Ｃｒに対するＣＢＦ値が１であれば、Ｃｒに対する最後の０以外の係数の位置のみをチェックして当該ＬＦＮＳＴインデックスを伝送し、３）シングルツリータイプである場合には、ルマ、Ｃｂ、Ｃｒの全てに対して、各ＣＢＦ値が１である成分に対してのみ最後の０以外の係数の位置をチェックする。

【0263】

Ｆ．ＬＦＮＳＴ変換係数が存在し得る位置でない位置に変換係数が存在することが確認された場合に、ＬＦＮＳＴインデックスシグナリングを省略してよい。４ｘ４変換ブロックと８ｘ８変換ブロックの場合は、ＶＶＣ標準における変換係数スキャニング順序によって、ＤＣ位置から８個の位置にＬＦＮＳＴ変換係数が存在してよく、残りの位置はいずれも０で埋められる。また、４ｘ４変換ブロックと８ｘ８変換ブロックでない場合には、ＶＶＣ標準における変換係数スキャニング順序によって、ＤＣ位置から１６個の位置にＬＦＮＳＴ変換係数が存在してよく、残りの位置はいずれも０で埋められる。

【0264】

したがって、レジデュアルコーディング（ｒｅｓｉｄｕａｌ ｃｏｄｉｎｇ）を行った後、前記０値が埋められるべき領域に０以外の変換係数が存在すると、ＬＦＮＳＴインデックスシグナリングを省略してよい。

【0265】

一方、ＩＳＰモードは、ルマブロックである場合にのみ適用されてもよく、ルマブロックとクロマブロックの両方に適用されてもよい。上述したように、ＩＳＰ予測が適用される場合、当該コーディングユニットは２個又は４個のパーティションブロックに分割されて予測され、変換も当該パーティションブロックにそれぞれ適用されてよい。したがって、コーディングユニット単位でＬＦＮＳＴインデックスをシグナルする条件を決定する時にも、当該パーティションブロックにそれぞれＬＦＮＳＴが適用され得るという事実を考慮しなければならない。また、ＩＳＰ予測モードが特定成分（例えば、ルマブロック）に対してのみ適用される場合には、当該成分に対してのみパーティションブロックに分割されるという事実を考慮してＬＦＮＳＴインデックスをシグナルしなければならない。ＩＳＰモードである時に可能なＬＦＮＳＴインデックスシグナリング方式をまとめると、次の通りである。

【0266】

１．コーディングユニット（ＣＵ）ごとに１回ずつＬＦＮＳＴインデックスを伝送することができ、デュアルツリー（ｄｕａｌ－ｔｒｅｅ）の時は、ルマブロックとクロマブロックに対してそれぞれ個別のＬＦＮＳＴインデックスがシグナルされてよい。

【0267】

２．ＬＦＮＳＴインデックスがシグナルされない場合には、ＬＦＮＳＴインデックス値はデフォルト値である０に定められる（ｉｎｆｅｒ）。ＬＦＮＳＴインデックス値が０と類推される場合は、次の通りである。

【0268】

Ａ．変換が適用されないモードである場合（例えば、変換スキップ（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）、ＢＤＰＣＭ、無損失（ｌｏｓｓｌｅｓｓ）コーディングなど）

【0269】

Ｂ．コーディングユニットのルマブロックに対する横長又は縦長が変換が可能な最大ルマ変換のサイズを超える場合に、例えば、変換が可能な最大ルマ変換のサイズが６４である場合に、コーディングブロックのルマブロックに対するサイズが１２８ｘ１６と同じ場合にはＬＦＮＳＴが適用不可能である。

【0270】

コーディングユニットの代わりにパーティションブロックのサイズを基準にＬＦＮＳＴインデックスのシグナリングをするか否かを決定することができる。すなわち、当該ルマブロックに対するパーティションブロックの横長又は縦長が変換が、可能な最大ルマ変換のサイズを超える場合に、ＬＦＮＳＴインデックスシグナリングを省略し、ＬＦＮＳＴインデックス値を０と類推できる。

【0271】

デュアルツリーの場合、ルマ成分に対するコーディングユニット又はパーティションブロックとクロマ成分に対するコーディングユニット又はパーティションブロックのそれぞれに対して、最大変換ブロックサイズを超えるか否かが判断される。すなわち、ルマに対するコーディングユニット又はパーティションブロックの横と縦長をそれぞれ最大ルマ変換サイズと比較し、１つでも最大ルマ変換サイズよりも大きければ、ＬＦＮＳＴを適用しなく、クロマに対するコーディングユニット又はパーティションブロックの場合には、カラーフォーマットに対する対応ルマブロックの横／縦長と最大変換が可能な最大ルマ変換のサイズが比較される。例えば、カラーフォーマットが４：２：０である場合には、対応ルマブロックの横／縦長はそれぞれ当該クロマブロックの２倍となり、対応ルマブロックの最大変換サイズは、当該クロマブロックに対する最大変換サイズの２倍となる。さらに他の例として、カラーフォーマットが４：４：４である場合には、対応ルマブロックの横／縦長と変換サイズは、対応するクロマブロックと同一である。

【0272】

シングルツリーの場合に、ルマブロック（コーディングユニット又はパーティションブロック）に対して横長又は縦長が、変換が可能な最大ルマ変換ブロックサイズを超えるか否かをチェックした後、超える場合にＬＦＮＳＴインデックスシグナリングを省略してよい。

【0273】

Ｃ．仮に現在のＶＶＣ標準に含まれたＬＦＮＳＴを適用すると、パーティションブロックの横長と縦長の両方が４以上である場合に対してのみ、ＬＦＮＳＴインデックスを伝送できる。

【0274】

仮に現在ＶＶＣ標準に含まれたＬＦＮＳＴの他に２ｘＭ（１ｘＭ）又はＭｘ２（Ｍｘ１）ブロックに対するＬＦＮＳＴも適用すると、パーティションブロックのサイズが２ｘＭ（１ｘＭ）又はＭｘ２（Ｍｘ１）ブロックと等しい又はより大きい場合に対してのみＬＦＮＳＴインデックスを伝送できる。ここで、ＰｘＱブロックがＲｘＳブロックと等しい又はより大きいという意味は、Ｐ≧Ｒであり、Ｑ≧Ｓであるということを意味する。

【0275】

要するに、パーティションブロックが、ＬＦＮＳＴが適用可能な最小限のサイズと等しい又はより大きい場合に対してのみ、ＬＦＮＳＴインデックスを伝送できる。デュアルツリーの場合、ルマ又はクロマ成分に対するパーティションブロックが、ＬＦＮＳＴが適用可能な最小限のサイズと等しい又はより大きい場合にのみ、ＬＦＮＳＴインデックスをシグナルすることができる。シングルツリーの場合、ルマ成分に対するパーティションブロックが、ＬＦＮＳＴが適用可能な最小限のサイズと等しい又はより大きい場合にのみ、ＬＦＮＳＴインデックスをシグナルすることができる。

【0276】

本文書において、ＭｘＮブロックがＫｘＬブロックより大きい又は等しいということは、ＭがＫより大きい又は等しく、ＮがＬより大きい又は等しいということを意味する。ＭｘＮブロックがＫｘＬブロックよりも大きいということは、ＭがＫより大きい又は等しく、ＮがＬより大きい又は等しいと共に、ＭがＫよりも大きいか又はＮがＬよりも大きいということを意味する。ＭｘＮブロックがＫｘＬブロックより小さい又は等しいということは、ＭがＫより小さい又は等しく、ＮがＬより小さい又は等しいということを意味し、ＭｘＮブロックがＫｘＬブロックより小さいということは、ＭがＫより小さい又は等しく、ＮがＬより小さい又は等しいと共に、ＭがＫより小さい又はＮがＬより小さいということを意味する。

【0277】

Ｄ．最後の０以外の係数の位置（ｌａｓｔ ｎｏｎ－ｚｅｒｏ ｃｏｅｆｆｉｃｉｅｎｔ ｐｏｓｉｔｉｏｎ）がＤＣ位置（ブロックの左上端位置）でない場合に、デュアルツリータイプのルマブロックであれば、全パーティションブロックのうちの１つでも当該最後の０以外の係数の位置がＤＣ位置でなければ、ＬＦＮＳＴインデックスを伝送できる。デュアルツリータイプであり、クロマブロックであれば、Ｃｂに対する全てのパーティションブロックの（ＩＳＰモードがクロマ成分に適用されない場合にはパーティションブロックの数を１個と見なす。）最後の０以外の係数の位置とＣｒに対する全パーティションブロックの（ＩＳＰモードがクロマ成分に適用されない場合にはパーティションブロックの数を１個と見なす。）最後の０以外の係数の位置のうち１つでもＤＣ位置でなければ、当該ＬＮＦＳＴインデックスを伝送できる。

【0278】

シングルツリータイプの場合、ルマ成分、Ｃｂ成分、Ｃｒ成分に対する全パーティションブロックのうちの１つでも最後の０以外の係数の位置がＤＣ位置でなければ、当該ＬＦＮＳＴインデックスを伝送できる。

【0279】

ここで、各パーティションブロックに対して変換係数存在の有無を示すＣＢＦ（ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ）値が０であれば、ＬＦＮＳＴインデックスシグナリングをするか否かを判断するために、当該パーティションブロックに対する最後の０以外の係数の位置をチェックしない。すなわち、当該ＣＢＦ値が０である場合に、当該ブロックに変換が適用されないので、ＬＦＮＳＴインデックスシグナリングに対する条件をチェックする時に当該パーティションブロックに対する最後の０以外の係数の位置を考慮しない。

【0280】

例えば、１）デュアルツリータイプであり、ルマ成分である場合に、各パーティションブロックに対して当該ＣＢＦ値が０であれば、ＬＦＮＳＴインデックスシグナリングをするか否かを決定する時に当該パーティションブロックを除外させ、２）デュアルツリータイプであり、クロマ成分である場合に、各パーティションブロックに対してＣｂに対するＣＢＦ値が０であり、Ｃｒに対するＣＢＦ値が１であれば、Ｃｒに対する最後の０以外の係数の位置のみをチェックして、当該ＬＦＮＳＴインデックスシグナリングをするか否かを決定し、３）シングルツリータイプである場合に、ルマ成分、Ｃｂ成分、Ｃｒ成分の全パーティションブロックに対してＣＢＦ値が１であるブロックに対してのみ最後の０以外の係数の位置をチェックして、ＬＦＮＳＴインデックスシグナリングをするか否かを決定できる。

【0281】

ＩＳＰモードである場合には、最後の０以外の係数の位置をチェックしないように映像情報を構成してもよく、これに関する実施例は、次の通りである。

【0282】

ｉ．ＩＳＰモードである場合は、ルマブロックとクロマブロックの両方に対して最後の０以外の係数の位置に対するチェックを省略し、ＬＦＮＳＴインデックスシグナリングを許容することができる。すなわち、全てのパーティションブロックに対して最後の０以外の係数の位置がＤＣ位置であるか、当該ＣＢＦ値が０であっても、当該ＬＦＮＳＴインデックスシグナリングを許容することができる。

【0283】

ｉｉ．ＩＳＰモードである場合には、ルマブロックに対してのみ、最後の０以外の係数の位置に対するチェックを省略し、クロマブロックの場合は、上述した方式の最後の０以外の係数の位置に対するチェックを行うことができる。例えば、デュアルツリータイプであり、ルマブロックである場合は、最後の０以外の係数の位置に対するチェックをしないでＬＦＮＳＴインデックスシグナリングを許容し、デュアルツリータイプであり、クロマブロックである場合は、上述した方式で最後の０以外の係数の位置に対するＤＣ位置存在の有無をチェックして、当該ＬＦＮＳＴインデックスのシグナリングをするか否かを決定できる。

【0284】

ｉｉｉ．ＩＳＰモードであり、シングルツリータイプである場合は、前記ｉ番又はｉｉ番方式を適用できる。すなわち、ＩＳＰモードであり、シングルツリータイプにｉ番を適用する場合に、ルマブロックとクロマブロックの両方に対して最後の０以外の係数の位置に対するチェックを省略し、ＬＦＮＳＴインデックスシグナリングを許容することができる。又は、ｉｉ番を適用して、ルマ成分に対するパーティションブロックに対しては、最後の０以外の係数の位置に対するチェックを省略し、クロマ成分に対するパーティションブロック（クロマ成分に対してＩＳＰを適用しない場合には、パーティションブロックの数を１と見なすことができる。）に対しては、上述した方式で最後の０以外の係数の位置に対するチェックを行って、当該ＬＦＮＳＴインデックスシグナリングをするか否かを決定できる。

【0285】

Ｅ．全パーティションブロックのうち１つのパーティションブロックでも、ＬＦＮＳＴ変換係数が存在し得る位置でない位置に変換係数が存在することが確認されると、ＬＦＮＳＴインデックスシグナリングを省略してよい。

【0286】

例えば、４ｘ４パーティションブロックと８ｘ８パーティションブロックの場合は、ＶＶＣ標準における変換係数スキャニング順序によって、ＤＣ位置から８個の位置にＬＦＮＳＴ変換係数が存在してよく、残りの位置はいずれも０で埋められる。また、４ｘ４と等しい又はより大きいと共に、４ｘ４パーティションブロック及び８ｘ８パーティションブロックでない場合には、ＶＶＣ標準における変換係数スキャニング順序によってＤＣ位置から１６個の位置にＬＦＮＳＴ変換係数が存在でき、残りの位置はいずれも０で埋められる。

【0287】

したがって、レジデュアルコーディング（ｒｅｓｉｄｕａｌ ｃｏｄｉｎｇ）を行った後、前記０値が埋められるべき領域に０以外の変換係数が存在すると、ＬＦＮＳＴインデックスシグナリングを省略してよい。

【0288】

一方、ＩＳＰモードである場合に、現在ＶＶＣ標準では水平方向と垂直方向に対してそれぞれ独立に長さ条件を確認し、ＭＴＳインデックスに対するシグナリング無しでＤＣＴ－２の代わりにＤＳＴ－７を適用する。横又は縦の長さが４と等しい又は大きく、１６と等しい又は小さいかが判断され、判断の結果によって１次変換カーネルが決定される。したがって、ＩＳＰモードであり、且つＬＦＮＳＴを適用できる場合に対しては、次のような変換組合せ構成が可能である。

【0289】

１．ＬＦＮＳＴインデックスが０である場合（ＬＦＮＳＴインデックスが０と類推される場合も含む。）に対しては、現在ＶＶＣ標準に含まれたＩＳＰである時の１次変換決定条件に従うことができる。すなわち、水平方向と垂直方向に対してそれぞれ独立に長さ条件（４と等しい又は大きく、１６と等しい又は小さい条件）を満たすか否かをチェックし、満たすと、１次変換のためにＤＣＴ－２の代わりにＤＳＴ－７を適用し、満たさないと、ＤＣＴ－２を適用できる。

【0290】

２．ＬＦＮＳＴインデックスが０よりも大きい場合に対しては、１次変換として次のような２つの構成が可能である。

【0291】

Ａ．水平方向と垂直方向の両方ともにＤＣＴ－２を適用できる。

【0292】

Ｂ．現在ＶＶＣ標準に含まれたＩＳＰである時の１次変換決定条件に従うことができる。すなわち、水平方向と垂直方向に対してそれぞれ独立に長さ条件（４と等しい又は大きく、１６と等しい又は小さい条件）を満たすか否かをチェックし、満たすと、ＤＣＴ－２の代わりにＤＳＴ－７を適用し、満たさないと、ＤＣＴ－２を適用できる。

【0293】

ＩＳＰモードであるとき、ＬＦＮＳＴインデックスはコーディングユニットごとに伝送されるのではなく、パーティションブロックごとに伝送されるように映像情報を構成できる。このような場合、上述したＬＦＮＳＴインデックスシグナリング方式においてＬＦＮＳＴインデックスが伝送される単位内にパーティションブロックが１個のみ存在すると見なし、ＬＦＮＳＴインデックスシグナリングをするか否かを決定できる。

【0294】

一方、一実施例よって、ＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｔｉａｌ ｐｕｌｓｅ ｃｏｄｅｄ ｍｏｄｕｌａｔｉｏｎ又はＢｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）手法が用いられてよい。ＢＤＰＣＭは、ＲＤＰＣＭ（ｑｕａｎｔｉｚｅｄ Ｒｅｓｉｄｕａｌ ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）と命名されてもよい。

【0295】

ＢＤＰＣＭを適用してブロックを予測する場合に、ブロックの行又は列をラインバイラインで予測するために、復元されたサンプルを活用する。このとき、使用された参照ピクセルは、フィルタリングされないサンプルであってよい。ＢＤＰＣＭ方向は、垂直方向又は水平方向予測が用いられたか否かを示すことができる。予測誤り（ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒ）は、空間的ドメインで量子化され、ピクセルは、予測に、逆量子化された予測誤りを足すことによって復元される。このようなＢＤＰＣＭの代案として、量子化されたレジデュアルドメインＢＤＰＣＭが提案されてよく、予測方向やシグナリングは、空間的ドメインに適用されたＢＤＰＣＭと同一であってよい。すなわち、量子化されたレジデュアルドメインＢＤＰＣＭによって量子化係数自体をＤＰＣＭ（Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）のように積み重ねた後、逆量子化によってレジデュアルを復元できる。したがって、量子化されたレジデュアルドメインＢＤＰＣＭは、レジデュアルコーディング端でＤＰＣＭを適用するという意味で使われてよい。本文書で使われる量子化されたレジデュアルドメインは、予測に基づいて導出されたレジデュアルが変換無しで量子化されたものであり、量子化されたレジデュアルサンプルに対するドメインを意味する。

【0296】

一例によって、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）モードの適用有無は、表３のようにコーディングユニットに対するシンタックステーブルでシグナルされてよい。

【0297】

【表3】

【0298】

表３のｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｆｌａｇは、当該コーディングユニットのルマ成分に対してＢＤＰＣＭを適用するか否かを示すフラグであり、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇは、当該コーディングユニットのクロマ成分に対してＢＤＰＣＭを適用するか否かを示すフラグである。フラグ値が１であれば、ＢＤＰＣＭを適用、０であれば、適用しないことを示す。ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｆｌａｇとｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇ値によって、表４のようにＢｄｐｃｍＦｌａｇ［ｘ］［ｙ］［ｃＩｄｘ］変数値が定められる。

【0299】

【表4】

【0300】

表４のＢｄｐｃｍＦｌａｇ［ｘ］［ｙ］［ｃＩｄｘ］において、ｘ値は、ルマピクチャーの左上端横座標（ｘ座標）位置を基準にした時（０にした時）のｘ座標（横ピクセル位置）値を示し、ｘ座標は左側から右側に向かって増加する。表４のＢｄｐｃｍＦｌａｇ［ｘ］［ｙ］［ｃＩｄｘ］において、ｙ値は、ルマピクチャーの左上端縦座標（ｙ座標）位置を基準にした時（０にした時）のｙ座標（縦ピクセル位置）値を示し、ｙ座標は上側から下側に向かって増加する。

【0301】

表４のＢｄｐｃｍＦｌａｇ［ｘ］［ｙ］［ｃＩｄｘ］において、ｃＩｄｘ値はカラー成分を示し（Ｙ又はＣｂ又はＣｒ）、０であれば、ルマ成分を、１と２であれば、クロマ成分を示す（１であればＣｂ、２であればＣｒ）。表４で、ｃＩｄｘ値が０でないクロマ成分であっても、ｘ座標とｙ座標はルマピクチャーを基準で示し、例えば、クロマ成分の横方向解像度がルマ成分に比べて２倍低い場合（例えば、ピクチャーに対するカラーフォーマットが４：２：０であるか４：２：２である場合）に、クロマピクチャーに対する実質的なｘ座標値は、ルマピクチャー基準の当該座標に比べて半分となる。

【0302】

表４で、ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔはそれぞれ、ルマ成分を基準にした時のコーディングブロックに対する横長と縦長を示し、同様に、クロマ成分の横（縦）方向解像度がルマ成分に比べて２倍低い場合に、当該クロマコーディングブロックに対する実質的な横（縦）長は、ルマコーディングブロックに比べて半分となる。

【0303】

表４で、ｘ０とｙ０はそれぞれ、ルマピクチャーの左上端位置を０にした時の当該ルマコーディングブロック内の左上端位置に対するｘ座標値とｙ座標値を示す。このとき、クロマコーディングブロックは、ルマ成分に換算した時の同一位置（ｃｏｌｌｏｃａｔｅｄ）ルマ位置に対応する。

【0304】

表４に見られるように、２クロマ成分（Ｃｂ、Ｃｒ）に対するＢｄｐｃｍＦｌａｇ［ｘ］［ｙ］［ｃＩｄｘ］値がいずれもｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇで（に）設定されるので、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇ値が１であれば、現在コーディング中であるコーディングユニットの２クロマ成分（Ｃｂ、Ｃｒ）に対していずれもＢＤＰＣＭが適用されてよい。

【0305】

表５のように、各成分に対してＢＤＰＣＭが適用された場合に、当該成分に対する変換スキップフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ）値は１と類推される。

【0306】

【表5】

【0307】

表５で、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ」は、当該コーディングブロックが変換スキップ（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）でコードされるか否かを示すフラグである。フラグ値が１であれば、変換スキップを適用し、０であれば、変換スキップを適用しないことを示す。ここで、ｘ０、ｙ０、ｃＩｄｘの意味は表５にも明示されており、表４を参照して説明された通りである。

【0308】

表５で、ＢｄｐｃｍＦｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］値が１であれば、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］が１と類推されるとしているが（すなわち、ｃＩｄｘで指定される成分に対してＢＰＰＣＭが適用されると、当該成分に対する変換スキップフラグは１に設定）、表４から分かるように、２クロマ成分（Ｃｂ、Ｃｒ）に対してはＢｄｐｃｍＦｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］値がいずれもｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇで設定されるので、クロマ成分に対してＢＤＰＣＭが適用される場合に対しては、２クロマ成分に対するｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］値が同一に１に設定される。

【0309】

表６は、変換ユニットに対するシンタックステーブルであり、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］及び各カラー成分に対する変換ブロックのコーデッドブロックフラグ（ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ，ＣＢＦ）値のシグナリング又はパーシングを示している。

【0310】

【表6-1】

【0311】

【表6-2】

【0312】

表６で、ルマ成分に対するＣＢＦであるｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］（又は、ｔｕ＿ｃｂｆ＿ｌｕｍａ［ｘ０］［ｙ０］で表現されてよい。）とクロマ成分に対するＣＢＦであるｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘＣ］［ｙＣ］（Ｃｂ成分に対するＣＢＦ、又はｔｕ＿ｃｂｆ＿ｃｂ［ｘＣ］［ｙＣ］）、及びｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘＣ］［ｙＣ］（Ｃｒ成分に対するＣＢＦ、又はｔｕ＿ｃｂｆ＿ｃｒ［ｘＣ］［ｙＣ］）をシグナルする時に、各成分に対するＢＤＰＣＭ適用の有無をチェックしない。すなわち、ＢｄｐｃｍＦｌａｇ［ｘ］［ｙ］［ｃＩｄｘ］値をチェックしない。

【0313】

ここで、ＣＢＦ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ）は、当該変換ブロック内部に変換係数が存在するか否かを示し、その値が１であれば、変換係数が存在し、０であれば、変換係数が存在しないことを意味する。したがって、各成分に対してＢＤＰＣＭが適用されても、当該ＣＢＦ値は０になってよい。

【0314】

ＢＤＰＣＭの動作方式は、選択された方向によって（ＶＶＣでは水平方向又は垂直方向、表４でルマ成分の場合、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｄｉｒ＿ｆｌａｇで指定され、クロマ成分の場合、ｉｎｔｒａ＿ｂｄｐｍ＿ｃｈｒｏｍａ＿ｄｉｒ＿ｆｌａｇで指定される。）位置ごとに変換係数の形態で伝達される値を累積してレジデュアル信号を復元する。この時、当該ＣＢＦ値が０であることは、動作側面でレジデュアル信号がない一般的なイントラ予測方式と同一であるといえる。

【0315】

しかし、ＣＢＦ値が０である場合に、表３のように、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｆｌａｇ、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｄｉｒ＿ｆｌａｇ、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇ、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｄｉｒ＿ｆｌａｇをシグナルするＢＤＰＣＭモードが、ＲＤ費用の側面で、イントラ予測コーディングよりも有利であるといえる。したがって、ＣＢＦ値が０である場合に、ＢＤＰＣＭモードでコードされてよく、これによって、ＢＤＰＣＭモードであってもＣＢＦ値が０である場合が存在し得る。

【0316】

一方、表３のコーディングユニットでＬＦＮＳＴインデックス（ｌｆｎｓｔ＿ｉｄｘ）がシグナルされてよく、表３のようにｌｆｎｓｔＮｏｔＴｓＦｌａｇ変数値が１である場合にのみ、ＬＦＮＳＴインデックスがシグナルされてよい。表３で、複数の成分に対する変換スキップフラグのいずれか１つでも１であれば、ｌｆｎｓｔＮｏｔＴｓＦｌａｇ値は１に設定される。すなわち、ｌｆｎｓｔＮｏｔＴｓＦｌａｇ変数は、現在コーディングユニットに属した全ての成分に対して当該変換スキップフラグ値がいずれも０である場合にのみ１に設定されてよい。

【0317】

表３のように、シングルツリーである場合は、ルマ成分とクロマ成分の両方に対して変換スキップフラグが０である場合に限ってｌｆｎｓｔＮｏｔＴｓＦｌａｇ値が１になってよく、ルマ分離ツリー（ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ）である場合には、ルマ成分に対する変換スキップフラグのみ０であればよく、クロマ分離ツリー（ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）である場合には、Ｃｂ成分とＣｒ成分に対する変換スキップフラグ値がいずれも０である場合に限ってｌｆｎｓｔＮｏｔＴｓＦｌａｇ変数値が１になってよい。

【0318】

上述したように、ある成分に対してＢＤＰＣＭモードであり、且つＣＢＦ値が０である場合に、当該成分に対する変換スキップフラグが１と類推されてよい。しかし、当該成分に対して変換係数が存在しないので、当該成分は変換過程と関係がない。当該成分は変換過程と関係がないので、ＬＦＮＳＴインデックスのシグナリングに関しても関係ない必要がある。しかし、この場合、表３では当該成分に対する変換スキップフラグが１と類推され、ｌｆｎｓｔＮｏｔＴｓＦｌａｇ値が０に）設定されるので、ＬＦＮＳＴインデックスがシグナルされない。より具体的な例示として、次のような場合を挙げることができる。

【0319】

１．クロマ分離ツリーである場合に、仮に、表３と違い、Ｃｂ成分とＣｒ成分に対してＢＤＰＣＭ適用の有無を示すフラグがそれぞれ存在する（例えば、表３におけるｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇではなくｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｂ＿ｆｌａｇとｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｒ＿ｆｌａｇが存在する）と、Ｃｂ成分又はＣｒ成分にＢＤＰＣＭが適用され、当該変換ブロックに対するＣＢＦ値が０である場合に、Ｃｂ成分又はＣｒ成分に対する変換スキップフラグも１になるので、表３におけるｌｆｎｓｔＮｏｔＴｓＦｌａｇ値は０になる。したがって、ＬＦＮＳＴインデックスがシグナルされない。

【0320】

一方、Ｃｒ成分又はＣｂ成分のいずれか１つにＢＤＰＣＭが適用され、残りの成分に対するＣＢＦ値が０でないと共に変換スキップフラグ値が０である場合には、残りの成分に対してはＬＦＮＳＴが適用されてよいので、ＬＦＮＳＴインデックスがシグナルされ得るように許容することが好ましい。

【0321】

しかし、表３のように、Ｃｂ成分とＣｒ成分に対するＢＤＰＣＭ適用の有無を示すフラグがｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇと同一であれば、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇが１になった時にＢＤＰＣＭがＣｂ成分とＣｒ成分に同時に適用されるので、Ｃｒ成分又はＣｂ成分のいずれか１つにＢＤＰＣＭが適用され、残りの成分に対するＣＢＦ値が０でないと共に変換スキップフラグ値が０である場合が発生しなくなり、ＬＦＮＳＴインデックスがシグナルされない。

【0322】

２．シングルツリーである場合に、Ｙ、Ｃｂ、Ｃｒのいずれか一成分に対するＢＤＰＣＭが適用され、当該変換ブロックに対するＣＢＦ値が０である場合に、当該成分に対する変換スキップフラグ値も１になるので、表３におけるｌｆｎｓｔＮｏｔＴｓＦｌａｇ値は０になる。

【0323】

しかし、残り２成分のいずれか１つでも当該ＣＢＦ値が０でないと共に当該成分に対する変換スキップフラグ値が０である場合には、当該成分に対してＬＦＮＳＴが適用されてもよいので、ＬＦＮＳＴインデックスがシグナルされ得るように許容することが好ましい。

【0324】

表３のように、ルマ成分（Ｙ）に対するＢＤＰＣＭ適用の有無がｉｎｔｒａ＿ｌｕｍａ＿ｂｄｐｃｍ＿ｆｌａｇによって決定され（ｉｎｔｒａ＿ｌｕｍａ＿ｂｄｐｃｍ＿ｆｌａｇ値が１であれば、ＢＤＰＣＭを適用し、０であれば、ＢＤＰＣＭを適用しない。）、２クロマ成分（Ｃｂ、Ｃｒ）に対するＢＤＰＣＭ適用の有無がｉｎｔｒａ＿ｃｈｒｏｍａ＿ｂｄｐｃｍ＿ｆｌａｇによって決定されると仮定しよう（ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｂｄｐｃｍ＿ｆｌａｇ値が１であれば、ＢＤＰＣＭを適用、０であれば、ＢＤＰＣＭを適用しない。）。

【0325】

この場合、シングルツリーでコードされる時に、（１）ルマ成分に対してＢＤＰＣＭが適用され、当該ＣＢＦ値が０であり、残り２つのクロマ成分のいずれか１つでも当該ＣＢＦ値が０でないと共に変換スキップフラグ値が０である場合に、当該クロマ成分に対してＬＦＮＳＴが適用されてよい。しかし、ルマ成分に対してＢＤＰＣＭが適用され、当該ＣＢＦ値が０である場合に、現在ＶＶＣ標準では２クロマ成分に対する変換スキップフラグ値がいずれも０である場合に限ってＬＦＮＳＴインデックスがシグナリング可能であり、そのために２クロマ成分に対してＢＤＰＣＭが適用されることが不可能である。また、現在ＶＶＣ標準では、シングルツリーである場合に、ルマ成分に対してのみＬＦＮＳＴを適用するようになっているので、シングルツリーでコードされる時にクロマ成分に対してはＬＦＮＳＴが適用されない。

【0326】

シングルツリーでコードされる他のケースである、（２）２クロマ成分に対してＢＤＰＣＭが適用され、当該２クロマ成分に対するＣＢＦ値がいずれも０である場合に、ルマ成分に対するＣＢＦ値が０でないと共に変換スキップフラグ値が０であれば、当該ルマ成分に対してＬＦＮＳＴが適用されてもよい。すなわち、ルマ成分に変換スキップに適用されず、２つのクロマ成分にＢＤＰＣＭが適用され、クロマ成分のＣＢＦ値がいずれも０であっても、ルマ成分に対するＬＦＮＳＴインデックスがシグナルされてよい。

【0327】

したがって、表３におけるｌｆｎｓｔＮｏｔＴｓＦｌａｇ変数を、表７及び表８のように設定すれば、上記の２つの場合（（１）及び（２））にＬＦＮＳＴインデックスがシグナルされてよい。

【0328】

【表7】

【0329】

【表8】

【0330】

表７及び表８のように、ある成分に対するＣＢＦ値が０であれば、当該成分に対する変換スキップフラグ値はいずれの値を有しても関係ないので、ｌｆｎｓｔＮｏｔＴｓＦｌａｇ値を０に変更するのに寄与しない。

【0331】

言い換えると、当該コーディングユニットに属した全ての成分に対するＣＢＦ値が０であるか、変換スキップフラグ値が０であれば、ｌｆｎｓｔＮｏｔＴｓＦｌａｇ値が１に設定されてよい。

【0332】

表７では、シングルツリーか、ルマ分離ツリーか、クロマ分離ツリーかによって条件をチェックする成分を異なるように構成している。すなわち、シングルツリーはＹ／Ｃｂ／Ｃｒの全て、ルマ分離ツリーはＹのみ、クロマ分離ツリーはＣｂ及びＣｒの両方に対してＣＢＦ値又は変換スキップフラグ値をチェックし、表８では、全ての成分に対して全部チェックしている。

【0333】

一方、表８では、現在コーディングユニットに関連する成分でない場合に対して、当該ＣＢＦ又は変換スキップフラグが０と類推されることを仮定している。すなわち、ルマ分離ツリーである場合は、ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］又はｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［１］が０と類推されるべきであり、ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］又はｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［２］が０と類推されるべきである。クロマ分離ツリーである場合は、ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］又はｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］が０と類推されるべきである。

【0334】

一方、現在ＶＶＣ標準では、ＩＳＰモードが適用されるコーディングブロックにＬＦＮＳＴが適用されてよい。ＩＳＰモードが適用されてＹ成分に対するコーディングブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）がＮ個（Ｎ＝２又は４）のパーティションブロックに分割される場合に、パーティションブロックごとにＣＢＦ値を有する。すなわち、パーティションブロックごとにｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇがシグナルされる。

【0335】

現在ＶＶＣ標準においてＩＳＰモードが適用されるとき、パーティションブロックのうち少なくとも１つは、ＣＢＦが１であることが保障され、ＣＢＦが１であるパーティションブロックのうちの１つは、必ずしもコーディング順序において１番目のパーティションブロックである必要はない。

【0336】

ＩＳＰが適用される場合に、表７及び表８におけるｘ０とｙ０は、コーディングユニットに対するｘ座標とｙ座標であるので、表７及び表８で登場するｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］は、１番目のパーティションブロックに対するＣＢＦである。

【0337】

したがって、ＩＳＰモードが適用される場合に、表７及び表８で「！ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］」条件だけでは、ルマコーディングブロック内に変換係数が存在するか否かがチェックできない。

【0338】

一例によって、ＩＳＰモードが適用される場合に、ルマコーディングブロック内に変換係数が存在するか否かを明確にチェックできない状況を反映して、表７及び表８はそれぞれ、表９及び表１０と記述されてよい。表９及び表１０で「ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ＝＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ」条件は、ＩＳＰモードが適用されない場合を示す。

【0339】

【表9】

【0340】

【表10】

【0341】

しかし、現在ＶＶＣ標準においてＩＳＰモードが適用される時は変換スキップが適用されることが不可能であるため、「ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０」条件を満たさないとＩＳＰモードも適用されない。

【0342】

表７の「！ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０」条件において論理的に「！ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］」と「ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０」のいずれか一つのみ満たせば、当該条件は真となるので、「！ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］」に対するチェックは、「ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０」を満たさない場合にのみ意味がある。

【0343】

しかし、上述したように、「ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０」を満たさないと、ＩＳＰモードが適用されないことが確実であるので、「！ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］」に対するチェック時に、ＩＳＰモードであるか否かを考慮する必要がなくなる。したがって、表７及び表８も依然として有効であるといえる。

【0344】

一例によって、現在ＶＶＣにおいて、ＬＦＮＳＴは、１）ルマ分離ツリーである場合に適用されてよく、２）クロマ分離ツリーである場合に適用されてよく、３）シングルツリーである場合に、ルマ成分に対してのみ適用されてよい。上述したように、ＢＤＰＣＭが適用されると共にＣＢＦが０である成分は変換が適用されなくなるので、ＬＦＮＳＴと関係がないといえる。

【0345】

ルマ分離ツリー又はシングルツリーであり、ルマ成分に対してＢＤＰＣＭが適用され、且つ当該ＣＢＦが０である場合に、根本的にＬＦＮＳＴが適用されないので、ルマ成分に対するＣＢＦ値をチェックしなくてもよい。したがって、ルマ分離ツリーとシングルツリーである場合に、ルマ成分に対するＣＢＦ値をチェックしないで、表１１又は表１２のようにｌｆｎｓｔＮｏｔＴｓＦｌａｇを導出することができる。

【0346】

【表11】

【0347】

【表12】

【0348】

表１１又は表１２が適用される場合に、ＢＤＰＣＭとＬＦＮＳＴが適用される全ての場合に対してそれぞれいずれの方式で動作するかについて説明すると、次の通りである。

【0349】

１．ルマＢＤＰＣＭ非適用、クロマ ＢＤＰＣＭ非適用：現在のＶＶＣ標準のように、すなわち表３と同一に動作する。

【0350】

２．ルマＢＤＰＣＭ適用、クロマＢＤＰＣＭ非適用

【0351】

２－１）ルマ分離ツリー：現在のＶＶＣ標準のように、すなわち表３と同一に動作する。すなわち、ルマ成分に対するＣＢＦが０である場合と１である場合ともＬＦＮＳＴインデックスがシグナルされず、０と類推される。

【0352】

２－２）クロマ分離ツリー：現在のＶＶＣ標準のように、すなわち表３と同一に動作する。

【0353】

２－３）シングルツリー：現在のＶＶＣ標準のように、すなわち表３と同一に動作する。すなわち、ルマ成分に対するＣＢＦを表１２ではチェックしないためである。

【0354】

３．ルマＢＤＰＣＭ非適用、クロマＢＤＰＣＭ適用

【0355】

３－１）ルマ分離ツリー：現在のＶＶＣ標準のように、すなわち表３と同一に動作する。

【0356】

３－２）クロマ分離ツリー：Ｃｂ成分とＣｒ成分に対してＣＢＦ値がいずれも０であれば、ＬＦＮＳＴインデックスがシグナルされず、０と類推されるので、結局、現在のＶＶＣ標準のように、すなわち表３と同一に動作する。

【0357】

３－３）シングルツリー：Ｃｂ成分とＣｒ成分に対してＣＢＦ値がいずれも０である場合であってもルマ成分にはＢＤＰＣＭが適用されないので、ＬＦＮＳＴ適用が可能である。したがって、ＬＦＮＳＴインデックスがシグナルされてよい。しかし、現在のＶＶＣ標準では、当該場合に対してＬＦＮＳＴが適用されない。

【0358】

４．ルマＢＤＰＣＭ適用、クロマＢＤＰＣＭ適用：ルマ成分に対してＢＤＰＣＭが適用されるので、当該変換スキップフラグが１になってｌｆｎｓｔＮｏｔＴｓＦｌａｇ値が０になり、ＬＦＮＳＴインデックスがシグナルされない。結局、現在のＶＶＣ標準、すなわち表３と同一に動作する。

【0359】

先に言及したように、現在ＶＶＣ標準ではルマ分離ツリーとシングルツリーである場合に、ルマ成分に対してのみＬＦＮＳＴが適用されてよい。ルマ分離ツリーでは、ルマ成分に対するＣＢＦ値が０である場合に、表３でＬｆｎｓｔＤｃＯｎｌｙ変数値が１とそのまま維持されるので、ＬＦＮＳＴインデックスがシグナルされないで０と類推される。

【0360】

一方、シングルツリーでは、ルマ成分に対するＣＢＦ値が０であっても、クロマ成分によってＬｆｎｓｔＤｃＯｎｌｙ値が０にアップデートされ（当該レジデュアルコーディングが行われ、ＤＣ位置外側に最後の０である変換係数が存在すると、ＬｆｎｓｔＤｃＯｎｌｙ値が０にアップデートされる。）、クロマ成分に対してＬＦＮＳＴに対するゼロアウト条件が満たされ、ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ値が０に維持されると、（順方向ＬＦＮＳＴが適用されたとき、変換係数が存在し得る領域にのみ変換係数が存在する場合であって、変換ブロックのサイズが４ｘ４と８ｘ８である場合は、順方向スキャン順序にしたがってＤＣ位置から８番目位置まで変換係数が位置してよく、残りの場合は、当該ＴＢの左上端４ｘ４領域に位置してよい。ここで、ＤＣ位置は、当該変換ブロックの左上端位置を示す。）、ＬＦＮＳＴインデックスがシグナルされてよい。

【0361】

したがって、現在ＶＶＣ標準では、シングルツリーである時に、ＬＦＮＳＴインデックスがシグナルされてもルマ成分に対するＣＢＦ値が０であるので、結果的に、いかなる成分にもＬＦＮＳＴが適用されず、余計に（ｒｅｄｕｎｄａｎｔ）ＬＦＮＳＴインデックスをシグナルする場合が発生し得る。

【0362】

表３のｌｆｎｓｔＮｏｔＴｓＦｌａｇ変数値設定部分を表１３のように修正し、シングルツリーである時に、ルマ成分に対するＣＢＦ値が０である場合に対してはＬＦＮＳＴインデックスシグナリングをしないで０と類推するように構成できる。

【0363】

このとき、表１３で、「ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ ！＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ」条件は、ＩＳＰモードが適用されることを示す。上述したように、ＩＳＰモードが適用されると、パーティションブロックのうち少なくとも１つに対しては当該ＣＢＦが０でなく、ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］は、コーディング順序において１番目のパーティションブロックに対するＣＢＦに過ぎないので、「ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ ！＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ」条件を別個に分離させ、ＩＳＰモードが適用されない場合に限ってｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］をチェックする。

【0364】

【表13】

【0365】

仮に表７～表１０のように、ＢＤＰＣＭが適用されると共にＣＢＦ値が０である場合にも、ＬＦＮＳＴインデックスシグナリングを許容すると（すなわち、当該場合に対しては変換を適用しない変換ブロックと見なす。）、ｌｆｎｓｔＮｏｔＴｓＦｌａｇ変数を表１４のように設定できる。

【0366】

【表14】

【0367】

表１４を適用すれば、１）ルマ分離ツリーである時は、表１３と同一にルマ成分に対するＣＢＦ値が１である場合に限ってＬＦＮＳＴインデックスをシグナルし、２）クロマ分離ツリーである時は、表７～表１２のようにクロマ成分（Ｃｂ、Ｃｒ）に対するＣＢＦ値がいずれも０であれば、例えば、ＢＤＰＣＭが適用され、Ｃｂ成分とＣｒ成分に対するＣＢＦ値がいずれも０である場合にＬＦＮＳＴインデックスをシグナルしない。また、３）シングルツリーのとき、ルマ成分に対してはＣＢＦ値が１であり、３－１）Ｃｂ成分とＣｒ成分に対していずれも変換スキップが適用されないか、３－２）クロマ成分に対してＢＤＰＣＭが適用される時に、Ｃｂ成分とＣｒ成分に対していずれも当該ＣＢＦ値が０であれば、ＬＦＮＳＴインデックスをシグナルすることができる。

【0368】

以下では、ＢＤＰＣＭモードが適用されると、当該変換ブロックに対するＣＢＦ値が１と類推されるようにし、既存ＬＦＮＳＴインデックスシグナリング方法をそのまま用いる実施例について説明する。

【0369】

各カラー成分に対してＢＤＰＣＭモードでコードされる場合に、当該成分に対するＣＢＦ値を１と類推されるようにし、表３で提示したＬＦＮＳＴインデックスシグナリング方式をそのまま、すなわち、ｌｆｎｓｔＮｏｔＴｓＦｌａｇ変数に対する既存設定をそのまま使用することができる。本実施例によって、表６の変換ユニットに対するシンタックステーブルは、表１５のように変更されてよい。

【0370】

【表15-1】

【0371】

【表15-2】

【0372】

表３のように、ＩＳＰとＢＤＰＣＭは互いに排他的であるので、すなわち、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｆｌａｇが０の時にのみｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ［ｘ０］［ｙ０］がパースされてよいので、ＢＤＰＣＭが適用可能な（ｅｎａｂｌｅ）時にはＩＳＰは適用可能でなく、ＩＳＰが適用可能な（ｅｎａｂｌｅ）時にはＢＤＰＣＭは適用可能でない。表１５で、「ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ ！＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ」条件は、ＩＳＰモードが適用されることを示し、！ＢｄｐｃｍＦｌａｇ［ｘ０］［ｙ０］［０］条件は、表１６のように表すことができる。

【0373】

【表16】

【0374】

表１５に加えて、ＢＤＰＣＭが適用される時に当該ＣＢＦ値が１と類推されるという内容を、ＣＢＦに対するスペックテキスト（表１７）に反映できる。

【0375】

【表17】

【0376】

現在コードされるコーディングユニットに対してクロマにＢＤＰＣＭが適用される場合にｊｏｉｎｔ Ｃｂ－Ｃｒをそのまま適用可能なように（ｅｎａｂｌｅ）してもよく、適用しなくても（ｄｉｓａｂｌｅ）よい。表１５では、ｊｏｉｎｔ Ｃｂ－Ｃｒの適用されるか否かを示すシンタックス要素であるｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ［ｘＣ］［ｙＣ］がシグナルされる。

【0377】

表１７のように、クロマ成分に対してＢＤＰＣＭが適用されるとき（すなわち、ＢｄｐｃｍＦｌａｇ［ｘ０］［ｙ０］［１］とＢｄｐｃｍＦｌａｇ［ｘ０］［ｙ０］［２］がいずれも１のとき）、Ｃｂ成分とＣｒ成分に対するＣＢＦ値が１と類推されると、ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘＣ］［ｙＣ］とｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘＣ］［ｙＣ］がいずれも１である場合にのみ、ｊｏｉｎｔ Ｃｂ－Ｃｒが適用されてよい。表１８は、ｊｏｉｎｔ Ｃｂ－Ｃｒ動作と関連したスペックテキストを表す。

【0378】

【表18-1】

【0379】

【表18-2】

【0380】

表１８のように、ｊｏｉｎｔ Ｃｂ－Ｃｒモードが適用される場合に、クロマ成分のうち一つに対する変換係数がシグナルされ、コーディング、すなわち、表１８でｃｏｄｅｄＣＩｄｘで指定される成分がコードされる。ｃｏｄｅｄＣＩｄｘが有し得る値は、１又は２であり、１は、Ｃｂ成分を示し、２はＣｒ成分を示す。このとき、他の成分に対するレジデュアルデータは、コードされた成分に対するレジデュアルデータにｃＳｉｇｎ値を掛けた後、右に１だけシフトする又はシフトしない値と決定される。

【0381】

クロマ成分に対してＢＤＰＣＭが適用される場合に、表１８のように、ＴｕＣＲｅｓＭｏｄｅ［ｘ０］［ｙ０］値は２と決められるので、右に１だけシフトしない値（ｒｅｓＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｃＳｉｇｎ＊ｒｅｓ［ｘ］［ｙ］）と、他の成分に対するレジデュアルデータを決定し、ｃＳｉｇｎ値は、ｐｈ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｓｉｇｎ＿ｆｌａｇシンタックス要素に基づいて（１－２＊ｐｈ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｓｉｇｎ＿ｆｌａｇ）と決定される。

【0382】

また、表１９のように、クロマ成分に対するＢＤＰＣＭが適用されない場合には、ｊｏｉｎｔ Ｃｂ－Ｃｒモードを適用しなくてよい。表１９は、表１５においてｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ［ｘＣ］［ｙＣ］をシグナルする部分のみが変更されている。すなわち、クロマ成分に対するＢＤＰＣＭが適用されない場合には、ｊｏｉｎｔ Ｃｂ－Ｃｒモードを適用しないように制限する。

【0383】

【表19】

【0384】

ＢｄｐｃｍＦｌａｇ［ｘ０］［ｙ０］［１］変数とＢｄｐｃｍＦｌａｇ［ｘ０］［ｙ０］［２］変数を用いて表１９と同一に動作するシンタックス情報を、表２０のように構成できる。

【0385】

【表20】

【0386】

一例によって、ＢＤＰＣＭモードが適用されると、当該変換ブロックに対するＣＢＦ値を１とシグナルするようにビットストリーム条件制限（ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍａｃｅ ｃｏｎｓｔｒａｉｎｔ）を付けることができる。

【0387】

ＢＤＰＣＭモードであり、且つＣＢＦ値が０である場合に、当該成分に対する変換スキップフラグが１と類推される。この場合、変換係数が存在しないため、当該成分は変換過程と関係ないにもかかわらず、変換スキップフラグが１と類推されてしまい、ＬＦＮＳＴインデックスがシグナルされないとする問題点があった。このような問題点を防止するために、ＢＤＰＣＭモードが適用される場合に対しては、当該変換ブロックに対するＣＢＦ値を１とシグナルするようにビットストリーム条件制限を付けることができる。

【0388】

表２１は、各ＣＢＦに対するセマンティクス部分において当該ビットストリーム条件制限が追加されたことを表す。

【0389】

【表21】

【0390】

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に提示されたものであり、本明細書の技術的特徴は以下の図面に使われた具体的な名称に制限されない。

【0391】

図１５は、本文書の一実施例に係るビデオデコーディング装置の動作を示すフローチャートである。

【0392】

図１５に開示された各段階は、図５～図１４で前述した内容の一部に基づくものである。したがって、図３、図５～図１４で前述した内容と重複する具体的な内容は、説明を省略又は簡単にするものとする。

【0393】

一実施例に係るデコーディング装置３００は、ビットストリームからレジデュアル情報を受信することができる（Ｓ１５１０）。

【0394】

より具体的には、デコーディング装置３００は、ビットストリームから現在ブロックに対する量子化された変換係数に関する情報をデコードすることができ、現在ブロックに対する量子化された変換係数に関する情報に基づいて対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に関する情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はスライスヘッダー（ｓｌｉｃｅ ｈｅａｄｅｒ）に含まれてよく、簡素化変換（ＲＳＴ）が適用されるか否かに関する情報、簡素化ファクターに関する情報、簡素化変換を適用する最小変換サイズに関する情報、簡素化変換を適用する最大変換サイズに関する情報、簡素化逆変換サイズ、変換セットに含まれた変換カーネルマトリックスのいずれか１つを指示する変換インデックスに関する情報のうち少なくとも１つを含むことができる。

【0395】

また、デコーディング装置は、現在ブロックに対するイントラ予測モードに関する情報及び現在ブロックにＩＳＰが適用されるか否かに関する情報をさらに受信することができる。デコーディング装置は、ＩＳＰコーディング又はＩＳＰモードを適用するか否かを示すフラグ情報を受信及びパースすることによって、現在ブロックが所定の個数のサブパーティション変換ブロックに分割されるか否かを導出することができる。ここで、現在ブロックは、コーディングブロックであってよい。また、デコーディング装置は、現在ブロックがいかなる方向に分割されるかを指示するフラグ情報によって、分割されるサブパーティションブロックのサイズ及び個数を導出することができる。

【0396】

一例によって、ビットストリームによってＬＦＮＳＴインデックスを受信することができる。ＬＦＮＳＴインデックスは、逆２次非分離としてＬＦＮＳＴが適用される時に、ＬＦＮＳＴマトリックスを指定するための値として０～２の値を有することができる。例えば、ＬＦＮＳＴインデックス値０は、現在ブロックにＬＦＮＳＴが適用されないことを示し、ＬＦＮＳＴインデックス値１は１番目のＬＦＮＳＴマトリックスを、ＬＦＮＳＴインデックス値２は２番目ＬＦＮＳＴマトリックスを示すことができる。

【0397】

ＩＳＰに関連した情報及びＬＦＮＳＴインデックスは、コーディングユニットレベルで受信されてよい。

【0398】

デコーディング装置３００は、レジデュアル情報に基づいて逆量子化を行い、現在ブロックに対する変換係数を導出することができる（Ｓ１５２０）。

【0399】

ここで、現在ブロックは、変換単位である変換ブロックであってよく、現在ブロックのツリータイプがシングルツリーであれば、ルマ成分に対する変換ブロック、第１クロマ成分に対する変換ブロック、第２クロマ成分に対する変換ブロックを含むことができる。また、現在ブロックのツリータイプがデュアルツリールマであれば、ルマ成分に対する変換ブロックを、現在ブロックのツリータイプがデュアルツリークロマであれば、第１クロマ成分及び第２クロマ成分に対する変換ブロックを含むことができる。

【0400】

導出された変換係数は、４ｘ４ブロック単位で逆方向対角スキャン順序によって配列されてよく、４ｘ４ブロック内変換係数も、逆方向対角スキャン順序によって配列されてよい。すなわち、逆量子化が行われた変換係数は、ＶＶＣやＨＥＶＣにおけるように、ビデオコーデックで適用されている逆方向スキャン順序にしたがって配置されてよい。

【0401】

デコーディング装置は、現在ブロックのツリータイプと、現在ブロックの各成分に対する変換係数コーディングフラグ又は現在ブロックの各成分に対する変換スキップフラグに基づいて、ＬＦＮＳＴが適用されるか否かに関するＬＦＮＳＴ適用変数を設定できる（Ｓ１５３０）。

【0402】

ＬＦＮＳＴ適用変数の一例として、ｌｆｎｓｔＮｏｔＴｓＦｌａｇのようなフラグ変数であってよく、ｌｆｎｓｔＮｏｔＴｓＦｌａｇは、現在ブロックのツリータイプと、現在ブロックの各成分に対する変換係数コーディングフラグ又は現在ブロックの各成分に対する変換スキップフラグに基づいて導出されてよい。ＬＦＮＳＴ適用変数が１であれば、ＬＦＮＳＴが適用され得ることを示し、ＬＦＮＳＴ適用変数が０であれば、ＬＦＮＳＴが適用され得ないことを示す。すなわち、ＬＦＮＳＴ適用変数が１であれば、ＬＦＮＳＴインデックスがパースされてよく、ＬＦＮＳＴ適用変数が０であれば、ＬＦＮＳＴインデックスがパースされなくてよい。

【0403】

変換係数コーディングフラグは、変換ブロックに対する変換係数の存在有無を示すＣＢＦを意味し、ＣＢＦが１であれば、変換ブロックに対する変換係数が存在することを示すので、変換過程が行われてよく、ＣＢＦが０であれば、変換過程が行われない。

【0404】

一例によって、現在ブロックの各成分に対する変換係数コーディングフラグがいずれも０であることに基づき、ＬＦＮＳＴ適用変数の値は１と導出されてよい。この場合、ＬＦＮＳＴ適用変数の値は１に設定されるが、ＣＢＦが０であれば、実質的な変換過程が行われず、レジデュアルコーディングが呼び出されないので、後述される変数ＬｆｎｓｔＤｃＯｎｌｙが０に更新されない。すなわち、現在ブロックの全ての成分に対する変換係数コーディングフラグが０であれば、ＬＦＮＳＴは適用されない。

【0405】

また、一例によって、現在ブロックの各成分に対する変換スキップフラグがいずれも０であることに基づき、ＬＦＮＳＴ適用変数の値は１に設定されてよい。すなわち、現在ブロックの全ての成分に変換スキップが適用されない場合に、ＬＦＮＳＴが適用されてよい。

【0406】

一方、一例によって、現在ブロックのツリータイプがシングルツリーであれば、ルマ成分とクロマ成分のそれぞれにＢＤＰＣＭモードが適用されてよい。すなわち、ルマ成分にＢＤＰＣＭモードが適用され、クロマ成分にはＢＤＰＣＭモードが適用されなくてよく、逆に、クロマ成分にＢＤＰＣＭモードが適用され、ルマ成分にはＢＤＰＣＭモードが適用されなくてよい。

【0407】

現在標準によれば、シングルツリーであるとき、クロマ成分に対してはＬＦＮＳＴが適用されず、ルマ成分にのみＬＦＮＳＴが適用されてよい。このとき、ルマ成分にはＢＤＰＣＭモードが適用されず、変換係数も存在するので、変換が行われてよく（すなわち、ルマ成分はＢＤＰＣＭモードが適用されず、ＣＢＦが０でなく、変換スキップフラグも０でない場合）、クロマ成分にはＢＤＰＣＭモードが適用され得る場合が存在する。ＢＤＰＣＭモードが適用される場合に、変換スキップフラグは１と類推される。

【0408】

既存にはＬＦＮＳＴ適用変数を導出するとき、ブロックに含まれているいずれか１つの成分でも変換スキップフラグが１であれば、ＬＦＮＳＴ適用変数が０に設定され、ＬＦＮＳＴインデックスがパースされなかった。すなわち、シングルツリータイプでコードされるとき、ルマ成分にＬＦＮＳＴが適用され得るにもかかわらず、ＢＤＰＣＭモードが適用されるクロマ成分によって（ＢＤＰＣＭモードが適用される場合に、変換スキップフラグが１と類推されるため）ＬＦＮＳＴ適用変数が０に設定される問題点があった。

【0409】

一例によって、特定ブロックにＢＤＰＣＭモードが適用される時にＣＢＦが０である場合が発生し得るので、これを活用して前記の問題点を解決しようとする。デコーディング装置は、ＬＦＮＳＴ適用変数を導出する条件にＣＢＦが０である条件を追加することによって、クロマ成分にＢＤＰＣＭモードが適用されてもルマ成分にＬＦＮＳＴを適用することができる。

【0410】

デコーディング装置は、ＬＦＮＳＴ適用変数を導出するための条件を、「（ｔｒｅｅＴｙｐｅ＝＝ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ ｜｜（！ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０））＆＆（ｔｒｅｅＴｙｐｅ＝＝ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ ｜｜（（！ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［１］＝＝０）＆＆（！ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［２］＝＝０）））」と設定できる。

【0411】

前記条件によれば、現在ブロックのツリータイプがシングルツリーであり（「ｔｒｅｅＴｙｐｅ＝＝ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ」を満たさないので、「（！ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０）」条件がチェックされる。）、ルマ成分に対する変換スキップフラグが０であるので、「ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０」条件を満たす。

【0412】

また、現在ブロックのクロマ成分にＢＤＰＣＭモードが適用され、変換係数コーディングフラグが０であれば、「（！ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［１］＝＝０）＆＆（！ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［２］＝＝０）））」条件を満たす。すなわち、クロマ成分にＢＤＰＣＭモードが適用されて変換スキップフラグは１と類推されるとしても、変換係数コーディングフラグ条件によって、ＬＦＮＳＴ適用変数の値はＬＦＮＳＴインデックスがパーシング可能であることを示す１に設定されてよい。

【0413】

このように、ＬＦＮＳＴ適用変数の設定条件を変更することによって、いずれか１つの変換ブロックにＢＤＰＣＭモードが適用されるとＣＢＦ値に関係なく全ての変換ブロックにＬＦＮＳＴが適用されなかった問題を解決できる。また、ＬＦＮＳＴインデックスをパースするか否かを決定する条件をチェックするとき、各カラー成分別に変換スキップフラグとＣＢＦ値を共にチェックし、カラー成分のいずれか一つがＢＤＰＣＭモードであっても、ＣＢＦ値が０であれば、他の成分に対するＬＦＮＳＴインデックスパーシングに影響を与えない。

【0414】

デコーディング装置は、ＬＦＮＳＴ適用変数の値に基づいてＬＦＮＳＴインデックスをパースすることができる（Ｓ１５４０）。

【0415】

デコーディング装置は、ＬＦＮＳＴ適用変数の値が１であることに基づき、ＬＦＮＳＴインデックスをパースでき、ＬＦＮＳＴインデックスをパースするために、上述したＬＦＮＳＴ適用変数の他にも様々な変数を導出することができる。

【0416】

例えば、デコーディング装置は、現在ブロックのＤＣ成分以外の位置に有効係数が存在するか否かを示す第１変数（変数ＬｆｎｓｔＤｃＯｎｌｙ）、及び現在ブロックの左上端第１領域を除く第２領域に前記変換係数が存在するか否かを示す第２変数（変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ）を導出することができる。また、デコーディング装置は、現在ブロックのツリータイプ及びサイズなどに基づいて、ＬＦＮＳＴ適用の有無、すなわちＬＦＮＳＴインデックスをパースするか否かを判断できる。

【0417】

このような第１変数及び第２変数は、最初は１に設定され、現在ブロックのＤＣ成分以外の位置に有効係数が存在すれば、第１変数は０に更新され、第２領域に変換係数が存在すれば、第２変数は０に更新されてよい。

【0418】

第１変数は０に）更新され、第２変数は１に維持された場合に、現在ブロックにＬＦＮＳＴが適用されてよい。

【0419】

一方、イントラサブパーティション（ＩＳＰ）モードが適用され得るルマブロックの場合、変数ＬｆｎｓｔＤｃＯｎｌｙの導出無しでＬＦＮＳＴインデックスをパースすることができる。

【0420】

具体的にいうと、ＩＳＰモードが適用され、ルマ成分に対する変換スキップフラグ、すなわちｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］値が０である場合に、現在ブロックのツリータイプがシングルツリー又はルマに対するデュアルツリーである時は、変数ＬｆｎｓｔＤｃＯｎｌｙ値に関係なくＬＦＮＳＴインデックスがシグナルされてよい。

【0421】

一方、ＩＳＰモードが適用されないクロマ成分の場合に、クロマＣｂ成分に対する変換スキップフラグであるｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［１］と、クロマＣｒ成分に対する変換スキップフラグであるｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［２］値によって、変数ＬｆｎｓｔＤｃＯｎｌｙ値を０に設定できる。すなわち、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］でｃＩｄｘ値が１の場合は、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［１］値が０の時にのみ変数ＬｆｎｓｔＤｃＯｎｌｙ値を０に設定でき、ｃＩｄｘ値が２の場合は、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［２］値が０の時にのみ変数ＬｆｎｓｔＤｃＯｎｌｙ値を０に設定できる。変数ＬｆｎｓｔＤｃＯｎｌｙ値が０であれば、デコーディング装置は、ＬＦＮＳＴインデックスをパースでき、そうでなければ、ＬＦＮＳＴインデックスはシグナルされず、０値と類推されてよい。

【0422】

第２変数は、ＬＦＮＳＴ適用時に、ゼロアウトが行われたことを示し得る変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇであってよい。第２変数は、最初は１に設定され、第２領域に有効係数が存在すれば、０に変更されてよい。

【0423】

変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、最後の０以外の係数が存在するサブブロックのインデックスが０より大きく、変換ブロックの幅及び高さがいずれも４と等しい又は大きいか、０以外の最後の係数が存在するサブブロック内部における０以外の係数の最後の位置が７よりも大きく、変換ブロックのサイズが４ｘ４又は８ｘ８である場合に、０と導出されてよい。サブブロックとは、レジデュアルコーディングにおいてコーディング単位として用いられる４ｘ４ブロックを意味し、ＣＧ（Ｃｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ）と命名されてよい。サブブロックのインデックスが０であれば、左上端４ｘ４サブブロックを示す。

【0424】

すなわち、変換ブロックでＬＦＮＳＴ変換係数が存在し得る左上端領域以外の領域において０以外の係数が導出されるか、４ｘ４ブロック及び８ｘ８ブロックに対してスキャン順序において８番目の位置を外れて０以外の係数が存在すれば、変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは０に設定される。

【0425】

デコーディング装置は、イントラ予測モード情報から導出されたイントラ予測モードに基づいて、ＬＦＮＳＴマトリックスを含むＬＦＮＳＴセットを決定し、ＬＦＮＳＴセット及びＬＦＮＳＴインデックスに基づいて、複数のＬＦＮＳＴマトリックスのいずれか１つを選択できる。

【0426】

この時、現在ブロックで分割されたサブパーティション変換ブロックには、同一のＬＦＮＳＴセット及び同一のＬＦＮＳＴインデックスが適用されてよい。すなわち、サブパーティション変換ブロックには同一のイントラ予測モードが適用されるので、イントラ予測モードに基づいて決定されるＬＦＮＳＴセットも、全てのサブパーティション変換ブロックに同一に適用されてよい。また、ＬＦＮＳＴインデックスはコーディングユニットレベルでシグナルされるので、現在ブロックで分割されたサブパーティション変換ブロックには同一のＬＦＮＳＴマトリックスが適用されてよい。

【0427】

一方、上述したように、変換の対象となる変換ブロックのイントラ予測モードによって変換セットが決定されてよく、逆ＬＦＮＳＴは、ＬＦＮＳＴインデックスによって指示される変換セットに含まれている変換カーネルマトリックス、すなわち、ＬＦＮＳＴ行列のいずれか１つに基づいて行われてよい。逆ＬＦＮＳＴに適用される行列は、逆ＬＦＮＳＴ行列又はＬＦＮＳＴ行列と命名してよく、このような行列は、順方向ＬＦＮＳＴに用いられる行列とトランスポーズ関係にあれば、如何なる名称も可能である。

【0428】

一例示において、逆ＬＦＮＳＴ行列は、列の個数が行の個数よりも少ない非正方形マトリックスであってよい。

【0429】

デコーディング装置は、パーシングされたＬＦＮＳＴインデックス及びＬＦＮＳＴのためのＬＦＮＳＴマトリックスに基づいて、すなわち、ＬＦＮＳＴを適用して変換係数から修正された変換係数を導出することができる（Ｓ１５５０）。

【0430】

ＬＦＮＳＴは、変換対象となる係数を垂直又は水平方向に分離して変換する１次変換と違い、係数を特定方向に分離しないで変換を適用する非分離変換である。かかる非分離変換は、ブロック全体領域ではなく低周波領域にのみ順方向変換を適用する低周波非分離変換であってよい。

【0431】

デコーディング装置は、修正された変換係数に対する１次逆変換に基づいて、現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１５６０）。

【0432】

この時、逆１次変換は、通常の分離変換が用いられてよく、上述したＭＴＳが用いられてもよい。

【0433】

続いて、デコーディング装置３００は、現在ブロックに対するレジデュアルサンプル及び現在ブロックに対する予測サンプルに基づいて復元サンプルを生成できる（Ｓ１５７０）。

【0434】

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に提示されたものであり、本明細書の技術的特徴は以下の図面に使われた具体的な名称に制限されない。

【0435】

図１６は、本文書の一実施例に係るビデオエンコーディング装置の動作を示すフローチャートである。

【0436】

図１６に開示された各段階は、図４～図１４で前述した内容の一部に基づくものである。したがって、図２及び図４～図１４で前述した内容と重複する具体的な内容は、説明を省略又は簡単にするものとする。

【0437】

一実施例に係るエンコーディング装置２００は、現在ブロックに適用されるイントラ予測モードに基づいて、現在ブロックに対する予測サンプルを導出することができる（Ｓ１６１０）。

【0438】

エンコーディング装置は、現在ブロックにＩＳＰが適用される場合に、サブパーティション変換ブロック別に予測を行うことができる。

【0439】

エンコーディング装置は、現在ブロック、すなわちコーディングブロックにＩＳＰコーディング又はＩＳＰモードを適用するか否かが判断でき、判断結果によって、現在ブロックがいかなる方向に分割されるかを決定し、分割されるサブブロックのサイズ及び個数を導出することができる。

【0440】

現在ブロックで分割されたサブパーティション変換ブロックには、同一のイントラ予測モードが適用され、エンコーディング装置は、サブパーティション変換ブロック別に予測サンプルを導出することができる。すなわち、エンコーディング装置は、サブパーティション変換ブロックの分割形態によって、例えば、水平（Ｈｏｒｉｚｏｎｔａｌ）又は垂直（Ｖｅｒｔｉｃｉａｌ）、左側から右側に又は上側から下側に順次にイントラ予測を行う。最左側又は最上側サブブロックに対しては、通常のイントラ予測方式のように、既にコードされたコーディングブロックの復元ピクセルを参照する。また、続く内部のサブパーティション変換ブロックの各辺に対して、以前サブパーティション変換ブロックと隣接しない場合には、当該辺に隣接した参照ピクセルを導出するために、通常のイントラ予測方式のように、既にコードされた隣接したコーディングブロックの復元ピクセルを参照する。

【0441】

エンコーディング装置２００は、予測サンプルに基づいて、現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１６２０）。

【0442】

エンコーディング装置２００は、レジデュアルサンプルにＬＦＮＳＴ又はＭＴＳのうち少なくとも１つを適用して現在ブロックに対する変換係数を導出し、変換係数を所定のスキャニング順序にしたがって配列できる。

【0443】

エンコーディング装置は、レジデュアルサンプルに対する１次変換及び／又は２次変換のような変換過程に基づいて現在ブロックに対する変換係数を導出することができ、現在ブロックのツリータイプがシングルツリーであり、ルマ成分であれば、ＬＦＮＳＴが適用可能であり、現在ブロックのツリータイプがシングルツリーであり、クロマ成分であれば、ＬＦＮＳＴを適用しなくてよい。

【0444】

エンコーディング装置は、レジデュアルサンプルに対する１次変換に基づいて、現在ブロックに対する変換係数を導出することができる（Ｓ１６３０）。

【0445】

１次変換は、ＭＴＳのようで複数の変換カーネルによって行われてよく、この場合、イントラ予測モードに基づいて変換カーネルが選択されてよい。

【0446】

エンコーディング装置２００は、現在ブロックのツリータイプと、現在ブロックの各成分に対する変換係数コーディングフラグ又は現在ブロックの各成分に対する変換スキップフラグに基づいて、ＬＦＮＳＴの適用有無に対するＬＦＮＳＴ適用変数を設定できる（Ｓ１６４０）

【0447】

ＬＦＮＳＴ適用変数の一例として、ｌｆｎｓｔＮｏｔＴｓＦｌａｇのようなフラグ変数であってよく、ｌｆｎｓｔＮｏｔＴｓＦｌａｇは、現在ブロックのツリータイプと、現在ブロックの各成分に対する変換係数コーディングフラグ又は現在ブロックの各成分に対する変換スキップフラグに基づいて導出されてよい。ＬＦＮＳＴ適用変数が１であれば、ＬＦＮＳＴが適用され得ることを示し、ＬＦＮＳＴ適用変数が０であれば、ＬＦＮＳＴが適用され得ないことを示す。すなわち、ＬＦＮＳＴ適用変数が１であれば、ＬＦＮＳＴが適用されてよく、ＬＦＮＳＴ適用変数が０であれば、ＬＦＮＳＴが適用されない。

【0448】

変換係数コーディングフラグは、変換ブロックに対する変換係数の存在有無を示すＣＢＦを意味し、ＣＢＦが１であれば、変換ブロックに対する変換係数が存在することを示すので、変換過程が行われてよく、ＣＢＦが０であれば、変換過程が行われない。

【0449】

一例によって、現在ブロックの各成分に対する変換係数コーディングフラグがいずれも０であることに基づき、ＬＦＮＳＴ適用変数の値は１と導出されてよい。この場合、ＬＦＮＳＴ適用変数の値は１に設定されるが、ＣＢＦが０であれば、実質的な変換過程が行われず、後述される変数ＬｆｎｓｔＤｃＯｎｌｙが０に更新されない。すなわち、現在ブロックの全ての成分に対する変換係数コーディングフラグが０であれば、ＬＦＮＳＴは適用されない。

【0450】

また、一例によって現在ブロックの各成分に対する変換スキップフラグがいずれも０であることに基づき、ＬＦＮＳＴ適用変数の値は１に設定されてよい。すなわち、現在ブロックの全ての成分に変換スキップが適用されない場合に、ＬＦＮＳＴが適用されてよい。

【0451】

一方、一例によって、現在ブロックのツリータイプがシングルツリーであれば、ルマ成分とクロマ成分のそれぞれにＢＤＰＣＭモードが適用されてよい。すなわち、ルマ成分にＢＤＰＣＭモードが適用され、クロマ成分にはＢＤＰＣＭモードが適用されなくてよく、逆に、クロマ成分にＢＤＰＣＭモードが適用され、ルマ成分にはＢＤＰＣＭモードが適用されなくてよい。

【0452】

現在標準によれば、シングルツリーであるとき、クロマ成分に対してはＬＦＮＳＴが適用されず、ルマ成分にのみＬＦＮＳＴが適用されてよい。この時、ルマ成分にはＢＤＰＣＭモードが適用されず、変換係数も存在するので、変換が行われてよく（すなわち、ルマ成分はＢＤＰＣＭモードが適用されず、ＣＢＦが０でなく、変換スキップフラグも０でない場合）、クロマ成分にはＢＤＰＣＭモードが適用され得る場合が存在する。ＢＤＰＣＭモードが適用される場合に、変換スキップフラグは１と類推される。

【0453】

既存にはＬＦＮＳＴ適用変数を導出するとき、ブロックに含まれているいずれか１つの成分でも変換スキップフラグが１であれば、ＬＦＮＳＴ適用変数が０に設定され、ＬＦＮＳＴインデックスがパースされなかった。すなわち、ルマ成分にＬＦＮＳＴが適用され得るにもかかわらず、ＢＤＰＣＭモードが適用されるクロマ成分によって（ＢＤＰＣＭモードが適用される場合に、変換スキップフラグが１と類推されるため）、ＬＦＮＳＴ適用変数が０に設定される問題点があった。

【0454】

一例によって、特定ブロックにＢＤＰＣＭモードが適用されるとき、ＣＢＦが０である場合が発生し得るので、これを活用して前記の問題点を解決しようとする。エンコーディング装置は、ＬＦＮＳＴ適用変数を導出する条件に、ＣＢＦが０である条件を追加することによって、クロマ成分にＢＤＰＣＭモードが適用されてもルマ成分にＬＦＮＳＴを適用することができる。

【0455】

エンコーディング装置は、ＬＦＮＳＴ適用変数を導出するための条件を「（ｔｒｅｅＴｙｐｅ＝＝ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ ｜｜（！ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０））＆＆（ｔｒｅｅＴｙｐｅ＝＝ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ ｜｜（（！ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［１］＝＝０）＆＆（！ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［２］＝＝０）））」と設定できる。

【0456】

前記条件によれば、現在ブロックのツリータイプがシングルツリーであり（「ｔｒｅｅＴｙｐｅ＝＝ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ」を満たさないので、「（！ｔｕ＿ｙ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０）」条件がチェックされる。）、ルマ成分に対する変換スキップフラグが０であるので、「ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］＝＝０」条件を満たす。

【0457】

また、現在ブロックのクロマ成分にＢＤＰＣＭモードが適用され、変換係数コーディングフラグが０であれば、（（！ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［１］＝＝０）＆＆（！ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］｜｜ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［２］＝＝０）））」条件を満たす。すなわち、クロマ成分にＢＤＰＣＭモードが適用されてクロマ成分に対する変換スキップフラグは１と類推されるとしても、変換係数コーディングフラグ条件によって、ＬＦＮＳＴ適用変数の値は、ＬＦＮＳＴが適用され得ることを示す１に設定されてよい。

【0458】

このように、ＬＦＮＳＴ適用変数の設定条件を変更することによって、いずれか１つの変換ブロックにＢＤＰＣＭモードが適用されると、ＣＢＦ値に関係なく全ての変換ブロックにＬＦＮＳＴが適用されなかった問題を解決できる。また、ＬＦＮＳＴインデックスをパースするか否かを決定する条件をチェックするとき、各カラー成分別に変換スキップフラグとＣＢＦ値を共にチェックし、カラー成分のいずれか一つがＢＤＰＣＭモードであっても、ＣＢＦ値が０であれば、他の成分に対するＬＦＮＳＴインデックスパーシングに影響を与えない。

【0459】

エンコーディング装置２００は、ＬＦＮＳＴ適用変数の値に基づいてＬＦＮＳＴを適用し、修正された変換係数を導出することができる（Ｓ１６５０）。

【0460】

ＬＦＮＳＴは、変換対象になる係数を垂直又は水平方向に分離して変換する１次変換と違い、係数を特定方向に分離しないで変換を適用する非分離変換である。このような非分離変換は、変換対象となる対象ブロック全体ではなく低周波領域にのみ変換を適用する低周波非分離変換であってよい。

【0461】

エンコーディング装置は、ＬＦＮＳＴ適用変数の値が１であることに基づき、現在ブロックにＬＦＮＳＴを適用でき、ＬＦＮＳＴを適用するために、上述したＬＦＮＳＴ適用変数の他にも様々な変数を導出することができる。

【0462】

例えば、エンコーディング装置は、現在ブロックのＤＣ成分以外の位置に有効係数が存在するか否かを示す第１変数（変数ＬｆｎｓｔＤｃＯｎｌｙ）及び現在ブロックの左上端第１領域を除く第２領域に前記変換係数が存在するか否かを示す第２変数（変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ）を導出することができる。また、エンコーディング装置は、現在ブロックのツリータイプ及びサイズなどに基づいて、ＬＦＮＳＴを適用するか否かが判断できる。左上端第１領域は、４ｘ４変換ブロックと８ｘ８変換ブロックである場合は、ＶＶＣ標準における変換係数スキャニング順序によってＤＣ位置から８個の位置に対する領域を示し、４ｘ４変換ブロックと８ｘ８変換ブロックでない場合には、ＶＶＣ標準における変換係数スキャニング順序によってＤＣ位置から１６個の位置までの領域を示す。

【0463】

このような第１変数及び第２変数は、最初は１に設定され、現在ブロックのＤＣ成分以外の位置に有効係数が存在すれば、第１変数は０に更新され、第２領域に変換係数が存在すれば、第２変数は０に更新されてよい。

【0464】

第１変数は０に更新され、第２変数は１に維持された場合に、現在ブロックにＬＦＮＳＴが適用されてよい。

【0465】

一方、イントラサブパーティション（ＩＳＰ）モードが適用され得るルマブロックの場合、変数ＬｆｎｓｔＤｃＯｎｌｙの導出無しでＬＦＮＳＴを適用できる。

【0466】

具体的にいうと、ＩＳＰモードが適用され、ルマ成分に対する変換スキップフラグ、すなわちｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［０］値が０である場合に、現在ブロックのツリータイプがシングルツリー又はルマに対するデュアルツリーである時は、変数ＬｆｎｓｔＤｃＯｎｌｙ値に関係なくＬＦＮＳＴが適用されてよい。

【0467】

一方、ＩＳＰモードが適用されないクロマ成分の場合に、クロマＣｂ成分に対する変換スキップフラグであるｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［１］とクロマＣｒ成分に対する変換スキップフラグであるｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［２］値によって、変数ＬｆｎｓｔＤｃＯｎｌｙ値を０に設定できる。すなわち、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［ｃＩｄｘ］においてｃＩｄｘ値が１の場合は、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［１］値が０の時にのみ変数ＬｆｎｓｔＤｃＯｎｌｙ値を０に設定でき、ｃＩｄｘ値が２の場合は、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］［２］値が０の時にのみ変数ＬｆｎｓｔＤｃＯｎｌｙ値を０に設定できる。変数ＬｆｎｓｔＤｃＯｎｌｙ値が０であれば、エンコーディング装置はＬＦＮＳＴを適用でき、そうでなければ、ＬＦＮＳＴを適用しなくてよい。

【0468】

第２変数は、ＬＦＮＳＴ適用時にゼロアウトが行われたことを示し得る変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇであってよい。第２変数は、最初は１に設定され、第２領域に有効係数が存在すれば、０に変更されてよい。

【0469】

変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、最後の０以外の係数が存在するサブブロックのインデックスが０よりも大きく、変換ブロックの幅及び高さがいずれも４と等しい又は大きいか、０でない最後の係数が存在するサブブロック内部における０でない係数の最後の位置が７よりも大きく、変換ブロックのサイズが４ｘ４又は８ｘ８である場合に、０と導出されてよい。サブブロックとは、レジデュアルコーディングにおいてコーディング単位と用いられる４ｘ４ブロックを意味し、ＣＧ（Ｃｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ）と命名されてよい。サブブロックのインデックスが０であれば、左上端４ｘ４サブブロックを示す。

【0470】

すなわち、変換ブロックでＬＦＮＳＴ変換係数が存在し得る左上端領域以外の領域で０以外の係数が導出されるか、４ｘ４ブロック及び８ｘ８ブロックに対してスキャン順序において８番目の位置を外れて０以外の係数が存在すれば、変数ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは０に設定される。

【0471】

エンコーディング装置は、イントラ予測モード情報から導出されたイントラ予測モードに基づいて、ＬＦＮＳＴマトリックスを含むＬＦＮＳＴセットを決定し、複数のＬＦＮＳＴマトリックスのいずれか１つを選択できる。

【0472】

この時、現在ブロックで分割されたサブパーティション変換ブロックには、同一のＬＦＮＳＴセット及び同一のＬＦＮＳＴインデックスが適用されてよい。すなわち、サブパーティション変換ブロックには同一のイントラ予測モードが適用されるので、イントラ予測モードに基づいて決定されるＬＦＮＳＴセットも、全てのサブパーティション変換ブロックに同一に適用されてよい。また、ＬＦＮＳＴインデックスはコーディングユニットレベルでシグナルされるので、現在ブロックで分割されたサブパーティション変換ブロックには同一のＬＦＮＳＴマトリックスが適用されてよい。

【0473】

一方、上述したように、変換の対象となる変換ブロックのイントラ予測モードによって変換セットが決定されてよく、ＬＦＮＳＴは、ＬＦＮＳＴ変換セットに含まれている変換カーネルマトリックス、すなわちＬＦＮＳＴ行列のいずれか１つに基づいて行われてよい。ＬＦＮＳＴに適用される行列はＬＦＮＳＴ行列と命名されてよく、このような行列は逆方向ＬＦＮＳＴに使われる行列とトランスポーズ関係にあれば、いかなる名称も可能である。

【0474】

一例示において、ＬＦＮＳＴ行列は、行の個数が列の個数よりも少ない非正方形マトリックスであってよい。

【0475】

エンコーディング装置は、ＬＦＮＳＴインデックスが０より大きく、現在ブロックのツリータイプがデュアルツリークロマであれば、現在ブロックにＬＦＮＳＴが適用され得るので、クロマ成分にスケーリングリストが適用されないようにフラグ値を１にエンコードすることができる。かかるフラグは、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ，ＳＰＳ）のような上位レベルシンタックス要素集合に属する一フラグであってよい。

【0476】

一例によって、エンコーディング装置は、ＬＦＮＳＴインデックスが０よりも大きく、現在ブロックのツリータイプがデュアルツリールマであれば、現在ブロックにＬＦＮＳＴが適用され得るので、ルマ成分にスケーリングリストが適用されないように前記フラグ値を１にエンコードすることができる。

【0477】

エンコーディング装置は、現在ブロックに対する修正された変換係数に基づいて量子化を行ってレジデュアル情報を導出し、レジデュアル情報及びＬＦＮＳＴインデックスをエンコードして出力できる（Ｓ１６６０）。

【0478】

エンコーディング装置は、量子化された変換係数に関する情報を含むレジデュアル情報を生成できる。レジデュアル情報は、上述した変換関連情報／シンタックス要素を含むことができる。エンコーディング装置は、レジデュアル情報を含む映像／ビデオ情報をエンコードしてビットストリームの形態で出力できる。

【0479】

より具体的には、エンコーディング装置２００は、量子化された変換係数に関する情報を生成し、生成された量子化された変換係数に関する情報をエンコードすることができる。

【0480】

本実施例に係るＬＦＮＳＴインデックスのシンタックス要素は、（逆）ＬＦＮＳＴが適用されるか否か及びＬＦＮＳＴセットに含まれたＬＦＮＳＴマトリックスのいずれか１つを指示でき、ＬＦＮＳＴセットが２つの変換カーネルマトリックスを含む場合に、ＬＦＮＳＴインデックスのシンタックス要素の値は３つであってよい。

【0481】

一例によって、現在ブロックに対する分割ツリー構造がデュアルツリータイプであれば、ルマブロック及びクロマブロックのそれぞれに対してＬＦＮＳＴインデックスがエンコードされてよい。

【0482】

一実施例によって、変換インデックスに対するシンタックス要素値は、現在ブロックに（逆）ＬＦＮＳＴが適用されない場合を示す０、ＬＦＮＳＴマトリックスのうち１番目のＬＦＮＳＴマトリックスを示す１、ＬＦＮＳＴマトリックスのうち２番目のＬＦＮＳＴマトリックスを示す２と導出されてよい。

【0483】

本文書において、量子化／逆量子化及び／又は変換／逆変換のうち少なくとも１つは省略されてよい。前記量子化／逆量子化が省略される場合に、前記量子化された変換係数は、変換係数と呼ぶことができる。前記変換／逆変換が省略される場合に、前記変換係数は、係数又はレジデュアル係数と呼ぶこともでき、又は表現の統一性のために変換係数と相変らず呼ぶこともできる。

【0484】

また、本文書において、量子化された変換係数及び変換係数はそれぞれ、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ぶことができる。この場合、レジデュアル情報は、変換係数に関する情報を含むことができ、前記変換係数に関する情報は、レジデュアルコーディングシンタックスによってシグナルされてよい。前記レジデュアル情報（又は、前記変換係数に関する情報）に基づいて変換係数が導出されてよく、前記変換係数に対する逆変換（スケーリング）によってスケーリングされた変換係数が導出されてよい。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルが導出されてよい。これは、本文書の他の部分でも、同一に適用／表現されてよい。

【0485】

上述した実施例において、方法は、一連の段階又はブロックであり、順序図に基づいて説明されているが、本文書は、段階の順序に限定されるものではなく、ある段階は、上述したのと異なる段階と異なる順序で又は同時に発生してもよい。また、当業者であれば、順序図に示された段階が排他的でなく、他の段階が含まれたり順序図の１つ又はそれ以上の段階が本文書の範囲に影響を及ぼさずに削除されてもよいことが理解できよう。

【0486】

上述した本文書に係る方法は、ソフトウェアり形態で具現されてよく、本文書に係るエンコーディング装置及び／又はデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を行う装置に含まれてよい。

【0487】

本文書において、実施例がソフトウェアとして具現されるとき、上述した方法は、上述した機能を行うモジュール（過程、機能など）として具現されてよい。モジュールはメモリに記憶され、プロセッサによって実行されてよい。メモリは、プロセッサの内部又は外部に存在してよく、周知の様々な手段によってプロセッサに連結されてよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ_ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、記憶媒体及び／又は他の記憶装置を含むことができる。すなわち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されてよい。例えば、各図で示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されてよい。

【0488】

また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信のような実時間通信装置、モバイルストリーミング装置、記憶媒体、キャムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、映像電話ビデオ装置、及び医療用ビデオ装置などに含まれてよく、ビデオ信号又はデータ信号を処理するために用いられてよい。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置には、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0489】

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されてよく、コンピュータ可読記録媒体に記憶されてよい。本文書に係るデータ構造を有するマルチメディアデータも、コンピュータ可読記録媒体に記憶されてよい。前記コンピュータ可読記録媒体は、コンピュータ可読データが記憶される全ての種類の記憶装置及び分散記憶装置を含む。前記コンピュータ可読記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク及び光学的データ記憶装置を含むことができる。また、前記コンピュータ可読記録媒体は、搬送波（例えば、インターネットを介した伝送）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームがコンピュータ可読記録媒体に記憶されたり、有無線通信ネットワークを介して伝送されてよい。また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品として具現されてよく、前記プログラムコードは、本文書の実施例によってコンピュータで実行されてよい。前記プログラムコードは、コンピュータ可読キャリア上に記憶されてよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】