▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-14
(45)【発行日】2022-01-25
(54)【発明の名称】変換に基づく映像コーディング方法及びその装置
(51)【国際特許分類】
H04N 19/12 20140101AFI20220118BHJP
H04N 19/159 20140101ALI20220118BHJP
【ＦＩ】
H04N19/12
H04N19/159
【請求項の数】
14
(21)【出願番号】P 2020532909
(86)(22)【出願日】2018-12-13
(65)【公表番号】
(43)【公表日】2021-02-22
(86)【国際出願番号】 KR2018015815
(87)【国際公開番号】W WO2019117639
(87)【国際公開日】2019-06-20
【審査請求日】2020-06-29
(31)【優先権主張番号】62/599,020
(32)【優先日】2017-12-15
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100117019
【弁理士】
【氏名又は名称】渡辺 陽一
(74)【代理人】
【識別番号】100173107
【弁理士】
【氏名又は名称】胡田 尚則
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(72)【発明者】
【氏名】メウディ サレヒファー
(72)【発明者】
【氏名】キム スンファン
(72)【発明者】
【氏名】ク ムンモ
(72)【発明者】
【氏名】イム ジェヒョン
【審査官】岩井 健二
(56)【参考文献】
【文献】特表２０１３－５４２６６４（ＪＰ，Ａ）
【文献】国際公開第２０１７／０５８６１４（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／０２３０６７７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／００３４５３０（ＵＳ，Ａ１）
【文献】Jianle Chen et al.，Algorithm Description of Joint Exploration Test Model 7 (JEM 7)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-G1001-v1，7th Meeting: Torino, IT，2017年08月，pp.i,28-32
【文献】Moonmo Koo et al.，Description of SDR video coding technology proposal by LG Electronics，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-J0017-v1，10th Meeting: San Diego, CA，2018年04月，pp.i-iii,6-10
【文献】Mehdi Salehifar et al.，CE 6.2.6: Reduced Secondary Transform (RST)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0099，11th Meeting: Ljubljana, SI，2018年07月，pp.1-12
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
デコーディング装置により実行される映像デコーディング方法において、ビットストリームから対象ブロックに対する量子化された変換係数を導出するステップと、
前記対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出するステップと、
前記変換係数に対する逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
前記対象ブロックに対するレジデュアルサンプル及び前記対象ブロックに対する予測サンプルに基づいて復元ピクチャを生成するステップとを含み、
前記逆変換は、非分離変換に基づき、逆変換マトリクス（ｍａｔｒｉｘ）に基づいて実行され、前記逆変換マトリクスは、非正方形マトリクスであり、
前記対象ブロックのサイズは、Ｋ×Ｋであり、Ｋは正の整数であり、
前記非分離変換に基づいて、前記逆変換が適用される領域は、Ｍ×Ｍサイズの領域に含まれ、ＭはＫより小さく、Ｍは正の整数であり、
前記逆変換マトリクスのサイズは、Ｎ×Ｒであり、Ｎは前記非分離変換に基づき前記逆変換が適用される前記領域において出力エレメント(要素）の数と等しく、ＲはＮより小さく、ＮとＲのそれぞれは、正の整数である、映像デコーディング方法。
【請求項2】
前記逆変換に基づいて前記対象ブロックに対する前記レジデュアルサンプルを導出するステップは、変換インデックスをデコーディングするステップと、
前記変換インデックスに基づいて、前記逆変換を適用する条件に該当するかどうかを判断するステップと、
変換カーネル（ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ）を選択するステップと、
前記逆変換を適用する条件に該当する場合、前記選択された変換カーネルに基づいて前記変換係数に対して逆変換を適用するステップとを含む、請求項１に記載の映像デコーディング方法。
【請求項3】
前記変換インデックス、前記逆変換が適用される領域の幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）、前記対象ブロックに対するイントラ予測モード、及び対象ブロックの色相成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）についての情報のうち少なくとも一つに基づいて前記変換カーネルが選択される、請求項２に記載の映像デコーディング方法。
【請求項4】
前記非分離変換に基づいて、前記逆変換が適用される前記領域は８×８サイズの領域に含まれ、前記逆変換マトリクスの行の数は１６に等しい、請求項１に記載の映像デコーディング方法。
【請求項5】
前記非分離変換に基づいて、前記逆変換が適用される前記領域は８×８サイズの領域に含まれ、前記逆変換マトリクスの簡素化ファクタは１６である、請求項１に記載の映像デコーディング方法。
【請求項6】
前記ビットストリームに含まれるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）は、前記逆変換が可能かどうかについての情報、簡素化ファクタについての情報、前記逆変換が適用される最小変換サイズについての情報、前記逆変換が適用される最大変換サイズについての情報、及び前記逆変換のサイズについての情報のうち少なくとも一つを含む、請求項１に記載の映像デコーディング方法。
【請求項7】
前記ビットストリームに含まれる前記ＳＰＳは、前記逆変換が可能かどうかについての情報を示す可用フラグ、簡素化ファクタについての情報を示す簡素化ファクタ値、前記逆変換を適用する最小変換サイズについての情報を示す最小変換サイズ値、前記逆変換を適用する最大変換サイズについての情報を示す最大変換サイズ値、及び前記逆変換のサイズ値のうち少なくとも一つを含み、前記可用フラグは第１のシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を介してシグナリングされ、前記簡素化ファクタの値は第２のシンタックス要素を介してシグナリングされ、前記最小変換サイズ値は第３のシンタックス要素を介してシグナリングされ、前記最大変換サイズ値は第４のシンタックス要素を介してシグナリングされ、前記逆変換のサイズ値は第５のシンタックス要素を介してシグナリングされる、請求項６に記載の映像デコーディング方法。
【請求項8】
エンコーディング装置により実行される映像エンコーディング方法において、対象ブロックに対するレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに基づいて変換（ｔｒａｎｓｆｏｒｍ）を実行することにより前記対象ブロックに対する変換係数を導出するステップと、
前記対象ブロックに対する変換係数に基づいて量子化を実行して量子化された変換係数を導出するステップと、
ビットストリームを出力するために前記量子化された変換係数についての情報をエンコーディングするステップとを含み、
前記変換は非分離変換に基づき、変換マトリクスに基づいて実行され、前記変換マトリクスは、非正方形マトリクスであり、
前記対象ブロックのサイズは、Ｋ×Ｋであり、Ｋは正の整数であり、
前記非分離変換に基づいて前記変換が適用される領域は、Ｍ×Ｍサイズの領域に含まれ、ＭはＫより小さく、Ｍは正の整数であり、
前記変換マトリクスのサイズは、Ｎ×Ｒであり、Ｎは前記非分離変換に基づく前記変換が適用される前記領域において入力エレメント(要素）の数と等しく、ＲはＮより小さく、ＮとＲのそれぞれは、正の整数である、映像エンコーディング方法。
【請求項9】
前記変換に基づいて前記対象ブロックに対する変換係数を導出するステップは、前記変換を適用する条件に該当するかどうかを判断するステップと、
前記判断に基づいて変換インデックスを生成及びエンコーディングするステップと、
変換カーネルを選択するステップと、
前記変換を適用する条件に該当する場合、前記選択された変換カーネルに基づいて前記レジデュアルサンプルに対して変換を適用するステップとを含む、
請求項８に記載の映像エンコーディング方法。
【請求項10】
前記変換インデックス、前記変換が適用される領域の幅及び高さ、前記対象ブロックに対するイントラ予測モード、及び対象ブロックの色相成分についての情報のうち少なくとも一つに基づいて前記変換カーネルが選択される、請求項９に記載の映像エンコーディング方法。
【請求項11】
前記変換が適用される前記領域は８×８サイズの領域に含まれ、前記変換マトリクスの行の数は１６に等しい、請求項８に記載の映像エンコーディング方法。
【請求項12】
前記変換が適用される前記領域は８×８サイズの領域に含まれ、前記変換マトリクスの簡素化ファクタは１６である、請求項８に記載の映像エンコーディング方法。
【請求項13】
前記情報は、前記変換が可能かどうかについての情報、簡素化ファクタについての情報、前記変換が適用される最小変換サイズについての情報、前記変換が適用される最大変換サイズについての情報、及び前記変換のサイズについての情報のうち少なくとも一つを含む、請求項８に記載の映像エンコーディング方法。
【請求項14】
映像情報のビットストリームを含むデータの送信方法であって、量子化された変換係数についての情報を含む前記映像情報のビットストリームを取得するステップであって、前記ビットストリームは対象ブロックに対するレジデュアルサンプルを導出することにより生成される、ステップと、
前記レジデュアルサンプルに基づいて変換を実行することにより前記対象ブロックに対する変換係数を導出するステップと、
前記対象ブロックに対する変換係数に基づいて量子化を適用することにより前記量子化された変換係数を導出するステップと、
前記ビットストリームを出力するための前記量子化された変換係数についての前記情報を生成するステップと、
前記量子化された変換係数についての前記情報を含む前記映像情報のビットストリームを送信するステップを含み、
前記変換は非分離変換に基づき、変換マトリクスに基づいて実行され、前記変換マトリクスは非正方形マトリクスであり、
前記対象ブロックのサイズは、Ｋ×Ｋであり、Ｋは正の整数であり、
前記非分離変換に基づいて、前記変換が適用される領域は、Ｍ×Ｍサイズの領域に含まれ、ＭはＫより小さく、Ｍは正の整数であり、
前記変換マトリクスのサイズは、Ｎ×Ｒであり、Ｎは前記非分離変換に基づく前記変換が適用される前記領域において入力エレメント(要素）の数と等しく、ＲはＮより小さく、ＮとＲのそれぞれは、正の整数である、データの送信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像コーディング技術に関し、より詳しくは、映像コーディングシステムにおいて、変換（ｔｒａｎｓｆｏｒｍ）に基づく映像コーディング方法及びその装置に関する。
【背景技術】
【0002】
最近、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像のような高解像度、高品質の画像に対する需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、既存の画像データに比べて相対的に送信される情報量又はビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、又は既存の格納媒体を利用して画像データを格納する場合、送信費用と格納費用が増加する。
【0003】
これによって、高解像度、高品質画像の情報を効果的に送信又は格納し、再生するために高効率の画像圧縮技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。
【0005】
本発明の他の技術的課題は、変換効率を上げる方法及び装置を提供することにある。
【0006】
本発明の他の技術的課題は、変換を介してレジデュアルコーディングの効率を上げる方法及び装置を提供することにある。
【0007】
本発明の他の技術的課題は、簡素化変換（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）に基づいた映像コーディング方法及び装置を提供することにある。
【課題を解決するための手段】
【0008】
本発明の一実施例によると、デコーディング装置により実行される映像デコーディング方法が提供される。前記方法は、ビットストリームから対象ブロックに対する量子化された変換係数を導出するステップ、前記対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出するステップ、前記変換係数に対する簡素化逆変換（ｒｅｄｕｃｅｄ ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップ、及び前記対象ブロックに対するレジデュアルサンプル及び前記対象ブロックに対する予測サンプルに基づいて復元ピクチャを生成するステップを含み、前記簡素化逆変換は、簡素化逆変換マトリクス（ｍａｔｒｉｘ）に基づいて実行され、前記簡素化逆変換マトリクスは、列の個数が行の個数より少ない非正方形（ｎｏｎ－ｓｑｕａｒｅ）マトリクスであることを特徴とする。
【0009】
本発明の他の一実施例によると、エンコーディング装置により実行される映像エンコーディング方法が提供される。前記方法は、対象ブロックに対するレジデュアルサンプルを導出するステップ、前記レジデュアルサンプルに対する簡素化変換（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）に基づいて前記対象ブロックに対する変換係数を導出するステップ、前記対象ブロックに対する変換係数に基づいて量子化を実行して量子化された変換係数を導出するステップ、及び前記量子化された変換係数に対する情報をエンコーディングするステップを含み、前記簡素化変換は、簡素化変換マトリクスに基づいて実行され、前記簡素化変換マトリクスは、行の個数が列の個数より少ない非正方形マトリクスであることを特徴とする。
【0010】
本発明の他の一実施例によると、映像デコーディングを実行するデコーディング装置が提供される。前記デコーディング装置は、ビットストリームから対象ブロックに対する量子化された変換係数を導出するエントロピーデコーディング部、前記対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出する逆量子化部、前記変換係数に対する簡素化逆変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆変換部、及び前記対象ブロックに対するレジデュアルサンプル及び前記対象ブロックに対する予測サンプルに基づいて復元ピクチャを生成する加算部を含み、前記簡素化逆変換は、簡素化逆変換マトリクスに基づいて実行され、前記簡素化逆変換マトリクスは、列の個数が行の個数より少ない非正方形マトリクスであることを特徴とする。
【0011】
本発明の他の一実施例によると、映像エンコーディングを実行するエンコーディング装置が提供される。前記エンコーディング装置は、対象ブロックに対するレジデュアルサンプルを導出する減算部、前記レジデュアルサンプルに対する簡素化変換（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）に基づいて前記対象ブロックに対する変換係数を導出する変換部、前記対象ブロックに対する変換係数に基づいて量子化を実行して量子化された変換係数を導出する量子化部、及び前記量子化された変換係数に対する情報をエンコーディングするエントロピーエンコーディング部を含み、前記簡素化変換は、簡素化変換マトリクスに基づいて実行され、前記簡素化変換マトリクスは、行の個数が列の個数より少ない非正方形マトリクスであることを特徴とする。
【発明の効果】
【0012】
本発明によると、全般的な映像／ビデオ圧縮効率を上げることができる。
【0013】
本発明によると、効率的な変換を介してレジデュアル処理のために送信されるべきデータ量を減らすことができ、レジデュアルコーディング効率を上げることができる。
【0014】
本発明によると、周波数ドメインでの２次変換を介して０でない変換係数を低周波成分に集中させることができる。
【0015】
本発明によると、簡素化変換に基づいて映像コーディングを実行して映像コーディング効率を上げることができる。
【図面の簡単な説明】
【0016】
【図1】本発明が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図面である。
【図2】本発明が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図面である。
【図3】一実施例に係る多重変換技法を概略的に示す。
【図4】６５個の予測方向のイントラ方向性モードを例示的に示す。
【図5a】一実施例に係る非分離２次変換過程を示す流れ図である。
【図5b】一実施例に係る非分離２次変換過程を示す流れ図である。
【図5c】一実施例に係る非分離２次変換過程を示す流れ図である。
【図6】本発明の一実施例に係る簡素化変換を説明するための図面である。
【図7】本発明の一実施例に係る簡素化変換過程を示す流れ図である。
【図8】本発明の他の実施例に係る簡素化変換過程を示す流れ図である。
【図9】本発明の一実施例に係る非分離２次変換に基づく簡素化変換過程を示す流れ図である。
【図10】本発明の一実施例に係る簡素化変換が適用されるブロックを示す。
【図11】本発明の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。
【図12】本発明の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。〔発明を実施するための最善の形態〕
【0017】
本開示の一実施例によると、デコーディング装置により実行される映像デコーディング方法が提供される。前記方法は、ビットストリームから対象ブロックに対する量子化された変換係数を導出するステップ、前記対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出するステップ、前記変換係数に対する簡素化逆変換（ｒｅｄｕｃｅｄ ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップ、及び前記対象ブロックに対するレジデュアルサンプル及び前記対象ブロックに対する予測サンプルに基づいて復元ピクチャを生成するステップを含み、前記簡素化逆変換は、簡素化逆変換マトリクス（ｍａｔｒｉｘ）に基づいて実行され、前記簡素化逆変換マトリクスは、列の個数が行の個数より少ない非正方形（ｎｏｎ－ｓｑｕａｒｅ）マトリクスであることを特徴とする。
【発明を実施するための形態】
【0018】
本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施例に限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定しようとする意図に使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はそれらを組合せたものが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はそれらを組合せたものの存在又は付加の可能性を予め排除しないと理解しなければならない。
【0019】
一方、本発明で説明される図面上の各構成は、互いに異なる特徴的な機能に対する説明の便宜のために独立して図示されたものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成が合わせて一つの構成をなすこともあり、一つの構成が複数の構成に分けられることもある。各構成が統合及び／又は分離された実施例も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
【0020】
以下の説明は、ビデオ、イメージまたは映像に対して扱う技術分野で適用されることができる。例えば、以下の説明で開示された方法または実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはＶＶＣ以前の標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）等）の開始内容と関連することができる。
【0021】
以下、添付図面を参照し、本発明の好ましい実施例をより詳細に説明する。以下、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素について重複説明は省略する。
【0022】
本明細書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味する。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）は、コーディングにおいてピクチャの一部を構成する単位である。一つのピクチャは、複数のスライスで構成されることができ、必要によって、ピクチャ及びスライスは、互いに混用されて使われることができる。
【0023】
ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、一つのピクチャー（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル(ｓａｍｐｌｅ)」が使用されることができる。サンプルは、一般的にピクセル又はピクセルの値を示し、輝度（ルマ）成分のピクセル／ピクセルの値のみを示してもよく、彩度（クロマ）成分のピクセル／ピクセルの値のみを示してもよい。
【0024】
ユニット(ｕｎｉｔ)は、画像処理の基本単位を示す。ユニットは、ピクチャーの特定領域及び該当領域に関する情報のうち少なくとも一つを含むことができる。ユニットは、場合によってブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と混用して用いられてもよい。一般的な場合、ＭｘＮのブロックは、Ｍ個の列とＮ個の行からなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。
【0025】
図１は、本発明が適用されることができるビデオ／映像エンコーディング装置（ｖｉｄｅｏ ｅｎｃｏｄｉｎｇ ａｐｐａｒａｔｕｓ）の構成を概略的に説明する図面である。以下、エンコーディング装置は、ビデオエンコーディング装置及び／または映像エンコーディング装置を含むことができ、ビデオエンコーディング装置が映像エンコーディング装置を含む概念として使われることもできる。
【0026】
図１を参照すると、ビデオエンコーディング装置１００は、ピクチャ分割部（ｐｉｃｔｕｒｅ ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｕｌｅ）１０５、予測部（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｕｌｅ）１１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）１２０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｉｎｇ ｍｏｄｕｌｅ）１３０、加算部（ａｄｄｅｒ）１４０、フィルタ部（ｆｉｌｔｅｒｉｎｇ ｍｏｄｕｌｅ）１５０、及びメモリ（ｍｅｍｏｒｙ）１６０を含むことができる。レジデュアル処理部１２０は、減算部（ｓｕｂｓｔｒａｃｔｏｒ）１２１、変換部（ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）１２２、量子化部（ｑｕａｎｔｉｚａｔｉｏｎ ｍｏｄｕｌｅ）１２３、再整列部（ｒｅａｒｒａｎｇｅｍｅｎｔ ｍｏｄｕｌｅ）１２４、逆量子化部（ｄｅｑｕａｎｔｉｚａｔｉｏｎ ｍｏｄｕｌｅ）１２５、及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）１２６を含むことができる。
【0027】
ピクチャ分割部１０５は、入力されたピクチャを少なくとも一つの処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割できる。
【0028】
一例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれる。この場合、コーディングユニットは、最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造及び／またはターナリ（ｔｅｒｎａｒｙ）ツリー構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及びターナリツリー構造が後に適用されることができる。または、バイナリツリー構造／ターナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本発明によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。
【0029】
他の例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）を含むこともできる。コーディングユニットは、最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からクアッドツリー構造によって下位（ｄｅｅｐｅｒ）デプスのコーディングユニットに分割（ｓｐｌｉｔ）されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。最小コーディングユニット（ｓｍａｌｌｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＳＣＵ）が設定された場合、コーディングユニットは、最小コーディングユニットより小さいコーディングユニットに分割されることができない。ここで、最終コーディングユニットとは、予測ユニットまたは変換ユニットにパーティショニングまたは分割の基盤となるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）されるユニットであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロック（ｓｕｂｂｌｏｃｋ）に分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造によって分割されることができ、変換係数を誘導するユニット及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導するユニットである。以下、コーディングユニットはコーディングブロック（ｃｏｄｉｎｇ ｂｌｏｃｋ、ＣＢ）、予測ユニットは予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ、ＰＢ）、変換ユニットは変換ブロック（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ、ＴＢ）とも呼ばれる。予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味し、予測サンプルのアレイ（ａｒｒａｙ）を含むことができる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味し、変換係数またはレジデュアルサンプルのアレイを含むことができる。
【0030】
予測部１１０は、処理対象ブロック（以下、現在ブロックまたはレジデュアルブロックを意味することもある）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部１１０で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。
【0031】
予測部１１０は、現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。一例として、予測部１１０は、ＣＵ単位にイントラ予測またはインター予測が適用されるかを決定することができる。
【0032】
イントラ予測の場合、予測部１１０は、現在ブロックが属するピクチャ（以下、現在ピクチャ）内の現在ブロック外部の参照サンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。このとき、予測部１１０は、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は非方向性モードまたは非角度モードと呼ばれ、（ｉｉ）の場合は方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれる。イントラ予測における予測モードは、例えば、３３個の方向性予測モードと少なくとも２個以上の非方向性モードを有することができる。非方向性モードは、ＤＣ予測モード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。予測部１１０は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。
【0033】
インター予測の場合、予測部１１０は、参照ピクチャ上で動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを誘導することができる。予測部１１０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。スキップモードとマージモードの場合、予測部１１０は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードと違って予測サンプルと原本サンプルとの間の差（レジデュアル）が送信されない。ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として利用して現在ブロックの動きベクトル予測子として利用して現在ブロックの動きベクトルを誘導することができる。
【0034】
インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）に存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれる。動き情報（ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）は、動きベクトルと参照ピクチャインデックスを含むことができる。予測モード情報と動き情報などの情報は、（エントロピー）エンコーディングされてビットストリーム形態で出力されることができる。
【0035】
スキップモードとマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）上の最上位ピクチャが参照ピクチャとして利用されることもできる。参照ピクチャリスト（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）に含まれる参照ピクチャは、現在ピクチャと該当参照ピクチャとの間のＰＯＣ（Ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）差に基づいて整列されることができる。ＰＯＣは、ピクチャのディスプレイ順序に対応し、コーディング順序と区分されることができる。
【0036】
減算部１２１は、原本サンプルと予測サンプルとの間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、前述したようにレジデュアルサンプルを生成しない。
【0037】
変換部１２２は、変換ブロック単位にレジデュアルサンプルを変換して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。変換部１２２は、該当変換ブロックのサイズと、該当変換ブロックと空間的に重なるコーディングブロックまたは予測ブロックに適用された予測モードによって変換を実行することができる。例えば、前記変換ブロックと重なる前記コーディングブロックまたは前記予測ブロックにイントラ予測が適用され、前記変換ブロックが４×４のレジデュアルアレイ（ａｒｒａｙ）である場合、レジデュアルサンプルは、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを利用して変換され、その他の場合、レジデュアルサンプルは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを利用して変換できる。
【0038】
量子化部１２３は、変換係数を量子化し、量子化された変換係数を生成することができる。
【0039】
再整列部１２４は、量子化された変換係数を再整列する。再整列部１２４は、係数スキャニング（ｓｃａｎｎｉｎｇ）方法を介してブロック形態の量子化された変換係数を１次元ベクトル形態で再整列できる。ここで、再整列部１２４は、別途の構成で説明したが、量子化部１２３の一部であってもよい。
【0040】
エントロピーエンコーディング部１３０は、量子化された変換係数に対するエントロピーエンコーディングを実行することができる。エントロピーエンコーディングは、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのようなエンコーディング方法を含むことができる。エントロピーエンコーディング部１３０は、量子化された変換係数外にビデオ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の値等）を共にまたは別途にエントロピーエンコーディングまたは既設定された方法によってエンコーディングすることもできる。エンコーディングされた情報は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。
【0041】
逆量子化部１２５は、量子化部１２３で量子化された値（量子化された変換係数）を逆量子化し、逆変換部１２６は、逆量子化部１２５で逆量子化された値を逆変換してレジデュアルサンプルを生成する。
【0042】
加算部１４０は、レジデュアルサンプルと予測サンプルを加算してピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位に加算されて復元ブロックが生成されることができる。ここで、加算部１４０は、別途の構成で説明したが、予測部１１０の一部であってもよい。一方、加算部１４０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｕｌｅ）または復元ブロック生成部とも呼ばれる。
【0043】
復元されたピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に対してフィルタ部１５０は、デブロッキングフィルタ及び／またはサンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）を適用することができる。デブロッキングフィルタリング及び／またはサンプル適応的オフセットを介して、復元ピクチャ内のブロック境界のアーチファクトや量子化過程での歪曲が補正されることができる。サンプル適応的オフセットは、サンプル単位に適用されることができ、デブロッキングフィルタリングの過程が完了した後に適用されることができる。フィルタ部１５０は、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）を復元されたピクチャに適用することもできる。ＡＬＦは、デブロッキングフィルタ及び／またはサンプル適応的オフセットが適用された後の復元されたピクチャに対して適用されることができる。
【0044】
メモリ１６０は、復元ピクチャ（デコーディングされたピクチャ）またはエンコーディング／デコーディングに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部１５０によりフィルタリング手順が完了した復元ピクチャである。前記格納された復元ピクチャは、他のピクチャの（インター）予測のための参照ピクチャとして活用されることができる。例えば、メモリ１６０は、インター予測に使われる（参照）ピクチャを格納することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）または参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）により指定されることができる。
【0045】
図２は、本発明が適用されることができるビデオ／映像デコーディング装置（ｖｉｄｅｏ ｄｅｃｏｄｉｎｇ ａｐｐａｒａｔｕｓ）の構成を概略的に説明する図面である。以下、ビデオデコーディング装置とは、映像デコーディング装置を含むことができる。
【0046】
図２を参照すると、ビデオデコーディング装置２００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｉｎｇ ｍｏｄｕｌｅ）２１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）２２０、予測部（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｕｌｅ）２３０、加算部（ａｄｄｅｒ）２４０、フィルタ部（ｆｉｌｔｅｒｉｎｇ ｍｏｄｕｌｅ）２５０、及びメモリ（ｍｅｍｏｒｙ）２６０を含むことができる。ここで、レジデュアル処理部２２０は、再整列部（ｒｅａｒｒａｎｇｅｍｅｎｔ ｍｏｄｕｌｅ）２２１、逆量子化部（ｄｅｑｕａｎｔｉｚａｔｉｏｎ ｍｏｄｕｌｅ）２２２、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｍｏｄｕｌｅ）２２３を含むことができる。また、図示されていないが、ビデオデコーディング装置２００は、ビデオ情報を含むビットストリームを受信する受信部を含むことができる。前記受信部は、別途のモジュールで構成されることもでき、またはエントロピーデコーディング部２１０に含まれることもできる。
【0047】
ビデオ／映像情報を含むビットストリームが入力されると、ビデオデコーディング装置２００は、ビデオエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応してビデオ／映像／ピクチャを復元することができる。
【0048】
例えば、ビデオデコーディング装置２００は、ビデオエンコーディング装置で適用された処理ユニットを利用してビデオデコーディングを実行することができる。したがって、ビデオデコーディングの処理ユニットブロックは、一例としてコーディングユニットであり、他の例としてコーディングユニット、予測ユニットまたは変換ユニットである。コーディングユニットは、最大コーディングユニットからクアッドツリー構造、バイナリツリー構造及び／またはターナリツリー構造によって分割されることができる。
【0049】
予測ユニット及び変換ユニットが場合によってさらに使用されることができ、この場合、予測ブロックは、コーディングユニットから導出またはパーティショニングされるブロックであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロックに分けられることもできる。変換ユニットは、コーディングユニットからクアッドツリー構造によって分割されることができ、変換係数を誘導するユニットまたは変換係数からレジデュアル信号を誘導するユニットである。
【0050】
エントロピーデコーディング部２１０は、ビットストリームをパーシングしてビデオ復元またはピクチャ復元に必要な情報を出力することができる。例えば、エントロピーデコーディング部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコーディングし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに対する変換係数の量子化された値を出力することができる。
【0051】
より詳細に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するＢＩＮを受信し、デコーディング対象シンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ＢＩＮの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってＢＩＮの発生確率を予測してＢＩＮの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル／ＢＩＮのコンテキストモデルのためにデコーディングされたシンボル／ＢＩＮの情報を利用してコンテキストモデルをアップデートすることができる。
【0052】
エントロピーデコーディング部２１０でデコーディングされた情報のうち予測に対する情報は、予測部２３０に提供され、エントロピーデコーディング部２１０でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数は、再整列部２２１に入力されることができる。
【0053】
再整列部２２１は、量子化されている変換係数を２次元のブロック形態で再整列できる。再整列部２２１は、エンコーディング装置で実行された係数スキャニングに対応して再整列を実行することができる。ここで、再整列部２２１は、別途の構成で説明したが、逆量子化部２２２の一部であってもよい。
【0054】
逆量子化部２２２は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して変換係数を出力することができる。このとき、量子化パラメータを誘導するための情報は、エンコーディング装置からシグナリングされることができる。
【0055】
逆変換部２２３は、変換係数を逆変換してレジデュアルサンプルを誘導することができる。
【0056】
予測部２３０は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２３０で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。
【0057】
予測部２３０は、前記予測に対する情報に基づいて、イントラ予測を適用するか、またはインター予測を適用するかを決定することができる。このとき、イントラ予測とインター予測のうちいずれかを適用するかを決定する単位と予測サンプルを生成する単位は異なる。併せて、インター予測とイントラ予測において、予測サンプルを生成する単位も異なる。例えば、インター予測とイントラ予測のうちいずれかを適用するかは、ＣＵ単位に決定できる。また、例えば、インター予測において、ＰＵ単位に予測モードを決定して予測サンプルを生成することができ、イントラ予測において、ＰＵ単位に予測モードを決定し、ＴＵ単位に予測サンプルを生成することもできる。
【0058】
イントラ予測の場合、予測部２３０は、現在ピクチャ内の隣接参照サンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。予測部２３０は、現在ブロックの隣接参照サンプルに基づいて方向性モードまたは非方向性モードを適用して現在ブロックに対する予測サンプルを誘導することができる。このとき、隣接ブロックのイントラ予測モードを利用して現在ブロックに適用する予測モードが決定されることもできる。
【0059】
インター予測の場合、予測部２３０は、参照ピクチャ上で動きベクトルにより参照ピクチャ上で特定されるサンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。予測部２３０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰモードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。このとき、ビデオエンコーディング装置で提供された現在ブロックのインター予測に必要な動き情報、例えば、動きベクトル、参照ピクチャインデックスなどに対する情報は、前記予測に対する情報に基づいて取得または誘導されることができる。
【0060】
スキップモードとマージモードの場合、隣接ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含むことができる。
【0061】
予測部２３０は、可用な隣接ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上で指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコーディング装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含むことができる。スキップモードとマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることができる。
【0062】
スキップモードの場合、マージモードと違って予測サンプルと原本サンプルとの間の差（レジデュアル）が送信されない。
【0063】
ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用して現在ブロックの動きベクトルが誘導されることができる。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含むことができる。
【0064】
一例として、マージモードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを利用し、マージ候補リストが生成されることができる。マージモードではマージ候補リストから選択された候補ブロックの動きベクトルが現在ブロックの動きベクトルとして使われる。前記予測に対する情報は、前記マージ候補リストに含まれている候補ブロックの中から選択された最適の動きベクトルを有する候補ブロックを指示するマージインデックスを含むことができる。このとき、予測部２３０は、前記マージインデックスを利用し、現在ブロックの動きベクトルを導出することができる。
【0065】
他の例として、ＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを利用し、動きベクトル予測子候補リストが生成されることができる。即ち、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルは、動きベクトル候補として使われることができる。前記予測に対する情報は、前記リストに含まれている動きベクトル候補の中から選択された最適の動きベクトルを指示する予測動きベクトルインデックスを含むことができる。このとき、予測部２３０は、前記動きベクトルインデックスを利用し、動きベクトル候補リストに含まれている動きベクトル候補の中から、現在ブロックの予測動きベクトルを選択することができる。エンコーディング装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子との間の動きベクトル差分（ＭＶＤ）を求めることができ、これをエンコーディングしてビットストリーム形態で出力できる。即ち、ＭＶＤは、現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値として求められる。このとき、予測部２３０は、前記予測に対する情報に含まれている動きベクトル差分を取得し、前記動きベクトル差分と前記動きベクトル予測子の加算を介して現在ブロックの前記動きベクトルを導出することができる。また、予測部は、参照ピクチャを指示する参照ピクチャインデックスなどを前記予測に対する情報から取得または誘導できる。
【0066】
加算部２４０は、レジデュアルサンプルと予測サンプルを加算して現在ブロックまたは現在ピクチャを復元することができる。加算部２４０は、レジデュアルサンプルと予測サンプルをブロック単位に加算して現在ピクチャを復元することもできる。スキップモードが適用された場合にはレジデュアルが送信されないため、予測サンプルが復元サンプルになることができる。ここで、加算部２４０は、別途の構成で説明したが、予測部２３０の一部であってもよい。一方、加算部２４０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｏｄｕｌｅ）または復元ブロック生成とも呼ばれる。
【0067】
フィルタ部２５０は、復元されたピクチャにデブロッキングフィルタリングサンプル適応的オフセット、及び／またはＡＬＦなどを適用することができる。このとき、サンプル適応的オフセットは、サンプル単位に適用されることができ、デブロッキングフィルタリング以後に適用されることもできる。ＡＬＦは、デブロッキングフィルタリング及び／またはサンプル適応的オフセット以後に適用されることもできる。
【0068】
メモリ２６０は、復元ピクチャ（デコーディングされたピクチャ）またはデコーディングに必要な情報を格納することができる。ここで、復元ピクチャは、前記フィルタ部２５０によりフィルタリング手順が完了した復元ピクチャである。例えば、メモリ２６０は、インター予測に使われるピクチャを格納することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセットまたは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、他のピクチャに対する参照ピクチャとして利用されることができる。また、メモリ２６０は、復元されたピクチャを出力順序によって出力することもできる。
【0069】
一方、前述したように、ビデオコーディングを実行するにあたって圧縮効率を上げるために予測を実行する。それによって、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同じに導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置でシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを加算して復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
【0070】
前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置でシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
【0071】
図３は、本発明による多重変換技法を概略的に示す。
【0072】
図３を参照すると、変換部は、前述した図１のエンコーディング装置内の変換部に対応されることができ、逆変換部は、前述した図１のエンコーディング装置内の逆変換部または図２のデコーディング装置内の逆変換部に対応されることができる。
【0073】
変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を実行して（１次）変換係数を導出することができる（Ｓ３１０）。ここで、前記１次変換は、多重変換セット（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｔ、ＭＴＳ）を含むことができる。多重変換セットは、場合によって、適応的多重核心変換（ａｄａｐｔｉｖｅ ｍｕｌｔｉｐｌｅ ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）とも呼ばれる。
【0074】
適応的多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２とＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１を追加的に使用して変換する方式を示すことができる。即ち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて空間ドメインのレジデュアル信号（または、レジデュアルブロック）を周波数ドメインの変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部立場で臨時変換係数と呼ばれる。
【0075】
即ち、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいてレジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成されることができた。それと違って、前記適応的多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１などに基づいてレジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）または変換コア（ｃｏｒｅ）と呼ばれる。
【0076】
参考までに、前記ＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができ、前記基底関数は、以下の表のように示される。
【0077】
【表1】
【0078】
前記適応的多重核心変換が実行される場合、前記変換カーネルの中から対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が実行され、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が実行されることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを取り囲む（ｅｎｃｏｍｐａｓｓ）対象ブロック（ＣＵまたはサブブロック）の予測モード及び／または変換サブセットを指す変換インデックスに基づいて適応的に決定されることができる。
【0079】
変換部は、前記（１次）変換係数に基づいて２次変換を実行して（２次）変換係数を導出することができる（Ｓ３２０）。前記１次変換が空間ドメインから周波数ドメインへの変換である場合、前記２次変換は周波数ドメインから周波数ドメインへの変換であるとみることができる。前記２次変換は、非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）またはＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれる。前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリクス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリクスに基づいて前記（１次）変換係数に対して垂直変換及び水平変換を分離して（または、水平垂直変換を独立的に）適用せずに一度に変換を適用することができる。即ち、前記非分離２次変換は、前記非分離変換マトリクスに基づいて前記（１次）変換係数の垂直成分及び水平成分を分離せずに共に変換して変換係数（または、２次変換係数）を生成する変換方法を示すことができる。前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ばれる）の左上段（ｔｏｐ－ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上である場合、８×８非分離２次変換が前記変換係数ブロックの左上段８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上であり、且つ前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さい場合、４×４非分離２次変換が前記変換係数ブロックの左上段ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して適用されることができる。ただし、実施例は、これに限定されるものではなく、例えば、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さいという条件のみを満たしても、４×４非分離２次変換が前記変換係数ブロックの左上段ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して適用されることもできる。
【0080】
具体的に、例えば、４×４入力ブロックが使われる場合、非分離２次変換は、下記のように実行されることができる。
【0081】
前記４×４入力ブロックＸは、以下のように示される。
【0082】
【数1】
【0083】
前記Ｘをベクトル形態で表す場合、ベクトル
は、以下のように示される。
【0084】
【数2】
【0085】
この場合、前記２次非分離変換は、以下のように計算されることができる。
【0086】
【数3】
【0087】
ここで、
は変換係数ベクトルを示し、Ｔは１６×１６（非分離）変換マトリクスを示す。
【0088】
前記数式３を介して１６×１変換係数ベクトル
が導出されることができ、前記
は、スキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）等）を介して４×４ブロックで再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）されることができる。ただし、前述した計算は、例示に過ぎず、非分離２次変換の計算複雑度を減らすためにＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｓｆｏｒｍ）などが非分離２次変換の計算のために使われることもできる。
【0089】
一方、前記非分離２次変換は、モードベースの（ｍｏｄｅ ｄｅｐｅｎｄｅｎｔ）変換カーネル（または、変換コア、変換タイプ）が選択されることができる。ここで、モードは、イントラ予測モード及び／またはインター予測モードを含むことができる。
【0090】
前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて実行されることができる。即ち、前記非分離２次変換は、８×８サブブロックサイズまたは４×４サブブロックサイズに基づいて実行されることができる。例えば、前記モードベースの変換カーネル選択のために、８×８サブブロックサイズ及び４×４サブブロックサイズの両方ともに対して非分離２次変換のための３個ずつ３５個セットの非分離２次変換カーネルが構成されることができる。即ち、８×８サブブロックサイズに対して３５個の変換セットが構成され、４×４サブブロックサイズに対して３５個の変換セットが構成されることができる。この場合、８×８サブブロックサイズに対する３５個の変換セットには、各々、３個ずつの８×８変換カーネルが含まれることができ、４×４サブブロックサイズに対する３５個の変換セットには、各々、３個ずつの４×４変換カーネルが含まれることができる。ただし、前記変換サブブロックサイズ、前記セットの数及びセット内の変換カーネルの数は、例示に過ぎず、８×８または４×４以外のサイズが使われることができ、またはｎ個のセットが構成され、各セット内にｋ個の変換カーネルが含まれることもできる。
【0091】
前記変換セットはＮＳＳＴセットと呼ばれ、前記ＮＳＳＴセット内の変換カーネルはＮＳＳＴカーネルと呼ばれる。前記変換セットのうち特定セットの選択は、例えば、対象ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて実行されることができる。
【0092】
参考までに、例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ、または非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ、または角度性（ａｎｇｕｌａｒ））イントラ予測モードを含むことができる。前記非方向性イントラ予測モードは、０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。ただし、これは例示に過ぎず、本発明はイントラ予測モードの数が異なる場合にも適用されることができる。一方、場合によって、６７番イントラ予測モードがさらに使用されることができ、前記６７番イントラ予測モードは、ＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを示すことができる。
【0093】
図４は、６５個の予測方向のイントラ方向性モードを例示的に示す。
【0094】
図４を参照すると、左上向対角予測方向を有する３４番イントラ予測モードを中心に水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードを区分することができる。図３のＨとＶは、各々、水平方向性と垂直方向性を意味し、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。２番乃至３３番イントラ予測モードは水平方向性を有し、３４番乃至６６番イントラ予測モードは垂直方向性を有する。１８番イントラ予測モードと５０番イントラ予測モードは、各々、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示し、２番イントラ予測モードは左下向対角イントラ予測モードと呼ばれ、３４番イントラ予測モードは左上向対角イントラ予測モードと呼ばれ、６６番イントラ予測モードは右上向対角イントラ予測モードと呼ばれる。
【0095】
この場合、前記３５個の変換セットと前記イントラ予測モードとの間のマッピング（ｍａｐｐｉｎｇ）は、例えば、以下の表のように示される。参考までに、対象ブロックにＬＭモードが適用される場合。前記対象ブロックに対しては２次変換が適用されない。
【0096】
【表2】
【0097】
一方、特定セットが使われると決定される場合、非分離２次変換インデックスを介して前記特定セット内のｋ個の変換カーネルの中から一つが選択されることができる。エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定変換カーネルを指す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコーディング装置でシグナリングできる。デコーディング装置は、前記非分離２次変換インデックスに基づいて特定セット内のｋ個の変換カーネルの中から一つを選択することができる。例えば、ＮＳＳＴインデックス値０は、１番目の非分離２次変換カーネルを指すことができ、ＮＳＳＴインデックス値１は、２番目の非分離２次変換カーネルを指すことができ、ＮＳＳＴインデックス値２は、３番目の非分離２次変換カーネルを指すことができる。または、ＮＳＳＴインデックス値０は、対象ブロックに対して１番目の非分離２次変換が適用されないことを指すことができ、ＮＳＳＴインデックス値１乃至３は、前記３個の変換カーネルを指すことができる。
【0098】
再び、図３を参照すると、変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行して（２次）変換係数を取得することができる。前記変換係数は、前述したように量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置でシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。
【0099】
一方、前述したように２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が前述したように量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置でシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。
【0100】
逆変換部は、前述した変換部で実行された手順の逆順に一連の手順を実行することができる。逆変換部は（逆量子化された）変換係数を受信し、２次（逆）変換を実行して（１次）変換係数を導出し（Ｓ３５０）、前記（１次）変換係数に対して１次（逆）変換を実行してレジデュアルブロック（レジデュアルサンプル）を取得することができる。ここで、前記１次変換係数は、逆変換部立場で修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは前述した通りである。
【0101】
一方、前述したように２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して前記１次（分離）変換を実行することでレジデュアルブロック（レジデュアルサンプル）を取得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは前述した通りである。
【0102】
【0103】
図３で前述したように、非分離２次変換（以下‘ＮＳＳＴ’という）において、１次変換を適用して取得した変換係数のブロックデータをＭ×Ｍブロックに分割した後、各Ｍ×Ｍブロックに対してＭ２×Ｍ２ ＮＳＳＴが実行されることができる。Ｍは、例えば、４または８であるが、これに限定されるものではない。
【0104】
Ｍ２×Ｍ２ ＮＳＳＴは、行列積の形態で適用されることもできるが、計算量とメモリ要求量の低減のために、ＮＳＳＴの演算のために図３で前述したＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｆｏｒｍ）が使われることができる。ＨｙＧＴは、直交変換（ｏｒｔｈｏｇｏｎａｌ ｔｒａｎｓｆｏｒｍ）であり、ＨｙＧＴは、直交マトリクスＧ（ｍ，ｎ，θ）により定義されるＧｉｖｅｎｓ ｒｏｔａｔｉｏｎ Ｇｉ、ｊ（ｍ，ｎ）を基本構成要素として含むことができる。Ｇｉｖｅｎｓ ｒｏｔａｔｉｏｎ Ｇｉ、ｊ（ｍ，ｎ）は、以下の数式４の通りである。
【0105】
【数4】
【0106】
数式４に基づくＧｉｖｅｎｓ ｒｏｔａｔｉｏｎは、図５ａのように示すことができる。数式４及び図５ａを参照すると、一つのＧｉｖｅｎｓ ｒｏｔａｔｉｏｎは、一つの角度（θ）のみで記述されることを確認することができる。
【0107】
図５ｂは、１６×１６ ＮＳＳＴを構成する一つのｒｏｕｎｄの一例を示す。より具体的に、ＨｙＧＴは、ハイパーキューブ整列（ｈｙｐｅｒｃｕｂｅ ａｒｒａｎｇｅｍｅｎｔ）でＧｉｖｅｎｓ ｒｏｔａｔｉｏｎを組み合わせることで実行されることができ、１６個のエレメントに対するＨｙＧＴのフローは、図５ｂのようにバタフライ（ｂｕｔｔｅｒｆｌｙ）形態で示すことができる。図５ｂのように、一つのｒｏｕｎｄは４個のＧｉｖｅｎｓ ｒｏｔａｔｉｏｎ ｌａｙｅｒで構成され、各Ｇｉｖｅｎｓ ｒｏｔａｔｉｏｎ ｌａｙｅｒは８個のＧｉｖｅｎｓ ｒｏｔａｔｉｏｎで構成され、各Ｇｉｖｅｎｓ ｒｏｔａｔｉｏｎは、図５ｂで提示する連結構成のように入力データ２個を選択して回転変換を適用した後、該当選択位置にそのまま出力する構造からなることができる。１６×１６ ＮＳＳＴは、２番のｒｏｕｎｄと１番のｐｅｒｍｕｔａｔｉｏｎ ｌａｙｅｒを順次に適用でき、該当ｐｅｒｍｕｔａｔｉｏｎ ｌａｙｅｒを介して１６個のデータを任意に混ぜることができる。２番のｒｏｕｎｄは、全て図５ｂのように連結されることができるが、二つのｒｏｕｎｄに対するＧｉｖｅｎｓ ｒｏｔａｔｉｏｎ ｌａｙｅｒは、全て異なることがある。
【0108】
６４×６４ ＮＳＳＴは、６４個の入力と出力を有するＧｉｖｅｎｓ ｒｏｔａｔｉｏｎ ｌａｙｅｒで構成され、１６×１６ ＮＳＳＴと同様に、少なくとも一回以上ｒｏｕｎｄが適用されることができ、一回のｒｏｕｎｄは、図５ｂと類似した方式で連結された６個のＧｉｖｅｎｓ ｒｏｔａｔｉｏｎ ｌａｙｅｒで構成されることができる。一例において、６４×６４ ＮＳＳＴは、４個のｒｏｕｎｄが適用されることができ、以後６４個のデータを任意に混ぜるためのｐｅｒｍｕｔａｔｉｏｎ ｌａｙｅｒが適用されることができる。４個のｒｏｕｎｄの各々に対するＧｉｖｅｎｓ ｒｏｔａｔｉｏｎ ｌａｙｅｒの各々は、互いに異なることがある。
【0109】
図５ｂは、逆方向変換に適用されるｒｏｕｎｄを示す。逆方向変換を適用する時は、まず、逆方向ｐｅｒｍｕｔａｔｉｏｎ ｌａｙｅｒが適用された後、最後のｒｏｕｎｄから最初のｒｏｕｎｄの順に図５ｂの下から上に向かう方向に沿って該当Ｇｉｖｅｎｓ ｒｏｔａｔｉｏｎが適用されることができる。逆方向ＮＳＳＴの各Ｇｉｖｅｎｓ ｒｏｔａｔｉｏｎに該当する角度は、該当逆方向角度に－符号を適用した値になることができる。
【0110】
コーディング効率を増加させるために、一つ以上のＨｙＧＴラウンドが利用されることができる。図５ｃに示すように、ＮＳＳＴは、Ｒ個のＨｙＧＴラウンドで構成されることができ、追加的にｓｏｒｔｉｎｇ ｐａｓｓを含むことができる。ｓｏｒｔｉｎｇ ｐａｓｓは、ｏｐｔｉｏｎａｌ ｐｅｒｍｕｔａｔｉｏｎ ｐａｓｓと解釈されることもでき、分散（ｖａｒｉａｎｃｅ）に基づいて変換係数をソーティング（ｓｏｒｔｉｎｇ）することができる。一例示として、２－ｒｏｕｎｄ ＨｙＧＴは、１６×１６ ＮＳＳＴに適用されることができ、４－ｒｏｕｎｄ ＨｙＧＴは、６４×６４ ＮＳＳＴに適用されることができる。
【0111】
図６は、本発明の一実施例に係る簡素化変換を説明するための図面である。
【0112】
本明細書において、“対象ブロック”は、コーディングが実行される現在ブロックまたはレジデュアルブロックを意味する。
【0113】
本明細書において、“簡素化変換”は、簡素化ファクタ（ｆａｃｔｏｒ）によって大きさが減少された変換マトリクス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて対象ブロックに対するレジデュアルサンプルに対して実行される変換を意味する。簡素化変換を実行する場合、変換マトリクスの大きさ減少によって変換時に要求される演算量が減少されることができる。即ち、簡素化変換は、大きさが大きいブロックの変換または非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）問題を解消するために利用されることができる。簡素化変換は、１次変換（または、コア変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と呼ばれる。１次変換は、例えば、ＤＣＴ、ＤＳＴなどを含む）、２次変換（例えば、ＮＳＳＴがある）など、どのような類型の変換にも利用されることができる。
【0114】
簡素化変換は、減少された変換、減少変換、ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍ、ＲＴＳ、ＲＳＴ等、多様な用語で呼ばれることもでき、簡素化変換と呼ばれる名称は、羅列された例示に限定されるものではない。
【0115】
一実施例に係る簡素化変換において、Ｎ次元ベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が他の空間に位置したＲ次元ベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマッピングされて簡素化変換マトリクスが決定されることができ、ここで、ＲはＮより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の自乗または変換が適用されるブロックと対応される変換係数の総個数を意味し、簡素化ファクタは、Ｒ／Ｎ値を意味する。簡素化ファクタは、減少されたファクタ、減少ファクタ、ｒｅｄｕｃｅｄ ｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ、ｓｉｍｐｌｅ ｆａｃｔｏｒなど、多様な用語で呼ばれることもできる。一方、Ｒは簡素化係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれるが、場合によって、簡素化ファクタがＲを意味することもある。また、場合によって、簡素化ファクタは、Ｎ／Ｒ値を意味することもある。
【0116】
一実施例において、簡素化ファクタまたは簡素化係数は、ビットストリームを介してシグナリングされることができるが、実施例がこれに限定されるものではない。例えば、簡素化ファクタまたは簡素化係数に対する既定義された値が各エンコーディング装置１００及びデコーディング装置２００に格納されている場合があり、この場合、簡素化ファクタまたは簡素化係数は、別途にシグナリングされない。
【0117】
一実施例に係る簡素化変換マトリクスのサイズは、通常の変換マトリクスのサイズＮ×Ｎより小さいＲ×Ｎであり、以下の数式５のように定義されることができる。
【0118】
【数5】
【0119】
図６の（ａ）に示すＲｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴは、数式５のマトリクスＴＲｘＮを意味する。図６の（ａ）のように対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリクスＴＲｘＮが掛けられる場合、対象ブロックに対する変換係数が導出されることができる。
【0120】
一実施例において、変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６であり（即ち、Ｒ／Ｎ＝１６／６４＝１／４）、対象ブロックのサイズが６４×６４である場合、図６の（ａ）による簡素化変換は、以下の数式６のような行列演算で表現されることができる。
【0121】
【数6】
【0122】
数式６において、ｒ１乃至ｒ６４は、対象ブロックに対するレジデュアルサンプルを示すことができる。数式６の演算結果、対象ブロックに対する変換係数ｃｉが導出されることができ、ｃｉの導出過程は、数式７の通りである。
【0123】
【数7】
【0124】
数式７の演算結果、対象ブロックに対する変換係数ｃ１乃至ｃＲが導出されることができる。即ち、Ｒ＝１６である場合、対象ブロックに対する変換係数ｃ１乃至ｃ１６が導出されることができる。もし、簡素化変換でなく通常の（ｒｅｇｕｌａｒ）変換が適用されてサイズが６４×６４（Ｎ×Ｎ）である変換マトリクスが、サイズが６４×１（Ｎ×１）であるレジデュアルサンプルを含むマトリクスに掛けられた場合、対象ブロックに対する変換係数が６４個（Ｎ個）導出されるが、簡素化変換が適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してエンコーディング装置１００がデコーディング装置２００に送信するデータの量が減少するため、エンコーディング装置１００－デコーディング装置２００間の送信効率が増加できる。
【0125】
変換マトリクスのサイズ観点で検討すると、通常の変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、それに対して、簡素化変換マトリクスのサイズは１６×６４（Ｒ×Ｎ）に減少するため、通常の変換を実行する時と比較する場合、簡素化変換を実行する時にメモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較する場合、簡素化変換マトリクスを利用すると、掛け算演算数をＲ／Ｎ割合で減少（Ｒ×Ｎ）させることができる。
【0126】
一実施例において、エンコーディング装置１００の変換部１２２で対象ブロックに対するレジデュアルサンプルを変換して対象ブロックに対する変換係数が導出されることができ、対象ブロックに対する変換係数は、デコーディング装置２００の逆変換部に伝達されることができ、デコーディング装置２００の逆変換部２２３は、対象ブロックに対する変換係数を逆変換することができる。対象ブロックに対する変換係数に実行された逆変換に基づいて、対象ブロックに対するレジデュアルサンプルが導出されることができる。即ち、（簡素化）逆変換による細部動作は、（簡素化）変換による細部動作と順序のみが正反対であり、それに対して、（簡素化）逆変換による細部動作と（簡素化）変換による細部動作は、実質的に類似する。
【0127】
一実施例に係る簡素化逆変換マトリクスＴＮｘＲのサイズは、通常の逆変換マトリクスのサイズＮ×Ｎより小さいＮ×Ｒであり、数式５に示す簡素化変換マトリクスＴＲｘＮとトランスポーズ（ｔｒａｎｓｐｏｓｅ）関係にある。
【0128】
図６の（ｂ）に示すＲｅｄｕｃｅｄ Ｉｎｖ．Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴｔは、簡素化逆変換マトリクスＴＮｘＲを意味する。図６の（ｂ）のように対象ブロックに対する変換係数に対して簡素化逆変換マトリクスＴＮｘＲが掛けられる場合、対象ブロックに対する１次変換係数または対象ブロックに対するレジデュアルサンプルが導出されることができる。
【0129】
より具体的に、２次逆変換に基づいて簡素化逆変換が適用される場合、対象ブロックに対する変換係数に対して簡素化逆変換マトリクスＴＮｘＲが掛けられると、対象ブロックに対する１次変換係数が導出されることができる。それに対して、１次逆変換に基づいて簡素化逆変換が適用される場合、対象ブロックに対する変換係数に対して簡素化逆変換マトリクスＴＮｘＲが掛けられると、対象ブロックに対するレジデュアルサンプルが導出されることができる。
【0130】
一実施例において、逆変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６であり（即ち、Ｒ／Ｎ＝１６／６４＝１／４）、対象ブロックのサイズが６４×６４である場合、図６の（ｂ）による簡素化逆変換は、以下の数式８のような行列演算で表現されることができる。
【0131】
【数8】
【0132】
数式８において、ｃ１乃至ｃ１６は、対象ブロックに対する変換係数を示すことができる。数式８の演算結果、対象ブロックに対する１次変換係数または対象ブロックに対するレジデュアルサンプルを示すｒｊが導出されることができ、ｒｊの導出過程は、数式９の通りである。
【0133】
【数9】
【0134】
数式９の演算結果、対象ブロックに対する１次変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ１乃至ｒＮが導出されることができる。逆変換マトリクスのサイズ観点で検討すると、通常の逆変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、それに対して、簡素化逆変換マトリクスのサイズは６４×１６（Ｎ×Ｒ）に減少するため、通常の逆変換を実行する時と比較する場合、簡素化逆変換を実行する時にメモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の逆変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較する場合、簡素化逆変換マトリクスを利用すると、掛け算演算数をＲ／Ｎ割合で減少（Ｎ×Ｒ）させることができる。
【0135】
図７は、本発明の一実施例に係る簡素化変換過程を示す流れ図である。
【0136】
図７に開示された各ステップは、図２に開示されたデコーディング装置２００により実行されることができる。より具体的に、Ｓ７００は、図２に開示された逆量子化部２２２により実行されることができ、Ｓ７１０及びＳ７２０は、図２に開示された逆変換部２２３により実行されることができる。したがって、図２で前述された内容と重複する具体的な内容は、説明を省略したり簡単にする。
【0137】
一実施例において、図６で前述したように、（簡素化）変換による細部動作は、（簡素化）逆変換による細部動作と順序のみが正反対であり、それに対して、（簡素化）変換による細部動作と（簡素化）逆変換による細部動作は、実質的に類似する。したがって、当該技術分野の通常の技術者は、以下で説明される簡素化逆変換に対するＳ７００乃至Ｓ７２０の説明が簡素化変換にも同一または類似に適用可能であることを容易に理解することができる。
【0138】
一実施例に係るデコーディング装置２００は、対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出することができる（Ｓ７００）。
【0139】
一実施例に係るデコーディング装置２００は、変換カーネル（ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ）を選択することができる（Ｓ７１０）。より具体的に、デコーディング装置２００は、変換インデックス、変換が適用される領域の幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）、映像デコーディングで利用されるイントラ予測モード、並びに対象ブロックの色相成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）に対する情報のうち少なくとも一つに基づいて変換カーネルを選択することができる。ただし、実施例はこれに限定されるものではなく、例えば、変換カーネルは既定義されたものであって、変換カーネルを選択するための別途の情報がシグナリングされない場合もある。
【0140】
一例示において、対象ブロックの色相成分に対する情報は、ＣＩｄｘを介してシグナリングされることができる。対象ブロックがルマ（ｌｕｍａ）ブロックである場合、ＣＩｄｘは０を指示することができ、対象ブロックがクロマ（ｃｈｒｏｍａ）ブロック、例えば、ＣｂブロックまたはＣｒブロックである場合、ＣＩｄｘは０でない値（例えば、１）を指示することができる。
【0141】
一実施例に係るデコーディング装置２００は、選択された変換カーネル及び簡素化ファクタ（ｒｅｄｕｃｅｄ ｆａｃｔｏｒ）に基づいて変換係数に対して簡素化逆変換を適用することができる（Ｓ７２０）。
【0142】
図８は、本発明の他の実施例に係る簡素化変換過程を示す流れ図である。
【0143】
図８に開示された各ステップは、図２に開示されたデコーディング装置２００により実行されることができる。より具体的に、Ｓ８００は、図２に開示された逆量子化部２２２により実行されることができ、Ｓ８１０乃至Ｓ８６０は、図２に開示された逆変換部２２３により実行されることができる。したがって、図２で前述された内容と重複する具体的な内容は、説明を省略したり簡単にする。
【0144】
一実施例において、図６で前述したように、（簡素化）変換による細部動作は、（簡素化）逆変換による細部動作と順序のみが正反対であり、それに対して、（簡素化）変換による細部動作と（簡素化）逆変換による細部動作は、実質的に類似する。したがって、当該技術分野の通常の技術者は、以下で説明される簡素化逆変換に対するＳ８００乃至Ｓ８６０の説明が簡素化変換にも同一または類似に適用可能であることを容易に理解することができる。
【0145】
一実施例に係るデコーディング装置２００は、対象ブロックに対する量子化された係数に対して逆量子化を実行することができる（Ｓ８００）。もし、エンコーディング装置１００で変換が実行された場合、Ｓ８００において、デコーディング装置２００は、対象ブロックに対する量子化された変換係数に対して逆量子化を実行して対象ブロックに対する変換係数を導出することができる。それに対して、もし、エンコーディング装置１００で変換が実行されていない場合、Ｓ８００において、デコーディング装置２００は、対象ブロックに対する量子化されたレジデュアルサンプルに対して逆量子化を実行して対象ブロックに対するレジデュアルサンプルを導出することができる。
【0146】
一実施例に係るデコーディング装置２００は、エンコーディング装置１００で対象ブロックに対するレジデュアルサンプルに対して変換が実行されたかどうかを判断することができ（Ｓ８１０）、変換が実行されたと判断される場合、変換インデックス（ｔｒａｎｓｆｏｒｍ ｉｎｄｅｘ）をパーシング（ｐａｒｓｉｎｇ）（または、ビットストリームからデコーディング）することができる（Ｓ８２０）。変換インデックスは、水平方向の変換のための水平変換インデックス及び垂直方向の変換のための垂直変換インデックスを含むことができる。
【0147】
一例示において、変換インデックスは、１次変換インデックス、コア変換インデックス、及びＮＳＳＴインデックスなどを含むことができる。変換インデックスは、例えば、Ｔｒａｎｓｆｏｒｍ＿ｉｄｘで表現されることができ、ＮＳＳＴインデックスは、例えば、ＮＳＳＴ＿ｉｄｘで表現されることができる。また、水平変換インデックスは、Ｔｒａｎｓｆｏｒｍ＿ｉｄｘ＿ｈで表現され、垂直変換インデックスは、Ｔｒａｎｓｆｏｒｍ＿ｉｄｘ＿ｖで表現されることができる。
【0148】
一実施例に係るデコーディング装置２００は、Ｓ８１０において、エンコーディング装置１００で対象ブロックに対するレジデュアルサンプルに対して変換が実行されていないと判断される場合、Ｓ８２０乃至Ｓ８６０による動作を省略することができる。
【0149】
一実施例に係るデコーディング装置２００は、変換インデックス、変換が適用される領域の幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）、映像デコーディングで利用されるイントラ予測モード、並びに対象ブロックの色相成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）に対する情報のうち少なくとも一つに基づいて変換カーネル（ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ）を選択することができる（Ｓ８３０）。
【0150】
一実施例に係るデコーディング装置２００は、対象ブロックに対する変換係数に対して簡素化逆変換を実行する条件に該当するかどうかを判断することができる（Ｓ８４０）。
【0151】
一例示において、簡素化逆変換が適用される領域の幅及び高さが各々第１の係数より大きい場合、デコーディング装置２００は、対象ブロックに対する変換係数に対して簡素化逆変換を実行する条件に該当すると判断できる。
【0152】
他の一例示において、簡素化逆変換が適用される領域の幅及び高さの積が第２の係数より大きい且つ簡素化逆変換が適用される領域の幅及び高さのうち小さいものが第３の係数より大きい場合、デコーディング装置２００は、対象ブロックに対する変換係数に対して簡素化逆変換を実行する条件に該当すると判断できる。
【0153】
他の一例示において、簡素化逆変換が適用される領域の幅及び高さが各々第４の係数より小さいまたは同じ場合、デコーディング装置２００は、対象ブロックに対する変換係数に対して簡素化逆変換を実行する条件に該当すると判断できる。
【0154】
他の一例示において、簡素化逆変換が適用される領域の幅及び高さの積が第５の係数より小さいまたは同じ且つ簡素化逆変換が適用される領域の幅及び高さのうち小さいものが第６の係数より小さいまたは同じ場合、デコーディング装置２００は、対象ブロックに対する変換係数に対して簡素化逆変換を実行する条件に該当すると判断できる。
【0155】
他の一例示において、簡素化逆変換が適用される領域の幅及び高さが各々第１の係数より大きい条件、簡素化逆変換が適用される領域の幅及び高さの積が第２の係数より大きい且つ簡素化逆変換が適用される領域の幅及び高さのうち小さいものが第３の係数より大きい条件、簡素化逆変換が適用される領域の幅及び高さが各々第４の係数より小さいまたは同じ条件、並びに簡素化逆変換が適用される領域の幅及び高さの積が第５の係数より小さいまたは同じ且つ簡素化逆変換が適用される領域の幅及び高さのうち小さいものが第６の係数より小さいまたは同じ条件のうち少なくとも一つが満たされる場合、デコーディング装置２００は、対象ブロックに対する変換係数に対して簡素化逆変換を実行する条件に該当すると判断できる。
【0156】
前記例示において、第１の係数乃至第６の係数は、任意の既定義された正の整数である。例えば、第１の係数乃至第６の係数は、４、８、１６または３２である。
【0157】
一実施例に係る簡素化逆変換は、対象ブロックに含まれている正方形領域（即ち、簡素化逆変換が適用される領域の幅と高さの長さが同じ場合）に対して適用されることができ、場合によって簡素化逆変換が適用される領域の幅及び高さが既定義された係数の値（例えば、４、８、１６、３２等）に固定されることができる。一方、簡素化逆変換が適用される領域は、正方形領域に限定されるものではなく、長方形（ｒｅｃｔａｎｇｕｌａｒ）領域または非長方形（ｎｏｎ－ｒｅｃｔａｎｇｕｌａｒ）領域にも簡素化逆変換が適用されることができる。簡素化逆変換が適用される領域に対する、より具体的な説明は図１０で後述する。
【0158】
一例示において、簡素化逆変換を実行する条件に該当するかどうかは、変換インデックスに基づいて判断されることができる。即ち、変換インデックスは、対象ブロックに対してどのような変換が実行されたかどうかを指示することができる。
【0159】
一実施例に係るデコーディング装置２００は、Ｓ８４０で簡素化逆変換を実行する条件に該当しないと判断される場合、対象ブロックに対する変換係数に対して（通常の（ｒｅｇｕｌａｒ））逆変換を実行することができる。図３で前述したように、（逆）変換は、例えば、ＤＣＴ２、ＤＣＴ４、ＤＣＴ５、ＤＣＴ７、ＤＣＴ８、ＤＳＴ１、ＤＳＴ４、ＤＳＴ７、ＮＳＳＴ、ＪＥＭ－ＮＳＳＴ（ＨｙＧＴ）などを含むことができ、これに限定されるものではない。
【0160】
一実施例に係るデコーディング装置２００は、Ｓ８４０で簡素化逆変換を実行する条件に該当すると判断される場合、対象ブロックに対する変換係数に対して簡素化逆変換を実行することができる（Ｓ８６０）。
【0161】
図９は、本発明の一実施例に係る非分離２次変換に基づく簡素化変換過程を示す流れ図である。
【0162】
図９に開示された各ステップは、図２に開示されたデコーディング装置２００により実行されることができ、より具体的に、Ｓ９００は、図２に開示された逆量子化部２２２により実行されることができ、Ｓ９１０乃至Ｓ９８０は、図２に開示された逆変換部２２３により実行されることができる。併せて、図９のＳ９００は図８のＳ８００と対応され、図９のＳ９４０は図８のＳ８３０と対応され、図９のＳ９５０は図８のＳ８４０と対応されることができる。したがって、図２及び図８で前述された内容と重複する具体的な内容は、説明を省略したり簡単にする。
【0163】
一実施例において、図６で前述したように、（簡素化）変換による細部動作は、（簡素化）逆変換による細部動作と順序のみが正反対であり、それに対して、（簡素化）変換による細部動作と（簡素化）逆変換による細部動作は、実質的に類似する。したがって、当該技術分野の通常の技術者は、以下で説明される簡素化逆変換に対するＳ９００乃至Ｓ９８０の説明が簡素化変換にも同一または類似に適用可能であることを容易に理解することができる。
【0164】
一実施例に係るデコーディング装置２００は、対象ブロックに対する量子化された係数に対して逆量子化を実行することができる（Ｓ９００）。
【0165】
一実施例に係るデコーディング装置２００は、エンコーディング装置１００で対象ブロックに対するレジデュアルサンプルに対してＮＳＳＴが実行されたかどうかを判断することができ（Ｓ９１０）、ＮＳＳＴが実行されたと判断される場合、ＮＳＳＴインデックスをパーシング（または、ビットストリームからデコーディング）することができる（Ｓ９２０）。
【0166】
一実施例に係るデコーディング装置２００は、ＮＳＳＴインデックスが０より大きいかどうかを判断することができ（Ｓ９３０）、ＮＳＳＴインデックスが０より大きいと判断される場合、ＮＳＳＴインデックス、ＮＳＳＴが適用される領域の幅及び高さ、イントラ予測モード、並びに対象ブロックの色相成分に対する情報のうち少なくとも一つに基づいて変換カーネルを選択することができる（Ｓ９４０）。
【0167】
一実施例に係るデコーディング装置２００は、対象ブロックに対する変換係数に対して簡素化逆変換を実行する条件に該当するかどうかを判断することができる（Ｓ９５０）。
【0168】
一実施例に係るデコーディング装置２００は、Ｓ９５０で簡素化逆変換を実行する条件に該当しないと判断される場合、対象ブロックに対する変換係数に対して簡素化逆変換に基づいていない（通常の）インバース（Ｉｎｖｅｒｓｅ）逆変換を実行することができる。
【0169】
一実施例に係るデコーディング装置２００は、Ｓ９５０で簡素化逆変換を実行する条件に該当すると判断される場合、対象ブロックに対する変換係数に対して簡素化逆変換に基づいているインバースＮＳＳＴを実行することができる。
【0170】
一実施例に係るデコーディング装置２００は、Ｓ９１０において、エンコーディング装置１００で対象ブロックに対するレジデュアルサンプルに対してＮＳＳＴが実行されていないと判断される場合、Ｓ９２０乃至Ｓ９７０による動作を省略することができる。
【0171】
一実施例に係るデコーディング装置200は、Ｓ930でＮＳＳＴインデックスが０より大きくないと判断される場合、Ｓ９４０乃至Ｓ９７０による動作を省略することができる。
【0172】
一実施例に係るデコーディング装置２００は、インバースＮＳＳＴが適用されて導出された対象ブロックに対する１次変換係数に対して１次逆変換を実行することができる。１次変換係数に対して１次逆変換が実行されると、対象ブロックに対するレジデュアルサンプルが導出されることができる。
【0173】
図１０は、本発明の一実施例に係る簡素化変換が適用されるブロックを示す。
【0174】
図８で前述したように、対象ブロック内で簡素化（逆）変換が適用される領域は、正方形領域に限定されるものではなく、長方形領域または非長方形領域にも簡素化変換が適用されることができる。
【0175】
図１０は、サイズ１６×１６である対象ブロック１０００内の非長方形領域に簡素化変換が適用される例示を示す。図１０に陰影表示された１０個のブロック１０１０は、対象ブロック１０００内で簡素化変換が適用される領域を示す。各最小単位ブロックのサイズが４×４であるため、図１０の例示によると、簡素化変換が１０個の４×４ピクセルに適用（即ち、簡素化変換が１６０個のピクセルに適用）される。Ｒ＝１６の場合、簡素化変換マトリクスのサイズは、１６×１６０になることができる。
【0176】
一方、当該技術分野の通常の技術者は、図１０に示す簡素化変換が適用される領域に含まれている最小単位ブロック１０１０の配列は、多くの例示のうち一つに過ぎないことを容易に理解することができる。例えば、簡素化変換が適用される領域に含まれている最小単位ブロックは、相互隣接しない場合もあり、相互頂点一つのみを共有する関係にある場合もある。
【0177】
図１１は、本発明の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。
【0178】
図１１に開示された各ステップは、図１に開示されたエンコーディング装置１００により実行されることができる。より具体的に、Ｓ１１００は、図１に開示された減算部１２１により実行されることができ、Ｓ１１１０は、図１に開示された変換部１２２により実行されることができ、Ｓ１１２０は、図１に開示された量子化部１２３により実行されることができ、Ｓ１１３０は、図１に開示されたエントロピーエンコーディング部１３０により実行されることができる。併せて、Ｓ１１００乃至Ｓ１１３０による動作は、図６乃至図１０で前述された内容のうち一部に基づいて行われる。したがって、図１及び図６乃至図１０で前述された内容と重複する具体的な内容は、説明を省略したり簡単にする。
【0179】
一実施例に係るエンコーディング装置１００は、対象ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１１００）。
【0180】
一実施例に係るエンコーディング装置１００は、レジデュアルサンプルに対する簡素化変換に基づいて対象ブロックに対する変換係数を導出することができる（Ｓ１１１０）。一例示において、簡素化変換は、簡素化変換マトリクスに基づいて実行されることができ、簡素化変換マトリクスは、行の個数が列の個数より少ない非正方形マトリクスである。
【0181】
一実施例において、Ｓ１１１０は、簡素化変換を適用する条件に該当するかどうかを判断するステップ、前記判断に基づいて変換インデックスを生成及びエンコーディングするステップ、変換カーネルを選択するステップ及び簡素化変換を適用する条件に該当する場合、選択された変換カーネル及び簡素化ファクタに基づいてレジデュアルサンプルに対して簡素化変換を適用するステップを含むことができる。このとき、簡素化変換マトリクスのサイズは、簡素化ファクタに基づいて決定されることができる。
【0182】
もし、Ｓ１１１０による簡素化変換が１次変換に基づいている場合、対象ブロックに対するレジデュアルサンプルに対して簡素化変換を実行すると、対象ブロックに対する１次変換係数が導出されることができる。デコーディング装置２００は、対象ブロックに対する１次変換係数に対してＮＳＳＴを実行することができ、このとき、ＮＳＳＴは、簡素化変換に基づいて実行され、または簡素化変換に基づかないで実行されることができる。ＮＳＳＴが簡素化変換に基づいて実行されると、Ｓ１１１０による動作と対応されることができる。
【0183】
一実施例に係るエンコーディング装置１００は、対象ブロックに対する変換係数に基づいて量子化を実行して量子化された変換係数を導出することができる（Ｓ１１２０）。
【0184】
一実施例に係るエンコーディング装置１００は、量子化された変換係数に対する情報をエンコーディングすることができる（Ｓ１１３０）。より具体的に、エンコーディング装置１００は、量子化された変換係数に対する情報を生成し、生成された量子化された変換係数に対する情報をエンコーディングすることができる。量子化された変換係数に対する情報は、レジデュアル情報を含むことができる。
【0185】
一例示において、量子化された変換係数に対する情報は、簡素化変換が適用されるかどうかに対する情報、簡素化ファクタに対する情報、簡素化変換を適用する最小変換サイズに対する情報、及び簡素化変換を適用する最大変換サイズに対する情報のうち少なくとも一つを含むことができる。量子化された変換係数に対する情報に対する、より具体的な説明は、図１２で後述する。
【0186】
Ｓ１１１０を参照すると、レジデュアルサンプルに対する簡素化変換に基づいて対象ブロックに対する変換係数が導出されることを確認することができる。変換マトリクスのサイズ観点で検討すると、通常の変換マトリクスのサイズはＮ×Ｎであり、それに対して、簡素化変換マトリクスのサイズはＲ×Ｎに減少するため、通常の変換を実行する時と比較する場合、簡素化変換を実行する時にメモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較する場合、簡素化変換マトリクスを利用すると、掛け算演算数をＲ／Ｎ割合で減少（Ｒ×Ｎ）させることができる。併せて、簡素化変換が適用されると、Ｒ個の変換係数のみが導出されるため、通常の変換が適用される時、Ｎ個の変換係数が導出されることと比較する場合、対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してエンコーディング装置１００がデコーディング装置２００に送信するデータの量が減少できる。整理すると、Ｓ１１１０によると、簡素化変換を介してエンコーディング装置１００の変換効率及びコーディング効率が増加できる。
【0187】
図１２は、本発明の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。
【0188】
図１２に開示された各ステップは、図２に開示されたデコーディング装置２００により実行されることができる。より具体的に、Ｓ１２００は、図２に開示されたエントロピーデコーディング部２１０により実行されることができ、Ｓ１２１０は、図２に開示された逆量子化部２２２により実行されることができ、Ｓ１２２０は、図２に開示された逆変換部２２３により実行されることができ、Ｓ１２３０は、図２に開示された加算部２４０により実行されることができる。併せて、Ｓ１２００乃至Ｓ１２３０による動作は、図６乃至図１０で前述された内容のうち一部を基づいて行われる。したがって、図２及び図６乃至図１０で前述された内容と重複する具体的な内容は、説明を省略したり簡単にする。
【0189】
一実施例に係るデコーディング装置２００は、ビットストリームから対象ブロックに対する量子化された変換係数を導出することができる（Ｓ１２００）。より具体的に、デコーディング装置２００は、ビットストリームから対象ブロックに対する量子化された変換係数に対する情報をデコーディングすることができ、対象ブロックに対する量子化された変換係数に対する情報に基づいて対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に対する情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）またはスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）に含まれることができ、簡素化変換が適用されるかどうかに対する情報、簡素化ファクタに対する情報、簡素化変換を適用する最小変換サイズに対する情報、簡素化変換を適用する最大変換サイズに対する情報、及び簡素化逆変換サイズに対する情報のうち少なくとも一つを含むことができる。
【0190】
より具体的に、簡素化変換が適用されるかどうかに対する情報は、可用フラグを介して示すことができ、簡素化ファクタに対する情報は、簡素化ファクタ値を介して示すことができ、簡素化逆変換を適用する最小変換サイズに対する情報は、最小変換サイズ値を介して示すことができ、簡素化逆変換を適用する最大変換サイズに対する情報は、最大変換サイズ値を介して示すことができ、簡素化逆変換サイズに対する情報は、簡素化逆変換のサイズ値を介して示すことができる。このとき、可用フラグは、第１のシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を介してシグナリングされ、簡素化ファクタ値は、第２のシンタックス要素を介してシグナリングされ、最小変換サイズ値は、第３のシンタックス要素を介してシグナリングされ、最大変換サイズ値は、第４のシンタックス要素を介してシグナリングされ、簡素化逆変換サイズ値は、第５のシンタックス要素を介してシグナリングされることができる。
【0191】
一例示において、第１のシンタックス要素は、シンタックス要素Ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇで表現されることができる。簡素化変換が適用された場合、シンタックス要素Ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１を指示し、簡素化変換が適用されない場合、シンタックス要素Ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０を指示することができる。シンタックス要素Ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナリングされない場合、シンタックス要素Ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は、０に推定されることができる。
【0192】
また、第２のシンタックス要素は、シンタックス要素Ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｆａｃｔｏｒで表現されることができる。シンタックス要素Ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｆａｃｔｏｒは、Ｒ／Ｎの値を指示することができ、ここで、Ｎは、変換が適用されるブロックの一辺の長さの自乗または変換が適用されるブロックと対応される変換係数の総個数を意味する。Ｒは、Ｎより小さい簡素化係数を意味する。ただし、例示は、これに限定されるものではなく、例えば、Ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｆａｃｔｏｒは、Ｒ／ＮでなくＲを指示することもできる。簡素化逆変換マトリクスの観点で検討すると、Ｒは、簡素化逆変換マトリクスの列の個数を意味し、Ｎは、簡素化逆変換マトリクスの行の個数を意味し、このとき、簡素化逆変換マトリクスの列の個数が行の個数より少なくなければならない。Ｒは、例えば、８、１６、３２などの値であるが、これに限定されるものではない。シンタックス要素Ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｆａｃｔｏｒがシグナリングされない場合、Ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｆａｃｔｏｒの値は、Ｒ／Ｎ（または、Ｒ）に推定されることができる。
【0193】
また、第３のシンタックス要素は、シンタックス要素ｍｉｎ＿ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅで表現されることができる。シンタックス要素ｍｉｎ＿ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅがシグナリングされない場合、ｍｉｎ＿ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅの値は、０に推定されることができる。
【0194】
また、第４のシンタックス要素は、シンタックス要素ｍａｘ＿ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅで表現されることができる。シンタックス要素ｍａｘ＿ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅがシグナリングされない場合、ｍａｘ＿ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅの値は、０に推定されることができる。
【0195】
また、第５のシンタックス要素は、シンタックス要素ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅで表現されることができる。シンタックス要素ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅに含まれてシグナリングされる簡素化逆変換のサイズ値は、簡素化逆変換が適用される領域のサイズまたは簡素化変換マトリクスのサイズを示すことができ、これに限定されるものではない。シンタックス要素ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅがシグナリングされない場合、ｒｅｄｕｃｅｄ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅの値は、０に推定されることができる。
【0196】
対象ブロックに対する量子化された変換係数に対する情報がＳＰＳに含まれてシグナリングされる例示は、以下の表３の通りである。
【0197】
【表3】
【0198】
一実施例に係るデコーディング装置２００は、対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出することができる（Ｓ１２１０）。
【0199】
一実施例に係るデコーディング装置２００は、変換係数に対する簡素化逆変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１２２０）。一例示において、簡素化逆変換は、簡素化逆変換マトリクスに基づいて実行されることができ、簡素化逆変換マトリクスは、列の個数が行の個数より少ない非正方形マトリクスである。
【0200】
一実施例において、Ｓ１２２０は、変換インデックスをデコーディングするステップ、変換インデックスに基づいて簡素化逆変換を適用する条件に該当するかどうかを判断するステップ、変換カーネルを選択するステップ、及び簡素化逆変換を適用する条件に該当する場合、選択された変換カーネル及び簡素化ファクタに基づいて変換係数に対して簡素化逆変換を適用するステップを含むことができる。このとき、簡素化逆変換マトリクスのサイズは、簡素化ファクタに基づいて決定されることができる。
【0201】
もし、Ｓ１２２０による簡素化逆変換がインバースＮＳＳＴに基づいている場合、対象ブロックに対する変換係数に対して簡素化逆変換を実行すると、対象ブロックに対する１次変換係数が導出されることができる。デコーディング装置２００は、対象ブロックに対する１次変換係数に対して１次逆変換を実行することができ、このとき、１次逆変換は、簡素化逆変換に基づいて実行され、または簡素化逆変換に基づかないで実行されることができる。
【0202】
または、Ｓ１２２０による簡素化逆変換が１次逆変換に基づいている場合、対象ブロックに対する変換係数に対して簡素化逆変換を実行すると、対象ブロックに対するレジデュアルサンプルが導出されることができる。
【0203】
一実施例に係るデコーディング装置２００は、対象ブロックに対するレジデュアルサンプル及び対象ブロックに対する予測サンプルに基づいて復元ピクチャを生成することができる（Ｓ１２３０）。
【0204】
Ｓ１２２０を参照すると、対象ブロックに対する変換係数に対する簡素化逆変換に基づいて対象ブロックに対するレジデュアルサンプルが導出されることを確認することができる。逆変換マトリクスのサイズ観点で検討すると、通常の逆変換マトリクスのサイズはＮ×Ｎであり、それに対して、簡素化逆変換マトリクスのサイズはＮ×Ｒに減少するため、通常の変換を実行する時と比較する場合、簡素化変換を実行する時にメモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の逆変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較する場合、簡素化逆変換マトリクスを利用すると、掛け算演算数をＲ／Ｎ割合で減少（Ｎ×Ｒ）させることができる。併せて、簡素化逆変換を適用する時、Ｒ個の変換係数のみをデコーディングすればよいため、通常の逆変換が適用される時、Ｎ個の変換係数をデコーディングしなければならないことと比較する場合、対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してデコーディング効率が増加できる。整理すると、Ｓ１２２０によると、簡素化逆変換を介してデコーディング装置２００の（逆）変換効率及びコーディング効率が増加できる。
【0205】
前述した装置の内部コンポーネントは、メモリに格納された連続した実行過程を実行するプロセッサであり、またはその他のハードウェアで構成されたハードウェアコンポーネントである。それらは、装置内／外部に位置する。
【0206】
前述したモジュールは、実施例によって省略され、または類似／同じ動作を実行する他のモジュールにより代替されることができる。
【0207】
前述した本発明による方法は、ソフトウェア形態で具現されることができ、本発明によるエンコーディング装置及び／またはデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を実行する装置に含まれることができる。
【0208】
前述した実施例において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または流れ図の一つまたはそれ以上のステップが本発明の範囲に影響を及ぼさずに削除可能であることを理解することができる。
【0209】
本発明で実施例がソフトウェアで具現されるとき、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐＩＣａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図5c】
【図6(a)】
【図6(b)】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
