▶ グァンドン オッポ モバイル テレコミュニケーションズ コーポレーション リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-02
(45)【発行日】2024-05-14
(54)【発明の名称】ＢＤＰＣＭに基づく映像コーディング方法、及びその装置
(51)【国際特許分類】
H04N 19/12 20140101AFI20240507BHJP
H04N 19/159 20140101ALI20240507BHJP
H04N 19/176 20140101ALI20240507BHJP
H04N 19/70 20140101ALI20240507BHJP
【ＦＩ】
H04N19/12
H04N19/159
H04N19/176
H04N19/70
【請求項の数】
10
(21)【出願番号】P 2023062018
(22)【出願日】2023-04-06
(62)【分割の表示】P 2021562368の分割
【原出願日】2020-04-20
(65)【公開番号】P2023076672
(43)【公開日】2023-06-01
【審査請求日】2023-05-08
(31)【優先権主張番号】62/836,656
(32)【優先日】2019-04-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(72)【発明者】
【氏名】ク ムンモ
(72)【発明者】
【氏名】イム チェヒョン
(72)【発明者】
【氏名】ナム チョンハク
(72)【発明者】
【氏名】キム スンファン
【審査官】岩井 健二
(56)【参考文献】
【文献】B. Bross, et al.，Non-CE8: Unified Transform Type Signalling and Residual Coding for Transform Skip，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0464-v4，13th Meeting: Marrakech, MA，2019年01月，pp.1-13
【文献】G. Clare, et al.，CE8: BDPCM with harmonized residual coding and CCB limitation (CE8-3.1a, CE8-3.1b, CE8-5.1a, CE8-5.1，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0214，14th Meeting: Geneva, CH，2019年03月，pp.1-12
【文献】Marta Karczewicz, and Muhammed Coban，CE8-related: Quantized residual BDPCM，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0413，14th Meeting: Geneva, CH，pp.1-5
【文献】M. Karczewicz，and M. Coban，CE8-related: Quantized residual BDPCM，JVET-N0413_drafttext_v4.docx，JVET-N0413 (version 5)，2019年03月26日，pp.43-46,87-92,110-111,223-225，https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0413-v5.zip
【文献】Gordon Clare, and Felix Henry，CE8-related: BDPCM for chroma，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0166，15th Meeting: Gothenburg, SE，2019年06月，pp.1-4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
デコーディング装置によって実行される映像デコーディング方法において、ＢＤＰＣＭ（Block-based Delta Pulse Code Modulation）情報に基づいて現在ブロックに対する量子化された変換係数を導出するステップであって、前記ＢＤＰＣＭ情報は、ＢＤＰＣＭが前記現在ブロックに適用されるか否かを示すＢＤＰＣＭフラグ情報、及び前記ＢＤＰＣＭが実行される方向に関する方向情報を含む、ステップと、
前記量子化された変換係数に逆量子化を実行して変換係数を導出するステップと、
前記変換係数に基づいてレジデュアルサンプルを導出するステップと、を含み、
前記ＢＤＰＣＭが前記現在ブロックに適用されることに基づいて、前記変換係数に逆非分離変換は適用されず、
前記ＢＤＰＣＭが前記現在ブロックに適用されることに基づいて、前記現在ブロックに適用される前記逆非分離変換に対する変換インデックスの値は０とみなされ、
前記現在ブロックのルマブロック又は前記現在ブロックのクロマブロックに前記ＢＤＰＣＭが個別に適用され、
前記ルマブロックに前記ＢＤＰＣＭが適用されることに基づいて、前記ルマブロックに対する変換インデックスは受信されず、
前記クロマブロックに前記ＢＤＰＣＭが適用されることに基づいて、前記クロマブロックに対する変換インデックスは受信されない、映像デコーディング方法。
【請求項2】
前記ＢＤＰＣＭが前記現在ブロックに適用されると、前記現在ブロックで変換がスキップされるか否かを指示する変換スキップフラグの値は１とみなされる、請求項１に記載の映像デコーディング方法。
【請求項3】
前記現在ブロックの幅が第１臨界値以下であり、前記現在ブロックの高さが第２臨界値以下であると、前記ＢＤＰＣＭが前記現在ブロックに適用される、請求項１に記載の映像デコーディング方法。
【請求項4】
前記ＢＤＰＣＭが実行される前記方向に関する前記方向情報に基づいて、前記現在ブロックに対するイントラ予測を実行するステップをさらに含む、請求項３に記載の映像デコーディング方法。
【請求項5】
前記方向情報は、水平方向又は垂直方向を指示する、請求項４に記載の映像デコーディング方法。
【請求項6】
映像エンコーディング装置によって実行される映像エンコーディング方法において、ＢＤＰＣＭ（Block-based Delta Pulse Code Modulation）に基づいて現在ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに量子化を実行するステップと、
前記ＢＤＰＣＭに基づいて量子化されたレジデュアル情報を導出するステップと、
前記量子化されたレジデュアル情報及び前記現在ブロックに対するコーディング情報をエンコーディングするステップと、を含み、
前記ＢＤＰＣＭが前記現在ブロックに適用されることに基づいて、前記現在ブロックに非分離変換は適用されず、
前記コーディング情報は、前記ＢＤＰＣＭが前記現在ブロックに適用されるか否かを示すＢＤＰＣＭフラグ情報、及び前記ＢＤＰＣＭが実行される方向に関する方向情報を含み、
前記ＢＤＰＣＭが前記現在ブロックに適用されることに基づいて、前記非分離変換に対する変換インデックスはエンコーディングされず、
前記現在ブロックのルマブロック又は前記現在ブロックのクロマブロックに前記ＢＤＰＣＭが個別に適用され、
前記ルマブロックに前記ＢＤＰＣＭが適用されることに基づいて、前記ルマブロックに対する変換インデックスはエンコーディングされず、
前記クロマブロックに前記ＢＤＰＣＭが適用されることに基づいて、前記クロマブロックに対する変換インデックスはエンコーディングされない、映像エンコーディング方法。
【請求項7】
前記現在ブロックの幅が第１臨界値以下であり、前記現在ブロックの高さが第２臨界値以下であると、前記ＢＤＰＣＭが前記現在ブロックに適用される、請求項６に記載の映像エンコーディング方法。
【請求項8】
前記ＢＤＰＣＭが実行される前記方向に基づいて、前記現在ブロックに対するイントラ予測サンプルが導出され、前記ＢＤＰＣＭが実行される前記方向に基づいて、前記量子化されたレジデュアル情報が導出される、請求項６に記載の映像エンコーディング方法。
【請求項9】
前記方向は、水平方向又は垂直方向を指示する、請求項８に記載の映像エンコーディング方法。
【請求項10】
ビットストリームを取得するステップであって、前記ビットストリームは、ＢＤＰＣＭ（Block-based Delta Pulse Code Modulation）に基づいて現在ブロックに対する予測サンプルを導出し、前記予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出し、前記レジデュアルサンプルに量子化を実行し、前記ＢＤＰＣＭに基づいて量子化されたレジデュアル情報を導出し、前記量子化されたレジデュアル情報及び前記現在ブロックに対するコーディング情報をエンコーディングすることにより生成される、ステップと、
前記ビットストリームを送信するステップと、を含み、
前記ＢＤＰＣＭが前記現在ブロックに適用されることに基づいて、前記現在ブロックに非分離変換は適用されず、
前記コーディング情報は、前記ＢＤＰＣＭが前記現在ブロックに適用されるか否かを示すＢＤＰＣＭフラグ情報、及び前記ＢＤＰＣＭが実行される方向に関する方向情報を含み、
前記ＢＤＰＣＭが前記現在ブロックに適用されることに基づいて、前記非分離変換に対する変換インデックスはエンコーディングされず、
前記現在ブロックのルマブロック又は前記現在ブロックのクロマブロックに前記ＢＤＰＣＭが個別に適用され、
前記ルマブロックに前記ＢＤＰＣＭが適用されることに基づいて、前記ルマブロックに対する変換インデックスはエンコーディングされず、
前記クロマブロックに前記ＢＤＰＣＭが適用されることに基づいて、前記クロマブロックに対する変換インデックスはエンコーディングされない、送信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本文書は、映像コーディング技術に関し、より詳細には、映像コーディングシステムにおいて、ＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｔｉａｌ ｐｕｌｓｅ ｃｏｄｅｄ ｍｏｄｕｌａｔｉｏｎ）に基づく映像コーディング方法、及びその装置に関する。
【背景技術】
【0002】
近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が様々な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して映像データを送信するか、既存の保存媒体を利用して映像／ビデオデータを保存する場合、送信費用と保存費用が増加する。
【0003】
また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。
【0004】
これに伴って、前記のような様々な特性を有する高解像度・高品質の映像／ビデオの情報を効果的に圧縮して送信するか、保存し、再生するために高効率の映像／ビデオ圧縮技術が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本文書の技術的課題は、映像のコーディング効率を高める方法及び装置を提供することにある。
【0006】
本文書の別の技術的課題は、ＢＤＰＣＭに基づく映像コーディングにおいて変換インデックスのコーディング効率を高める方法及び装置を提供することにある。
【0007】
本文書の別の技術的課題は、ＢＤＰＣＭに基づく映像コーディングにおいて変換スキップフラグのコーディング効率を高める方法及び装置を提供することにある。
【0008】
本文書のまた別の技術的課題は、ルマ成分又はクロマ成分別にＢＤＰＣＭコーディングを実行することができる方法及び装置を提供することにある。
【課題を解決するための手段】
【0009】
本文書の一実施例に係ると、デコーディング装置によって実行される映像デコーディング方法を提供する。前記方法は、ＢＤＰＣＭに基づいて現在ブロックに対する量子化された変換係数を導出するステップと、前記量子化された変換係数に逆量子化を実行して変換係数を導出するステップと、前記変換係数に基づいてレジデュアルサンプルを導出するステップと、を含み、前記ＢＤＰＣＭが前記現在ブロックに適用されると、前記変換係数に逆非分離変換は適用されないことがある。
【0010】
前記ＢＤＰＣＭが前記現在ブロックに適用されると、前記現在ブロックに適用されることができる前記逆非分離変換に対する変換インデックスの値は０とみなされ得る。
【0011】
前記ＢＤＰＣＭが前記現在ブロックに適用されると、前記現在ブロックに変換がスキップされるか否かを指示する変換スキップフラグの値は、０とみなされ得る。
【0012】
前記現在ブロックのルマブロックまたは前記現在ブロックのクロマブロックに前記ＢＤＰＣＭが個別的に適用され、前記ルマブロックに前記ＢＤＰＣＭが適用されると、前記ルマブロックに対する前記変換インデックスは受信されず、前記クロマブロックに前記ＢＤＰＣＭが適用されると、前記クロマブロックに対する前記変換インデックスは受信されないことがある。
【0013】
前記現在ブロックの幅が第１臨界値以下であり、前記現在ブロックの高さが第２臨界値以下であると、前記ＢＤＰＣＭが前記現在ブロックに適用され得る。
【0014】
前記ＢＤＰＣＭが実行される方向に対する方向情報に基づいて、量子化された変換係数が導出され得る。
【0015】
前記ＢＤＰＣＭが実行される方向に基づいて、前記現在ブロックに対するイントラ予測を実行するステップをさらに含み得る。
【0016】
前記方向情報は、水平方向又は垂直方向を指示し得る。
【0017】
本文書の一実施例に係ると、エンコーディング装置によって実行される映像エンコーディング方法を提供する。前記方法は、ＢＤＰＣＭに基づいて現在ブロックに対する予測サンプルを導出するステップと、前記予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出するステップと、前記レジデュアルサンプルに量子化を実行するステップと、前記ＢＤＰＣＭに基づいて量子化されたレジデュアル情報を導出するステップと、前記量子化されたレジデュアル情報及び前記現在ブロックに対するコーディング情報をエンコーディングするステップと、を含み、前記ＢＤＰＣＭが前記現在ブロックに適用されると、前記現在ブロックに非分離変換は適用されないことがある。
【0018】
本文書のまた別の一実施例に係ると、エンコーディング装置によって実行された映像エンコーディング方法により生成されたエンコーディングされた映像情報及びビットストリームが含まれた映像データが保存されたデジタル保存媒体が提供できる。
【0019】
本文書のまた別の一実施例に係ると、デコーディング装置によって前記映像デコーディング方法を実行するように引き起こすエンコーディングされた映像情報及びビットストリームが含まれた映像データが保存されたデジタル保存媒体が提供できる。
【発明の効果】
【0020】
本文書にかかると、全般的な映像／ビデオの圧縮効率を高めることができる。
【0021】
本開示にかかると、 変換インデックスのコーディングで、全般的な映像／ビデオの圧縮効率を高めることができる。
【0022】
本開示にかかると、ＢＤＰＣＭに基づく映像コーディングにおいて変換インデックスコーディングの効率を高めることができる。
【0023】
本開示にかかると、ＢＤＰＣＭに基づく映像コーディングにおいて変換スキップフラグのコーディング効率を高めることができる。
【0024】
本文書のまた別の技術的課題は、ルマ成分またはクロマ成分別にＢＤＰＣＭコーディングを実行することができる方法及び装置を提供する。
【0025】
本明細書の具体的な一例を通じて得られる効果は、以上で挙げられた効果に制限されない。例えば、関連した技術分野の通常の知識を有する者（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が本明細書から理解または誘導できる多様な技術的効果が存在し得る。これによって、本明細書の具体的な効果は、本明細書に明示的に記載されているものに制限されず、本明細書の技術的特徴から理解または誘導できる多様な効果を含み得る。
【図面の簡単な説明】
【0026】
【図1】本文書が適用できるビデオ／映像コーディングシステムの例を概略的に示す。
【図2】本文書が適用できるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。
【図3】本文書が適用できるビデオ／映像デコーディング装置の構成を概略的に説明する図である。
【図4】本文書の一実施例にかかる多重変換技法を概略的に示す。
【図5】６５個の予測方向のイントラ方向性モードを例示的に示す。
【図6】本文書の一実施例にかかるＲＳＴを説明するための図である。
【図7】本文書の一実施例にかかるビデオデコーディング装置の動作を示すフローチャートである。
【図8】本文書の一実施例にかかる映像デコーディング方法を説明するための制御フローチャートである。
【図9】本文書の一実施例にかかるビデオエンコーディング装置の動作を示すフローチャートである。
【図10】本文書の一実施例にかかる映像エンコーディング方法を説明するための制御フローチャートである。
【図11】本文書が適用されるコンテンツストリーミングシステムの構造度を例示的に示す。
【発明を実施するための形態】
【0027】
本文書は、様々な変更を加えることができ、様々な実施例を有することができるが、特定の実施例を図面に例示し、詳細に説明しようとする。しかし、これは、本文書を特定の実施例に限定しようとするわけではない。本明細書で常用する用語は、単に特定の実施例を説明するために使用されたものであって、本文書における技術的思想を限定しようとする意図に使用されるものではない。単数の表現は、文脈上明らかに異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の異なる特徴や、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加の可能性を予め排除しないものと理解されるべきである。
【0028】
一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立して示すものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するのではない。例えば、各構成のうち、２つ以上の構成を合わせて１つの構成をなすこともあり、１つの構成が複数の構成に分けられることもある。各構成が統合及び／又は分離された実施例も、本文書の本質から外れない限り、本文書の権利範囲に含まれる。
【0029】
以下、添付図を参照として、本文書の好ましい実施例をより詳細に説明しようとする。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。
【0030】
本文書は、ビデオ／映像コーディングに関する。例えば、本文書で開示された方法／実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６６）、ＶＶＣ以降の次世代ビデオ／イメージのコーディング標準、又はそれ以外のビデオコーディング関連の標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準等）と関連し得る。
【0031】
本文書では、ビデオ／映像コーディングに関する多様な実施例を提示し、別の言及がない限り、前記実施例は互いに組み合わせて実行することもある。
【0032】
本文書で、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定の時間帯の１つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。１つのピクチャは、１つ以上のスライス／タイルで構成されることができる。１つのピクチャは、１つ以上のタイルグループで構成されることができる。１つのタイルグループは、１つ以上のタイルを含むことができる。
【0033】
ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、１つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として、「サンプル（ｓａｍｐｌｅ）」が使用され得る。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。又は、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。
【0034】
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報の少なくとも１つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合に応じて、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行とからなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。
【0035】
本文書において、「／」及び「、」は、「及び／又は」と解釈される。例えば、「Ａ／Ｂ」は、「Ａ及び／又はＢ」と解釈され、「Ａ、Ｂ」は、「Ａ及び／又はＢ」と解釈される。さらに、「Ａ／Ｂ／Ｃ」は、「Ａ、Ｂ及び／又はＣの少なくとも１つ」を意味する。また、「Ａ、Ｂ、Ｃ」も、「Ａ、Ｂ及び／又はＣの少なくとも１つ」を意味する。（Ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “／” ａｎｄ “，” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．” Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ／Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．” Ｆｕｒｔｈｅｒ，“Ａ， Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．” Ｆｕｒｔｈｅｒ， “Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ， ａｎｄ／ｏｒ Ｃ．” Ａｌｓｏ，“Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”）
【0036】
さらに、本文書において、「又は」は、「及び／又は」と解釈される。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味し、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味し得る。言い換えると、本文書の「又は」は、「さらに又は代案として（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味し得る。（Ｆｕｒｔｈｅｒ，ｉｎ ｔｈｅ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．” Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ ｏｒ Ｂ” ｍａｙ ｃｏｍｐｒｉｓｅ １）ｏｎｌｙ Ａ，２）ｏｎｌｙ Ｂ，ａｎｄ／ｏｒ ３）ｂｏｔｈ Ａ ａｎｄ Ｂ． Ｉｎ ｏｔｈｅｒ ｗｏｒｄｓ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ．”）
【0037】
本明細書において、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「ただＡ」、「ただＢ」又は「Ａ及びＢ両方」を意味し得る。また、本明細書において、「少なくとも１つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈され得る。
【0038】
また、本明細書において、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。また、「少なくとも１つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。
【0039】
また、本明細書で使用される括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味し得る。具体的に、「予測（イントラ予測）」で表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えると、本明細書の「予測」は、「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（すなわち、イントラ予測）」で表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。
【0040】
本明細書において一つの図面内で個別的に説明される技術的特徴は、個別的に具現されてもよく、同時に具現されてもよい。
【0041】
図１は、本文書が適用できるビデオ／映像コーディングシステムの例を概略的に示す。
【0042】
図１を参照すると、ビデオ／映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミングの形態でデジタル保存媒体またはネットワークを介して受信デバイスに伝達することができる。
【0043】
前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれ得、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれ得る。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
【0044】
ビデオソースは、ビデオ／映像のキャプチャ、合成、または生成過程などを介してビデオ／映像を獲得できる。ビデオソースは、ビデオ／映像のキャプチャデバイス及び／又はビデオ／映像の生成デバイスを含むことができる。ビデオ／映像のキャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像の生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成できる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成され得るし、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。
【0045】
エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）の形態で出力されることができる。
【0046】
送信部は、ビットストリームの形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミングの形態でデジタル保存媒体またはネットワークを介して受信デバイスの受信部に伝達することができる。デジタル保存媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な保存媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達することができる。
【0047】
デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ／映像をデコーディングすることができる。
【0048】
レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
【0049】
図２は、本文書が適用できるビデオ／映像エンコーディング装置の構成を概略的に説明する図面である。以下、ビデオエンコーディング装置というのは、映像エンコーディング装置を含むことができる。
【0050】
図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含めて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれ得る。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）によって構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル保存媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。
【0051】
映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれ得る。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて、本文書に係るコーディング手順が行われ得る。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットがすぐに最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々上述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であってもよく、前記変換ユニットは、変換係数を導く単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であってもよい。
【0052】
ユニットは、場合に応じて、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行とからなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用できる。
【0053】
減算部２３１は、入力映像信号（原本ブロック、原本サンプル又は原本サンプルアレイ）で予測部２２０から出力された予測信号（予測されたブロック、予測サンプル又は予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプル又はレジデュアルサンプルアレイ）を生成でき、生成されたレジデュアル信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部２２０は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるか決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリームの形態で出力されることができる。
【0054】
イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、または、離れて位置してもよい。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0055】
インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的周辺ブロックを含む参照ピクチャとは同じであってもよく、異なってもよい。前記時間的周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれ得、前記時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれ得る。例えば、インター予測部２２１は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成できる。様々な予測モードに基づいてインター予測が行われ得、例えば、スキップモードとマージモードの場合に、インター予測部２２１は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。
【0056】
予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれ得る。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画のコーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われ得る。すなわち、ＩＢＣは、本文書において説明されるインター予測技法の少なくとも１つを用いることができる。
【0057】
インター予測部２２１及び／又はイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）等を含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するという際に、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
【0058】
量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信され、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれ得る。量子化部２３３は、係数のスキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形態の量子化された変換係数を１次元ベクトルの形態で再整列することができ、前記１次元ベクトルの形態の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコーディング方法を行うことができる。エントロピーエンコーディング部２４０は、量子化された変換係数の他に、ビデオ／イメージの復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリームの形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または保存されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、後述されるシグナリング／送信される情報及び／又はシンタックス要素は、前述したエンコーディング手順を介してエンコーディングされて、前記ビットストリームに含まれ得る。前記ビットストリームは、ネットワークを介して送信され得、またはデジタル保存媒体に保存され得る。ここで、ネットワークは、放送網及び／又は通信網などを含み得、デジタル保存媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な保存媒体を含み得る。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／又は保存する保存部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されてもよく、または送信部は、エントロピーエンコーディング部２４０に含まれてもよい。
【0059】
量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元できる。加算部１５５は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプル又は復元サンプルアレイ）が生成できる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0060】
一方、ピクチャエンコーディング及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
【0061】
フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコーディング部２９０に伝達することができる。フィルタリング関する情報は、エントロピーエンコーディング部２９０でエンコーディングされてビットストリームの形態で出力されることができる。
【0062】
メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置２００とデコーディング装置における予測のミスマッチを避けることができ、符号化効率も向上させることができる。
【0063】
メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために保存することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２２２に伝達することができる。
【0064】
図３は、本文書が適用できるビデオ／映像デコーディング装置の構成を概略的に説明する図面である。
【0065】
図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含めて構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって１つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル保存媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。
【0066】
ビデオ／映像情報を含むビットストリームが入力されると、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元できる。例えば、デコーディング装置３００は、前記ビットストリームから獲得したブロック分割に関する情報に基づいてユニット／ブロックを導出できる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを用いてデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであってもよく、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出できる。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。
【0067】
デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリームの形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出できる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコーディングすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコーディング手順を介してデコーディングされて、前記ビットストリームから獲得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基にビットストリーム内の情報をデコーディングし、映像の復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。より具体的に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコーディング対象のシンタックス要素情報、周辺及びデコーディング対象ブロックのデコーディング情報、あるいは以前ステップでデコーディングされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行し、各シンタックス要素の値に該当するシンボルを生成できる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、文脈モデルの決定後、次のシンボル／ビンの文脈モデルのためにデコーディングされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部３３０に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが実行されたレジデュアルに関する情報、すなわち、量子化された変換係数及び関連のパラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコーディング３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成され得、または受信部は、エントロピーデコーディング部３１０の構成要素であり得る。一方、本文書に係るデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれ得、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０の少なくとも１つを含むことができる。
【0068】
逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコーディング装置で行われた係数のスキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を獲得できる。
【0069】
逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を獲得することになる。
【0070】
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定できる。
【0071】
予測部３２０は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれ得る。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともある。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われ得る。すなわち、ＩＢＣは、本文書において説明されるインター予測技法の少なくとも１つを利用することができる。
【0072】
イントラ予測部３３２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、または離れて位置してもよい。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３２は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0073】
インター予測部３３１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。例えば、インター予測部３３１は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が行われ得、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含み得る。
【0074】
加算部３４０は、獲得されたレジデュアル信号を予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成できる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。
【0075】
加算部３４０は、復元部または復元ブロック生成部と呼ばれ得る。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されてもよく、または次のピクチャのインター予測のために使用されてもよい。
【0076】
一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
【0077】
フィルタリング部３５０は、復元信号にフィルタリングを適用して、主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成でき、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
【0078】
メモリ３６０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存できる。前記保存された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するために、インター予測部３３１に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存でき、イントラ予測部３３２に伝達することができる。
【0079】
本明細書において、デコーディング装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０等で説明された実施例は、各々デコーディング装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５及びフィルタリング部２６０等にも同一または対応するように適用されることができる。
【0080】
前述したように、ビデオコーディングを実行するにあたって、圧縮効率を高めるために予測を行う。これを通じて、コーディングの対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（又はピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同様に導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値そのものではなく、前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることによって映像コーディングの効率を高めることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて、復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
【0081】
前記レジデュアル情報は、変換及び量子化手順を通じて生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれたレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を行って変換係数を導出し、前記変換係数に量子化手順を行って量子化された変換係数を導出し、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータ等の情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を行い、レジデュアルサンプル（又はレジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックとに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以降のピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
【0082】
図４は、本文書にかかる多重変換技法を概略的に示す。
【0083】
【0084】
変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を行って、（１次）変換係数を導出することができる（Ｓ４１０）。このような１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と指称され得る。ここで、前記１次変換は、多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づき得、１次変換として多重変換が適用される場合、多重核心変換と指称され得る。
【0085】
多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／又はＤＳＴタイプ１をさらに使用して変換する方式を示すことができる。すなわち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１のうち選択された複数の変換カーネルに基づいて、空間ドメインのレジデュアル信号（又はレジデュアルブロック）を周波数ドメインの変換係数（又は１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部の立場で仮の変換係数と呼ばれ得る。
【0086】
言い換えると、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいて、レジデュアル信号（又はレジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて、変換係数が生成できる。これと異なり、前記多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及び／又はＤＳＴタイプ１等に基づいて、レジデュアル信号（又はレジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて、変換係数（又は１次変換係数）が生成できる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）又は変換コア（ｃｏｒｅ）と呼ばれ得る。このようなＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができる。
【0087】
前記多重核心変換が行われる場合、前記変換カーネルのうち、対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択でき、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が行われ、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が行われ得る。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵ又はサブブロック）の予測モード及び／又は変換インデックスに基づいて、適応的に決定されることができる。
【0088】
また、一例にかかると、ＭＴＳを適用して１次変換を行う場合、特定の基底関数を所定の値に設定し、垂直変換又は水平変換であるとき、どの基底関数が適用されるか否かを組み合わせて、変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向の変換カーネルをｔｒＴｙｐｅＨｏｒで示し、垂直方向の変換カーネルをｔｒＴｙｐｅＶｅｒで示す場合、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒの値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒの値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒの値２はＤＣＴ８に設定されることができる。
【0089】
この場合、多数の変換カーネルセットのいずれかを指示するために、ＭＴＳのインデックス情報がエンコーディングされ、デコーディング装置にシグナリングされることができる。例えば、ＭＴＳのインデックスが０であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値がすべて０であることを指示し、ＭＴＳのインデックスが１であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値がすべて１であることを指示し、ＭＴＳのインデックスが２であると、ｔｒＴｙｐｅＨｏｒの値は２であり、ｔｒＴｙｐｅＶｅｒの値は１であることを指示し、ＭＴＳのインデックスが３であると、ｔｒＴｙｐｅＨｏｒの値は１であり、ｔｒＴｙｐｅＶｅｒの値は２であることを指示し、ＭＴＳのインデックスが４であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値がすべて２であることを指示することができる。
【0090】
一例にかかり、ＭＴＳのインデックス情報による変換カーネルセットを表で示すと、次の通りである。
【0091】
【表1】
【0092】
変換部は、前記（１次）変換係数に基づいて２次変換を行って、修正された（２次）変換係数を導出することができる（Ｓ４２０）。前記１次変換は、空間ドメインから周波数ドメインへの変換であり、前記２次変換は、（１次）変換係数の間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を用いて、より圧縮的な表現で変換することを意味する。前記２次変換は、非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）又はＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれ得る。前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリックス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換し、レジデュアル信号に対する修正された変換係数（又は２次変換数）を生成する変換を示すことができる。ここで、前記非分離変換マトリックスに基づいて、前記（１次）変換係数に対して、垂直変換及び水平変換を分離して（又は水平垂直変換を独立して）適用せずに、一度に変換を適用することができる。言い換えると、前記非分離２次変換は、前記（１次）変換係数の垂直成分及び水平成分分離せず、例えば、２次元信号（変換係数）を特定の決められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向又は列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を通じて、１次元信号に再整列した後、前記非分離変換マトリックスに基づいて修正された変換係数（又は２次変換係数）を生成する変換方法を示すことができる。例えば、行優先の順序は、ＭｘＮブロックに対して、１番目の行、２番目の行、．．．、Ｎ番目の行の順序で一列に配置することであり、列優先の順序は、ＭｘＮブロックに対して、１番目の列、２番目の列、．．．、Ｍ番目の列の順序で一列に配置することである。前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ばれ得る）の左上側（ｔｏｐ－ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上である場合、８×８の非分離２次変換が前記変換係数ブロックの左上側の８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上でありながら、前記変換係数ブロックの幅（Ｗ）又は高さ（Ｈ）が８よりも小さい場合、４×４の非分離２次変換が前記変換係数ブロックの左上側のｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して適用されることができる。但し、実施例はこれに限定されず、例えば、前記変換係数ブロックの幅（Ｗ）又は高さ（Ｈ）がすべて４以上の条件のみ満たしても、４×４の非分離２次変換が前記変換係数ブロックの左上側のｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して適用されることもできる。
【0093】
具体的に、例えば、４×４の入力ブロックが使用される場合、非分離２次変換は次のように実行されることができる。
【0094】
前記４×４の入力ブロックＸは、次のように示され得る。
【0095】
【数1】
【0096】
前記Ｘをベクトルの形態で示す場合、ベクトル
は、次のように示され得る。
【0097】
【数2】
【0098】
数式２のように、ベクトル
は、行優先（ｒｏｗ－ｆｉｒｓｔ）の順序によって、数式１におけるＸの２次元ブロックを１次元ベクトルに再配列する。
【0099】
この場合、前記２次非分離変換は、次のように計算されることができる。
【0100】
【数3】
【0101】
ここで、
は、変換係数ベクトルを示し、Ｔは、１６×１６の（非分離）変換マトリックスを示す。
【0102】
前記数式３を介して、１６×１の変換係数ベクトル
が導出でき、前記
は、スキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）等）を介して、４×４ブロックで再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）できる。但し、前述した計算は例示であって、非分離２次変換の計算の複雑度を減らすために、ＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｆｏｒｍ）等が非分離２次変換の計算のために使用されることもできる。
【0103】
一方、前記非分離２次変換は、モードベース（ｍｏｄｅ ｄｅｐｅｎｄｅｎｔ）として変換カーネル（又は変換コア、変換タイプ）が選択できる。ここで、モードは、イントラ予測モード及び／又はインター予測モードを含むことができる。
【0104】
前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換又は４×４変換に基づいて実行されることができる。８ｘ８変換は、ＷとＨがすべて８よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた８ｘ８領域に適用されることができる変換を指し、該当８ｘ８領域は、該当変換係数ブロックの内部の左上側の８ｘ８領域であり得る。同様に、４ｘ４変換は、ＷとＨがすべて４よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた４ｘ４領域に適用されることができる変換を指し、該当４ｘ４領域は、該当変換係数ブロックの内部の左上側の４ｘ４領域であり得る。例えば、８ｘ８変換カーネルマトリックスは、６４ｘ６４／１６ｘ６４行列、４ｘ４変換カーネルマトリックスは、１６ｘ１６／８ｘ１６行列になり得る。
【0105】
このとき、モードベースの変換カーネルの選択のために、８×８変換及び４×４変換の両方に対して、非分離２次変換のための変換セット当たり２個ずつの非分離２次変換カーネルが構成され得、変換セットは４個であり得る。すなわち、８×８変換に対して４個の変換セットが構成され、４×４変換に対して４個の変換セットが構成され得る。この場合、８×８変換に対する４個の変換セットには、それぞれ２個ずつの８×８変換カーネルが含まれ得、この場合、４×４変換に対する４個の変換セットには、それぞれ２個ずつの４×４変換カーネルが含まれ得る。
【0106】
但し、前記変換のサイズ、前記セットの数、及びセット内の変換カーネルの数は例示であって、８×８又は４×４以外のサイズが使用されることがあり、又はｎ個のセットが構成され、各セット内にｋ個の変換カーネルが含まれることもある。
【0107】
前記変換セットは、ＮＳＳＴセットと呼ばれ得、前記ＮＳＳＴセット内の変換カーネルは、ＮＳＳＴカーネルと呼ばれ得る。前記変換セットのうち、特定セットの選択は、例えば、対象ブロック（ＣＵ又はサブブロック）のイントラ予測モードに基づいて行われ得る。
【0108】
参考までに、例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ、又は非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ、又は角度性（ａｎｇｕｌａｒ））イントラ予測モードとを含むことができる。前記非方向性イントラ予測モードは、０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。但し、これは例示であって、本文書は、イントラ予測モードの数が異なる場合にも適用できる。一方、場合に応じて、６７番のイントラ予測モードがさらに使用でき、前記６７番のイントラ予測モードは、ＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを示すことができる。
【0109】
図５は、６５個の予測方向のイントラ方向性モードを例示的に示す。
【0110】
図５を参照すると、左上側対角の予測方向を有する３４番のイントラ予測モードを中心に水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードとを区分することができる。図５のＨとＶは、それぞれ水平方向性と垂直方向性を意味し、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。これは、モードインデックス値に対するオフセットを示すことができる。 ２番乃至３３番のイントラ予測モードは水平方向性、３４番乃至６６番のイントラ予測モードは垂直方向性を有する。一方、３４番のイントラ予測モードは、厳密に言えば、水平方向性でも垂直方向性でもないと見ることができるが、２次変換の変換セットを決定する観点から、水平方向性に属すると分類できる。これは、３４番のイントラ予測モードを中心に対称となる垂直方向モードに対しては、入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番のイントラ予測モードに対しては、水平方向モードに対する入力データの整列方式を使用するためである。入力データをトランスポーズすることは、２次元ブロックのデータＭｘＮに対して、行が列となり、列が行となり、ＮｘＭのデータを構成することを意味する。１８番のイントラ予測モードと５０番のイントラ予測モードとは、それぞれ水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示し、２番のイントラ予測モードは、左側の参照ピクセルをもって右上側方向と予測するので、右上側対角のイントラ予測モードと呼ばれ得、同じ脈絡で３４番のイントラ予測モードは、右下側対角のイントラ予測モード、６６番のイントラ予測モードは、左下側対角のイントラ予測モードと呼ばれ得る。
【0111】
一例にかかり、イントラ予測モードによって、４個の変換セットがマッピング（ｍａｐｐｉｎｇ）は、例えば、次の表のように示され得る。
【0112】
【表2】
【0113】
表２のように、イントラ予測モードによって４個の変換セットのいずれか、すなわち、ｓｔＴｒＳｅｔＩｄｘが０から３、すなわち、４個のいずれかにマッピングされることができる。
【0114】
一方、非分離変換に特定セットが使用されると決定されると、非分離２次変換インデックスを介して、前記特定セット内のｋ個の変換カーネルの一つが選択できる。エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定の変換カーネルを指す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコーディング装置にシグナリングできる。デコーディング装置は、前記非分離２次変換インデックスに基づいて、特定セット内のｋ個の変換カーネルの一つを選択することができる。例えば、ＮＳＳＴのインデックス値０は、１番目の非分離２次変換カーネルを示すことができ、ＮＳＳＴのインデックス値１は、２番目の非分離２次変換カーネルを示すことができ、ＮＳＳＴのインデックス値２は、３番目の非分離２次変換カーネルを示すことができる。或いは、ＮＳＳＴのインデックス値０は、対象ブロックに対して、１番目の非分離２次変換が適用されないことを示すことができ、ＮＳＳＴのインデックス値１乃至３は、前記３個の変換カーネルを示すことができる。
【0115】
変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行し、修正された（２次）変換係数を獲得することができる。前記修正された変換係数は、前述したように量子化部を介して量子化された変換係数で導出されることができ、エンコーディングされて、デコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。
【0116】
一方、前述したように２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が、前述したように量子化部を介して量子化された変換係数で導出されることができ、エンコーディングされて、デコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。
【0117】
逆変換部は、前述した変換部で行われた手順の逆順で一連の手順を行うことができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を行って（１次）変換係数を導出し（Ｓ４５０）、前記（１次）変換係数に対して１次（逆）変換を行って、レジデュアルブロック（レジデュアルサンプル）を獲得することができる（Ｓ４６０）。ここで、前記１次変換係数は、逆変換部の立場で、修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれ得る。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックとに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成できることは前述した通りである。
【0118】
一方、デコーディング装置は、２次逆変換適用可否決定部（又は２次逆変換の適用可否を決定する要素）と、２次逆変換決定部（又は２次逆変換を決定する要素）をさらに含むことができる。２次逆変換適用可否決定部は、２次逆変換の適用可否を決定することができる。例えば、２次逆変換は、ＮＳＳＴ又はＲＳＴであり得、２次逆変換適用可否決定部は、ビットストリームからパーシングした２次変換フラグに基づいて、２次逆変換の適用可否を決定することができる。別の一例として、２次逆変換適用可否決定部は、レジデュアルブロックの変換係数に基づいて、２次逆変換の適用可否を決定することもできる。
【0119】
２次逆変換決定部は、２次逆変換を決定することができる。このとき、２次逆変換決定部は、イントラ予測モードによって指定されたＮＳＳＴ（又はＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定することができる。また、一実施例として、１次変換決定方法に依存的に（ｄｅｐｅｎｄ ｏｎ）２次変換決定方法が決定できる。イントラ予測モードによって１次変換と２次変換の多様な組み合わせが決定できる。また、一例として、２次逆変換決定部は、現在ブロックの大きさに基づいて、２次逆変換が適用される領域を決定することもできる。
【0120】
一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信し、前記１次（分離）逆変換を行ってレジデュアルブロック（レジデュアルサンプル）を獲得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成できることは前述した通りである。
【0121】
一方、本文書においては、非分離２次変換に伴われる計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリックス（カーネル）の大きさが減少したＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用することができる。
【0122】
一方、本文書で説明された変換カーネル、変換マトリックス、変換カーネルマトリックスを構成する係数、すなわち、カーネル係数又はマトリックス係数は、８ビットで表現され得る。これは、デコーディング装置及びエンコーディング装置で具現するための一つの条件であり得、既存の９ビット又は１０ビットと比較し、合理的に受け入れられる性能低下を伴いながら、変換カーネルを保存するためのメモリ要求量を減らすことができる。また、カーネルマトリックスを８ビットで表現することによって、小さい乗算器を使用でき、最適のソフトウェアの具現のために使用されるＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）命令により好適であり得る。
【0123】
本明細書において、ＲＳＴは簡素化ファクター（ｆａｃｔｏｒ）によってサイズが減少した変換マトリックス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて、対象ブロックに対するレジデュアルサンプルに対して行われる変換を意味することができる。簡素化変換を行う場合、変換マトリックスのサイズの減少により、変換時に要求される演算量が減少し得る。すなわち、ＲＳＴは、サイズが大きいブロックの変換又は非分離変換時に発生する演算の複雑度（ｃｏｍｐｌｅｘｉｔｙ）のイシューを解消するために利用できる。
【0124】
ＲＳＴは、減少した変換、減少変換、ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍ等の多様な用語で指称され得、ＲＳＴが指称され得る名称は、挙げられた例示に限定されない。或いは、ＲＳＴは、主に変換ブロックで０ではない係数を含む低周波領域で行われるので、ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）と指称されることもある。前記変換インデックスは、ＬＦＮＳＴインデックスと名付けられ得る。
【0125】
一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２とは、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて、前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部とを含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。
【0126】
図６は、本文書の一実施例にかかるＲＳＴを説明するための図である。
【0127】
本明細書において、「対象ブロック」は、コーディングが実行される現在ブロック又はレジデュアルブロック又は変換ブロックを意味することができる。
【0128】
一実施例にかかるＲＳＴで、Ｎ次元ベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が異なる空間に位置したＲ次元ベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマッピングされ、減少した変換マトリックスが決定でき、ここで、ＲはＮよりも小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の二乗、又は変換が適用されるブロックと対応する変換係数の総個数を意味することができ、簡素化ファクターは、Ｒ／Ｎ値を意味することができる。簡素化ファクターは、減少したファクター、減少ファクター、ｒｅｄｕｃｅｄ ｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ、ｓｉｍｐｌｅ ｆａｃｔｏｒ等の多様な用語で指称され得る。一方、Ｒは、簡素化係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）と指称され得るが、場合に応じては、簡素化ファクターがＲを意味することもある。また、場合に応じて、簡素化ファクターは、Ｎ／Ｒ値を意味することもある。
【0129】
一実施例において、簡素化ファクター又は簡素化係数は、ビットストリームを介してシグナリングできるが、実施例がこれに限定されるわけではない。例えば、簡素化ファクター又は簡素化係数に対する既に定義された値が各エンコーディング装置２００及びデコーディング装置３００に保存されていることがあり、この場合、簡素化ファクター又は簡素化係数は、別にシグナリングされないことがある。
【0130】
一実施例にかかる簡素化変換マトリックスのサイズは、通常の変換マトリックスのサイズＮｘＮよりも小さいＲｘＮであり、下記の数式４のように定義されることができる。
【0131】
【数4】
【0132】
図６の（ａ）に示すＲｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍブロック内のマトリックスＴは、数式４のマトリックスＴＲｘＮを意味することができる。図６の（ａ）のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリックスＴＲｘＮが掛けられる場合、対象ブロックに対する変換係数が導出できる。
【0133】
一実施例において、変換が適用されるブロックのサイズが８ｘ８であり、Ｒ＝１６（すなわち、Ｒ／Ｎ＝１６／６４＝１／４である）である場合、図６の（ａ）によるＲＳＴは、下記の数式５のような行列演算で表現され得る。この場合、メモリと乗算演算が簡素化ファクターにより略１／４と減少し得る。
【0134】
本文書において行列演算とは、行列を列ベクトルの左側に置いて、行列と列ベクトルを掛けて列ベクトルを得る演算で理解され得る。
【0135】
【数5】
【0136】
数式５において、ｒ１乃至ｒ６４は、対象ブロックに対するレジデュアルサンプルを示すことができ、より具体的に、１次変換を適用して生成された変換係数であり得る。数式５の演算結果、対象ブロックに対する変換係数ｃｉが導出でき、ｃｉの導出過程は数式６の通りである。
【0137】
【数6】
【0138】
数式６の演算結果、対象ブロックに対する変換係数ｃ１乃至ｃＲが導出できる。すなわち、Ｒ＝１６である場合、対象ブロックに対する変換係数ｃ１乃至ｃ１６が導出できる。もし、ＲＳＴではなく、通常の（ｒｅｇｕｌａｒ）変換が適用されて、サイズが６４ｘ６４（ＮｘＮ）である変換マトリックスが、サイズが６４ｘ１（Ｎｘ１）であるレジデュアルサンプルに掛けられたら、対象ブロックに対する変換係数が６４個（Ｎ個）が導出されるかもしれないが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少し、エンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少するので、エンコーディング装置２００－デコーディング装置３００の間の送信効率が増加し得る。
【0139】
変換マトリックスのサイズの観点から検討すると、通常の変換マトリックスのサイズは６４ｘ６４（ＮｘＮ）であるが、簡素化変換マトリックスのサイズは１６ｘ６４（ＲｘＮ）と減少するので、通常の変換を行う時と比較すると、ＲＳＴを行う際にメモリの使用をＲ／Ｎの割合で減少させることができる。また、通常の変換マトリックスを用いる際の乗算演算の数ＮｘＮと比較すると、簡素化変換マトリックスを用いると、乗算演算の数をＲ／Ｎの割合で減少（ＲｘＮ）させることができる。
【0140】
一実施例において、エンコーディング装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴベースの２次変換を行うことによって、対象ブロックに対する変換係数を導出することができる。このような変換係数は、デコーディング装置３００の逆変換部に伝達されることができ、デコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる。
【0141】
一実施例にかかる逆ＲＳＴマトリックスＴＮｘＲのサイズは、通常の逆変換マトリックスのサイズＮｘＮよりも小さいＮｘＲであり、数式４に示された簡素化変換マトリックスＴＲｘＮとトランスポーズ（ｔｒａｎｓｐｏｓｅ）の関係にある。
【0142】
図６の（ｂ）に示されたＲｅｄｕｃｅｄ Ｉｎｖ． Ｔｒａｎｓｆｏｒｍブロック内のマトリックスＴｔは、逆ＲＳＴマトリックスＴＲｘＮ
Ｔを意味することができる（上付き文字Ｔはトランスポーズを意味する）。図６の（ｂ）のように、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴＲｘＮ
Ｔが掛けられる場合、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルが導出できる。逆ＲＳＴマトリックスＴＲｘＮ
Ｔは、（ＴＲｘＮ）Ｔ
ＮｘＲと表現することもある。
【0143】
より具体的に、２次逆変換で逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴＲｘＮ
Ｔが掛けられると、対象ブロックに対する修正された変換係数が導出できる。一方、逆１次変換で逆ＲＳＴが適用でき、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴＲｘＮ
Ｔが掛けられると、対象ブロックに対するレジデュアルサンプルが導出できる。
【0144】
一実施例において、逆変換が適用されるブロックのサイズが８ｘ８であり、Ｒ＝１６（すなわち、Ｒ／Ｎ＝１６／６４＝１／４である場合）である場合、図６の（ｂ）によるＲＳＴは、下記の数式７のような行列演算で表現され得る。
【0145】
【数7】
【0146】
数式７において、ｃ１乃至ｃ１６は、対象ブロックに対する変換係数を示すことができる。数式７の演算結果、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルを示すｒｊが導出でき、ｒｊの導出過程は、数式８の通りである。
【0147】
【数8】
【0148】
数式８の演算結果、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルを示すｒ１乃至ｒＮが導出できる。逆変換マトリックスのサイズの観点から検討すると、通常の逆変換マトリックスのサイズは６４ｘ６４（ＮｘＮ）であるが、簡素化逆変換マトリックスのサイズは、６４ｘ１６（ＮｘＲ）と減少するので、通常の逆変換を行う時と比較すると、逆ＲＳＴを行う際にメモリの使用をＲ／Ｎの割合で減少させることができる。また、通常の逆変換マトリックスを用いる際の乗算演算の数ＮｘＮと比較すると、簡素化逆変換マトリックスを用いると、乗算演算の数をＲ／Ｎの割合で減少（ＮｘＲ）させることができる。
【0149】
一方、８ｘ８のＲＳＴに対しても、表２のような変換セットの構成を適用することができる。すなわち、表２での変換セットによって該当８ｘ８のＲＳＴが適用できる。一つの変換セットは、画面内の予測モードによって２個又は３個の変換（カーネル）で構成されているので、２次変換を適用しない場合まで含めて、最大４個の変換のうち一つを選択するように構成されることができる。２次変換を適用しないときの変換は、恒等行列が適用されているとみなされ得る。４個の変換に対してそれぞれ０、１、２、３のインデックスを付与するとしたとき（例えば、０番のインデックスを恒等行列、すなわち、２次変換を適用しない場合に割り当てることができる）、ＮＳＳＴインデックスというシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を変換係数ブロック毎にシグナリングして、適用される変換を指定することができる。すなわち、ＮＳＳＴインデックスを介して８ｘ８の左上側ブロックに対して、８ｘ８のＮＳＳＴを指定することができ、ＲＳＴの構成では８ｘ８のＲＳＴを指定することができる。８ｘ８のＮＳＳＴ及び８ｘ８のＲＳＴは、変換の対象になる対象ブロックのＷとＨがすべて８よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた８ｘ８の領域に適用されることができる変換を示す、該当８ｘ８の領域は、該当変換係数ブロックの内部の左上側８ｘ８の領域であり得る。同様に、４ｘ４のＮＳＳＴ及び４ｘ４のＲＳＴは、対象ブロックのＷとＨがすべて４よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた４ｘ４の領域に適用されることができる変換を示し、該当４ｘ４の領域は、該当変換係数ブロックの内部の左上側４ｘ４の領域であり得る。
【0150】
一方、本文書の一実施例にかかり、エンコーディング過程の変換で、８ｘ８の領域を構成する６４個のデータに対して、１６ｘ６４の変換カーネルマトリックスではなく、４８個のデータのみを選択し、最大１６ｘ４８の変換カーネルマトリックスを適用することができる。ここで、「最大」とは、ｍ個の係数を生成することができるｍｘ４８の変換カーネルマトリックスに対して、ｍの最大値が１６ということを意味する。すなわち、８ｘ８の領域にｍｘ４８の変換カーネルマトリックス（ｍ≦１６）を適用してＲＳＴを行う場合、４８個のデータが入力されて、ｍ個の係数を生成できる。ｍが１６である場合、４８個のデータが入力されて、１６個の係数を生成する。すなわち、４８個のデータが４８ｘ１ベクトルをなすとしたとき、１６ｘ４８行列と４８ｘ１ベクトルを順序通りに掛けて、１６ｘ１ベクトルが生成できる。このとき、８ｘ８領域をなす４８個のデータを適切に配列し、４８ｘ１ベクトルを構成することができる。このとき、最大１６ｘ４８の変換カーネルマトリックスを適用して行列演算を行うと、１６個の修正された変換係数が生成されるが、１６個の修正された変換係数は、スキャニング順序に従って左上側４ｘ４の領域に配置され得、右上側４ｘ４の領域と左下側４ｘ４の領域は０で満たされ得る。
【0151】
デコーディング過程の逆変換には、前記叙述された変換カーネルマトリックスのトランスポーズされたマトリックスが使用できる。すなわち、デコーディング装置で行われる逆変換過程で逆ＲＳＴ又はＬＦＮＳＴが行われる場合、逆ＲＳＴを適用する入力係数データは、所定の配列順序に従って１次元ベクトルで構成され、１次元ベクトルに該当逆ＲＳＴの行列を左側で掛けて得られた修正された係数ベクトルを所定の配列順序に従って２次元ブロックに配列され得る。
【0152】
整理すると、変換過程で、８ｘ８の領域にＲＳＴ又はＬＦＮＳＴが適用される場合、８ｘ８領域の変換係数のうち、８ｘ８領域の右下側領域を除いた左上側、右上側、左下側領域の４８個の変換係数と、１６ｘ４８の変換カーネルマトリックスとの行列演算が行われる。行列演算のために、４８個の変換係数は１次元の配列に入力される。このような行列演算が行われると、１６個の修正された変換係数が導出され、修正された変換係数は、８ｘ８領域の左上側領域に配列され得る。
【0153】
逆に、逆変換過程で、８ｘ８領域に逆ＲＳＴ又はＬＦＮＳＴが適用される場合、８ｘ８領域の変換係数のうち、８ｘ８領域の左上側に対応する１６個の変換係数は、スキャニング順序に従って、１次元の配列形態で入力されて、４８ｘ１６の変換カーネルマトリックスと行列演算されることができる。すなわち、このような場合の行列演算は、（４８ｘ１６行列）＊（１６ｘ１変換係数ベクトル）＝（４８ｘ１修正された変換係数ベクトル）で示すことができる。ここで、ｎｘ１ベクトルは、ｎｘ１行列のような意味で解釈され得るので、ｎｘ１列ベクトルで表記されることもある。また、＊は、行列の乗算演算を意味する。このような行列演算が行われると、４８個の修正された変換係数が導出でき、４８個の修正された変換係数は、８ｘ８領域の右下側領域を除いた左上側、右上側、左下側領域に配列され得る。
【0154】
一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部とを含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。
【0155】
一方、一実施例にかかり、ＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｔｉａｌ ｐｕｌｓｅ ｃｏｄｅｄ ｍｏｄｕｌａｔｉｏｎ又はＢｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）技法が使用できる。ＢＤＰＣＭは、ＲＤＰＣＭ（ｑｕａｎｔｉｚｅｄ Ｒｅｓｉｄｕａｌ ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）とも名付けられ得る。
【0156】
ＢＤＰＣＭを適用してブロックを予測する場合、ブロックの行又は列をラインバイラインで予測するために復元されたサンプルを活用する。このとき、使用された参照ピクセルは、フィルタリングされないサンプルであり得る。ＢＤＰＣＭの方向は、垂直方向又は水平方向の予測が使用されているか否かを示すことができる。予測誤謬（ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒ）は、空間的ドメインで量子化され、ピクセルは予測に逆量子化された予測誤謬を加えることによって復元される。このようなＢＤＰＣＭの代案として、量子化されたレジデュアルドメインＢＤＰＣＭが提案され得、予測方向やシグナリングは、空間的ドメインに適用されたＢＤＰＣＭと同一であり得る。すなわち、量子化されたレジデュアルドメインＢＤＰＣＭを介して量子化係数そのものをＤＰＣＭ（Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）のように重ねた後、逆量子化を介してレジデュアルを復元することができる。従って、量子化されたレジデュアルドメインＢＤＰＣＭは、レジデュアルコーディング端でＤＰＣＭを適用するという意味で使用できる。以下で使用される量子化されたレジデュアルドメインは、予測に基づいて導出されたレジデュアルが変換なく量子化されたものであって、量子化されたレジデュアルサンプルに対するドメインを意味する。
【0157】
Ｍ（行）ＸＮ（列）サイズのブロックに対して、左側又は上側の境界サンプルのうち、フィルタリングされていないサンプルを用いて、水平方向にイントラ予測（左側周辺ピクセルラインをラインバイラインで予測ブロックにコピーする）又は垂直方向にイントラ予測（上側周辺ラインをラインバイラインで予測ブロックにコピーする）を行った予測レジデュアルをｒ（ｉ，ｊ）（０≦ｉ≦Ｍ－１，０≦ｊ≦Ｎ－１）と仮定する。そして、レジデュアルｒ（ｉ，ｊ）の量子化されたバージョンをＱ（ｒ（ｉ，ｊ））（０≦ｉ≦Ｍ－１，０≦ｊ≦Ｎ－１）と仮定する。ここで、レジデュアルは、原本ブロックと予測ブロック値の差異値を意味する。
【0158】
その後、ＢＤＰＣＭを量子化されたレジデュアルサンプルに適用すると、
を構成とするＭ×Ｎの変形されたアレイ
が導出される。
【0159】
垂直ＢＤＰＣＭがシグナリングされると、
は次の数式の通りである。
【0160】
【数9】
【0161】
水平予測に対して同様に適用すると、量子化されたレジデュアルサンプル（ｔｈｅ ｒｅｓｉｄｕａｌ ｑｕａｎｔｉｚｅｄ ｓａｍｐｌｅｓ）は、次の数式の通りである。
【0162】
【数10】
【0163】
量子化されたレジデュアルサンプル
は、デコーディング装置に送信される。
【0164】
デコーディング装置では、Ｑ（ｒ（ｉ，ｊ））（０≦ｉ≦Ｍ－１，０≦ｊ≦Ｎ－１．）を導出するために、前記演算が逆に行われる。
【0165】
垂直予測については、次の数式が適用できる。
【0166】
【数11】
【0167】
また、水平予測については、次の数式が適用できる。
【0168】
【数12】
【0169】
逆量子化された量子化されたレジデュアル
は、復元されたサンプル値を導出するために、イントラブロック予測値と合わせられる。
【0170】
このような技法の主要利点は、係数のパーシングの間に、即刻的に係数のパーシング時又はパーシング後も、簡単に予測子を加えることによって、逆ＢＤＰＣＭが行われ得る。
【0171】
前記のように、ＢＤＰＣＭは量子化されたレジデュアルドメインに適用されることができ、量子化されたレジデュアルドメインは、量子化されたレジデュアル（又は量子化されたレジデュアル係数）を含むことができ、このとき、レジデュアルに対しては変換スキップが適用できる。すなわち、レジデュアルサンプルに対して、変換はスキップされ、量子化は適用されることができる。或いは、量子化されたレジデュアルドメインは、量子化された変換係数を含むこともできる。ＢＤＰＣＭの適用可否に対するフラグは、シーケンスレベル（ＳＰＳ）でシグナリングされることができ、このようなフラグは、ＳＰＳで変換スキップモードが可能であるとシグナリングされる場合にのみシグナリングされることができる。
【0172】
ＢＤＰＣＭの適用時、量子化されたレジデュアルドメインに対するイントラ予測は、イントラ予測方向と類似する予測方向（例えば、垂直予測又は水平予測）によるサンプルコピー（ｓａｍｐｌｅ ｃｏｐｙ）によって全体ブロックに行われる。レジデュアルは量子化され、量子化されたレジデュアルと水平又は垂直方向に対する予測子（すなわち、水平又は垂直方向の量子化されたレジデュアル）との間のデルタ値、すなわち、差分値
がコーディングされる。
【0173】
ＢＤＰＣＭが適用可能であると、ＣＵサイズがルマサンプルに対するＭａｘＴｓＳｉｚｅ（最大の変換スキップサイズ）よりも小さいか等しく、ＣＵがイントラ予測でコーティングされたとき、フラグ情報はＣＵレベルで送信されることができる。ここで、ＭａｘＴｓＳｉｚｅは、変換スキップモードが許容されるための最大のブロックサイズを意味する。このようなフラグ情報は、通常のイントラコーディングが適用されるか、又はＢＤＰＣＭが適用されるか否かを指示する。ＢＤＰＣＭが適用されると、予測方向が水平方向であるか、垂直方向であるか否かを指示するＢＤＰＣＭの予測方向フラグが送信できる。そうすると、ブロックはフィルタリングされていない参照サンプルを用いた通常の水平又は垂直イントラ予測過程を介して予測される。レジデュアルは量子化され、各量子化されたレジデュアルとその予測子、例えば、ＢＤＰＣＭの予測方向によって水平又は垂直方向にある周辺位置の既に量子化されたレジデュアル、との間の差異値がコーディングされる。
【0174】
前述した内容に対するシンタックスエレメント及びそれに対するセマンティックスを表で示すと次の通りである。
【0175】
【表3】
【0176】
表３は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）でシグナリングされる「ｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇ」を示しており、シンタックスエレメント「ｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇ」が１であると、イントラ予測が行われるコーディングユニットにＢＤＰＣＭが適用されるか否かを示すフラグ情報、すなわち、「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｆｌａｇ」及び「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇ」がコーディングユニットに存在することを示す。
【0177】
前記シンタックスエレメント「ｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇ」が存在しないと、その値は０とみなされる。
【0178】
【表4-1】
【表4-2】
【0179】
表４のシンタックスエレメント「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｆｌａｇ」及び「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇ」は、表３で説明されたように、現在ルマコーディングブロック又は現在クロマコーディングブロックにＢＤＰＣＭが適用されるか否かを示す。「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｆｌａｇ」又は「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇ」の値が１であると、該当コーディングブロックに対する変換はスキップされ、コーディングブロックに対する予測モードは、予測方向を示す「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｄｉｒ＿ｆｌａｇ」又は「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｄｉｒ＿ｆｌａｇ」により、水平又は垂直方向に設定されることができる。「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｆｌａｇ」又は「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇ」が存在しないと、この値は０とみなされる。
【0180】
予測方向を示す「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｄｉｒ＿ｆｌａｇ」又は「ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｄｉｒ＿ｆｌａｇ」が０であると、ＢＤＰＣＭの予測方向が水平方向であることを示し、その値が１であると、ＢＤＰＣＭの予測方向が垂直方向であることを示す。
【0181】
前記フラグ情報に基づいたイントラ予測の過程を表で示すと、次の通りである。
【0182】
【表5】
【0183】
表５は、イントラ予測モードを導出する過程を示しており、イントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅＹ［ｘＣｂ］［ｙＣｂ］）は、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］が０であると、「Ｔａｂｌｅ １９」によるＩＮＴＲＡ＿ＰＬＡＮＡＲに設定され、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］が１であると、変数ＢｄｐｃｍＤｉｒ［ｘＣｂ］［ｙＣｂ］［０］によって垂直モード（ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ５０）又は水平モード（ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ１８）に設定されることができる。
【0184】
変数ＢｄｐｃｍＤｉｒ［ｘＣｂ］［ｙＣｂ］［０］は、表４に示すように、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｄｉｒ＿ｆｌａｇ又はｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｄｉｒ＿ｆｌａｇの値と同じように設定される。従って、イントラ予測モードは、変数ＢｄｐｃｍＤｉｒ［ｘＣｂ］［ｙＣｂ］［０］が０であると、水平モード、１であると、垂直モードに設定されることができる。
【0185】
また、ＢＤＰＣＭの適用時、逆量子化の過程は、表６のように示すことができる。
【0186】
【表6】
【0187】
表６は、変換係数の逆量子化過程（８．４．３ Ｓｃａｌｉｎｇ ｐｒｏｃｅｓｓ ｆｏｒ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を示すものであって、ＢｄｐｃｍＦｌａｇ［ｘＴｂＹ］［ｙＹｂＹ］［ｃＩｄｘ］の値が１であると、逆量子化されたレジデュアル値（ｄ［ｘ］［ｙ］）は、中間変数ｄｚ［ｘ］［ｙ］に基づいて導出できる。ＢｄｐｃｍＤｉｒ［ｘＴｂＹ］［ｙＹｂＹ］［ｃＩｄｘ］が０であると、すなわち、水平モードによりイントラ予測が行われると、変数ｄｚ［ｘ］［ｙ］は、「ｄｚ［ｘ－１］［ｙ］＋ｄｚ［ｘ］［ｙ］」に基づいて導出される。また、ＢｄｐｃｍＤｉｒ［ｘＴｂＹ］［ｙＹｂＹ］［ｃＩｄｘ］が１であると、すなわち、垂直モードによりイントラ予測が行われると、変数ｄｚ［ｘ］［ｙ］は「ｄｚ［ｘ］［ｙ－１］＋ｄｚ［ｘ］［ｙ］」に基づいて導出される。すなわち、特定位置のレジデュアルは、水平方向又は垂直方向に以前の位置にあるレジデュアルと特定位置のレジデュアル情報として受信された値の和に基づいて導出できる。ＢＤＰＣＭの適用時、特定位置（ｘ， ｙ）（ｘは、横方向の座標として左側から右側に増加し、ｙは、縦方向の座標として上側から下側に増加し、２次元ブロック内の位置を（ｘ，ｙ）と表記する。また、該当変換ブロックの左上側の位置を（０，０）に置いたときの（ｘ，ｙ）の位置を示す）のレジデュアルサンプル値と水平方向又は垂直方向に以前の位置（（ｘ－１，ｙ）又は（ｘ， ｙ－１））にあるレジデュアルサンプル値との差分値がレジデュアル情報としてシグナリングされるためである。
【0188】
一方、一例にかかり、ＢＤＰＣＭが適用されるときは、非分離変換である逆２次変換、例えば、ＬＦＮＳＴを適用しないことがある。従って、ＢＤＰＣＭが適用される場合、ＬＦＮＳＴのインデックス（変換インデックス）の送信を省略し得る。前述したように、ＬＦＮＳＴのインデックスを介してＬＦＮＳＴの適用可否及びＬＦＮＳＴのためのどんな変換カーネルマトリックスを適用するか等を指示することができる。例えば、ＬＦＮＳＴのインデックス値が０であると、ＬＦＮＳＴを適用しないことを示し、ＬＦＮＳＴのインデックス値が１又は２であると、イントラ予測モードに基づいて選択されたＬＦＮＳＴの変換セットを構成する２個の変換カーネルマトリックスの一つを指定することができる。次のように、ＢＤＰＣＭとＬＦＮＳＴに関連したより具体的な実施例が適用できる。
【0189】
［第１実施例］
【0190】
ＢＤＰＣＭをルマ成分又はクロマ成分のいずれかにのみ適用できる。ルマ成分に対するＣＴＵ分割ツリーとクロマ成分に対するＣＴＵ分割ツリーとを別にコーディングする場合（例えば、ＶＶＣ標準でのデュアルツリー構造）、ＢＤＰＣＭをルマ成分にのみ適用すると仮定すれば、ルマ成分に対しては、ＢＤＰＣＭが適用されない場合に限ってＬＦＮＳＴのインデックスを送信することができ、クロマ成分に対しては、ＬＦＮＳＴが適用できる全てのブロックに対して、ＬＦＮＳＴのインデックスを送信することができる。逆に、デュアルツリー構造で、ＢＤＰＣＭをクロマ成分にのみ適用すると仮定すれば、クロマ成分に対しては、ＢＤＰＣＭが適用されない場合に限ってＬＦＮＳＴのインデックスを送信することができ、ルマ成分に対しては、ＬＦＮＳＴが適用できる全てのブロックに対して、ＬＦＮＳＴのインデックスを送信することができる。
【0191】
［第２実施例］
【0192】
ルマ成分とクロマ成分とが同じＣＴＵ分割ツリーでコーディングされる場合、すなわち、分割の形態を共有する場合（例えば、ＶＶＣ標準でのシングルツリー構造）、ＢＤＰＣＭが適用されるブロックでは、ルマ成分とクロマ成分の全てに対してＬＦＮＳＴを適用しないことがある。或いは、ＢＤＰＣＭが適用されるブロックに対して、一方の成分に対してのみ（例えば、ルマ成分又はクロマ成分）ＬＦＮＳＴを適用するように構成することができ、この場合には、該当成分に対するＬＦＮＳＴのインデックスのみがコーディングされてシグナリングされることができる。
【0193】
［第３実施例］
【0194】
ＢＤＰＣＭが特定タイプの映像又は部分映像（例えば、イントラ予測映像、イントラスライス等）にのみ適用される場合、該当タイプの映像又は部分映像に対してのみＢＤＰＣＭを適用するように構成することができる。ＢＤＰＣＭが適用されるタイプの映像又は部分映像に対しては、ＢＤＰＣＭが適用されないブロック毎にＬＦＮＳＴのインデックスを送信することができ、ＢＤＰＣＭが適用されないタイプの映像又は部分映像に対しては、ＬＦＮＳＴが適用できる全てのブロックに対してＬＦＮＳＴのインデックスを送信することができる。ここで、ブロックは、コーディングブロック又は変換ブロックであり得る。
【0195】
［第４実施例］
【0196】
ＢＤＰＣＭは、特定のサイズ以下のブロックにのみ適用されることができる。例えば、あるブロックの幅がＷ以下であり、高さがＨ以下の場合に対してのみＢＤＰＣＭを適用するように構成できる。ここで、ＷとＨはそれぞれ３２に設定されることができる。もし、あるブロックの幅がＷ以下であり、高さがＨ以下であって、ＢＤＰＣＭが適用できる場合、ＢＤＰＣＭの適用可否を指示するフラグが０でコーディングされる場合（ＢＤＰＣＭを適用しない場合）に対してのみＬＦＮＳＴのインデックスを送信することができる。
【0197】
反面、あるブロックの幅がＷよりも大きいか、高さがＨよりも大きい場合、ＢＤＰＣＭが適用されないため、ＢＤＰＣＭの適用可否を指示するフラグのシグナリングは不要であり、ＬＦＮＳＴが適用できる全てのブロックに対してＬＦＮＳＴのインデックスを送信することができる。
【0198】
［第５実施例］
【0199】
前記第１実施例乃至第４実施例の組み合わせが適用できる。例えば、１）ＢＤＰＣＭをルマ成分にのみ適用、２）ＢＤＰＣＭをイントラスライスにのみ適用、３）ＢＤＰＣＭを幅と高さがすべて３２以下であるときのみ適用するように構成し、ＢＤＰＣＭが適用されるブロックに対してはＬＦＮＳＴのインデックスをコーディング及びシグナリングできる。
【0200】
以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に提示されたものであるため、本明細書の技術的特徴が、以下の図面に使用された具体的な名称に制限されない。
【0201】
図７は、本文書の一実施例にかかるビデオデコーディング装置の動作を示すフローチャートである。
【0202】
図７に開示された各ステップは、図３に開示されたデコーディング装置３００によって実行されることができる。より具体的に、Ｓ７１０は、図３に開示されたエントロピーデコーディング部３１０によって実行されることができ、Ｓ７２０は、図３に開示された逆量子化部３２１によって実行されることができ、Ｓ７３０及びＳ７４０は、図３に開示された逆変換部３２２によって実行されることができ、Ｓ７５０は、図３に開示された加算部３４０によって実行されることができる。また、Ｓ７１０乃至Ｓ７５０による動作は、図４乃至図６で前述した内容のうちの一部に基づいたものである。従って、図３乃至図６で前述した内容と重複する具体的な内容は、説明を省略するか、簡単にすることとする。
【0203】
一実施例にかかるデコーディング装置３００は、ビットストリームから対象ブロックに対する量子化された変換係数を導出することができる（Ｓ７１０）。より具体的に、デコーディング装置３００は、ビットストリームから対象ブロックに対する量子化された変換係数に関する情報をデコーディングすることができ、対象ブロックに対する量子化された変換係数に関する情報に基づいて対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に関する情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）に含まれることができ、簡素化変換（ＲＳＴ）が適用されるか否かに対する情報、簡素化ファクターに関する情報、簡素化変換を適用する最小の変換サイズに対する情報、簡素化変換を適用する最大の変換サイズに対する情報、簡素化逆変換サイズ、変換セットに含まれた変換カーネルマトリックスのいずれかを指示する変換インデックスに対する情報の少なくとも一つを含むことができる。
【0204】
一実施例にかかるデコーディング装置３００は、対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出することができる（Ｓ７２０）。
【0205】
一実施例にかかるデコーディング装置３００は、変換係数に対する逆非分離変換又は逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出することができる（Ｓ７３０）。
【0206】
一例示において、逆非分離変換又は逆ＲＳＴは、逆ＲＳＴマトリックスに基づいて実行されることができ、逆ＲＳＴマトリックスは、列の個数が行の個数よりも少ない非正方形のマトリックスであり得る。
【0207】
一実施例において、Ｓ７３０は、変換インデックスをデコーディングするステップと、変換インデックスに基づいて逆ＲＳＴを適用する条件に該当するか否かを判断するステップと、変換カーネルマトリックスを選択するステップと、逆ＲＳＴを適用する条件に該当する場合、選択された変換カーネルマトリックス及び／又は簡素化ファクターに基づいて変換係数に対して逆ＲＳＴを適用するステップと、を含むことができる。このとき、簡素化逆変換マトリックスのサイズは、簡素化ファクターに基づいて決定されることができる。
【0208】
一実施例にかかるデコーディング装置３００は、修正された変換係数に対する逆変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる（Ｓ７４０）。
【0209】
デコーディング装置３００は、対象ブロックに対する修正された変換係数に対して逆１次変換を実行することができ、このとき、逆１次変換は、簡素化逆変換が適用されることもでき、通常の分離変換が使用されることもできる。
【0210】
一実施例にかかるデコーディング装置３００は、対象ブロックに対するレジデュアルサンプル及び対象ブロックに対する予測サンプルに基づいて復元サンプルを生成することができる（Ｓ７５０）。
【0211】
Ｓ７３０を参照すると、対象ブロックに対する変換係数に対する逆ＲＳＴに基づいて対象ブロックに対するレジデュアルサンプルが導出されることを確認することができる。逆変換マトリックスのサイズの観点から検討すると、通常の逆変換マトリックスのサイズはＮｘＮであるが、逆ＲＳＴマトリックスのサイズはＮｘＲと減少するので、通常の変換を行う時と比較すると、逆ＲＳＴを行う際にメモリの使用をＲ／Ｎの割合で減少させることができる。また、通常の逆変換マトリックスを用いる際の乗算演算の数ＮｘＮと比較すると、逆ＲＳＴのマトリックスを用いると、乗算演算の数をＲ／Ｎの割合で減少（ＮｘＲ）させることができる。また、逆ＲＳＴを適用するとき、Ｒ個の変換係数のみをデコーディングすればよいので、通常の逆変換が適用されるとき、Ｎ個の変換係数をデコーディングしなければならないことと比較するとき、対象ブロックに対する変換係数の総個数がＮ個からＲ個と減少し、デコーディングの効率が増加し得る。整理すると、Ｓ７３０によると、逆ＲＳＴを介してデコーディング装置３００の（逆）変換効率及びデコーディング効率が増加し得る。
【0212】
図８は、本文書の一実施例にかかる映像デコーディング方法を説明するための制御フローチャートである。
【0213】
デコーディング装置３００は、ビットストリームからＢＤＰＣＭ情報のようなコーディング情報を受信する（Ｓ８１０）。また、デコーディング装置３００は、現在ブロックが変換スキップが適用されるか否かを指示する変換スキップフラグ情報、逆２次変換、すなわち、逆非分離変換に対する変換インデックス情報、すなわち、ＬＦＮＳＴのインデックス又は逆１次変換の変換カーネルを指示するＭＴＳのインデックス情報をさらに受信することができる。
【0214】
ＢＤＰＣＭ情報は、現在ブロックにＢＤＰＣＭが適用されるか否かを指示するＢＤＰＣＭフラグ情報と、ＢＤＰＣＭが実行される方向に対する方向情報とを含むことができる。
【0215】
現在ブロックにＢＤＰＣＭが適用されると、ＢＤＰＣＭのフラグ値は１であり、現在ブロックにＢＤＰＣＭが適用されないと、ＢＤＰＣＭのフラグ値は０であり得る。
【0216】
もし、現在ブロックにＢＤＰＣＭが適用されると、変換スキップのフラグ値は１とみなされ得、変換スキップのフラグ値が１であると、ＬＦＮＳＴのインデックス値は０とみなされるか、受信されないことがある。すなわち、現在ブロックにＢＤＰＣＭが適用されると、現在ブロックに変換が適用されないことがある。
【0217】
一方、現在ブロックのツリータイプは、ルマブロックと対応するクロマブロックが個別的な分割構造を有するか否かによってシングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）又はデュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）に区分できる。クロマブロックがルマブロックと同じ分割構造を有するとシングルツリー、クロマ成分ブロックがルマ成分ブロックと異なる分割構造を有するとデュアルツリーで示すことができる。一例にかかり、現在ブロックのルマブロック又はクロマブロックにＢＤＰＣＭが個別的に適用されることができる。もし、ルマブロックにＢＤＰＣＭが適用されると、ルマブロックに対する変換インデックスは受信されず、クロマブロックにＢＤＰＣＭが適用されると、クロマブロックに対する変換インデックスは受信されないことがある。
【0218】
現在ブロックのツリー構造がデュアルツリーである場合、いずれかの成分ブロックにのみＢＤＰＣＭが適用でき、現在ブロックがシングルツリー構造である場合にも、いずれかの成分ブロックにのみＢＤＰＣＭが適用できる。この場合、ＢＤＰＣＭが適用されない成分ブロックに対してのみＬＦＮＳＴのインデックスが受信できる。
【0219】
或いは、一例にかかり、現在ブロックの幅が第１臨界値以下であり、現在ブロックの高さが第２臨界値以下である場合に限ってＢＤＰＣＭが適用できる。第１臨界値及び第２臨界値は３２であり得、変換が実行される変換ブロックの最大の高さ又は最大の幅に設定されることができる。
【0220】
一方、ＢＤＰＣＭに対する方向情報は、水平方向又は垂直方向を指示することができ、方向情報によって量子化情報が導出され、予測サンプルが導出できる。
【0221】
デコーディング装置３００は、ＢＤＰＣＭに基づいて現在ブロックに対する量子化された変換係数を導出することができる（Ｓ８２０）。ここで、変換係数は、変換されないレジデュアルサンプル値であり得る。
【0222】
現在ブロックにＢＤＰＣＭが適用される場合、デコーディング装置３００に受信されるレジデュアル情報は、量子化されたレジデュアルの差分値であり得る。ＢＤＰＣＭの方向に応じて、以前の垂直又は水平方向のラインと特定ラインの量子化されたレジデュアルの差分値が受信でき、デコーディング装置３００は、受信される量子化されたレジデュアルの差分値に以前の垂直又は水平方向のラインの量子化されたレジデュアル値を加えて、特定ラインの量子化されたレジデュアルを導出することができる。量子化されたレジデュアルは、数式１１又は数式１２に基づいて導出されることができる。
【0223】
デコーディング装置３００は、量子化された変換係数に逆量子化を実行して変換係数を導出し（Ｓ８３０）、変換係数に基づいてレジデュアルサンプルを導出することができる（Ｓ８４０）。
【0224】
前述したように、現在ブロックにＢＤＰＣＭが適用されると、逆量子化された変換係数は変換過程を経ずにレジデュアルサンプルとして導出されることができる。
【0225】
イントラ予測部３３１は、ＢＤＰＣＭが行われる方向に基づいて前記現在ブロックに対するイントラ予測を実行することができる（Ｓ８５０）。
【0226】
現在ブロックにＢＤＰＣＭが適用されると、これを用いたイントラ予測が実行でき、これは、ＢＤＰＣＭはイントラモードで予測されたイントラスライス又はイントラコーディングブロックにのみ適用されることができるということを意味することができる。
【0227】
イントラ予測は、前記ＢＤＰＣＭに対する方向情報に基づいて行われ、現在ブロックのイントラ予測モードは、水平方向モード又は垂直方向モードのいずれかであり得る。
【0228】
デコーディング装置３００は、図７のＳ７５０のように導出されたレジデュアルサンプルと予測サンプルとに基づいて復元ピクチャを生成することができる（Ｓ８６０）。
【0229】
以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使用された具体的な名称に制限されない。
【0230】
図９は、本文書の一実施例にかかるビデオエンコーディング装置の動作を示すフローチャートである。
【0231】
図９に開示された各ステップは、図２に開示されたエンコーディング装置２００によって実行されることができる。より具体的に、Ｓ９１０は、図２に開示された予測部２２０によって実行されることができ、Ｓ９２０は、図２に開示された減算部２３１によって実行されることができ、Ｓ９３０及びＳ９４０は、図２に開示された変換部２３２によって実行されることができ、Ｓ９５０は、図２に開示された量子化部２３３及びエントロピーエンコーディング部２４０によって実行されることができる。また、Ｓ９１０乃至Ｓ９５０による動作は、図４乃至図６で前述した内容のうちの一部に基づいたものである。従って、図２及び図４乃至図６で前述した内容と重複する具体的な内容は、説明を省略するか簡単にすることとする。
【0232】
一実施例にかかるエンコーディング装置２００は、対象ブロックに適用されるイントラ予測モードに基づいて予測サンプルを導出することができる（Ｓ９１０）。
【0233】
一実施例にかかるエンコーディング装置２００は、対象ブロックに対するレジデュアルサンプルを導出することができる（Ｓ９２０）。
【0234】
一実施例にかかるエンコーディング装置２００は、レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出することができる（Ｓ９３０）。１次変換は、複数の変換カーネルを介して実行されることができ、この場合、イントラ予測モードに基づいて変換カーネルが選択できる。
【0235】
デコーディング装置３００は、対象ブロックに対する変換係数に対して２次変換、又は非分離変換、具体的にＮＳＳＴを実行することができ、このとき、ＮＳＳＴは簡素化変換（ＲＳＴ）に基づいて実行されるか、ＲＳＴに基づかずに実行されることができる。ＮＳＳＴがＲＳＴに基づいて実行されると、Ｓ９４０による動作と対応し得る。
【0236】
一実施例にかかるエンコーディング装置２００は、変換係数に対するＲＳＴに基づいて対象ブロックに対する修正された変換係数を導出することができる（Ｓ９４０）。一例示において、ＲＳＴは簡素化変換マトリックス又は変換カーネルマトリックスに基づいて実行されることができ、簡素化変換マトリックスは、行の個数が列の個数よりも少ない非正方形のマトリックスであり得る。
【0237】
一実施例において、Ｓ９４０はＲＳＴを適用する条件に該当するか否かを判断するステップと、前記判断に基づいて変換インデックスを生成及びエンコーディングするステップと、変換カーネルマトリックスを選択するステップと、ＲＳＴを適用する条件に該当する場合、選択された変換カーネルマトリックス及び／又は簡素化ファクターに基づいてレジデュアルサンプルに対してＲＳＴを適用するステップと、を含むことができる。このとき、簡素化変換カーネルマトリックスのサイズは、簡素化ファクターに基づいて決定されることができる。
【0238】
一実施例にかかるエンコーディング装置２００は、対象ブロックに対する修正された変換係数に基づいて量子化を実行して量子化された変換係数を導出し、量子化された変換係数に関する情報をエンコーディングすることができる（Ｓ９５０）。
【0239】
より具体的に、エンコーディング装置２００は、量子化された変換係数に関する情報を生成し、生成された量子化された変換係数に関する情報をエンコーディングすることができる。
【0240】
一例示において、量子化された変換係数に関する情報は、ＲＳＴが適用されるか否かに対する情報、簡素化ファクターに関する情報、ＲＳＴを適用する最小の変換サイズに対する情報及びＲＳＴを適用する最大の変換サイズに対する情報の少なくとも１つを含むことができる。
【0241】
Ｓ９４０を参照すると、レジデュアルサンプルに対するＲＳＴに基づいて対象ブロックに対する変換係数が導出されることを確認することができる。変換カーネルマトリックスのサイズの観点から検討すると、通常の変換カーネルマトリックスのサイズはＮｘＮであるが、簡素化変換マトリックスのサイズはＲｘＮと減少するので、通常の変換を行う時と比較すると、ＲＳＴを行う際にメモリの使用をＲ／Ｎの割合で減少させることができる。また、通常の変換カーネルマトリックスを用いるときの乗算演算の数ＮｘＮと比較すると、簡素化変換カーネルマトリックスを用いると、乗算演算の数をＲ／Ｎの割合で減少（ＲｘＮ）させることができる。また、ＲＳＴが適用されると、Ｒ個の変換係数のみが導出されるので、通常の変換が適用されるとき、Ｎ個の変換係数が導出されることと比較するとき、対象ブロックに対する変換係数の総個数がＮ個からＲ個と減少し、エンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少し得る。整理すると、Ｓ９４０にかかると、ＲＳＴを介してエンコーディング装置２００の変換効率及びコーディング効率が増加し得る。
【0242】
図１０は、本文書の一実施例にかかる映像エンコーディング方法を説明するための制御フローチャートである。
【0243】
エンコーディング装置２００は、ＢＤＰＣＭに基づいて現在ブロックに対する予測サンプルを導出することができる（Ｓ１０１０）。
【0244】
エンコーディング装置２００は、ＢＤＰＣＭが実行される特定の方向に基づいて、現在ブロックに対するイントラ予測サンプルを導出することができる。特定の方向は、垂直方向又は水平方向であり得、これによるイントラ予測モードによって現在ブロックに対する予測サンプルが生成できる。
【0245】
一方、現在ブロックのツリータイプは、ルマブロックと対応するクロマブロックが個別的な分割構造を有するか否かによってシングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）又はデュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）に区分できる。クロマブロックがルマブロックと同じ分割構造を有するとシングルツリー、クロマ成分ブロックがルマ成分ブロックと異なる分割構造を有するとデュアルツリーで示すことができる。一例にかかり、現在ブロックのルマブロック又はクロマブロックにＢＤＰＣＭが個別的に適用されることができる。
【0246】
現在ブロックのツリー構造がデュアルツリーである場合、いずれかの成分ブロックにのみＢＤＰＣＭが適用でき、現在ブロックがシングルツリー構造である場合にも、いずれかの成分ブロックにのみＢＤＰＣＭが適用できる。
【0247】
或いは、一例にかかり、現在ブロックの幅が第１臨界値以下であり、現在ブロックの高さが第２臨界値以下である場合に限って、ＢＤＰＣＭが適用できる。第１臨界値及び第２臨界値は３２であり得、変換が実行される変換ブロックの最大の高さ又は最大の幅に設定されることができる。
【0248】
エンコーディング装置２００は、予測サンプルに基づいて現在ブロックに対するレジデュアルサンプルを導出し（Ｓ１０２０）、レジデュアルサンプルに量子化を実行することができる（Ｓ１０３０）。
【0249】
その後、エンコーディング装置２００は、ＢＤＰＣＭに基づいて量子化されたレジデュアル情報を導出することができる（Ｓ１０４０）。
【0250】
エンコーディング装置２００は、特定ラインの量子化されたレジデュアルサンプルと以前の垂直又は水平方向のラインと特定ラインの量子化されたレジデュアルサンプルとの差分値を量子化されたレジデュアル情報として導出することができる。すなわち、通常のレジデュアルではなく、量子化されたレジデュアルの差分値がレジデュアル情報で生成され、数式９又は数式１０に基づいて導出されることができる。
【0251】
エンコーディング装置２００は、量子化されたレジデュアル情報及び現在ブロックに対するコーディング情報をエンコーディングすることができる（Ｓ１０５０）。
【0252】
エンコーディング装置２００は、ＢＤＰＣＭ情報、現在ブロックが変換スキップが適用されるか否かを指示する変換スキップのフラグ情報、逆２次変換、すなわち、逆非分離変換に対する変換インデックス情報、すなわち、ＬＦＮＳＴのインデックス又は逆１次変換の変換カーネルを指示するＭＴＳのインデックス情報をエンコーディングすることができる。
【0253】
ＢＤＰＣＭ情報は、現在ブロックにＢＤＰＣＭが適用されるか否かを指示するＢＤＰＣＭのフラグ情報とＢＤＰＣＭが実行される方向に対する方向情報を含むことができる。
【0254】
現在ブロックにＢＤＰＣＭが適用されると、ＢＤＰＣＭのフラグ値は１でエンコーディングされ、現在ブロックにＢＤＰＣＭが適用されないと、ＢＤＰＣＭのフラグ値は、０でエンコーディングされることができる。
【0255】
もし、現在ブロックにＢＤＰＣＭが適用されると、変換スキップのフラグ値は１とみなされるか、１でエンコーディングされることができる。また、変換スキップのフラグ値が１であると、ＬＦＮＳＴのインデックス値は０とみなされるか、エンコーディングされないことがある。すなわち、現在ブロックにＢＤＰＣＭが適用されると、現在ブロックに変換が適用されないことがある。
【0256】
また、前述したように、現在ブロックのツリー構造がデュアルツリーである場合、いずれかの成分ブロックにのみＢＤＰＣＭが適用でき、現在ブロックがシングルツリー構造である場合にも、いずれかの成分ブロックにのみＢＤＰＣＭが適用できる。この場合、ＢＤＰＣＭが適用されない成分ブロックに対してのみＬＦＮＳＴのインデックスがエンコーディングできる。
【0257】
ＢＤＰＣＭに対する方向情報は、水平方向又は垂直方向を指示することができる。
【0258】
本文書において、量子化／逆量子化及び／又は変換／逆変換の少なくとも１つは省略され得る。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれ得る。前記変換／逆変換が省略される場合、前記変換係数は、係数又はレジデュアル係数と呼ばれることもあり、又は表現の統一性のために変換係数と依然として呼ばれることもある。
【0259】
また、本文書において、量子化された変換係数及び変換係数は、それぞれ変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と指称され得る。この場合、レジデュアル情報は、変換係数に関する情報を含むことができ、前記変換係数に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（又は前記変換係数に関する情報）に基づいて変換係数が導出でき、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出できる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいて、レジデュアルサンプルが導出できる。これは、本文書の別の部分でも同様に適用／表現できる。
【0260】
前述した実施例において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本文書は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、異なるステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本文書の範囲に影響を与えずに削除され得ることを理解することができる。
【0261】
前述した本文書に係る方法は、ソフトウェアの形態で具現されることができ、本文書に係るエンコーディング装置及び／又はデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を行う装置に含まれ得る。
【0262】
本文書において、実施例がソフトウェアで具現されるとき、前述した方法は、前述した機能を行うモジュール（過程、機能等）で具現されることができる。モジュールはメモリに保存され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、保存媒体及び／又は他の保存装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。
【0263】
また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、保存媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含み得る。
【0264】
また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に保存されることができる。本文書に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に保存されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取ることができるデータが保存される全ての種類の保存装置及び分散保存装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ保存装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取ることができる記録媒体に保存されるか、有無線通信ネットワークを介して送信されることができる。また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に保存されることができる。
【0265】
図１１は、本文書が適用されるコンテンツストリーミングシステムの構造度を例示的に示す。
【0266】
また、本文書が適用されるコンテンツストリーミングシステムは、大きくエンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。
【0267】
前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略され得る。前記ビットストリームは、本文書が適用されるエンコーディング方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを保存することができる。
【0268】
前記ストリーミングサーバは、ウェブサーバを介したユーザの要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体の役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すれば、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
【0269】
前記ストリーミングサーバは、メディアストレージ及び／又はエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信することになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間に保存することができる。
【0270】
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがあり得る。前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
【0271】
本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法として具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として具現されることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
