特表 2022-527774 変換に基づく映像コーディング方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-06-06

(54)【発明の名称】変換に基づく映像コーディング方法及びその装置

(51)【国際特許分類】

   H04N 19/13 20140101AFI20220530BHJP

   H04N 19/136 20140101ALI20220530BHJP

   H04N 19/176 20140101ALI20220530BHJP

   H04N 19/70 20140101ALI20220530BHJP

   H04N 19/61 20140101ALI20220530BHJP

   H04N 19/157 20140101ALI20220530BHJP

【ＦＩ】

H04N19/13

H04N19/136

H04N19/176

H04N19/70

H04N19/61

H04N19/157

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021557579

(86)(22)【出願日】2020-03-26

(85)【翻訳文提出日】2021-11-01

(86)【国際出願番号】 KR2020004090

(87)【国際公開番号】W WO2020197274

(87)【国際公開日】2020-10-01

(31)【優先権主張番号】62/824,243

(32)【優先日】2019-03-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ク ムンモ

(72)【発明者】

【氏名】イム チェヒョン

(72)【発明者】

【氏名】ナム チョンハク

(72)【発明者】

【氏名】キム スンファン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159NN11

5C159PP16

5C159RC12

5C159RC38

5C159TA59

5C159TB08

5C159TC26

5C159UA02

5C159UA05

5C159UA16

(57)【要約】

本文書による映像デコード方法は、レジデュアルサンプルに逆１次変換及び逆非分離変換を行うステップを含み、前記逆非分離変換は、所定の変換カーネルマトリックスを指示する変換インデックスに基づいて行われ、前記逆１次変換は水平変換カーネル及び垂直変換カーネルに対する多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ：ＭＴＳ）を指示するＭＴＳインデックスに基づいて行われ、前記変換インデックスに対するシンタックス要素ビンストリングは前記対象ブロックの分割構造に対するツリータイプがシングルツリータイプでないと、第１コンテキスト情報に基づいて導出され、前記ツリータイプが前記シングルツリータイプであると、第２コンテキスト情報に基づいて導出されることを特徴とする。
【選択図】図９

【特許請求の範囲】

【請求項1】

デコード装置により行われる映像デコード方法において、
レジデュアル情報を含むビットストリームを受信するステップと、
前記レジデュアル情報に基づいて対象ブロックに対する変換係数を導出するステップと、
前記変換係数に対する逆非分離変換に基づいて修正された変換係数を導出するステップと、
前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
前記対象ブロックに対するレジデュアルサンプルに基づいて復元ピクチャを生成するステップとを含み、
前記逆非分離変換は所定の変換カーネルマトリックスを指示する変換インデックスに基づいて行われ、前記の逆１次変換は水平変換カーネル及び垂直変換カーネルに対する多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ：ＭＴＳ）を指示するＭＴＳインデックスに基づいて行われ、
前記変換インデックスに対するシンタックス要素ビンストリングは、前記対象ブロックの分割構造に対するツリータイプがシングルツリータイプでないと第１コンテキスト情報に基づいて導出され、前記ツリータイプが前記シングルツリータイプであると第２コンテキスト情報に基づいて導出されることを特徴とする映像デコード方法。

【請求項2】

前記変換インデックスに対するシンタックス要素ビンストリングは、前記ＭＴＳインデックス値が０であり、前記ツリータイプが前記シングルツリータイプでないと、第１コンテキスト情報に基づいて導出されることを特徴とする請求項１に記載の映像デコード方法。

【請求項3】

前記ＭＴＳインデックスが受信されないと、前記ＭＴＳインデックス値は０とみなされることを特徴とする請求項２に記載の映像デコード方法。

【請求項4】

前記変換インデックスに対するシンタックス要素ビンストリングは、前記ＭＴＳインデックスが受信されず、前記ツリータイプが前記シングルツリータイプでないと、第１コンテキスト情報に基づいて導出されることを特徴とする請求項１に記載の映像デコード方法。

【請求項5】

前記変換カーネルマトリックスは、前記対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて決定される変換セットに含まれ、
前記変換インデックスは、前記逆非分離変換が適用されるか否か及び前記変換セットに含まれる前記変換カーネルマトリックスのいずれか１つを指示することを特徴とする請求項１に記載の映像デコード方法。

【請求項6】

前記第１コンテキスト情報又は前記第２コンテキスト情報に基づいて前記変換インデックスに対するシンタックス要素ビンストリングのビンをデコードするステップと、
前記変換インデックスに対するシンタックス要素の値を導出するステップとをさらに含む、請求項５に記載の映像デコード方法。

【請求項7】

前記シンタックス要素に対する値は、前記対象ブロックに前記逆非分離変換が適用されない場合を指示する０、前記変換カーネルマトリックスのうち１番目の変換カーネルマトリックスを指示する１、前記変換カーネルマトリックスのうち２番目の変換カーネルマトリックスを指示する２のいずれか１つを含み、
前記シンタックス要素に対する値はトランケーテッドユーナリコードに二進化され、
前記シンタックス要素に対する値０は「０」に、前記シンタックス要素に対する値１は「１０」に、前記シンタックス要素に対する値２は「１１」に二進化されることを特徴とする請求項６に記載の映像デコード方法。

【請求項8】

映像エンコード装置により行われる映像エンコード方法において、
対象ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
水平変換カーネル及び垂直変換カーネルに対する多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ：ＭＴＳ）に基づいて前記レジデュアルサンプルから前記対象ブロックに対する変換係数を導出するステップと、
非分離変換のための所定の変換カーネルマトリックスに基づいて前記変換係数から修正された変換係数を導出するステップと、
前記ＭＴＳを指示するＭＴＳインデックス又は前記変換カーネルマトリックスを指示する変換インデックスをエンコードするステップとを含み、
前記変換インデックスに対するシンタックス要素ビンストリングは、前記対象ブロックの分割構造に対するツリータイプがシングルツリータイプでないと第１コンテキスト情報に基づいて導出され、前記ツリータイプが前記シングルツリータイプであると第２コンテキスト情報に基づいて導出されることを特徴とする映像エンコード方法。

【請求項9】

前記変換インデックスに対するシンタックス要素ビンストリングは、前記ＭＴＳインデックス値が０であり、前記ツリータイプが前記シングルツリータイプでないと、第１コンテキスト情報に基づいて導出されることを特徴とする請求項８に記載の映像エンコード方法。

【請求項10】

前記ＭＴＳインデックスがエンコードされないと、前記ＭＴＳインデックス値は０とみなされることを特徴とす請求項９に記載の映像エンコード方法。

【請求項11】

前記変換インデックスに対するシンタックス要素ビンストリングは、前記ＭＴＳインデックスがエンコードされず、前記ツリータイプが前記シングルツリータイプでないと、第１コンテキスト情報に基づいて導出されることを特徴とする請求項８に記載の映像エンコード方法。

【請求項12】

前記変換カーネルマトリックスは、前記対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて決定される変換セットに含まれ、
前記変換インデックスは、前記非分離変換が適用されるか否か及び前記変換セットに含まれる前記変換カーネルマトリックスのいずれか１つを指示することを特徴とする請求項８に記載の映像エンコード方法。

【請求項13】

前記変換インデックスに対するシンタックス要素の値を導出するステップと、
前記第１コンテキスト情報又は前記第２コンテキスト情報に基づいて前記変換インデックスに対するシンタックス要素ビンストリングのビンをエンコードするステップとをさらに含む、請求項１２に記載の映像エンコード方法。

【請求項14】

前記シンタックス要素に対する値は、前記対象ブロックに前記非分離変換が適用されない場合を指示する０、前記変換カーネルマトリックスのうち１番目の変換カーネルマトリックスを指示する１、前記変換カーネルマトリックスのうち２番目の変換カーネルマトリックスを指示する２のいずれか１つを含み、
前記シンタックス要素に対する値はトランケーテッドユーナリコードに二進化され、前記シンタックス要素に対する値０は「０」に、前記シンタックス要素に対する値１は「１０」に、前記シンタックス要素に対する値２は「１１」に二進化されることを特徴とする請求項１３に記載の映像エンコード方法。

【請求項15】

映像デコード方法を行うようにする指示情報が格納されたコンピュータ読み取り可能なデジタル格納媒体であって、前記映像デコード方法は、
レジデュアル情報を含むビットストリームを受信するステップと、
前記レジデュアル情報に基づいて対象ブロックに対する変換係数を導出するステップと、
前記変換係数に対する逆非分離変換に基づいて修正された変換係数を導出するステップと、
前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
前記対象ブロックに対するレジデュアルサンプルに基づいて復元ピクチャを生成するステップとを含み、
前記逆非分離変換は所定の変換カーネルマトリックスを指示する変換インデックスに基づいて行われ、前記逆１次変換は水平変換カーネル及び垂直変換カーネルに対する多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ：ＭＴＳ）を指示するＭＴＳインデックスに基づいて行われ、
前記変換インデックスに対するシンタックス要素ビンストリングは、前記対象ブロックの分割構造に対するツリータイプがシングルツリータイプでないと、第１コンテキスト情報に基づいて導出され、前記ツリータイプが前記シングルツリータイプであると、第２コンテキスト情報に基づいて導出されることを特徴とするデジタル格納媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本文書は、映像コーディング技術に関し、より詳細には、映像コーディングシステムにおいて変換（ｔｒａｎｓｆｏｒｍ）に基づく映像コーディング方法及びその装置に関する。

【背景技術】

【0002】

近年、４Ｋ又は８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が様々な分野において増加している。映像／ビデオデータが高解像度、高品質になるほど既存の映像／ビデオデータに比べて相対的に送信される情報量又はビット量が増加するため、既存の有無線ブロードバンド回線のような媒体を利用して映像データを送信するか、既存の格納媒体を利用して映像／ビデオデータを格納する場合、送信費用と格納費用が増加する。

【0003】

また、最近、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの没入型メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。

【0004】

これにより、前記のような多様な特性を有する高解像度高品質の映像／ビデオの情報を効果的に圧縮して送信又は格納し、再生するために高効率の映像／ビデオ圧縮技術が要求される。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本文書の技術的課題は、映像コーディング効率を高める方法及び装置を提供することにある。

【0006】

本文書の他の技術的課題は、変換インデックスコーディングの効率を高める方法及び装置を提供することにある。

【0007】

本文書のまた他の技術的課題は、多重変換技法に基づく変換インデックスのコーディング方法及び装置を提供することにある。

【0008】

本文書のまた他の技術的課題は、変換インデックスのコンテキストコーディング方法及び装置を提供することにある。

【課題を解決するための手段】

【0009】

本文書の一実施形態によれば、デコード装置により行われる映像デコード方法を提供する。前記方法は、レジデュアルサンプルに逆１次変換及び逆非分離変換を行うステップを含み、前記逆非分離変換は、所定の変換カーネルマトリックスを指示する変換インデックスに基づいて行われ、前記逆１次変換は、水平変換カーネル及び垂直変換カーネルに対する多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ：ＭＴＳ）を指示するＭＴＳインデックスに基づいて行われ、前記変換インデックスに対するシンタックス要素ビンストリングは、前記対象ブロックの分割構造に対するツリータイプがシングルツリータイプではないと第１コンテキスト情報に基づいて導出され、前記ツリータイプが前記シングルツリータイプであると第２コンテキスト情報に基づいて導出されることを特徴とする。

【0010】

前記変換インデックスに対するシンタックス要素のビンストリングは、前記ＭＴＳインデックス値が０であり、前記ツリータイプが前記シングルツリータイプでないと、第１コンテキスト情報に基づいて導出される。

【0011】

前記ＭＴＳインデックスが受信されないと、前記ＭＴＳインデックス値は０とみなされる。

【0012】

前記変換インデックスに対するシンタックス要素ビンストリングは、前記ＭＴＳインデックスが受信されず、前記ツリータイプが前記シングルツリータイプでないと、第１コンテキスト情報に基づいて導出される。

【0013】

前記変換カーネルマトリックスは、前記対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて決定される変換セットに含まれ、前記変換インデックスは、前記逆非分離変換が適用されるか否か及び前記変換セットに含まれた前記変換カーネルマトリックスのいずれか１つを指示することができる。

【0014】

本文書の一実施形態によれば、エンコード装置により行われる映像エンコード方法を提供する。前記方法は、水平変換カーネル及び垂直変換カーネルに対する多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ：ＭＴＳ）に基づいて前記レジデュアルサンプルから前記対象ブロックに対する変換係数を導出するステップと、非分離変換のための所定の変換カーネルマトリックスに基づいて前記変換係数から修正された変換係数を導出するステップと、前記ＭＴＳを指示する前記ＭＴＳインデックス又は前記変換カーネルマトリックスを指示する変換インデックスをエンコードするステップとを含むものの、前記変換インデックスに対するシンタックス要素ビンストリングは、前記対象ブロックの分割構造に対するツリータイプがシングルツリータイプでないと第１コンテキスト情報に基づいて導出され、前記ツリータイプが前記シングルツリータイプであると第２コンテキスト情報に基づいて導出される。

【0015】

本文書のまた他の実施形態によれば、エンコード装置により行われた映像エンコード方法により生成されたエンコードされた映像情報及びビットストリームが含まれた映像データが格納されたデジタル格納媒体が提供できる。

【0016】

本文書のまた他の実施形態によれば、デコード装置により前記映像デコード方法を行うようにするエンコードされた映像情報及びビットストリームが含まれた映像データが格納されたデジタル格納媒体が提供できる。

【発明の効果】

【0017】

本文書によれば、全般的な映像／ビデオの圧縮効率を高めることができる。

【0018】

本開始によれば、変換インデックスコーディングの効率を高めることができる。

【0019】

本文書のまた他の技術的課題は、多重変換技法に基づく変換インデックスのコーディング方法及び装置を提供する。

【0020】

本文書のまた他の技術的課題は、変換インデックスのコンテキストコーディング方法及び装置を提供する。

【0021】

本明細書の具体的な一例から得られる効果は、前述した効果に制限されない。例えば、関連した技術分野における通常の知識を有する者（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が本明細書から理解又は誘導できる様々な技術的効果が存在する。これにより、本明細書の具体的な効果は、本明細書に明示的に記載されたものに制限されず、本明細書の技術的特徴から理解又は誘導できる多様な効果を含む。

【図面の簡単な説明】

【0022】

【図1】本文書が適用できるビデオ／映像コーディングシステムの例を概略的に示す。

【図2】本文書が適用できるビデオ／映像エンコード装置の構成を概略的に説明する図である。

【図3】本文書が適用できるビデオ／映像デコード装置の構成を概略的に説明する図である。

【図4】本文書の一実施形態による多重変換技法を概略的に示す。

【図5】６５個の予測方向のイントラ方向性モードを例示的に示す。

【図6】本文書の一実施形態によるＲＳＴを説明するための図である。

【図7】シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）をエンコードするためのＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）を例示的に示す。

【図8】本文書の一実施形態によるビデオデコード装置の動作を示すフローチャートである。

【図9】本文書の一実施形態による変換インデックスに基づく逆非分離変換方法を説明するための制御フローチャートである。

【図10】本文書の一実施形態によるビデオエンコード装置の動作を示すフローチャートである。

【図11】本文書の一実施形態による変換インデックスのエンコーディングを含む非分離変換方法を説明するための制御フローチャートである。

【図12】本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【発明を実施するための形態】

【0023】

本文書は、多様な変更を加えることができ、様々な実施形態を有することができるので、特定実施形態を図面に例示し、詳細に説明しようとする。しかしながら、これは、本文書を特定実施形態に限定しようとするものではない。本明細書において常用する用語は、単に特定の実施形態を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、コンテキスト上明白に異なる意味を有しない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。

【0024】

一方、本文書において説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで実現されるということを意味するものではない。例えば、各構成のうち、２つ以上の構成が結合されて１つの構成をなすことができ、１つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施形態も本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

【0025】

以下、添付した図面を参照して、本文書の好ましい実施形態をより詳細に説明する。以下、図面上の同一の構成要素に対しては、同一の参照符号を使用し、同一の構成要素に関して重複する説明は省略する。

【0026】

この文書は、ビデオ／映像コーディングに関する。例えば、この文書において開示された方法／実施形態は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、又はそれ以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準など）と関連する。

【0027】

この文書においては、ビデオ／映像コーディングに関する様々な実施形態を提示し、他の言及がない限り、前記実施形態は組み合わせられて行われることもできる。

【0028】

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味する。ピクチャ（ｐｉｃｔｕｒｅ）は一般的に特定時間帯の１つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）はコーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含む。１つのピクチャは１つ以上のスライス／タイルで構成される。１つのピクチャは１つ以上のタイルのグループで構成される。１つのタイルグループは１つ以上のタイルを含む。

【0029】

ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、１つのピクチャ（又は、映像）を構成する最小の単位を意味する。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは一般的にピクセル又はピクセルの値を示し、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。また、サンプルは空間ドメインにおけるピクセル値を意味し、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインにおける変換係数を意味し得る。

【0030】

ユニット（ｕｎｉｔ）は映像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び当該領域に関連する情報のうち少なくとも１つを含む。１つのユニットは、１つのルマブロック及び２つのクロマ（ｅｘ、ｃｂ、ｃｒ）ブロックを含む。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と混用して使用されてもよい。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（又はアレイ）を含む。

【0031】

この文書において、「／」と「、」は「及び／又は」と解釈される。例えば，「Ａ／Ｂ」は「Ａ及び／又はＢ」と解釈され、「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈される。さらに、「Ａ／Ｂ／Ｃ」は「Ａ、Ｂ及び／又はＣの少なくとも１つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／又はＣの少なくとも１つ」を意味する。(In this document, the term “/” and "," should be interpreted to indicate “and/or.” For instance, the expression “A/B” may mean “A and/or B.” Further, “A, B” may mean “A and/or B.” Further, “A/B/C” may mean “at least one of A, B, and/or C.” Also, A/B/C” may mean “at least one of A, B, and/or C.”)

【0032】

追加的に、本文書において、「又は」は「及び／又は」と解釈される。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味し、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味し得る。言い換えると、本文書の「又は」は「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味し得る。(Further, in the document, the term “or” should be interpreted to indicate “and/or.” For instance, the expression “A or B” may comprise 1) only A, 2) only B, and/or 3) both A and B. In other words, the term “or” in this document should be interpreted to indicate “additionally or alternatively.”)

【0033】

本明細書において“少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）”は、“ただＡ”、“ただＢ”または“ＡとＢの両方とも”を意味することができる。また、本明細書において“少なくとも１つのＡまたはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）”や“少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）”という表現は“少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）”と同じく解釈されることができる。

【0034】

また、本明細書において“少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”は、“ただＡ”、“ただＢ”、“ただＣ”、または“Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”を意味することができる。また、“少なくとも１つのＡ、ＢまたはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ｏｒ Ｃ）”や“少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ａｎｄ／ｏｒ Ｃ）”は“少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”を意味することができる。

【0035】

また、本明細書で使われる括弧は“例えば（ｆｏｒ ｅｘａｍｐｌｅ）”を意味することができる。具体的に、“予測（イントラ予測）”で表示された場合、“予測”の一例として“イントラ予測”が提案されたものである。言い換えると、本明細書の“予測”は“イントラ予測”に制限（ｌｉｍｉｔ）されずに、“イントラ予測”が“予測”の一例として提案されたものである。また、“予測（即ち、イントラ予測）”で表示された場合も、“予測”の一例として“イントラ予測”が提案されたものである。

【0036】

本明細書において、１つの図面内で個別的に説明される技術的特徴は、個別的に実現されることもでき、同時に具現されることもできる。

【0037】

図１は、本文書が適用できるビデオ／映像コーディングシステムの例を概略的に示す。

【0038】

図１に示すように、ビデオ／映像コーディングシステムはソースデバイス及び受信デバイスを含む。ソースデバイスはエンコードされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形態でデジタル格納媒体又はネットワークを介して受信デバイスに伝達する。

【0039】

前記ソースデバイスはビデオソース、エンコード装置、送信部を含む。前記受信デバイスは、受信部、デコード装置及びレンダラーを含む。前記エンコード装置はビデオ／映像エンコード装置と呼ばれ、前記デコード装置はビデオ／映像デコード装置と呼ばれるてもよい。送信機はエンコード装置に含まれてもよい。受信機はデコード装置に含まれてもよい。レンダラーはディスプレイ部を含んでもよく、ディスプレイ部は別のデバイス又は外部コンポーネントとして構成されてもよい。

【0040】

ビデオソースは、ビデオ／映像のキャプチャ、合成、または生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／又はビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含み、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成されることができ、この場合、関連データが生成される過程にてビデオ／映像キャプチャ過程が代替されることができる。

【0041】

エンコード装置は、入力ビデオ／映像をエンコードする。エンコード装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコードされたデータ（エンコードされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

【0042】

送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達する。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含んでもよい。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含み、放送／通信ネットワークを介しての送信のためのエレメントを含む。受信部は、前記ビットストリームを受信／抽出してデコード装置に伝達する。

【0043】

デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ／映像をデコードする。

【0044】

レンダラーは、デコードされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされる。

【0045】

図２は、本文書が適用できるビデオ／映像エンコード装置の構成を概略的に説明する図面である。以下、ビデオエンコード装置とは、映像エンコード装置を含む。

【0046】

図２に示すように、エンコード装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコード部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成される。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含む。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含む。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含む。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）又は復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）とも呼ばれる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコード部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成される。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含んでもよく、デジタル格納媒体により構成されてもよい。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含んでもよい。

【0047】

映像分割部２１０は、エンコード装置２００に入力された入力映像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割する。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）とも呼ばれる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割される。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造が後ほど適用される。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書に係るコーディング手順が行われることができる。この場合、映像特性に応じるコーディング効率などに基づいて、最大コーディングユニットが直ちに最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）より下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含む。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含んでもよい。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割又はパーティショニングされる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。

【0048】

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されてもよい。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示す。サンプルは、一般的にピクセルまたはピクセルの値を示し、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。

【0049】

減算部２３１は、入力映像信号（原本ブロック、原本サンプル又は原本サンプルアレイ）から予測部２２０から出力された予測信号（予測されたブロック、予測サンプル又は予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルサンプル又はレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は変換部２３２に送信される。予測部２２０は処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成する。予測部２２０は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか又はインター予測が適用されるかを決定する。予測部は、各予測モードに関する説明において後述するように予測モード情報などの予測に関する様々な情報を生成してエントロピーエンコード部２４０に伝達する。予測に関する情報はエントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力される。

【0050】

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードに応じて前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置するか、又は離れて位置することもある。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードを含む。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含む。方向性モードは、予測方向の細かい程度に応じて、例えば、３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示であって、設定に応じてそれ以上又はそれ以下の個数の方向性予測モードが使用されることができる。イントラ予測部２２２は周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0051】

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。そのとき、インター予測モードで送信される動き情報の量を減らすために周辺ブロックと現在ブロック間の動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測できる。前記動き情報は、動きベクタ及び参照ピクチャインデックスを含む。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）の情報をさらに含んでもよい。インター予測の場合、周辺ブロックは現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む。前記参照ブロックを含む参照ピクチャと前記時間的周辺ブロックを含む参照ピクチャは同一であってもよく、異なってもよい。前記時間的周辺ブロックは同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名で呼ばれ、前記時間的周辺ブロックを含む参照ピクチャは同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれる。例えば、インター予測部２２１は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するためにどの候補が使われるかを指示する情報を生成する。様々な予測モードに基づいてインター予測が行われることができ、例えば、スキップモードとマージモードの場合、インター予測部２２１は周辺ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードと違ってレジデュアル信号が送信されない可能性がある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ：ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより現在ブロックの動きベクトルを指示することができる。

【0052】

予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成する。例えば、予測部は１つのブロックに対する予測のためにイントラ予測又はインター予測を適用できるだけでなく、イントラ予測とインター予測を同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ：ＩＢＣ）を行うこともできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ映像／動画コーディングのために使用できる。ＩＢＣは基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似に行われる。すなわち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも１つを利用することができる。

【0053】

インター予測部２２１及び／又はイントラ予測部２２２により生成された予測信号は、復元信号を生成するために利用されるかレジデュアル信号を生成するために利用されることができる。変換部２３２はレジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）などを含む。ここで、ＧＢＴはピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックにも適用でき、正方形ではない可変サイズのブロックにも適用できる。

【0054】

量子化部２３３は、変換係数を量子化してエントロピーエンコード部２４０に送信し、エントロピーエンコード部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームとして出力する。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコード部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々なエンコード方法を行うことができる。エントロピーエンコード部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を共に、または別にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信又は格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含む。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含んでもよい。本文書において後述されるシグナリング／送信される情報及び／又はシンタックス要素は、前述のエンコード手順によりエンコードされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含み、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含む。エントロピーエンコード部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコード装置２００の内／外部エレメントとして構成されることができ、または送信部は、エントロピーエンコード部２４０に含まれることもできる。

【0055】

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによりレジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることにより復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプル又は復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0056】

一方、ピクチャエンコーディング及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0057】

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含む。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0058】

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコード装置は、これによりインター予測が適用される場合、エンコード装置２００とデコード装置３００での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

【0059】

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するためにインター予測部２２１に伝達される。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。

【0060】

図３は、本文書が適用できるビデオ／映像デコード装置の構成を概略的に説明する図である。

【0061】

図３に示すように、デコード装置３００は、エントロピーデコード部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｒｙ）３６０を含んで構成される。予測部３３０は、インター予測部３３２及びイントラ予測部３３１を含む。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２２を含む。前述したエントロピーデコード部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセット又はプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。

【0062】

ビデオ／映像情報を含むビットストリームが入力されると、デコード装置３００は、図２のエンコード装置においてビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコード装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコード装置３００は、エンコード装置において適用された処理ユニットを用いてデコードを行う。従って、デコーディングの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットからクアッドツリー構造、バイナリツリー構造及び／又はターナリツリー構造に応じて分割される。コーディングユニットから１つ以上の変換ユニットが導出される。そして、デコード装置３００によりデコーディング及び出力された復元映像信号は、再生装置により再生される。

【0063】

デコード装置３００は、図２のエンコード装置から出力された信号をビットストリーム形態で受信し、受信された信号は、エントロピーデコード部３１０によりデコードされる。例えば、エントロピーデコード部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出できる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含んでもよい。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含んでもよい。デコード装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコードする。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコード手順を介してデコードされて前記ビットストリームから取得されることができる。例えば、エントロピーデコード部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法を基礎としてビットストリーム内の情報をデコードし、映像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値などを出力する。より詳細に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームにおいて各構文要素に該当するビンを受信し、デコード対象構文要素情報と周辺及びデコード対象ブロックのデコード情報又は以前ステップでデコードされたシンボル／ビンの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行って各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、コンテキストモデル決定後、次のシンボル／ビンのコンテキストモデルのためにデコードされたシンボル／ビンの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコード部３１０においてデコードされた情報のうち予測に関する情報は予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコード部３１０においてエントロピーデコードが行われたレジデュアルに関する情報、即ち、量子化された変換係数及び関連パラメータ情報は逆量子化部３２１に入力されることができる。また、エントロピーデコード部３１０でデコードされた情報のうちフィルタリングに関する情報は、フィルタリング部３５０に提供できる。一方、エンコード装置から出力された信号を受信する受信部（図示せず）がデコード装置３００の内／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコード部３１０の構成要素でもあり得る。一方、本文書によるデコード装置は、ビデオ／映像／ピクチャデコード装置と呼ばれてもよく、前記デコード装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコード部３１０を含んでもよく、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、メモリ３６０のうち、少なくとも１つを含む。

【0064】

逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力する。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコード装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0065】

逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得する。

【0066】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコード部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

【0067】

予測部は、後述する様々な予測方法に基づいて予測信号を生成する。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれてもよい。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。前記イントラブロックコピーは、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内において参照ブロックを導出する点でインター予測と類似に行われることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。

【0068】

イントラ予測部３３２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置し、または離れて位置することもできる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含む。イントラ予測部３３２は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0069】

インター予測部３３１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロックまたはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含む。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含む。例えば、インター予測部３３１は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

【0070】

加算部３４０は、取得されたレジデュアル信号を予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。

【0071】

加算部３４０は、復元部または復元ブロック生成部と呼ばれてもよい。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることもでき、または次のピクチャのインター予測のために使用されることもできる。

【0072】

一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0073】

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成し、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含む。

【0074】

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３１において参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的周辺ブロックの動き情報又は時間的周辺ブロックの動き情報として活用するために、インター予測部３３１に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３２に伝達することができる。

【0075】

本明細書において、デコード装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２及びフィルタリング部３５０などにおいて説明された実施形態は、各々エンコード装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５及びフィルタリング部２６０などにも同一または対応するように適用されることができる。

【0076】

前述のようにビデオコーディングを行うにおいて、圧縮効率を高めるために予測を行う。これによりコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（又は、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックはエンコード装置及びデコード装置から同一に導出され、前記エンコード装置は原本ブロックの原本サンプル値自体ではなく、前記原本ブロックと前記予測されたブロック間のレジデュアルに関する情報（レジデュアル情報）をデコード装置にシグナリングすることにより映像コーディング効率を高めることができる。デコード装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

【0077】

前記レジデュアル情報は、変換及び量子化手順を介して生成される。例えば、エンコード装置は、前記原本ブロックと前記予測されたブロック間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれるレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を行って変換係数を導出し、前記変換係数に量子化手順を行って量子化された変換係数を導出して、関連するレジデュアル情報を（ビットストリームを介して）デコード装置にシグナリングすることができる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコード装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を行い、レジデュアルサンプル（又はレジデュアルブロック）を導出することができる。デコード装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。エンコード装置は、また、ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

【0078】

図４は、本文書による多重変換技法を概略的に示す。

【0079】

図４に示すように、変換部は前述の図２のエンコード装置内の変換部に対応でき、逆変換部は前述の図２のエンコード装置内の逆変換部又は図３のデコード装置内の逆変換部に対応できる。

【0080】

変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を行って（１次）変換係数を導出すことができる（Ｓ４１０）。このような１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は核心変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と呼ばれてもよい。ここで、前記１次変換は多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づき、１次変換で多重変換が適用された場合、多重核心変換と呼ばれることができる。

【0081】

多重コア変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２と、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／又はＤＳＴタイプ１を追加的に使って変換する方式を示す。すなわち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８及び前記ＤＳＴタイプ１のうち選択された複数の変換カーネルに基づいて空間ドメインのレジデュアル信号（又は、レジデュアルブロック）を周波数ドメインの変換係数（又は、１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は変換部の立場から臨時変換係数と呼ばれてもよい。

【0082】

言い換えれば、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいてレジデュアル信号（又は、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成されることができた。これと異なり、前記多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８及び／又はＤＳＴタイプ１などに基づいてレジデュアル信号（又は、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（又は、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１などは変換タイプ、変換カーネル（ｋｅｒｎｅｌ）又は変換コア（ｃｏｒｅ）と呼ばれてもよい。このようなＤＣＴ／ＤＳＴ変換タイプは基底関数に基づいて定義される。

【0083】

前記多重核心変換が行われる場合、前記変換カーネルのうち対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が行われ、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が行われる。ここで、前記水平変換は前記対象ブロックの水平成分に対する変換を示し、前記垂直変換は前記対象ブロックの垂直成分に対する変換を示す。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵ又はサブブロック）の予測モード及び／又は変換インデックスに基づいて適応的に決定される。

【0084】

また、一例によれば、ＭＴＳを適用して１次変換を行う場合、特定の基底関数を所定値に設定し、垂直変換又は水平変換のときにどのような基底関数が適用されるかを組み合わせて変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒと示し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒと示す場合、ｔｒＴｙｐｅＨｏｒ 又はｔｒＴｙｐｅＶｅｒ値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒ値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒ又はｔｒＴｙｐｅＶｅｒ値２はＤＣＴ８に設定される。

【0085】

この場合、多数の変換カーネルセットのうちいずれか１つを指示するためにＭＴＳインデックス情報がエンコードされてデコード装置にシグナリングされることができる。例えば、ＭＴＳインデックスが０であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも０であることを指示し、ＭＴＳインデックスが１であると、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも１であることを指示し、ＭＴＳインデックスが２であると、ｔｒＴｙｐｅＨｏｒ値は２であり、ｔｒＴｙｐｅＶｅｒ値は１であることを指示し、ＭＴＳインデックスが３であると、ｔｒＴｙｐｅＶｅｒ値は１であることを指示する。

【0086】

一例によって、ＭＴＳインデックス情報による変換カーネルセットを表に示すと、以下のようになる。

【0087】

【表1】

【0088】

変換部は、前記（１次）変換係数に基づいて２次変換を行って修正された（２次）変換係数を導出する（Ｓ４２０）。前記１次変換は空間ドメインから周波数ドメインへの変換であり、前記２次変換は（１次）変換係数間に存在する相関（ｃｏｒｒｅｌａｔｉｏｎ）を用いてより圧縮的な表現に変換することを意味する。前記２次変換は非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含む。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）又はＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれる。前記非分離２次変換は、前記１次変換により導出された（１次）変換係数を非分離変換マトリックス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する修正された変換係数（又は、２次変換係数）を生成する変換を示す。ここで、前記非分離変換マトリックスに基づいて前記（１次）変換係数に対して垂直変換及び水平変換を分離して（又は、水平垂直変換を独立的に）適用することなく、一度に変換を適用することができる。言い換えると、前記非分離２次変換は、前記（１次）変換係数の垂直成分及び水平成分を分離せずに、例えば、２次元信号（変換係数）を特定の定まった方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向又は列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を介して１次元信号に再整列した後、前記非分離変換マトリックスに基づいて修正された変換係数（又は、２次変換係数）を生成する変換方法を示す。例えば、行優先の順序は、Ｍ×Ｎブロックに対して１番目の行、２番目の行、．．．、Ｎ番目の行の順に一列に配置することであり、列優先の順序は、Ｍ×Ｎブロックに対して１番目の列、２番目の列、．．．Ｍ番目の列の順に一列に配置することである。前記非分離２次変換は（１次）変換係数から構成されるブロック（以下、変換係数ブロックという）の左上端（ｔｏｐ－ｌｅｆｔ）領域に対して適用できる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上である場合、８×８非分離２次変換が前記変換係数ブロックの左上端８×８領域に対して適用できる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上であるとともに、前記変換係数ブロックの幅（Ｗ）又は高さ（Ｈ）が８より小さい場合、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して適用できる。だたし、実施形態はこれに限定されず、例えば、前記変換係数ブロックの幅（Ｗ）又は高さ（Ｈ）が全て４以上である条件のみを満足しても、４×４非分離２次変換が前記変換係数ブロックの左上端ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して適用されることもできる。

【0089】

具体的に、例えば、４×４入力ブロックが使用される場合、非分離２次変換は次のように行われる。

【0090】

前記４×４入力ブロックＸは、以下のように表示される。

【0091】

【数1】

【0092】

前記Ｘをベクトル形態で示す場合、ベクトルは次のように示されることができる。

【0093】

【数2】

【0094】

数式２のように、ベクトル

は行優先（ｒｏｗ－ｆｉｒｓｔ）順序に従って数式１のＸの２次元ブロックを１次元ベクトルに再配列する。

【0095】

この場合、前記２次非分離変換は、次のように計算されることができる。

【0096】

【数3】

【0097】

ここで、

は変換係数ベクトルを示し、Ｔは１６×１６（非分離）変換マトリックスを示す。

【0098】

前記数式３により１６×１変換係数ベクトル

が導出でき、前記

はスキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）など）に従って４×４ブロックに再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）されることができる。ただし、前述の計算は例示であって、非分離２次変換の計算複雑度を減らすためにＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｆｏｒｍ）などが非分離２次変換の計算のために使われることもできる。

【0099】

一方、前記非分離２次変換はモード基盤（ｍｏｄｅ ｄｅｐｅｎｄｅｎｔ）で変換カーネル（又は、変換コア、変換タイプ）が選択されることができる。ここで、モードは、イントラ予測モード及び／又はインター予測モードを含む。

【0100】

前述のように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換又は４×４変換に基づいて行われる。８×８変換は、ＷとＨが両方とも８より大きいか等しい場合、当該変換係数ブロック内部に含まれる８×８領域に適用できる変換を示し、当該８×８領域は当該変換係数ブロック内部の左上端８×８領域であり得る。類似に、４×４変換はＷとＨが両方とも４より大きいか等しいときに当該変換係数ブロック内部に含まれる４×４領域に適用できる変換を示し、当該４×４領域は当該変換係数ブロック内部の左上端４×４領域であり得る。例えば、８×８変換カーネルマトリックスは６４×６４／１６×６４行列、４×４変換カーネルマトリックスは１６×１６／８×１６行列となりうる。

【0101】

このとき、モード基盤変換カーネルの選択のために、８×８変換及び４×４変換の両方に対して、非分離２次変換のための変換セットあたり２つずつの非分離２次変換カーネルが構成され、変換セットは４つであり得る。すなわち、８×８変換に対して４つの変換セットが構成され、４×４変換に対して４つの変換セットが構成される。この場合、８×８変換に対する４つの変換セットにはそれぞれ２つずつの８×８変換カーネルが含まれ、この場合、４×４変換に対する４つの変換セットにはそれぞれ２つずつの４×４変換カーネルが含まれる。

【0102】

ただし、前記変換のサイズ、前記セットの数及びセット内の変換カーネルの数は例示であって、８×８又は４×４以外のサイズが使用されてもよく、又はｎ個のセットが構成され、各セット内にｋ個の変換カーネルが含まれてもよい。

【0103】

前記変換セットはＮＳＳＴセットとも呼ばれ、前記ＮＳＳＴセット内の変換カーネルはＮＳＳＴカーネルとも呼ばれる。前記変換セットのうち、特定のセットの選択は、例えば、対象ブロック（ＣＵ又はサブブロック）のイントラ予測モードに基づいて行われる。

【0104】

参考として、例えば、イントラ予測モードは２つの非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ、または、非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ、または、角度性（ａｎｇｕｌａｒ））イントラ予測モードを含む。前記非方向性イントラ予測モードは、０番のプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番のＤＣイントラ予測モードを含み、前記方向性イントラ予測モードは、２番ないし６６番の６５個のイントラ予測モードを含む。ただし、これは例示であって、本文書はイントラ予測モードの数が異なる場合にも適用できる。一方、場合によって、６７番イントラ予測モードがもっと使用されることがあり、前記６７番イントラ予測モードはＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを示すことができる。

【0105】

図５は、６５個の予測方向のイントラ方向性モードを例示的に示す。

【0106】

図５に示すように、左上向対角予測方向を有する３４番イントラ予測モードを中心に水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードとを区分することができる。図５のＨとＶは、それぞれ水平方向性と垂直方向性を意味し、－３２～３２の数字はサンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。これはモードインデックス値に対するオフセットを示す。２番ないし３３番イントラ予測モードは水平方向性、３４番ないし６６番イントラ予測モードは垂直方向性を有する。一方、３４番イントラ予測モードは厳密に言うと水平方向性でも垂直方向性でもないと言えるが、２次変換の変換セットを決定する観点から水平方向性に属すると分類できる。これは、３４番イントラ予測モードを中心に対称となる垂直方向モードに対しては入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番イントラ予測モードに対しては水平方向モードに対する入力データ整列方式を使用するためである。入力データをトランスポーズすることは、２次元ブロックデータＭ×Ｎに対して行が列となり、列が行となってＮ×Ｍデータを構成することを意味する。１８番イントラ予測モードと５０番イントラ予測モードはそれぞれ水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示し、２番イントラ予測モードは、左側参照ピクセルを有して右上向の方向に予測するので、右上向対角イントラ予測モードと呼ばれ、同じ脈絡で、３４番イントラ予測モードは右下向対角イントラ予測モード、６６番イントラ予測モードは左下向対角イントラ予測モードと呼ばれる。

【0107】

一例によって、イントラ予測モードに従って４つの変換セットのマッピング（ｍａｐｐｉｎｇ）は、例えば、次の表のように示されることができる。

【0108】

【表2】

【0109】

表２のように、イントラ予測モードによって４つの変換セットのうちいずれか１つ、すなわち、ｓｔＴｒＳｅｔＩｄｘが０から３、すなわち、４つのいずれか１つにマッピングされることができる。

【0110】

一方、非分離変換に特定のセットが使用されることが決定されると、非分離２次変換インデックスにより前記特定のセット内のｋ個の変換カーネルのいずれか１つが選択される。エンコード装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定の変換カーネルを示す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコード装置にシグナリングすることができる。デコード装置は、前記非分離２次変換インデックスに基づいて特定のセット内のｋ個の変換カーネルのうち１つを選択することができる。例えば、ＮＳＳＴインデックス値０は１番目の非分離２次変換カーネルを示し、ＮＳＳＴインデックス値１は２番目の非分離２次変換カーネルを示し、ＮＳＳＴインデックス値２は３番目の非分離２次変換カーネルを示す。または、ＮＳＳＴインデックス値０は、対象ブロックに対して１番目の非分離２次変換が適用されないことを示し、ＮＳＳＴインデックス値１ないし３は前記３つの変換カーネルを示すことができる。

【0111】

変換部は、選択された変換カーネルに基づいて前記非分離２次変換を行い、修正された（２次）変換係数を取得する。前記修正された変換係数は、前述のように量子化部により量子化された変換係数として導出され、エンコードされてデコード装置にシグナリング及びエンコード装置内の逆量子化／逆変換部に伝達されることができる。

【0112】

一方、前述のように２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が前述のように量子化部により量子化された変換係数として導出され、エンコードされてデコード装置にシグナリング及びエンコード装置内の逆量子化／逆変換部に伝達されることができる。

【0113】

逆変換部は、前述の変換部において行われた手順の逆順で一連の手順を行うことができる。逆変換部は、（逆量子化された）変換係数を受信して、２次（逆）変換を行って（１次）変換係数を導出し（Ｓ４５０）、前記（１次）変換係数に対して１次（逆）変換を行ってレジデュアルブロック（レジデュアルサンプル）を取得する（Ｓ４６０）。ここで、前記１次変換係数は逆変換部の立場から修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれることができる。エンコード装置及びデコード装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成できることは前述の通りである。

【0114】

一方、デコード装置は、２次逆変換適用可否決定部（又は、２次逆変換の適用可否を決定する要素）と、２次逆変換決定部（又は、２次逆変換を決定する要素）をさらに含む。２次逆変換適用可否決定部は２次逆変換を適用するか否かを決定する。例えば、２次逆変換はＮＳＳＴ又はＲＳＴであり、２次逆変換適用可否決定部はビットストリームからパーシングした２次変換フラグに基づいて２次逆変換を適用するか否かを決定する。他の一例として、２次逆変換適用可否決定部は、レジデュアルブロックの変換係数に基づいて２次逆変換を適用するか否かを決定する。

【0115】

２次逆変換決定部は２次逆変換を決定する。そのとき、２次逆変換決定部は、イントラ予測モードによって指定されたＮＳＳＴ（又はＲＳＴ）変換セットに基づいて現在ブロックに適用される２次逆変換を決定する。また、一実施形態として、１次変換決定方法に依存的に（ｄｅｐｅｎｄ ｏｎ）２次変換決定方法が決定されることができる。イントラ予測モードによって１次変換と２次変換の様々な組み合わせが決定される。また、一例として、２次逆変換決定部は、現在ブロックのサイズに基づいて２次逆変換が適用される領域を決定することもできる。

【0116】

一方、前述のように２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して前記１次（分離）逆変換を行ってレジデュアルブロック（レジデュアルサンプル）を取得する。エンコード装置及びデコード装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成できることは前述の通りである。

【0117】

一方、本文書では、非分離２次変換に伴う計算量とメモリ要求量の低減のために、ＮＳＳＴの概念において変換マトリックス（カーネル）のサイズが減少されたＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）が適用できる。

【0118】

一方、本文書で説明された変換カーネル、変換マトリックス、変換カーネルマトリックスを構成する係数、すなわち、カーネル係数又はマトリックス係数は８ビットで表現されることができる。これはデコード装置及びエンコード装置において実現されるための条件の１つであり、既存の９ビット又は１０ビットと比較して合理的に収容できる性能の低下を伴うとともに、変換カーネルを格納するためのメモリ要求量を低減することができる。また、カーネルマトリックスを８ビットで表現することにより小さい乗算器を使用することができ、最適のソフトウェア実現のために使用されるＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）命令にさらに適合する。

【0119】

本明細書において、ＲＳＴは簡素化ファクタ（ｆａｃｔｏｒ）によってサイズが減少した変換マトリックス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて対象ブロックに対するレジデュアルサンプルに対して行われる変換を意味する。簡素化変換を行う場合、変換マトリックスのサイズ減少により、変換時に要求される演算量が減少する。すなわち、ＲＳＴはサイズが大きいブロックの変換又は非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）イシューを解消するために利用できる。

【0120】

ＲＳＴは、減少された変換、減少変換、Ｒｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍなどの様々な用語で呼ばれてもよく、ＲＳＴを呼ぶ名称は、前述した例示に限定されない。また、ＲＳＴは主に変換ブロックにおいて０ではない係数を含む低周波領域で行われるため、ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれてもよい。

【0121】

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコード装置２００の逆変換部２３５とデコード装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部とを含む。逆１次変換はレジデュアルに適用された１次変換の逆変換を意味する。本文書において変換に基づいて変換係数を導出することは、当該変換を適用して変換係数を導出することを意味する。

【0122】

図６は、本文書の実施形態によるＲＳＴを説明するための図である。

【0123】

本明細書において、「対象ブロック」は、コーディングが行われる現在ブロック又はレジデュアルブロック又は変換ブロックを意味し得る。

【0124】

一実施形態によるＲＳＴにおいて、Ｎ次元ベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が異なる空間に位置するＲ次元ベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマッピングされて減少した変換マトリクスが決定され、ここで、ＲはＮより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の二乗又は変換が適用されるブロックと対応する変換係数の総個数を意味し、簡素化ファクタはＲ／Ｎ値を意味し得る。簡素化ファクタは、減少されたファクタ、減少ファクタ、ｒｅｄｕｃｅｄ ｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ、ｓｉｍｐｌｅ ｆａｃｔｏｒなど、様々な用語と呼ばれる。一方、Ｒは簡素化係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれてもよいが、場合によっては簡素化ファクタがＲを意味することもあり得る。また、場合によって、簡素化ファクタはＮ／Ｒ値を意味し得る。

【0125】

一実施形態において、簡素化ファクタ又は簡素化係数はビットストリームを介してシグナリングできるが、実施形態がこれに限定されるものではない。例えば、簡素化ファクタ又は簡素化係数に対する既定義の値が、各エンコード装置２００及びデコード装置３００に格納されている場合があり、この場合、簡素化ファクタ又は簡素化係数は別途にシグナリングされない場合がある。

【0126】

一実施形態による簡素化変換マトリックスのサイズは通常の変換マトリックスのサイズＮ×Ｎより小さいＲ×Ｎであり、下記の数式４のように定義される。

【0127】

【数4】

【0128】

図６の（ａ）に示されたＲｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍブロック内のマトリックスＴは、数式４のマトリックスＴＲ×Ｎを意味する。図６の（ａ）のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリックスＴＲ×Ｎが掛けられる場合、対象ブロックに対する変換係数が導出される。

【0129】

一実施形態において、変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（すなわち、Ｒ／Ｎ＝１６／６４＝１／４である）である場合、図６の（ａ）によるＲＳＴは下記の数式５のような行列演算で表現される。この場合、メモリと乗算演算が簡素化ファクタにより約１／４に減少する。

【0130】

本文書において、行列演算とは、行列を列ベクトルの左側に置き、行列と列ベクトルを乗算して列ベクトルを得る演算として理解できる。

【0131】

【数5】

【0132】

数式５において、ｒ１ないしｒ６４は対象ブロックに対するレジデュアルサンプルを示し、より具体的に、１次変換を適用して生成された変換係数である。数式５の演算結果、対象ブロックに対する変換係数ｃｉが導出でき、ｃｉの導出過程は数式６のようである。

【0133】

【数6】

【0134】

数式６の演算の結果、対象ブロックに対する変換係数ｃ１ないしｃＲが導出される。すなわち、Ｒ＝１６である場合、対象ブロックに対する変換係数ｃ１ないしｃ１６が導出される。もし、ＲＳＴではなく通常の（ｒｅｇｕｌａｒ）変換が適用されてサイズが６４×６４（Ｎ×Ｎ）である変換マトリックスがサイズが６４×１（Ｎ×１）であるレジデュアルサンプルに乗算されたら、対象ブロックに対する変換係数が６４個（Ｎ個）が導出されるが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少し、エンコード装置２００がデコード装置３００に送信するデータの量が減少するので、エンコード装置２００－デコード装置３００間の送信効率が増加する。

【0135】

変換マトリックスのサイズ観点から検討すると、通常の変換マトリックスのサイズは６４×６４（Ｎ×Ｎ）であるが、簡素化変換マトリックスのサイズは１６×６４（Ｒ×Ｎ）に減少するので、通常の変換を行うときと比較すると、ＲＳＴを行うときのメモリ使用をＲ／Ｎ比率に減少させることができる。また、通常の変換マトリックスを利用するときの乗算演算数Ｎ×Ｎと比較すると、簡素化変換マトリックスを利用すれば乗算演算数をＲ／Ｎ比率に減少（Ｒ×Ｎ）させることができる。

【0136】

一実施形態において、エンコード装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴ基盤の２次変換を行うことにより、対象ブロックに対する変換係数を導出することができる。このような変換係数はデコード装置３００の逆変換部に伝達でき、デコード装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる。

【0137】

一実施形態による逆ＲＳＴマトリックスＴＮ×Ｒのサイズは通常の逆変換マトリックスのサイズＮ×Ｎより小さいＮ×Ｒであり、数式４に示された簡素化変換マトリックスＴＲ×Ｎとトランスポーズ（ｔｒａｎｓｐｏｓｅ）の関係にある。

【0138】

図６の（ｂ）に示されたＲｅｄｕｃｅｄ Ｉｎｖ．Ｔｒａｎｓｆｏｒｍブロック内のマトリックスＴｔは逆ＲＳＴマトリックスＴＲ×ＮＴを意味する（上付き文字Ｔはトランスポーズを意味する）。図６の（ｂ）のように、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴＲ×ＮＴが掛けられる場合、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルが導出される。逆ＲＳＴマトリックスＴＲ×ＮＴは、（ＴＲ×Ｎ）ＴＮ×Ｒで表現することもできる。

【0139】

より具体的に、２次逆変換として逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴＲ×ＮＴが掛けられると、対象ブロックに対する修正された変換係数が導出される。一方、逆１次変換として逆ＲＳＴが適用でき、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリックスＴＲ×ＮＴが掛けられると、対象ブロックに対するレジデュアルサンプルが導出できる。

【0140】

一実施形態において、逆変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（すなわち、Ｒ＝１６／６４＝１／４である場合）である場合、図６ の（ｂ）によるＲＳＴは下記の数式７のような行列演算で表現できる。

【0141】

【数7】

【0142】

数式７において、ｃ１ないしｃ１６は対象ブロックに対する変換係数を示す。数式７の演算結果、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルを示すｒｊが導出され、ｒｊの導出過程は数式８のようである。

【0143】

【数8】

【0144】

数式８の演算結果、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルを示すｒ１ないしｒＮが導出される。逆変換マトリックスのサイズの観点から検討すると、通常の逆変換マトリックスのサイズは６４×６４（Ｎ×Ｎ）であるが、簡素化逆変換マトリックスのサイズは６４×１6（Ｎ×Ｒ）に減少するので、通常の逆変換を行うときと比較すると、逆ＲＳＴを行うときにメモリ使用をＲ／Ｎの割合に減少できる。また、通常の逆変換マトリックスを利用するときの乗算演算数Ｎ×Ｎと比較すると、簡素化逆変換マトリックスを利用すると、乗算演算数をＲ／Ｎの割合に減少（Ｎ×Ｒ）させることができる。

【0145】

一方、８×８ＲＳＴについても、表２のような変換セット構成を適用することができる。すなわち、表２での変換セットに応じて該当８×８ＲＳＴが適用できる。１つの変換セットは画面内の予測モードに応じて２つ又は３つの変換（カーネル）で構成されているので、２次変換を適用しない場合まで含めて最大４つの変換のうち１つを選択するように構成される。２次変換を適用しないときの変換は恒等行列が適用されたものとみなされることができる。４つの変換に対してそれぞれ０、１、２、３のインデックスを付与するとしたとき（例えば、０番インデックスを恒等行列、すなわち、２次変換を適用しない場合として割り当てることができる）、ＮＳＳＴインデックスというシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を変換係数ブロック毎にシグナリングして適用される変換を指定することができる。すなわち、ＮＳＳＴインデックスを介して８×８左上端ブロックに対して、８×８ＮＳＳＴを指定することができ、ＲＳＴ構成においては８×８ＲＳＴを指定することができる。８×８ＮＳＳＴ及び８×８ＲＳＴは、変換の対象となる対象ブロックのＷとＨが両方とも８より大きいか等しいとき、当該変換係数ブロック内部に含まれる８×８領域に適用できる変換を示し、当該８×８領域は当該変換係数ブロック内部の左上端８×８領域であり得る。類似に、４×４ＮＳＳＴ及び４×４ＲＳＴは、対象ブロックのＷとＨが両方とも４大きいか等しいとき、当該変換係数ブロックの内部に含まれる４×４領域に適用できる変換を示し、当該４×４領域は当該変換係数ブロック内部の左上端４×４領域であり得る。

【0146】

一方、本文書の一実施形態によって、エンコード過程の変換において、８×８領域を構成する６４個のデータに対して１６×６４変換カーネルマトリックスではなく、４８個のデータのみを選択して最大１６×４８変換カーネルマトリックスを適用できる。ここで、「最大」とは、ｍ個の係数を生成できるｍ×４８変換カーネルマトリックスに対してｍの最大値が１６であることを意味する。すなわち、８×８領域にｍ×４８変換カーネルマトリックス（ｍ≦１６）を適用してＲＳＴを行う場合、４８個のデータを受信してｍ個の係数を生成することができる。ｍが１６である場合、４８個のデータを受信して１６個の係数を生成する。すなわち、４８個のデータが４８×１ベクトルをなすとしたとき、１６×４８行列と４８×１ベクトルを順番に乗算して１６×１ベクトルが生成される。このとき、８×８領域を成す４８個のデータを適切に配列して４８×１ベクトルを構成することができる。この時、最大１６×４８変換カーネルマトリックスを適用して行列演算を行うと、１６個の修正された変換係数が生成されるが、１６個の修正された変換係数はスキャニング順序に従って左上端４×４領域に配置され、右上端４×４領域と左下端４×４領域は０で充填されることができる。

【0147】

デコード過程の逆変換には、前述の変換カーネルマトリックスのトランスポーズされたマトリックスが使用される。すなわち、デコード装置で行われる逆変換過程として逆ＲＳＴ又はＬＦＮＳＴが行われる場合、逆ＲＳＴを適用する入力係数データは所定の配列順序に従って１次元ベクトルで構成され、１次元ベクトルに当該逆ＲＳＴ行列を左で乗算して得られた修正された係数ベクトルを所定の配列順序に従って２次元ブロックに配列する。

【0148】

まとめると、変換過程で、８×８領域にＲＳＴ又はＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち８×８領域の右下端領域を除いた左上端、 右上端、左下端領域の４８個の変換係数と１６×４８の変換カーネルマトリックスとの行列演算が行われる。行列演算のために４８個の変換係数は１次元配列で入力される。このような行列演算が行われると、１６個の修正された変換係数が導出され、修正された変換係数は８×８領域の左上端領域に配列される。

【0149】

逆に、逆変換の過程で、８×８領域に逆ＲＳＴ又はＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち８×８領域の左上端に対応する１６個の変換係数は、スキャニング順序に従って１次元配列形態で入力されて４８×１６の変換カーネルマトリックスと行列演算されることができる。すなわち、このような場合の行列演算は、（４８×１６行列）＊（１６×１変換係数ベクトル）＝（４８×１修正された変換係数ベクトル）と示すことができる。ここで、ｎ×１ベクトルはｎ×１行列と同じ意味に解釈できるので、ｎ×１列ベクトルと表記されることもできる。また、＊は行列乗算演算を意味する。このような行列演算が行われると、４８個の修正された変換係数が導出でき、４８個の修正された変換係数は、８×８領域の右下端領域を除いた左上端、右上端、左下端領域に配列される。

【0150】

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコード装置２００の逆変換部２３５とデコード装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部とを含む。逆１次変換はレジデュアルに適用された１次変換の逆変換を意味する。本文書において変換に基づいて変換係数を導出することは、当該変換を適用して変換係数を導出することを意味する。

【0151】

一方、前述のように、エンコード装置は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々なエンコード方法を行うことができる。また、デコード装置は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードし、映像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。

【0152】

例えば、前述のコーディング方法は後述のように行われる。

【0153】

図７は、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）をエンコードするためのＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）を例示的に示す。例えば、ＣＡＢＡＣの符号化過程は、エンコード装置は、入力信号が二進値ではないシンタックス要素である場合には、前記入力信号の値を二進化（ｂｉｎａｒｉｚａｔｉｏｎ）して入力信号を二進値に変換することができる。また、前記入力信号が既に二進値である場合（すなわち、前記入力信号の値が二進値である場合）には、二進化が行われずにバイパス（ｂｙｐａｓｓ）されることができる。ここで、二進値を構成するそれぞれの二進数０又は１をビン（ｂｉｎ）と言える。例えば、二進化後の二進ストリングが１１０である場合、１、１、０のそれぞれを１つのビンという。１つのシンタックス要素に対する前記ビン（ら）は前記シンタックス要素の値を示す。このような二進化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ、Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなど様々な二進化方法に基づくことができ、対象シンタックス要素に対する二進化方法は予め定義されることができる。前記二進化手順は、エントロピーエンコード部内の二進化部により行われる。

【0154】

その後、前記シンタックス要素の二進化したビンは正規（ｒｅｇｕｌａｒ）符号化エンジン又はバイパス符号化エンジンに入力されることができる。エンコード装置の正規符号化エンジンは、当該ビンに対して確率値を反映するコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を割り当てることができ、割り当てられたコンテキストモデルに基づいて当該ビンをエンコードすることができる。エンコード装置の前記正規符号化エンジンは、各ビンに対するエンコードを行った後、当該ビンに対するコンテキストモデルを更新することができる。前述のようにエンコードされるビンは、コンテキスト符号化ビン（ｃｏｎｔｅｘｔ－ｃｏｄｅｄ ｂｉｎ）と言える。

【0155】

一方、前記シンタックス要素の二進化したビンが前記バイパス符号化エンジンに入力される場合には、以下のようにコーディングされることができる。例えば、エンコード装置のバイパス符号化エンジンは、入力されたビンに対して確率を推定する手順と符号化後に前記ビンに適用した確率モデルを更新する手順を省略する。バイパスエンコードが適用される場合、エンコード装置はコンテキストモデルを割り当てる代わりに均一な確率分布を適用して入力されるビンをエンコードでき、これによりエンコード速度を向上させることができる。前述のようにエンコードされるビンはバイパスビン（ｂｙｐａｓｓ ｂｉｎ）と言える。

【0156】

エントロピーデコードは、前述のエントロピーエンコードと同一の過程を逆順で行う過程を示す。

【0157】

デコード装置（エントロピーデコード部）は、エンコードされた映像／ビデオ情報をデコードする。前記映像／ビデオ情報は、パーティショニング関連情報、予測関連情報（例えば、インターイントラ予測区分情報、イントラ予測モード情報、インター予測モード情報など）、レジデュアル情報、インループフィルタリング関連情報などを含み、また、それに関する様々なシンタックス要素を含むことができる。前記エントロピーコーディングは、シンタックス要素単位で行われることができる。

【0158】

デコード装置は、対象シンタックス要素に対する二進化を行うことができる。ここで、前記二進化はＴｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ、Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなど様々な二進化方法に基づき、対象シンタックス要素に対する二進化方法は予め定義されることができる。デコード装置は、前記二進化手順により対象シンタックス要素の可用値に対する可用ビンストリング（ビンストリング候補）を導出することができる。前記二進化手順はエントロピーデコード部内の二進化部により行われる。

【0159】

デコード装置は、ビットストリーム内の入力ビット（ら）から前記対象シンタックス要素に対する各ビンを順次デコード及びパーシングしながら、導出されたビンストリングを当該シンタックス要素に対する可用ビンストリングと比較する。もし、導出されたビンストリングが前記可用ビンストリングのうち１つと同一であると、当該ビンストリングに対応する値が当該シンタックス要素の値として導出される。もし、そうでないと、前記ビットストリーム内の次のビットをさらにパッシングした後、前述の手順を再び行う。このような過程により、ビットストリーム内に特定情報（特定シンタックス要素）に対するスタートビットやエンドビットを使用しなくても、可変長ビットを利用して当該情報をシグナリングすることができる。これにより、低い値に対しては相対的により少ないビットを割り当てることができ、全般的なコーディング効率を高めることができる。

【0160】

デコード装置は、ＣＡＢＡＣ又はＣＡＶＬＣなどのエントロピーコーディング技法に基づいてビットストリームから前記ビンストリング内の各ビンをコンテキストモデル基盤またはバイパス基盤でデコードすることができる。

【0161】

シンタックス要素がコンテキストモデルに基づいてデコードされる場合、デコード装置はビットストリームを介して前記シンタックス要素に該当するビンを受信することができ、前記シンタックス要素とデコード対象ブロック又は周辺ブロックのデコード情報あるいは以前ステップでデコードされたシンボル／ビンの情報を利用してコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を決定することができ、決定されたコンテキストモデルによって前記受信されたビン（ｂｉｎ）の発生確率を予測してビンの算出デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行って前記シンタックス要素の値を導出することができる。その後、前記決定されたコンテキストモデルに次にデコードされるビンのコンテキストモデルがアップデートされることができる。

【0162】

コンテキストモデルはコンテキストコーディング（正規コーディング）されるビン別に割り当て及びアップデートされることができ、コンテキストモデルはｃｔｘＩｄｘ又はｃｔｘＩｎｃに基づいて指示される。ｃｔｘＩｄｘはｃｔｘＩｎｃに基づいて導出される。具体的に、例えば、前記正規コーディングされるビンのそれぞれに対するコンテキストモデルを示すコンテキストインデックス（ｃｔｘＩｄｘ）は、ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔ（ｃｔｘＩｎｃ）及びｃｏｎｔｅｘｔ ｉｎｄｅｘ ｏｆｆｓｅｔ（ｃｔｘＩｄｘＯｆｆｓｅｔ）の和として導出される。ここで、前記ｃｔｘＩｎｃは各ビン別に異なるように導出されてもよい。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、前記ｃｔｘＩｄｘの最小値（ｔｈｅ ｌｏｗｅｓｔ ｖａｌｕｅ）として表される。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、一般的に他のシンタックス要素に対するコンテキストモデルとの区分のために用いられる値であり、１つのシンタックス要素に対するコンテキストモデルはｃｔｘＩｎｃに基づいて区分／導出される。

【0163】

エントロピーエンコード手順において、正規コーディングエンジンによりエンコードを行うか、バイパスコーディングエンジンによりエンコードを行うかを決定し、コーディング経路をスイッチングすることができる。エントロピーデコードはエントロピーエンコードと同一の過程を逆順で行う。

【0164】

一方、例えば、シンタックス要素がバイパスデコードされる場合、デコード装置は、ビットストリームを介して前記シンタックス要素に該当するビンを受信し、均一な確率分布を適用して入力されるビンをデコードすることができる。この場合、デコード装置は、シンタックス要素のコンテキストモデルを導出する手順とデコード後に前記ビンに適用したコンテキストモデルを更新する手順は省略できる。

【0165】

前述のようにレジデュアルサンプルは、変換、量子化過程を経て量子化された変換係数として導出される。量子化された変換係数は変換係数とも呼ばれる。この場合、ブロック内の変換係数はレジデュアル情報の形態でシグナリングされる。前記レジデュアル情報はレジデュアルコーディングシンタックスを含む。すなわち、エンコード装置は、レジデュアル情報でレジデュアルコーディングシンタックスを構成し、これをエンコードしてビットストリーム形態で出力し、デコード装置は、ビットストリームからレジデュアルコーディングシンタックスをデコードしてレジデュアル（量子化された）変換係数を導出する。前記レジデュアルコーディングシンタックスは、後述のように当該ブロックに対して変換が適用されているか、ブロック内の最後の有効変換係数の位置がどこであるか、サブブロック内に有効変換係数が存在するか、有効変換係数のサイズ／符号がどうなのかなどを示すシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）を含む。

【0166】

一方、一例によって２次変換カーネルを指示する情報（例えば、変換インデックスｓｔ＿ｉｄｘ）を二進化及びコンテキストモデリングする方法が提案される。

【0167】

表３は一例によるＴＵシンタックスの一部を示し、表４はコーディングユニットのシンタックスの一部を示す。

【0168】

【表3】

【0169】

【表4】

【0170】

表３のｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、変換ブロックに適用されるＭＴＳインデックスを示し、表１のようにＭＴＳインデックスに応じてｔｒＴｙｐｅＨｏｒとｔｒＴｙｐｅＶｅｒが決定される。

【0171】

表４の変換インデックス（ｓｔ＿ｉｄｘ）は示されているように、選択された変換セットに含まれている２つの候補変換カーネルのいずれか１つを示す２次変換カーネルマトリックスを指示する。このような変換インデックスが０であると、２次変換が適用されていないことを示す。このような変換インデックスは、表２のようにイントラ予測モードにマッピングされて選択された変換セットに基づいて導出される。

【0172】

前述のように、二進ストリング（ｂｉｎａｒｙ ｓｔｒｉｎ）の各位置の二進値をビン（ｂｉｎ）といい、二進ストリングの各ビンは、指定されたコンテキストを有してコーディングされるＣＡＢＡＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）でコーディングされるか、バイパス方式でコーディングされる。バイパス方式はコンテキストなしで０．５の確率を割り当てるコーディング方式であり、正規コーディング（ｒｅｇｕｌａｒ ｃｏｄｉｎｇ）と呼ばれるＣＡＢＡＣコーディングはコンテキスト情報、すなわち、確率情報からコーディングに適用する確率値を得るコーディング方式である。

【0173】

ＣＡＢＡＣコーディングでコーディングされるとき、Ｎ個のビンをコーディングするためにＭ個のコンテキスト情報を使用することができ、各コンテキスト情報は特定位置にある１つのビンをコーディングするために適用することもでき、複数の位置の複数のビンをコーディングするために適用されることもできる。ここで、ＭはＮより小さいか同一である。

【0174】

また、各コンテキストはＣＡＢＡＣを使用するコーデック（例えば、ＨＥＶＣ、ＶＶＣ）において適用される方式によりアップデートされ、前述の正規コーディング方式も既存のコーデックにおいて適用される方式に従う。

【0175】

例えば、インデックス値が０、１、２であり、当該バイナリコードとしてそれぞれ０、１０、１１が割り当てられた場合、それぞれのビンにコンテキスト情報を割り当てて全部で２つのコンテキスト情報を適用することができる。すなわち、１番目のビンをコーディングするときにはコンテキストＡを適用し、２番目のビンをコーディングするときにはコンテキストＢを適用する。

【0176】

一方、下記の表５及び表６は変換インデックスのコンテキストインクリメント（ｃｔｘＩｎｃ）を導出する過程を示す。

【0177】

【表5】

【0178】

【表6】

【0179】

表５は、変換インデックスの二進化過程はトランケーテッドライス（ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）方式で行なわれると、インデックス値の最大値は２であることが分かる。また、ｃＲｉｃｅＰａｒａｍが０であるので、二進化方式はトランケーテッドユーナリ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）方式で行われることが分かる。

【0180】

表６は、コンテキストコーディングされたビンのｃｔｘＩｎｃ値が導出されることを示す。表６のように、変換インデックスの１番目のビンは４つ（０、１、４、５）のｃｔｘＩｎｃのいずれか１つに基づいて導出され、２番目のビンも４つ（２、３、６、７）のｃｔｘＩｎｃのいずれか１つに基づいて導出される。

【0181】

表６によれば、カラーインデックス（ｃＩｄｘ）、現在コーディングブロックの左上端位置、現在ブロックのツリータイプ（ｔｒｅｅＴｙｐｅ）、イントラ予測モード及びＭＴＳインデックス（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］．）値が入力されると、変数ｍｔｓＣｔｘに基づいてｃｔｘＩｎｃ値が導出される。ツリータイプは、ルマブロックと対応する色差ブロックが個別の分割構造を有するか否かによって、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）タイプ又はデュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）タイプに区分される。色差ブロックがルマブロックと同一の分割構造を有すると、シングルツリーと表し、色差成分ブロックがルーマ成分ブロックと異なる分割構造を有すると、デュアルツリーと表す。

【0182】

変数ｍｔｓＣｔｘは、ＭＴＳインデックスが０より大きく、ツリータイプがシングルツリータイプでない場合は１として導出され、それ以外の場合、すなわち、ＭＴＳインデックスが０であるか、ツリータイプがシングルツリータイプである場合は０として導出される（（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］＞０＆＆ｔｒｅｅＴｙｐｅ！＝ＳＩＮＧＬＥ＿ＴＲＥＥ）？１：０）。ｃｔｘＩｎｃは、このような変数ｍｔｓＣｔｘ値に基づいて導出できる（ｃｔｘＩｎｃ＝（ｂｉｎＩｎｃｘ＜＜１）＋ｉｎｔｒａＭｏｄｅＣｔｘ＋（ｍｔｓＣｔｘ＜＜２））。

【0183】

または、他の一例によれば、変換インデックスのコンテキストコーディングされたビンのｃｔｘＩｎｃ値は、次の表のように導出される。

【0184】

【表7】

【0185】

表７も変換インデックスに対するｃｔｘＩｎｃを導出する過程を示し、表７によれば、１番目のビンは２個（０、１）のｃｔｘＩｎｃのいずれか１つに基づいて導出され、２番目のビンはコンテキストモデルではないバイパスコーディング（ｂｙｐａｓｓ）に基づいて導出される。コンテキスト基盤コーディングを適用する１番目のビン（ｂｉｎＩＤｘ＝０に対するビン）に対しては、コンテキストを２つのみ割り当てることができ、２つのうちどのコンテキストを選択するかに対するｃｔｘＩｎｃ値は９．５．４．２．８節でのように決定される。

【0186】

すなわち、変換インデックスの１番目のビンに対する変数ｃｔｘＩｎｃは、ＭＴＳインデックスが０より大きく、ツリータイプがシングルツリータイプでない場合は１として導出され、それ以外の場合、すなわち、ＭＴＳインデックスが０であるか、ツリータイプがシングルツリータイプである場合は０として導出される（（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］＞０＆＆ｔｒｅｅＴｙｐｅ！＝ＳＩＮＧＬＥ＿ＴＲＥＥ）？１：０）。本実施形態によれば、ｃｔｘＩｎｃは、他の変数、例えば、表６のｍｔｓＣｔｘのような中間変数の値に基づくことなく、ＭＴＳインデックス及びツリータイプによって直接的に導出されることができる。

【0187】

または、一例によって、表７は、表８のように異なる方式で表現されることができる。表８は、表７に含まれている９．５．４．２．８節が省略されているが、変換インデックスに対するｃｔｘＩｎｃ導出過程は表７に関する説明と同一である。

【0188】

【表8】

【0189】

一方、他の例によって、変換インデックスのコンテキストコーディングされたビンのｃｔｘＩｎｃ値は、次の表のように導出される。

【0190】

【表9】

【0191】

表９は、コンテキストコーディングされたビンのｃｔｘＩｎｃ値が導出されることを示す。表９のように、変換インデックスの１番目のビンは４つ（０、１、４、５）のｃｔｘＩｎｃのいずれか１つに基づいて導出され、２番目のビンも４つ（２、３、６、７）のｃｔｘＩｎｃのいずれか１つに基づいて導出される。

【0192】

表９によれば、カラーインデックス（ｃＩｄｘ）、現在コーディングブロックの左上端位置、現在ブロックのツリータイプ（ｔｒｅｅＴｙｐｅ）、イントラ予測モード及びＭＴＳインデックス（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］．）値が入力されると、変数ｍｔｓＣｔｘに基づいてｃｔｘＩｎｃ値が導出される。

【0193】

変数ｍｔｓＣｔｘは、ＭＴＳインデックスが０で、ツリータイプがシングルツリータイプではない場合には１として導出され、それ以外の場合、すなわちＭＴＳインデックスが０ではないか、ツリータイプがシングルツリータイプである場合には０として導出される（（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］＝０＆＆ｔｒｅｅＴｙｐｅ！＝ＳＩＮＧＬＥ＿ＴＲＥＥ）？１：０）。ｃｔｘＩｎｃは、このような変数ｍｔｓＣｔｘ値に基づいて導出できる（ｃｔｘＩｎｃ＝（ｂｉｎＩｎｃｘ＜＜１）＋ｉｎｔｒａＭｏｄｅＣｔｘ＋（ｍｔｓＣｔｘ＜＜２））。

【0194】

または、他の一例によれば、変換インデックスのコンテキストコーディングされたビンのｃｔｘＩｎｃ値は、次の表のように導出できる。

【0195】

【表10】

【0196】

表１０も変換インデックスに対するｃｔｘＩｎｃを導出する過程を示し、表１０によれば、１番目のビンは２つの（０、１）のｃｔｘＩｎｃのいずれか１つに基づいて導出され、２番目のビンはコンテキストモデルではないバイパスコーディング（ｂｙｐａｓｓ）に基づいて導出される。コンテキスト基盤コーディングを適用する１番目のビン（ｂｉｎＩＤｘ＝０に対するビン）に対してはコンテキストを２つのみ割り当てることができ、２つのうちどのコンテキストを選択するかに対するｃｔｘＩｎｃ値は９．５．４．２．８節でのように決定できる。

【0197】

すなわち、変換インデックスの１番目のビンに対する変数ｃｔｘＩｎｃは、ＭＴＳインデックスが０で、ツリータイプがシングルツリータイプでない場合には１として導出され、それ以外の場合、すなわち、ＭＴＳインデックスが０ではないか、ツリータイプがシングルツリータイプである場合には０として導出される（（ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］＝０＆＆ｔｒｅｅＴｙｐｅ！）＝ＳＩＮＧＬＥ＿ＴＲＥＥ）？１：０）。本実施形態によれば、ｃｔｘＩｎｃは他の変数、例えば、表９のｍｔｓＣｔｘのような中間変数値に基づくことなく、ＭＴＳインデックスやツリータイプによって直接的に導出されることができる。

【0198】

または、一例によって、表１０は、表１１のように異なる方式で表現されることができる。表１１は表１０に含まれている９．５．４．２．８節が省略されているが、変換インデックスに対するｃｔｘＩｎｃ導出過程は表１０に対する説明と同一である。

【0199】

【表11】

【0200】

一方、一例によって、デコード装置は、ＭＴＳインデックスが受信されていない状態で変換インデックスをデコードすることができる。この場合、ＭＴＳインデックスが受信されていない場合、ＭＴＳインデックスは０とみなされ、この表９ないし表１１が適用できる。すなわち、ＭＴＳインデックスが受信されていないか、デコードされていない時点で、ＭＴＳインデックスは０とみなされることができ、変換インデックスの１番目のビンに対するコンテキスト情報は、対象ブロックのツリータイプがシングルツリータイプでない場合は１として導出され、対象ブロックのツリータイプがシングルツリータイプである場合は０として導出される。

【0201】

類似に、エンコード装置は、ＭＴＳインデックスがコーディングされていない状態で変換インデックスをコーディングできる。この場合、ＭＴＳインデックスがコーディングされていない場合、ＭＴＳインデックスは０とみなされ、この表９ないし表１１の過程が適用できる。すなわち、ＭＴＳインデックスが生成されていないか、エンコードされていない時点で、ＭＴＳインデックスは０とみなされることができ、変換インデックスの１番目のビンに対するコンテキスト情報は対象ブロックがツリータイプがシングルツリータイプでない場合は１として導出され、対象ブロックがツリータイプがシングルツリータイプである場合は０として導出されることができる。

【0202】

一方、一例によって、変換インデックスの１番目のビン及び２番目のビンの両方がコンテキストモデルに基づいてコーディングされることができる。すなわち、１番目のビンには第１コンテキストモデル情報が使用され、２番目のビンには第２コンテキストモデル情報が使用できる。このとき、コンテキスト情報はｃｔｘＩｎｃであるかｃｔｘＩｎｃに基づいて導出され、第１コンテキストモデル情報と第２コンテキストモデル情報は異なる値を有することができる。一例によって、第１コンテキストモデル情報は、変換の対象となる対象ブロックのツリータイプ（ｔｒｅｅＴｙｐｅ）に応じて０又は１になり、第２コンテキストモデル情報はツリータイプと関係なく特定の値に設定される。

【0203】

このとき、第１コンテキストモデル情報は、ＭＴＳインデックスが０であり、ツリータイプがシングルツリータイプでない場合は１として導出され、それ以外の場合、すなわち、ＭＴＳインデックスが０でないか、ツリータイプがシングルツリータイプである場合は０として導出される。または、他の例によって、第１コンテキストモデル情報は、ＭＴＳインデックスとは関係なくツリータイプに応じて０又は１として導出される。すなわち、第１コンテキストモデル情報は、対象ブロックのツリータイプがシングルツリータイプでない場合は１として、対象ブロックのツリータイプがシングルツリータイプである場合は０として導出される。

【0204】

以下の図面は，本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に示されたものであるので、本明細書の技術的特徴は、以下の図面に用いられた具体的な名称に制限されない。

【0205】

図８は、本文書の一実施形態によるビデオデコード装置の動作を示すフローチャートである。

【0206】

図８に開示された各ステップは、図３に開示されたデコード装置３００により行われることができる。より具体的に、Ｓ８１０は図３に開示されたエントロピーデコード部３１０により行われ、Ｓ８２０は図３に開示された逆量子化部３２１により行われ、Ｓ８３０及びＳ８４０は図３に開示された逆変換部３２２により行われ、Ｓ８５０は図３に開示された加算部３４０により行われることができる。さらに、Ｓ８１０ないしＳ８５０による動作は、図４ないし図７において前述された内容の一部に基づいている。従って、図３ないし図７において前述された内容と重複する具体的な内容については説明を省略するか簡単にする。

【0207】

一実施形態によるデコード装置３００は、ビットストリームから対象ブロックに対する量子化された変換係数を導出する（Ｓ８１０）。より具体的に、デコード装置３００は、ビットストリームから対象ブロックに対する量子化された変換係数に関する情報をデコードし、対象ブロックに対する量子化された変換係数に関する情報に基づいて対象ブロックに対する量子化された変換係数を導出する。対象ブロックに対する量子化された変換係数に関する情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）に含まれ、簡素化変換（ＲＳＴ）の適用可否に関する情報、簡素化ファクタに関する情報、簡素化変換を適用する最小変換サイズに関する情報、簡素化変換を適用する最大化変換サイズに関する情報、簡素化逆変換サイズ、変換セットに含まれた変換カーネルマトリックスのいずれか１つ支持する変換インデックスに関する情報の少なくとも１つを含む。

【0208】

一実施形態によるデコード装置３００は、対象ブロックに対する量子化された変換係数に対して逆量子化を行って変換係数を導出する（Ｓ８２０）。

【0209】

一実施形態によるデコード装置３００は、変換係数に対する逆非分離変換又は逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出する（Ｓ８３０）。

【0210】

一例示において、逆非分離変換又は逆ＲＳＴは逆ＲＳＴマトリックスに基づいて行われ、逆ＲＳＴマトリックスは列の数が行の数より少ない非正方形マトリックスであり得る。

【0211】

一実施形態において、Ｓ８３０は変換インデックスをデコードするステップと、変換インデックスに基づいて逆ＲＳＴを適用する条件に該当するか否かを判断するステップと、変換カーネルマトリックスを選択するステップと、逆ＲＳＴを適用する条件に該当する場合、選択された変換カーネルマトリックス及び／又は簡素化ファクタに基づいて変換係数に対して逆ＲＳＴを適用するステップとを含む。ここで、簡素化逆変換マトリックスのサイズは簡素化ファクタに基づいて決定される。

【0212】

一実施形態によるデコード装置３００は、修正された変換係数に対する逆変換に基づいて対象ブロックに対するレジデュアルサンプルを導出する（Ｓ８４０）。

【0213】

デコード装置３００は、対象ブロックに対する修正された変換係数に対して逆１次変換を行うことができ、この時、逆１次変換は簡素化逆変換が適用されてもよく、通常の分離変換が使用されてもよい。

【0214】

一実施形態によるデコード装置３００は、対象ブロックに対するレジデュアルサンプル及び対象ブロックに対する予測サンプルに基づいて復元サンプルを生成する（Ｓ８５０）。

【0215】

Ｓ８３０を参照すると、対象ブロックに対する変換係数に対する逆ＲＳＴに基づいて対象ブロックに対するレジデュアルサンプルが導出されることが確認できる。逆変換マトリックスのサイズの観点から検討すると、通常の逆変換マトリックスのサイズはＮ×Ｎであるが、逆ＲＳＴマトリックスのサイズはＮ×Ｒに減少するので、通常の変換を行う時と比較すると逆ＲＳＴを行う時にメモリ使用をＲ／Ｎの割合に減少させることができる。また、通常の逆変換マトリックスを利用するときの乗算演算数Ｎ×Ｎと比較すると、逆ＲＳＴをマトリックスを用いると乗算演算数をＲの割合に減少（Ｎ×Ｒ）させることができる。さらに、逆ＲＳＴを適用するとき、Ｒ個の変換係数のみをデコードすればよいので、通常の逆変換が適用されるときにＮ個の変換係数をデコードしなければならないことと比較すると、対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してデコード効率が増加する。まとめると、Ｓ８３０によれば、逆ＲＳＴによりデコード装置３００の（逆）変換効率及びデコード効率が増加する。

【0216】

図９は、本文書の一実施形態による変換インデックスに基づく逆非分離変換方法を説明するための制御フローチャートである。

【0217】

デコード装置３００は、ビットストリームから変換インデックス及びイントラ予測モードに関する情報を受信する（Ｓ９００）。また、デコード装置３００は、逆１次変換の変換カーネルを指示するＭＴＳインデックス情報をさらに受信することができる。

【0218】

変換インデックス情報は、シンタックス情報として受信され、シンタックス情報は０と１を含む二進化したビンストリングとして受信される。

【0219】

一方、エントロピーデコード部３１０は変換インデックスのシンタックス要素に対する二進化情報を導出することができる。

【0220】

これは、受信された変換インデックスのシンタックス要素が有することのできる二進化値に対する候補セットを生成することであり、その実施形態による場合、変換インデックスのシンタックス要素はトランケーテッドユーナリコード方式で二進化されることができる。

【0221】

本実施形態による変換インデックスのシンタックス要素は、逆ＲＳＴ又は逆非分離変換が適用されるか否か及び変換セットに含まれる変換カーネルマトリックスのいずれか１つを指示することができ、変換セットが２つの変換カーネルマトリックスを含む場合、変換インデックスのシンタックス要素の値は３つであり得る。

【0222】

すなわち、一実施形態によって、変換インデックスに対するシンタックス要素値は、対象ブロックに逆ＲＳＴが適用されない場合を指示する０、変換カーネルマトリックスのうち１番目の変換カーネルマトリックスを指示する１、変換カーネルマトリックスのうち２番目の変換カーネルマトリックスを指示する２を含む。

【0223】

この場合、３つの変換インデックスに対するシンタックス要素値はトランケーテッドユーナリコード方式によって０、１０、１１にコーディングされる。すなわち、シンタックス要素に対する値０は「０」に、シンタックス要素に対する値１は「１０」に、シンタックス要素に対する値２は「１１」に二進化される。

【0224】

エントロピーデコード部３１０は、ＭＴＳインデックス値及び対象ブロックのツリータイプに応じて変換インデックスのビンストリングに対するコンテキスト情報、すなわち、コンテキストモデルを導出し（Ｓ９１０）、コンテキスト情報に基づいてシンタックス要素ビンストリングのビンをデコードする（Ｓ９２０）。

【0225】

本実施形態によれば、変換インデックスの２つのビンに対してそれぞれ異なるコンテキスト情報、すなわち、確率モデルが適用できる。すなわち、変換インデックスの２つのビンは両方ともバイパス方式ではないコンテキスト方式でデコードされ、変換インデックスに対するシンタックス要素のビンのうち１番目のビンは第１コンテキスト情報に基づいてデコードされ、変換インデックスに対するシンタックス要素のビンのうち２番目のビンは第２コンテキスト情報に基づいてデコードされる。

【0226】

また、他の例によれば、変換インデックスの２つのビンの１番目のビンの場合はコンテキスト方式でデコードされ、２番目のビンの場合はバイパス方式でデコードされる。

【0227】

このようなコンテキスト情報、特に、１番目のビンに対する第１コンテキスト情報は、ＭＴＳインデックス値及び対象ブロックのツリータイプに応じて異なる値として導出できる。

【0228】

例えば、対象ブロックのツリータイプはルマブロックと対応する色差ブロックが個別の分割構造を有するか否かによってシングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）又はデュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）に区分される。色差ブロックがルマブロックと同一の分割構造を有すると、シングルツリーと示し、色差成分ブロックがルーマ成分ブロックと異なる分割構造を有すると、デュアルツリーと示すことができる。ツリータイプがシングルツリーであると、変換インデックスコーディング時に第１コンテキスト情報が使用され、ツリータイプがデュアルツリーであると、変換インデックスコーディング時に第２コンテキスト情報が使用される。

【0229】

また、第１コンテキスト情報は、ＭＴＳインデックス値に基づいて異なる値として導出され、一例によれば、ＭＴＳインデックスが０であり、ツリータイプがシングルツリータイプでない場合は１として導出され、それ以外の場合、すなわち、ＭＴＳインデックスが０でないか、ツリータイプがシングルツリータイプである場合は０として導出される。

【0230】

一方、変換インデックスデコードのとき、ＭＴＳインデックスが受信されていないか、デコードされていない場合、ＭＴＳインデックスは０とみなされる。この場合、変換インデックスはＭＴＳインデックスが０である条件を満足するので、ツリータイプがシングルツリータイプでない場合は１として導出され、ツリータイプがシングルツリータイプである場合は０として導出される。

【0231】

まとめると、エントロピーデコード部３１０は、トロンケーテッドユーナリコード方式で二進化されたビンストリングを受信して、コンテキスト情報に基づいて当該二進化値に対する変換インデックスのシンタックス要素をデコードする。

【0232】

このようなコンテキスト情報基盤デコードにより、変換インデックスのシンタックス要素が有することのできる二進化値のうち対象ブロックに適用される変換インデックスに対するシンタックス要素の値が導出される（Ｓ９３０）。

【0233】

すなわち、変換インデックス０、１、２のいずれか１つが現在の対象ブロックに適用されるかが導出されることができる。

【0234】

デコード装置３００の逆変換部３２２は、対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて変換セットを決定し（Ｓ９４０）、変換セット及び変換インデックスに対するシンタックス要素の値に基づいて逆ＲＳＴ、すなわち、逆非分離変換を行う（Ｓ９５０）。

【0235】

前述のように、変換の対象となる変換ブロックのイントラ予測モードによって複数の変換セットが決定され、逆ＲＳＴは変換インデックスによって指示される変換セットに含まれている変換カーネルマトリックスのいずれか１つに基づいて行われる。

【0236】

以下の図面は，本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に提示されたものであるので、本明細書の技術的特徴は、以下の図面に用いられた具体的な名称に制限されない。

【0237】

図１０は、本文書の一実施形態によるビデオエンコード装置の動作を示すフローチャートである。

【0238】

図１０に開示された各ステップは、図２に開示されたエンコード装置２００により行われることができる。より具体的に、Ｓ１０１０は図２に開示された予測部２２０により行われ、Ｓ１０２０は図２に開示された減算部２３１により行われ、Ｓ１０３０及びＳ１０４０は図２に開示された変換部２３２により行われ、Ｓ１０５０は図２に開示された量子化部２３３及びエントロピーエンコード部２４０により行われることができる。さらに、Ｓ１０１０ないしＳ１０５０による動作は、図４ないし図７において前述された内容の一部に基づいている。従って、図２及び図４ないし図７において前述された内容と重複する具体的な内容は、説明を省略するか簡単にする。

【0239】

一実施形態によるエンコード装置２００は、対象ブロックに適用されるイントラ予測モードに基づいて予測サンプルを導出する（Ｓ１０１０）。

【0240】

一実施形態によるエンコード装置２００は、対象ブロックに対するレジデュアルサンプルを導出する（Ｓ１０２０）。

【0241】

一実施形態によるエンコード装置２００は、レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出する（Ｓ１０３０）。１次変換は複数の変換カーネルにより行われることができ、この場合、イントラ予測モードに基づいて変換カーネルが選択される。

【0242】

デコード装置３００は、対象ブロックに対する変換係数に対して２次変換、又は非分離変換、具体的にＮＳＳＴを行うことができ、このとき、ＮＳＳＴ は簡素化変換（ＲＳＴ）に基づいて行われるか、ＲＳＴに基づかずに行われることができる。ＮＳＳＴがＲＳＴに基づいて行われると、Ｓ１０４０による動作と対応する。

【0243】

一実施形態によるエンコード装置２００は、変換係数に対するＲＳＴに基づいて対象ブロックに対する修正された変換係数を導出する（Ｓ１０４０）。一例示において、ＲＳＴは簡素化変換マトリックス又は変換カーネルマトリックスに基づいて行われることができ、簡素化変換マトリックスは行の数が列の数より少ない非正方形マトリックスであり得る。

【0244】

一実施形態において、Ｓ１０４０はＲＳＴを適用する条件に該当するか否かを判断するステップと、前記判断に基づいて変換インデックスを生成及びエンコードするステップと、変換カーネルマトリックスを選択するステップと、ＲＳＴを適用する条件に該当する場合、選択された変換カーネルマトリックス及び／又は簡素化ファクタに基づいてレジデュアルサンプルに対してＲＳＴを適用するステップとを含む。このとき、簡素化変換カーネルマトリックスのサイズは簡素化ファクタに基づいて決定される。

【0245】

一実施形態によるエンコード装置２００は、対象ブロックに対する修正された変換係数に基づいて量子化を行って量子化された変換係数を導出し、量子化された変換係数に関する情報をエンコードする（Ｓ１０５０）。

【0246】

より具体的に、エンコード装置２００は、量子化された変換係数に関する情報を生成し、生成された量子化された変換係数に関する情報をエンコードする。

【0247】

一例示において、量子化された変換係数に関する情報は、ＲＳＴが適用されるか否かに関する情報、簡素化ファクタに関する情報、ＲＳＴを適用する最小変換サイズに関する情報及びＲＳＴを適用する最大変換サイズに関する情報のうち少なくとも１つを含む。

【0248】

Ｓ１０４０を参照すると、レジデュアルサンプルに対するＲＳＴに基づいて対象ブロックに対する変換係数が導出されることを確認できる。変換カーネルマトリックスのサイズ観点から検討すると、通常の変換カーネルマトリックスのサイズはＮ×Ｎであるが、簡素化変換マトリックスのサイズはＲ×Ｎに減少するので、通常の変換を行う場合と比較するとＲＳＴを行うときにメモリ使用をＲ／Ｎの割合に減少させることができる。また、通常の変換カーネルマトリックスを利用するときの乗算演算数Ｎ×Ｎと比較すると、簡素化変換カーネルマトリックスを用いると乗算演算数をＲ／Ｎの割合に減少（Ｒ×Ｎ）させることができる。さらに、ＲＳＴが適用されると、Ｒ個の変換係数のみが導出されるので、通常の変換が適用されるとき、Ｎ個の変換係数が導出されることと比較すると、対象ブロックに対する変換係数の総数がＮ個からＲ個に減少してエンコード装置２００がデコード装置３００に送信するデータの量が減少する。まとめると、Ｓ１０４０によれば、ＲＳＴによりエンコード装置２００の変換効率及びコーディング効率が増加することができる。

【0249】

図１１は、本文書の一実施形態による変換インデックスのエンコードを含む非分離変換方法を説明するための制御フローチャートである。

【0250】

まず、エンコード装置２００は、対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて変換セットを決定する（Ｓ１１００）。

【0251】

エンコード装置２００は、前記変換セットに基づく非分離変換の前にＭＴＳ に基づく１次変換を行い、どのＭＴＳが使用されたかを指示するＭＴＳインデックスが生成される。

【0252】

その後、変換部２３２は変換セットに含まれる変換カーネルマトリックスのいずれか１つに基づいて、ＲＳＴ、すなわち非分離変換を行うことにより変換係数を導出する（Ｓ１１１０）。

【0253】

本実施形態において、変換係数は１次変換後に２次変換が行われた修正された変換係数であり、変換セットそれぞれには２つの変換カーネルマトリックスが含まれる。

【0254】

このようにＲＳＴが行われると、ＲＳＴに対する情報がエントロピーエンコード部２４０においてエンコードされる。

【0255】

まず、エントロピーエンコード部２４０は、変換セットに含まれる変換カーネルマトリックスのいずれか１つを指示する変換インデックスに対するシンタックス要素値を導出する（Ｓ１１２０）。

【0256】

本実施形態による変換インデックスのシンタックス要素は、（逆）ＲＳＴが適用されるか否か及び変換セットに含まれる変換カーネルマトリックスのいずれか１つを指示することができ、変換セットが２つの変換カーネルマトリックスを含む場合、変換インデックスのシンタックス要素の値は３つであり得る。

【0257】

一実施形態によって、変換インデックスに対するシンタックス要素値は、対象ブロックに（逆）ＲＳＴが適用されない場合を指示する０、変換カーネルマトリックスの１番目の変換カーネルマトリックスを指示する１、変換カーネルマトリックスの２番目の変換カーネルマトリックスを指示する２として導出される。

【0258】

その後、エントロピーエンコード部２４０は、導出された変換インデックスに対するシンタックス要素値を二進化する（Ｓ１１３０）。

【0259】

エントロピーエンコード部２４０は、３つの変換インデックスに対するシンタックス要素値をトランケーテッドユーナリコード方式によって０、１０、１１に二進化する。すなわち、シンタックス要素に対する値０は「０」に、シンタックス要素に対する値１は「１０」に、シンタックス要素に対する値２は「１１」に二進化され、エントロピーエンコード部２４０は導出された変換インデックスに対するシンタックス要素に対して「０」、「１０」、及び「１１」のいずれか１つに二進化することができる。

【0260】

エントロピーエンコード部２４０は、ＭＴＳインデックス値及び対象ブロックのツリータイプに応じて変換インデックスのビンストリングに対するコンテキスト情報、すなわち、コンテキストモデルを導出し（Ｓ１１４０）、コンテキスト情報に基づいてシンタックス要素ビンストリングのビンをエンコードする（Ｓ１１５０）。

【0261】

本実施形態によれば、変換インデックスの２つのビンに対してそれぞれ異なるコンテキスト情報を適用することができる。すなわち、変換インデックスの２つのビンは両方ともバイパス方式ではないコンテキスト方式でエンコードされ、変換インデックスに対するシンタックス要素のビンのうち１番目のビンは第１コンテキスト情報に基づいてエンコードされ、変換インデックスに対するシンタックス要素のビンのうち２番目のビンは第２コンテキスト情報に基づいてエンコードされる。

【0262】

また、他の例によれば、変換インデックスの２つのビンの１番目のビンはコンテキスト方式でエンコードされ、２番目のビンはバイパス方式でエンコードされる。

【0263】

このようなコンテキスト情報、特に１番目のビンに対する第１コンテキスト情報は、ＭＴＳインデックス値及び対象ブロックのツリータイプに応じて異なる値として導出できる。

【0264】

例えば、対象ブロックのツリータイプはルマブロックと対応する色差ブロックが個別の分割構造を有するか否かによってシングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）又はデュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）に区分される。色差ブロックがルマブロックと同一の分割構造を有する場合はシングルツリーと、色差成分ブロックがルーマ成分ブロックと異なる分割構造を有する場合はデュアルツリーと表すことができる。ツリータイプがシングルツリーであると、変換インデックスコーディング時に第１コンテキスト情報が使用され、ツリータイプがデュアルツリーであると、変換インデックスコーディング時に第２コンテキスト情報が使用される。

【0265】

また、第１コンテキスト情報は、ＭＴＳインデックス値に基づいて異なる値として導出され、一例によれば、ＭＴＳインデックスが０であり、ツリータイプがシングルツリータイプでない場合は１として導出され、それ以外の場合、すなわち、ＭＴＳインデックスが０でないか、ツリータイプがシングルツリータイプである場合は０として導出される。

【0266】

一方、変換インデックスデコード時にＭＴＳインデックスが生成されていないか、エンコードされていない場合、ＭＴＳインデックスは０とみなされる。この場合、変換インデックスはＭＴＳインデックスが０である条件を満足するので、ツリータイプがシングルツリータイプでない場合は１として導出され、ツリータイプがシングルツリータイプである場合は０として導出される。

【0267】

まとめると、エントロピーエンコード部２４０は、トランケーテッドユーナリコード方式で二進化したビンストリングを導出し、コンテキスト情報に基づいて当該二進化値に対する変換インデックスのシンタックス要素をエンコードする。

【0268】

本文書において量子化／逆量子化及び／又は変換逆変換のうち少なくとも１つは省略できる。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は変換係数と呼ばれてもよい。前記変換／逆変換が省略される場合、前記変換係数は係数又はレジデュアル係数と呼ばれてもよく、又は表現の統一性のために依然として変換係数と呼ばれてもよい。

【0269】

また、本文書において量子化された変換係数及び変換係数は、それぞれ変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれる。この場合、レジデュアル情報は、変換係数（ら）に関する情報を含み、前記変換係数（ら）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされる。前記レジデュアル情報（または前記変換係数（ら）に関する情報）に基づいて変換係数が導出され、前記変換係数に対する逆変換（スケーリング）によりスケーリングされた変換係数が導出される。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルを導出できる。これは本文書の他の部分においても同様に適用／表現できる。

【0270】

前述の実施形態において、方法は一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本文書はステップに限定されるものではなく、あるステップは、前述とは異なるステップと異なる順序で又は同時に発生し得る。また、当業者であれば、フローチャートに示されたステップが排他的でなく、他のステップが含まれるかフローチャートの１つ又はそれ以上のステップが本文書の範囲に影響を及ぼすことなく削除できることも理解できるだろう。

【0271】

前述の本文書による方法は、ソフトウェア形態で実現でき、本文書によるエンコード装置及び／又はデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を行う装置に含まれることができる。

【0272】

本文書において、実施形態がソフトウェアとして実現されるとき、前述の方法は前述の機能を行うモジュール（プロセス、機能など）で実現されることができる。モジュールはメモリに格納され、プロセッサにより実行できる。メモリはプロセッサの内部又は外部にあり、よく知られた様々な手段でプロセッサと連結できる。プロセッサはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。すなわち、本文書で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われることができる。例えば、各図面で示した機能ユニットはコンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われることができる。

【0273】

また、本文書が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、運送手段端末（例えば、車両端末、飛行機端末、船舶端末等）、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使用されることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置として、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0274】

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。本文書に係るデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み出すことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介しての送信）の形態で具現されたメディアを含む。また、エンコード方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に格納されるか、または有無線通信ネットワークを介して送信されることができる。また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。

【0275】

図１２は、本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【0276】

また、本文書が適用されるコンテンツストリーミングシステムは、大別して、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

【0277】

前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略されることができる。前記ビットストリームは、本文書が適用されるエンコード方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

【0278】

前記ストリーミングサーバは、ウェブサーバを介したユーザ要求に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要求すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

【0279】

前記ストリーミングサーバは、メディア格納所及び／又はエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間格納することができる。

【0280】

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末（ｓｍａｒｔｗａｔｃｈ）、グラス型端末（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがある。前記コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは分散処理されることができる。

【0281】

本明細書に記載された請求項は様々な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として実現されることもでき、本明細書の装置請求項の技術的特徴が組み合わせられて方法として実現されることもできる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて装置として実現されることもでき、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて方法として実現されることもできる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2021-11-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

デコード装置により行われる映像デコード方法において、
レジデュアル情報を含むビットストリームを受信するステップと、
前記レジデュアル情報に基づいて対象ブロックに対する変換係数を導出するステップと、
前記変換係数に対する逆非分離変換に基づいて修正された変換係数を導出するステップと、
前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
前記対象ブロックに対するレジデュアルサンプルに基づいて復元ピクチャを生成するステップとを含み、
前記逆非分離変換は所定の変換カーネルマトリックスを指示する変換インデックスに基づいて行われ、前記逆１次変換は水平変換カーネル及び垂直変換カーネルに対する多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ：ＭＴＳ）を指示するＭＴＳインデックスに基づいて行われ、
前記対象ブロックの分割構造に対するツリータイプがシングルツリータイプでないことに基づいて、前記変換インデックスにのシンタックス要素ビンストリングは、第１コンテキスト情報に基づいて導出され、前記ツリータイプが前記シングルツリータイプであることに基づいて、前記変換インデックスにの前記シンタックス要素ビンストリングは、第２コンテキスト情報に基づいて導出される、映像デコード方法。

【請求項2】

前記ＭＴＳインデックスが０の値を有し、前記ツリータイプが前記シングルツリータイプでない場合に基づいて、前記変換インデックスのシンタックス要素ビンストリングは、前記第１コンテキスト情報に基づいて導出される、請求項１に記載の映像デコード方法。

【請求項3】

前記ＭＴＳインデックスが受信されない場合に基づいて、前記ＭＴＳインデックスは０の値を有するとされる、請求項２に記載の映像デコード方法。

【請求項4】

前記ＭＴＳインデックスが受信されず、前記ツリータイプが前記シングルツリータイプでない場合に基づいて、前記変換インデックスのシンタックス要素ビンストリングは、前記第１コンテキスト情報に基づいて導出される、請求項１に記載の映像デコード方法。

【請求項5】

前記変換カーネルマトリックスは、前記対象ブロックに適用されるイントラ予測モードに対応するマッピング関係に基づいて決定される変換セットに含まれ、
前記変換インデックスは、前記逆非分離変換が適用されるか否か及び前記変換セットに含まれる前記変換カーネルマトリックスのいずれか１つを指示する、請求項１に記載の映像デコード方法。

【請求項6】

前記第１コンテキスト情報又は前記第２コンテキスト情報に基づいて前記変換インデックスの前記シンタックス要素ビンストリングのビンをデコードするステップと、
前記変換インデックスのシンタックス要素の値を導出するステップとをさらに含む、請求項５に記載の映像デコード方法。

【請求項7】

前記シンタックス要素の値は、前記対象ブロックに前記逆非分離変換が適用されないことを指示する０、前記変換カーネルマトリックスの１番目の変換カーネルマトリックスを指示する１、及び前記変換カーネルマトリックスの２番目の変換カーネルマトリックスを指示する２のいずれか１つを含み、
前記シンタックス要素の値はトランケーテッドユーナリコードに二進化され、
前記シンタックス要素の値０は「０」に二進化され、前記シンタックス要素の値１は「１０」に二進化され、前記シンタックス要素の値２は「１１」に二進化される、請求項６に記載の映像デコード方法。

【請求項8】

映像エンコード装置により行われる映像エンコード方法において、
対象ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
水平変換カーネル及び垂直変換カーネルの多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ：ＭＴＳ）に基づいて前記レジデュアルサンプルから前記対象ブロックに対する変換係数を導出するステップと、
非分離変換のための所定の変換カーネルマトリックスに基づいて前記変換係数から修正された変換係数を導出するステップと、
前記ＭＴＳを指示するＭＴＳインデックス又は前記変換カーネルマトリックスを指示する変換インデックスをエンコードするステップとを含み、
前記対象ブロックの分割構造に対するツリータイプがシングルツリータイプでないことに基づいて、前記変換インデックスのシンタックス要素ビンストリングは、第１コンテキスト情報に基づいて導出され、前記ツリータイプが前記シングルツリータイプであることに基づいて、前記変換インデックスの前記シンタックス要素ビンストリングは、第２コンテキスト情報に基づいて導出される、映像エンコード方法。

【請求項9】

前記ＭＴＳインデックスが０値を有し、前記ツリータイプが前記シングルツリータイプでないことに基づいて、前記変換インデックスのシンタックス要素ビンストリングは、前記第１コンテキスト情報に基づいて導出される、請求項８に記載の映像エンコード方法。

【請求項10】

前記ＭＴＳインデックスがエンコードされない場合に基づいて、前記ＭＴＳインデックスは０値を有するとされる、請求項９に記載の映像エンコード方法。

【請求項11】

前記ＭＴＳインデックスがエンコードされず、前記ツリータイプが前記シングルツリータイプでない場合に基づいて、前記変換インデックスの前記シンタックス要素ビンストリングは、前記第１コンテキスト情報に基づいて導出される、請求項８に記載の映像エンコード方法。

【請求項12】

前記変換カーネルマトリックスは、前記対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて決定される変換セットに含まれ、
前記変換インデックスは、逆非分離変換が適用されるか否か及び前記変換セットに含まれる前記変換カーネルマトリックスのいずれか１つを指示する、請求項８に記載の映像エンコード方法。

【請求項13】

前記変換インデックスのシンタックス要素の値を導出するステップと、
前記第１コンテキスト情報又は前記第２コンテキスト情報に基づいて前記変換インデックスのシンタックス要素ビンストリングのビンをエンコードするステップとをさらに含む、請求項１２に記載の映像エンコード方法。

【請求項14】

前記シンタックス要素の値は、前記対象ブロックに前記逆非分離変換が適用されないことを指示する０、前記変換カーネルマトリックスの１番目の変換カーネルマトリックスを指示する１、前記変換カーネルマトリックスの２番目の変換カーネルマトリックスを指示する２のいずれか１つを含み、
前記シンタックス要素の値はトランケーテッドユーナリコードに二進化され、前記シンタックス要素の値０は「０」に進化され、前記シンタックス要素の値１は「１０」に二進化され、前記シンタックス要素の値２は「１１」に二進化される、請求項１３に記載の映像エンコード方法。

【請求項15】

ビットストリームを取得するステップであって、前記ビットストリームは、ターゲットブロックに対する予測サンプルを導出し、前記予測サンプルに基づいて前記ターゲットブロックに対するレジデュアルサンプルを導出し、水平変換カーネルと垂直変換カーネルの多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ：ＭＴＳ）に基づいて、前記レジデュアルサンプルから前記ターゲットブロックに対する変換係数を導出し、非分離変換に対する所定の変換カーネルマトリクスに基づいて前記変換係数から修正変換係数を導出し、前記ビットストリームを生成するために前記ＭＴＳを示すＭＴＳインデックス又は前記変換カーネルマトリクスを示す変換インデックスをエンコードすることにより生成される、ステップと、
前記ビットストリームを送信するステップであって、前記ターゲットブロックの分離構造のツリータイプがシングルツリータイプでないことに基づいて、前記変換インデックスのシンタックスエレメントビンストリングが１番目のコンテキスト情報に基づい導出され、前記ツリータイプが前記シングルツリータイプでないことに基づいて、前記変換インデックスの前記シンタックスエレメントビンストリングは２番目のコンテキスト情報に基づいて導出される、ステップを含む、方法。

【国際調査報告】