▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023158171
(43)【公開日】2023-10-26
(54)【発明の名称】マトリックスに基づくイントラ予測装置及び方法
(51)【国際特許分類】
H04N 19/70 20140101AFI20231019BHJP
H04N 19/593 20140101ALI20231019BHJP
【ＦＩ】
H04N19/70
H04N19/593
【審査請求】有
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2023146119
(22)【出願日】2023-09-08
(62)【分割の表示】P 2021570229の分割
【原出願日】2020-06-03
(31)【優先権主張番号】62/856,720
(32)【優先日】2019-06-03
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】メウディ サレヒファー
(72)【発明者】
【氏名】キム スンファン
(57)【要約】
【課題】映像のコーディング効率を高める方法及び装置を提供する。
【解決手段】本文書に係る映像デコーディング方法は、現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が使用されるか否かを示すフラグ情報を受信するステップと、前記フラグ情報に基づいて、前記マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を受信するステップと、前記ＭＩＰモード情報に基づいて、前記現在ブロックに対するイントラ予測サンプルを生成するステップと、前記イントラ予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化方式により２進化されることを特徴とすることができる。
【選択図】図１７
【解決手段】本文書に係る映像デコーディング方法は、現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が使用されるか否かを示すフラグ情報を受信するステップと、前記フラグ情報に基づいて、前記マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を受信するステップと、前記ＭＩＰモード情報に基づいて、前記現在ブロックに対するイントラ予測サンプルを生成するステップと、前記イントラ予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化方式により２進化されることを特徴とすることができる。
【選択図】図１７
【特許請求の範囲】
【請求項1】
デコーディング装置によって実行される映像デコーディング方法において、
現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が使用されるか否かを示すフラグ情報を受信するステップと、
前記フラグ情報に基づいて、前記マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を受信するステップと、
前記ＭＩＰモード情報に基づいて、前記現在ブロックに対するイントラ予測サンプルを生成するステップと、
前記イントラ予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化方式により２進化される、映像デコーディング方法。
現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が使用されるか否かを示すフラグ情報を受信するステップと、
前記フラグ情報に基づいて、前記マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を受信するステップと、
前記ＭＩＰモード情報に基づいて、前記現在ブロックに対するイントラ予測サンプルを生成するステップと、
前記イントラ予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化方式により２進化される、映像デコーディング方法。
【請求項2】
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングの最大長さは、前記現在ブロックの大きさに応じて異なる値に設定される、請求項１に記載の映像デコーディング方法。
【請求項3】
前記最大長さは、前記現在ブロックの大きさに応じて３つの値に設定され、
前記現在ブロックの幅及び高さが４である場合、前記最大長さが最も大きい、請求項２に記載の映像デコーディング方法。
前記現在ブロックの幅及び高さが４である場合、前記最大長さが最も大きい、請求項２に記載の映像デコーディング方法。
【請求項4】
前記ＭＩＰモード情報は、バイパス方式でデコーディングされる、請求項１に記載の映像デコーディング方法。
【請求項5】
前記ＭＩＰモード情報は、前記現在ブロックに適用されるＭＩＰモードを指示するインデックス情報である、請求項１に記載の映像デコーディング方法。
【請求項6】
前記イントラ予測サンプルを生成するステップは、
前記現在ブロックに隣接した参照サンプルをダウンサンプリングして縮小された境界サンプルを導出するステップと、
前記縮小された境界サンプルとＭＩＰマトリックスの掛け算に基づいて縮小された予測サンプルを導出するステップと、
前記縮小された予測サンプルをアップサンプリングし、前記現在ブロックに対する前記イントラ予測サンプルを生成するステップと、を含む、請求項１に記載の映像デコーディング方法。
前記現在ブロックに隣接した参照サンプルをダウンサンプリングして縮小された境界サンプルを導出するステップと、
前記縮小された境界サンプルとＭＩＰマトリックスの掛け算に基づいて縮小された予測サンプルを導出するステップと、
前記縮小された予測サンプルをアップサンプリングし、前記現在ブロックに対する前記イントラ予測サンプルを生成するステップと、を含む、請求項１に記載の映像デコーディング方法。
【請求項7】
前記ＭＩＰマトリックスは、前記現在ブロックの大きさと前記インデックス情報に基づいて導出される、請求項５に記載の映像デコーディング方法。
【請求項8】
前記ＭＩＰマトリックスは、前記現在ブロックの大きさに応じて分類される３個のマトリックスセットのいずれかから選択され、
前記３個のマトリックスセットのそれぞれは、複数のＭＩＰマトリックスを含む、請求項７に記載の映像デコーディング方法。
前記３個のマトリックスセットのそれぞれは、複数のＭＩＰマトリックスを含む、請求項７に記載の映像デコーディング方法。
【請求項9】
エンコーディング装置によって実行される映像エンコーディング方法において、
現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が適用されるか否かを導出するステップと、
前記現在ブロックに前記ＭＩＰが適用されると、前記ＭＩＰに基づいて現在ブロックのイントラ予測サンプルを導出するステップと、
前記イントラ予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに対する情報及び前記ＭＩＰに対する情報をエンコーディングするステップと、を含み、
前記ＭＩＰに対する情報は、前記マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化方式により２進化される、映像エンコーディング方法。
現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が適用されるか否かを導出するステップと、
前記現在ブロックに前記ＭＩＰが適用されると、前記ＭＩＰに基づいて現在ブロックのイントラ予測サンプルを導出するステップと、
前記イントラ予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに対する情報及び前記ＭＩＰに対する情報をエンコーディングするステップと、を含み、
前記ＭＩＰに対する情報は、前記マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化方式により２進化される、映像エンコーディング方法。
【請求項10】
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングの最大長さは、前記現在ブロックの大きさに応じて異なる値に設定される、請求項９に記載の映像エンコーディング方法。
【請求項11】
前記最大長さは、前記現在ブロックの大きさに応じて３つの値に設定され、
前記現在ブロックの幅及び高さが４である場合、前記最大長さが最も大きい、請求項１０に記載の映像エンコーディング方法。
前記現在ブロックの幅及び高さが４である場合、前記最大長さが最も大きい、請求項１０に記載の映像エンコーディング方法。
【請求項12】
前記ＭＩＰモード情報は、バイパス方式でエンコーディングされる、請求項９に記載の映像エンコーディング方法。
【請求項13】
前記ＭＩＰマトリックスは、前記現在ブロックの大きさに応じて分類される３個のマトリックスセットのいずれかから選択され、
前記３個のマトリックスセットのそれぞれは、複数のＭＩＰマトリックスを含み、
前記ＭＩＰモード情報は、一つのマトリックスセットに含まれている前記複数のＭＩＰマトリックスのいずれかを指示するインデックス情報である、請求項９に記載の映像エンコーディング方法。
前記３個のマトリックスセットのそれぞれは、複数のＭＩＰマトリックスを含み、
前記ＭＩＰモード情報は、一つのマトリックスセットに含まれている前記複数のＭＩＰマトリックスのいずれかを指示するインデックス情報である、請求項９に記載の映像エンコーディング方法。
【請求項14】
前記イントラ予測サンプルを生成するステップは、
前記現在ブロックに隣接した参照サンプルをダウンサンプリングして縮小された境界サンプルを導出するステップと、
前記縮小された境界サンプルとＭＩＰマトリックスの掛け算に基づいて縮小された予測サンプルを導出するステップと、
前記縮小された予測サンプルをアップサンプリングし、前記現在ブロックに対する前記イントラ予測サンプルを生成するステップと、を含む、請求項９に記載の映像エンコーディング方法。
前記現在ブロックに隣接した参照サンプルをダウンサンプリングして縮小された境界サンプルを導出するステップと、
前記縮小された境界サンプルとＭＩＰマトリックスの掛け算に基づいて縮小された予測サンプルを導出するステップと、
前記縮小された予測サンプルをアップサンプリングし、前記現在ブロックに対する前記イントラ予測サンプルを生成するステップと、を含む、請求項９に記載の映像エンコーディング方法。
【請求項15】
コンピュータ読み取り可能なデジタル保存媒体であって、デコーディング装置により映像デコーディング方法を行うように引き起こすエンコーディングされた映像情報が保存されたデジタル保存媒体において、
前記映像デコーディング方法は、
現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が使用されるか否かを示すフラグ情報を受信するステップと、
前記フラグ情報に基づいて、前記マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を受信するステップと、
前記ＭＩＰモード情報に基づいて、前記現在ブロックに対するイントラ予測サンプルを生成するステップと、
前記イントラ予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化方式により２進化される、デジタル保存媒体。
前記映像デコーディング方法は、
現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が使用されるか否かを示すフラグ情報を受信するステップと、
前記フラグ情報に基づいて、前記マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を受信するステップと、
前記ＭＩＰモード情報に基づいて、前記現在ブロックに対するイントラ予測サンプルを生成するステップと、
前記イントラ予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化方式により２進化される、デジタル保存媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本文書は、映像コーディング技術に関し、マトリックスに基づくイントラ予測装置及び方法に対する映像コーディング技術に関する。
【背景技術】
【0002】
近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が様々な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して映像データを送信するか、既存の保存媒体を利用して映像／ビデオデータを保存する場合、送信費用と保存費用が増加する。
【0003】
また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。
【0004】
これに伴って、前記のような様々な特性を有する高解像度・高品質の映像／ビデオの情報を効果的に圧縮して送信するか保存し、再生するために高効率の映像／ビデオ圧縮技術が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本文書の技術的課題は、映像のコーディング効率を高める方法及び装置を提供することにある。
【0006】
本文書の別の技術的課題は、効率的なイントラ予測方法及び装置を提供することにある。
【0007】
本文書のまた別の技術的課題は、マトリックスに基づくイントラ予測に対する映像コーディング方法及び装置を提供することにある。
【0008】
本文書のまた別の技術的課題は、マトリックスに基づくイントラ予測に対するモード情報をコーディングする映像コーディング方法及び装置を提供することにある。
【課題を解決するための手段】
【0009】
本文書の一実施形態に係ると、デコーディング装置によって実行される映像デコーディング方法が提供される。前記方法は、現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が使用されるか否かを示すフラグ情報を受信するステップと、前記フラグ情報に基づいて、前記マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を受信するステップと、前記ＭＩＰモード情報に基づいて、前記現在ブロックに対するイントラ予測サンプルを生成するステップと、前記イントラ予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化方式により２進化されることができる。
【0010】
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングの最大長さは、前記現在ブロックの大きさに応じて異なる値に設定されることができる。
【0011】
前記最大長さは、前記現在ブロックの大きさに応じて３つの値に設定され、前記現在ブロックの幅及び高さが４である場合、前記最大長さが最も大きいことがある。
【0012】
このような前記ＭＩＰモード情報は、バイパス方式でデコーディングされることができる。
【0013】
前記ＭＩＰモード情報は、前記現在ブロックに適用されるＭＩＰモードを指示するインデックス情報であり得る。
【0014】
前記イントラ予測サンプルを生成するステップは、前記現在ブロックに隣接した参照サンプルをダウンサンプリングして縮小された境界サンプルを導出するステップと、前記縮小された境界サンプルとＭＩＰマトリックスの掛け算に基づいて縮小された予測サンプルを導出するステップと、前記縮小された予測サンプルをアップサンプリングし、前記現在ブロックに対する前記イントラ予測サンプルを生成するステップと、を含むことができる。
【0015】
ここで、前記縮小された境界サンプルは、前記参照サンプルの平均化によりダウンサンプリングされ、前記イントラ予測サンプルは、前記縮小された予測サンプルの線形補間によりアップサンプリングされることができる。
【0016】
前記ＭＩＰマトリックスは、前記現在ブロックの大きさと前記インデックス情報に基づいて導出されることができる。
【0017】
前記ＭＩＰマトリックスは、前記現在ブロックの大きさに応じて分類される３個のマトリックスセットのいずれかから選択されることができ、前記３個のマトリックスセットのそれぞれは、複数のＭＩＰマトリックスを含むことができる。
【0018】
本文書の一実施形態に係ると、エンコーディング装置によって実行される映像エンコーディング方法を提供する。前記方法は、現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が適用されるか否かを導出するステップと、前記現在ブロックに前記ＭＩＰが適用されると、前記ＭＩＰに基づいて現在ブロックのイントラ予測サンプルを導出するステップと、前記イントラ予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを導出するステップと、前記レジデュアルサンプルに対する情報及び前記ＭＩＰに対する情報をエンコーディングするステップと、を含み、前記ＭＩＰに対する情報は、前記マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を含み、前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化方式により２進化されることができる。
【0019】
本文書のまた別の一実施形態に係ると、エンコーディング装置によって実行された映像エンコーディング方法により生成されたエンコーディングされた映像情報、及びビットストリームが含まれた映像データが保存されたデジタル保存媒体が提供できる。
【0020】
本文書のまた別の一実施形態に係ると、デコーディング装置により前記映像デコーディング方法を行うように引き起こすエンコーディングされた映像情報、及びビットストリームが含まれた映像データが保存されたデジタル保存媒体が提供できる。
【発明の効果】
【0021】
本文書は多様な効果を有することができる。例えば、本文書の一実施形態に係ると、全般的な映像／ビデオの圧縮効率を高めることができる。或いは、本文書の一実施形態に係ると、効率的なイントラ予測を介して、具現の複雑度を減らして、予測性能を向上させることによって、全般的なコーディングの効率を向上させることができる。又は、本文書の一実施形態に係ると、マトリックスに基づくイントラ予測の際に、これを指示するインデックス情報を効率的にコーディングして、コーディングの効率を向上させることができる。
【0022】
本文書の具体的な一例を介して得られる効果は、以上で羅列された効果に制限されない。例えば、関連する技術分野における通常の技術者を有する者（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が、本文書から理解または誘導できる多様な技術的効果が存在し得る。これによって、本文書の具体的な効果は、本文書に明示的に記載されているものに制限されず、本文書の技術的特徴から理解または誘導できる多様な効果を含み得る。
【図面の簡単な説明】
【0023】
【図1】本文書の実施形態に適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。
【0024】
【図2】本文書の実施形態に適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。
【0025】
【図3】シンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）をエンコーディングするためのＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）を例示的に示す。
【0026】
【図4】本文書の実施形態が適用できる概略的なイントラ予測に基づく映像エンコーディング方法の一例を示す。
【0027】
【図5】エンコーディング装置内のイントラ予測部を概略的に示す。
【0028】
【図6】本文書の実施形態が適用できる概略的なイントラ予測に基づく映像デコーディング方法の一例を示す。
【0029】
【図7】デコーディング装置内のイントラ予測部を概略的に示す。
【0030】
【図8】本文書の実施形態が適用できるイントラ予測モードの一例を示す。
【0031】
【図9】一例に係るＭＩＰに基づく予測サンプルの生成手順を説明する図である。
【0032】
【図10】４×４ブロックに対するＭＩＰ手順を示す図である。
【0033】
【図11】８×８ブロックに対するＭＩＰ手順を示す図である。
【0034】
【図12】８×４ブロックに対するＭＩＰ手順を示す図である。
【0035】
【図13】１６×１６ブロックに対するＭＩＰ手順を示す図である。
【0036】
【図14】ＭＩＰ手順のうち、境界の平均化手順を説明するための図である。
【0037】
【図15】ＭＩＰ手順のうち、線形補間を説明するための図である。
【0038】
【図16】本文書の一例に係るＭＩＰ技法を説明するための図である。
【0039】
【図17】本文書の一実施形態に係るデコーディング装置によって実行されることができるデコーディング方法を概略的に示すフローチャートである。
【0040】
【図18】本文書の一実施形態に係るエンコーディング装置によって実行されることができるエンコーディング方法を概略的に示すフローチャートである。
【0041】
【図19】本文書の実施形態に適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。
【0042】
【図20】本文書で開示された実施形態が適用できるコンテンツストリーミングシステムの例を示す。
【発明を実施するための形態】
【0043】
本文書は、様々な変更を加えることができ、様々な実施形態を有することができるが、特定の実施形態を図面に例示し、詳細に説明しようとする。しかし、これは、本文書を特定の実施形態に限定しようとするわけではない。本文書で常用する用語は、単に特定の実施形態を説明するために使用されたものであって、本文書における技術的思想を限定しようとする意図に使用されるわけではない。単数の表現は、文脈上明らかに異なる意味ではない限り、複数の表現を含む。本文書において、「含む」又は「有する」等の用語は、文書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の異なる特徴や、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加の可能性を予め排除しないものと理解されるべきである。
【0044】
一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立して示すものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するのではない。例えば、各構成のうち、２つ以上の構成が合わせられて１つの構成をなすこともあり、１つの構成が複数の構成に分けられることもある。各構成が統合及び／又は分離された実施形態も、本文書の本質から外れない限り、本文書の権利範囲に含まれる。
【0045】
本文書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「ただＡ」、「ただＢ」、又は「Ａ及びＢ両方」を意味し得る。言い換えると、本文書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」と解釈され得る。例えば、本文書において、「Ａ、Ｂ又はＣ（Ａ， Ｂ ｏｒ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。
【0046】
本文書で使用されるスラッシュ（／）や休止符（ｃｏｍｍａ）は、「及び／又は（ａｎｄ／ｏｒ）」を意味し得る。例えば、「Ａ／Ｂ」は、「Ａ及び／又はＢ」を意味し得る。これによって、「Ａ／Ｂ」は、「ただＡ」、「ただＢ」、又は「Ａ及びＢ両方」を意味し得る。例えば、「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ又はＣ」を意味し得る。
【0047】
本文書において、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「ただＡ」、「ただＢ」又は「Ａ及びＢ両方」を意味し得る。また、本文書において、「少なくとも一つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも一つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈され得る。
【0048】
また、本文書において、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。さらに、「少なくとも一つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも一つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。
【0049】
また、本文書で使用される括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味し得る。具体的に、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えると、本文書の「予測」は、「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（すなわち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。
【0050】
本文書において一つの図面内で個別的に説明される技術的特徴は、個別的に具現されてもよく、同時に具現されてもよい。
【0051】
本文書は、ビデオ／映像コーディングに関する。例えば、本文書で開示された方法／実施形態は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）、又は次世代ビデオ／映像コーディング標準（ｅｘ．Ｈ．２６７ ｏｒ Ｈ．２６８等）に開示される方法に適用されることができる。
【0052】
本文書では、ビデオ／映像コーディングに関する多様な実施形態を提示し、別の言及がない限り、前記実施形態は互いに組み合わせて実行することもある。
【0053】
本文書で、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定の時間帯における１つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。１つのピクチャは、１つ以上のスライス／タイルで構成されることができる。１つのピクチャは、１つ以上のタイルグループで構成されることができる。１つのタイルグループは、１つ以上のタイルを含むことができる。ブリックは、ピクチャ内タイル以内のＣＴＵ行の四角領域を示し得る（ａ ｂｒｉｃｋ ｍａｙ ｒｅｐｒｅｓｅｎｔ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ｉｎ ａ ｐｉｃｔｕｒｅ）。タイルは、多数のブリックにパーティショニングされ得、各ブリックは、前記タイル内の１つ以上のＣＴＵ行で構成され得る（Ａ ｔｉｌｅ ｍａｙ ｂｅ ｐａｒｔｉｔｉｏｎｅｄ ｉｎｔｏ ｍｕｌｔｉｐｌｅ ｂｒｉｃｋｓ，ｅａｃｈ ｏｆ ｗｈｉｃｈ ｃｏｎｓｉｓｔｉｎｇ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ｔｈｅ ｔｉｌｅ）。多数のブリックにパーティショニングされていないタイルは、ブリックとも呼ばれ得る（Ａ ｔｉｌｅ ｔｈａｔ ｉｓ ｎｏｔ ｐａｒｔｉｔｉｏｎｅｄ ｉｎｔｏ ｍｕｌｔｉｐｌｅ ｂｒｉｃｋｓ ｍａｙ ｂｅ ａｌｓｏ ｒｅｆｅｒｒｅｄ ｔｏ ａｓ ａ ｂｒｉｃｋ）。ブリックのスキャンはピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示し得、前記ＣＴＵはブリック内でＣＴＵラスタースキャンに整列され得、タイル内のブリックは前記タイルの前記ブリックのラスタースキャンに連続的に整列され得、また、ピクチャ内タイルは、前記ピクチャの前記タイルのラスタースキャンに連続的に整列され得る（Ａ ｂｒｉｃｋ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｂｒｉｃｋ，ｂｒｉｃｋｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｂｒｉｃｋｓ ｏｆ ｔｈｅ ｔｉｌｅ，ａｎｄ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルは、特定のタイル列及び特定のタイル列以内のＣＴＵの四角領域である（Ａ ｔｉｌｅ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｗｉｔｈｉｎ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｃｏｌｕｍｎ ａｎｄ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｒｏｗ ｉｎ ａ ｐｉｃｔｕｒｅ）。前記タイル列は、ＣＴＵの四角領域であり、前記四角領域は、前記ピクチャの高さと同じ高さを有し、幅はピクチャパラメータセット内のシンタックス要素により明示され得る（Ｔｈｅ ｔｉｌｅ ｃｏｌｕｍｎ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｅｑｕａｌ ｔｏ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ ａｎｄ ａ ｗｉｄｔｈ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）。前記タイル行はＣＴＵの四角領域であり、前記四角領域は、ピクチャパラメータセット内のシンタックス要素によって明示される幅を有し、高さは、前記ピクチャの高さと同一であり得る（Ｔｈｅ ｔｉｌｅ ｒｏｗ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ａｎｄ ａ ｗｉｄｔｈ ｅｑｕａｌ ｔｏ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルのスキャンはピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示し得、前記ＣＴＵはタイル内のＣＴＵラスタースキャンに連続的に整列され得、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタースキャンに連続的に整列され得る（Ａ ｔｉｌｅ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｔｉｌｅ ｗｈｅｒｅａｓ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。スライスはピクチャの整数個のブリックを含んでもよく、前記整数個のブリックは、１つのＮＡＬユニットに含まれてもよい（Ａ ｓｌｉｃｅ ｉｎｃｌｕｄｅｓ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｂｒｉｃｋｓ ｏｆ ａ ｐｉｃｔｕｒｅ ｔｈａｔ ｍａｙ ｂｅ ｅｘｃｌｕｓｉｖｅｌｙ ｃｏｎｔａｉｎｅｄ ｉｎ ａ ｓｉｎｇｌｅ ＮＡＬ ｕｎｉｔ）。スライスは多数の完全なタイルで構成されてもよく、若しくは１つのタイルの完全なブリックの連続的なシーケンスであってもよい（Ａ ｓｌｉｃｅ ｍａｙ ｃｏｎｓｉｓｔｓ ｏｆ ｅｉｔｈｅｒ ａ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｌｅｔｅ ｔｉｌｅｓ ｏｒ ｏｎｌｙ ａ ｃｏｎｓｅｃｕｔｉｖｅ ｓｅｑｕｅｎｃｅ ｏｆ ｃｏｍｐｌｅｔｅ ｂｒｉｃｋｓ ｏｆ ｏｎｅ ｔｉｌｅ）。この文書でタイルグループとスライスは混用されることがある。例えば、本文書で、ｔｉｌｅ ｇｒｏｕｐ／ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒは、ｓｌｉｃｅ／ｓｌｉｃｅ ｈｅａｄｅｒと呼ばれ得る。
【0054】
ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、１つのピクチャ（又は映像）を構成する最小の単位を意味し得る。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用され得る。サンプルは、一般的にピクセル又はピクセルの値を示すことがあり、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともあり、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともある。或いは、サンプルは空間ドメインでのピクセル値を意味することもあり、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもある。
【0055】
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び該当領域に関する情報の少なくとも一つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合に応じて、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）等の用語と混用して使用されてもよい。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行とからなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（又はアレイ）を含むことができる。
【0056】
以下、添付した図面を参照として、本文書の好ましい実施形態をより詳細に説明しようとする。以下、図面上の同じ構成要素に対しては、同じ参照符号を使用し、同じ構成要素に対して重複する説明は省略され得る。
【0057】
図１は、本文書の実施形態に適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、映像エンコーディング装置を含むことができる。
【0058】
図１を参照すると、エンコーディング装置１００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）１１０、予測部（ｐｒｅｄｉｃｔｏｒ）１２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）１３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）１４０、加算部（ａｄｄｅｒ）１５０、フィルタリング部（ｆｉｌｔｅｒ）１６０、及びメモリ（ｍｅｍｏｒｙ）１７０を含めて構成されることができる。予測部１２０は、インター予測部１２１及びイントラ予測部１２２を含むことができる。レジデュアル処理部１３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）１３２、量子化部（ｑｕａｎｔｉｚｅｒ）１３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）１３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）１３５を含むことができる。レジデュアル処理部１３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）１３１をさらに含むことができる。加算部１５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれ得る。前述した映像分割部１１０、予測部１２０、レジデュアル処理部１３０、エントロピーエンコーディング部１４０、加算部１５０、及びフィルタリング部１６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）によって構成されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル保存媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ１７０を内／外部コンポーネントとしてさらに含むこともできる。
【0059】
映像分割部１１０は、エンコーディング装置１００に入力された入力映像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれ得る。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて、本文書に係るコーディング手順が行われ得る。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットがすぐに最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々上述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であってもよく、前記変換ユニットは、変換係数を導く単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であってもよい。
【0060】
ユニットは、場合に応じて、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行とからなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用できる。
【0061】
エンコーディング装置１００は、入力映像信号（原本ブロック、原本サンプルアレイ）でインター予測部１２１又はイントラ予測部１２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成でき、生成されたレジデュアル信号は、変換部１３２に送信される。この場合、示したように、エンコーディング装置１００内で入力映像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部１３１と呼ばれ得る。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるか決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコーディング部１４０に伝達することができる。予測に関する情報は、エントロピーエンコーディング部１４０でエンコーディングされてビットストリームの形態で出力されることができる。
【0062】
イントラ予測部１２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、または、離れて位置してもよい。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部１２２は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0063】
インター予測部１２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的周辺ブロックを含む参照ピクチャとは同じであってもよく、異なってもよい。前記時間的周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれ得、前記時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれ得る。例えば、インター予測部１２１は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャのインデックスを導出するために、どの候補が使用されるかを指示する情報を生成できる。様々な予測モードに基づいてインター予測が行われ得、例えば、スキップモードとマージモードの場合に、インター予測部１２１は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。
【0064】
予測部１２０は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれ得る。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともあり、又はパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともある。前記ＩＢＣ予測モード又はパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画のコーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に実行されることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法の少なくとも１つを用いることができる。パレットモードは、イントラコーディング又はイントラ予測の一例とみることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいて、ピクチャ内のサンプル値をシグナリングすることができる。
【0065】
前記予測部（インター予測部１２１及び／又は前記イントラ予測部１２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられることができる。変換部１３２は、レジデュアル信号に変換技法を適用して、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）の少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するという際に、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
【0066】
量子化部１３３は、変換係数を量子化してエントロピーエンコーディング部１４０に送信され、エントロピーエンコーディング部１４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれ得る。量子化部１３３は、係数のスキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形態の量子化された変換係数を１次元ベクトルの形態で再整列することができ、前記１次元ベクトルの形態の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部１４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコーディング方法を行うことができる。エントロピーエンコーディング部１４０は、量子化された変換係数の他に、ビデオ／イメージの復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリームの形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または保存されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコーディング装置からデコーディング装置へ伝達／シグナリングされる情報及び／又はシンタックス要素は、ビデオ／映像情報に含まれ得る。前記ビデオ／映像情報は、前述したエンコーディング手順を介してエンコーディングされて、前記ビットストリームに含まれ得る。前記ビットストリームは、ネットワークを介して送信され得、またはデジタル保存媒体に保存され得る。ここで、ネットワークは、放送網及び／又は通信網などを含み得、デジタル保存媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な保存媒体を含み得る。エントロピーエンコーディング部１４０から出力された信号は、送信する送信部（図示せず）及び／又は保存する保存部（図示せず）がエンコーディング装置１００の内／外部エレメントとして構成されてもよく、または送信部は、エントロピーエンコーディング部１４０に含まれてもよい。
【0067】
量子化部１３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１３４及び逆変換部１３５を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元できる。加算部１５５は、復元されたレジデュアル信号をインター予測部１２１又はイントラ予測部１２２から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成できる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部２５０は、復元部または復元ブロック生成部と呼ばれ得る。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て、次のピクチャのインター予測のために使用されることもできる。
【0068】
一方、ピクチャエンコーディング及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
【0069】
フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的に、メモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコーディング部１４０に伝達することができる。フィルタリング関する情報は、エントロピーエンコーディング部１４０でエンコーディングされてビットストリームの形態で出力されることができる。
【0070】
メモリ１７０に送信された修正された復元ピクチャは、インター予測部１２１で参照ピクチャとして使用されることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置１００とデコーディング装置における予測のミスマッチを避けることができ、符号化効率も向上させることができる。
【0071】
メモリ１７０のＤＰＢは、修正された復元ピクチャをインター予測部１２１における参照ピクチャとして使用するために保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するために、インター予測部１２１に伝達することができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１２２に伝達することができる。
【0072】
図２は、本文書の実施形態に適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。
【0073】
図２を参照すると、デコーディング装置２００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）２１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２２０、予測部（ｐｒｅｄｉｃｔｏｒ）２３０、加算部（ａｄｄｅｒ）２４０、フィルタリング部（ｆｉｌｔｅｒ）２５０、及びメモリ（ｍｅｍｏｅｒｙ）２６０を含めて構成されることができる。予測部２３０は、インター予測部２３１及びイントラ予測部２３２を含むことができる。レジデュアル処理部２２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２２１を含むことができる。前述したエントロピーデコーディング部２１０、レジデュアル処理部２２０、予測部２３０、加算部２４０、及びフィルタリング部２５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル保存媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２６０を内／外部コンポーネントとしてさらに含むこともできる。
【0074】
ビデオ／映像情報を含むビットストリームが入力されると、デコーディング装置２００は、図１のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元できる。例えば、デコーディング装置２００は、前記ビットストリームから獲得したブロック分割に関する情報に基づいてユニット／ブロックを導出できる。デコーディング装置２００は、エンコーディング装置で適用された処理ユニットを用いてデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであってもよく、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造によって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出できる。そして、デコーディング装置２００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。
【0075】
デコーディング装置２００は、図１のエンコーディング装置から出力された信号をビットストリームの形態で受信することができ、受信された信号は、エントロピーデコーディング部２１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部２１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出できる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコーディングすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコーディング手順を介してデコーディングされて、前記ビットストリームから獲得されることができる。例えば、エントロピーデコーディング部２１０は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基にビットストリーム内の情報をデコーディングし、映像の復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。より詳細に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコーディング対象のシンタックス要素情報、周辺及びデコーディング対象ブロックのデコーディング情報、あるいは以前ステップでデコーディングされたシンボル／ビンの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行し、各シンタックス要素の値に該当するシンボルを生成できる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのためにデコーディングされたシンボル／ビンの情報を用いてコンテキストモデルをアップデートすることができる。エントロピーデコーディング部２１０でデコーディングされた情報のうち、予測に関する情報は、予測部（インター予測部２３２及びイントラ予測部２３１）に提供され、エントロピーデコーディング部２１０でエントロピーデコーディングが実行されたレジデュアル値、すなわち、量子化された変換係数及び関連のパラメータ情報は、レジデュアル処理部２２０に入力されることができる。レジデュアル処理部２２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出することができる。また、エントロピーデコーディング２１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部２５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置２００の内／外部エレメントとしてさらに構成され得、または受信部は、エントロピーデコーディング部２１０の構成要素であり得る。一方、本文書に係るデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれ得、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部２１０を含むことができ、前記サンプルデコーダは、前記逆量子化部２２１、逆変換部２２２、加算部２４０、フィルタリング部２５０、メモリ２６０、インター予測部２３２、及びイントラ予測部２３１の少なくとも１つを含むことができる。
【0076】
逆量子化部２２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部２２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコーディング装置で実行された係数のスキャン順序に基づいて再整列を実行することができる。逆量子化部２２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を獲得できる。
【0077】
逆変換部２２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を獲得することになる。
【0078】
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部は、エントロピーデコーディング部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定できる。
【0079】
予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれ得る。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともあり、又はパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともある。前記ＩＢＣ予測モード又はパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に実行されることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法の少なくとも１つを用いることができる。パレットモードは、イントラコーディング又はイントラ予測の一例とみることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が、前記ビデオ／映像情報に含まれてシグナリングされることができる。
【0080】
イントラ予測部２３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置してもよく、または離れて位置してもよい。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部２３１は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0081】
インター予測部２３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。例えば、インター予測部２３２は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャのインデックスを導出できる。様々な予測モードに基づいてインター予測が行われ得、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含み得る。
【0082】
加算部２４０は、獲得されたレジデュアル信号を予測部（インター予測部２３２及び／又はイントラ予測部２３１を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成できる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。
【0083】
加算部２４０は、復元部または復元ブロック生成部と呼ばれ得る。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されてもよく、または次のピクチャのインター予測のために使用されてもよい。
【0084】
一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
【0085】
フィルタリング部２５０は、復元信号にフィルタリングを適用して、主観的／客観的画質を向上させることができる。例えば、フィルタリング部２５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成でき、前記修正された復元ピクチャをメモリ２６０、具体的に、メモリ２６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
【0086】
メモリ２６０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２３２で参照ピクチャとして使用されることができる。メモリ２６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存できる。前記保存された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するために、インター予測部２３２に伝達することができる。メモリ２６０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存でき、イントラ予測部２３１に伝達することができる。
【0087】
本文書において、エンコーディング装置１００のフィルタリング部１６０、インター予測部１２１及びイントラ予測部１２２で説明された実施形態は、それぞれデコーディング装置２００のフィルタリング部２５０、インター予測部２３２及びイントラ予測部２３１にも同一または対応するように適用されることができる。
【0088】
前述したように、ビデオコーディングを実行するにあたって、圧縮効率を高めるために予測を行う。これを通じて、コーディングの対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、予測されたブロックは、空間ドメイン（又はピクセルドメイン）での予測サンプルを含む。予測されたブロックは、エンコーディング装置及びデコーディング装置で同様に導出され、エンコーディング装置は、原本ブロックの原本サンプル値そのものではなく、原本ブロックと予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることによって映像コーディングの効率を高めることができる。デコーディング装置は、レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、レジデュアルブロックと予測されたブロックとを合わせて、復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
【0089】
前記レジデュアル情報は、変換及び量子化手順を通じて生成されることができる。例えば、エンコーディング装置は、原本ブロックと予測されたブロックとの間のレジデュアルブロックを導出し、レジデュアルブロックに含まれたレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を行って変換係数を導出し、変換係数に量子化手順を行って量子化された変換係数を導出し、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、レジデュアル情報は、量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータ等の情報を含むことができる。デコーディング装置は、レジデュアル情報に基づいて逆量子化／逆変換手順を行い、レジデュアルサンプル（又はレジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックとレジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以降のピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
【0090】
一方、前述した内容のように、エンコーディング装置は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）等のような多様なエンコーディング方法を行うことができる。また、デコーディング装置は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法に基づいて、ビットストリーム内の情報をデコーディングし、映像の復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。
【0091】
例えば、前述したコーディング方法は、後述する内容のように行うことができる。
【0092】
図３は、シンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）をエンコーディングするためのＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）を例示的に示す。例えば、ＣＡＢＡＣの符号化過程は、エンコーディング装置は入力信号が２進値ではなく、シンタックスエレメントの場合には、前記入力信号の値を２進化（ｂｉｎａｒｉｚａｔｉｏｎ）し、入力信号を２進値に変換することができる。また、前記入力信号が既に２進値である場合（すなわち、前記入力信号の値が２進値である場合）には、２進化が行われずにバイパス（ｂｙｐａｓｓ）できる。ここで、２進値を構成するそれぞれの２進数０又は１をビン（ｂｉｎ）といえる。例えば、２進化された後の２進ストリングが１１０である場合、１、１、０それぞれを一つのビンという。一つのシンタックスエレメントに対する前記ビンは、前記シンタックスエレメントの値を示すことができる。このような２進化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ、Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ等の多様な２進化方法に基づくことができ、対象のシンタックスエレメントに対する２進化方法は、予め定義されることができる。前記２進化手順は、エントロピーエンコーディング部内の２進化部によって実行されることができる。
【0093】
以降、前記シンタックスエレメントの２進化されたビンは、正規（ｒｅｇｕｌａｒ）符号化エンジン又はバイパス符号化エンジンに入力されることができる。エンコーディング装置の正規符号化エンジンは、該当ビンに対して確率値を反映するコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を割り当てることができ、割り当てられたコンテキストモデルに基づいて該当ビンをエンコーディングすることができる。エンコーディング装置の前記正規符号化エンジンは、各ビンに対するエンコーディングを実行した後に、該当ビンに対するコンテキストモデルを更新することができる。前述した内容のように、エンコーディングされるビンは、コンテキスト符号化ビン（ｃｏｎｔｅｘｔ－ｃｏｄｅｄ ｂｉｎ）と示すことができる。
【0094】
一方、前記シンタックスエレメントの２進化されたビンが、前記バイパス符号化エンジンに入力される場合には、次のようにコーディングされることができる。例えば、エンコーディング装置のバイパス符号化エンジンは、入力されたビンに対して、確率を推定する手順と、符号化後に前記ビンに適用した確率モデルを更新する手順を省略する。バイパスエンコーディングが適用される場合、エンコーディング装置は、コンテキストモデルを割り当てる代わりに、均一な確率分布を適用し、入力されるビンをエンコーディングすることができ、これを通じて、エンコーディングの速度を向上させることができる。前述した内容のように、エンコーディングされるビンは、バイパスビン（ｂｙｐａｓｓ ｂｉｎ）と示すことができる。
【0095】
エントロピーデコーディングは、前述したエントロピーエンコーディングと同じ過程を逆順に実行する過程を示すことができる。
【0096】
デコーディング装置（エントロピーデコーディング部）は、エンコーディングされた映像／ビデオ情報をデコーディングすることができる。前記映像／ビデオ情報は、パーティショニングに関する情報、予測に関する情報（ｅｘ．インター／イントラ予測区分情報、イントラ予測モード情報、インター予測モード情報等）、レジデュアル情報、インループフィルタリングに関する情報等を含むことができ、又は、それに関する多様なシンタックスエレメントを含むことができる。前記エントロピーコーディングは、シンタックス要素の単位で実行されることができる。
【0097】
デコーディング装置は、対象のシンタックスエレメントに対する２進化を実行することができる。ここで、前記２進化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ、Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ等の多様な２進化方法に基づくことができ、対象のシンタックスエレメントに対する２進化方法は、予め定義されることができる。デコーディング装置は、前記２進化手順を介して、対象のシンタックスエレメントの可用値に対する可用のビンストリング（ビンストリングの候補）を導出することができる。前記２進化手順は、エントロピーデコーディング部内の２進化部によって実行されることができる。
【0098】
デコーディング装置は、ビットストリーム内の入力ビットから前記対象のシンタックスエレメントに対する各ビンを順次にデコーディング及びパーシングするとともに、導出されたビンストリングを該当シンタックスエレメントに対する可用のビンストリングと比較する。もし、導出されたビンストリングが前記可用のビンストリングのうちの一つと同じであれば、該当ビンストリングに対応する値が、該当シンタックス要素の値として導出される。もし、そうでなければ、前記ビットストリーム内の次のビットをさらにパーシングした後、前述した手順を再度実行する。このような過程を通じて、ビットストリーム内に特定の情報（特定のシンタックスエレメント）に対するスタートビットやエンドビットを使用しなくても、可変長さのビットを用いて、該当情報をシグナリングすることができる。これを介して、低い値に対しては、相対的により少ないビットを割り当てることができ、全般的なコーディング効率を高めることができる。
【0099】
デコーディング装置は、ＣＡＢＡＣ又はＣＡＶＬＣ等のエントロピーコーディング技法に基づいて、ビットストリームから前記ビンストリング内の各ビンをコンテキストモデルに基づいて、又はバイパスに基づいてデコーディングできる。
【0100】
シンタックスエレメントがコンテキストモデルに基づいてデコーディングされる場合、デコーディング装置は、ビットストリームを介して前記シンタックスエレメントに該当するビンを受信することができ、前記シンタックスエレメントとデコーディングの対象ブロック又は周辺ブロックのデコーディング情報、或いは以前のステップでデコーディングされたシンボル／ビンの情報を用いて、コンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を決定することができ、決定されたコンテキストモデルによって、前記受信されたビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行し、前記シンタックスエレメントの値を導出することができる。以降、前記決定されたコンテキストモデルで、次にデコーディングされるビンのコンテキストモデルがアップデートされることができる。
【0101】
コンテキストモデルは、コンテキストコーディング（正規コーディング）されるビン別に割当及びアップデートされることができ、コンテキストモデルは、ｃｔｘＩｄｘ又はｃｔｘＩｎｃに基づいて指示されることができる。ｃｔｘＩｄｘは、ｃｔｘＩｎｃに基づいて導出されることができる。具体的に、例えば、前記正規コーディングされるビンそれぞれに対するコンテキストモデルを指すコンテキストインデックス（ｃｔｘＩｄｘ）は、ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔ（ｃｔｘＩｎｃ）及びｃｏｎｔｅｘｔ ｉｎｄｅｘ ｏｆｆｓｅｔ（ｃｔｘＩｄｘＯｆｆｓｅｔ）の和で導出されることができる。ここで、前記ｃｔｘＩｎｃは、各ビン別に異なって導出されることができる。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、前記ｃｔｘＩｄｘの最小値（ｔｈｅ ｌｏｗｅｓｔ ｖａｌｕｅ）で表されることができる。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、一般的に他のシンタックス要素に対するコンテキストモデルとの区分のために用いられる値であって、一つのシンタックス要素に対するコンテキストモデルは、ｃｔｘＩｎｃに基づいて区分／導出されることができる。
【0102】
エントロピーエンコーディング手順で、正規コーディングエンジンを介してエンコーディングを実行するか、バイパスコーディングエンジンを介してエンコーディングを実行するかを決定し、コーディング経路を切り替えることができる。エントロピーデコーディングは、エントロピーエンコーディングと同じ過程を逆順に実行する。
【0103】
一方、例えば、シンタックスエレメントがバイパスデコーディングされる場合、デコーディング装置は、ビットストリームを介して、前記シンタックスエレメントに該当するビンを受信することができ、均一な確率分布を適用して入力されるビンをデコーディングすることができる。この場合、デコーディング装置は、シンタックスエレメントのコンテキストモデルを導出する手順と、デコーディング後に前記ビンに適用したコンテキストモデルを更新する手順は省略され得る。
【0104】
前述したように、レジデュアルサンプルは、変換、量子化過程を経て、量子化された変換係数として導出されることができる。量子化された変換係数は、変換係数とも呼ばれ得る。この場合、ブロック内の変換係数は、レジデュアル情報の形態でシグナリングされることができる。前記レジデュアル情報は、レジデュアルコーディングシンタックスを含むことができる。すなわち、エンコーディング装置は、レジデュアル情報でレジデュアルコーディングシンタックスを構成し、これをエンコーディングしてビットストリームの形態で出力することができ、デコーディング装置は、ビットストリームからレジデュアルコーディングシンタックスをデコーディングし、レジデュアル（量子化された）変換係数を導出することができる。前記レジデュアルコーディングシンタックスは、後述するように、該当ブロックに対して変換が適用されているのか、ブロック内の最後の有効変換係数の位置がどこなのか、サブブロック内の有効変換係数が存在するか、有効変換係数の大きさ／符号がどうであるか等を示すシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）を含むことができる。
【0105】
一方、イントラ予測が行われる場合、サンプル間の相関関係が用いられることができ、原本ブロックと予測ブロックとの差、すなわち、レジデュアル（ｒｅｓｉｄｕａｌ）が獲得できる。前記レジデュアルには、前述した変換及び量子化が適用できるが、これを介して空間的リダンダンシー（ｓｐａｔｉａｌ ｒｅｄｕｎｄａｎｃｙ）が除去できる。以下では、イントラ予測が使用されるエンコーディング方法及びデコーディング方法に関して具体的に説明する。
【0106】
イントラ予測は、現在ブロックを含むピクチャ（以下、現在ピクチャ）内の現在ブロックの外部の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を言う。ここで、現在ブロックの外部の参照サンプルは、現在ブロックの周辺に位置するサンプルをいえる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する周辺（ｎｅｉｇｈｂｏｒｉｎｇ）の参照サンプルが導出できる。
【0107】
例えば、現在ブロックの大きさ（幅×高さ）がｎＷ×ｎＨの大きさであるとき、現在ブロックの周辺参照サンプルは、現在ブロックの左側（ｌｅｆｔ）境界に隣接したサンプル、及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接する計２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル、及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接する計２×ｎＷ個のサンプル、現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接する１個のサンプルを含むことができる。或いは、現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むこともできる。また、現在ブロックの周辺参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した計ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した計ｎＷ個のサンプル、現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接する１個のサンプルを含むこともできる。
【0108】
但し、現在ブロックの周辺参照サンプルのうち一部はまだデコーディングされていないか、利用可能ではないことがある。この場合、デコーディング装置は、利用可能ではないサンプルを利用可能なサンプルに代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）し、予測に使用する周辺参照サンプルを構成することができる。或いは、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して、予測に使用する周辺参照サンプルを構成することができる。
【0109】
周辺参照サンプルが導出された場合、（ｉ）現在ブロックの周辺参照サンプルの平均（ａｖｅｒａｇｅ）或いは補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの周辺参照サンプルのうち予測サンプルに対して特定の（予測）方向に存在する参照サンプルに基づいて予測サンプルを誘導することもできる。（ｉ）の場合は、イントラ予測モードが非方向性モード又は非角度モードであるときに適用されることができ、（ｉｉ）の場合は、イントラ予測モードが方向性（ｄｉｒｅｃｔｉｏｎａｌ）モード又は角度（ａｎｇｕｌａｒ）モードであるときに適用されることができる。
【0110】
また、周辺参照サンプルのうち、現在ブロックの予測サンプルを基準に現在ブロックのイントラ予測モードの予測方向に位置する第１周辺サンプルと前記予測方向の反対方向に位置する第２周辺サンプルとの補間を介して予測サンプルが生成されることもできる。前述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれ得る。また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を用いて、ルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭモードと呼ばれ得る。
【0111】
また、フィルタリングされた周辺参照サンプルに基づいて現在ブロックの仮の予測サンプルを導出し、既存の周辺参照サンプル、すなわち、フィルタリングされていない周辺参照サンプルのうち、イントラ予測モードによって導出された少なくとも一つの参照サンプルと、前記仮の予測サンプルを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して、現在ブロックの予測サンプルを導出することもできる。前述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれ得る。
【0112】
また、現在ブロックの周辺の多重参照サンプルラインのうち、最も予測正確度の高い参照サンプルラインを選択し、該当ラインで予測方向に位置する参照サンプルを用いて予測サンプルを導出して、このとき、使用された参照サンプルラインをデコーディング装置に指示（シグナリング）する方法でイントラ予測の符号化を行うことができる。前述した場合は、ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ（ＭＲＬ）ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ又はＭＲＬに基づくイントラ予測と呼ばれ得る。
【0113】
また、現在ブロックを垂直又は水平のサブパーティションに分けて、同じイントラ予測モードに基づいてイントラ予測を行い、サブパーティション単位で周辺参照サンプルを導出して用いることができる。すなわち、この場合、現在ブロックに対するイントラ予測モードがサブパーティションに同じように適用され、サブパーティション単位で周辺参照サンプルを導出して用いることによって、場合に応じて、イントラ予測の性能を高めることができる。このような予測方法は、ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）又はＩＳＰに基づくイントラ予測と呼ばれ得る。
【0114】
前述したイントラ予測方法は、イントラ予測モードと区分し、イントラ予測タイプと呼ばれ得る。イントラ予測タイプは、イントラ予測技法又は付加のイントラ予測モード等の多様な用語で呼ばれ得る。例えば、イントラ予測タイプ（又は付加のイントラ予測モード等）は、前述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰの少なくとも一つを含むことができる。前記ＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰ等の特定のイントラ予測タイプを除いた一般のイントラ予測方法は、ノーマルイントラ予測タイプと呼ばれ得る。ノーマルイントラ予測タイプは、前記のような特定のイントラ予測タイプが適用されない場合、一般的に適用されることができ、前述したイントラ予測モードに基づいて予測が行われることがある。一方、必要に応じて、導出された予測サンプルに対する後処理フィルタリングが行われることもある。
【0115】
一方、前述したイントラ予測タイプの他にも、イントラ予測に対する一つの方法としてマトリックスに基づくイントラ予測（Ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、以下、ＭＩＰ）が使用できる。ＭＩＰは、アフィン線形加重イントラ予測（Ａｆｆｉｎｅ ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏ、ＡＬＷＩＰ）又はマトリックス加重イントラ予測（Ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＭＷＩＰ）と指称され得る。
【0116】
ＭＩＰが現在ブロックに対して適用される場合、ｉ）平均化（ａｖｅｒａｇｉｎｇ）手順が行われた周辺参照サンプルを用いて、ｉｉ）マトリックスベクトル掛け算（ｍａｔｒｉｘ－ｖｅｃｔｏｒ－ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）手順を行い、ｉｉｉ）必要に応じて、水平／垂直補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順をさらに行って、前記現在ブロックに対する予測サンプルを導出することができる。前記ＭＩＰのために使用されるイントラ予測モードは、前述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰイントラ予測や、ノーマルイントラ予測で使用されるイントラ予測モードと異なって構成されることができる。
【0117】
ＭＩＰのためのイントラ予測モードは、「ａｆｆｉｎｅ ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ」又はマトリックスに基づくイントラ予測モードと呼ばれ得る。例えば、前記ＭＩＰのためのイントラ予測モードにより、マトリックスベクトル掛け算で使用されるマトリックス及びオフセットが異なって設定されることができる。ここで、マトリックスは、（アフィン）加重値マトリックスと呼ばれ得、オフセットは、（アフィン）オフセットベクトル又は（アフィン）バイアス（ｂｉａｓ）ベクトルと呼ばれ得る。本文書で、ＭＩＰのためのイントラ予測モードは、ＭＩＰイントラ予測モード、ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ又はｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ又はｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅと呼ばれ得る。具体的なＭＩＰ方法については後述する。
【0118】
以下の図面は、本文書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や、具体的な用語や名称（例えば、シンタックスの名称等）は、例示的に提示されたものであるため、本文書の技術的特徴が、以下の図面に使用された具体的な名称に制限されない。
【0119】
図４は、本文書の実施形態が適用できる概略的なイントラ予測に基づく映像エンコーディング方法の一例を示し、図５は、エンコーディング装置内のイントラ予測部を概略的に示す。図５のエンコーディング装置内のイントラ予測部は、前述した図１のエンコーディング装置１００のイントラ予測部１２２にも同一又は対応するように適用されることができる。
【0120】
図４及び図５を参照すると、Ｓ４００は、エンコーディング装置のイントラ予測部１２２によって実行されることができ、Ｓ４１０は、エンコーディング装置のレジデュアル処理部１３０によって実行されることができる。具体的に、Ｓ４１０は、エンコーディング装置の減算部１３１によって実行されることができる。Ｓ４２０において、予測情報はイントラ予測部１２２により導出され、エントロピーエンコーディング部１４０によりエンコーディングされることができる。Ｓ４２０において、レジデュアル情報は、レジデュアル処理部１３０により導出され、エントロピーエンコーディング部１４０によりエンコーディングされることができる。レジデュアル情報は、レジデュアルサンプルに関する情報である。レジデュアル情報は、レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、レジデュアルサンプルは、エンコーディング装置の変換部１３２を介して変換係数として導出され、変換係数は、量子化部１３３を介して量子化された変換係数として導出されることができる。量子化された変換係数に関する情報がレジデュアルコーディング手順を介してエントロピーエンコーディング部１４０でエンコーディングされることができる。
【0121】
エンコーディング装置は、現在ブロックに対するイントラ予測を行う（Ｓ４００）。エンコーディング装置は、現在ブロックに対するイントラ予測モード／タイプを導出し、現在ブロックの周辺参照サンプルを導出することができ、イントラ予測モード／タイプ及び周辺参照サンプルに基づいて、現在ブロック内の予測サンプルを生成する。ここで、イントラ予測モード／タイプの決定、周辺参照サンプルの導出、及び予測サンプルの生成手順は、同時に行われることもあり、いずれかの手順が他の手順より先に行われることもある。
【0122】
例えば、エンコーディング装置のイントラ予測部１２２は、イントラ予測モード／タイプ決定部１２２－１、参照サンプル導出部１２２－２、予測サンプル導出部１２２－３を含むことができ、イントラ予測モード／タイプ決定部１２２－１で現在ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部１２２－２で現在ブロックの周辺参照サンプルを導出し、予測サンプル導出部１２２－３で現在ブロックの予測サンプルを導出することができる。一方、示していないが、予測サンプルのフィルタリング手順が行われる場合、イントラ予測部１２２は予測サンプルフィルタ部（図示せず）をさらに含むこともある。エンコーディング装置は、複数のイントラ予測モード／タイプのうち、現在ブロックに対して適用されるモード／タイプを決定することができる。エンコーディング装置は、イントラ予測モード／タイプに対するＲＤコスト（ＲＤ ｃｏｓｔ）を比較し、現在ブロックに対する最適のイントラ予測モード／タイプを決定することができる。
【0123】
前述したように、エンコーディング装置は、予測サンプルのフィルタリング手順を行うこともできる。予測サンプルのフィルタリングは、ポストフィルタリングと呼ばれ得る。予測サンプルのフィルタリング手順により、予測サンプルのうち一部又は全部がフィルタリングできる。場合に応じて、予測サンプルのフィルタリング手順は省略され得る。
【0124】
エンコーディング装置は、（フィルタリングされた）予測サンプルに基づいて現在ブロックに対するレジデュアルサンプルを生成する（Ｓ４１０）。エンコーディング装置は、現在ブロックの原本サンプルで予測サンプルを位相ベースと比較し、レジデュアルサンプルを導出することができる。
【0125】
エンコーディング装置は、イントラ予測に関する情報（予測情報）、及びレジデュアルサンプルに関するレジデュアル情報を含む映像情報をエンコーディングすることができる（Ｓ４２０）。予測情報は、イントラ予測モード情報、イントラ予測タイプ情報を含むことができる。レジデュアル情報は、レジデュアルコーディングのシンタックスを含むことができる。エンコーディング装置は、レジデュアルサンプルを変換／量子化し、量子化された変換係数を導出することができる。レジデュアル情報は、前記量子化された変換係数に対する情報を含むことができる。
【0126】
エンコーディング装置は、エンコーディングされた映像情報をビットストリームの形態で出力することができる。出力されたビットストリームは、保存媒体又はネットワークを介してデコーディング装置に伝達されることができる。
【0127】
前述したように、エンコーディング装置は復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成することができる。このため、エンコーディング装置は、量子化された変換係数を再度逆量子化／逆変換処理して（修正された）レジデュアルサンプルを導出することができる。このようにレジデュアルサンプルを変換／量子化後、再度逆量子化／逆変換を行う理由は、前述したように、デコーディング装置から導出されるレジデュアルサンプルと同一のレジデュアルサンプルを導出するためである。エンコーディング装置は、予測サンプルと（修正された）レジデュアルサンプルに基づいて、現在ブロックに対する復元サンプルを含む復元ブロックを生成することができる。前記復元ブロックに基づいて、現在ピクチャに対する復元ピクチャが生成できる。前記復元ピクチャにインループフィルタリング手順等がさらに適用できることは前述した通りである。
【0128】
図６は、本文書の実施形態が適用できる概略的なイントラ予測に基づく映像デコーディング方法の一例を示し、図７は、デコーディング装置内のイントラ予測部を概略的に示す。図７のデコーディング装置内のイントラ予測部は、前述した図２のデコーディング装置２００のイントラ予測部２３１にも同一又は対応するように適用されることができる。
【0129】
図６及び図７を参照すると、デコーディング装置は、前述したエンコーディング装置で実行された動作と対応する動作を実行することができる。Ｓ６００乃至Ｓ６２０は、デコーディング装置のイントラ予測部２３１によって実行されることができ、Ｓ６００の予測情報及びＳ６３０のレジデュアル情報は、デコーディング装置のエントロピーデコーディング部２１０によりビットストリームから獲得されることができる。デコーディング装置のレジデュアル処理部２２０は、レジデュアル情報に基づいて、現在ブロックに対するレジデュアルサンプルを導出することができる。具体的に、レジデュアル処理部２２０の逆量子化部２２１は、レジデュアル情報に基づいて導出された量子化された変換係数に基づき、逆量子化を行って変換係数を導出し、レジデュアル処理部の逆変換部２２２は、変換係数に対する逆変換を行い、現在ブロックに対するレジデュアルサンプルを導出することができる。Ｓ６４０は、デコーディング装置の加算部２４０又は復元部によって実行されることができる。
【0130】
デコーディング装置は、受信された予測情報（イントラ予測モード／タイプ情報）に基づいて、現在ブロックに対するイントラ予測モード／タイプを導出することができる（Ｓ６００）。デコーディング装置は、現在ブロックの周辺参照サンプルを導出することができる（Ｓ６１０）。デコーディング装置は、イントラ予測モード／タイプ及び周辺参照サンプルに基づいて、現在ブロック内の予測サンプルを生成する（Ｓ６２０）。この場合、デコーディング装置は、予測サンプルのフィルタリング手順を行うことができる。予測サンプルのフィルタリングは、ポストフィルタリングと呼ばれ得る。予測サンプルのフィルタリング手順により、予測サンプルのうち一部又は全部がフィルタリングできる。場合に応じて、予測サンプルのフィルタリング手順は省略され得る。
【0131】
デコーディング装置は、受信されたレジデュアル情報に基づいて、現在ブロックに対するレジデュアルサンプルを生成する（Ｓ６３０）。デコーディング装置は、予測サンプル及びレジデュアルサンプルに基づいて、現在ブロックに対する復元サンプルを生成し、復元サンプルを含む復元ブロックを導出することができる（Ｓ６４０）。前記復元ブロックに基づいて、現在ピクチャに対する復元ピクチャが生成できる。前記復元ピクチャにインループフィルタリング手順等がさらに適用できることは前述した通りである。
【0132】
ここで、デコーディング装置のイントラ予測部２３１は、イントラ予測モード／タイプ決定部２３１－１、参照サンプル導出部２３１－２、予測サンプル導出部２３１－３を含むことができ、イントラ予測モード／タイプ決定部２３１－１は、エントロピーデコーディング部２１０から獲得されたイントラ予測モード／タイプ情報に基づいて、現在ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部２３１－２は、現在ブロックの周辺参照サンプルを導出し、予測サンプル導出部２３１－３は、現在ブロックの予測サンプルを導出することができる。一方、示していないが、前述した予測サンプルのフィルタリング手順が行われる場合、イントラ予測部２３１は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。
【0133】
前記イントラ予測モード情報は、例えば、ＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）が現在ブロックに適用されるか、それともリメイニングモード（ｒｅｍａｉｎｉｎｇ ｍｏｄｅ）が適用されるか否かを示すフラグ情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）を含むことができる。このとき、ＭＰＭが現在ブロックに適用される場合、予測モード情報は、イントラ予測モードの候補（ＭＰＭ候補）の一つを指すインデックス情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）をさらに含むことができる。イントラ予測モードの候補（ＭＰＭ候補）は、ＭＰＭ候補リスト又はＭＰＭリストで構成されることができる。また、ＭＰＭが現在ブロックに適用されない場合、イントラ予測モード情報はイントラ予測モードの候補（ＭＰＭ候補）を除いた残りのイントラ予測モードの一つを指すリメイニングモード情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をさらに含むことができる。デコーディング装置は、イントラ予測モード情報に基づいて、現在ブロックのイントラ予測モードを決定することができる。
【0134】
また、イントラ予測タイプ情報は、多様な形態で具現されることができる。一例として、イントラ予測タイプ情報は、イントラ予測タイプの一つを指示するイントラ予測タイプのインデックス情報を含むことができる。別の例として、イントラ予測タイプ情報は、ＭＲＬが現在ブロックに適用されるか、及びＭＲＬが適用される場合には、何番目の参照サンプルラインが用いられるか否かを示す参照サンプルライン情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、ＩＳＰが現在ブロックに適用されるかを示すＩＳＰフラグ情報（ｅｘ．ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、ＩＳＰが適用される場合に、サブパーティションの分割タイプを指示するＩＳＰタイプ情報（ｅｘ．ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＣＰの適用可否を示すフラグ情報、又はＬＩＰの適用可否を示すフラグ情報の少なくとも一つを含むことができる。また、イントラ予測タイプ情報は、現在ブロックにＭＩＰが適用されるか否かを示すＭＩＰフラグを含むことができる。
【0135】
前述したイントラ予測モード情報及び／又はイントラ予測タイプ情報は、本文書で説明したコーディング方法を通じてエンコーディング／デコーディングされることができる。例えば、前述したイントラ予測モード情報及び／又はイントラ予測タイプ情報は、ｔｒｕｎｃａｔｅｄ （ｒｉｃｅ） ｂｉｎａｒｙ ｃｏｄｅに基づいてエントロピーコーディング（ｅｘ．ＣＡＢＡＣ， ＣＡＶＬＣ）を介してエンコーディング／デコーディングされることができる。
【0136】
一方、イントラ予測が適用される場合、周辺ブロックのイントラ予測モードを用いて現在ブロックに適用されるイントラ予測モードが決定できる。例えば、デコーディング装置は、現在ブロックの周辺ブロック（例えば、左側及び／又は上側の周辺ブロック）のイントラ予測モード、及び追加の候補モードに基づいて導出されたｍｐｍ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）リスト内のｍｐｍ候補の一つを受信されたｍｐｍインデックスに基づいて選択することができ、又は前記ｍｐｍ候補（及びプラナーモード）に含まれていない残りのイントラ予測モードの一つをリメイニングイントラ予測モード情報に基づいて選択できる。ｍｐｍリストは、プラナーモードを候補に含むか、又は含まないように構成されることができる。例えば、ｍｐｍリストがプラナーモードを候補に含む場合、ｍｐｍリストは６個の候補を有し得、ｍｐｍリストがプラナーモードを候補に含まない場合、ｍｐｍリストは５個の候補を有し得る。ｍｐｍリストがプラナーモードを候補に含まない場合、現在ブロックのイントラ予測モードがプラナーモードではないかを示すｎｏｔプラナーフラグ（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）がシグナリングできる。例えば、ｍｐｍフラグが先にシグナリングされ、ｍｐｍインデックス及びｎｏｔプラナーフラグは、ｍｐｍフラグの値が１である場合、シグナリングされることができる。また、ｍｐｍインデックスは、ｎｏｔプラナーフラグの値が１である場合、シグナリングされることができる。ここで、ｍｐｍリストがプラナーモードを候補に含まないように構成されることは、プラナーモードがｍｐｍではないというよりは、ｍｐｍとして常時プラナーモードが考慮されるため、先にフラグ（ｎｏｔ ｐｌａｎａｒ ｆｌａｇ）をシグナリングし、プラナーモードであるか否かを先に確認するためである。
【0137】
例えば、現在ブロックに適用されるイントラ予測モードがｍｐｍ候補（及びプラナーモード）の中にあるか、それともリメイニングモードの中にあるかは、ｍｐｍ ｆｌａｇ（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）に基づいて指示されることができる。ｍｐｍ ｆｌａｇの値１は、現在ブロックに対するイントラ予測モードがｍｐｍ候補（及びプラナーモード）内にあることを示すことができ、ｍｐｍ ｆｌａｇの値０は、現在ブロックに対するイントラ予測モードがｍｐｍ候補（及びプラナーモード）内にないことを示すことができる。ｎｏｔ ｐｌａｎａｒ ｆｌａｇ（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）の値０は、現在ブロックに対するイントラ予測モードがプラナーモードであることを示すことができ、ｎｏｔ ｐｌａｎａｒ ｆｌａｇの値１は、現在ブロックに対するイントラ予測モードがプラナーモードではないことを示すことができる。ｍｐｍインデックスは、ｍｐｍ＿ｉｄｘ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘのシンタックス要素の形態でシグナリングされることができ、リメイニングイントラ予測モード情報は、ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒのシンタックス要素の形態でシグナリングされることができる。例えば、リメイニングイントラ予測モード情報は、全体イントラ予測モードのうち、ｍｐｍ候補（及びプラナーモード）に含まれていない残りのイントラ予測モードを予測モードの番号順にインデキシングし、そのうちの一つを指すことができる。イントラ予測モードは、ルマ成分（サンプル）に対するイントラ予測モードであり得る。以下、イントラ予測モード情報は、ｍｐｍ ｆｌａｇ（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）、ｎｏｔ ｐｌａｎａｒ ｆｌａｇ（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）、ｍｐｍインデックス（ｅｘ．ｍｐｍ＿ｉｄｘ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）、リメイニングイントラ予測モード情報（ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）の少なくとも一つを含むことができる。本文書において、ｍｐｍリストは、ｍｐｍ候補リスト、候補モードリスト（ｃａｎｄＭｏｄｅＬｉｓｔ）、候補イントラ予測モードリスト等の多様な用語で呼ばれ得る。
【0138】
一般的に映像に対してブロック分割されると、コーディングしようとする現在ブロックと周辺ブロックは類似の映像特性を有することになる。従って、現在ブロックと周辺ブロックは互いに同一であるか、類似するイントラ予測モードを有する確率が高い。よって、エンコーダは、現在ブロックのイントラ予測モードをエンコーディングするために周辺ブロックのイントラ予測モードを用いることができる。例えば、エンコーダ／デコーダは、現在ブロックに対するＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅｓ）リストを構成することができる。ＭＰＭリストは、ＭＰＭ候補リストと示すこともできる。ここで、ＭＰＭとは、イントラ予測モードのコーディング時、現在ブロックと周辺ブロックの類似性を考慮し、コーディング効率を向上させるために用いられるモードを意味することができる。
【0139】
図８は、本文書の実施形態が適用可能なイントラ予測モードの一例を示す。
【0140】
図８を参照すると、左上方対角の予測方向を有する３４番のイントラ予測モードを中心に水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと、垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードとを区分することができる。図８のＨとＶはそれぞれ水平方向性と垂直方向性を意味し、－３２～３２の数字はサンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。２番乃至３３番のイントラ予測モードは、水平方向性、３４番乃至６６番のイントラ予測モードは垂直方向性を有する。１８番のイントラ予測モードと５０番のイントラ予測モードは、それぞれ水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示し、２番のイントラ予測モードは左下方対角のイントラ予測モード、３４番のイントラ予測モードは左上方対角のイントラ予測モード、６６番のイントラ予測モードは右上方対角のイントラ予測モードと呼ばれ得る。
【0141】
一方、前述したＭＩＰに使用されるイントラ予測モードは、既存の方向性モードではなく、イントラ予測に使用されるマトリックス及びオフセットを指示することができる。すなわち、ＭＩＰのためのイントラモードを介して、イントラ予測のためのマトリックス及びオフセットを導出することができる。この場合、前述した通常のイントラ予測又はＭＰＭリストを生成するためのイントラモードの導出時、ＭＩＰと予測されたブロックのイントラ予測モードは、既設定されたモード、例えば、プラナーモード又はＤＣモードに設定されることができる。或いは、別の例によって、ブロックサイズに基づいて、ＭＩＰのためのイントラモードをプラナーモード、ＤＣモード又は方向性イントラモードにマッピングすることもできる。
【0142】
以下では、イントラ予測の一つの方法であるＭＩＰ（Ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）について見てみる。
【0143】
前述したように、マトリックスに基づくイントラ予測（Ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、以下、ＭＩＰ）は、アフィン線形加重イントラ予測（Ａｆｆｉｎｅ ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏ、ＡＬＷＩＰ）又はマトリックス加重イントラ予測（Ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＭＷＩＰ）と指称され得る。幅（Ｗ）及び高さ（Ｈ）を有する長方形ブロックのサンプルを予測するために、ＭＩＰは、ブロックの復元された周辺の左側境界サンプルのうちの一つのＨラインと、ブロックの復元された周辺の上側境界サンプルのうちの一つのＷラインを入力値として使用する。もし、復元されたサンプルが利用可能ではない場合、通常のイントラ予測で適用された補間方法で参照サンプルが生成できる。
【0144】
【0145】
１．平均化手順（Ａｖｅｒａｇｉｎｇ ｐｒｏｃｅｓｓ）
【0146】
境界サンプルのうち、Ｗ＝Ｈ＝４である場合、４個のサンプル、他の全ての場合、８個のサンプルが平均化手順により抽出される。
【0147】
２．マトリックスベクトル掛け算手順（Ｍａｔｉｘ ｖｅｃｔｏｒ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓ）
【0148】
平均化されたサンプルを入力として行列ベクトルの掛け算が行われ、後続的にオフセットが加わる。このような演算を介して、元のブロック内にサブサンプリングされたサンプルセットに対する縮小された予測サンプルが導出できる。
【0149】
３．補間手順（（ｌｉｎｅａｒ）Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｐｒｏｃｅｓｓ）
【0150】
残りの位置での予測サンプルは、各方向でのシングルステップ（ｓｉｎｇｌｅ ｓｔｅｐ）の線形補間である線形補間によりサブサンプリングされたサンプルセットの予測サンプルから生成される。
【0151】
予測ブロック又は予測サンプルを生成するのに必要な行列、及びオフセットベクトルは、マトリックスに対する三つのセットＳ０、Ｓ１、Ｓ２から選択されることができる。
【0152】
セットＳ０は、１６個のマトリックスＡ０
ｉ、ｉ∈｛０，…，１５｝で構成され、各マトリックスは、１６個の行と、４個の列と、１６個のオフセットベクトルｂ０
ｉ、ｉ∈｛０，…，１５｝で構成されることができる。セットＳ０のマトリックスとオフセットベクトルは、大きさが４×４のブロックに使用されることができる。また別の例によると、セットＳ０は、１８個のマトリックスを含むこともできる。
【0153】
セットＳ１は、８個のマトリックスＡ１
ｉ、ｉ∈｛０，…，７｝で構成され、各マトリックスは、１６個の行と８個の列と８個のオフセットベクトルｂ１
ｉ、ｉ∈｛０，…，７｝で構成されることができる。また別の例によると、セットＳ１は、６個のマトリックスを含むこともできる。セットＳ１のマトリックスとオフセットベクトルは、大きさが４×８、８×４、及び８×８のブロックに使用されることができる。或いは、セットＳ１のマトリックスとオフセットベクトルは、大きさが４×Ｈ又はＷ×４のブロックに使用されることができる。
【0154】
最後に、セットＳ２は、６個のマトリックスＡ２
ｉ、ｉ∈｛０，…，５｝で構成され、各マトリックスは、６４個の行と８個の列と６個のオフセットベクトルｂ２
ｉ、ｉ∈｛０，…，５｝で構成されることができる。セットＳ２のマトリックスとオフセットベクトル、又はその一部は、セットＳ０及びセットＳ１が適用されない他の全ての大きさのブロック形態に使用されることができる。例えば、セットＳ２のマトリックスとオフセットベクトルは、高さ及び幅が８以上であるブロックの演算に使用されることができる。
【0155】
マトリックスベクトル掛け算に必要な計掛け算の数は、常時４×Ｗ×Ｈよりも小さいか等しい。すなわち、ＭＩＰモードには、サンプル当たり最大４個の掛け算が要求される。
【0156】
以下では、全般的なＭＩＰ手順について概略的に説明される。下記説明されていない残りのブロックは、記述された４つの場合のいずれかで処理されることができる。
【0157】
図１０乃至図１３は、ブロックの大きさによるＭＩＰ手順を示した図であり、図１０は、４×４ブロックに対するＭＩＰ手順を示した図であり、図１１は、８×８ブロックに対するＭＩＰ手順を示した図であり、図１２は、８×４ブロックに対するＭＩＰ手順を示した図であり、図１３は、１６×１６ブロックに対するＭＩＰ手順を示した図である。
【0158】
図１０に示すように、４×４ブロックが与えられると、ＭＩＰは、境界の各軸に沿って、２個のサンプルに対する平均をとる。結果的に、４個の入力サンプルがマトリックスベクトル掛け算の入力値となり、マトリックスは、セットＳ０から持ってくる。オフセットが加わると、１６個の最終の予測サンプルが生成される。４×４ブロックの場合、予測サンプルを生成するための線形補間が必要ではない。したがって、サンプル当たりいずれも（４×１６）／（４×４）＝４の掛け算を行うことができる。
【0159】
図１１に示すように、８×８ブロックが与えられると、ＭＩＰは境界の各軸に沿って、４個のサンプルに対する平均をとる。結果的に、８個の入力サンプルがマトリックスベクトル掛け算の入力値となり、マトリックスは、セットＳ１から持ってくる。マトリックスベクトル掛け算により奇数の位置（ｏｄｄ ｐｏｓｉｔｉｏｎｓ）に１６個のサンプルが生成される。
【0160】
８×８ブロックの場合、予測サンプルを生成するために、サンプル当たりいずれも（８×１６）／（８×８）＝２の掛け算が行われる。オフセットを加えた後、縮小された上側境界サンプルを使用してサンプルを垂直方向に補間し、元の左側境界サンプルを用いて水平方向に補間する。この場合、補間手順で掛け算の演算が必要ではないため、ＭＩＰのためにサンプル当たり計２個の掛け算の演算が必要である。
【0161】
図１２に示すように、８×４ブロックが与えられると、ＭＩＰは境界の横軸に沿って、４個のサンプルに対する平均をとり、縦軸に対しては、左側境界の４個のサンプル値を使用する。結果的に、８個の入力サンプルがマトリックスベクトル掛け算の入力値となり、マトリックスは、セットＳ１から持ってくる。マトリックスベクトル掛け算により、 奇数の水平位置並びに該当垂直位置に、１６個のサンプルが生成される。
【0162】
８×４ブロックの場合、予測サンプルを生成するために、サンプル当たりいずれも（８×１６）／（８×４）＝４の掛け算が行われる。オフセットを加えた後、元の左側境界サンプルを用いて水平方向に補間する。この場合、補間手順で掛け算の演算を必要としないため、ＭＩＰのためにサンプル当たり計４個の掛け算の演算が必要である。
【0163】
図１３に示すように、１６×１６ブロックが与えられると、ＭＩＰは、各軸に沿って、４個のサンプルに対する平均をとり、結果的に、８個の入力サンプルがマトリックスベクトル掛け算の入力値となり、マトリックスはセットＳ２から持ってくる。マトリックスベクトル掛け算により、奇数の位置に６４個のサンプルが生成される。１６×１６ブロックの場合、予測サンプルを生成するためにサンプル当たり、いずれも（８×６４）／（１６×１６）＝２の掛け算が行われる。オフセットを加えた後、縮小された上側境界サンプル８個を使用してサンプルを垂直方向に補間し、元の左側境界サンプルを用いて水平方向に補間する。この場合、補間手順で掛け算の演算が必要ではないため、ＭＩＰのためにサンプル当たり、計２個の掛け算の演算が必要である。
【0164】
より大きいブロックの場合、ＭＩＰ手順は、詳述される手順と本質的に同一であり、サンプル当たりの掛け算の数が４未満であることを容易に確認することができる。
【0165】
幅が８よりも大きい（Ｗ＞８）Ｗ×８ブロックの場合、サンプルが奇数の水平及び各垂直位置に生成されるので、水平補間のみ必要である。この場合、縮小されたサンプルの予測演算のためにサンプル当たり（８×６４）／（Ｗ×８）＝６４/Ｗの掛け算が行われる。Ｗ＝１６の場合、線形補間のための追加の掛け算が必要ではなく、Ｗ＞１６の場合、線形補間に必要なサンプル当たりの追加の掛け算の数が２よりも小さい。すなわち、サンプル当たりの計掛け算の数は４よりも小さいか等しい。
【0166】
また、幅が４よりも大きい（Ｗ＞４）Ｗ×４ブロックの場合、ダウンサンプリングされたブロックの水平軸に沿って、奇数エントリーに対応する全ての行を省略することによって発生する行列をＡｋとする。したがって、出力の大きさは３２であり、水平補間のみ行われる。縮小されたサンプルの予測演算のために、サンプル当たり（８×３２）／（Ｗ×４）＝６４/Ｗの掛け算が行われる。Ｗ＝１６の場合、追加の掛け算が必要ではなく、Ｗ＞１６の場合、線形補間に必要なサンプル当たりの追加の掛け算の数が２よりも小さい。すなわち、サンプル当たりの総掛け算の数は４よりも小さいか等しい。
【0167】
マトリックスが前置された場合、それによって処理されることができる。
【0168】
【0169】
平均化手順によると、平均化は、各境界、すなわち、左側境界又は上側境界に適用される。ここで、境界は、図１６のように現在ブロックの境界に隣接した周辺参照サンプルを示す。例えば、左側境界（ｂｄｒｙｌｅｆｔ）は、現在ブロックの左側境界に隣接した左側周辺参照サンプルを示し、上側境界（ｂｄｒｙｔｏｐ）は、上側に隣接した上側周辺参照サンプルを示す。
【0170】
現在ブロックが４×４ブロックであると、各境界の大きさは、平均化手順を介して、２個のサンプルに縮小されることができる。現在ブロックが４×４ブロックでなければ、各境界の大きさは、平均化手順を介して４個のサンプルに縮小されることができる。
【0171】
平均化手順の最初のステップは、入力境界（ｂｄｒｙｌｅｆｔ及びｂｄｒｙｔｏｐ）をより小さい境界に縮小するものである
。
は、４×４ブロックの場合には２個のサンプルで構成され、残りの全ての異なる場合には４個のサンプルで構成される。
【0172】
４×４ブロックの場合、０≦ｉ＜２に対する
を数式で表すと次の通りであり、
もやはり同様に定義されることができる。
【0173】
【数1】
【0174】
一方、０≦ｉ＜４に対して、ブロックの幅がＷ＝４×２ｋと与えられると、
は、次の数式で表すことができ、
もやはり同様に定義されることができる。
【0175】
【数2】
【0176】
２個の縮小された境界
は、縮小された境界ベクトルｂｄｒｙｒｅｄに連結されるので、ｂｄｒｙｒｅｄは、４×４形態のブロックの場合、大きさが４であり、他の全てのブロックの場合、大きさは８である。
【0177】
「ｍｏｄｅ」をＭＩＰモードと指称する場合、縮小された境界ベクトルｂｄｒｙｒｅｄとＭＩＰモード値（ｍｏｄｅ）の範囲は、下記の数式のようにブロックの大きさとｉｎｔｒａ＿ｍｉｐ＿ｔｒａｎｓｐｏｓｅｄ＿ｆｌａｇ値に基づいて定義することができる。
【0178】
【数3】
【0179】
前記数式で、ｉｎｔｒａ＿ｍｉｐ＿ｔｒａｎｓｐｏｓｅｄ＿ｆｌａｇはＭＩＰ ｔｒａｎｓｐｏｓｅと指称され得、このようなフラグ情報は、縮小された予測サンプルがトランスポーズ（ｔｒａｎｓｐｏｓｅ）されているか否かを示すことができる。このようなシンタックス要素に対するセマンティクスは、「ｉｎｔｒａ＿ｍｉｐ＿ｔｒａｎｓｐｏｓｅｄ＿ｆｌａｇ［ｘ０］［ｙ０］ ｓｐｅｃｉｆｉｅｓ ｗｈｅｔｈｅｒ ｔｈｅ ｉｎｐｕｔ ｖｅｃｔｏｒ ｆｏｒ ｍａｔｒｉｘ－ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ ｆｏｒ ｌｕｍａ ｓａｍｐｌｅｓ ｉｓ ｔｒａｎｓｐｏｓｅｄ ｏｒ ｎｏｔ．」で表すことができる。
【0180】
最終的に、サブサンプリングされた予測サンプルの補間のために、大きいブロックでは、平均化された境界の第２バージョンが必要である。すなわち、もし、幅及び高さのうち、小さい値が８よりも大きく
幅が高さよりも等しいか大きいと（Ｗ≧Ｈ）、Ｗ＝８＊２ｌとし、０≦ｉ＜８に対して、
は、下記数式のように定義されることができる。また、幅及び高さのうち、小さい値が８よりも大きく
、高さが幅より大きいと（Ｈ＞Ｗ）
もやはり同様に定義されることができる。
【0181】
【数4】
【0182】
次に、マトリックスベクトル掛け算による縮小された予測サンプルの生成手順を見てみる。
【0183】
縮小された入力ベクトルｂｄｒｙｒｅｄのうちの一つが縮小された予測サンプル
を生成する。予測サンプルは、幅Ｗｒｅｄ及び高さＨｒｅｄのダウンサンプリングされたブロックに対する信号である。ここで、ＷｒｅｄとＨｒｅｄは、次のように定義される。
【0184】
【数5】
【0185】
縮小された予測サンプル
は、マトリックスベクトル掛け算の演算後、オフセットを追加することによって計算されることができ、下記のような数式を介して導出されることができる。
【0186】
【数6】
【0187】
ここで、Ａは、Ｗｒｅｄ×ｈｒｅｄ行と、ＷとＨが４であるとき（Ｗ＝Ｈ＝４）に４列と、他の全ての場合であるときに８列を有するマトリックスであり、ｂは、Ｗｒｅｄ×ｈｒｅｄの大きさのベクトルである。
【0188】
マトリックスＡとベクトルｂは、下記のようにセットＳ０、Ｓ１、Ｓ２から選択され、インデックスｉｄｘ＝ｉｄｘ（Ｗ，Ｈ）は、数式７又は数式８のように定義されることができる。
【0189】
【数7】
【0190】
【数8】
【0191】
ｉｄｘが１以下（ｉｄｘ≦１）であるか、ｉｄｘが２であり、Ｗ及びＨのうち小さい値が４よりも大きいと
、Ａは
に、ｂは
に設定される。ｉｄｘが２であり、Ｗ及びＨのうち小さい値が４であり
、Ｗが４である場合、Ａは、ダウンサンプリングされたブロック内の奇数ｘ座標に対応する
の各行を除去したマトリックスになる。或いは、Ｈが４であると、Ａは、ダウンサンプリングされたブロック内の奇数ｙ座標に対応する
の各列を除去したマトリックスになる。
【0192】
最終的に、縮小された予測サンプルは、数式９で自分のトランスポーズにより代替されることができる。
【0193】
【数9】
【0194】
【0195】
【0196】
補間手順は、線形補間又は二重線形補間手順と指称され得る。補間手順は、示すように、１）垂直補間、及び２）水平補間の二つのステップを含むことができる。
【0197】
Ｗ＞＝Ｈであると、垂直線形補間が先に適用でき、続いて水平線形補間が適用できる。Ｗ＜Ｈであると、水平線形補間が先に適用でき、続いて垂直線形補間が適用できる。４×４ブロックの場合、補間手順が省略され得る。
【0198】
【0199】
【0200】
まず、縮小された予測サンプルは、境界信号により上段に拡張される。垂直アップサンプリングの係数
を定義し、
を設定すると、拡張された縮小の予測サンプルを下記数式のように設定することができる。
【0201】
【数10】
【0202】
その後、このような拡張された縮小の予測サンプルから垂直の線形補間の予測サンプルが下記数式により生成できる。
【0203】
【数11】
【0204】
ここで、ｘは、０≦ｘ＜Ｗｒｅｄ、ｙは、０≦ｙ＜Ｈｒｅｄ、ｋは、０≦ｋ＜Ｕｖｅｒであり得る。
【0205】
以下では、ＭＩＰ技法に対する複雑度を低くするとともに、性能を最大化する方法について見てみる。後述される実施形態は、独立して実行されることもあり、組み合わせられて実行されることもある。
【0206】
一方、現在ブロックにＭＩＰが適用される場合、前記ＭＩＰが適用される現在ブロックのためのＭＰＭリストが別に構成されることができる。前記ＭＰＭリストは、現在ブロックにＡＬＷＩＰが適用されない場合のＭＰＭリストと区分するために、ＭＩＰ ＭＰＭリスト（又はＬＷＩＰ ＭＰＭリスト、ｃａｎｄＬｗｉｐＭｏｄｅＬｉｓｔ）等の多様な名称で呼ばれ得る。以下、区分のために、ＭＩＰ ＭＰＭリストと表現するが、これは、ＭＰＭリストと呼ばれ得る。
【0207】
前記ＭＩＰ ＭＰＭリストは、ｎ個の候補を含むことができ、例えば、ｎは３であり得る。前記ＭＩＰ ＭＰＭリストは、前記現在ブロックの左側周辺ブロック及び上側周辺ブロックに基づいて構成されることができる。ここで、前記左側周辺ブロックは、前記現在ブロックの左側境界に隣接した周辺ブロックのうち、最も上側に位置したブロックを示すことができる。また、前記上側周辺ブロックは、前記現在ブロックの上側境界に隣接した周辺ブロックのうち、最も左側に位置したブロックを示すことができる。
【0208】
例えば、前記左側周辺ブロックにＭＩＰが適用された場合、第１候補イントラ予測モード（又はｃａｎｄＬｗｉｐＭｏｄｅＡ）は、前記左側周辺ブロックのＭＩＰモードと同じように設定されることができる。また、例えば、前記上側周辺ブロックにＭＩＰが適用された場合、第２候補イントラ予測モード（又はｃａｎｄＬｗｉｐＭｏｄｅＢ）は、前記上側周辺ブロックのＭＩＰモードの予測モードと同じように設定されることができる。
【0209】
一方、前記左側周辺ブロックや前記上側周辺ブロックは、ＭＩＰではないイントラ予測に基づいてコーディングされることができる。すなわち、 前記左側周辺ブロック又は前記上側周辺ブロックのコーディングの際に、ＭＩＰではない他のイントラ予測タイプが適用できる。この場合、ＭＩＰが適用されない周辺ブロック（左側周辺ブロック／上側周辺ブロック）の一般イントラ予測モードの番号をそのままＭＩＰが適用された現在ブロックのための候補イントラモードに使用することは適していない。したがって、この場合、一例として、ＭＩＰが適用されない周辺ブロック（左側周辺ブロック／上側周辺ブロック）のＭＩＰモードは、特定値（例えば、０、１又は２等）のＭＩＰモードの予測モードであるとみなすことができる。或いは、別の例として、ＭＩＰが適用されない周辺ブロック（左側周辺ブロック／上側周辺ブロック）の一般イントラ予測モードを所定のマッピングテーブルに基づいてＭＩＰモードにマッピングさせて、ＭＩＰ ＭＰＭリストの構成に用いることができる。この場合、現在ブロックの前記ブロックサイズタイプに基づいて、前記マッピングを実行することができる。
【0210】
また、前記周辺ブロック（例えば、左側周辺ブロック／上側周辺ブロック）が可用ではないか（例えば、現在ピクチャの外部に位置、現在タイル／タイルグループの外部に位置など）、ＭＩＰが適用されたとしても、ブロックサイズタイプに応じて、現在ブロックに可用ではないＭＩＰモードが使用されることもできる。この場合には、第１候補及び／又は第２候補のために、予め定義された特定のＭＩＰモードが前記第１候補イントラ予測モード又は第２候補イントラ予測モードとして使用されることができる。また、第３候補のために予め定義された特定のＭＩＰ予測モードが第３候補イントラ予測モードとして使用されることもできる。
【0211】
一方、既存のＭＩＰモードは、既存のイントラ予測モードの導出方法と同様にｎｏｎ－ＭＰＭモードとＭＰＭモードとに区分し、ＭＰＭフラグを送り、ＭＰＭモード又はｎｏｎ－ＭＰＭモードに基づいて、現在ブロックのＭＩＰモードがコーディングされた。
【0212】
一例によって、ＭＩＰ技法が適用されたブロックに対して、ＭＰＭモードとｎｏｎ－ＭＰＭモードとに区別せず、直接ＭＩＰモードをコーディングする構造が提案できる。このような映像コーディング構造では、複雑なシンタックス構造を単純化させることができる。また、ＭＩＰモードに対する実際の発生頻度数が各モード別に比較的均一に分布され、既存のイントラモードで示された発生頻度数とはっきりと異なるため、提案するコーディング構造を通じてＭＩＰモード情報の符号化及び復号化の効率を最大化することができる。
【0213】
本実施形態に係るＭＩＰのために送受信された映像情報は、次の通りである。後述されるシンタックスは、前述したエンコーディング装置からデコーディング装置へ伝達されるビデオ／映像情報に含まれ得、エンコーディング装置で構成／エンコーディングされて、ビットストリームの形態でデコーディング装置にシグナリングされることができ、デコーディング装置は、シンタックスに開示された条件／順序によって含まれた情報（シンタックス要素）をパーシング／デコーディングすることができる。
【0214】
【表1】
【0215】
表１のように、現在ブロックにＭＩＰモードのためのシンタックスｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ及びｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘは、コーディングユニットに対するシンタックス情報に含まれてシグナリングされることができる。
【0216】
ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが１であると、ルマサンプルのためのイントラ予測タイプがマトリックスに基づくイントラ予測であることを示し、その値が０であると、ルマサンプルのためのイントラ予測タイプがマトリックスに基づくイントラ予測ではないことを示す。
【0217】
ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘは、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが１であると、シグナリングされると、ルマサンプルに対するマトリックスに基づくイントラ予測モードを指示する。このようなマトリックスに基づくイントラ予測モードは、前述したように、ＭＩＰのためのマトリックス及びオフセット又はマトリックスを指示することができる。
【0218】
また、一例によって、コーディングユニットのシンタックスを介して、マトリックスに基づくイントラ予測のための入力ベクトルがトランスポーズされるか否かを指示するフラグ情報、例えば、ｉｎｔｒａ＿ｍｉｐ＿ｔｒａｎｓｐｏｓｅｄ＿ｆｌａｇがさらにシグナリングできる。ｉｎｔｒａ＿ｍｉｐ＿ｔｒａｎｓｐｏｓｅｄ＿ｆｌａｇが１であると、マトリックスに基づくイントラ予測のための入力ベクトルがトランスポーズされるもので、このようなフラグ情報によりマトリックスに基づくイントラ予測のためのマトリックスの数を減らすことができる。
【0219】
一方、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘは、下記表のようにトランケーテッド２進化（Ｔｒｕｎｃａｔｅｄ Ｂｉｎａｒｉｚａｔｉｏｎ）方式で符号化及び復号化されることができる。
【0220】
【表2】
【0221】
表２のように、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは、固定長さコード（Ｆｉｘｅｄ Ｌｅｎｇｔｈ Ｃｏｄｅ）に２進化されるが、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘは、トランケーテッド２進化方式で２進化され、２進化の最大長さ（ｃＭａｘ）は、コーディングブロックの大きさによって設定されることができる。２進化の最大長さは、コーディングブロックの幅及び高さが４（ｃｂＷｉｄｔｈ＝＝４ ＆＆ ｃｂＨｅｉｇｈｔ＝＝４）であると３４に設定され、そうでない場合、コーディングブロックの幅及び高さが８以下であるか否かによって（（ｃｂＷｉｄｔｈ＜＝８ ＆＆ ｃｂＨｅｉｇｈｔ＜＝８）？）１８又は１０に設定されることができる。
【0222】
一方、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘは、コンテキストモデルに基づくのではなく、バイパス方式でコーディングされることができる。バイパス方式でコーディングされることによって、コーディング速度及び効率を高めることができる。
【0223】
別の例によって、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘがトランケーテッド２進化方式で２進化されるとき、２進化の最大長さは次の表の通りである。
【0224】
【表3】
【0225】
表３のように、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘのための２進化の最大長さは、コーディングブロックの幅及び高さが４であると（（ｃｂＷｉｄｔｈ＝＝４ ＆＆ ｃｂＨｅｉｇｈｔ＝＝４））１５に設定され、そうでない場合、コーディングブロックの幅又は高さが４であるか（（ｃｂＷｉｔｈ＝＝４｜｜ｃｂＨｅｉｇｈｔ＝＝４））コーディングブロックの幅及び高さが８（ｃｂＷｉｔｈ＝＝８ ＆＆ ｃｂＨｅｉｇｈｔ＝＝８）である場合、７に設定され、コーディングブロックの幅又は高さが４であるか（（ｃｂＷｉｔｈ＝＝４｜｜ｃｂＨｅｉｇｈｔ＝＝４））コーディングブロックの幅及び高さが８（ｃｂＷｉｔｈ＝＝８ ＆＆ ｃｂＨｅｉｇｈｔ＝＝８）ではない場合、５に設定されることができる。
【0226】
また別の例によって、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘは、固定長さコード（Ｆｉｘｅｄ Ｌｅｎｇｔｈ Ｃｏｄｅ）で符号化されることができる。このとき、符号化の効率を高めるために利用可能なＭＩＰモードの数は、ブロックサイズ別に２の指数個に限定される（例えば、Ａ＝２Ｋ１－１、Ｂ＝２Ｋ２－１、２Ｋ３－１、ここで、Ｋ１、Ｋ２、Ｋ３は正の定数）こともできる。
【0227】
これを表で示すと次の通りである。
【0228】
【表4】
【0229】
表４で、Ｋ１＝５、Ｋ２＝４、Ｋ３＝３である場合、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅは次のように２進化されることができる。
【0230】
【表5】
【0231】
或いは、一例によって、Ｋ１が４に設定され、コーディングブロックの幅及び高さが４であるブロックのｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅに対する２進化の最大長さは、１５に設定されることができる。また、Ｋ２が３に設定され、コーディングブロックの幅又は高さが４であるか、コーディングブロックの幅及び高さが８である場合、２進化の最大長さは、７に設定されることができる。
【0232】
一方、一例によって、ＭＩＰ技法が効率的に適用されることができる特定のブロックにのみＭＩＰを使用する方法が提案できる。本実施形態に係る方法を適用すると、ＭＩＰのために必要なマトリックスベクトル（Ｍａｔｒｉｘ Ｖｅｃｔｏｒ）の数が減少し、マトリックスベクトルを保存するために要求されるメモリが大きく減少し得る（５０％）。このような効果が伴われながらも、符号化効率はほぼ一定に維持される（ｌｅｓｓ ｔｈａｎ ０．１％）。
【0233】
本実施形態により、ＭＩＰ技法が適用される特定の条件を含むシンタックスは、次の表の通りである。
【0234】
【表6】
【0235】
表６に示すように、ＭＩＰは、大きいブロックにのみ適用されるようにする条件（ｃｂＷｉｄｔｈ＞Ｋ１｜｜ｃｂＨｅｉｇｈｔ＞Ｋ２）が付加されており、ブロックの大きさは、予め設定された値（Ｋ１とＫ２）により決定されることができる。ＭＩＰを大きいブロックにのみ適用する理由は、ＭＩＰの符号化効率が比較的大きいブロックで示されるためである。
【0236】
下記表は、表６でＫ１とＫ２が８と予め定義された例を示している。
【0237】
【表7】
【0238】
表６及び表７のｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ及びｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘに対するセマンティクスは表１と同一である。
【0239】
一方、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘが１１個の可能なモードを有する場合、次のようにトランケーテッド２進化（ｃＭａｘ＝１０）方式で符号化されることができる。
【0240】
【表8】
【0241】
或いは、利用可能なＭＩＰモードが８個に限定される場合、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘ［ｘ０］［ｙ０］は、次のように固定長さコードで符号化されることができる。
【0242】
【表9】
【0243】
表８及び表９は、いずれもｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘはバイパス方式でコーディングされることができる。
【0244】
一方、一例によって、ＭＩＰ技法がメモリ節約の観点から効率的に適用できるように大きいブロックに使用された加重値マトリックス（Ａｋ）とオフセットベクトル（ｂｋ）を小さいブロックにも適用できるＭＩＰ技法が提案できる。本実施形態に係る方法を適用すると、ＭＩＰのために必要なマトリックスベクトル（Ｍａｔｒｉｘ Ｖｅｃｔｏｒ）の数が減少し、マトリックスベクトルを保存するために要求されるメモリが大きく減少し得る（５０％）。このような効果が伴われながら、符号化効率はほぼ一定に維持される（ｌｅｓｓ ｔｈａｎ ０．０５％）。
【0245】
図１６は、本文書の一例に係るＭＩＰ技法を説明するための図である。
【0246】
示したように、図１６の（ａ）は、大きいブロックのインデックスｉに対するマトリックス及びオフセットベクトルの演算を示しており、図１６の（ｂ）は、小さいブロックに適用されるサンプリングされたマトリックスとオフセットベクトルの演算を示している。
【0247】
図１６のように、大きいブロックに使用された加重値マトリックスをサブサンプリングして得たサブサンプリングされた加重値マトリックス（Ｓｕｂ（Ａｋ））と大きいブロックに使用されたオフセットベクトルをサブサンプリングして得たオフセットベクトル（Ｓｕｂ（ｂｋ））をそれぞれ小さいブロックに対する加重値マトリックスとオフセットベクトルとみなして、既存のＭＩＰ手順を適用することができる。
【0248】
ここで、サブサンプリングは、水平方向（ｈｏｒｉｚｏｎｔａｌ）と垂直方向（ｖｅｒｔｉｃａｌ）のいずれか一方にのみ適用されることもあり、両方の方向にすべて適用されることもある。特に、サブサンプリングファクター（ｓｕｂ－ｓａｍｐｌｉｎｇ ｆａｃｔｏｒ）（例えば、２のうちの１、または４のうちの１）と垂直又は水平に対するサンプリング方向は、該当ブロックの幅（Ｗｉｄｔｈ）と高さ（Ｈｅｉｇｈｔ）に基づいて設定されることができる。
【0249】
また、本実施形態が適用されるＭＩＰのためのイントラ予測モードの数は、現在ブロックのサイズに基づいて異なって設定されることができる。例えば、ｉ）現在ブロック（コーディングブロック又は変換ブロック）の高さ及び幅がそれぞれ４である場合、３５個のイントラ予測モード（すなわち、イントラ予測モード０乃至３４）が可用であり得、ｉｉ）現在ブロックの高さ及び幅が両方とも８以下である場合、１９個のイントラ予測モード（すなわち、イントラ予測モード０乃至１８）が可用であり得、ｉｉｉ）その他の場合には、１１個のイントラ予測モード（すなわち、イントラ予測モード０乃至１０）が可用であり得る。
【0250】
例えば、現在ブロックの高さ及び幅がそれぞれ４である場合をブロックサイズタイプ０といい、現在ブロックの高さ及び幅が両方とも８以下である場合をブロックサイズタイプ１といい、その他の場合をブロックサイズタイプ２というとき、ＭＩＰのためのイントラ予測モードの数は、次の表のように整理できる。
【0251】
【表10】
【0252】
大きいブロック（例えば、ｂｌｏｃｋ ｓｉｚｅ ｔｙｐｅ＝２）に使用された加重値マトリックスとオフセットベクトルを小さいブロック（例えば、ｂｌｏｃｋ ｓｉｚｅ＝０又はｂｌｏｃｋ ｓｉｚｅ＝１）に適用するためには、次の表のように各ブロックサイズ別に可用なイントラ予測モードの数を同じように適用できる。
【0253】
【表11】
【0254】
或いは、下記表１２のように、ｂｌｏｃｋ ｓｉｚｅ ｔｙｐｅ１と２にのみＭＩＰを適用し、ｂｌｏｃｋ ｓｉｚｅ ｔｙｐｅ１では、ｂｌｏｃｋ ｓｉｚｅ ｔｙｐｅ２で定義された加重値マトリックスとオフセットベクトルをサブサンプリングして使用できる。これを介して、メモリを効率的に節約することができる（５０％）。
【0255】
【表12】
【0256】
以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使用された具体的な名称に制限されない。
【0257】
以下、表は、前述した実施形態のように、現在ブロックにＭＩＰを適用するときにＭＰＭの導出を省略し、ＭＰＭと関連した信号もやはりシグナリングしない場合の実験結果を示す。
【0258】
実験は、ＪＶＥＴ－Ｎ１０１０で定義された通常のテスト条件によって、ＶＴＭ ５．０の参照ソフトウェアに基づいて行われた。
【0259】
【表13】
【0260】
【表14】
【0261】
【表15】
【0262】
図１７は、本文書の一実施形態に係るデコーディング装置によって実行されることができるデコーディング方法を概略的に示すフローチャートである。
【0263】
図１７に開示された方法は、図２で開示されたデコーディング装置２００によって実行されることができる。具体的に、図１７のステップＳ１７００～Ｓ１７５０は、図２に開示されたエントロピーデコーディング部２１０及び／又は予測部２３０（具体的に、イントラ予測部２３１）によって実行されることができ、図１７のステップＳ１７６０は、図２に開示された加算部２４０によって実行されることができる。また、図１７に開示された方法は、本文書で前述した実施形態を含むことができる。したがって、図１７では、前述した実施形態と重複する内容についての具体的な説明を省略するか簡単にすることとする。
【0264】
図１７を参照すると、デコーディング装置は、ビットストリームから現在ブロックに対してマトリックスに基づくイントラ予測（ＭＩＰ）が使用されるか否かを示すフラグ情報を受信、すなわち、ビットストリームから獲得することができる（Ｓ１７００）。
【0265】
このようなフラグ情報は、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇのようなシンタックスでコーディングユニットのシンタックス情報に含まれてシグナリングされることができる。
【0266】
デコーディング装置は、受信されたフラグ情報に基づいて、マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を受信することができる（Ｓ１７１０）。
【0267】
ＭＩＰモード情報は、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘで表現されることができ、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが１であるとシグナリングされることができる。ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘは、現在ブロックに適用されるＭＩＰモードを指示するインデックス情報であり得、このようなインデックス情報は、予測サンプルの生成時、マトリックスを導出するのに使用されることができる。
【0268】
また、一例によって、コーディングユニットのシンタックスを介して、マトリックスに基づくイントラ予測のための入力ベクトルがトランスポーズされるか否かを指示するフラグ情報、例えば、ｉｎｔｒａ＿ｍｉｐ＿ｔｒａｎｓｐｏｓｅｄ＿ｆｌａｇがさらにシグナリングされることができる。
【0269】
デコーディング装置は、ＭＩＰ情報に基づいて現在ブロックに対するイントラ予測サンプルを生成することができる。デコーディング装置は、イントラ予測サンプルを生成するために、現在ブロックの周辺参照サンプルの少なくとも一つの周辺参照サンプルを導出することができ、周辺参照サンプルに基づいて予測サンプルを生成することができる。
【0270】
デコーディング装置は、ＭＩＰモード情報に対するシンタックス要素のビンストリングをトランケーテッド２進化方式により２進化し、バイパス方式でデコーディングすることができる（Ｓ１７２０）。
【0271】
前述したように、ＭＩＰモード情報に対するシンタックス要素のビンストリングの最大長さは、現在ブロックの大きさに応じて異なる値に設定されることができる。このような最大長さは、表２又は表３のように、現在ブロックの大きさに応じて３つの値に設定されることができ、現在ブロックの幅及び高さが４である場合、最大長さが最も大きいことがある。
【0272】
例えば、表２では、コーディングブロックの幅及び高さが４であると、２進化の最大長さは３４に設定され、表３では、１５に設定されることができる。
【0273】
また、このようなＭＩＰモード情報は、コンテキストモデリングの方式ではなく、バイパス方式でデコーディングされることができる。
【0274】
一方、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは、固定長さコード（Ｆｉｘｅｄ Ｌｅｎｇｔｈ Ｃｏｄｅ）で２進化されることができる。
【0275】
ＭＩＰが適用されると、デコーディング装置は、現在ブロックに隣接した参照サンプルをダウンサンプリングし、縮小された境界サンプルを導出することができる（Ｓ１７３０）。
【0276】
縮小された境界サンプルは、参照サンプルの平均化によりダウンサンプリングされることによって導出されることができる。
【0277】
縮小された境界サンプルは、現在ブロックの幅及び高さが４であると、４個が導出され、残りの別の場合には、８個のサンプルが導出できる。
【0278】
ダウンサンプリングのための平均化手順は、現在ブロックの各境界、左側境界又は上側境界に適用されることができ、これは、現在ブロックの境界に隣接した周辺参照サンプルに適用されることができる。
【0279】
一例によって、現在ブロックが４×４ブロックであれば、各境界の大きさは平均化手順を介して２個のサンプルに縮小され得、現在ブロックが４×４ブロックでなければ、各境界の大きさは平均化手順を介して４個のサンプルに縮小され得る。
【0280】
その後、デコーディング装置は、現在ブロックの大きさとインデックス情報に基づいて導出されたＭＩＰマトリックスと縮小された境界サンプルとの掛け算演算に基づいて縮小された予測サンプルを導出することができる（Ｓ１７４０）。
【0281】
ＭＩＰマトリックスは、現在ブロックの大きさと受信されたインデックス情報に基づいて導出されることができる。
【0282】
ＭＩＰマトリックスは、現在ブロックの大きさに応じて分類される３個のマトリックスセットのいずれかから選択されることができ、３個のマトリックスセットのそれぞれは、複数のＭＩＰマトリックスを含むことができる。
【0283】
すなわち、ＭＩＰのための３個のマトリックスセットが設定でき、各マトリックスセットは、複数のマトリックスとオフセットベクトルで構成されることができる。このようなマトリックスセットは、現在ブロックの大きさによって区分されて適用されることができる。
【0284】
例えば、４×４のブロックには、１６個の行と４個の列とで構成された１８個又は１６個のマトリックス、及び１８個又は１６個のオフセットベクトルを含むマトリックスセットが適用できる。インデックス情報は、一つのマトリックスセットに含まれている複数のマトリックスのいずれかを指示する情報であり得る。
【0285】
４×８、８×４及び８×８のブロック、又は、４×Ｈ又はＷ×４のブロックには、１６個の行と８個の列とで構成された１０個又は８個のマトリックス、及び１０個又は８個のオフセットベクトルを含むマトリックスセットが適用できる。
【0286】
或いは、前述したブロック以外のブロック又は高さ及び幅が８以上のブロックには、６４個の行と８個の列とで構成された６個のマトリックス、及び６個のオフセットベクトルを含むマトリックスセットが適用できる。
【0287】
ＭＩＰマトリックスと縮小された境界サンプルとの掛け算の演算の後、オフセットを加える演算に基づいて縮小された予測サンプル、すなわち、ＭＩＰマトリックスが適用された予測サンプルが導出される。
【0288】
デコーディング装置は、縮小された予測サンプルをアップサンプリングして、現在ブロックに対するイントラ予測サンプルを生成することができる（Ｓ１７５０）。
【0289】
イントラ予測サンプルは、縮小された予測サンプルの線形補間によってアップサンプリングされることができる。
【0290】
補間手順は、線形補間又は二重線形補間手順と指称され得、１）垂直補間、及び２）水平補間の２つのステップを含むことができる。
【0291】
Ｗ＞＝Ｈであると、垂直線形補間が先に適用でき、続いて水平線形補間が適用できる。Ｗ＜Ｈであると、水平線形補間が先に適用でき、続いて垂直線形補間が適用できる。４×４ブロックの場合、補間手順が省略され得る。
【0292】
デコーディング装置は、予測サンプルに基づいて、現在ブロックに対する復元サンプルを生成することができる（Ｓ１７６０）。
【0293】
一実施形態として、デコーディング装置は、予測モードに応じて予測サンプルをすぐに復元サンプルとして用いることもあり、或いは前記予測サンプルにレジデュアルサンプルを加えて復元サンプルを生成することもある。
【0294】
デコーディング装置は、現在ブロックに対するレジデュアルサンプルが存在する場合、現在ブロックに対するレジデュアルに関する情報を受信することができる。レジデュアルに関する情報は、レジデュアルサンプルに関する変換係数を含むことができる。デコーディング装置は、レジデュアル情報に基づいて、現在ブロックに対するレジデュアルサンプル（又はレジデュアルサンプルアレイ）を導出することができる。デコーディング装置は、予測サンプルとレジデュアルサンプルに基づいて復元サンプルを生成することができ、前記復元サンプルに基づいて復元ブロック又は復元ピクチャを導出することができる。以降、デコーディング装置は、必要に応じて主観的／客観的画質を向上させるために、デブロッキングフィルタリング及び／又はＳＡＯ手順のようなインループフィルタリング手順を前記復元ピクチャに適用することができるのは前述した通りである。
【0295】
図１８は、本文書の一実施形態に係るエンコーディング装置によって実行されることができるエンコーディング方法を概略的に示すフローチャートである。
【0296】
図１８に開示された方法は、図１に開示されたエンコーディング装置１００によって実行されることができる。具体的に、図１８のステップＳ１８００～Ｓ１８３０は、図１に開示された予測部１２０（具体的にイントラ予測部１２２）によって実行されることができ、図１８のステップＳ１８４０は、図１に開示された減算部１３１によって実行されることができ、図１８のステップＳ１８５０及びＳ１８６０は、図１に開示されたエントロピーエンコーディング部１４０によって実行されることができる。また、図１８に開示された方法は、本文書で前述した実施形態を含むことができる。したがって、図１８では、前述した実施形態と重複する内容についての具体的な説明を省略するか簡単にすることとする。
【0297】
図１８を参照すると、エンコーディング装置は、現在ブロックに対してマトリックスに基づくイントラ予測（ＭＩＰ）が適用されるか否かを導出することができる（Ｓ１８００）。
【0298】
エンコーディング装置は、現在ブロックに対する最適の予測モードを見つけるために、多様な予測技法を適用することができ、ＲＤＯ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ）に基づいて、最適のイントラ予測モードを決定することができる。
【0299】
現在ブロックにＭＩＰが適用されるものと決定されると、エンコーディング装置は現在ブロックに隣接した参照サンプルをダウンサンプリングして、縮小された境界サンプルを導出することができる（Ｓ１８１０）。
【0300】
縮小された境界サンプルは、参照サンプルの平均化によってダウンサンプリングされることによって導出されることができる。
【0301】
縮小された境界サンプルは、現在ブロックの幅及び高さが４であると、４個が導出され、残りの別の場合には、８個のサンプルが導出できる。
【0302】
ダウンサンプリングのための平均化手順は、現在ブロックの各境界、左側境界又は上側境界に適用されることができ、これは、現在ブロックの境界に隣接した周辺参照サンプルに適用されることができる。
【0303】
一例によって、現在ブロックが４×４ブロックであると、各境界の大きさは、平均化手順を介して２個のサンプルに縮小されることができ、現在ブロックが４×４ブロックでないと、各境界の大きさは、平均化手順を介して４個のサンプルに縮小されることができる。
【0304】
縮小された境界サンプルが導出されると、エンコーディング装置は、現在ブロックの大きさに基づいて選択されたＭＩＰマトリックスと縮小された境界サンプルとの掛け算の演算に基づいて、縮小された予測サンプルを導出することができる（Ｓ１８２０）。
【0305】
ＭＩＰマトリックスは、現在ブロックの大きさに応じて分類される３個のマトリックスセットのいずれかから選択されることができ、３個のマトリックスセットのそれぞれは、複数のＭＩＰマトリックスを含むことができる。
【0306】
すなわち、ＭＩＰのための３個のマトリックスセットが設定でき、各マトリックスセットは、複数のマトリックスとオフセットベクトルとで構成されることができる。このようなマトリックスセットは、現在ブロックの大きさに応じて区分されて適用されることができる。
【0307】
例えば、４×４のブロックには、１６個の行と４個の列とで構成された１８個又は１６個のマトリックス、及び１８個又は１６個のオフセットベクトルを含むマトリックスセットが適用できる。インデックス情報は、一つのマトリックスセットに含まれている複数のマトリックスのいずれかを指示する情報であり得る。
【0308】
４×８、８×４及び８×８のブロック、又は、４×Ｈ又はＷ×４のブロックには、１６個の行と８個の列とで構成された１０個又は８個のマトリックス、及び１０個又は８個のオフセットベクトルを含むマトリックスセットが適用できる。
【0309】
或いは、前述したブロック以外のブロック又は高さ及び幅が８以上であるブロックには、６４個の行と８個の列とで構成された６個のマトリックス、及び６個のオフセットベクトルを含むマトリックスセットが適用できる。
【0310】
ＭＩＰマトリックスと縮小された境界サンプルとの掛け算演算の後、オフセットを加える演算に基づいて縮小された予測サンプル、すなわち、ＭＩＰマトリックスが適用された予測サンプルが導出できる。
【0311】
その後、エンコーディング装置は、縮小された予測サンプルをアップサンプリングし、現在ブロックに対するイントラ予測サンプルを生成することができる（Ｓ１８３０）。
【0312】
イントラ予測サンプルは、縮小された予測サンプルの線形補間によりアップサンプリングされることができる。
【0313】
補間手順は、線形補間又は二重線形補間手順と指称され得、１）垂直補間、及び２）水平補間の二つのステップを含むことができる。
【0314】
Ｗ＞＝Ｈであると、垂直線形補間が先に適用でき、続いて水平線形補間が適用できる。Ｗ＜Ｈであると、水平線形補間が先に適用でき、続いて垂直線形補間が適用できる。４×４ブロックの場合、補間手順が省略され得る。
【0315】
また、エンコーディング装置は、現在ブロックの予測サンプルと現在ブロックの原本サンプルに基づいて、現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１８４０）。
【0316】
そして、エンコーディング装置は、ＭＩＰモード情報に対するシンタックス要素のビンストリングをトランケーテッド２進化方式により２進化し、バイパス方式でエンコーディングできる（Ｓ１８５０）。
【0317】
前述したように、ＭＩＰモード情報に対するシンタックス要素のビンストリングの最大長さは、現在ブロックの大きさに応じて異なる値に設定されることができる。このような最大長さは、表２又は表３のように、現在ブロックの大きさに応じて３つの値に設定されることができ、現在ブロックの幅及び高さが４である場合、最大長さが最も大きいことがある。
【0318】
例えば、表２では、コーディングブロックの幅及び高さが４であると、２進化の最大長さは３４に設定され、表３では１５に設定されることができる。
【0319】
また、このようなＭＩＰモード情報は、コンテキストモデリングの方式ではなく、バイパス方式でエンコーディングされることができる。
【0320】
一方、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは、固定長さコード（Ｆｉｘｅｄ Ｌｅｎｇｔｈ Ｃｏｄｅ）で２進化されることができる。
【0321】
エンコーディング装置は、レジデュアルサンプルに基づいて現在ブロックに対するレジデュアル情報を生成し、生成されたレジデュアル情報及びＭＩＰが適用されるか否かを指示するフラグ情報とＭＩＰモード情報を含む映像情報をビットストリームの形態で出力することができる（Ｓ１８６０）。
【0322】
ここで、レジデュアル情報は、レジデュアルサンプルに変換及び量子化を行い、導出された量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータ等の情報を含むことができる。
【0323】
ＭＩＰが適用されるか否かを指示するフラグ情報は、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇのようなシンタックスでコーディングユニットのシンタックス情報に含まれてエンコーディングされることができる。
【0324】
また、ＭＩＰモード情報は、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘで表現されることができ、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが１であるとき、エンコーディングされることができる。ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ＿ｉｄｘは、現在ブロックに適用されるＭＩＰモードを指示するインデックス情報であり得、このようなインデックス情報は、予測サンプルの生成時にマトリックスを導出するのに使用されることができる。インデックス情報は、一つのマトリックスセットに含まれている前記複数のＭＩＰマトリックスのいずれかは指示することができる。
【0325】
また、一例によって、コーディングユニットのシンタックスを介してマトリックスに基づくイントラ予測のための入力ベクトルがトランスポーズされるか否かを指示するフラグ情報、例えば、ｉｎｔｒａ＿ｍｉｐ＿ｔｒａｎｓｐｏｓｅｄ＿ｆｌａｇがさらにシグナリングできる。
【0326】
すなわち、エンコーディング装置は、前述した現在ブロックのＭＩＰモード情報及び／又はレジデュアル情報を含む映像情報をエンコーディングし、ビットストリームに出力することができる。
【0327】
ビットストリームは、ネットワーク又は（デジタル）保存媒体を介してデコーディング装置に送信されることができる。ここで、ネットワークは、放送網及び／又は通信網等を含むことができ、デジタル保存媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤ等の多様な保存媒体を含むことができる。
【0328】
前述した現在ブロックに対する予測サンプルを生成する過程は、図１に開示されたエンコーディング装置１００のイントラ予測部１２２によって実行されることができ、レジデュアルサンプルを導出する過程は、図１に開示されたエンコーディング装置１００の減算部１３１によって実行されることができ、レジデュアル情報を生成してエンコーディングする過程は、図１に開示されたエンコーディング装置１００のレジデュアル処理部１３０及びエントロピーエンコーディング部１４０によって実行されることができる。
【0329】
前述した実施形態において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本文書の実施形態はステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、異なるステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本文書の範囲に影響を与えずに削除され得ることを理解することができる。
【0330】
前述した本文書にかかる方法は、ソフトウェアの形態で具現されることができ、本文書にかかるエンコーディング装置及び／又はデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を実行する装置に含まれ得る。
【0331】
本文書で、実施形態がソフトウェアで具現される際、前述した方法は、前述した機能を行うモジュール（過程、機能等）で具現されることができる。モジュールはメモリに保存され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、保存媒体及び／又は他の保存装置を含むことができる。即ち、本文書で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されることができる。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて実行されることができる。この場合、具現のための情報（ｅｘ．ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）又はアルゴリズムが、デジタル保存媒体に保存されることができる。
【0332】
また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、保存媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、画像電話ビデオ装置、運送手段端末（ｅｘ．車両（自律走行車両含む）端末、飛行機端末、船舶端末など）及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用されることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含むことができる。
【0333】
また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に保存されることができる。本文書にかかるデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に保存されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取ることができるデータが保存される全ての種類の保存装置及び分散保存装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ保存装置を含むことができる。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取ることができる記録媒体に保存されるか、有無線通信ネットワークを介して送信されることができる。
【0334】
また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に保存されることができる。
【0335】
図１９は、本文書の実施形態に適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。
【0336】
図１９を参照すると、ビデオ／映像コーディングシステムは、第１装置（ソースデバイス）及び第２装置（受信デバイス）を含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミングの形態でデジタル保存媒体又はネットワークを介して受信デバイスに伝達することができる。
【0337】
前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれ得、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれ得る。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
【0338】
ビデオソースは、ビデオ／映像のキャプチャ、合成、または生成過程などを介してビデオ／映像を獲得できる。ビデオソースは、ビデオ／映像のキャプチャデバイス及び／又はビデオ／映像の生成デバイスを含むことができる。ビデオ／映像のキャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像の生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成できる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成され得るし、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。
【0339】
エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）の形態で出力されることができる。
【0340】
送信部は、ビットストリームの形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミングの形態でデジタル保存媒体またはネットワークを介して受信デバイスの受信部に伝達することができる。デジタル保存媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な保存媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達することができる。
【0341】
デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ／映像をデコーディングすることができる。
【0342】
レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
【0343】
図２０は、本文書で開示された実施形態が適用できるコンテンツストリーミングシステムの例を示す。
【0344】
図２０を参照すると、本文書の実施形態に適用されるコンテンツストリーミングシステムは、大きくエンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。
【0345】
前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略され得る。
【0346】
前記ビットストリームは、本文書の実施形態に適用されるエンコーディング方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを保存することができる。
【0347】
前記ストリーミングサーバは、ウェブサーバを介してのユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体の役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すれば、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
【0348】
前記ストリーミングサーバは、メディアストレージ及び／又はエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間保存することができる。
【0349】
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
【0350】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
【0351】
本文書に記載された請求項は、多様な方式で組み合わせられることができる。例えば、本文書の方法請求項の技術的特徴が組み合わせられて装置として具現されることができ、本文書の装置請求項の技術的特徴が組み合わせられて方法として具現されることができる。また、本文書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として具現されることができる。（Ｃｌａｉｍｓ ｉｎ ｔｈｅ ｐｒｅｓｅｎｔ ｄｅｓｃｒｉｐｔｉｏｎ ｃａｎ ｂｅ ｃｏｍｂｉｎｅｄ ｉｎ ａ ｖａｒｉｏｕｓ ｗａｙ． Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｅｃｈｎｉｃａｌ ｆｅａｔｕｒｅｓ ｉｎ ｍｅｔｈｏｄ ｃｌａｉｍｓ ｏｆ ｔｈｅ ｐｒｅｓｅｎｔ ｄｅｓｃｒｉｐｔｉｏｎ ｃａｎ ｂｅ ｃｏｍｂｉｎｅｄ ｔｏ ｂｅ ｉｍｐｌｅｍｅｎｔｅｄ ｏｒ ｐｅｒｆｏｒｍｅｄ ｉｎ ａｎ ａｐｐａｒａｔｕｓ，ａｎｄ ｔｅｃｈｎｉｃａｌ ｆｅａｔｕｒｅｓ ｉｎ ａｐｐａｒａｔｕｓ ｃｌａｉｍｓ ｃａｎ ｂｅ ｃｏｍｂｉｎｅｄ ｔｏ ｂｅ ｉｍｐｌｅｍｅｎｔｅｄ ｏｒ ｐｅｒｆｏｒｍｅｄ ｉｎ ａ ｍｅｔｈｏｄ．Ｆｕｒｔｈｅｒ，ｔｅｃｈｎｉｃａｌ ｆｅａｔｕｒｅｓ ｉｎ ｍｅｔｈｏｄ ｃｌａｉｍ（ｓ） ａｎｄ ａｐｐａｒａｔｕｓ ｃｌａｉｍ（ｓ） ｃａｎ ｂｅ ｃｏｍｂｉｎｅｄ ｔｏ ｂｅ ｉｍｐｌｅｍｅｎｔｅｄ ｏｒ ｐｅｒｆｏｒｍｅｄ ｉｎ ａｎ ａｐｐａｒａｔｕｓ．Ｆｕｒｔｈｅｒ，ｔｅｃｈｎｉｃａｌ ｆｅａｔｕｒｅｓ ｉｎ ｍｅｔｈｏｄ ｃｌａｉｍ（ｓ） ａｎｄ ａｐｐａｒａｔｕｓ ｃｌａｉｍ（ｓ） ｃａｎ ｂｅ ｃｏｍｂｉｎｅｄ ｔｏ ｂｅ ｉｍｐｌｅｍｅｎｔｅｄ ｏｒ ｐｅｒｆｏｒｍｅｄ ｉｎ ａ ｍｅｔｈｏｄ．）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【手続補正書】
【提出日】2023-09-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
デコーディング装置によって実行される映像デコーディング方法において、
ビットストリームから、マトリックスに基づくイントラ予測（ＭＩＰ）が現在ブロックに対して使用されるか否かに関連するフラグ情報及びレジデュアル情報を含む映像情報を取得するステップと、
前記フラグ情報に基づいて、マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を取得するステップと、
前記ＭＩＰモード情報に基づいて、前記現在ブロックに対するイントラ予測サンプルを生成するステップと、
前記レジデュアル情報に基づいて、前記現在ブロックに対するレジデュアルサンプルを生成するステップと、
前記イントラ予測サンプル及び前記レジデュアルサンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化（ＴＢ）方式により２進化され、
前記シンタックス要素のビンストリングの最大長さは、前記現在ブロックの大きさに基づいて異なる３つの値に設定され、
前記現在ブロックの幅及び高さが４であることに基づいて、前記最大長さが最も大きな値を持ち、
ＭＩＰマトリックスが、前記ＭＩＰモード情報に基づいて導出され、
前記イントラ予測サンプルが、前記ＭＩＰマトリックスに基づいて生成され、
前記ＭＩＰモード情報は、前記現在ブロックに適用される前記ＭＩＰマトリックスに関連するインデックス情報である、映像デコーディング方法。
ビットストリームから、マトリックスに基づくイントラ予測（ＭＩＰ）が現在ブロックに対して使用されるか否かに関連するフラグ情報及びレジデュアル情報を含む映像情報を取得するステップと、
前記フラグ情報に基づいて、マトリックスに基づくイントラ予測（ＭＩＰ）モード情報を取得するステップと、
前記ＭＩＰモード情報に基づいて、前記現在ブロックに対するイントラ予測サンプルを生成するステップと、
前記レジデュアル情報に基づいて、前記現在ブロックに対するレジデュアルサンプルを生成するステップと、
前記イントラ予測サンプル及び前記レジデュアルサンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化（ＴＢ）方式により２進化され、
前記シンタックス要素のビンストリングの最大長さは、前記現在ブロックの大きさに基づいて異なる３つの値に設定され、
前記現在ブロックの幅及び高さが４であることに基づいて、前記最大長さが最も大きな値を持ち、
ＭＩＰマトリックスが、前記ＭＩＰモード情報に基づいて導出され、
前記イントラ予測サンプルが、前記ＭＩＰマトリックスに基づいて生成され、
前記ＭＩＰモード情報は、前記現在ブロックに適用される前記ＭＩＰマトリックスに関連するインデックス情報である、映像デコーディング方法。
【請求項2】
エンコーディング装置によって実行される映像エンコーディング方法において、
現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が適用されるか否かを導出するステップと、
前記現在ブロックに前記ＭＩＰが適用される場合、前記ＭＩＰに基づいて前記現在ブロックに対するイントラ予測サンプルを導出するステップと、
前記イントラ予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに基づいて、レジデュアル情報を生成するステップと、
前記レジデュアル情報及びマトリックスに基づくイントラ予測（ＭＩＰ）モード情報を含む映像情報をエンコーディングするステップと、を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化（ＴＢ）方式により２進化され、
前記シンタックス要素のビンストリングの最大長さは、前記現在ブロックの大きさに基づいて異なる３つの値に設定され、
前記現在ブロックの幅及び高さが４であることに基づいて、前記最大長さが最も大きな値を持ち、
ＭＩＰマトリックスが、前記ＭＩＰモード情報に基づいて導出され、
前記イントラ予測サンプルが、前記ＭＩＰマトリックスに基づいて生成され、
前記ＭＩＰモード情報は、前記現在ブロックに適用される前記ＭＩＰマトリックスに関連するインデックス情報である、映像エンコーディング方法。
現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が適用されるか否かを導出するステップと、
前記現在ブロックに前記ＭＩＰが適用される場合、前記ＭＩＰに基づいて前記現在ブロックに対するイントラ予測サンプルを導出するステップと、
前記イントラ予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに基づいて、レジデュアル情報を生成するステップと、
前記レジデュアル情報及びマトリックスに基づくイントラ予測（ＭＩＰ）モード情報を含む映像情報をエンコーディングするステップと、を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化（ＴＢ）方式により２進化され、
前記シンタックス要素のビンストリングの最大長さは、前記現在ブロックの大きさに基づいて異なる３つの値に設定され、
前記現在ブロックの幅及び高さが４であることに基づいて、前記最大長さが最も大きな値を持ち、
ＭＩＰマトリックスが、前記ＭＩＰモード情報に基づいて導出され、
前記イントラ予測サンプルが、前記ＭＩＰマトリックスに基づいて生成され、
前記ＭＩＰモード情報は、前記現在ブロックに適用される前記ＭＩＰマトリックスに関連するインデックス情報である、映像エンコーディング方法。
【請求項3】
ビットストリームを取得するステップであって、前記ビットストリームは、現在ブロックに対して、マトリックスに基づくイントラ予測（ＭＩＰ）が適用されるか否かを導出し、前記現在ブロックに前記ＭＩＰが適用される場合、前記ＭＩＰに基づいて前記現在ブロックに対するイントラ予測サンプルを導出し、前記イントラ予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを導出し、前記レジデュアルサンプルに基づいて、レジデュアル情報を生成し、前記レジデュアル情報及びマトリックスに基づくイントラ予測（ＭＩＰ）モード情報を含む映像情報をエンコーディングすることにより生成される、ステップと、
前記ビットストリームを送信するステップと、を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化（ＴＢ）方式により２進化され、
前記シンタックス要素のビンストリングの最大長さは、前記現在ブロックの大きさに基づいて異なる３つの値に設定され、
前記現在ブロックの幅及び高さが４であることに基づいて、前記最大長さが最も大きな値を持ち、
ＭＩＰマトリックスが、前記ＭＩＰモード情報に基づいて導出され、
前記イントラ予測サンプルが、前記ＭＩＰマトリックスに基づいて生成され、
前記ＭＩＰモード情報は、前記現在ブロックに適用される前記ＭＩＰマトリックスに関連するインデックス情報である、送信方法。
前記ビットストリームを送信するステップと、を含み、
前記ＭＩＰモード情報に対するシンタックス要素のビンストリングは、トランケーテッド２進化（ＴＢ）方式により２進化され、
前記シンタックス要素のビンストリングの最大長さは、前記現在ブロックの大きさに基づいて異なる３つの値に設定され、
前記現在ブロックの幅及び高さが４であることに基づいて、前記最大長さが最も大きな値を持ち、
ＭＩＰマトリックスが、前記ＭＩＰモード情報に基づいて導出され、
前記イントラ予測サンプルが、前記ＭＩＰマトリックスに基づいて生成され、
前記ＭＩＰモード情報は、前記現在ブロックに適用される前記ＭＩＰマトリックスに関連するインデックス情報である、送信方法。