特許 7355860 ルママッピング及びクロマスケーリングに基づくビデオまたは画像コーディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-25

(45)【発行日】2023-10-03

(54)【発明の名称】ルママッピング及びクロマスケーリングに基づくビデオまたは画像コーディング

(51)【国際特許分類】

   H04N 19/109 20140101AFI20230926BHJP

   H04N 19/14 20140101ALI20230926BHJP

   H04N 19/176 20140101ALI20230926BHJP

   H04N 19/186 20140101ALI20230926BHJP

   H04N 19/70 20140101ALI20230926BHJP

   H04N 19/91 20140101ALI20230926BHJP

【ＦＩ】

H04N19/109

H04N19/14

H04N19/176

H04N19/186

H04N19/70

H04N19/91

【請求項の数】 14

(21)【出願番号】P 2021575469

(86)(22)【出願日】2020-06-17

(65)【公表番号】

(43)【公表日】2022-09-07

(86)【国際出願番号】 KR2020007834

(87)【国際公開番号】W WO2020256400

(87)【国際公開日】2020-12-24

【審査請求日】2021-12-17

(31)【優先権主張番号】62/862,648

(32)【優先日】2019-06-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】チャオ チエ

(72)【発明者】

【氏名】キム スンファン

【審査官】鈴木 順三

(56)【参考文献】

【文献】LU, Taoran et al.，"CE12:Mapping functions Test CE12-1 and CE12-2"，[JVET-M0427-v3](version 3)，Joint Video Experts Team(JVET)，2019年01月15日，pp.1-24

【文献】Benjamin Bross et al.，”Versatile Video Coding (Draft 5)”，[JVET-N 1001-v8] (version 8)，Joint Video Experts Team (JVET)，2019年06月11日，pp. 3,28,47,80,102-103,110,112,271

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

デコード装置によって行われる画像デコード方法において、
ビットストリームから予測モード情報及びＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）関連情報を含む画像情報を取得するステップと、
前記予測モード情報に基づいて現在ピクチャ内の現在ブロックのためのインター予測モードを導出するステップと、
前記インター予測モードに基づいて前記現在ブロックのための動き情報を導出するステップと、
前記現在ブロックのための前記動き情報に基づいて前記現在ブロックのための予測ルマサンプルを生成するステップと、
前記予測ルマサンプルのためのマッピング手順に基づいてマッピングされた予測ルマサンプルを生成するステップと、
ルマサンプルのためのインバースマッピング手順に基づいて修正された復元ルマサンプルを生成するステップと、
を含み、
前記ＬＭＣＳ関連情報は、マッピング及びインバースマッピングのためのビンに関する情報、及びＬＭＣＳコードワードに関する情報を含み、
前記ビンに関する情報に基づいて最小ビンインデックス及び最大ビンインデックスが導出され、
前記ＬＭＣＳコードワードに関する情報に基づいて、前記最小ビンインデックスから前記最大ビンインデックスまでのインデックスによりインデキシングされたマッピング値が導出され、
前記予測ルマサンプルのための前記マッピング手順で、前記予測ルマサンプルに基づいてマッピングインデックスが導出され、前記マッピングインデックスによりインデキシングされたマッピング値を用いて前記マッピングされた予測ルマサンプルが生成され、
前記ルマサンプルのための前記インバースマッピング手順で、前記最小ビンインデックスから前記最大ビンインデックスまでのビンインデックスによりインデキシングされた前記マッピング値に基づいて、インバースマッピングインデックスが導出され、前記インバースマッピングインデックスによりインデキシングされたマッピング値を用いて前記修正された復元ルマサンプルが生成され、
前記インバースマッピングインデックスを導出するために、前記ルマサンプルのための前記インバースマッピング手順は、
前記インバースマッピングインデックスが前記最小ビンインデックスと等しい場合において、マッピング値が前記復元ルマサンプルの値より大きいか否かを決定するステップと、
前記インバースマッピングインデックスが最大ビンインデックス－１と等しい場合において、マッピング値が前記復元ルマサンプルの値より大きいか否かを決定するステップと、
前記インバースマッピングインデックスが最大ビンインデックス－１と等しい場合において、前記マッピング値が前記復元ルマサンプルの値より大きくないとの決定に基づいて、前記インバースマッピングインデックスが前記最大ビンインデックスと等しい場合において、マッピング値が前記復元ルマサンプルの値より大きいか否かを決定するステップと、
を含み、
前記インバースマッピングインデックスが前記最大ビンインデックスと等しい場合において、前記マッピング値が前記復元ルマサンプルの値より大きいとの決定に基づいて、前記インバースマッピングインデックスが前記最大ビンインデックスとして導出される、画像デコード方法。

【請求項2】

前記画像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
前記ＳＰＳは、線形ＬＭＣＳが可用であるか否かを表す線形ＬＭＣＳ可用フラグを含む、請求項１に記載の画像デコード方法。

【請求項3】

前記画像情報は、レジデュアル情報を含み、
前記レジデュアル情報に基づいてレジデュアルクロマサンプルが生成され、
インバーススケーリングインデックスに基づいてクロマレジデュアルスケーリングファクタが導出され、
前記レジデュアルクロマサンプル及び前記クロマレジデュアルスケーリングファクタに基づいて、スケーリングされたレジデュアルクロマサンプルが生成される、請求項１に記載の画像デコード方法。

【請求項4】

前記インバースマッピングインデックスが最大ビンインデックス－１と等しい場合において、前記マッピング値は、前記最大ビンインデックスにより示されるビンにおけるマッピング値であり、
前記インバースマッピングインデックスが前記最大ビンインデックスと等しい場合において、前記マッピング値は、最大ビンインデックス＋１により示されるビンにおけるマッピング値である、請求項１に記載の画像デコード方法。

【請求項5】

前記インバースマッピングインデックスを導出することは、次のシンタックスの演算を実行することを含み、

【数1】

前記シンタックスにおいて、ｉｄｘＹＩｎｖは前記インバースマッピングインデックスを表し、ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘは前記最小ビンインデックスを表し、ＬｍｃｓＭａｘＢｉｎＩｄｘは前記最大ビンインデックスを表し、ｌｕｍａＳａｍｐｌｅは前記復元ルマサンプルの値を表し、ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ+１］はｉｄｘＹＩｎｖ＋１番目のビンにおけるマッピング値を表す、請求項１に記載の画像デコード方法。

【請求項6】

前記最小ビンインデックスは０ではない、請求項１に記載の画像デコード方法。

【請求項7】

前記画像情報は、線形ＬＭＣＳに関する情報を含み、
前記ＬＭＣＳ関連情報は、前記線形ＬＭＣＳが適用されるか否かを表す線形ＬＭＣＳフラグを含み、
前記線形ＬＭＣＳフラグの値が１である場合、前記マッピングされた予測ルマサンプルは、前記線形ＬＭＣＳに関する情報に基づいて生成される、請求項１に記載の画像デコード方法。

【請求項8】

エンコード装置によって行われる画像エンコード方法において、
インター予測モードを導出するステップと、
前記インター予測モードに基づいて現在ブロックのための動き情報を生成するステップと、
前記現在ブロックのための前記動き情報に基づいて前記現在ブロックのための予測ルマサンプルを生成するステップと、
前記予測ルマサンプルのためのマッピング手順に基づいてマッピングされた予測ルマサンプルを生成するステップと、
前記マッピングされた予測ルマサンプルに基づいてＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）関連情報を生成するステップと、
ルマサンプルのためのインバースマッピング手順に基づいて修正された復元ルマサンプルを生成するステップと、
前記マッピングされた予測ルマサンプル及び前記修正された復元ルマサンプルに基づいてレジデュアル情報を生成するステップと、
前記ＬＭＣＳ関連情報及び前記レジデュアル情報を含む画像情報をエンコードするステップと、
を含み、
前記ＬＭＣＳ関連情報は、マッピング及びインバースマッピングのためのビンに関する情報及びＬＭＣＳコードワードに関する情報を含み、
前記ビンに関する情報に基づいて最小ビンインデックス及び最大ビンインデックスが導出され、
前記ＬＭＣＳコードワードに関する情報に基づいて、前記最小ビンインデックスから前記最大ビンインデックスまでのビンインデックスによりインデキシングされたマッピング値が導出され、
前記予測ルマサンプルのための前記マッピング手順で、前記予測ルマサンプルに基づいてマッピングインデックスが導出され、前記マッピングインデックスによりインデキシングされたマッピング値を用いて前記マッピングされた予測ルマサンプルが生成され、
前記ルマサンプルのための前記インバースマッピング手順で、前記最小ビンインデックスから前記最大ビンインデックスまでのビンインデックスによりインデキシングされた前記マッピング値に基づいて、インバースマッピングインデックスが導出され、前記インバースマッピングインデックスによりインデキシングされたマッピング値を用いて前記修正された復元ルマサンプルが生成され、
前記インバースマッピングインデックスを導出するために、前記ルマサンプルのための前記インバースマッピング手順は、
前記インバースマッピングインデックスが前記最小ビンインデックスと等しい場合において、マッピング値が前記復元ルマサンプルの値より大きいか否かを決定するステップと、
前記インバースマッピングインデックスが最大ビンインデックス－１と等しい場合において、マッピング値が前記復元ルマサンプルの値より大きいか否かを決定するステップと、
前記インバースマッピングインデックスが最大ビンインデックス－１と等しい場合において、前記マッピング値が前記復元ルマサンプルの値より大きくないとの決定に基づいて、前記インバースマッピングインデックスが前記最大ビンインデックスと等しい場合において、マッピング値が前記復元ルマサンプルの値より大きいか否かを決定するステップと、
を含み、
前記インバースマッピングインデックスが前記最大ビンインデックスと等しい場合において、前記マッピング値が前記復元ルマサンプルの値より大きいとの決定に基づいて、前記インバースマッピングインデックスが前記最大ビンインデックスとして導出される、画像エンコード方法。

【請求項9】

前記画像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
前記ＳＰＳは、線形ＬＭＣＳが可用であるか否かを表す線形ＬＭＣＳ可用フラグを含む、請求項８に記載の画像エンコード方法。

【請求項10】

インバーススケーリングインデックスに基づいてクロマレジデュアルスケーリングファクタが導出され、
レジデュアルクロマサンプル及び前記クロマレジデュアルスケーリングファクタに基づいて、スケーリングされたレジデュアルクロマサンプルが生成され、
前記レジデュアル情報は、更に前記スケーリングされたレジデュアルクロマサンプルに基づいて生成される、請求項８に記載の画像エンコード方法。

【請求項11】

前記インバースマッピングインデックスが最大ビンインデックス－１と等しい場合において、前記マッピング値は、前記最大ビンインデックスにより示されるビンにおけるマッピング値であり、
前記インバースマッピングインデックスが前記最大ビンインデックスと等しい場合において、前記マッピング値は、最大ビンインデックス＋１により示されるビンにおけるマッピング値である、請求項８に記載の画像エンコード方法。

【請求項12】

前記インバースマッピングインデックスを導出することは、次のシンタックスの演算を実行することを含み、

【数2】

前記シンタックスにおいて、ｉｄｘＹＩｎｖは前記インバースマッピングインデックスを表し、ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘは前記最小ビンインデックスを表し、ＬｍｃｓＭａｘＢｉｎＩｄｘは前記最大ビンインデックスを表し、ｌｕｍａＳａｍｐｌｅは前記復元ルマサンプルの値を表し、ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ+１］はｉｄｘＹＩｎｖ＋１番目のビンにおけるマッピング値を表す、請求項８に記載の画像エンコード方法。

【請求項13】

前記最小ビンインデックスは０ではない、請求項８に記載の画像エンコード方法。

【請求項14】

画像情報に対するデータを送信する方法において、
ＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）関連情報及びレジデュアル情報を含む前記画像情報のビットストリームを取得するステップと、
前記ＬＭＣＳ関連情報及び前記レジデュアル情報を含む前記画像情報のビットストリームを含む前記データを送信するステップと、
を含み、
前記ＬＭＣＳ関連情報は、インター予測モードを導出し、前記インター予測モードに基づいて現在ブロックのための動き情報を生成し、前記現在ブロックのための前記動き情報に基づいて前記現在ブロックのための予測ルマサンプルを生成し、前記予測ルマサンプルのためのマッピング手順に基づいて、マッピングされた予測ルマサンプルを生成し、前記マッピングされた予測ルマサンプルに基づいてＬＭＣＳ関連情報を生成することにより生成され、前記レジデュアル情報は、ルマサンプルのためのインバースマッピング手順に基づいて修正された復元ルマサンプルを生成し、前記マッピングされた予測ルマサンプル及び前記修正された復元ルマサンプルに基づいてレジデュアル情報を生成することにより生成され、
前記画像情報は、マッピング及びインバースマッピングのためのビンに関する情報及びＬＭＣＳコードワードに関する情報を更に含み、
前記ビンに関する情報に基づいて最小ビンインデックス及び最大ビンインデックスが導出され、
前記ＬＭＣＳコードワードに関する情報に基づいて、前記最小ビンインデックスから前記最大ビンインデックスまでのビンインデックスによりインデキシングされたマッピング値が導出され、
前記予測ルマサンプルのための前記マッピング手順で、前記予測ルマサンプルに基づいてマッピングインデックスが導出され、前記マッピングインデックスによりインデキシングされたにマッピング値を用いて前記マッピングされた予測ルマサンプルが生成され、
前記ルマサンプルのための前記インバースマッピング手順で、前記最小ビンインデックスから前記最大ビンインデックスまでのビンインデックスによりインデキシングされた前記マッピング値に基づいて、インバースマッピングインデックスが導出され、前記インバースマッピングインデックスによりインデキシングされたマッピング値を用いて前記修正された復元ルマサンプルが生成され、
前記インバースマッピングインデックスを導出するために、前記ルマサンプルのための前記インバースマッピング手順は、
前記インバースマッピングインデックスが前記最小ビンインデックスと等しい場合において、マッピング値が前記復元ルマサンプルの値より大きいか否かを決定するステップと、
前記インバースマッピングインデックスが最大ビンインデックス－１と等しい場合において、マッピング値が前記復元ルマサンプルの値より大きいか否かを決定するステップと、
前記インバースマッピングインデックスが最大ビンインデックス－１と等しい場合において、前記マッピング値が前記復元ルマサンプルの値より大きくないとの決定に基づいて、前記インバースマッピングインデックスが前記最大ビンインデックスと等しい場合において、マッピング値が前記復元ルマサンプルの値より大きいか否かを決定するステップと、
を含み、
前記インバースマッピングインデックスが前記最大ビンインデックスと等しい場合において、前記マッピング値が前記復元ルマサンプルの値より大きいとの決定に基づいて、前記インバースマッピングインデックスが前記最大ビンインデックスとして導出される、送信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、ルママッピング及びクロマスケーリングに基づくビデオまたは画像コーディングに関する。

【背景技術】

【0002】

近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像／ビデオのような高解像度、高品質の画像／ビデオに対する需要が様々な分野で増加している。画像／ビデオデータが高解像度、高品質になるほど、既存の画像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、既存の格納媒体を利用して画像／ビデオデータを格納する場合、送信費用と格納費用が増加される。

【0003】

また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム画像のように、現実画像と異なる画像特性を有する画像／ビデオに対する放送が増加している。

【0004】

これにより、上記のような様々な特性を有する高解像度・高品質の画像／ビデオの情報を効果的に圧縮して送信するか、格納し、再生するために高効率の画像／ビデオ圧縮技術が求められる。

【0005】

また、圧縮効率を向上させ、主観的／客観的ビジュアル品質を高めるために、ＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）手順が行われ、ＬＭＣＳ手順における計算複雑度を減少させるための議論がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本文書の一実施形態によると、画像／ビデオコーディング効率を上げる方法及び装置を提供する。

【課題を解決するための手段】

【0007】

本文書の一実施形態によると、効率的なフィルタリング適用方法及び装置を提供する。

【0008】

本文書の一実施形態によると、効率的なＬＭＣＳ適用方法及び装置を提供する。

【0009】

本文書の一実施形態によると、前記ＬＭＣＳコードワード（または、その範囲）を制限することができる。

【0010】

本文書の一実施形態によると、ＬＭＣＳのクロマスケーリングで直接的にシグナリングされた単一クロマレジデュアルスケーリングファクタが使用され得る。

【0011】

本文書の一実施形態によると、線形マッピング（線形ＬＭＣＳ）が使用され得る。

【0012】

本文書の一実施形態によると、線形マッピングに必要なピボットポイントに関する情報が明示的にシグナリングされることができる。

【0013】

本文書の一実施形態によると、フレキシブルな個数のｂｉｎがルママッピングのために使用されることができる。

【0014】

本文書の一実施形態によれば、ルマサンプルのためのインバースマッピングインデックスを導出する手順が単純化され得る。

【0015】

本文書の一実施形態によれば、デコード装置により行われるビデオ／画像デコード方法を提供する。

【0016】

本文書の一実施形態によれば、ビデオ／画像デコードを行うデコード装置を提供する。

【0017】

本文書の一実施形態によれば、エンコード装置により行われるビデオ／画像エンコード方法を提供する。

【0018】

本文書の一実施形態によれば、ビデオ／画像エンコードを行うエンコード装置を提供する。

【0019】

本文書の一実施形態によれば、本文書の実施形態の少なくとも１つに開示されたビデオ／画像エンコード方法によって生成されたエンコードされたビデオ／画像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。

【0020】

本文書の一実施形態によれば、デコード装置により本文書の実施形態の少なくとも１つに開示されたビデオ／画像デコード方法を行うように引き起こすエンコードされた情報又はエンコードされたビデオ／画像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。

【発明の効果】

【0021】

本文書の一実施形態によると、全般的な画像／ビデオ圧縮効率を上げることができる。

【0022】

本文書の一実施形態によると、効率的なフィルタリングを介して主観的／客観的ビジュアル品質を高めることができる。

【0023】

本文書の一実施形態によると、画像／ビデオコーディングのためのＬＭＣＳ手順が効率的に実行されることができる。

【0024】

本文書の一実施形態によると、ＬＭＣＳ手順に必要なリソース／費用（ソフトウェアまたはハードウェアの）を最小化することができる。

【0025】

本文書の一実施形態によると、ＬＭＣＳ手順のためのハードウェア実現を容易にできる。

【0026】

本文書の一実施形態によると、前記ＬＭＣＳコードワード（または、その範囲）制限を介してマッピング（リシェイピング）でのＬＭＣＳコードワードの導出に必要な割り算演算を除去し、または最小化することができる。

【0027】

本文書の一実施形態によると、単一クロマレジデュアルスケーリングファクタ使用を介してピースワイズインデックス識別によるレイテンシーが除去されることができる。

【0028】

本文書の一実施形態によると、ＬＭＣＳで線形マッピングの使用を介してルマブロック（の復元）に依存せずに、クロマレジデュアルスケーリング手順が実行されることができ、したがって、スケーリングでのレイテンシーが除去されることができる。

【0029】

本文書の一実施形態によると、ＬＭＣＳでのマッピング効率が高まることができる。

【0030】

本文書の一実施形態によれば、ルマサンプルに対するインバースマッピングまたはクロマレジデュアルスケーリングのためのインバースマッピングインデックスまたはインバーススケーリングインデックスを導出する手順の単純化を介してＬＭＣＳの複雑度が減少され得るし、したがって、ビデオ／画像コーディング効率が増加され得る。

【図面の簡単な説明】

【0031】

【図1】本文書の実施形態が適用され得るビデオ／画像コーディングシステムの例を概略的に示す。

【図2】本文書の実施形態が適用され得るビデオ／画像エンコード装置の構成を概略的に説明する図である。

【図3】本文書の実施形態が適用され得るビデオ／画像デコード装置の構成を概略的に説明する図である。

【図4】インター予測に基づくビデオ／画像エンコード方法の例を示す。

【図5】インター予測に基づくビデオ／画像デコード方法の例を示す。

【図6】インター予測手順を例示的に示す。

【図7】コーディングされた画像／ビデオに対する階層構造を例示的に示す。

【図8】本文書の一実施形態によるＣＶＳの階層的な構造を例示的に示す。

【図9】本文書の一実施形態による例示的なＬＭＣＳ構造を示す。

【図10】本文書の他の一実施形態によるＬＭＣＳ構造を示す。

【図11】例示的なフォワードマッピングを示すグラフを示す。

【図12】本文書の一実施形態によってクロマレジデュアルスケーリングインデックスを導出する方法を示す流れ図である。

【図13】本文書の一実施形態によるピボットポイントの線形フィッティングを示す。

【図14】本文書の一実施形態による線形リシェイパの一例を示す。

【図15】本文書の一実施形態での線形フォワードマッピングの一例を示す。

【図16】本文書の一実施形態でのインバースフォワードマッピングの一例を示す。

【図17】本文書の実施形態（等）によるビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。

【図18】本文書の実施形態（等）によるビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。

【図19】本文書の実施形態による画像／ビデオデコード方法及び関連コンポーネントの一例を概略的に示す。

【図20】本文書の実施形態による画像／ビデオデコード方法及び関連コンポーネントの一例を概略的に示す。

【図21】本文書に開示された実施形態が適用され得るコンテンツストリーミングシステムの例を示す。

【発明を実施するための形態】

【0032】

本文書の開示は、様々な変更を加えることができ、様々な実施形態を有することができるが、特定の実施形態を図面に例示し、詳細に説明しようとする。しかし、これは、本開示を特定の実施形態に限定しようとするわけではない。本文書で使用する用語は、単に特定の実施形態を説明するために使用されたものであって、本文書における実施形態の技術的思想を限定しようとする意図に使用されるものではない。単数の表現は、文脈上明らかに異なる意味ではない限り、複数の表現を含む。本文書において、「含む」又は「有する」等の用語は、文書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の異なる特徴や、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加の可能性を予め排除しないものと理解されるべきである。

【0033】

一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立して示すものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで実現されるということを意味するのではない。例えば、各構成のうち、２つ以上の構成を合わせて１つの構成をなすこともあり、１つの構成が複数の構成に分けられることもある。各構成が統合及び／又は分離された実施形態も、本文書の開示範囲に含まれる。

【0034】

以下、添付図を参照として、本文書の実施形態を説明しようとする。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し得、同じ構成要素に対して重複した説明は省略され得る。

【0035】

図１は、本文書の実施形態が適用され得るビデオ／画像コーディングシステムの例を概略的に示す。

【0036】

図１に示すように、ビデオ／画像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を備えることができる。ソースデバイスは、エンコードされたビデオ（ｖｉｄｅｏ）／画像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達することができる。

【0037】

前記ソースデバイスは、ビデオソース、エンコード装置、送信部を備えることができる。前記受信デバイスは、受信部、デコード装置、及びレンダラを備えることができる。前記エンコード装置は、ビデオ／画像エンコード装置と呼ばれることができ、前記デコード装置は、ビデオ／画像デコード装置と呼ばれることができる。送信機は、エンコード装置に備えられることができる。受信機は、デコード装置に備えられることができる。レンダラは、ディスプレイ部を備えることができ、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

【0038】

ビデオソースは、ビデオ／画像のキャプチャ、合成、または生成過程などを介してビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成され得るし、この場合、関連データが生成される過程にビデオ／画像キャプチャ過程が代替されることができる。

【0039】

エンコード装置は、入力ビデオ／画像をエンコードすることができる。エンコード装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコードされたデータ（エンコードされたビデオ／画像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

【0040】

送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／画像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達することができる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介しての送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコード装置に伝達することができる。

【0041】

デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ／画像をデコードすることができる。

【0042】

レンダラは、デコードされたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介してディスプレイされることができる。

【0043】

本文書は、ビデオ／画像コーディングに関する。例えば、本文書で開示された方法／実施形態は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準に開示される方法に適用されることができる。また、本文書で開示された方法／実施形態は、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）又は次世代ビデオ／画像コーディング標準（ｅｘ．２６７又はＨ．２６８等）に開示される方法に適用されることができる。

【0044】

本文書では、ビデオ／画像コーディングに関する様々な実施形態を提示し、別の言及がない限り、前記実施形態は互いに組み合わせて行うこともある。

【0045】

本文書で、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定の時間帯の１つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。１つのピクチャは、１つ以上のスライス／タイルで構成されることができる。タイルは、ピクチャ内の特定のタイル列及び特定のタイル列以内のＣＴＵの四角領域である（Ａ ｔｉｌｅ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｗｉｔｈｉｎ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｃｏｌｕｍｎ ａｎｄ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｒｏｗ ｉｎ ａ ｐｉｃｔｕｒｅ）。前記タイル列は、ＣＴＵの四角領域であり、前記四角領域は、前記ピクチャの高さと同じ高さを有し、幅はピクチャパラメータセット内のシンタックス要素により明示され得る（Ｔｈｅ ｔｉｌｅ ｃｏｌｕｍｎ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｅｑｕａｌ ｔｏ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ ａｎｄ ａ ｗｉｄｔｈ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）。前記タイル行はＣＴＵの四角領域であり、前記四角領域はピクチャパラメータセット内のシンタックス要素によって明示される幅を有し、高さは前記ピクチャの高さと同一であり得る（Ｔｈｅ ｔｉｌｅ ｒｏｗ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ａｎｄ ａ ｗｉｄｔｈ ｅｑｕａｌ ｔｏ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルのスキャンはピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示し得、前記ＣＴＵはタイル内のＣＴＵラスタースキャンに連続的に整列され得、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタースキャンに連続的に整列され得る（Ａ ｔｉｌｅ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｔｉｌｅ ｗｈｅｒｅａｓ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。スライスは単一のＮＡＬユニットに排他的に含まれ得る、整数個の完全なタイル又はピクチャのタイル内の整数個の連続的な完全なＣＴＵ行を含み得る（Ａ ｓｌｉｃｅ ｉｎｃｌｕｄｅｓ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｌｅｔｅ ｔｉｌｅｓ ｏｒ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｃｏｎｓｅｃｕｔｉｖｅ ｃｏｍｐｌｅｔｅ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ｏｆ ａ ｐｉｃｔｕｒｅ ｔｈａｔ ｍａｙ ｂｅ ｅｘｃｌｕｓｉｖｅｌｙ ｃｏｎｔａｉｎｅｄ ｉｎ ａ ｓｉｎｇｌｅ ＮＡＬ ｕｎｉｔ）

【0046】

一方、１つのピクチャは、２つ以上のサブピクチャに区分されることができる。サブピクチャは、ピクチャ内の１つ以上のスライスの四角領域であり得る（ａｎ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ｓｌｉｃｅｓ ｗｉｔｈｉｎ ａ ｐｉｃｔｕｒｅ）。

【0047】

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、１つのピクチャ（または、画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として、「サンプル（ｓａｍｐｌｅ）」が使用され得る。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0048】

ユニット（ｕｎｉｔ）は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち、少なくとも１つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行とからなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。

【0049】

本文書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「ただＡ」、「ただＢ」、又は「Ａ及びＢ両方」を意味し得る。言い換えると、本文書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」と解釈され得る。例えば、本文書において、「Ａ、Ｂ又はＣ（Ａ， Ｂ ｏｒ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。

【0050】

本文書で使用されるスラッシュ（／）や休止符（ｃｏｍｍａ）は、「及び／又は（ａｎｄ／ｏｒ）」を意味し得る。例えば、「Ａ／Ｂ」は、「Ａ及び／又はＢ」を意味し得る。これによって、「Ａ／Ｂ」は、「ただＡ」、「ただＢ」、又は「Ａ及びＢ両方」を意味し得る。例えば、「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ又はＣ」を意味し得る。

【0051】

本文書において、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「ただＡ」、「ただＢ」又は「Ａ及びＢ両方」を意味し得る。また、本文書において、「少なくとも１つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈され得る。

【0052】

また、本文書において、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。また、「少なくとも１つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。

【0053】

また、本文書で使用される括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味し得る。具体的に、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えると、本文書の「予測」は、「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（即ち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。

【0054】

本文書において１つの図面内で個別的に説明される技術的特徴は、個別的に実現されてもよく、同時に実現されてもよい。

【0055】

図２は、本文書の実施形態が適用され得るビデオ／画像エンコード装置の構成を概略的に説明する図である。以下、エンコード装置というのは、画像エンコード装置及び／又はビデオエンコード装置を含むことができる。

【0056】

図２に示すように、エンコード装置２００は、画像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコード部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ、２３１）をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。上述した画像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコード部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）によって構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。

【0057】

画像分割部２１０は、エンコード装置２００に入力された入力画像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本開示に係るコーディング手順が行われ得る。この場合、画像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々上述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を導く単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であることができる。

【0058】

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）等の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、画像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。

【0059】

エンコード装置２００は、入力画像信号（原本ブロック、原本サンプルアレイ）でインター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力画像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるか決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。予測に関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0060】

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、または、離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0061】

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは同じであることができ、異なることもできる。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われ得るし、例えば、スキップモードとマージモードとの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。

【0062】

予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくことができ、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを用いることができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。

【0063】

前記予測部（インター予測部２２１及び／又は前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）の少なくとも１つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するという際に、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。

【0064】

量子化部２３３は、変換係数を量子化してエントロピーエンコード部２４０に送信され、エントロピーエンコード部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコード部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコード方法を行うことができる。エントロピーエンコード部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値）を共にまたは別にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／画像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコード装置からデコード装置に伝達／シグナリングされる情報及び／又はシンタックス要素は、ビデオ／画像情報に含まれることができる。前記ビデオ／画像情報は、上述したエンコード手順を介してエンコードされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。エントロピーエンコード部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコード装置２００の内／外部エレメントとして構成されることができ、または送信部は、エントロピーエンコード部２４０に含まれることもできる。

【0065】

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元できる。加算部１５５は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0066】

一方、ピクチャエンコード及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0067】

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0068】

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコード装置は、これを介してインター予測が適用される場合、エンコード装置１００とデコード装置における予測ミスマッチを避けることができ、符号化効率も向上させることができる。

【0069】

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。

【0070】

図３は、本文書の実施形態が適用され得るビデオ／画像デコード装置の構成を概略的に説明する図である。以下、デコード装置というのは、画像デコード装置及び／又はビデオデコード装置を含むことができる。

【0071】

図３に示すように、デコード装置３００は、エントロピーデコード部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を備えて構成されることができる。予測部３３０は、イントラ予測部３３１及びインター予測部３３２を備えることができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を備えることができる。上述したエントロピーデコード部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。

【0072】

ビデオ／画像情報を含むビットストリームが入力されれば、デコード装置３００は、図３のエンコード装置でビデオ／画像情報が処理されたプロセスに対応して画像を復元できる。例えば、デコード装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコード装置３００は、エンコード装置で適用された処理ユニットを用いてデコードを行うことができる。したがって、デコードの処理ユニットは、例えば、コーディングユニットであることができ、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出され得る。そして、デコード装置３００を介してデコード及び出力された復元画像信号は、再生装置を介して再生されることができる。

【0073】

デコード装置３００は、図３のエンコード装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部３１０を介してデコードされることができる。例えば、エントロピーデコード部３１０は、前記ビットストリームをパーシングして画像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出できる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコード装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコードすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコード手順を介してデコードされて、前記ビットストリームから取得されることができる。例えば、エントロピーデコード部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基にビットストリーム内の情報をデコードし、画像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。より具体的に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコード対象のシンタックス要素情報と隣接及びデコード対象ブロックのデコード情報または以前ステップでデコードされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、文脈モデル決定後、次のシンボル／ビンの文脈モデルのためにデコードされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコード部３１０でデコードされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコード部３１０でエントロピーデコードが行われたレジデュアル値、即ち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出できる。また、エントロピーデコード部３１０でデコードされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコード装置から出力された信号を受信する受信部（図示せず）がデコード装置３００の内／外部エレメントとしてさらに構成されることができ、または受信部は、エントロピーデコード部３１０の構成要素であることもできる。一方、本文書に係るデコード装置は、ビデオ／画像／ピクチャデコード装置と呼ばれることができ、前記デコード装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコード部３１０を備えることができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち、少なくとも１つを備えることができる。

【0074】

逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコード装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0075】

逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

【0076】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコード部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定できる。

【0077】

予測部３２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくことができ、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／画像情報に含まれてシグナリングされることができる。

【0078】

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、または離れて位置することができる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0079】

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを備えることができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が行われ得るし、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

【0080】

加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／又はイントラ予測部３３１を備える）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。

【0081】

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることができ、または次のピクチャのインター予測のために使用されることもできる。

【0082】

一方、ピクチャデコード過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0083】

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0084】

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納できる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納でき、イントラ予測部３３１に伝達することができる。

【0085】

本明細書において、エンコード装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施形態等は、各々デコード装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同一または対応するように適用されることができる。

【0086】

前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコード装置及びデコード装置で同じく導出され、前記エンコード装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコード装置にシグナリングすることで画像コーディング効率を上げることができる。デコード装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

【0087】

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコード装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコード装置にシグナリングされることができる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコード装置は、前記レジデュアル情報に基づいて逆量子化／逆変換の手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコード装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコード装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

【0088】

本文書において、量子化／逆量子化及び／又は変換／逆変換のうち少なくとも１つは、省略されることができる。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれることができる。前記変換／逆変換が省略される場合、前記変換係数は、係数またはレジデュアル係数と呼ばれることもでき、または、表現の統一性のために、依然として変換係数と呼ばれることもできる。

【0089】

本文書において、量子化された変換係数及び変換係数は、各々、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれることができる。この場合、レジデュアル情報は、変換係数（ら）に関する情報を含むことができ、前記変換係数（ら）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（または、前記変換係数（ら）に関する情報）に基づいて変換係数が導出されることができ、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルが導出されることができる。これは本文書の他の部分でも同様に適用／表現されることができる。

【0090】

イントラ予測は、現在ブロックが属するピクチャ（以下、現在ピクチャという）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する隣接参照サンプルが導出されることができる。前記現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの左側（ｌｅｆｔ）境界に隣接したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接した総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接した総２×ｎＷ個のサンプル及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接した１個のサンプルを含むことができる。または、前記現在ブロックの隣接参照サンプルは、複数列の上側隣接サンプル及び複数行の左側隣接サンプルを含むこともできる。また、前記現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接した１個のサンプルを含むこともできる。

【0091】

ただし、現在ブロックの隣接参照サンプルのうち一部は、まだデコードされない、または利用可能でない場合がある。この場合、デコーダは、利用可能なサンプルとして利用可能でないサンプルを代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）して予測に使用する隣接参照サンプルを構成することができる。または、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して予測に使用する隣接参照サンプルを構成することができる。

【0092】

隣接参照サンプルが導出された場合、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ii）現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は、非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｏｎａｌ）モードまたは非角度（ｎｏｎ－ａｎｇｕｌａｒ）モードと呼ばれ、（ii）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。

【0093】

また、前記隣接参照サンプルのうち前記現在ブロックの予測サンプルを基準にして、前記現在ブロックのイントラ予測モードの予測方向に位置する第１の隣接サンプルと前記予測方向の反対方向に位置する第２の隣接サンプルとの補間を介して前記予測サンプルが生成されることもできる。前述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることができる。また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を利用してルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭモードと呼ばれることができる。

【0094】

また、フィルタリングされた隣接参照サンプルに基づいて前記現在ブロックの臨時予測サンプルを導出し、前記既存の隣接参照サンプル、即ち、フィルタリングされない隣接参照サンプルのうち、前記イントラ予測モードによって導出された少なくとも１つの参照サンプルと前記臨時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して前記現在ブロックの予測サンプルを導出することもできる。前述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。

【0095】

また、現在ブロックの隣接多重参照サンプルラインの中から最も予測正確度が高い参照サンプルラインを選択して該当ラインで予測方向に位置する参照サンプルを利用して予測サンプルを導出し、この時に使われた参照サンプルラインをデコード装置に指示（シグナリング）する方法でイントラ予測符号化を実行することができる。前述した場合は、多重参照ライン（ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）イントラ予測またはＭＲＬベースのイントラ予測と呼ばれることができる。

【0096】

また、現在ブロックを垂直または水平のサブパーティションに分けて同じイントラ予測モードに基づいてイントラ予測を実行し、前記サブパーティション単位で隣接参照サンプルを導出して利用できる。即ち、この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同じく適用され、前記サブパーティション単位で隣接参照サンプルを導出して利用することによって、場合によって、イントラ予測性能を高めることができる。このような予測方法は、ＩＳＰ（ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）ベースのイントラ予測と呼ばれることができる。

【0097】

前述したイントラ予測方法は、イントラ予測モードと区分してイントラ予測タイプと呼ばれることができる。前記イントラ予測タイプは、イントラ予測技法または付加イントラ予測モードなど、様々な用語で呼ばれることができる。例えば、前記イントラ予測タイプ（または、付加イントラ予測モードなど）は、前述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうち少なくとも１つを含むことができる。前記ＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定イントラ予測タイプを除外した一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、前記のような特定イントラ予測タイプが適用されない場合、一般的に適用されることができ、前述したイントラ予測モードに基づいて予測が実行されることができる。一方、必要によって、導出された予測サンプルに対する後処理フィルタリングが実行されることもできる。

【0098】

具体的に、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、隣接参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。また、必要によって、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが実行されることもできる。

【0099】

イントラ予測が適用される場合、隣接ブロックのイントラ予測モードを利用して現在ブロックに適用されるイントラ予測モードが決定されることができる。例えば、デコード装置は、現在ブロックの隣接ブロック（例えば、左側及び／又は上側隣接ブロック）のイントラ予測モード及び追加的な候補モードに基づいて導出されたＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）リスト内のＭＰＭ候補のうち１つを、受信されたＭＰＭインデックスに基づいて選択でき、または、前記ＭＰＭ候補（及びプラナーモード）に含まれない残りのイントラ予測モードのうち１つを、リメイニングイントラ予測モード情報に基づいて選択できる。前記ＭＰＭリストは、プラナーモードを候補として含む場合または含まない場合で構成されることができる。例えば、前記ＭＰＭリストがプラナーモードを候補として含む場合、前記ＭＰＭリストは、６個の候補を有することができ、前記ＭＰＭリストがプラナーモードを候補として含まない場合、前記ＭＰＭリストは、５個の候補を有することができる。前記ＭＰＭリストがプラナーモードを候補として含まない場合、現在ブロックのイントラ予測モードがプラナーモードでないかことを示すｎｏｔプラナーフラグ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）がシグナリングされることができる。例えば、ＭＰＭフラグが先にシグナリングされ、ＭＰＭインデックス及びｎｏｔプラナーフラグは、ＭＰＭフラグの値が１である場合にシグナリングされることができる。また、前記ＭＰＭインデックスは、前記ｎｏｔプラナーフラグの値が１である場合にシグナリングされることができる。ここで、前記ＭＰＭリストがプラナーモードを候補として含まないように構成されることは、前記プラナーモードがＭＰＭでないことを意味するより、ＭＰＭとして常にプラナーモードが考慮されるため、先にフラグ（ｎｏｔ ｐｌａｎａｒ ｆｌａｇ）をシグナリングしてプラナーモードであるかどうかを先に確認するためである。

【0100】

例えば、現在ブロックに適用されるイントラ予測モードがＭＰＭ候補（及びプラナーモード）内にあるか、または、リメイニングモード内にあるかは、ＭＰＭフラグ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）に基づいて指示されることができる。ＭＰＭフラグの値１は、前記現在ブロックに対するイントラ予測モードがＭＰＭ候補（及びプラナーモード）内にあることを示すことができ、ＭＰＭ ｆｌａｇの値０は、前記現在ブロックに対するイントラ予測モードがＭＰＭ候補（及びプラナーモード）内に無いことを示すことができる。前記ｎｏｔプラナーフラグ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）値０は、前記現在ブロックに対するイントラ予測モードがプラナーモードであることを示すことができ、前記ｎｏｔプラナーフラグ値１は、前記現在ブロックに対するイントラ予測モードがプラナーモードでないことを示すことができる。前記ＭＰＭインデックスは、ｍｐｍ＿ｉｄｘまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘシンテックス要素の形態でシグナリングされることができ、前記リメイニングイントラ予測モード情報は、ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒシンテックス要素の形態でシグナリングされることができる。例えば、前記リメイニングイントラ予測モード情報は、全体イントラ予測モードのうち前記ＭＰＭ候補（及びプラナーモード）に含まれない残りのイントラ予測モードを予測モード番号順にインデキシングしてそのうち１つを指すことができる。前記イントラ予測モードは、ルマ成分（サンプル）に対するイントラ予測モードである。以下、イントラ予測モード情報は、前記ＭＰＭ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）、前記ｎｏｔ ｐｌａｎａｒ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）、前記ＭＰＭインデックス（例えば、ｍｐｍ＿ｉｄｘまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）、前記リメイニングイントラ予測モード情報（ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）のうち少なくとも１つを含むことができる。本文書において、ＭＰＭリストは、ＭＰＭ候補リスト、ｃａｎｄＭｏｄｅＬｉｓｔなど、様々な用語で呼ばれることができる。ＭＩＰが現在ブロックに適用される場合、ＭＩＰのための別途のｍｐｍ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｆｌａｇ）、ｍｐｍインデックス（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｉｄｘ）、リメイニングイントラ予測モード情報（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）がシグナリングされることができ、前記ｎｏｔ ｐｌａｎａｒ ｆｌａｇはシグナリングされない。

【0101】

即ち、一般的に画像に対するブロック分割になると、コーディングしようとする現在ブロックと隣接（ｎｅｉｇｈｂｏｒｉｎｇ）ブロックは、類似する画像特性を有するようになる。したがって、現在ブロックと隣接ブロックは、互いに同じまたは類似するイントラ予測モードを有する確率が高い。したがって、エンコーダは、現在ブロックのイントラ予測モードをエンコードするために、隣接ブロックのイントラ予測モードを利用することができる。

【0102】

例えば、エンコーダ／デコーダは、現在ブロックに対するＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅｓ）リストを構成することができる。前記ＭＰＭリストは、ＭＰＭ候補リストと示すこともできる。ここで、ＭＰＭとは、イントラ予測モードコーディング時、現在ブロックと隣接ブロックの類似性を考慮してコーディング効率を向上させるために利用されるモードを意味することができる。前述したように、ＭＰＭリストは、プラナーモードを含んで構成されることもでき、または、プラナーモードを除外して構成されることもできる。例えば、ＭＰＭリストがプラナーモードを含む場合、ＭＰＭリストの候補の個数は６個である。そして、ＭＰＭリストがプラナーモードを含まない場合、ＭＰＭリストの候補の個数は５個である。

【0103】

エンコーダ／デコーダは、５個または６個のＭＰＭを含むＭＰＭリストを構成することができる。

【0104】

ＭＰＭリストを構成するために、デフォルトイントラモード（Ｄｅｆａｕｌｔ ｉｎｔｒａ ｍｏｄｅｓ）、隣接イントラモード（Ｎｅｉｇｈｂｏｕｒ ｉｎｔｒａ ｍｏｄｅｓ）、及び導出されたイントラモード（Ｄｅｒｉｖｅｄ ｉｎｔｒａ ｍｏｄｅｓ）の三つの種類のモードが考慮されることができる。

【0105】

前記隣接イントラモードのために、二つの隣接ブロック、即ち、左側隣接ブロック及び上側隣接ブロックが考慮されることができる。

【0106】

前述したように、もし、ＭＰＭリストがプラナーモードを含まないように構成する場合、前記リストからプラナー（ｐｌａｎａｒ）モードが除外され、前記ＭＰＭリスト候補の個数は、５個に設定されることができる。

【0107】

また、イントラ予測モードのうち、非方向性モード（または、非角度モード）は、現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）ベースのＤＣモードまたは補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）ベースのプラナー（ｐｌａｎａｒ）モードを含むことができる。

【0108】

インター予測が適用される場合、エンコード装置／デコード装置の予測部は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャのデータ要素（ｅｘ．サンプル値、又は動き情報）に依存的な方法で導出される予測を示すことができる。現在ブロックにインター予測が適用される場合、参照ピクチャのインデックスの指す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャのインデックスを含むことができる。前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）の情報を更に含むことができる。インター予測が適用される場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間的隣接ブロックを含む参照ピクチャとは同一であってもよく、異なってもよい。前記時間的隣接ブロックは、同じ位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同じ位置ＣＵ（ｃｏｌＣＵ）等の名称で呼ばれ得、前記時間的隣接ブロックを含む参照ピクチャは、同じ位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもある。例えば、現在ブロックの隣接ブロックに基づいて動き情報の候補リストが構成されることができ、前記現在ブロックの動きベクトル及び／又は参照ピクチャのインデックスを導出するために、どの候補が選択（使用）されるかを指示するフラグ又はインデックス情報がシグナリングされることができる。様々な予測モードに基づいてインター予測が行われ、例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は、選択された隣接ブロックの動き情報を同一であり得る。スキップモードの場合、マージモードと異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を用いて、前記現在ブロックの動きベクトルを導出することができる。

【0109】

前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）に応じて、Ｌ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と呼ばれ得、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と呼ばれ得る。Ｌ０動きベクトルに基づいた予測は、Ｌ０予測と呼ばれ得、Ｌ１動きベクトルに基づいた予測をＬ１予測と呼ばれ得、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方に基づいた予測を双（Ｂｉ）予測と呼ばれ得る。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連した動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連した動きベクトルを示すことができる。参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャに含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以後のピクチャを含むことができる。前記以前のピクチャは、順方向（参照）ピクチャと呼ばれ得、前記以後のピクチャは、逆方向（参照）ピクチャと呼ばれ得る。前記参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以後のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリストＬ０内で前記以前のピクチャが先にインデキシングされ、前記以後のピクチャは、その後にインデキシングされ得る。前記参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリスト１内で前記以後のピクチャが先にインデキシングされ、前記以前のピクチャは、その後にインデキシングされ得る。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応し得る。

【0110】

図４は、インター予測に基づくビデオ／画像エンコード方法の例を示す。

【0111】

エンコード装置は、現在ブロックに対するインター予測を行う（Ｓ４００）。エンコード装置は、現在ブロックのインター予測モード及び動き情報を導出し、前記現在ブロックの予測サンプルを生成できる。ここで、インター予測モード決定、動き情報導出、及び予測サンプル生成手順は、同時に行われることができ、どの１つの手順が他の手順より先に行われることもできる。例えば、エンコード装置のインター予測部は、予測モード決定部、動き情報導出部、予測サンプル導出部を備えることができ、予測モード決定部で前記現在ブロックに対する予測モードを決定し、動き情報導出部で前記現在ブロックの動き情報を導出し、予測サンプル導出部で前記現在ブロックの予測サンプルを導出することができる。例えば、エンコード装置のインター予測部は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定領域（サーチ領域）内で前記現在ブロックと類似したブロックをサーチし、前記現在ブロックとの差が最小または一定基準以下である参照ブロックを導出できる。これに基づいて、前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、前記参照ブロックと前記現在ブロックとの位置差に基づいて動きベクトルを導出できる。エンコード装置は、様々な予測モードのうち、前記現在ブロックに対して適用されるモードを決定できる。エンコード装置は、前記様々な予測モードに対するＲＤ ｃｏｓｔを比較し、前記現在ブロックに対する最適の予測モードを決定できる。

【0112】

例えば、エンコード装置は、前記現在ブロックにスキップモードまたはマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれたマージ候補が指す参照ブロックのうち、前記現在ブロックとの差が最小または一定基準以下である参照ブロックを導出できる。この場合、前記導出された参照ブロックと連関したマージ候補が選択され、前記選択されたマージ候補を指すマージインデックス情報が生成されてデコード装置にシグナリングされることができる。前記選択されたマージ候補の動き情報を利用して前記現在ブロックの動き情報を導出できる。

【0113】

他の例として、エンコード装置は、前記現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、前記（Ａ）ＭＶＰ候補リストに含まれたｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補の中で選択されたｍｖｐ候補の動きベクトルを前記現在ブロックのｍｖｐとして利用することができる。この場合、例えば、上述した動き推定によって導出された参照ブロックを指す動きベクトルが前記現在ブロックの動きベクトルとして利用されることができ、前記ｍｖｐ候補のうち、前記現在ブロックの動きベクトルとの差が最も小さい動きベクトルを有するｍｖｐ候補が前記選択されたｍｖｐ候補になることができる。前記現在ブロックの動きベクトルから前記ｍｖｐを減算した差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出され得る。この場合、前記ＭＶＤに関する情報がデコード装置にシグナリングされることができる。また、（Ａ）ＭＶＰモードが適用される場合、前記参照ピクチャインデックスの値は、参照ピクチャインデックス情報で構成されて、別に前記デコード装置にシグナリングされることができる。

【0114】

エンコード装置は、前記予測サンプルに基づいてレジデュアルサンプルを導出できる（Ｓ４１０）。エンコード装置は、前記現在ブロックの原本サンプルと前記予測サンプルとの比較を介して前記レジデュアルサンプルを導出できる。

【0115】

エンコード装置は、予測情報及びレジデュアル情報を含む画像情報をエンコードする（Ｓ４２０）。エンコード装置は、エンコードされた画像情報をビットストリーム形態で出力することができる。前記予測情報は、前記予測手順に関連した情報であって、予測モード情報（ｅｘ．ｓｋｉｐ ｆｌａｇ、ｍｅｒｇｅ ｆｌａｇ ｏｒ ｍｏｄｅ ｉｎｄｅｘ等）及び動き情報に関する情報を含むことができる。前記動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報（ｅｘ．ｍｅｒｇｅ ｉｎｄｅｘ、ｍｖｐ ｆｌａｇ ｏｒ ｍｖｐ ｉｎｄｅｘ）を含むことができる。また、前記動き情報に関する情報は、上述したＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含むことができる。また、前記動き情報に関する情報は、Ｌ０予測、Ｌ１予測、または双（ｂｉ）予測が適用されるか否かを表す情報を含むことができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。

【0116】

出力されたビットストリームは、（デジタル）格納媒体に格納されてデコード装置に伝達されることができ、または、ネットワークを介してデコード装置に伝達されることもできる。

【0117】

一方、上述したように、エンコード装置は、前記参照サンプル及び前記レジデュアルサンプルに基づいて復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成できる。これは、デコード装置で行われることと同じ予測結果をエンコード装置で導出するためであり、これを通じてコーディング効率を上げることができるためである。したがって、エンコード装置は、復元ピクチャ（または、復元サンプル、復元ブロック）をメモリに格納し、インター予測のための参照ピクチャとして活用することができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用され得ることは上述したとおりである。

【0118】

インター予測に基づいたビデオ／画像デコード手順は、概略的に例えば、次を含むことができる。

【0119】

図５は、インター予測に基づくビデオ／画像デコード方法の例を示す。

【0120】

図５に示すように、デコード装置は、前記エンコード装置で行われた動作と対応する動作を行うことができる。デコード装置は、受信された予測情報に基づいて現在ブロックに予測を行い、予測サンプルを導出できる。

【0121】

具体的に、デコード装置は、受信された予測情報に基づいて前記現在ブロックに対する予測モードを決定できる（Ｓ５００）。デコード装置は、前記予測情報内の予測モード情報に基づいて前記現在ブロックにどのインター予測モードが適用されるか決定することができる。

【0122】

例えば、前記ｍｅｒｇｅ ｆｌａｇに基づいて前記現在ブロックに前記マージモードが適用されるか、または（Ａ）ＭＶＰモードが決定されるかの可否を決定できる。または、前記ｍｏｄｅ ｉｎｄｅｘに基づいて様々なインター予測モード候補のうち１つを選択できる。前記インター予測モード候補は、スキップモード、マージモード、及び／又は（Ａ）ＭＶＰモードを含むことができ、または、後述する様々なインター予測モードを含むことができる。

【0123】

デコード装置は、前記決定されたインター予測モードに基づいて前記現在ブロックの動き情報を導出する（Ｓ５１０）。例えば、デコード装置は、前記現在ブロックにスキップモードまたはマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれたマージ候補のうち１つのマージ候補を選択できる。前記選択は、上述した選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われることができる。前記選択されたマージ候補の動き情報を利用して前記現在ブロックの動き情報を導出できる。前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として利用されることができる。

【0124】

他の例として、デコード装置は、前記現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、前記（Ａ）ＭＶＰ候補リストに含まれたｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補の中で選択されたｍｖｐ候補の動きベクトルを前記現在ブロックのｍｖｐとして利用することができる。前記選択は、上述した選択情報（ｍｖｐ ｆｌａｇ ｏｒ ｍｖｐ ｉｎｄｅｘ）に基づいて行われることができる。この場合、前記ＭＶＤに関する情報に基づいて前記現在ブロックのＭＶＤを導出でき、前記現在ブロックのｍｖｐと前記ＭＶＤに基づいて前記現在ブロックの動きベクトルを導出できる。また、前記参照ピクチャインデックス情報に基づいて前記現在ブロックの参照ピクチャインデックスを導出できる。前記現在ブロックに関する参照ピクチャリスト内で前記参照ピクチャインデックスが指すピクチャが前記現在ブロックのインター予測のために参照される参照ピクチャとして導出されることができる。

【0125】

一方、後述するように、候補リスト構成なしに前記現在ブロックの動き情報が導出され得るし、この場合、後述する予測モードで開示された手順にしたがって前記現在ブロックの動き情報が導出され得る。この場合、上述したような候補リスト構成は省略されることができる。

【0126】

デコード装置は、前記現在ブロックの動き情報に基づいて前記現在ブロックに対する予測サンプルを生成できる（Ｓ５２０）。この場合、前記現在ブロックの参照ピクチャインデックスに基づいて前記参照ピクチャを導出し、前記現在ブロックの動きベクトルが前記参照ピクチャ上で指す参照ブロックのサンプルを用いて前記現在ブロックの予測サンプルを導出できる。この場合、後述するように、場合によって、前記現在ブロックの予測サンプルのうち全部または一部に対する予測サンプルフィルタリング手順がさらに行われ得る。

【0127】

例えば、デコード装置のインター予測部は、予測モード決定部、動き情報導出部、予測サンプル導出部を備えることができ、予測モード決定部で受信された予測モード情報に基づいて前記現在ブロックに対する予測モードを決定し、動き情報導出部で受信された動き情報に関する情報に基づいて前記現在ブロックの動き情報（動きベクトル及び／又は参照ピクチャインデックス等）を導出し、予測サンプル導出部で前記現在ブロックの予測サンプルを導出できる。

【0128】

デコード装置は、受信されたレジデュアル情報に基づいて前記現在ブロックに対するレジデュアルサンプルを生成する（Ｓ５３０）。デコード装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成できる。（Ｓ５４０）。その後、前記復元ピクチャにインループフィルタリング手順などがさらに適用され得ることは、上述したとおりである。

【0129】

図６は、インター予測手順を例示的に示す。

【0130】

図６を参照すれば、上述したように、インター予測手順は、インター予測モード決定ステップ、決定された予測モードによる動き情報導出ステップ、導出された動き情報に基づいた予測実行（予測サンプル生成）ステップを含むことができる。前記インター予測手順は、上述したように、エンコード装置及びデコード装置で行われることができる。本文書においてコーディング装置とは、エンコード装置及び／又はデコード装置を含むことができる。

【0131】

図６に示すように、コーディング装置は、現在ブロックに対するインター予測モードを決定する（Ｓ６００）。ピクチャ内の現在ブロックの予測のために、様々なインター予測モードが使用され得る。例えば、マージモード、スキップモード、ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モード、アフィン（Ａｆｆｉｎｅ）モード、サブブロックマージモード、ＭＭＶＤ（ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）モードなど、様々なモードが使用され得る。ＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード、Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ（ＢＣＷ）、Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ（ＢＤＯＦ）などが付随的なモードとしてさらにあるいは代わりに使用されることができる。アフィンモードは、アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもできる。ＭＶＰモードは、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもできる。本文書において一部モード及び／又は一部モードによって導出された動き情報候補は、他のモードの動き情報関連候補のうち１つとして含まれることもできる。例えば、ＨＭＶＰ候補は、前記マージ／スキップモードのマージ候補として追加されることができ、または、前記ＭＶＰモードのｍｖｐ候補として追加されることもできる。前記ＨＭＶＰ候補が前記マージモードまたはスキップモードの動き情報候補として使用される場合、前記ＨＭＶＰ候補は、ＨＭＶＰマージ候補と呼ばれることができる。

【0132】

現在ブロックのインター予測モードを指す予測モード情報がエンコード装置からデコード装置にシグナリングされることができる。前記予測モード情報は、ビットストリームに含まれて、デコード装置に受信されることができる。前記予測モード情報は、複数の候補モードのうち１つを指示するインデックス情報を含むことができる。または、フラグ情報の階層的シグナリングを介してインター予測モードを指示することもできる。この場合、前記予測モード情報は、１つ以上のフラグを含むことができる。例えば、スキップフラグをシグナリングしてスキップモード適用可否を指示し、スキップモードが適用されない場合に、マージフラグをシグナリングしてマージモード適用可否を指示し、マージモードが適用されない場合に、ＭＶＰモード適用されることと指示するか、追加的な区分のためのフラグをさらにシグナリングすることもできる。アフィンモードは、独立的なモードでシグナリングされることができ、または、マージモードまたはＭＶＰモードなどに従属的なモードでシグナリングされることもできる。例えば、アフィンモードは、アフィンマージモード及びアフィンＭＶＰモードを含むことができる。

【0133】

一方、現在ブロックに上述したｌｉｓｔ０（Ｌ０）予測、ｌｉｓｔ１（Ｌ１）予測、または双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロック（現在コーディングユニット）に使用されるか否かを表わす情報がシグナリングされ得る。前記情報は、動き予測方向情報、インター予測方向情報、またはインター予測指示情報と呼ばれることができ、例えば、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素の形態で構成／エンコード／シグナリングされることができる。すなわち、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素は、上述したｌｉｓｔ０（Ｌ０）予測、ｌｉｓｔ１（Ｌ１）予測、または双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロック（現在コーディングユニット）に使用されるか否かを表すことができる。本文書では、説明の都合上、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素が指すインター予測タイプ（Ｌ０予測、Ｌ１予測、またはＢＩ予測）は、動き予測方向であると表示されることができる。Ｌ０予測は、ｐｒｅｄ＿Ｌ０、Ｌ１予測は、ｐｒｅｄ＿Ｌ１、双予測は、ｐｒｅｄ＿ＢＩと表されることもできる。例えば、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素の値に応じて次のような予測タイプを表すことができる。

【0134】

【表1】

【0135】

上述したように、１つのピクチャは、１つ以上のスライスを含むことができる。スライスは、Ｉ（ｉｎｔｒａ）スライス、Ｐ（ｐｒｅｄｉｃｔｉｖｅ）スライス、及びＢ（ｂｉ－ｐｒｅｄｉｃｔｉｖｅ）スライスを含むスライスタイプのうち、１つのタイプを有することができる。前記スライスタイプは、スライスタイプ情報に基づいて指示されることができる。Ｉスライス内のブロックに対しては、予測のためにインター予測は使用されず、イントラ予測のみ使用されることができる。もちろん、この場合にも予測なしに原本サンプル値をコーディングしてシグナリングすることもできる。Ｐスライス内のブロックに対しては、イントラ予測またはインター予測が使用され得るし、インター予測が使用される場合には、単（ｕｎｉ）予測のみ使用されることができる。一方、Ｂスライス内のブロックに対しては、イントラ予測またはインター予測が使用され得るし、インター予測が使用される場合には、最大双（ｂｉ）予測まで使用されることができる。

【0136】

Ｌ０及びＬ１は、現在ピクチャより以前にエンコード／デコードされた参照ピクチャを含むことができる。例えば、Ｌ０は、ＰＯＣ順序上、現在ピクチャより以前及び／又は以後参照ピクチャを含むことができ、Ｌ１は、ＰＯＣ順序上、現在ピクチャより以後及び／又は以前参照ピクチャを含むことができる。この場合、Ｌ０には、ＰＯＣ順序上、現在ピクチャより以前参照ピクチャに相対的により低い参照ピクチャインデックスが割り当てられ得るし、Ｌ１には、ＰＯＣ順序上、現在ピクチャより以後参照ピクチャに相対的により低い参照ピクチャインデックスが割り当てられ得る。Ｂ ｓｌｉｃｅの場合、双予測が適用され得るし、この場合にも単方向双予測が適用され得るし、または、両方向双予測が適用されることができる。両方向双予測は、真（ｔｒｕｅ）双予測と呼ばれることができる。

【0137】

コーディング装置は、前記現在ブロックに対する動き情報を導出する（Ｓ６１０）。前記動き情報導出は、前記インター予測モードに基づいて導出されることができる。

【0138】

コーディング装置は、現在ブロックの動き情報を利用してインター予測を行うことができる。エンコード装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して現在ブロックに対する最適の動き情報を導出できる。例えば、エンコード装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを用いて相関性の高い類似した参照ブロックを参照ピクチャ内の決められた探索範囲内で分数ピクセル単位で探索することができ、これを通じて動き情報を導出できる。ブロックの類似性は、位相（ｐｈａｓｅ）に基づくサンプル値の差に基づいて導出することができる。例えば、ブロックの類似性は、現在ブロック（または、現在ブロックのテンプレート）と参照ブロック（または、参照ブロックのテンプレート）との間のＳＡＤに基づいて計算されることができる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出できる。導出された動き情報は、インター予測モードに基づいて種々の方法によってデコード装置にシグナリングされることができる。

【0139】

コーディング装置は、前記現在ブロックに対する動き情報に基づいてインター予測を行う（Ｓ６２０）。コーディング装置は、前記動き情報に基づいて前記現在ブロックに対する予測サンプル（等）を導出できる。前記予測サンプルを含む現在ブロックは、予測されたブロックと呼ばれることができる。

【0140】

マージモード（ｍｅｒｇｅ ｍｏｄｅ）が適用される場合、現在予測ブロックの動き情報が直接的に送信されず、周辺予測ブロックの動き情報を利用して前記現在予測ブロックの動き情報を導くようになる。したがって、マージモードを用いたことを知らせるフラグ情報及び周辺のどの予測ブロックを用いたかを知らせるマージインデックスを送信することにより、現在予測ブロックの動き情報を指示できる。前記マージモードは、ｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅと呼ばれることができる。

【0141】

エンコーダは、マージモードを行うために、現在予測ブロックの動き情報を導くために用いられるマージ候補ブロック（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）をサーチしなければならない。例えば、前記マージ候補ブロックは、最大５個まで用いられることができるが、本文書の実施形態は、これに限定されない。そして、前記マージ候補ブロックの最大個数は、スライスヘッダまたはタイルグループヘッダで送信されることができる。前記マージ候補ブロックを探した後、エンコーダは、マージ候補リストを生成でき、これらのうち、最も小さい費用を有するマージ候補ブロックを最終マージ候補ブロックとして選択することができる。

【0142】

前記マージ候補リストは、例えば、５個のマージ候補ブロックを用いることができる。例えば、４個の空間的マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と１個の時間的マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）とを利用できる。以下、前記空間的マージ候補または後述する空間的ＭＶＰ候補は、ＳＭＶＰと呼ばれることができ、前記時間的マージ候補または後述する時間的ＭＶＰ候補は、ＴＭＶＰと呼ばれることができる。

【0143】

図７は、コーディングされた画像／ビデオに対する階層構造を例示的に示す。

【0144】

図７を参照すると、コーディングされた画像／ビデオは、画像／ビデオのデコード処理及びその自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を送信して格納する下位システム、及びＶＣＬと下位システムとの間に存在してネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されている。

【0145】

ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成し、または、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセットまたは画像のデコード過程に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。

【0146】

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダ情報（ＮＡＬユニットヘッダ）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどを意味する。ＮＡＬユニットヘッダには該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

【0147】

前記図面に示すように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰのよってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットとに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像をデコードするために必要な情報（パラメータセットまたはＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。

【0148】

前述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格によってヘッダ情報を付けてネットワークを介して送信されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などのような所定規格のデータ形態で変形されて様々なネットワークを介して送信されることができる。

【0149】

前述したように、ＮＡＬユニットは、該当ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）によってＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。

【0150】

例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むかどうかによって、大別して、ＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプとに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。

【0151】

下記は、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセットの種類などによって特定されたＮＡＬユニットタイプの一例としてある。

【0152】

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ

【0153】

－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＤＰＳを含むＮＡＬユニットに対するタイプ

【0154】

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＶＰＳを含むＮＡＬユニットに対するタイプ

【0155】

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ

【0156】

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＰＰＳを含むＮＡＬユニットに対するタイプ

【0157】

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）ＮＡＬ ｕｎｉｔ：ＰＨを含むＮＡＬユニットに対するタイプ

【0158】

前述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。例えば、前記シンタックス情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値に特定されることができる。

【0159】

一方、前述したように、１つのピクチャは、複数のスライスを含むことができ、１つのスライスは、スライスヘッダ及びスライスデータを含むことができる。この場合、１つのピクチャ内の複数のスライス（スライスヘッダ及びスライスデータ集合）に対して１つのピクチャヘッダがさらに付加されることができる。前記ピクチャヘッダ（ピクチャヘッダシンタックス）は、前記ピクチャに共通的に適用できる情報／パラメータを含むことができる。本文書において、スライスは、タイルグループに混用または代替されることができる。また、本文書において、スライスヘッダは、タイプグループヘッダに混用または代替されることができる。

【0160】

前記スライスヘッダ（スライスヘッダシンタックス）は、前記スライスに共通的に適用できる情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）またはＰＰＳ（ＰＰＳシンタックス）は、１つ以上のスライスまたはピクチャに共通的に適用できる情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、１つ以上のシーケンスに共通的に適用できる情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤに共通的に適用できる情報／パラメータを含むことができる。前記ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通的に適用できる情報／パラメータを含むことができる。前記ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の接合（ｃｏｎｃａｔｅｎａｔｉｏｎ）に関連した情報／パラメータを含むことができる。本文書において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、ピクチャヘッダシンタックス、スライスヘッダシンタックスのうち少なくとも１つを含むことができる。

【0161】

本文書において、エンコード装置からデコード装置にエンコードされてビットストリーム形態でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダに含まれている情報、前記ピクチャヘッダに含まれている情報、前記ＡＰＳに含まれている情報、前記ＰＰＳに含まれている情報、ＳＰＳに含まれている情報、ＶＰＳに含まれている情報、及び／またはＤＰＳに含まれている情報を含むことができる。また、前記画像／ビデオ情報は、ＮＡＬユニットヘッダの情報をさらに含むことができる。

【0162】

一方、量子化など、圧縮符号化過程で発生するエラーによる原本（ｏｒｉｇｉｎａｌ）画像と復元画像の差異を補償するために、前述したように、復元サンプルまたは復元ピクチャにインループフィルタリング手順が実行されることができる。前述したように、インループフィルタリングは、エンコード装置のフィルタ部及びデコード装置のフィルタ部で実行されることができ、デブロッキングフィルタ、ＳＡＯ及び／または適応的ループフィルタ（ＡＬＦ）が適用されることができる。例えば、ＡＬＦ手順は、デブロッキングフィルタリング手順及び／またはＳＡＯ手順が完了した後に実行されることができる。ただし、この場合も、デブロッキングフィルタリング手順及び／またはＳＡＯ手順が省略されることもできる。

【0163】

一方、コーディング効率を上げるために、前述したように、ＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることができる。ＬＭＣＳは、ループリシェイパ（リシェイピング）と呼ばれることができる。コーディング効率を上げるために、ＬＭＣＳの制御及び／またはＬＭＣＳ関連情報のシグナリングは、階層的に実行されることができる。

【0164】

図８は、本文書の一実施形態によるＣＶＳの階層的な構造を例示的に示す。ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｕｑｕｅｎｃｅ）は、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、タイルグループヘッダ（ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒ）、タイルデータ（ｔｉｌｅ ｄａｔａ）、及び／またはＣＴＵ（ら）を含むことができる。ここで、タイルグループヘッダ及びタイルデータは、各々、スライスヘッダ及びスライスデータと呼ばれることもできる。

【0165】

ＳＰＳは、ＣＶＳで使われるようにツールをイネイブルさせるためのフラグを原始的に含むことができる。また、ＳＰＳは、ピクチャ毎に変わるパラメータに対する情報を含むＰＰＳにより参照されることができる。符号化されたピクチャの各々は、１つ以上の符号化された長方形ドメインのタイルを含むことができる。前記タイルは、タイルグループを形成するラスタースキャンでグループ化されることができる。各タイルグループは、タイルグループヘッダというヘッダ情報でカプセル化される。各タイルは、符号化されたデータを含むＣＴＵで構成される。ここで、データは、原本サンプル値、予測サンプル値、及びそれのルマ及びクロマ成分（ルマ予測サンプル値及びクロマ予測サンプル値）を含むことができる。

【0166】

図９は、本文書の一実施形態による例示的なＬＭＣＳ構造を示す。図９のＬＭＣＳ構造９００は、適応的部分線形（ａｄａｐｔｉｖｅ ｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ、ａｄａｐｔｉｖｅ ＰＷＬ）モデルに基づくルマ成分のインループマッピング（ｉｎ－ｌｏｏｐ ｍａｐｐｉｎｇ）部分９１０と、クロマ成分に対してルマ依存的なクロマレジデュアルスケーリング（ｌｕｍａ－ｄｅｐｅｎｄｅｎｔ ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ ｓｃａｌｉｎｇ）部分９２０と、を含むことができる。インループマッピング部分９１０の逆量子化及び逆変換９１１、復元９１２、及びイントラ予測９１３ブロックは、マッピングされた（リシェイプされた（ｒｅｓｈａｐｅｄ））ドメインで適用されるプロセスを示す。インループマッピング部分９１０のループフィルタ９１５、動き補償またはインター予測９１７ブロック、及びクロマレジデュアルスケーリング部分９２０の復元９２２、イントラ予測９２３、動き補償またはインター予測９２４、ループフィルタ９２５ブロックは、本来の（マッピングされない（ｎｏｎ－ｍａｐｐｅｄ）、リシェイプされない）ドメインで適用されるプロセスを示す。

【0167】

図９で説明したように、ＬＭＣＳがイネイブルされると、インバースリシェイピング（マッピング）プロセス９１４、フォワードリシェイピング（マッピング）プロセス９１８、及びクロマスケーリングプロセス９２１のうち少なくとも１つが適用されることができる。例えば、インバースリシェイピングプロセスは、復元されたピクチャの（復元された）ルマサンプル（または、ルマサンプルまたはルマサンプルアレイ）に適用されることができる。インバースリシェイピングプロセスは、ルマサンプルのピースワイズ関数（インバース）インデックス（ｐｉｅｃｅｗｉｓｅ ｆｕｎｃｔｉｏｎ（ｉｎｖｅｒｓｅ）ｉｎｄｅｘ）に基づいて実行されることができる。ピースワイズ関数（インバース）インデックスは、ルマサンプルが属するピース（または、部分）を識別することができる。インバースリシェイピングプロセスの出力は、修正された（復元）ルマサンプル（または、修正されたルマサンプルまたは修正されたルマサンプルアレイ）である。ＬＭＣＳは、タイルグループ（または、スライス）、ピクチャまたはより高いレベルでイネイブルされ、またはデセイブルされることができる。

【0168】

フォワードリシェイピングプロセス及び／またはクロマスケーリングプロセスは、復元されたピクチャを生成するために適用されることができる。ピクチャは、ルマサンプルとクロマサンプルを含むことができる。ルマサンプルを有する復元されたピクチャは、復元されたルマピクチャと呼ばれることができ、クロマサンプルを有する復元されたピクチャは、復元されたクロマピクチャと呼ばれることができる。復元されたルマピクチャと復元されたクロマピクチャとの組み合わせは、復元されたピクチャと呼ばれることができる。復元されたルマピクチャは、フォワードリシェイピングプロセスに基づいて生成されることができる。例えば、インター予測が現在ブロックに適用される場合、フォワードリシェイピングは、参照ピクチャの（復元された）ルマサンプルに基づいて導出されたルマ予測サンプルに適用される。参照ピクチャの（復元された）ルマサンプルは、インバースリシェイピングプロセスに基づいて生成されるため、フォワードリシェイピングがルマ予測サンプルに適用されてリシェイプされた（マッピングされた）ルマ予測サンプルが導出されることができる。フォワードリシェイピングプロセスは、ルマ予測サンプルのピースワイズ関数インデックスに基づいて実行されることができる。ピースワイズ関数インデックスは、インター予測に使われた参照ピクチャのルマ予測サンプルの値またはルマサンプルの値に基づいて導出されることができる。イントラ予測（または、ＩＢＣ（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ））が現在ブロックに適用される場合、インバースリシェイピングプロセスが現在ピクチャの復元されたサンプルにまだ適用されなかったため、フォワードマッピングは必要でない。復元されたルマピクチャで（復元された）ルマサンプルは、リシェイプされたルマ予測サンプル及び対応するルマレジデュアルサンプルに基づいて生成される。

【0169】

復元されたクロマピクチャは、クロマスケーリングプロセスに基づいて生成されることができる。例えば、復元されたクロマピクチャでの（復元された）クロマサンプルは、現在ブロックでのクロマ予測サンプル及びクロマレジデュアルサンプル（ｃ_ｒｅｓ）に基づいて導出されることができる。クロマレジデュアルサンプル（ｃ_ｒｅｓ）は、現在ブロックに対する（スケーリングされた）クロマレジデュアルサンプル（ｃ_{ｒｅｓＳｃａｌｅ}）及びクロマレジデュアルスケーリングファクタ（ｃＳｃａｌｅＩｎｖは、ｖａｒＳｃａｌｅと呼ばれることができる）に基づいて導出される。クロマレジデュアルスケーリングファクタは、現在ブロックでリシェイプされたルマ予測サンプル値に基づいて計算されることができる。例えば、スケーリングファクタは、リシェイプされたルマ予測サンプル値（Ｙ′_ｐｒｅｄ）の平均ルマ値（ａｖｅ（Ｙ′_ｐｒｅｄ））に基づいて計算されることができる。参考までに、図９において、逆変換／逆量子化に基づいて導出された（スケーリングされた）クロマレジデュアルサンプルは、ｃ_{ｒｅｓＳｃａｌｅ}と呼ばれ、前記（スケーリングされた）クロマレジデュアルサンプルに（インバース）スケーリング手順を実行して導出されるクロマレジデュアルサンプルは、ｃ_ｒｅｓと呼ばれることができる。

【0170】

図１０は、本文書の他の一実施形態によるＬＭＣＳ構造を示す。図１０は、図９を参照して説明する。ここでは、図１０のＬＭＣＳ構造と図９のＬＭＣＳ構造９００との間の差異を主に説明する。図１０のインループマッピング部分及びルマ依存的なクロマレジデュアルスケーリング部分は、図９のインループマッピング部分９１０及びルマ依存的なクロマレジデュアルスケーリング部分９２０と同一／類似するように動作できる。

【0171】

図１０を参照すると、ルマ復元サンプルに基づいてクロマレジデュアルスケーリングファクタを導出することができる。この場合、復元ブロックの内部ルマ復元サンプルでない復元ブロック外部の隣接ルマ復元サンプルに基づいて平均ルマ値（ａｖｇＹ_ｒ）を取得することができ、前記平均ルマ値（ａｖｇＹ_ｒ）に基づいてクロマレジデュアルスケーリングファクタを導出することができる。ここで、前記隣接ルマ復元サンプルは、現在ブロックの隣接ルマ復元サンプルであり、または前記現在ブロックを含むＶＰＤＵ（ｖｉｒｔｕａｌ ｐｉｐｅｌｉｎｅ ｄａｔａ ｕｎｉｔｓ）の隣接ルマ復元サンプルである。例えば、対象ブロックにイントラ予測が適用される場合、前記イントラ予測に基づいて導出された予測サンプルに基づいて、復元サンプルが導出されることができる。また、例えば、前記対象ブロックにインター予測が適用される場合、前記インター予測に基づいて導出された予測サンプルにフォワードマッピングを適用し、リシェイプされた（または、フォワードマッピングされた）ルマ予測サンプルに基づいて復元サンプルが生成されることができる。

【0172】

ビットストリームを介してシグナリングされる動画／画像情報は、ＬＭＣＳパラメータ（ＬＭＣＳに対する情報）を含むことができる。ＬＭＣＳパラメータは、ＨＬＳ（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、スライスヘッダシンタックスを含む）などで構成されることができる。ＬＭＣＳパラメータ及び構成の詳細な説明は、後述する。前述したように、本文書（及び、以下の実施形態）で説明されたシンタックス表は、エンコーダ端で構成／エンコードされることができ、ビットストリームを介してデコーダ端にシグナリングされることができる。デコーダは、シンタックス表でＬＭＣＳに対する情報（シンタックス構成要素の形態で）をパーシング／デコードすることができる。以下で説明する１つ以上の実施形態は、組み合わせ可能である。エンコーダは、ＬＭＣＳに関する情報に基づいて現在ピクチャをエンコードすることができ、そして、デコーダは、ＬＭＣＳに関する情報に基づいて現在ピクチャをデコードすることができる。

【0173】

ルマ成分のインループマッピングは、圧縮効率を向上させるために動的範囲にわたってコードワードを再分配することによって入力信号の動的範囲を調節することができる。ルママッピングのために、フォワードマッピング（リシェイピング）関数（ＦｗｄＭａｐ）と、前記フォワードマッピング関数（ＦｗｄＭａｐ）に対応するインバースマッピング（リシェイピング）関数（ＩｎｖＭａｐ）と、が使われることができる。フォワードマッピング関数（ＦｗｄＭａｐ）は、部分線形モデルを利用してシグナリングされることができ、例えば、部分線形モデルは、１６個のピース（ｐｉｅｃｅｓ）またはｂｉｎｓを有することができる。前記ピースは、同じ長さを有することができる。一例において、インバースマッピング関数（ＩｎｖＭａｐ）は、別途にシグナリングされなく、その代わりにフォワードマッピング関数（ＦｗｄＭａｐ）から導出されることができる。即ち、インバースマッピングは、フォワードマッピングの関数である。例えば、インバースマッピング関数は、ｙ＝ｘを基準にしてフォワードマッピング関数を対称にした関数である。

【0174】

インループ（ルマ）リシェイピング（ｒｅｓｈａｐｉｎｇ）は、リシェイプされたドメインで入力ルマ値（サンプル）を変更された値でマッピングするのに使われることができる。リシェイプされた値は符号化され、そして、復元後に本来の（マッピングされない、リシェイプされない）ドメインで再びマッピングされることができる。クロマレジデュアルスケーリングは、ルマ信号とクロマ信号との間の差異を補償するために適用されることができる。インループリシェイピングは、リシェイパモデルのためのハイレバルシンタックスを指定して実行されることができる。リシェイパモデルシンタックスは、部分線形モデル（ＰＷＬモデル）をシグナリングすることができる。部分線形モデルに基づいてフォワードルックアップテーブル（ＦｗｄＬＵＴ）及び／またはインバースルックアップテーブル（ＩｎｖＬＵＴ）が導出されることができる。一例として、フォワードルックアップテーブル（ＦｗｄＬＵＴ）が導出された場合、フォワードルックアップテーブル（ＦｗｄＬＵＴ）に基づいてインバースルックアップテーブル（ＩｎｖＬＵＴ）が導出されることができる。フォワードルックアップテーブル（ＦｗｄＬＵＴ）は、入力ルマ値Ｙ_ｉを変更された値Ｙ_ｒでマッピングし、インバースルックアップテーブル（ＩｎｖＬＵＴ）は、変更された値に基づく復元値Ｙ_ｒを復元された値Ｙ′_ｉでマッピングすることができる。復元された値Ｙ′_ｉは、入力ルマ値Ｙ_ｉに基づいて導出されることができる。

【0175】

一例において、ＳＰＳは、以下の表２のシンタックスを含むことができる。表２のシンタックスは、ツールイネイブリングフラグとしてｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇを含むことができる。ここで、ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、リシェイパがＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）で使われるかを指定するのに利用されることができる。即ち、ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＳＰＳでリシェイピングをイネイブリングするフラグである。一例において、表２のシンタックスは、ＳＰＳの一部分である。

【0176】

【表2】

【0177】

一例において、ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ及びｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが示されることができるセマンティクスは、以下の表３の通りである。

【0178】

【表3】

【0179】

一例において、タイルグループヘッダまたはスライスヘッダは、以下の表４または表５のシンタックスを含むことができる。

【0180】

【表4】

【0181】

【表5】

【0182】

前記表４または表５のシンタックスに含まれているシンタックス要素のセマンティクスは、例えば、以下の表に開示された事項を含むことができる。

【0183】

【表6】

【0184】

【表7】

【0185】

一例として、ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇがパーシングされると、タイルグループヘッダは、ルックアップテーブル（ＦｗｄＬＵＴ及び／またはＩｎｖＬＵＴ）を構成するのに使われる追加的なデータ（例えば、前記表６または表７に含まれている情報）をパーシングすることができる。このために、ＳＰＳリシェイパフラグの状態がスライスヘッダまたはタイルグループヘッダで確認されることができる。ｓｐｓ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが真（または、１）である場合、追加的なフラグ、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）がパーシングされることができる。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の目的は、リシェイパモデルの存在を指示することにある。例えば、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）が真（または、１）である場合、現在タイルグループ（または、現在スライス）に対してリシェイパが存在すると指示されることができる。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）が偽（または、０）である場合、現在タイルグループ（または、現在スライス）に対してリシェイパが存在しないと指示されることができる。

【0186】

リシェイパが存在し、そして、リシェイパが現在タイルグループ（または、現在スライス）でイネイブルされた場合、リシェイパモデル（例えば、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（）またはｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（））はプロセシングされることができ、これに加えて追加的なフラグ、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ）もパーシングされることができる。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ）は、リシェイパモデルが現在タイルグループ（または、スライス）に使われたかを指示することができる。例えば、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ）が０（または、偽）である場合、リシェイパモデルは、現在タイルグループ（または、現在スライス）に使われないと指示されることができる。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ）が１（または、真）である場合、リシェイパモデルは、現在タイルグループ（または、スライス）に使われたと指示されることができる。

【0187】

一例として、例えば、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）が真（または、１）であり、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ）が偽（または、０）である。これは、リシェイパモデルが存在するが、現在タイルグループ（または、スライス）で使われていないことを意味する。このような場合、リシェイパモデルは、次のタイルグループ（または、スライス）で使われることができる。他の例として、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇが真（または、１）であり、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが偽（または、０）である。

【0188】

リシェイパモデル（例えば、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（）またはｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ（））及びｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ）がパーシングされると、クロマスケーリングのために必要な条件が存在するかどうかが判断（評価）されることができる。前記条件は、条件１（現在タイルグループ／スライスがイントラ符号化されなかったこと）及び／または条件２（現在タイルグループ／スライスがルマ及びクロマに対する二つの区分されたコーディングクアッドツリー構造に分割されなかったこと、即ち、現在タイルグループ／スライスがデュアルツリー構造でないこと）を含むことができる。条件１及び／または条件２が真であり、及び／またはｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ）が真（または、１）である場合、ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇ）がパーシングされることができる。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇ）がイネイブルされる場合（１または真である場合）、現在タイルグループ（または、スライス）に対してクロマレジデュアルスケーリングがイネイブルされることが指示されることができる。ｔｉｌｅ＿ｇｒｏｕｐ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｒｅｓｈａｐｅｒ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇ）がデセイブルされる場合（０または偽である場合）、現在タイルグループ（または、スライス）に対してクロマレジデュアルスケーリングがデセイブルされることが指示されることができる。

【0189】

前述されたリシェイピングの目的は、ルックアップテーブル（ＦｗｄＬＵＴ及び／またはＩｎｖＬＵＴ）を構成するために必要なデータをパーシングすることにある。一例において、前記パーシングされたデータに基づいて構成されたルックアップテーブルは、許容可能なルマ値範囲の分布を複数個のｂｉｎ（例えば、１６個）に分けることができる。したがって、与えられたｂｉｎ内にあるルマ値は、変更されたルマ値にマッピングされることができる。

【0190】

図１１は、例示的なフォワードマッピングを示すグラフを示す。図８では例示的に５個のｂｉｎのみが示される。

【0191】

図１１を参照すると、ｘ軸は入力ルマ値を示し、ｙ軸は変更された出力ルマ値を示す。ｘ軸は、５個のｂｉｎまたはピースに分けられ、各ｂｉｎは、長さＬを有する。即ち、変更されたルマ値にマッピングされた５個のｂｉｎは、互いに同じ長さを有する。フォワードルックアップテーブル（ＦｗｄＬＵＴ）は、タイルグループヘッダで利用可能なデータ（例えば、リシェイパデータ）を使用して構成されることができ、これからマッピングが容易になる。

【0192】

一実施形態において、前記ｂｉｎインデックスと関連した出力ピボット地点（ｏｕｔｐｕｔ ｐｉｖｏｔ ｐｏｉｎｔｓ）が計算されることができる。出力ピボット地点は、ルマコードワードリシェイピングの出力範囲の最小及び最大の境界を設定（マーキング）することができる。出力ピボット地点を計算する過程は、コードワードの数の部分累積（ｐｉｅｃｅｗｉｓｅ ｃｕｍｕｌａｔｉｖｅ）分布関数に基づいて実行されることができる。前記出力ピボット範囲は、使われるｂｉｎの最大個数及びルックアップテーブル（ＦｗｄＬＵＴまたはＩｎｖＬＵＴ）の大きさに基づいて分割されることができる。一例として、前記出力ピボット範囲は、ｂｉｎの最大個数とルックアップテーブルの大きさとの積に基づいて分割されることができる。例えば、ｂｉｎの最大個数とルックアップテーブルの大きさとの積が１０２４である場合、前記出力ピボット範囲は、１０２４個のエントリーに分割されることができる。前記出力ピボット範囲の分割は、スケーリングファクタに基づいて（利用して）実行（適用または達成）されることができる。一例において、スケーリングファクタは、以下の数式１に基づいて導出されることができる。

【0193】

【数1】

【0194】

前記数式１において、ＳＦは、スケーリングファクタを示し、ｙ１及びｙ２は、各々のｂｉｎに対応する出力ピボット地点を示す。また、ＦＰ＿ＰＲＥＣ及びｃは、事前に決定された定数である。前記数式１に基づいて決定されるスケーリングファクタは、フォワードリシェイピングのためのスケーリングファクタと呼ばれることができる。

【0195】

他の実施形態において、インバースリシェイピング（インバースマッピング）と関連して、ｂｉｎの定義された範囲（例えば、ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘからｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｍａｘ＿ｂｉｎ＿ｉｄｘまで）に対し、フォワードルックアップテーブル（ＦｗｄＬＵＴ）のマッピングされたピボット地点に対応する入力リシェイプされたピボット地点及びマッピングされたインバース出力ピボット地点（ｂｉｎインデックス＊初期コードワードの数で与えられる）がパッチされる。他の例において、スケーリングファクタ（ＳＦ）は、以下の数式２に基づいて導出されることができる。

【0196】

【数2】

【0197】

前記数式２において、ＳＦは、スケーリングファクタを示し、ｘ１及びｘ２は、入力ピボット地点を示し、ｙ１及びｙ２は、各々のピース（ｂｉｎ）に対応する出力ピボット地点を示す。ここで、入力ピボット地点は、フォワードルックアップテーブル（ＦｗｄＬＵＴ）に基づいてマッピングされたピボット地点であり、そして、出力ピボット地点は、インバースルックアップテーブル（ＩｎｖＬＵＴ）に基づいてインバースマッピングされたピボット地点である。また、ＦＰ＿ＰＲＥＣは、事前に決定された定数である。数式２のＦＰ＿ＰＲＥＣは、数式１のＦＰ＿ＰＲＥＣと同じであってもよく、異なってもよい。前記数式２に基づいて決定されるスケーリングファクタは、インバースリシェイピングのためのスケーリングファクタと呼ばれることができる。インバースリシェイピング途中に、数式２のスケーリングファクタに基づいて入力ピボット地点の分割が実行されることができる。分割された入力ピボット地点に基づいて、０から最小ｂｉｎインデックス（ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ）まで及び／または最小ｂｉｎインデックス（ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ）から最大ｂｉｎインデックス（ｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ）までの範囲に属するｂｉｎインデックスのために、最小及び最大のｂｉｎ値に対応するピボット値が指定される。

【0198】

以下の表８は、一実施形態によるリシェイパモデルのシンタックスを示す。前記リシェイパモデルは、ＬＭＣＳモデルと呼ばれることができる。ここで、リシェイパモデルは、例示的にタイルグループリシェイパとして説明されたが、必ず本実施形態により本明細書が制限されるものではない。例えば、前記リシェイパモデルは、ＡＰＳに含まれることもでき、またはタイルグループリシェイパモデルは、スライスリシェイパモデルまたはＬＭＣＳデータと呼ばれることもできる。また、接頭語（ｐｒｅｆｉｘ）ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌまたはＲｓｐは、ｌｍｃｓと混用されて使われることができる。例えば、以下の表及び以下の説明において、ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ、ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｄｅｌｔａ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ、ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ、ＲｓｐＣＷ、ＲｓｅｐＤｅｌｔａＣＷは、各々、ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ、ｌｍｃｓ＿ｄｅｌｔａ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ、ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ、ｌｍｃｓＣＷ、ｌｍｃｓＤｅｌｔａＣＷと混用されて使われることができる。

【0199】

【表8】

【0200】

前記表８のシンタックスに含まれているシンタックス要素のセマンティクスは、例えば、以下の表に開示された事項を含むことができる。

【0201】

【表9-1】

【0202】

【表9-2】

【0203】

本文書によるルマサンプルに対するインバースマッピング手順は、以下の表のような標準文書形式に記述されることができる。

【0204】

【表10】

【0205】

本文書によるルマサンプルに対するピースワイズ関数インデックス（ｐｉｅｃｅｗｉｓｅ ｆｕｎｃｔｉｏｎ ｉｎｄｅｘ）手順の識別は、以下の表のような標準文書形式に記述されることができる。表１１において、ｉｄｘＹＩｎｖは、インバースマッピングインデックスと呼ばれることができ、インバースマッピングインデックスは、復元ルマサンプル（ｌｕｍａＳａｍｐｌｅ）に基づいて導出されることができる。

【0206】

【表11】

【0207】

前述された実施形態及び例示に基づいてルママッピングが実行されることができ、前述されたシンタックス及びそれに含まれている構成要素は、単に例示的な表現に過ぎず、実施形態が詳述された表や数式により制限されるものではない。以下ではルママッピングに基づいてクロマレジデュアルスケーリング（レジデュアルサンプルのクロマ成分に対するスケーリング）を実行する方法を説明する。

【0208】

（ルマ依存的な（ｌｕｍａ－ｄｅｐｅｎｄｅｎｔ））クロマレジデュアルスケーリングは、ルマサンプルとこれに対応するクロマサンプルとの間の差異を補償するためである。例えば、クロマレジデュアルスケーリングがイネイブルされるかどうかは、タイルグループレベルまたはスライスグループレベルでシグナリングされることができる。一例において、ルママッピングがイネイブルされ、デュアルツリー分割（ｄｕａｌ ｔｒｅｅ ｐａｒｔｉｔｉｏｎｉｎｇ）が現在タイルグループに適用されない場合、ルマ依存的なクロマレジデュアルスケーリングがイネイブルされるかどうかを指示するために追加的なフラグがシグナリングされることができる。他の例において、ルママッピングが使われない場合、またはデュアルツリー分割が現在タイルグループに使われない場合、ルマ依存的なクロマレジデュアルスケーリングがデセイブルされることができる。他の例において、クロマレジデュアルスケーリングは、４より小さいまたは同じ大きさを有するクロマブロックに対しては常にデセイブルされることができる。

【0209】

クロマレジデュアルスケーリングは、該当ルマ予測ブロック（イントラ予測モード及び／またはインター予測モードが適用された予測ブロックのルマ成分）の平均値に基づいて行われることができる。エンコーダ端及び／またはデコーダ端でのスケーリング演算は、以下の数式３に基づいて固定小数点定数演算で実現されることができる。

【0210】

【数3】

【0211】

前述された数式３において、ｃ’は、スケーリングされたクロマレジデュアルサンプル（レジデュアルサンプルのスケーリングされたクロマ成分）を示し、ｃは、クロマレジデュアルサンプル（レジデュアルサンプルのクロマ成分）を示し、ｓは、クロマレジデュアルスケーリングファクタを示し、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、事前に決定された定数を示すことができ、例えば、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、１１である。

【0212】

図１２は、本文書の一実施形態によってクロマレジデュアルスケーリングインデックスを導出する方法を示す流れ図である。図１２と共に説明される方法は、図９及びそれと関連した説明に含まれている表、数式、変数、アレイ、関数に基づいて実行されることができる。

【0213】

Ｓ１２１０ステップにおいて、予測モード情報に基づいて予測モードがイントラ予測モードであるか、または、インター予測モードであるかが判断されることができる。予測モードがイントラ予測モードである場合、現在ブロックまたは現在ブロックの予測サンプルは、既にリシェイプされた（マッピングされた）領域にあると見なされる。予測モードがインター予測モードである場合、現在ブロックまたは現在ブロックの予測サンプルは、本来の（マッピングされない、リシェイプされない）領域にあると見なされる。

【0214】

Ｓ１２２０ステップにおいて、予測モードがイントラ予測モードである場合、現在ブロック（または、現在ブロックのルマ予測サンプル）の平均が計算（導出）されることができる。即ち、既にリシェイプされた領域にある現在ブロックの平均が直接的に計算される。平均は、平均値とも呼ばれる。

【0215】

Ｓ１２２１ステップにおいて、予測モードがインター予測モードである場合、現在ブロックのルマ予測サンプルに対してフォワードリシェイピング（フォワードマッピング）が実行（適用）されることができる。フォワードリシェイピングを介して、インター予測モードに基づくルマ予測サンプルは、本来の領域からリシェイプされた領域にマッピングされることができる。一例において、ルマ予測サンプルに対するフォワードリシェイピングは、前述した表４と共に説明されたリシェイパモデルに基づいて実行されることができる。

【0216】

Ｓ１２２２ステップにおいて、フォワードリシェイプされた（フォワードマッピングされた）ルマ予測サンプルの平均が計算（導出）されることができる。即ち、フォワードリシェイプされた結果に対して平均化過程が実行されることができる。

【0217】

Ｓ１２３０ステップにおいて、クロマレジデュアルスケーリングインデックスが計算されることができる。予測モードがイントラ予測モードである場合、前記ルマ予測サンプルの平均に基づいて前記クロマレジデュアルスケーリングインデックスが計算されることができる。予測モードがインター予測モードである場合、フォワードリシェイプされたルマ予測サンプルの平均に基づいて前記クロマレジデュアルスケーリングインデックスが計算されることができる。

【0218】

一実施形態において、前記クロマレジデュアルスケーリングインデックスは、ｆｏｒループ構文に基づいて計算されることができる。以下の表は、前記クロマレジデュアルスケーリングインデックスの導出（計算）のための例示的なｆｏｒループ構文を示す。

【0219】

【表12】

【0220】

前記表１２において、ｉｄｘＳは、前記クロマレジデュアルスケーリングインデックスを示し、ｉｄｘＳは、ｉｆ構文の条件を満たすクロマレジデュアルスケーリングインデックスが求められたかを識別するインデックスを示し、Ｓは、事前に決定された定数を示し、そして、ＭａｘＢｉｎＩｄｘは、許容可能な最大ｂｉｎインデックスを示す。ＲｅｓｈａｐＰｉｖｏｔ［ｉｄｘＳ＋１］は、前述した表８及び／または表９に基づいて導出されることができる。

【0221】

一実施形態において、クロマレジデュアルスケーリングファクタは、前記クロマレジデュアルスケーリングインデックスに基づいて導出されることができる。以下の数式４は、前記クロマレジデュアルスケーリングファクタの導出のための一例としてある。

【0222】

【数4】

【0223】

前記数式４において、ｓは、前記クロマレジデュアルスケーリングファクタを示し、そして、ＣｈｒｏｍａＳｃａｌｅＣｏｅｆは、前述した表８及び／または表９に基づいて導出された変数（または、アレイ）である。

【0224】

前述したように、前記参照サンプルの平均ルマ値を取得することができ、前記平均ルマ値に基づいてクロマレジデュアルスケーリングファクタを導出することができる。前記クロマレジデュアルスケーリングファクタに基づいてクロマ成分レジデュアルサンプルに対するスケーリングを実行し、スケーリングされたクロマ成分レジデュアルサンプルに基づいてクロマ成分復元サンプルが生成されることができることは、前述の通りである。

【0225】

本文書の一実施形態では、前述したＬＭＣＳを効率的に適用するためのシグナリング構造が提案される。本文書の一実施形態によると、例えば、ＬＭＣＳデータは、ＨＬＳ（例えば、ＡＰＳ）に含まれることができ、ＡＰＳの下位レベルであるヘッダ情報（例えば、ピクチャヘッダ、スライスヘッダ）を介して、参照されるＡＰＳ ＩＤをシグナリングすることでＬＭＣＳモデル（リシェイパモデル）を適応的に導出することができる。前記ＬＭＣＳモデルは、ＬＭＣＳパラメータに基づいて導出されることができる。また、例えば、前記ヘッダ情報を介して複数のＡＰＳ ＩＤがシグナリングされることができ、これを介して同一ピクチャ／スライス内のブロック単位で互いに異なるＬＭＣＳモデルを適用することができる。

【0226】

本文書による一実施形態ではＬＭＣＳに必要な演算を効率的に実行する方法が提案される。表９で詳述されたセマンティクスによると、ＩｎｖＳｃａｌｅＣｏｅｆｆ［ｉ］の導出のためにピース長さ（ｐｉｅｃｅ ｌｅｎｇｔｈ）ｌｍｃｓＣＷ［ｉ］による割り算演算が要求される。ただし、前記ピース長さが２の累乗（ｐｏｗｅｒ ｏｆ ２）でない場合、前記割り算演算は、ビットシフティングで実行されることができない。

【0227】

例えば、ＩｎｖＳｃａｌｅＣｏｅｆｆの計算は、１つのスライス当たり最大１６回の割り算演算が必要である。前述した表８によると、１０ビットコーディングの場合、ｌｍｃｓＣＷ［ｉ］の範囲は、８から５１１までであるため、ＬＵＴを使用してｌｍｃｓＣＷ［ｉ］による割り算演算を実現するためには、ＬＵＴのサイズが５０４にならなければならない。また、１２ビットコーディングの場合、ｌｍｃｓＣＷ［ｉ］の範囲は、３２から２０４７までであるため、ＬＵＴを使用してｌｍｃｓＣＷ［ｉ］による割り算演算を実現するためには、ＬＵＴ大きさが２０１６にならなければならない。即ち、割り算演算は、ハードウェア実現において相当な費用がかかることができ、したがって、割り算演算は、可能ならば省略される方がよい。

【0228】

本実施形態の一観点で、ｌｍｃｓＣＷ［ｉ］を固定された数（または、事前に決定された数または所定の数（ｐｒｅ－ｄｅｆｉｎｅｄ ｎｕｍｂｅｒ ｏｒ ｐｒｅ－ｄｅｔｅｒｍｉｎｅｄ ｎｕｍｂｅｒ））の倍数に制限できる。それによって、割り算演算のためのＬＵＴ（ｌｏｏｋｕｐ ｔａｂｌｅ）が（ＬＵＴの容量または大きさが）減少されることができる。例えば、ｌｍｃｓＣＷ［ｉ］が２の倍数である場合、割り算演算を代替するためのＬＵＴの大きさが半分に減ることができる。

【0229】

本実施形態の他の観点で、高いインターナルビット深度コーディングが提案される。高いインターナルビット深度コーディングは、ｌｍｃｓＣＷ［ｉ］の範囲制限の上位条件である。例えば、コーディングビット深度が１０より高い場合、ｌｍｃｓＣＷ［ｉ］は、１＜＜（ＢｉｔＤｅｐｔｈＹ－１０）の倍数に制限されることができる。ここで、ＢｉｔＤｅｐｔｈＹは、ルマビット深度である。それによって、ｌｍｃｓＣＷ［ｉ］の可能な値は、コーディングビット深度によって変わらないようになり、したがって、前記ＩｎｖＳｃａｌｅＣｏｅｆｆ計算のためのＬＵＴのサイズは、コーディングビット深度が高いとしても増加しなくなる。一例において、１２ビットインターナルコーディングビット深度に対して、ｌｍｃｓＣＷ［ｉ］の値は、４の倍数に制限されることができ、それによって、割り算演算を代替するためのＬＵＴのサイズは、１０ビットコーディングのために使われるＬＵＴのサイズと同じである。本観点は、単独でも実施可能であるが、前述された観点と組み合わせられて実施されることもできる。

【0230】

本実施形態の他の観点で、ｌｍｃｓＣＷ［ｉ］をより狭い範囲に制限することができる。例えば、ｌｍｃｓＣＷ［ｉ］は、（ＯｒｇＣＷ＞＞１）から（ＯｒｇＣＷ＜＜１）－１までの範囲内に制限されることができる。１０ビットコーディングの場合、ｌｍｃｓＣＷ［ｉ］の範囲は［３２、１２７］であり、９６のサイズを有するＬＵＴのみでもＩｎｖＳｃａｌｅＣｏｅｆｆを計算することができる。

【0231】

本実施形態の他の観点で、ｌｍｃｓＣＷ［ｉ］を２の累乗に近接する数値に近似してリシェイパの設計に使用することができる。それによって、インバースマッピング手順での割り算演算は、ビットシフティングで実行されることができる（代替されることができる）。

【0232】

本文書による一実施形態ではＬＭＣＳコードワード範囲の制限が提案される。前述した表９によると、ＬＭＣＳコードワードの値は、（ＯｒｇＣＷ＞＞３）から（ＯｒｇＣＷ＜＜３）－１までの範囲内にある。ＬＭＣＳピース長さの広い範囲によって、ＲｓｐＣＷ［ｉ］とＯｒｇＣＷとの間の大きい差が発生する場合、視覚的劣化の恐れがある。

【0233】

本文書による一実施形態によると、ＬＭＣＳ ＰＷＬマッピングのコードワードを狭い範囲に制限することが提案される。例えば、ｌｍｃｓＣＷ［ｉ］の範囲は、（ＯｒｇＣＷ＞＞１）から（ＯｒｇＣＷ＜＜１）－１までの範囲にある。

【0234】

本文書による一実施形態では、ＬＭＣＳでのクロマレジデュアルスケーリングのために単一クロマレジデュアルスケーリングファクタの使用が提案される。クロマレジデュアルスケーリングファクタ導出のための既存方法は、該当ルマブロックの平均値を使用して、インバースルママッピングでの各ピースの傾きを該当スケーリングファクタとして導出した。また、該当ルマブロックの利用可能性を要求するピースワイズインデックスを識別するための手順によってレイテンシー問題が発生された。これはハードウェア実現において好ましくない。本文書の一実施形態を介して、クロマブロックでのスケーリングは、ルマブロック値に依存しなくなってピースワイズインデックス識別が必要でない。したがって、レイテンシー問題無しでＬＭＣＳでのクロマレジデュアルスケーリング手順が実行されることができる。

【0235】

本文書による一実施形態において、単一クロマスケーリングファクタは、ルマＬＭＣＳ情報に基づいてエンコーダとデコーダの両方ともで導出されることができる。ＬＭＣＳルマモデルが受信されると、クロマレジデュアルスケーリングファクタがアップデートされることができる。例えば、ＬＭＣＳモデルがアップデートされる場合、単一クロマレジデュアルスケーリングファクタがアップデートされることができる。

【0236】

以下の表は、本実施形態によって単一クロマスケーリングファクタの取得のための一例を示す。

【0237】

【表13】

【0238】

表１３を参照すると、単一クロマスケーリングファクタ（例えば、ＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆまたはＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ）は、ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘとｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘとの間の範囲内の全てのピース（ｐｉｅｃｅｓ）のインバースルママッピング傾きを平均化することによって取得されることができる。

【0239】

図１３は、本文書の一実施形態によるピボットポイントの線形フィッティングを示す。図１３ではピボットポイントＰ１、Ｐｓ、Ｐ２が示される。以下の実施形態またはそれらの例示は、図１３を参照して説明する。

【0240】

本実施形態の一例において、ピボットポイントｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘとｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ＋１との間のルマＰＷＬマッピングの線形近似に基づいて単一クロマスケーリングファクタが取得されることができる。即ち、線形マッピングのインバース傾きがクロマレジデュアルスケーリングファクタとして使われることができる。例えば、図１３の線形ライン１（ｌｉｎｅａｒ ｌｉｎｅ １）は、ピボットポイントＰ１、Ｐ２を連結する一直線である。図１３を参照すると、Ｐ１において、入力値はｘ１であり、マッピングされた値は０であり、そして、Ｐ２において、入力値はｘ２であり、マッピングされた値はｙ２である。線形ライン１のインバース傾き（インバーススケール）は、（ｘ２－ｘ１）／ｙ２であり、そして、単一クロマスケーリングファクタＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅは、ピボットポイントＰ１、Ｐ２の入力値及びマッピングされた値、及び以下の数式に基づいて計算されることができる。

【0241】

【数5】

【0242】

数式５において、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、シフトファクタ（ｓｈｉｆｔ ｆａｃｔｏｒ）を示し、例えば、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、事前に決定された定数である。一例において、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、１１である。

【0243】

本実施形態による他の例において、図１３を参照すると、ピボットポイントＰｓにおいて、入力値はｍｉｎ＿ｂｉｎ＿ｉｄｘ＋１であり、マッピングされた値はｙｓである。それによって、線形ライン１のインバース傾き（インバーススケール）は、（ｘｓ－ｘ１）／ｙｓで計算されることができ、単一クロマスケーリングファクタＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅは、ピボットポイントＰ１、Ｐｓの入力値及びマッピングされた値、及び以下の数式に基づいて計算されることができる。

【0244】

【数6】

【0245】

数式６において、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、シフトファクタ（ビットシフティングのためのファクタ）を示し、例えば、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、事前に決定された定数である。一例において、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、１１であり、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣに基づいてインバーススケールに対するビットシフティングが実行されることができる。

【0246】

本実施形態による他の例において、単一クロマレジデュアルスケーリングファクタは、線形近似ライン（ｌｉｎｅａｒ ａｐｐｒｏｘｉｍａｔｉｏｎ ｌｉｎｅ）に基づいて導出されることができる。線形近似ライン導出のための一例は、ピボットポイント（例えば、ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ、ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ＋１）の線形的連結を含むことができる。例えば、線形趨勢結果は、ＰＷＬマッピングのコードワードで表すことができる。Ｐ２でのマッピングされた値ｙ２は、全てのｂｉｎ（ピース）のコードワードの和であり、そして、Ｐ２での入力値とＰ１での入力値との間の差（ｘ２－ｘ１）は、ＯｒｇＣＷ＊（ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ－ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ＋１）（ＯｒｇＣＷは、前述した表９参照）である。以下の表は、前述された実施形態によって単一クロマスケーリングファクタを取得する例示を示す。

【0247】

【表14】

【0248】

表１４を参照すると、単一クロマスケーリングファクタ（例えば、ＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ）は、２個のピボットポイント（即ち、ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ、ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ）から取得されることができる。例えば、線形マッピングの逆スロープ（ｉｎｖｅｒｓｅ ｓｌｏｐｅ ｏｆ ｌｉｎｅａｒ ｍａｐｐｉｎｇ）は、クロマスケーリングファクタとして使われることができる。

【0249】

本実施形態の他の例において、単一クロマスケーリングファクタは、ピボットポイントの線形フィッティング（ｌｉｎｅａｒ ｆｉｔｔｉｎｇ）により取得されて線形フィッティングと既存ＰＷＬマッピングとの間のエラー（または、平均自乗エラー）を最小化することができる。本例示は、単純にｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘとｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘの２個のピボットポイントを単純に連結することより正確である。最適の線形マッピングを探すための様々な方法が存在でき、下記では一例を説明する。

【0250】

一例において、最小自乗エラーの和を最小化するための線形適合方程式（ｌｉｎｅａｒ ｆｉｔｔｉｎｇ ｅｑｕａｔｉｏｎ）ｙ＝ｂ１＊ｘ＋ｂ０のパラメータｂ１、ｂ０は、以下の数式７及び／または表８に基づいて計算されることができる。

【0251】

【数7】

【0252】

【数8】

【0253】

ここで、ｘは原本ルマ値を示し、ｙはリシェイプされたルマ値を示す。具体的に

は、各々、ｘ、ｙの平均を示し、ｘｉ、ｙｉは、ｉ番目のピボットポイントの値を示す。

【0254】

図１３を参照すると、線形マッピングを識別するための他の近似が下記のように与えられることができる：

【0255】

－ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘとｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ＋１でのＰＷＬマッピングのピボットポイントを連結することによって、線形ライン１取得、ＯｒｇＣＷの倍数である入力値を有する線形ラインでのｌｍｃｓ＿ｐｉｖｏｔｓ＿ｌｉｎｅａｒ［ｉ］を計算

【0256】

－線形ライン１及びＰＷＬマッピングを利用してピボットポイントのマッピングされた値間の差を合算

【0257】

－平均差（ａｖｇＤｉｆｆ）を取得

【0258】

－平均差によって（例えば、２＊ａｖｇＤｉｆｆ）線形ラインの最後のピボットポイントを調整

【0259】

－調整された線形ラインの逆スロープ（ｉｎｖｅｒｓｅ ｓｌｏｐｅ）をクロマレジデュアルスケールとして使用

【0260】

前述された線形フィッティングによって、クロマスケーリングファクタ（即ち、フォワードマッピングの逆スロープ（ｉｎｖｅｒｓｅ ｓｌｏｐｅ ｏｆ ｆｏｒｗａｒｄ ｍａｐｐｉｎｇ））は、以下の数式９または数式１０に基づいて導出される（取得される）ことができる。

【0261】

【数9】

【0262】

【数10】

【0263】

前述された数式において、ｌｍｃｓ＿ｐｉｖｏｔｓ＿ｌｉｅｎａｒ［ｉ］は、線形マッピングのマッピングされた値である。線形マッピングを介して、最小及び最大ｂｉｎインデックス間のＰＷＬマッピングの全てのピースは、同じＬＭＣＳコードワード（ｌｍｃｓＣＷ）を有することができる。即ち、ｌｍｃｓ＿ｐｉｖｏｔｓ＿ｌｉｎｅａｒ［ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ＋１］は、ｌｍｃｓＣＷ［ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ］と同じである。

【0264】

また、数式９及び数式１０において、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、シフトファクタ（ビットシフティングのためのファクタ）を示し、例えば、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、事前に決定された定数である。一例において、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、１１である。

【0265】

単一クロマレジデュアルスケーリングファクタ（ＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ）を介して、該当ルマブロックの平均を計算する必要がなく、そして、ＰＷＬ線形マッピングでインデックスをさがす必要がない。したがって、クロマレジデュアルスケーリングを利用したコーディングの効率が高まることができる。

【0266】

本文書の他の実施形態において、エンコーダは、単一クロマスケーリングファクタに関するパラメータを決定することができ、前記パラメータをデコーダにシグナリングすることができる。シグナリングを介して、エンコーダは、クロマレジデュアルスケーリングファクタを導出するためにエンコーダで利用可能な他の情報を活用可能にできる。本実施形態は、クロマレジデュアルスケーリングレイテンシー問題を除去することにその目的がある。

【0267】

例えば、クロマレジデュアルスケーリングファクタを決定するために使われる線形マッピングを識別するための手順は、下記のように与えられることができる：

【0268】

－ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘとｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ＋１でのＰＷＬマッピングのピボットポイントを連結することによって、線形ライン１取得、ＯｒｇＣＷの倍数である入力値を有する線形ラインでのｌｍｃｓ＿ｐｉｖｏｔｓ＿ｌｉｎｅａｒ［ｉ］を計算

【0269】

－線形ライン１及びルマＰＷＬマッピングのピボットポイントを利用してピボットポイントのマッピングされた値間の差の加重和を取得

【0270】

－加重値が適用された（ｗｅｉｇｈｔｅｄ）平均差（ａｖｇＤｉｆｆ）を取得

【0271】

－加重値が適用された平均差によって（例えば、２＊ａｖｇＤｉｆｆ）線形ライン１の最後のピボットポイントを調整

【0272】

－調整された線形ラインの逆スロープ（ｉｎｖｅｒｓｅ ｓｌｏｐｅ）をクロマレジデュアルスケールとして使用

【0273】

以下の表は、クロマスケーリングファクタ導出のためにｙ値をシグナリングする例示的なシンタックスを示す。

【0274】

【表15】

【0275】

表１５において、シンタックス要素ｌｍｃｓ＿ｃｈｒｏｍａ＿ｓｃａｌｅは、ＬＭＣＳクロマレジデュアルスケーリングのために使われる単一クロマ（レジデュアル）スケーリングファクタを明示（ｓｐｅｃｉｆｙ）することができる（ＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ＝ｌｍｃｓ＿ｃｈｒｏｍａ＿ｓｃａｌｅ）。即ち、クロマレジデュアルスケーリングファクタに関する情報が直接的にシグナリングされ、前記シグナリングされた情報がクロマレジデュアルスケーリングファクタとして導出されることができる。他の表現としては、シグナリングされたクロマレジデュアルスケーリングファクタに関する情報の値が単一クロマレジデュアルスケーリングファクタの値として（直接的に）導出されることができる。ここで、シンタックス要素ｌｍｃｓ＿ｃｈｒｏｍａ＿ｓｃａｌｅは、他のＬＭＣＳデータ（例えば、コードワードの絶対値、符号に関するシンタックス要素など）と共にシグナリングされることができる。

【0276】

その代案としては、エンコーダは、クロマレジデュアルスケーリングファクタを導出するために必要なパラメータのみをデコーダにシグナリングすることができる。デコーダでクロマレジデュアルスケーリングファクタを導出するために、入力値ｘとマッピングされた値ｙが必要である。ｘ値は、ｂｉｎ長さを示し、既にデコーダ端にも知られた値であるため、シグナリングされる必要がない。結局、クロマレジデュアルスケーリングファクタ導出のためにはただｙ値のみがシグナリングされる必要がある。ここで、ｙ値は、線形マッピングにおける任意のピボットポイントのマッピングされた値である（例えば、図１３のＰ２またはＰｓのマッピングされた値）。

【0277】

以下の表は、クロマレジデュアルスケーリングファクタ導出のためにマッピングされた値をシグナリングする例示を示す。

【0278】

【表16】

【0279】

【表17】

【0280】

前述した表１６及び表１７のシンタックスのうち１つがエンコーダとデコーダにより明示される（ｓｐｅｃｉｆｉｅｄ）任意の線形ピボットポイントでｙ値をシグナリングするために使われることができる。即ち、エンコーダ及びデコーダは、互いに同じシンタックスを使用してｙ値を導出することができる。

【0281】

まず、表１６による実施形態を説明する。表１６において、ｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒは、ＰｓまたはＰ２にマッピングされた値を示すことができる。即ち、表１６による実施形態において、ｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒを介して固定された数字がシグナリングされることができる。

【0282】

本実施形態による一例において、ｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒが１つのｂｉｎ（即ち、図１３のＰｓでのｌｍｃｓ＿ｐｉｖｏｔｓ＿ｌｉｎｅａｒ［ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ＋１］）にマッピングされた値を示す場合、クロマスケーリングファクタは、以下の数式に基づいて導出されることができる。

【0283】

【数11】

【0284】

本実施形態による他の例において、ｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒがｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ＋１（即ち、図１３のＰ２でのｌｍｃｓ＿ｐｉｖｏｔｓ＿ｌｉｎｅａｒ［ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ＋１］）を示す場合、クロマスケーリングファクタは、以下の数式に基づいて導出されることができる。

【0285】

【数12】

【0286】

前述された数式において、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、シフトファクタ（ビットシフティングのためのファクタ）を示し、例えば、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、事前に決定された定数である。一例において、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、１１である。

【0287】

次に、表１７による実施形態を説明する。本実施形態において、ｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒは、固定された数と関連したデルタ値（即ち、ｌｍｃｓ＿ｄｅｌｔａ＿ａｂｓ＿ｃｗ＿ｌｉｎｅａｒ、ｌｍｃｓ＿ｄｅｌｔａ＿ｓｉｇｎ＿ｃｗ＿ｌｉｎｅａｒ＿ｆｌａｇ）としてシグナリングされることもできる。本実施形態の一例において、ｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒがｌｍｃｓ＿ｐｉｖｏｔｓ＿ｌｉｎｅａｒ［ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ＋１］（即ち、図１３のＰｓ）でのマッピングされた値を示す場合、ｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒ＿ｄｅｌｔａ及びｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒは、以下の数式に基づいて導出されることができる。

【0288】

【数13】

【0289】

【数14】

【0290】

本実施形態の他の例において、ｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒがｌｍｃｓ＿ｐｉｖｏｔｓ＿ｌｉｎｅａｒ［ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ＋１］（即ち、図１３のＰ２）でのマッピングされた値を示す場合、ｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒ＿ｄｅｌｔａ及びｌｍｃｓ＿ｃｗ＿ｌｉｎｅａｒは、以下の数式に基づいて導出されることができる。

【0291】

【数15】

【0292】

【数16】

【0293】

前述された数式において、ＯｒｇＣＷは、前述した表９に基づいて導出された値である。

【0294】

図１４は、本文書の一実施形態による線形リシェイピング（または、線形リシェイパ、線形マッピング）の一例を示す。即ち、本文書の一実施形態では、ＬＭＣＳで線形リシェイパの使用が提案される。例えば、図１４の例示は、フォワード線形リシェイピング（マッピング）に関連付けられる。

【0295】

既存例において、ＬＭＣＳは、固定された１６個のピースを有するピースワイズ線形マッピングを使用することができる。それによって、ピボットポイント間の突然なトランジション（ｔｒａｎｓｉｔｉｏｎ）により避けられない劣化が発生できるため、リシェイパ設計の複雑度が上がることができる。また、リシェイパのインバースルママッピングの場合、ピースワイズ関数インデックスを識別しなければならない。ピースワイズ関数インデックス識別手順は、多くの比較実行手順が含まれている繰り返しプロセス（ｉｔｅｒａｔｉｏｎ ｐｒｏｃｅｓｓ）である。また、対応するルマブロック平均を使用するクロマレジデュアルスケーリングのために、ルマピースワイズインデックス識別手順が必要である。これは複雑度問題をもたらすだけでなく、全体ルマブロックの復元に依存的なクロマレジデュアルスケーリングのレイテンシーを引き起こすことができる。このような問題の解決のためにＬＭＣＳで線形リシェイパの使用が提案され、以下、線形リシェイパに対する詳細な説明が後述される。

【0296】

図１４を参照すると、線形リシェイパは、２個のピボットポイント（即ち、Ｐ１、Ｐ２）を含むことができる。Ｐ１とＰ２は、入力とマッピングされた値を示すことができ、例えば、Ｐ１は（ｍｉｎＩｎｐｕｔ、０）であり、そして、Ｐ２は（ｍａｘＩｎｐｕｔ、ｍａｘＭａｐｐｅｄ）である。ここで、ｍｉｎＩｎｐｕｔは最小入力値を示し、ｍａｘＩｎｐｕｔは最大入力値を示す。入力値がｍｉｎＩｎｐｕｔより小さいまたは同じ場合、０にマッピングされ、入力値がｍａｘＩｎｐｕｔより大きい場合、ｍａｘＭａｐｐｅｄにマッピングされる。ｍｉｎＩｎｐｕｔとｍａｘＩｎｐｕｔとの間の入力（ルマ）値は、他の値に線形的にマッピングされることができる。図１４は、マッピングの一例を示す。ピボットポイントＰ１、Ｐ２は、エンコーダで決定されることができ、このためにピースワイズ線形マッピングを近似するために線形フィッティングが使われることができる。

【0297】

線形リシェイパをシグナリングする方法には様々な方法がある。線形リシェイパをシグナリングする方法の一例において、各ルマ範囲は、均等なｂｉｎ個数（ｅｑｕａｌ ｎｕｍｂｅｒ ｏｆ ｂｉｎｓ）に分けられることができる。即ち、最小及び最大ｂｉｎ間のルママッピングは、均等に分配されることができる（達成されることができる）。例えば、全てのｂｉｎは、同じＬＭＣＳコードワード（ｌｍｃｓＣＷ）を有することができる。このために、最小及び最大ｂｉｎインデックスがシグナリングされることができる。また、ただ１つのセットのｒｅｓｈａｐｅ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ａｂｓ＿ＣＷ（または、ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｄｅｌｔａ＿ａｂｓ＿ＣＷ、ｌｍｃｓ＿ｄｅｌｔａ＿ａｂｓ＿ＣＷ）及びｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｂｉｎ＿ｄｅｌｔａ＿ｓｉｇｎ＿ＣＷ＿ｆｌａｇ（または、ｒｅｓｈａｐｅｒ＿ｍｏｄｅｌ＿ｄｅｌｔａ＿ｓｉｇｎ＿ＣＷ＿ｆｌａｇ、ｌｍｃｓ＿ｄｅｌｔａ＿ｓｉｇｎ＿ＣＷ＿ｆｌａｇ）がシグナリングされる必要がある。

【0298】

以下の表は、本例示によって線形リシェイパをシグナリングするシンタックス及びセマンティクスを例示的に示す。

【0299】

【表18】

【0300】

【表19】

【0301】

前記表１８及び表１９を参照すると、シンタックス要素ｌｏｇ２＿ｌｍｃｓ＿ｎｕｍ＿ｂｉｎｓ＿ｍｉｎｕｓ４は、ｂｉｎの個数に関する情報である。前記情報に基づいてｂｉｎの個数がシグナリングされることができ、したがって、最小及び最大ピボットポイントのよりよいコントロールが可能になる。既存の他の例では、エンコーダ及び／またはデコーダがｂｉｎの（固定された）個数をシグナリング無しで導出（明示）でき、例えば、ｂｉｎの個数は、１６または３２に導出された。ただし、前記表１８及び表１９の例示によると、ｌｏｇ２＿ｌｍｃｓ＿ｎｕｍ＿ｂｉｎｓ＿ｍｉｎｕｓ４足す４は、ｂｉｎの個数のログ２（ｂｉｎａｒｙ ｌｏｇａｒｉｔｈｍ）を示すことができる。前記シンタックス要素に基づいて導出されたｂｉｎの個数は、４からルマビット深度（ＢｉｔＤｅｐｔｈＹ）の値までの範囲にある。

【0302】

前記表１９において、ＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅは、単一ルマフォワードスケーリングファクタと呼ばれることができ、ＩｎｖＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅは、単一ルマインバーススケーリングファクタと呼ばれることができる。単一ルマフォワードスケーリングファクタに基づいて予測ルマサンプルに対する（フォワード）マッピングが実行されることができ、そして、単一ルマインバーススケーリングファクタに基づいて復元ルマサンプルに対する（インバース）マッピングが実行されることができる。ＣｈｒｏｍａＳｃｌａｅＣｏｅｆｆＳｉｎｇｌｅは、前述されたように、単一クロマレジデュアルスケーリングファクタと呼ばれることができる。ＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ、ＩｎｖＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ、ＣｈｒｏｍａＳｃｌａｅＣｏｅｆｆＳｉｎｇｌｅは、各々、フォワードルママッピング、インバースルママッピング、クロマレジデュアルスケーリングのために使われることができる。ＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ、ＩｎｖＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ、ＣｈｒｏｍａＳｃｌａｅＣｏｅｆｆＳｉｎｇｌｅは、単一ファクタとして全てのｂｉｎ（１６ ｂｉｎｓ ＰＷＬ ｍａｐｐｉｎｇｓ）に対して一律的に適用されることができる。

【0303】

前記表１９を参照すると、ＦＰ＿ＰＲＥＣ及びＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、ビットシフティングのための定数である。ＦＰ＿ＰＲＥＣ及びＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、互いに同じであってもよく、同じでなくてもよい。例えば、ＦＰ＿ＰＲＥＣは、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣより大きいまたは同じである。一例において、ＦＰ＿ＰＲＥＣ及びＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、両方とも１１である。他の例において、ＦＰ＿ＰＲＥＣは１５であり、そして、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは１１である。

【0304】

線形リシェイパをシグナリングする方法の他の例において、以下の数式に基づいてＬＭＣＳコードワード（ｌｍｃｓＣＷｌｉｎｅａｒＡＬＬ）が導出されることができる。本例でも前述した表１８のシンタックスによってシグナリングされた線形リシェイピングシンタックス要素が使われることができる。以下の表は、本例示によって説明されるセマンティクスの一例を示す。

【0305】

【表20】

【0306】

前記表２０を参照すると、ＦＰ＿ＰＲＥＣ及びＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、ビットシフティングのための定数である。ＦＰ＿ＰＲＥＣ及びＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、互いに同じであってもよく、同じでなくてもよい。例えば、ＦＰ＿ＰＲＥＣは、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣより大きいまたは同じである。一例において、ＦＰ＿ＰＲＥＣ及びＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは、両方とも１１である。他の例において、ＦＰ＿ＰＲＥＣは１５であり、そして、ＣＳＣＡＬＥ＿ＦＰ＿ＰＲＥＣは１１である。

【0307】

前記表２０において、ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘは、ＬｍｃｓＭａｘＢｉｎＩｄｘと混用されて使われることができる。ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ及びＬｍｃｓＭａｘＢｉｎＩｄｘは、前述した表１８のシンタックスのｌｍｃｓ＿ｄｅｌｔａ＿ｍａｘ＿ｂｉｎ＿ｉｄｘに基づいて、前述した表１９を参照して導出されることができる。このように、表２０は、表１９を参照して解析されることができる。

【0308】

本文書による他の実施形態において、線形リシェイパをシグナリングする方法の他の例が提案されることができる。線形リシェイパモデルのピボットポイントＰ１、Ｐ２は、明示的にシグナリングされることができる。以下の表は、本例示によって線形リシェイパモデルを明示的にシグナリングするシンタックス及びセマンティクスの一例を示す。

【0309】

【表21】

【0310】

【表22】

【0311】

表２１及び表２２を参照すると、シンタックス要素ｌｍｃｓ＿ｍｉｎ＿ｉｎｐｕｔに基づいて第１のピボットポイントの入力値が導出されることができ、そして、シンタックス要素ｌｍｃｓ＿ｍａｘ＿ｉｎｐｕｔに基づいて第２のピボットポイントの入力値が導出されることができる。第１のピボットポイントのマッピングされた値は、事前に決定された値（エンコーダ及びデコーダの両方ともに知られた値）であり、例えば、０である。シンタックス要素ｌｍｃｓ＿ｍａｘ＿ｍａｐｐｅｄに基づいて第２のピボットポイントのマッピングされた値が導出されることができる。即ち、表２１のシンタックスに基づいてシグナリングされた前記情報に基づいて線形リシェイパモデルが明示的に（直接的に）シグナリングされることができる。

【0312】

その代案としては、ｌｍｃｓ＿ｍａｘ＿ｉｎｐｕｔ及びｌｍｃｓ＿ｍａｘ＿ｍａｐｐｅｄは、デルタ値としてシグナリングされることができる。以下の表は、デルタ値として線形リシェイパモデルをシグナリングするシンタックス及びセマンティクスの一例を示す。

【0313】

【表23】

【0314】

【表24】

【0315】

前記表２４を参照すると、シンタックス要素ｌｍｃｓ＿ｍｉｎ＿ｉｎｐｕｔに基づいて第１のピボットポイントの入力値が導出されることができる。例えば、ｌｍｃｓ＿ｍｉｎ＿ｉｎｐｕｔは、０のマッピングされた値を有することができる。ｌｍｃｓ＿ｍａｘ＿ｉｎｐｕｔ＿ｄｅｌｔａは、第２のピボットポイントの入力値と最大ルマ値（即ち、（１＜＜ｂｉｔｄｅｐｔｈＹ）－１）との間の差を示すことができる。ｌｍｃｓ＿ｍａｘ＿ｍａｐｐｅｄ＿ｄｅｌｔａは、第２のピボットポイントのマッピングされた値と最大ルマ値（即ち、（１＜＜ｂｉｔｄｅｐｔｈＹ）－１）との間の差を示すことができる。

【0316】

本文書の一実施形態によると、前述された線形リシェイパに関する例示に基づいてルマ予測サンプルのためのフォワードマッピング、ルマ復元サンプルのためのインバースマッピング、クロマレジデュアルスケーリングが実行されることができる。一例において、線形リシェイパベースのインバースマッピングでルマ（復元）サンプル（ピクセル）のためのインバーススケーリングのためにただ１つのインバーススケーリングファクタが必要である。これはフォワードマッピング、クロマレジデュアルスケーリングでも同様である。即ち、ｂｉｎインデックスｉに対するＳｃａｌｅＣｏｅｆｆ［ｉ］、ＩｎｖＳｃａｌｅＣｏｅｆｆ［ｉ］ ａｎｄ ＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆ［ｉ］を決定するステップは、ただ１つのファクタを利用することを代替することができる。ここで、１つのファクタとは、線形マッピングの（フォワード）傾きまたはインバース傾きが固定少数点で表現されたことを意味することができる。一例において、インバースルママッピングスケーリングファクタ（ルマ復元サンプルのためのインバースマッピングでのインバーススケーリングファクタ）は、以下の数式のうち少なくとも１つに基づいて導出されることができる。

【0317】

【数17】

【0318】

【数18】

【0319】

【数19】

【0320】

数式１７のｌｍｃｓＣＷＬｉｎｅａｒは、前述した表１８及び表１９から導出されることができる。数式１８及び表１９のｌｍｃｓＣＷＬｉｎｅａｒＡＬＬは、前述した表２０乃至表２４のうち少なくとも１つから導出されることができる。数式１７または数式１８において、ＯｒｇＣＷは、表９または表１９から導出されることができる。

【0321】

以下の表は、ピクチャ復元でのルマサンプル（即ち、ルマ予測サンプル）に対するフォワードマッピング手順を示す数式及びシンタックス（条件文）を説明する。以下の表及び数式において、ＦＰ＿ＰＲＥＣは、ビットシフティングのための定数であり、事前に決定された値である。例えば、ＦＰ＿ＰＲＥＣは、１１または１５である。

【0322】

【表25】

【0323】

【表26】

【0324】

表２５は、前述した表８及び表９に基づくルママッピング手順でフォワードマッピングされたルマサンプルを導出するためのものである。即ち、表２５は、表８及び表９と共に説明されることができる。表２５において、入力としてのルマ（予測）サンプルｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］から、出力としてのフォワードマッピングされたルマ（予測）サンプルＰｒｅｄｍＡＰＳａｍｐｌｅｓ［ｉ］［ｊ］が導出されることができる。表２５のｉｄｘＹは、（フォワード）マッピングインデックスと呼ばれることができ、マッピングインデックスは、予測ルマサンプルに基づいて導出されることができる。

【0325】

表２６は、線形リシェイパの適用によるルママッピングからフォワードマッピングされたルマサンプルを導出するためのものである。例えば、表２６のｌｍｃｓ＿ｍｉｎ＿ｉｎｐｕｔ、ｌｍｃｓ＿ｍａｘ＿ｉｎｐｕｔ、ｌｍｃｓ＿ｍａｘ＿ｍａｐｐｅｄ、ＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅは、表２１乃至表２４のうち少なくとも１つにより導出されることができる。表２６において、ｌｍｃｓ＿ｍｉｎ＿ｉｎｐｕｔ＜ｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］＜ｌｍｃｓ＿ｍａｘ＿ｉｎｐｕｔである場合、入力としてのルマ（予測）サンプルｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］から、出力としてのフォワードマッピングされたルマ（予測）サンプルＰｒｅｄｍＡＰＳａｍｐｌｅｓ［ｉ］［ｊ］が導出されることができる。表２５と表２６との比較を介して、線形リシェイパの適用による既存ＬＭＣＳからの変化がフォワードマッピング観点で見られることができる。

【0326】

以下の数式は、ルマサンプル（即ち、ルマ復元サンプル）に対するインバースマッピング手順を説明する。以下の数式において、入力としてのｌｕｍａＳａｍｐｌｅは、インバースマッピング以前の（修正前）ルマ復元サンプルである。出力としてのｉｎｖＳａｍｐｌｅは、インバースマッピングされた（修正された）ルマ復元サンプルである。他の場合、クリッピングされたｉｎｖＳａｍｐｌｅが修正されたルマ復元サンプルとも呼ばれる 。

【0327】

【数20】

【0328】

【数21】

【0329】

数式２０を参照すると、インデックスｉｄｘＩｎｖは、前述した表１１に基づいて導出されることができる。即ち、数式２０は、前述した表８及び表９に基づくルママッピング手順でインバースマッピングされたルマサンプルを導出するためのものである。数式２０は、前述した表１０と共に説明されることができる。

【0330】

数式２１は、線形リシェイパの適用によるルママッピングでインバースマッピングされたルマサンプルを導出するためのものである。例えば、数式２１のｌｍｃｓ＿ｍｉｎ＿ｉｎｐｕｔは、表２１乃至表２４のうち少なくとも１つにより導出されることができる。数式２０と数式２１との比較を介して、線形リシェイパの適用による既存ＬＭＣＳからの変化がフォワードマッピング観点で見られることができる。

【0331】

前述された線形リシェイパに関する例示に基づいてピースワイズインデックス識別手順が省略されることができる。即ち、本例示において、リシェイプされたルマピクセルを有するピースが１個のみが存在するため、インバースルママッピング及びクロマレジデュアルスケーリングに使われるピースワイズインデックス識別手順が除去されることができる。それによって、インバースルママッピングの複雑性が減少されることができる。これに加えて、ルマピースワイズインデックス識別に依存することによって引き起こされるレイテンシー問題がクロマレジデュアルスケーリング途中に除去されることができる。

【0332】

前述された線形リシェイパの使用に関する実施形態によって、ＬＭＣＳのために次のような利点が提供されることができる。ｉ）エンコーダのリシェイパ設計を単純化してピースワイズ線形ピース間で発生される突然な変化による劣化を防止することができる。ii）ピースワイズインデックス識別手順を除去してデコーダインバースマッピング手順を単純化することができる。iii）ピースワイズインデックス識別手順を除去して該当ルマブロックに依存することによって引き起こされるクロマレジデュアルスケーリング内のレイテンシー問題を除去することができる。iv）シグナリングのオーバーヘッドを減らし、頻繁なリシェイパのアップデートをより実現可能にできる。ｖ）１６個ピースのループ（例えば、ｆｏｒ構文）が必要な多くの部分からループを除去することができる。例えば、ＩｎｖＳｃａｌｅＣｏｅｆｆ［ｉ］を導出するためにｌｍｃｓＣＷ［ｉ］による割り算演算の数を１に減らすことができる。

【0333】

本文書による他の実施形態では、フレキシブルなｂｉｎに基づくＬＭＣＳが提案される。ここで、フレキシブルなｂｉｎとは、ｂｉｎの個数が所定の数に固定されないことを意味することができる。既存の一実施形態では、ＬＭＣＳでのｂｉｎの個数が１６個に固定され、そして、１６個のｂｉｎは、入力サンプル値に対して均等に分布された。本実施形態では、フレキシブルな個数のｂｉｎが提案され、そして、ピース（ｂｉｎ）が原本ピクセル値に対して均等に分配されない。

【0334】

以下の表は、本実施形態によるＬＭＣＳデータ（データフィールド）に関するシンタックス及びそれに含まれているシンタックス要素に対するセマンティクスを例示的に示す。

【0335】

【表27】

【0336】

【表28】

【0337】

表２７を参照すると、ｂｉｎの個数に関する情報ｌｍｃｓ＿ｎｕｍ＿ｂｉｎｓ＿ｍｉｎｕｓ１がシグナリングされることができる。表２８を参照すると、ｌｍｃｓ＿ｎｕｍ＿ｂｉｎｓ＿ｍｉｎｕｓ１＋１は、ｂｉｎの個数と同じであり、これから、ｂｉｎの個数は、１から（１＜＜ＢｉｔＤｅｐｔｈＹ）－１までの範囲内にある。例えば、ｌｍｃｓ＿ｎｕｍ＿ｂｉｎｓ＿ｍｉｎｕｓ１またはｌｍｃｓ＿ｎｕｍ＿ｂｉｎｓ＿ｍｉｎｕｓ１＋１は、２の倍数である。

【0338】

表２７及び表２８と共に説明された実施形態において、ピボットポイントの個数は、リシェイパが線形であるかどうかにかかわらず、ｌｍｃｓ＿ｎｕｍ＿ｂｉｎｓ＿ｍｉｎｕｓ１（ｂｉｎの個数に関する情報）に基づいて導出されることができ（ｌｍｃｓ＿ｎｕｍ＿ｂｉｎｓ＿ｍｉｎｕｓ１のシグナリング）、そして、ピボットポイントの入力値及びマッピングされた値（ＬｍｃｓＰｉｖｏｔ＿ｉｎｐｕｔ［ｉ］、ＬｍｃｓＰｉｖｏｔ＿ｍａｐｐｅｄ［ｉ］）は、シグナリングされたコードワード値（ｌｍｃｓ＿ｄｅｌｔａ＿ｉｎｐｕｔ＿ｃｗ［ｉ］、ｌｍｃｓ＿ｄｅｌｔａ＿ｍａｐｐｅｄ＿ｃｗ［ｉ］）の合算に基づいて導出されることができる（ここで、初期入力値ＬｍｃｓＰｉｖｏｔ＿ｉｎｐｕｔ［０］及び初期出力値ＬｍｃｓＰｉｖｏｔ＿ｍａｐｐｅｄ［０］は０）。

【0339】

図１５は、本文書の一実施形態での線形フォワードマッピングの一例を示す。 図１６は、本文書の一実施形態でのインバースフォワードマッピングの一例を示す。

【0340】

図１５及び図１６による実施形態では、レギュラーＬＭＣＳ及び線形ＬＭＣＳの両方ともを支援する方法が提案される。本実施形態による一例において、シンタックス要素ｌｍｃｓ＿ｉｓ＿ｌｉｎｅａｒに基づいてレギュラーＬＭＣＳ及び／または線形ＬＭＣＳが指示されることができる。エンコーダで、線形ＬＭＣＳラインが決定された後に、マッピングされた値（例えば、図１５及び図１６のｐＬでのマッピングされた値）は、均等なピース（例えば、ＬｍｃｓＭａｘＢｉｎＩｄｘ－ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ＋１）に分けられる。ｂｉｎＬｍｃｓＭａｘＢｉｎＩｄｘでのコードワードは、前述されたｌｍｃｓデータまたはリシェイパモデルに関するシンタックスを利用してシグナリングされることができる。

【0341】

以下の表は、本実施形態の一例によるＬＭＣＳデータ（データフィールド）に関するシンタックス及びそれに含まれているシンタックス要素に対するセマンティクスを例示的に示す。

【0342】

【表29】

【0343】

【表30-1】

【0344】

【表30-2】

【0345】

以下の表は、本実施形態の他の例によるＬＭＣＳデータ（データフィールド）に関するシンタックス及びそれに含まれているシンタックス要素に対するセマンティクスを例示的に示す。

【0346】

【表31】

【0347】

【表32-1】

【0348】

【表32-2】

【0349】

前記表２９乃至表３２を参照すると、ｌｍｃｓ＿ｉｓ＿ｌｉｎｅａｒ＿ｆｌａｇが真である場合、ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘとＬｍｃｓＭａｘＢｉｎＩｄｘとの間の全てのｌｍｃｓＤｅｌｔａＣＷ［ｉ］は、同じ値を有することができる。即ち、ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘとＬｍｃｓＭａｘＢｉｎＩｄｘとの間の全てのピースのうち、ｌｍｃｓＣＷ［ｉ］が同じ値を有することができる。ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘとｌｍｃｓＭａｘＢｉｎＩｄｘとの間の全てのピースのスケール及び逆スケールとクロマスケールは、同じである。線形リシェイパが真である場合、ピースインデックスを導出する必要がなく、ピースのうち１つでスケール、インバーススケールが使われることができる。

【0350】

以下の表は、本実施形態によるピースワイズインデックスの識別手順を例示的に示す。

【0351】

【表33】

【0352】

本文書の他の実施形態によると、レギュラー１６－ピースＰＷＬ ＬＭＣＳ及び線形ＬＭＣＳの適用は、ハイレバルシンタックス（例えば、シーケンスレベル）に依存できる。

【0353】

以下の表は、本実施形態によるＳＰＳに関するシンタックス及びそれに含まれているシンタックス要素に対するセマンティクスを例示的に示す。

【0354】

【表34】

【0355】

【表35】

【0356】

表３４及び表３５を参照すると、ＳＰＳに含まれているシンタックス要素によりレギュラーＬＭＣＳ及び／または線形ＬＭＣＳの可用可否が決定（シグナリング）されることができる。表３５を参照すると、シンタックス要素ｓｐｓ＿ｌｉｎｅａｒ＿ｌｍｃｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇに基づいて、レギュラーＬＭＣＳまたは線形ＬＭＣＳのうち１つがシーケンス単位で可用可能である。

【0357】

これに加えて、線形ＬＭＣＳまたはレギュラーＬＭＣＳのうち１つまたは二つが可用であるかどうかは、プルファイルレベルに依存的である。一例において、特定プルファイル（例えば、ＳＤＲプルファイル）に対して、線形ＬＭＣＳのみが許容されることができ、そして、他のプルファイル（例えば、ＨＤＲプルファイル）に対して、レギュラーＬＭＣＳのみが許容されることができ、そして、他のプルファイルに対しては、レギュラーＬＭＣＳ及び／または線形ＬＭＣＳの両方ともが許容されることができる。

【0358】

本文書の他の実施形態によると、ＬＭＣＳピースワイズインデックス識別手順がインバースルママッピング及びクロマレジデュアルスケーリングで使われることができる。本実施形態において、クロマレジデュアルスケーリングが可用なブロックに対して前記ピースワイズインデックスの識別手順が使われることができ、そして、リシェイピングされた（マッピングされた）領域内の全てのルマサンプルを対しても前記識別手順が使われることができる。本実施形態は、前記インデックスの導出のための複雑度を減少させることが目的である。

【0359】

以下の表は、既存のピースワイズ関数インデックスの識別手順（導出手順）を示す。

【0360】

【表36】

【0361】

一例において、前記ピースワイズインデックス識別手順では入力サンプルが少なくとも二つ以上のカテゴリーに分類されることができる。例えば、前記入力サンプルは、三つのカテゴリー、第１、第２、第３のカテゴリーに分類されることができる。例えば、第１のカテゴリーは、ＬｍｃｓＰｉｖｏｔ［ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ＋１］より小さいサンプル（の値）を示すことができ、第２のカテゴリーは、ＬｍｃｓＰｉｖｏｔ［ＬｍｃｓＭａｘＢｉｎＩｄｘ］より大きいまたは同じサンプル（の値）を示すことができ、第３のカテゴリーは、ＬｍｃｓＰｉｖｏｔ［ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ＋１］とＬｍｃｓＰｉｖｏｔ［ＬｍｃｓＭａｘＢｉｎＩｄｘ］との間のサンプル（の値）を示すことができる。

【0362】

本実施形態では、カテゴリー分類を除去することによって識別手順を最適化する方法が提案される。ピースワイズインデックス識別手順に対する入力がリシェイピングされた（マッピングされた）ルマ値であるため、ピボットポイントｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ及びＬｍｃｓＭａｘＢｉｎＩｄｘ＋１でのマッピングされた値を超過する値はあってはならない。したがって、カテゴリー別にサンプルを分類する条件的手順は、既存のピースワイズインデックス識別手順で省略されることができ、以下で具体的な例示を表と共に説明する。

【0363】

本実施形態による一例において、表３６に含まれている識別手順は、以下の表３７または表３８のうち１つに代替されることができる。表３７及び表３８を参照すると、表３６の先んじた二つのカテゴリーが削除されることができ、そして、最後のカテゴリーに対して反復的なループ（ｆｏｒ構文）での境界値（第２の境界値またはエンディングポイント）がＬｍｃｓＭａｘＢｉｎＩｄｘでＬｍｃｓＭａｘＢｉｎＩｄｘ＋１に修正されることができる。即ち、識別手順が単純化されることができ、ピースワイズインデックスの導出のための複雑度が減少できる。したがって、本実施形態によりＬＭＣＳ関連コーディングが効率的に実行されることができる。

【0364】

【表37】

【0365】

【表38】

【0366】

表３７を参照すると、ｉｆ節の条件に対応する比較手順（ｉｆ節の条件に対応する数式）は、最小ｂｉｎインデックスから最大ｂｉｎインデックスまでのｂｉｎインデックスの全てに対して繰り返して実行されることができる。ｉｆ節の条件に対応する数式が真である場合でのｂｉｎインデックスは、インバースルママッピングのためのインバースマッピングインデックス（または、クロマレジデュアルスケーリングのためのインバーススケーリングインデックス）として導出されることができる。前記インバースマッピングインデックスに基づいて修正された復元ルマサンプル（または、スケーリングされたクロマレジデュアルサンプル）が導出されることができる。

【0367】

以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使われた具体的な名称に制限されない。

【0368】

図１７及び図１８は、本文書の実施形態（等）に係るビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。図１７において開示された方法は、図２において開示されたエンコード装置によって行われることができる。具体的に、例えば、図１７のＳ１７００、Ｓ１７１０は、前記エンコード装置の予測部２２０によって行われることができ、Ｓ１７２０は、前記エンコード装置のレジデュアル処理部２３０によって行われることができ、Ｓ１７３０は、前記エンコード装置の予測部２２０またはレジデュアル処理部２３０によって行われることができ、Ｓ１７４０は、前記エンコード装置のレジデュアル処理部２３０または加算部２５０によって行われることができ、Ｓ１７５０は、前記エンコード装置のレジデュアル処理部２３０によって行われることができ、Ｓ１７６０は、前記エンコード装置のエントロピーエンコード部２４０によって行われることができる。図１７において開示された方法は、本文書において上述した実施形態を含むことができる。

【0369】

図１７に示すように、エンコード装置は、現在ピクチャ内の現在ブロックのためにインター予測モードを導出できる（Ｓ１７００）。エンコード装置は、インター予測モードのうち、本文書に開示された様々なモードのうち、少なくとも１つを導出できる。

【0370】

エンコード装置は、前記インター予測モードに基づいて予測ルマサンプルを生成できる（Ｓ１７１０）。エンコード装置は、現在ブロックに含まれた原本サンプルに対する予測を行うことによって予測ルマサンプルを生成できる。

【0371】

エンコード装置は、予測クロマサンプルを導出することができる。エンコード装置は、現在ブロックの原本クロマサンプル及び予測クロマサンプルに基づいて前記レジデュアルクロマサンプルを導出することができる。例えば、エンコード装置は、前記予測クロマサンプルと原本クロマサンプルとの間の差に基づいてレジデュアルクロマサンプルを導出することができる。

【0372】

エンコード装置は、ルママッピングのためのビン及びＬＭＣＳコードワードを導出できる。エンコード装置は、ＳＤＲまたはＨＤＲに基づいて前記ビン及び／又はＬＭＣＳコードワードを導出できる。

【0373】

エンコード装置は、ＬＭＣＳ関連情報を導出できる（Ｓ１７２０）。ＬＭＣＳ関連情報は、ルママッピングのためのビン及びＬＭＣＳコードワードを含むことができる。

【0374】

エンコード装置は、ルマサンプルのためのマッピング手順に基づいてマッピングされた予測ルマサンプルを生成できる（Ｓ１７３０）。エンコード装置は、ルママッピングのためのビン及び／又はＬＭＣＳコードワードに基づいてマッピングされた予測ルマサンプルを生成できる。例えば、エンコード装置は、ルママッピングのためのピボットポイントの入力値及びマッピング値（出力値）を導出でき、そして、前記入力値及びマッピング値に基づいてマッピングされた予測ルマサンプルを生成できる。一例として、エンコード装置は、第１の予測ルマサンプルに基づいてマッピングインデックス（ｉｄｘＹ）を導出でき、そして、前記マッピングインデックスに対応するピボットポイントの入力値及びマッピング値に基づいて第１のマッピングされた予測ルマサンプルを生成できる。他の例として、線形マッピング（線形リシェイピング、線形ＬＭＣＳ）が使用され得るし、そして、線形マッピングにおける２個のピボットポイントから導出されたフォワードマッピングスケーリングファクタに基づいてマッピングされた予測ルマサンプルが生成され得るし、したがって、線形マッピングによりインデックス導出手順が省略されることもできる。

【0375】

エンコード装置は、スケーリングされたレジデュアルクロマサンプルを生成することができる。具体的に、エンコード装置は、クロマレジデュアルスケーリングファクタを導出することができ、クロマレジデュアルスケーリングファクタに基づいてスケーリングされたレジデュアルクロマサンプルを生成することができる。ここで、エンコード端のクロマレジデュアルスケーリングは、フォワードクロマレジデュアルスケーリングとも呼ばれる。したがって、エンコード装置により導出されたクロマレジデュアルスケーリングファクタは、フォワードクロマレジデュアルスケーリングファクタと呼ばれることができ、フォワードスケーリングされたレジデュアルクロマサンプルが生成されることができる。

【0376】

エンコード装置は、復元ルマサンプルを生成できる。エンコード装置は、マッピングされた予測ルマサンプルに基づいて復元ルマサンプルを生成できる。具体的に、エンコード装置は、上述したレジデュアルルマサンプルをマッピングされた予測ルマサンプルと合算することができ、前記合算結果に基づいて復元ルマサンプルを生成できる。

【0377】

エンコード装置は、ルマサンプルのためのインバースマッピング手順に基づいて修正された復元ルマサンプルを生成できる（Ｓ１７４０）。エンコード装置は、前記ルママッピングのための前記ビン、前記ＬＭＣＳコードワード、及び前記復元ルマサンプルに基づいて修正された復元ルマサンプルを生成できる。エンコード装置は、前記復元ルマサンプルに対するインバースマッピング手順を介して前記修正された復元ルマサンプルを生成できる。例えば、エンコード装置は、インバースマッピング手順で復元ルマサンプル及び／又はビンインデックス毎に割り当てられたマッピング値（ｅｘ．ＬｍｃｓＰｉｖｏｔ［ｉ］、ｉ＝ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ．．．ＬｍｃｓＭａｘＢｉｎＩｄｘ＋１）に基づいてインバースマッピングインデックス（ｅｘ．ｉｎｖＹＩｄｘ）を導出できる。エンコード装置は、インバースマッピングインデックスに割り当てられたマッピング値（ＬｍｃｓＰｉｖｏｔ［ｉｎｖＹＩｄｘ］）に基づいて修正された復元ルマサンプルを生成できる。

【0378】

エンコード装置は、前記マッピングされた予測ルマサンプルに基づいてレジデュアルルマサンプルを生成することができる。例えば、エンコード装置は、前記マッピングされた予測ルマサンプルと原本ルマサンプルとの間の差に基づいてレジデュアルルマサンプルを導出することができる。

【0379】

エンコード装置は、レジデュアル情報を導出できる（Ｓ１７５０）。一例として、エンコード装置は、前記マッピングされた予測ルマサンプル及び前記修正された復元ルマサンプルに基づいてレジデュアル情報を生成できる。例えば、エンコード装置は、前記スケーリングされたレジデュアルクロマサンプル及び／又は前記レジデュアルルマサンプルに基づいてレジデュアル情報を導出できる。エンコード装置は、前記スケーリングされたレジデュアルクロマサンプル及び／又は前記レジデュアルルマサンプルに対する変換手順に基づいて変換係数を導出できる。例えば、変換手順は、ＤＣＴ、ＤＳＴ、ＧＢＴ、またはＣＮＴのうち、少なくとも１つを含むことができる。エンコード装置は、前記変換係数に対する量子化手順に基づいて量子化された変換係数を導出できる。量子化された変換係数は、係数スキャン順序に基づいて１次元ベクトル形態を有することができる。エンコード装置は、前記量子化された変換係数を表すレジデュアル情報を生成できる。レジデュアル情報は、指数ゴロム、ＣＡＶＬＣ、ＣＡＢＡＣなどのような様々なエンコード方法を介して生成されることができる。

【0380】

エンコード装置は、画像／ビデオ情報をエンコードすることができる（Ｓ１７６０）。前記画像情報は、ＬＭＣＳデータに関する情報及び／またはレジデュアル情報を含むことができる。例えば、ＬＭＣＳ関連情報は、線形ＬＭＣＳに関する情報を含むことができる。一例において、線形ＬＭＣＳに関する情報に基づいて少なくとも１つのＬＭＣＳコードワードが導出されることができる。エンコードされたビデオ／画像情報は、ビットストリーム形態で出力されることができる。前記ビットストリームは、ネットワークまたは格納媒体を介してデコード装置に送信されることができる。

【0381】

前記画像／ビデオ情報は、本文書の実施形態による多様な情報を含むことができる。例えば、前記画像／ビデオ情報は、前述した表１乃至表３８のうち少なくとも１つに開示された情報を含むことができる。

【0382】

一実施形態において、前記ビンに関する情報に基づいて最小ビンインデックス及び最大ビンインデックスが導出され得る。例えば、前記ＬＭＣＳコードワードに関する情報に基づいて前記最小ビンインデックスから前記最大ビンインデックスまでのビンインデックスに基づくマッピング値が導出され得る。前記マッピング値は、第１のマッピング値（ｅｘ．ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹ］）及び第２のマッピング値（ｅｘ．ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ］）を含むことができる。前記ルマサンプルのための前記マッピング手順で、前記予測ルマサンプルに基づいてマッピングインデックスが導出され、そして、前記マッピングインデックスに基づく前記第１のマッピング値を用いて前記マッピングされた予測ルマサンプルが生成されることができる。前記ルマサンプルのための前記インバースマッピング手順で、前記最小ビンインデックスから前記最大ビンインデックスまでのビンインデックスに基づく前記マッピング値に基づいてインバースマッピングインデックスが導出され、そして、前記インバースマッピングインデックスに基づく前記第２のマッピング値を用いて前記修正された復元ルマサンプルが生成されることができる。

【0383】

一実施形態において、ＬＭＣＳコードワードに基づいて最小ビンインデックスから最大ビンインデックスまでのビンインデックスに基づくマッピング値が導出され得る。例えば、前記マッピングされた予測ルマサンプル及び前記修正された復元ルマサンプルは、前記最小ビンインデックスから前記最大ビンインデックスまでの前記ビンインデックスに基づく前記マッピング値に基づいて生成されることができる。

【0384】

一実施形態において、前記最小ビンインデックスから前記最大ビンインデックスまでの前記ビンインデックスに基づくマッピング値と前記復元ルマサンプルの値との間の比較に基づいて前記インバースマッピングインデックスが導出され得る。

【0385】

一実施形態において、前記ビンインデックスは、第１のマッピング値を指す第１のビンインデックスを含み、前記最小ビンインデックスから前記最大ビンインデックスまでの前記ビンインデックスに基づくマッピング値と前記復元ルマサンプルの値との間の比較に基づいて前記第１のビンインデックスが導出され、前記復元ルマサンプル及び前記第１のマッピング値に基づいて前記修正された復元ルマサンプルのうち、少なくとも１つが導出され得る。

【0386】

一実施形態において、前記ビンインデックスは、第１のマッピング値を指す第１のビンインデックスを含み、前記第１のビンインデックスは、前記表３７に含まれた比較数式（ｌｕｍａＳａｍｐｌｅ＜ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ＋１］）に基づいて導出されることができる。例えば、前記数式において、ｌｕｍａＳａｍｐｌｅは、前記復元ルマサンプルのうち、対象ルマサンプルの値を表し、ｉｄｘＹＩｎｖは、前記ビンインデックスのうち１つを表し、ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹｉｎｖ＋１」は、前記最小ビンインデックスから前記最大ビンインデックスまでの前記ビンインデックスに基づくマッピング値のうち１つを表すことができる。前記復元ルマサンプル及び前記第１のマッピング値に基づいて前記修正された復元ルマサンプルのうち、少なくとも１つが導出され得る。一例として、前記比較数式（ｌｕｍａＳａｍｐｌｅ＜ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ＋１］）が真である場合でのビンインデックスが前記インバースマッピングインデックスとして導出されることができる。

【0387】

一実施形態において、前記表３７に含まれた比較手順（ｌｕｍａＳａｍｐｌｅ＜ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ＋１］）は、前記最小ビンインデックスから前記最大ビンインデックスまでの前記ビンインデックスの全てに対して行われることができる。

【0388】

一実施形態において、前記画像情報は、レジデュアル情報を含み、前記レジデュアル情報に基づいてレジデュアルクロマサンプルが生成され、前記ＬＭＣＳ関連情報に基づいてインバーススケーリングインデックスが識別され、前記インバーススケーリングインデックスに基づいてクロマレジデュアルスケーリングファクタが導出され、前記レジデュアルクロマサンプル及び前記クロマレジデュアルスケーリングファクタに基づいてスケーリングされたレジデュアルクロマサンプルが生成され得る。

【0389】

一実施形態において、前記レジデュアル情報に基づいてレジデュアルクロマサンプルが生成され、前記ビンインデックスは、第１のマッピング値を指す第１のビンインデックスを含み、前記最小ビンインデックスから前記最大ビンインデックスまでの前記ビンインデックスに基づくマッピング値と前記復元ルマサンプルの値との間の比較に基づいて前記第１のビンインデックスが導出され、前記第１のビンインデックスに基づいてクロマレジデュアルスケーリングファクタが導出され、前記レジデュアルクロマサンプル及び前記クロマレジデュアルスケーリングファクタに基づいてスケーリングされたレジデュアルクロマサンプルが生成され、前記スケーリングされたレジデュアルクロマサンプルに基づいて復元クロマサンプルが生成され得る。

【0390】

一実施形態において、前記画像情報は、線形ＬＭＣＳに関する情報を含み、前記ＬＭＣＳデータに関する情報は、線形ＬＭＣＳが適用されるか否かを表す線形ＬＭＣＳフラグを含み、前記マッピングされた予測ルマサンプルが前記線形ＬＭＣＳに関する情報に基づいて生成される場合、前記線形ＬＭＣＳフラグの値が１でありうる。

【0391】

一実施形態において、前記線形ＬＭＣＳに関する情報は、第１のピボットポイント（例えば、図１２のＰ１）に関する情報及び第２のピボットポイント（例えば、図１２のＰ２）に関する情報を含むことができる。例えば、前記第１のピボットポイントの入力値及びマッピング値は、各々、最小入力値、最小マッピング値である。前記第２のピボットポイントの入力値及びマッピング値は、各々、最大入力値、最大マッピング値である。前記最小入力値と前記最大入力値との間の入力値は、線形的にマッピングされることができる。

【0392】

一実施形態において、前記画像情報は、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むことができる。前記ＳＰＳは、線形ＬＭＣＳが可用であるかどうかを示す線形ＬＭＣＳ可用フラグを含むことができる。

【0393】

一実施形態において、前記ＬＭＣＳ関連情報に基づいて最小ビンインデックス（ｅｘ．ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ）及び／又は最大ビンインデックス（ｅｘ．ＬｍｃｓＭａｘＢｉｎＩｄｘ）が導出され得る。前記最小ビンインデックスに基づいて第１のマッピング値（ＬｍｃｓＰｉｖｏｔ［ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ］）が導出され得る。前記最大ビンインデックスに基づいて第２のマッピング値（ＬｍｃｓＰｉｖｏｔ［ＬｍｃｓＭａｘＢｉｎＩｄｘ］またはＬｍｃｓＰｉｖｏｔ［ＬｍｃｓＭａｘＢｉｎＩｄｘ＋１］）が導出され得る。前記復元ルマサンプル（ｅｘ．表３７または表３８のｌｕｍａＳａｍｐｌｅ）の値は、第１のマッピング値から第２のマッピング値までの範囲にあることができる。一例として、全ての復元ルマサンプルの値は、第１のマッピング値から第２のマッピング値までの範囲にあることができる。他の例として、復元ルマサンプルのうち一部サンプルの値は、第１のマッピング値から第２のマッピング値までの範囲にあることができる。

【0394】

一実施形態において、エンコード装置は、クロマレジデュアルスケーリングのためのピースワイズインデックスを生成することができる。エンコード装置は、前記ピースワイズインデックスに基づいてクロマレジデュアルスケーリングファクタを導出することができる。エンコード装置は、前記レジデュアルクロマサンプル及び前記クロマレジデュアルスケーリングファクタに基づいてスケーリングされたレジデュアルクロマサンプルを生成することができる。

【0395】

一実施形態において、前記クロマレジデュアルスケーリングファクタは、単一クロマレジデュアルスケーリングファクタである。

【0396】

一実施形態において、前記ＬＭＣＳ関連情報は、ＬＭＣＳデータフィールド及び線形ＬＭＣＳに関する情報を含むことができる。前記線形ＬＭＣＳに関する情報は、線形マッピングに関する情報と呼ばれることもできる。前記ＬＭＣＳデータフィールドは、前記線形ＬＭＣＳが適用されるかどうかを示す線形ＬＭＣＳフラグを含むことができる。前記線形ＬＭＣＳフラグの値が１である場合、前記マッピングされた予測ルマサンプルは、前記線形ＬＭＣＳに関する情報に基づいて生成されることができる。

【0397】

一実施形態において、前記画像情報は、前記最大入力値に関する情報及び前記最大マッピング値に関する情報を含むことができる。前記最大入力値は、前記最大入力値に関する情報（例えば、表２１のｌｍｃｓ＿ｍａｘ＿ｉｎｐｕｔ）の値と同じである。前記最大マッピング値は、前記最大マッピング値に関する情報（例えば、表２１のｌｍｃｓ＿ｍａｘ＿ｍａｐｐｅｄ）の値と同じである。

【0398】

一実施形態において、前記線形マッピングに関する情報は、前記第２のピボットポイントの入力デルタ値に関する情報（例えば、表２３のｌｍｃｓ＿ｍａｘ＿ｉｎｐｕｔ＿ｄｅｌｔａ）及び前記第２のピボットポイントのマッピングデルタ値に関する情報（例えば、表２３のｌｍｃｓ＿ｍａｘ＿ｍａｐｐｅｄ＿ｄｅｌｔａ）を含むことができる。前記第２のピボットポイントの入力デルタ値に基づいて前記最大入力値が導出され、前記第２のピボットポイントのマッピングデルタ値に基づいて前記最大マッピング値が導出されることができる。

【0399】

一実施形態において、前記最大入力値及び前記最大マッピング値は、前述した表２４に含まれている少なくとも１つの数式に基づいて導出されることができる。

【0400】

一実施形態において、前記マッピングされた予測ルマサンプルを生成するステップは、前記予測ルマサンプルに対するフォワードマッピングスケーリングファクタ（例えば、前述されたＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ）を導出するステップ、及び前記フォワードマッピングスケーリングファクタに基づいて前記マッピングされた予測ルマサンプルを生成するステップを含むことができる。前記フォワードマッピングスケーリングファクタは、前記予測ルマサンプルのための単一ファクタである。

【0401】

一実施形態において、前記フォワードマッピングスケーリングファクタは、前述した表２２及び／または表２４に含まれている少なくとも１つの数式に基づいて導出されることができる。

【0402】

一実施形態において、前記マッピングされた予測ルマサンプルは、前述した表２６に含まれている少なくとも１つの数式に基づいて導出されることができる。

【0403】

一実施形態において、エンコード装置は、前記復元ルマサンプル（例えば、前述されたｌｕｍａＳａｍｐｌｅ）に対するインバースマッピングスケーリングファクタ（例えば、前述されたＩｎｖＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ）を導出することができる。また、エンコード装置は、前記復元ルマサンプル及び前記インバースマッピングスケーリングファクタに基づいて修正された復元ルマサンプル（例えば、ｉｎｖＳａｍｐｌｅ）を生成することができる。前記インバースマッピングスケーリングファクタは、前記復元ルマサンプルのための単一ファクタである。

【0404】

一実施形態において、前記インバースマッピングスケーリングファクタは、前記復元ルマサンプルに基づいて導出されたピースワイズインデックスを利用して導出されることができる。

【0405】

一実施形態において、前記ピースワイズインデックスは、前述した表３６に基づいて導出されることができる。即ち、前記表３７に含まれている比較手順（ｌｕｍａＳａｍｐｌｅ＜ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ＋１］）は、前記ピースワイズインデックスが前記最小ｂｉｎインデックスである場合から前記ピースワイズインデックスが前記最大ｂｉｎインデックスである場合まで繰り返して実行されることができる。

【0406】

一実施形態において、前記インバースマッピングスケーリングファクタは、前述した表１９、表２０、表２２、表２３に含まれている少なくとも１つの数式、または数式１１または数式１２に基づいて導出されることができる。

【0407】

一実施形態において、前記修正された復元ルマサンプルは、前述された数式２１に基づいて導出されることができる。

【0408】

一実施形態において、前記ＬＭＣＳ関連情報は、前記マッピングされた予測ルマサンプルを導出するためのｂｉｎの個数に関する情報（例えば、表２７のｌｍｃｓ＿ｎｕｍ＿ｂｉｎｓ＿ｍｉｎｕｓ１）を含むことができる。例えば、ルママッピングのためのピボットポイントの個数は、前記ｂｉｎの個数と同じく設定されることができる。一例において、エンコード装置は、前記ｂｉｎの個数ほど前記ピボットポイントのデルタ入力値及びデルタマッピング値を各々生成できる。一例において、前記デルタ入力値（例えば、表２７のｌｍｃｓ＿ｄｅｌｔａ＿ｉｎｐｕｔ＿ｃｗ［ｉ］）及び前記デルタマッピング値（例えば、表２８のｌｍｃｓ＿ｄｅｌｔａ＿ｍａｐｐｅｄ＿ｃｗ［ｉ］）に基づいて前記ピボットポイントの入力値及びマッピング値が導出され、前記入力値（例えば、表２８のＬｍｃｓＰｉｖｏｔ＿ｉｎｐｕｔ［ｉ］、または表１０のＩｎｐｕｔＰｉｖｏｔ［ｉ］）及び前記マッピング値（例えば、表２８のＬｍｃｓＰｉｖｏｔ＿ｍａｐｐｅｄ［ｉ］、または表１０のＬｍｃｓＰｉｖｏｔ［ｉ］）に基づいて、前記マッピングされた予測ルマサンプルが生成されることができる。

【0409】

一実施形態において、エンコード装置は、前記ＬＭＣＳ関連情報に含まれている少なくとも１つのＬＭＣＳコードワードと原本コードワード（ＯｒｇＣＷ）とに基づいてＬＭＣＳデルタコードワードを導出することができ、少なくとも１つのＬＭＣＳコードワードと原本コードワードに基づいてマッピングされたルマ予測サンプルを導出することもできる。一例において、前記線形マッピングに関する情報は、ＬＭＣＳデルタコードワードに関する情報を含むことができる。

【0410】

一実施形態において、前記ＬＭＣＳデルタコードワードとＯｒｇＣＷとの合算に基づいて、前記少なくとも１つのＬＭＣＳコードワードが導出されることができ、例えば、ＯｒｇＣＷは（１＜＜ＢｉｔＤｅｐｔｈＹ）／１６であり、ここで、ＢｉｔＤｅｐｔｈＹは、ルマビット深度を示すことができる。本実施形態は、数式１２に基づいて行われることができる。

【0411】

一実施形態において、前記ＬＭＣＳデルタコードワードとＯｒｇＣＷ＊（ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ－ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ＋１）との合算に基づいて前記少なくとも１つのＬＭＣＳコードワードが導出されることができ、ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ及びｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘは、各々、最大ｂｉｎインデックス及び最小ｂｉｎインデックスであり、ＯｒｇＣＷは（１＜＜ＢｉｔＤｅｐｔｈＹ）／１６である。本実施形態は、数式１５、１６に基づいて行われることができる。

【0412】

一実施形態において、前記少なくとも１つのＬＭＣＳコードワードは、２の倍数である。

【0413】

一実施形態において、前記復元ルマサンプルのルマビット深度（ＢｉｔＤｅｐｔｈＹ）が１０より高い場合、前記少なくとも１つのＬＭＣＳコードワードは、１＜＜（ＢｉｔＤｅｐｔｈＹ－１０）の倍数である。

【0414】

一実施形態において、前記少なくとも１つのＬＭＣＳコードワードは、（ＯｒｇＣＷ＞＞１）から（ＯｒｇＣＷ＜＜１）－１までの範囲内にある。

【0415】

図１９及び図２０は、本文書の実施形態に係る画像／ビデオデコード方法及び関連コンポーネントの一例を概略的に示す。図１９において開示された方法は、図３において開示されたデコード装置によって行われることができる。具体的に、例えば、図１９のＳ１９００は、前記デコード装置のエントロピーデコード部３１０によって行われることができ、Ｓ１９１０、Ｓ１９２０は、前記デコード装置の予測部３３０によって行われることができ、Ｓ１９３０は、前記デコード装置のレジデュアル処理部３２０または予測部３３０によって行われることができ、Ｓ１９４０は、前記デコード装置のレジデュアル処理部３２０、予測部３３０、及び／又は加算部３４０によって行われることができる。図１９において開示された方法は、本文書において上述した実施形態を含むことができる。

【0416】

図１９に示すように、デコード装置は、ビデオ／画像情報を受信／取得できる（Ｓ１９００）。ビデオ／画像情報は、予測モード情報、ＬＭＣＳ関連情報、及び／又はレジデュアル情報を含むことができる。例えば、ＬＭＣＳ関連情報は、上述したルママッピング（ｅｘ．フォワードマッピング、インバースマッピング、線形マッピング）に関する情報、クロマレジデュアルスケーリングに関する情報、及び／又はＬＭＣＳ（または、リシェイピング、リシェイパ）に関連したインデックス（ｅｘ．最大ビンインデックス、最小ビンインデックス、マッピングインデックス）を含むことができる。デコード装置は、ビットストリームを介して前記画像／ビデオ情報を受信／取得できる。

【0417】

前記画像／ビデオ情報は、本文書の実施形態による様々な情報を含むことができる。例えば、前記画像／ビデオ情報は、前述した表１乃至表３８のうち少なくとも１つに開示された情報を含むことができる。

【0418】

デコード装置は、前記予測モード情報に基づいて現在ピクチャ内の現在ブロックのために予測モードを導出できる（Ｓ１９１０）。デコード装置は、インター予測モードのうち、本文書に開示された様々なモードのうち、少なくとも１つを導出できる。

【0419】

デコード装置は、予測ルマサンプルを生成できる（Ｓ１９２０）。デコード装置は、予測モードに基づいて前記現在ブロックの予測ルマサンプルを導出できる。デコード装置は、現在ブロックに含まれた原本サンプルに対する予測を行うことによって予測ルマサンプルを生成できる。

【0420】

デコード装置は、マッピングされた予測ルマサンプルを生成できる（Ｓ１９３０）。デコード装置は、ルマサンプルのためのマッピング手順に基づいてマッピングされた予測ルマサンプルを生成できる。例えば、デコード装置は、ルママッピングのためのピボットポイントの入力値及びマッピング値（出力値）を導出でき、そして、前記入力値及びマッピング値に基づいてマッピングされた予測ルマサンプルを生成できる。一例として、デコード装置は、第１の予測ルマサンプルに基づいて（フォワード）マッピングインデックス（ｉｄｘＹ）を導出でき、そして、前記マッピングインデックスに対応するピボットポイントの入力値及びマッピング値に基づいて第１のマッピングされた予測ルマサンプルを生成できる。他の例として、線形マッピング（線形リシェイピング、線形ＬＭＣＳ）が使用され得るし、そして、線形マッピングにおける２個のピボットポイントから導出されたフォワードマッピングスケーリングファクタに基づいてマッピングされた予測ルマサンプルが生成されることができ、したがって、線形マッピングによりインデックス導出手順が省略されることもできる。

【0421】

デコード装置は、前記レジデュアル情報に基づいてレジデュアルルマサンプルを生成できる。例えば、デコード装置は、前記レジデュアル情報に基づいて量子化された変換係数を導出できる。量子化された変換係数は、係数スキャン順序に基づいて１次元ベクトル形態を有することができる。デコード装置は、前記量子化された変換係数に対する逆量子化手順に基づいて変換係数を導出できる。デコード装置は、前記変換係数に対する逆変換手順に基づいてレジデュアルサンプルを導出できる。前記レジデュアルサンプルは、レジデュアルルマサンプル及び／又はレジデュアルクロマサンプルを含むことができる。

【0422】

デコード装置は、復元ルマサンプルを生成することができる。デコード装置は、マッピングされた予測ルマサンプルに基づいて復元ルマサンプルを生成することができる。具体的に、デコード装置は、前述されたレジデュアルルマサンプルを、マッピングされた予測ルマサンプルと合算でき、前記合算結果に基づいて復元ルマサンプルを生成することができる。

【0423】

デコード装置は、修正された復元ルマサンプルを生成できる。デコード装置は、ルマサンプルのためのインバースマッピング手順に基づいて修正された復元ルマサンプルを生成できる。デコード装置は、前記ＬＭＣＳデータに関する情報及び前記復元ルマサンプルに基づいて修正された復元ルマサンプルを生成できる（Ｓ１９４０）。デコード装置は、前記復元ルマサンプルに対するインバースマッピング手順を介して前記修正された復元ルマサンプルを生成できる。

【0424】

デコード装置は、スケーリングされたレジデュアルクロマサンプルを生成することができる。具体的に、デコード装置は、クロマレジデュアルスケーリングファクタを導出することができ、クロマレジデュアルスケーリングファクタに基づいてスケーリングされたレジデュアルクロマサンプルを生成することができる。ここで、デコード端のクロマレジデュアルスケーリングは、エンコード端とは反対に、インバースクロマレジデュアルスケーリングと呼ばれることもできる。したがって、デコード装置により導出されたクロマレジデュアルスケーリングファクタは、インバースクロマレジデュアルスケーリングファクタと呼ばれることができ、インバーススケーリングされたレジデュアルクロマサンプルが生成されることができる。

【0425】

デコード装置は、復元クロマサンプルを生成することができる。デコード装置は、スケーリングされたレジデュアルクロマサンプルに基づいて復元クロマサンプルを生成することができる。具体的に、デコード装置は、クロマ成分に対する予測手順を実行することができ、予測クロマサンプルを生成することができる。デコード装置は、予測クロマサンプルとスケーリングされたレジデュアルクロマサンプルとの合算に基づいて復元クロマサンプルを生成することができる。

【0426】

一実施形態において、ＬＭＣＳコードワードに基づいて最小ビンインデックスから最大ビンインデックスまでのビンインデックスに基づくマッピング値が導出され得る。例えば、前記マッピングされた予測ルマサンプル及び前記修正された復元ルマサンプルは、前記最小ビンインデックスから前記最大ビンインデックスまでの前記ビンインデックスに基づく前記マッピング値に基づいて生成されることができる。

【0427】

一実施形態において、前記ＬＭＣＳ関連情報は、マッピング及びインバースマッピングのためのビンに関する情報及びＬＭＣＳコードワードに関する情報を含むことができる。例えば、前記ビンに関する情報に基づいて最小ビンインデックス及び最大ビンインデックスが導出され得る。前記ＬＭＣＳコードワードに関する情報に基づいて前記最小ビンインデックスから前記最大ビンインデックスまでのビンインデックスに基づくマッピング値が導出され得る。前記マッピング値は、第１のマッピング値（ｅｘ．ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹ］）及び第２のマッピング値（ｅｘ．ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ］）を含むことができる。前記ルマサンプルのための前記マッピング手順で、前記予測ルマサンプルに基づいてマッピングインデックス（ｅｘ．ｉｄｘＹ）が導出され、そして、前記マッピングインデックスに基づく前記第１のマッピング値を用いて前記マッピングされた予測ルマサンプルが生成されることができる。前記ルマサンプルのための前記インバースマッピング手順で、前記最小ビンインデックスから前記最大ビンインデックスまでのビンインデックスに基づく前記マッピング値に基づいてインバースマッピングインデックスが導出され、そして、前記インバースマッピングインデックス（ｅｘ．ｉｄｘＹＩｎｖ）に基づく前記第２のマッピング値を用いて前記修正された復元ルマサンプルが生成されることができる。

【0428】

一実施形態において、前記画像情報は、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むことができる。前記ＳＰＳは、線形ＬＭＣＳが可用であるかどうかを示す線形ＬＭＣＳ可用フラグを含むことができる。

【0429】

一実施形態において、前記ｂｉｎインデックスは、第１のマッピング値を指す第１のｂｉｎインデックスを含み、前記最小ｂｉｎインデックスから前記最大ｂｉｎインデックスまでの前記ｂｉｎインデックスに基づくマッピング値と前記復元ルマサンプルの値との比較に基づいて前記第１のｂｉｎインデックスが導出され、前記復元ルマサンプル及び前記第１のマッピング値に基づいて前記修正された復元ルマサンプルのうち少なくとも一つが導出されることができる。

【0430】

一実施形態において、前記ビンインデックスは、第１のマッピング値を指す第１のビンインデックスを含み、前記第１のビンインデックスは、前記表３７に含まれた比較数式（ｌｕｍａＳａｍｐｌｅ＜ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ＋１］）に基づいて導出されることができる。例えば、前記数式において、ｌｕｍａＳａｍｐｌｅは、前記復元ルマサンプルのうち、対象ルマサンプルの値を表し、ｉｄｘＹＩｎｖは、前記ビンインデックスのうち１つを表し、ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹｉｎｖ＋１」は、前記最小ビンインデックスから前記最大ビンインデックスまでの前記ビンインデックスに基づくマッピング値のうち１つを表すことができる。前記復元ルマサンプル及び前記第１のマッピング値に基づいて前記修正された復元ルマサンプルのうち、少なくとも１つが導出され得る。一例として、前記比較数式（ｌｕｍａＳａｍｐｌｅ＜ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ＋１］）が真である場合でのビンインデックスが前記インバースマッピングインデックスとして導出されることができる。

【0431】

一実施形態において、前記表３７に含まれた比較手順（ｌｕｍａＳａｍｐｌｅ＜ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ＋１］）は、前記最小ビンインデックスから前記最大ビンインデックスまでの前記ビンインデックスの全てに対して行われることができる。

【0432】

一実施形態において、前記画像情報は、レジデュアル情報を含み、前記レジデュアル情報に基づいてレジデュアルクロマサンプルが生成され、前記ＬＭＣＳ関連情報に基づいてインバーススケーリングインデックスが識別され、前記インバーススケーリングインデックスに基づいてクロマレジデュアルスケーリングファクタが導出され、前記レジデュアルクロマサンプル及び前記クロマレジデュアルスケーリングファクタに基づいてスケーリングされたレジデュアルクロマサンプルが生成され得る。

【0433】

一実施形態において、前記レジデュアル情報に基づいてレジデュアルクロマサンプルが生成され、前記ビンインデックスは、第１のマッピング値を指す第１のビンインデックスを含み、前記最小ビンインデックスから前記最大ビンインデックスまでの前記ビンインデックスに基づくマッピング値と前記復元ルマサンプルの値との間の比較に基づいて前記第１のビンインデックスが導出され、前記第１のビンインデックスに基づいてクロマレジデュアルスケーリングファクタが導出され、前記レジデュアルクロマサンプル及び前記クロマレジデュアルスケーリングファクタに基づいてスケーリングされたレジデュアルクロマサンプルが生成され、前記スケーリングされたレジデュアルクロマサンプルに基づいて復元クロマサンプルが生成され得る。

【0434】

一実施形態において、前記ＬＭＣＳデータに関する情報は、線形ＬＭＣＳに関する情報を含むことができる。前記線形ＬＭＣＳに関する情報は、線形マッピングに関する情報と称されることもできる。前記ＬＭＣＳデータに関する情報は、線形ＬＭＣＳが適用されるか否かを表す線形ＬＭＣＳフラグを含むことができる。前記線形ＬＭＣＳフラグの値が１である場合、前記マッピングされた予測ルマサンプルは、前記線形ＬＭＣＳに関する情報に基づいて生成されることができる。

【0435】

一実施形態において、前記線形ＬＭＣＳに関する情報は、第１のピボットポイント（例えば、図１２のＰ１）に関する情報及び第２のピボットポイント（例えば、図１２のＰ２）に関する情報を含むことができる。例えば、前記第１のピボットポイントの入力値及びマッピング値は、各々、最小入力値、最小マッピング値である。前記第２のピボットポイントの入力値及びマッピング値は、各々、最大入力値、最大マッピング値である。前記最小入力値と前記最大入力値との間の入力値は、線形的にマッピングされることができる。

【0436】

一実施形態において、前記ＬＭＣＳ関連情報に基づいて最小ｂｉｎインデックス（例えば、ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ）及び／または最大ｂｉｎインデックス（例えば、ＬｍｃｓＭａｘＢｉｎＩｄｘ）が導出されることができる。前記最小ｂｉｎインデックスに基づいて第１のマッピング値（ＬｍｃｓＰｉｖｏｔ［ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ］）が導出されることができる。前記最大ｂｉｎインデックスに基づいて第２のマッピング値（ＬｍｃｓＰｉｖｏｔ［ＬｍｃｓＭａｘＢｉｎＩｄｘ］またはＬｍｃｓＰｉｖｏｔ［ＬｍｃｓＭａｘＢｉｎＩｄｘ＋１］）が導出されることができる。前記復元ルマサンプル（例えば、表３７または表３８のｌｕｍａＳａｍｐｌｅ）の値は、第１のマッピング値から第２のマッピング値までの範囲にある。一例において、全ての復元ルマサンプルの値は、第１のマッピング値から第２のマッピング値までの範囲にある。他の例において、復元ルマサンプルのうち一部サンプルの値は、第１のマッピング値から第２のマッピング値までの範囲にある。

【0437】

一実施形態において、前記ＬＭＣＳ関連情報に基づいてピースワイズインデックス（例えば、表３６、表３７、または表３８のｉｄｘＹＩｎｖ）が識別されることができる。デコード装置は、前記ピースワイズインデックスに基づいてクロマレジデュアルスケーリングファクタを導出することができる。デコード装置は、前記レジデュアルクロマサンプル及び前記クロマレジデュアルスケーリングファクタに基づいてスケーリングされたレジデュアルクロマサンプルを生成することができる。

【0438】

一実施形態において、前記クロマレジデュアルスケーリングファクタは、単一クロマレジデュアルスケーリングファクタであることができる。

【0439】

一実施形態において、前記画像情報は、前記最大入力値に関する情報及び前記最大マッピング値に関する情報を含むことができる。前記最大入力値は、前記最大入力値に関する情報（例えば、表２１のｌｍｃｓ＿ｍａｘ＿ｉｎｐｕｔ）の値と同じである。前記最大マッピング値は、前記最大マッピング値に関する情報（例えば、表２１のｌｍｃｓ＿ｍａｘ＿ｍａｐｐｅｄ）の値と同じである。

【0440】

一実施形態において、前記線形マッピングに関する情報は、前記第２のピボットポイントの入力デルタ値に関する情報（例えば、表２３のｌｍｃｓ＿ｍａｘ＿ｉｎｐｕｔ＿ｄｅｌｔａ）及び前記第２のピボットポイントのマッピングデルタ値に関する情報（例えば、表２３のｌｍｃｓ＿ｍａｘ＿ｍａｐｐｅｄ＿ｄｅｌｔａ）を含むことができる。前記第２のピボットポイントの入力デルタ値に基づいて前記最大入力値が導出され、前記第２のピボットポイントのマッピングデルタ値に基づいて前記最大マッピング値が導出されることができる。

【0441】

一実施形態において、前記最大入力値及び前記最大マッピング値は、前述した表２４に含まれている少なくとも一つの数式に基づいて導出されることができる。

【0442】

一実施形態において、前記マッピングされた予測ルマサンプルを生成するステップは、前記予測ルマサンプルに対するフォワードマッピングスケーリングファクタ（例えば、前述されたＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ）を導出するステップ、及び前記フォワードマッピングスケーリングファクタに基づいて前記マッピングされた予測ルマサンプルを生成するステップを含むことができる。前記フォワードマッピングスケーリングファクタは、前記予測ルマサンプルのための単一ファクタである。

【0443】

一実施形態において、前記インバースマッピングスケーリングファクタは、前記復元ルマサンプルに基づいて導出されたピースワイズインデックスを利用して導出されることができる。

【0444】

一実施形態において、前記ピースワイズインデックスは、前述した表３６に基づいて導出されることができる。即ち、前記表３７に含まれている比較手順（ｌｕｍａＳａｍｐｌｅ＜ＬｍｃｓＰｉｖｏｔ［ｉｄｘＹＩｎｖ＋１］）は、前記ピースワイズインデックスが前記最小ｂｉｎインデックスである場合から前記ピースワイズインデックスが前記最大ｂｉｎインデックスである場合まで繰り返して実行されることができる。

【0445】

一実施形態において、前記フォワードマッピングスケーリングファクタは、前述した表２２及び／または表２４に含まれている少なくとも一つの数式に基づいて導出されることができる。

【0446】

一実施形態において、前記マッピングされた予測ルマサンプルは、前述した表２６に含まれている少なくとも一つの数式に基づいて導出されることができる。

【0447】

一実施形態において、デコード装置は、前記復元ルマサンプル（例えば、前述されたｌｕｍａＳａｍｐｌｅ）に対するインバースマッピングスケーリングファクタ（例えば、前述されたＩｎｖＳｃａｌｅＣｏｅｆｆＳｉｎｇｌｅ）を導出することができる。また、デコード装置は、前記復元ルマサンプル及び前記インバースマッピングスケーリングファクタに基づいて修正された復元ルマサンプル（例えば、ｉｎｖＳａｍｐｌｅ）を生成することができる。前記インバースマッピングスケーリングファクタは、前記復元ルマサンプルのための単一ファクタである。

【0448】

一実施形態において、前記インバースマッピングスケーリングファクタは、前述した表１９、表２０、表２２、表２４に含まれている少なくとも一つの数式、または数式１１または数式１２に基づいて導出されることができる。

【0449】

一実施形態において、前記修正された復元ルマサンプルは、前述された数式２１に基づいて導出されることができる。

【0450】

一実施形態において、前記ＬＭＣＳ関連情報は、前記マッピングされた予測ルマサンプルを導出するためのｂｉｎの個数に関する情報（例えば、表２７のｌｍｃｓ＿ｎｕｍ＿ｂｉｎｓ＿ｍｉｎｕｓ１）を含むことができる。例えば、ルママッピングのためのピボットポイントの個数は、前記ｂｉｎの個数と同じく設定されることができる。一例において、デコード装置は、前記ｂｉｎの個数ほど前記ピボットポイントのデルタ入力値及びデルタマッピング値を各々生成できる。一例において、前記デルタ入力値（例えば、表２７のｌｍｃｓ＿ｄｅｌｔａ＿ｉｎｐｕｔ＿ｃｗ［ｉ］）及び前記デルタマッピング値（例えば、表２８のｌｍｃｓ＿ｄｅｌｔａ＿ｍａｐｐｅｄ＿ｃｗ［ｉ］）に基づいて前記ピボットポイントの入力値及びマッピング値が導出され、前記入力値（例えば、表２８のＬｍｃｓＰｉｖｏｔ＿ｉｎｐｕｔ［ｉ］、または表１０のＩｎｐｕｔＰｉｖｏｔ［ｉ］）及び前記マッピング値（例えば、表２８のＬｍｃｓＰｉｖｏｔ＿ｍａｐｐｅｄ［ｉ］、または表１０のＬｍｃｓＰｉｖｏｔ［ｉ］）に基づいて、前記マッピングされた予測ルマサンプルが生成されることができる。

【0451】

一実施形態において、デコード装置は、前記ＬＭＣＳ関連情報に含まれている少なくとも一つのＬＭＣＳコードワードと原本コードワード（ＯｒｇＣＷ）に基づいてＬＭＣＳデルタコードワードを導出することができ、少なくとも一つのＬＭＣＳコードワードと原本コードワードに基づいてマッピングされたルマ予測サンプルを導出することもできる。一例において、前記線形マッピングに関する情報は、ＬＭＣＳデルタコードワードに関する情報を含むことができる。

【0452】

一実施形態において、前記ＬＭＣＳデルタコードワードとＯｒｇＣＷの合算に基づいて、前記少なくとも一つのＬＭＣＳコードワードが導出されることができ、例えば、ＯｒｇＣＷは（１＜＜ＢｉｔＤｅｐｔｈＹ）／１６であり、ここで、ＢｉｔＤｅｐｔｈＹは、ルマビット深度を示すことができる。本実施形態は、数式１２に基づいて行われることができる。

【0453】

一実施形態において、前記ＬＭＣＳデルタコードワードとＯｒｇＣＷ＊（ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ－ｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘ＋１）の合算に基づいて前記少なくとも一つのＬＭＣＳコードワードが導出されることができ、ｌｍｃｓ＿ｍａｘ＿ｂｉｎ＿ｉｄｘ及びｌｍｃｓ＿ｍｉｎ＿ｂｉｎ＿ｉｄｘは、各々、最大ｂｉｎインデックス及び最小ｂｉｎインデックスであり、ＯｒｇＣＷは（１＜＜ＢｉｔＤｅｐｔｈＹ）／１６である。本実施形態は、数式１５、１６に基づいて行われることができる。

【0454】

一実施形態において、前記少なくとも一つのＬＭＣＳコードワードは、２の倍数であることができる。

【0455】

一実施形態において、前記復元ルマサンプルのルマビット深度（ＢｉｔＤｅｐｔｈＹ）が１０より高い場合、前記少なくとも一つのＬＭＣＳコードワードは、１＜＜（ＢｉｔＤｅｐｔｈＹ－１０）の倍数である。

【0456】

一実施形態において、前記少なくとも一つのＬＭＣＳコードワードは、（ＯｒｇＣＷ＞＞１）から（ＯｒｇＣＷ＜＜１）－１までの範囲内にある。

【0457】

前述した実施形態において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、該当実施形態は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、異なるステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本文書の実施形態の範囲に影響を与えずに削除され得ることを理解することができる。

【0458】

前述した本文書の実施形態に係る方法は、ソフトウェアの形態で実現されることができ、本文書に係るエンコード装置及び／又はデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の画像処理を行う装置に含まれ得る。

【0459】

本文書で、実施形態がソフトウェアで実現される際、前述した方法は、前述した機能を行うモジュール（過程、機能等）で実現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。即ち、本文書で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われ得る。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われ得る。この場合、実現のための情報（ｅｘ．ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）又はアルゴリズムがデジタル格納媒体に格納されることができる。

【0460】

また、本文書の実施形態が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、画像電話ビデオ装置、運送手段端末（ｅｘ．車両（自律走行車両含む）端末、飛行機端末、船舶端末など）及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含み得る。

【0461】

また、本文書の実施形態が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に格納されることができる。本文書の実施形態に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に格納されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取られるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ格納装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で実現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取られる記録媒体に格納されるか、有無線通信ネットワークを介して送信されることができる。

【0462】

また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で実現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に格納されることができる。

【0463】

図２１は、本文書に開示された実施形態が適用されることができるコンテンツストリーミングシステムの例を示す。

【0464】

図２１を参照すると、本文書の実施形態が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。

【0465】

前記エンコードサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略され得る。

【0466】

前記ビットストリームは、本文書の実施形態が適用されるエンコード方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを格納することができる。

【0467】

前記ストリーミングサーバは、ウェブサーバを介してのユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すれば、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

【0468】

前記ストリーミングサーバは、メディア格納所及び／又はエンコードサーバからコンテンツを受信することができる。例えば、前記エンコードサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムに受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間、格納することができる。

【0469】

前記ユーザ装置の例では、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがありうる。

【0470】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

【0471】

本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として実現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法として実現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として実現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として実現されることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】