特表 2024-545913 ＣＣＬＭイントラ予測に基づく画像符号化／復号化方法、装置、及びビットストリームを保存する記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-13

(54)【発明の名称】ＣＣＬＭイントラ予測に基づく画像符号化／復号化方法、装置、及びビットストリームを保存する記録媒体

(51)【国際特許分類】

   H04N 19/11 20140101AFI20241206BHJP

   H04N 19/105 20140101ALI20241206BHJP

   H04N 19/136 20140101ALI20241206BHJP

   H04N 19/176 20140101ALI20241206BHJP

   H04N 19/186 20140101ALI20241206BHJP

   H04N 19/593 20140101ALI20241206BHJP

   H04N 19/70 20140101ALI20241206BHJP

【ＦＩ】

H04N19/11

H04N19/105

H04N19/136

H04N19/176

H04N19/186

H04N19/593

H04N19/70

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024539557

(86)(22)【出願日】2022-12-30

(85)【翻訳文提出日】2024-06-28

(86)【国際出願番号】 KR2022021734

(87)【国際公開番号】W WO2023128704

(87)【国際公開日】2023-07-06

(31)【優先権主張番号】10-2021-0192930

(32)【優先日】2021-12-30

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】チェ チャンウォン

(72)【発明者】

【氏名】イム チェヒョン

(72)【発明者】

【氏名】ユ ソンミ

(72)【発明者】

【氏名】チェ チョンア

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LB05

5C159MA04

5C159PP16

5C159RC12

5C159TA31

5C159TA33

5C159TB08

5C159TC26

5C159TC42

5C159TD12

5C159UA02

5C159UA05

(57)【要約】

画像符号化／復号化方法及び装置が提供される。本開示による画像復号化方法は、クロマブロックのイントラ予測モードがＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ参照サンプルを導出するステップと、前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを誘導するステップと、前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得されることができる。
【選択図】図１５

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
前記画像復号化方法は、
クロマブロックのイントラ予測モードがＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ（ｌｕｍａ）参照サンプルを導出するステップと、
前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを誘導するステップと、
前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、
前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得される、画像復号化方法。

【請求項2】

前記ＣＣＬＭパラメータを誘導するステップは、
前記クロマブロックに隣接した２つ以上の前記クロマ参照ラインに存在する前記クロマ参照サンプルを用いるＬＭＳ（Ｌｉｎｅａｒ－Ｍｅａｎ－Ｓｑｕａｒｅ）に基づいて行われる、請求項１に記載の画像復号化方法。

【請求項3】

前記ＣＣＬＭパラメータを誘導するステップは、
前記クロマブロックに隣接した２つ以上の前記クロマ参照ラインに存在する前記クロマ参照サンプルのうちの所定の個数を用いる、請求項１に記載の画像復号化方法。

【請求項4】

前記クロマブロックが非正方形ブロックであることに基づいて、前記クロマブロックに隣接した一番目の参照ラインに対するサブサンプリング方法と、前記クロマブロックに隣接した二番目の参照ラインに対するサブサンプリング方法とは同一である、請求項１に記載の画像復号化方法。

【請求項5】

前記クロマブロックが非正方形ブロックであることに基づいて、前記クロマブロックに隣接した一番目の参照ラインに対するサブサンプリング方法と、前記クロマブロックに隣接した二番目の参照ラインに対するサブサンプリング方法とは異なる、請求項１に記載の画像復号化方法。

【請求項6】

前記クロマブロックの上端境界がＣＴＵの境界と一致するか否かに基づいて、前記クロマ参照サンプルを導出するための前記クロマ参照ラインの個数が異なるように決定される、請求項１に記載の画像復号化方法。

【請求項7】

前記二つ以上のクロマ参照ラインの数はＮであることに基づいて、２Ｎ個の複数の上側ルマ参照ラインのうちの２ｉ－１番目の上側ルマ参照ライン及び２ｉ番目の上側ルマ参照ラインに基づいてダウンサンプリングされたｉ番目の上側ルマ参照ラインを生成し－このとき、ｉは１～Ｎの整数である、
前記ルマ参照サンプルは、前記ダウンサンプリングされたＮ個の上側ルマ参照ラインに基づいて取得される、請求項１に記載の画像復号化方法。

【請求項8】

前記二つ以上のクロマ参照ラインの数はＮであることに基づいて、２Ｎ＋１個の複数の左側ルマ参照ラインのうちの２ｉ－１番目の左側ルマ参照ライン、２ｉ番目の左側ルマ参照ライン及び２ｉ＋１番目の左側ルマ参照ラインに基づいてダウンサンプリングされたｉ番目の左側ルマ参照ラインを生成し－このとき、ｉは１～Ｎの整数である、
前記ルマ参照サンプルは、前記ダウンサンプリングされたＮ個の左側ルマ参照ラインに基づいて取得される、請求項１に記載の画像復号化方法。

【請求項9】

前記クロマブロックの大きさと所定のしきい値との比較に基づいて、前記ＣＣＬＭパラメータの誘導に用いられるクロマ参照ラインの個数が異なるように決定される、請求項１に記載の画像復号化方法。

【請求項10】

前記クロマブロックに適用されるＣＣＬＭの種類に基づいて、前記ＣＣＬＭパラメータの誘導に用いられるクロマ参照ラインの個数が異なるように決定される、請求項１に記載の画像復号化方法。

【請求項11】

前記ＣＣＬＭパラメータを誘導するステップは、
前記ルマ参照サンプル及び前記クロマ参照サンプルを所定のしきい値に基づいて２つ以上のグループに分類するステップと、
分類された前記グループ別にＣＣＬＭパラメータを誘導するステップと、をさらに含む、請求項１に記載の画像復号化方法。

【請求項12】

画像符号化装置によって行われる画像符号化方法であって、
前記符号化方法は、
クロマブロックのイントラ予測モードがＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ参照サンプルを導出するステップと、
前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを誘導するステップと、
前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、
前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得される、画像符号化方法。

【請求項13】

画像符号化方法によって生成されたビットストリームを保存するコンピュータ可読記録媒体において、
前記画像符号化方法は、
クロマブロックのイントラ予測モードがＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ参照サンプルを導出するステップと、
前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを誘導するステップと、
前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、
前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得される、コンピュータ可読記録媒体。

【請求項14】

画像符号化方法によって生成されたビットストリームを伝送する方法において、
前記画像符号化方法は、
クロマブロックのイントラ予測モードがＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ参照サンプルを導出するステップと、
前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを誘導するステップと、
前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、
前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得される、ビットストリーム伝送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化／復号化方法、装置、及びビットストリームを保存する記録媒体に関し、より詳細には、ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）イントラ予測に基づく画像符号化／復号化方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを保存する記録媒体に関する。

【背景技術】

【0002】

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

【0003】

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

【0005】

また、本開示は、ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）イントラ予測を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0006】

また、本開示は、複数の参照ライン基盤のＣＣＬＭイントラ予測を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0007】

また、本開示は、向上したＬＭＳ（Ｌｉｎｅａｒ－Ｍｅａｎ－Ｓｑｕａｒｅ）基盤のＣＣＬＭイントラ予測を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0008】

また、本開示は、向上した所定の個数の画素を用いた線形モデルＣＣＬＭイントラ予測を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0009】

また、本開示は、適応的に複数の参照ライン基盤のＣＣＬＭイントラ予測を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0010】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存する非一時的コンピュータ可読記録媒体を提供することを目的とする。

【0011】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に用いられるビットストリームを保存する非一時的コンピュータ可読記録媒体を提供することを目的とする。

【0012】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

【0013】

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【課題を解決するための手段】

【0014】

本開示の一実施例によれば、画像復号化装置によって行われる画像復号化方法であって、前記画像復号化方法は、クロマブロックのイントラ予測モードがＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ（ｌｕｍａ）参照サンプルを導出するステップと、前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを誘導するステップと、前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得され得る。

【0015】

本開示の一実施例によれば、前記ＣＣＬＭパラメータを誘導するステップは、前記クロマブロックに隣接した２つ以上の前記クロマ参照ラインに存在する前記クロマ参照サンプルを用いるＬＭＳ（Ｌｉｎｅａｒ－Ｍｅａｎ－Ｓｑｕａｒｅ）に基づいて行われることができる。

【0016】

本開示の一実施例によれば、前記ＣＣＬＭパラメータを誘導するステップは、前記クロマブロックに隣接した２つ以上の前記クロマ参照ラインに存在する前記クロマ参照サンプルのうちの所定の個数を用いることができる。

【0017】

本開示の一実施例によれば、前記クロマブロックが非正方形ブロックであることに基づいて、前記クロマブロックに隣接した一番目の参照ラインに対するサブサンプリング方法と、前記クロマブロックに隣接した二番目の参照ラインに対するサブサンプリング方法とは同一であり得る。

【0018】

本開示の一実施例によれば、前記クロマブロックが非正方形ブロックであることに基づいて、前記クロマブロックに隣接した一番目の参照ラインに対するサブサンプリング方法と、前記クロマブロックに隣接した二番目の参照ラインに対するサブサンプリング方法とは異なり得る。

【0019】

本開示の一実施例によれば、前記クロマブロックの上端境界がＣＴＵの境界と一致するか否かに基づいて、前記クロマ参照サンプルを導出するための前記クロマ参照ラインの個数が異なるように決定できる。

【0020】

本開示の一実施例によれば、複数の上側ルマ参照ラインは、一番目～四番目の上側参照ラインを含み、前記一番目の上側参照ライン及び前記二番目の上側参照ラインに基づいてダウンサンプリングされた第１参照ラインを生成し、前記三番目の上側参照ライン及び前記四番目の上側参照ラインに基づいてダウンサンプリングされた第２参照ラインを生成し、前記ルマ参照サンプルは、ダウンサンプリングされた前記第１参照ライン及び前記第２参照ラインに基づいて取得され得る。

【0021】

本開示の一実施例によれば、複数の左側ルマ参照ラインは、一番目～五番目の左側参照ラインを含み、前記一番目の左側参照ライン、前記二番目の左側参照ライン及び前記三番目の左側参照ラインに基づいてダウンサンプリングされた第３参照ラインを生成し、前記三番目の左側参照ライン、前記四番目の左側参照ライン及び前記五番目の左側参照ラインに基づいてダウンサンプリングされた第４参照ラインを生成し、前記ルマ参照サンプルは、ダウンサンプリングされた前記第３参照ライン及び前記第４参照ラインに基づいて取得され得る。

【0022】

本開示の一実施例によれば、前記クロマブロックの大きさと所定のしきい値との比較に基づいて、前記ＣＣＬＭパラメータの誘導に用いられるクロマ参照ラインの個数が異なるように決定できる。

【0023】

本開示の一実施例によれば、前記クロマブロックに適用されるＣＣＬＭの種類に基づいて、前記ＣＣＬＭパラメータの誘導に用いられるクロマ参照ラインの個数が異なるように決定できる。

【0024】

本開示の一実施例によれば、前記ＣＣＬＭパラメータを誘導するステップは、前記ルマ参照サンプル及び前記クロマ参照サンプルを所定のしきい値に基づいて２つ以上のグループに分類するステップと、分類された前記グループ別にＣＣＬＭパラメータを誘導するステップと、をさらに含むことができる。

【0025】

本開示の一実施例によれば、画像符号化装置によって行われる画像符号化方法であって、前記符号化方法は、クロマブロックのイントラ予測モードがＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ参照サンプルを導出するステップと、前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを誘導するステップと、前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得され得る。

【0026】

本開示の一実施例によれば、画像符号化方法によって生成されたビットストリームを保存するコンピュータ可読記録媒体において、前記画像符号化方法は、クロマブロックのイントラ予測モードがＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ参照サンプルを導出するステップと、前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを誘導するステップと、前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得され得る。

【0027】

本開示の一実施例によれば、画像符号化方法によって生成されたビットストリームを伝送する方法において、前記画像符号化方法は、クロマブロックのイントラ予測モードがＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ参照サンプルを導出するステップと、前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを誘導するステップと、前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得され得る。

【発明の効果】

【0028】

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

【0029】

また、本開示によれば、ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）イントラ予測を行う画像符号化／復号化方法及び装置が提供されることができる。

【0030】

また、本開示によれば、複数の参照ライン基盤のＣＣＬＭイントラ予測を行う画像符号化／復号化方法及び装置が提供されることができる。

【0031】

また、本開示によれば、向上したＬＭＳ（Ｌｉｎｅａｒ－Ｍｅａｎ＿Ｓｑｕａｒｅ）基盤のＣＣＬＭイントラ予測を行う画像符号化／復号化方法及び装置が提供されることができる。

【0032】

また、本開示によれば、向上した所定の個数の画素を用いた線形モデルＣＣＬＭイントラ予測を行う画像符号化／復号化方法及び装置が提供されることができる。

【0033】

また、本開示によれば、適応的に複数の参照ライン基盤のＣＣＬＭイントラ予測を行う画像符号化／復号化方法及び装置が提供されることができる。

【0034】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存する非一時的コンピュータ可読記録媒体が提供されることができる。

【0035】

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に用いられるビットストリームを保存する非一時的コンピュータ可読記録媒体が提供されることができる。

【0036】

本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

【0037】

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【図面の簡単な説明】

【0038】

【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【図4】イントラ予測に基づくビデオ／画像符号化方法を示すフローチャートである。

【図5】本開示によるイントラ予測部の構成を例示的に示す図である。

【図6】イントラ予測に基づくビデオ／画像復号化方法を示すフローチャートである。

【図7】本開示によるイントラ予測部の構成を例示的に示す図である。

【図8】本開示の一実施例によるイントラ予測のための多重参照ラインを示す図である。

【図9】本開示の一実施例によるＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）パラメータ導出のために用いられる隣接サンプルの位置を示す図である。

【図10】本開示の一実施例によるＭＭＬＭ（Ｍｕｌｔｉ－ｍｏｄｅｌ ｌｉｎｅａｒ ｍｏｄｅｌ）のパラメータを誘導するために隣接サンプルを２つのグループに分類した例を示す図である。

【図11】本開示の一実施例によるＣＣＬＭパラメータ誘導のための参照サンプル選択方法を説明するための図である。

【図12】本開示の一実施例によるＬＭ＿ＡモードでＣＣＬＭパラメータ誘導のための参照サンプル選択方法を説明するための図である。

【図13】本開示の一実施例による非正方形（ｎｏｎ－ｓｑｕａｒｅ）ブロックにおいて参照サンプルを選択する方法の例を示す。

【図14a】本開示の他の実施例による非正方形（ｎｏｎ－ｓｑｕａｒｅ）ブロックにおいて参照サンプルを選択する方法の例を示す。

【図14b】本開示の別の実施例による非正方形（ｎｏｎ－ｓｑｕａｒｅ）ブロックにおいて参照サンプルを選択する方法の例を示す。

【図15】本開示の一実施例によるＣＣＬＭ予測方法を示すフローチャートである。

【図16】現在クロマブロックの上端境界がＣＴＵの境界と一致する場合のＣＣＬＭ適用方法の例を示す。

【図17】現在クロマブロックの大きさに基づいて複数の参照ライン基盤のＣＬＭの適用有無を決定する本開示の実施例を説明するための図である。

【図18】現在クロマブロックに適用されるＣＣＬＭの種類に基づいてＣＣＬＭの適用有無を決定する本開示の実施例を説明するための図である。

【図19】本開示による実施例が適用できるコンテンツストリーミングシステムを例示的に示す図である。

【発明を実施するための形態】

【0039】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0040】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0041】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0042】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

【0043】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

【0044】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0045】

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

【0046】

本開示において、「ビデオ（ｖｉｄｅｏ）」は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味することができる。

【0047】

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

【0048】

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0049】

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

【0050】

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

【0051】

また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのルマ成分ブロックは、明示的に「ルマブロック」又は「現在ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。

【0052】

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

【0053】

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

【0054】

本開示において、「少なくとも一つのＡ、Ｂ及びＣ」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、又は「Ａ、Ｂ及びＣの任意のすべての組み合わせ」を意味することができる。また、「少なくとも一つのＡ、Ｂ又はＣ」又は「少なくとも一つのＡ、Ｂ及び／又はＣ」は、「少なくとも一つのＡ、Ｂ及びＣ」を意味することができる。

【0055】

本開示で用いられる括弧は、「例えば」を意味することができる。例えば、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えれば、本開示の「予測」は、「イントラ予測」に限定されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（すなわち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。

【0056】

ビデオコーディングシステムの概要

【0057】

図１は、本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【0058】

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

【0059】

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

【0060】

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

【0061】

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

【0062】

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを取得することができ、これをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１又は他の外部オブジェクトに伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め定められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。伝送部１３は、符号化部１２０とは別個の伝送装置として備えられることができ、この場合、伝送装置は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを取得する少なくとも一つのプロセッサとこれをファイル又はストリーム形式で伝達する伝送部を含むことができる。この受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

【0063】

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

【0064】

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

【0065】

画像符号化装置の概要

【0066】

図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0067】

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

【0068】

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

【0069】

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

【0070】

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0071】

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0072】

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

【0073】

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。

【0074】

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

【0075】

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

【0076】

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0077】

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

【0078】

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

【0079】

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

【0080】

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0081】

一方、ピクチャ符号化及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0082】

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0083】

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

【0084】

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

【0085】

画像復号化装置の概要

【0086】

図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0087】

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

【0088】

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

【0089】

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

【0090】

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

【0091】

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

【0092】

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0093】

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

【0094】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

【0095】

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

【0096】

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

【0097】

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

【0098】

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

【0099】

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0100】

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

【0101】

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

【0102】

イントラ予測の概要

【0103】

以下、本開示によるイントラ予測について説明する。

【0104】

イントラ予測は、現在ブロックの属するピクチャ（以下、現在ピクチャ）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する周辺参照サンプルが導出されることができる。前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの左側（ｌｅｆｔ）境界に隣接（ｎｅｉｇｈｂｏｒ／ａｄｊａｃｅｎｔ）したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接した総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接した総２×ｎＷ個のサンプル及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接した１つのサンプルを含むことができる。又は、前記現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むこともできる。また、前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接した１個のサンプルを含むこともできる。

【0105】

ただし、現在ブロックの周辺参照サンプルのうちの一部は、まだ復号化されていないか、或いは利用可能でないことがある。この場合、復号化器は、利用可能でないサンプルを利用可能なサンプルに置き換える（ｓｕｂｓｔｉｔｕｔｉｏｎ）ことにより、予測に使用する周辺参照サンプルを構成することができる。又は、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して、予測に使用する周辺参照サンプルを構成することができる。

【0106】

周辺参照サンプルが導出された場合、（ｉ）現在ブロックの周辺（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）或いはインターポレーション（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの周辺参照サンプルのうちの予測サンプルに対して特定（予測）の方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は非方向性モード又は非角度モード、（ｉｉ）の場合は方向性（ｄｉｒｅｃｔｉｏｎａｌ）モード又は角度（ａｎｇｕｌａｒ）モードと呼ばれることがある。

【0107】

また、前記周辺参照サンプルのうち、前記現在ブロックの予測対象サンプルを基準に、前記現在ブロックのイントラ予測モードの予測方向に位置する第１周辺サンプルとその反対方向に位置する第２周辺サンプルとの補間を介して、前記予測サンプルが生成されることもできる。上述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることがある。

【0108】

また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を用いてルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭ（Ｌｉｎｅａｒ Ｍｏｄｅｌ）モードと呼ばれることがある。

【0109】

また、フィルタリングされた周辺参照サンプルに基づいて前記現在ブロックの一時予測サンプルを導出し、前記既存の周辺参照サンプル、すなわち、フィルタリングされていない周辺参照サンプルのうち、前記イントラ予測モードに従って導出された少なくとも一つの参照サンプルと前記一時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して前記現在ブロックの予測サンプルを導出することもできる。この場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることがある。

【0110】

また、現在ブロックの周辺多重参照サンプルラインの中から、最も予測正確度の高い参照サンプルラインを選択して、当該ラインから予測方向に位置する参照サンプルを用いて予測サンプルを導出することができる。このとき、使用された参照サンプルラインに関する情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）は、ビットストリームに符号化されてシグナリングされることができる。この場合は、ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＭＲＬ）又はＭＲＬ基盤のイントラ予測と呼ばれることがある。ＭＲＬが適用されない場合、現在ブロックに直接隣接した参照サンプルラインから参照サンプルが導出されることができ、この場合、参照サンプルラインに関する情報は、シグナリングされないことができる。

【0111】

また、現在ブロックを垂直又は水平のサブパーティションに分割し、各サブパーティションに対して同一のイントラ予測モードに基づいてイントラ予測を行うことができる。このとき、イントラ予測の周辺参照サンプルは、各サブパーティション単位で導出されることができる。すなわち、符号化／復号化の順序上、以前サブパーティションの復元されたサンプルが現在サブパーティションの周辺参照サンプルとして用いられることができる。この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同一に適用されるが、前記サブパーティション単位で周辺参照サンプルを導出して用いることにより、場合に応じてイントラ予測性能を高めることができる。このような予測方法は、ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）又はＩＳＰ基盤のイントラ予測と呼ばれることがある。

【0112】

前述したイントラ予測技法は、方向性又は非方向性のイントラ予測モードと区分して前記イントラ予測タイプ又は付加イントラ予測モードなどの様々な用語で呼ばれることがある。例えば、前記イントラ予測技法（イントラ予測タイプ又は付加イントラ予測モードなど）は、上述したＬＩＰ、ＬＭ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうちの少なくとも一つを含むことができる。前記ＬＩＰ、ＬＭ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定のイントラ予測タイプを除いた一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることがある。ノーマルイントラ予測タイプは、上述した特定のイントラ予測タイプが適用されない場合に一般に適用されることができ、前述したイントラ予測モードに基づいて予測が行われることができる。一方、必要に応じて、導出された予測サンプルに対する後処理フィルタリングが行われることもできる。

【0113】

具体的には、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、周辺参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。さらに、必要に応じて、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが行われることもできる。

【0114】

一方、上述したイントラ予測タイプの他にも、ＡＬＷＩＰ（ａｆｆｉｎｅ ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が使用できる。前記ＡＬＷＩＰは、ＬＷＩＰ（ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）又はＭＩＰ（ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ又はｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）とも呼ばれる。前記ＭＩＰが現在ブロックに対して適用される場合、ｉ）アベレージング（ａｖｅｒａｇｉｎｇ）手順が行われた周辺参照サンプルを用いてｉｉ）マトリックスベクトルマルチプリケーション（ｍａｔｒｉｘ－ｖｅｃｔｏｒ－ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）手順を行い、ｉｉｉ）必要に応じて水平／垂直補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順をさらに行って前記現在ブロックに対する予測サンプルを導出することができる。前記ＭＩＰのために使われるイントラ予測モードは、上述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰイントラ予測や、ノーマルイントラ予測で使われるイントラ予測モードとは異なるように構成できる。前記ＭＩＰのためのイントラ予測モードは、ＭＩＰ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ、ＭＩＰ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ又はＭＩＰ ｍｏｄｅとも呼ばれる。例えば、前記ＭＩＰのためのイントラ予測モードによって、前記マトリックスベクトルマルチプリケーションで使われるマトリックス及びオフセットが異なるように設定できる。ここで、前記マトリックスは、（ＭＩＰ）重みマトリックスとも呼ばれることができ、前記オフセットは、（ＭＩＰ）オフセットベクトル又は（ＭＩＰ）バイアス（ｂｉａｓ）ベクトルとも呼ばれることができる。具体的なＭＩＰ方法については後述する。

【0115】

イントラ予測に基づくブロック復元手順及び符号化装置内のイントラ予測部は、図４及び図５を参照して後述する。

【0116】

図４は、イントラ予測に基づくビデオ／画像符号化方法を示すフローチャートである。

【0117】

図４の符号化方法は、図２の画像符号化装置によって行われることができる。具体的には、ステップＳ４１０は、イントラ予測部１８５によって行われることができ、ステップＳ４２０は、レジデュアル処理部によって行われることができる。具体的に、ステップＳ４２０は、減算部１１５によって行われることができる。ステップＳ４３０は、エントロピー符号化部１９０によって行われることができる。ステップＳ４３０の予測情報は、イントラ予測部１８５によって導出され、ステップＳ４３０のレジデュアル情報は、レジデュアル処理部によって導出されることができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、前記レジデュアルサンプルは、画像符号化装置の変換部１２０を介して変換係数に導出され、前記変換係数は、量子化部１３０を介して量子化された変換係数に導出されることができる。前記量子化された変換係数に関する情報が、レジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。

【0118】

画像符号化装置は、現在ブロックに対するイントラ予測を行うことができる（Ｓ４１０）。画像符号化装置は、現在ブロックに対するイントラ予測モード／タイプを決定し、現在ブロックの周辺参照サンプルを導出した後、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる。ここで、イントラ予測モード／タイプの決定、周辺参照サンプルの導出、及び予測サンプルの生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。

【0119】

図５は、本開示によるイントラ予測部１８５の構成を例示的に示す図である。

【0120】

図５に示すように、画像符号化装置のイントラ予測部１８５は、イントラ予測モード／タイプ決定部１８６、参照サンプル導出部１８７、及び／又は予測サンプル導出部を含むことができる。イントラ予測モード／タイプ決定部１８６は、前記現在ブロックに対するイントラ予測モード／タイプを決定することができる。参照サンプル導出部１８７は、前記現在ブロックの周辺参照サンプルを導出することができる、予測サンプル導出部１８８は、前記現在ブロックの予測サンプルを導出することができる。一方、たとえ図示されてはいないが、後述する予測サンプルフィルタリング手順が行われる場合、イントラ予測部１８５は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。

【0121】

画像符号化装置は、複数のイントラ予測モード／タイプのうち、前記現在ブロックに対して適用されるモード／タイプを決定することができる。画像符号化装置は、前記イントラ予測モード／タイプに対するレート歪みコスト（ＲＤ ｃｏｓｔ）を比較し、前記現在ブロックに対する最適のイントラ予測モード／タイプを決定することができる。

【0122】

一方、画像符号化装置は、予測サンプルフィルタリング手順を行うこともできる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリングされることができる。場合によっては、前記予測サンプルフィルタリング手順は省略可能である。

【0123】

再び図４を参照して、画像符号化装置は、予測サンプル又はフィルタリングされた予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ４２０）。画像符号化装置は、現在ブロックの原本サンプルから前記予測サンプルを減算して前記レジデュアルサンプルを導出することができる。すなわち、画像符号化装置は、原本サンプル値から対応する予測サンプル値を減算することにより、レジデュアルサンプル値を導出することができる。

【0124】

画像符号化装置は、前記イントラ予測に関する情報（予測情報）、及び前記レジデュアルサンプルに関するレジデュアル情報を含む画像情報を符号化することができる（Ｓ４３０）。前記予測情報は、前記イントラ予測モード情報及び／又は前記イントラ予測技法情報を含むことができる。画像符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。出力されたビットストリームは、記憶媒体又はネットワークを介して画像復号化装置へ伝達されることができる。

【0125】

前記レジデュアル情報は、後述するレジデュアルコーディングシンタックスを含むことができる。画像符号化装置は、前記レジデュアルサンプルを変換／量子化して、量子化された変換係数を導出することができる。前記レジデュアル情報は、前記量子化された変換係数に対する情報を含むことができる。

【0126】

一方、前述したように、画像符号化装置は、復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成することができる。このために、画像符号化装置は、前記量子化された変換係数を再び逆量子化／逆変換処理して（修正された）レジデュアルサンプルを導出することができる。このようにレジデュアルサンプルを変換／量子化した後、再び逆量子化／逆変換を行う理由は、画像復号化装置で導出されるレジデュアルサンプルと同一のレジデュアルサンプルを導出するためである。画像符号化装置は、前記予測サンプルと（前記修正された）レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを含む復元ブロックを生成することができる。前記復元ブロックに基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、前述したとおりである。

【0127】

図６は、イントラ予測に基づくビデオ／画像復号化方法を示すフローチャートである。

【0128】

画像復号化装置は、前記画像符号化装置で行われた動作と対応する動作を行うことができる。

【0129】

図６の復号化方法は、図３の画像復号化装置によって行われることができる。ステップＳ６１０乃至Ｓ６３０は、イントラ予測部２６５によって行われることができ、Ｓ６１０の予測情報及びＳ６４０のレジデュアル情報は、エントロピー復号化部２１０によってビットストリームから取得できる。画像復号化装置のレジデュアル処理部は、前記レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ６４０）。具体的には、前記レジデュアル処理部の逆量子化部２２０は、前記レジデュアル情報に基づいて導出された量子化変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部２３０は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。ステップＳ６５０は、加算部２３５又は復元部によって行われることができる。

【0130】

具体的には、画像復号化装置は、受信した予測情報（イントラ予測モード／タイプ情報）に基づいて、現在ブロックに対するイントラ予測モード／タイプを導出することができる（Ｓ６１０）。また、画像復号化装置は、前記現在ブロックの周辺参照サンプルを導出することができる（Ｓ６２０）。前記画像復号化装置は、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる（Ｓ６３０）。この場合、画像復号化装置は予測サンプルフィルタリング手順を行うことができる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることがある。前記予測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリングされることができる。場合によっては、予測サンプルフィルタリング手順は省略可能である。

【0131】

画像復号化装置は、受信したレジデュアル情報に基づいて前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ６４０）。画像復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、前記復元サンプルを含む復元ブロックを導出することができる（Ｓ６５０）。前記復元ブロックに基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、前述したとおりである。

【0132】

図７は、本開示によるイントラ予測部２６５の構成を例示的に示す図である。

【0133】

図７に示すように、画像復号化装置のイントラ予測部２６５は、イントラ予測モード／タイプ決定部２６６、参照サンプル導出部２６７、予測サンプル導出部２６８を含むことができる。イントラ予測モード／タイプ決定部２６６は、画像符号化装置のイントラ予測モード／タイプ決定部１８６で生成されてシグナリングされたイントラ予測モード／タイプ情報に基づいて前記現在ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部２６６は、現在ピクチャ内の復元された参照領域から前記現在ブロックの周辺参照サンプルを導出することができる。予測サンプル導出部２６８は、前記現在ブロックの予測サンプルを導出することができる。一方、たとえ図示されてはないが、前述した予測サンプルフィルタリング手順が行われる場合、イントラ予測部２６５は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。

【0134】

前記イントラ予測モード情報は、例えば、ＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）が前記現在ブロックに適用されるか、それともリメイニングモード（ｒｅｍａｉｎｉｎｇ ｍｏｄｅ）が適用されるかを示すフラグ情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）を含むことができ、前記ＭＰＭが前記現在ブロックに適用される場合、前記イントラ予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）のうちのいずれか一つを指示するインデックス情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）をさらに含むことができる。前記イントラ予測モード候補（ＭＰＭ候補）は、ＭＰＭ候補リスト又はＭＰＭリストから構成されることができる。また、前記ＭＰＭが前記現在ブロックに適用されない場合、前記イントラ予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）を除いた残りのイントラ予測モードのうちのいずれか一つを指示するリメイニングモード情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をさらに含むことができる。画像復号化装置は、前記イントラ予測モード情報に基づいて前記現在ブロックのイントラ予測モードを決定することができる。

【0135】

さらに、前記イントラ予測技法情報は、様々な形態で実現できる。一例として、前記イントラ予測技法情報は、前記イントラ予測技法のうちのいずれか一つを指示するイントラ予測技法インデックス情報を含むことができる。他の例として、前記イントラ予測技法情報は、前記ＭＲＬが前記現在ブロックに適用されるか、及び適用される場合には幾番目の参照サンプルラインが用いられるかを示す参照サンプルライン情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、前記ＩＳＰが前記現在ブロックに適用されるかを示すＩＳＰフラグ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、前記ＩＳＰが適用される場合にサブパーティションの分割タイプを指示するＩＳＰタイプ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＰＣの適用如何を示すフラグ情報、又はＬＩＰの適用如何を示すフラグ情報のうちの少なくとも一つを含むことができる。また、前記イントラ予測タイプ情報は、前記現在ブロックにＭＩＰが適用されるか否かを示すＭＩＰフラグを含むことができる。本開示において、ＩＳＰフラグ情報は、ＩＳＰ適用指示子と呼ばれることができる。

【0136】

前記イントラ予測モード情報及び／又は前記イントラ予測技法情報は、本開示において説明されたコーディング方法を介して符号化／復号化されることができる。例えば、前記イントラ予測モード情報及び／又は前記イントラ予測技法情報は、ｔｒｕｎｃａｔｅｄ（ｒｉｃｅ）ｂｉｎａｒｙ ｃｏｄｅに基づいてエントロピー符号化（例えば、ＣＡＢＡＣ、ＣＡＶＬＣ）を介して符号化／復号化されることができる。

【0137】

一方、前記イントラ予測モードは、ＰＬＡＮＡＲモード、ＤＣモード及び方向性イントラ予測モードの他にも、クロマサンプルのためのＣＣＬＭ（ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードをさらに含むことができる。ＣＣＬＭモードは、ＣＣＬＭパラメータ導出のために左側サンプルを考慮するか、上側サンプルを考慮するか、両方を考慮するかによって、Ｌ＿ＣＣＬＭ、Ｔ＿ＣＣＬＭ、ＬＴ＿ＣＣＬＭに分けられ、クロマ成分に対してのみ適用できる。

【0138】

イントラ予測モードは、例えば、下記表１のようにインデックス化できる。

【0139】

【表1】

【0140】

一方、前記イントラ予測タイプ（又は、付加イントラ予測モードなど）は、上述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰ、ＭＩＰのうちの少なくとも一つを含むことができる。前記イントラ予測タイプは、イントラ予測タイプ情報に基づいて指示されることができ、前記イントラ予測タイプ情報は、多様な形態で実現されることができる。一例として、前記イントラ予測タイプ情報は、前記イントラ予測タイプのうちの一つを指示するイントラ予測タイプインデックス情報を含むことができる。他の例として、前記イントラ予測タイプ情報は、前記ＭＲＬが前記現在ブロックに適用されるか、及び適用される場合には何番目の参照サンプルラインが用いられるか否かを示す参照サンプルライン情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、前記ＩＳＰが前記現在ブロックに適用されるかを示すＩＳＰフラグ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、前記ＩＳＰが適用される場合にサブパーティションが分割タイプを指示するＩＳＰタイプ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＣＰの適用有無を示すフラグ情報又はＬＩＰの適用有無を示すフラグ情報のうちの少なくとも一つを含むことができる。また、前記イントラ予測タイプ情報は、前記現在ブロックにＭＩＰが適用されるか否かを示すＭＩＰフラグ（又はｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇと呼ばれることができる）を含むことができる。

【0141】

ＭＲＬ（Ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）イントラ予測

【0142】

図８は、本開示の一実施例によるイントラ予測のための多重参照ラインを示す図である。

【0143】

従来のイントラ予測は、現在ブロックの一番目の上側ラインの周辺サンプル及び一番目の左側ラインの周辺サンプルのみをイントラ予測のための参照サンプルとして用いた。しかし、Ｍｕｌｔｉｐｌｅ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ（ＭＲＬ）方法では、現在ブロックの上側及び／又は左側に対して一つ～三つのサンプル距離だけ離れたサンプルラインに位置した周辺サンプルを参照サンプルとして用いてイントラ予測を行うことができる。又は、ＭＲＬ方法を用いたイントラ予測は、現在ブロックの上側及び／又は左側に対して、Ｎ個のサンプル距離だけ離れたサンプルラインに位置した周辺サンプルを参照サンプルとして用いて行われることができる。図８は、前記多重参照ラインの例を示し、多重参照ラインインデックス（例えば、ｍｒｌ＿ｉｄｘ）は、現在ブロックに対してどのラインがイントラ予測のために使用されるかを示す。

【0144】

例えば、前記多重参照ラインインデックスは、表２のようにコーディングユニットシンタックスを介してシグナリングされることができる。前記多重参照ラインインデックスは、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘシンタックス要素の形態で構成されることができる。

【0145】

【表2】

【0146】

ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ［ｘ０］［ｙ０］は、イントラ参照ラインインデックスＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘ０］［ｙ０］を示すことができる。もし、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ［ｘ０］［ｙ０］が存在しない場合、その値は０と推論できる。ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘは、（イントラ）参照サンプルラインインデックス又はｍｒｌ＿ｉｄｘと呼ばれることができる。また、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘは、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｌｉｎｅ＿ｉｄｘとも呼ばれる。下記表３は、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ［ｘ０］［ｙ０］に基づくＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘ０］［ｙ０］の値を示す。

【0147】

【表3】

【0148】

ＭＲＬは、ＣＴＵ内の一番目のライン（行）のブロックに対しては使用されなくてもよい。すなわち、現在ブロックの上端境界がＣＴＵの境界である場合、現在ブロックに対してはＭＲＬが使用されなくてもよい。表２において、現在ブロックの上端境界がＣＴＵの境界である場合、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ［ｘ０］［ｙ０］が存在せず、その値は０と推論される。従って、現在ブロックに対しては、一番目の参照ラインが使用できる。これは、現在ＣＴＵライン外部の拡張参照サンプル（ｅｘｔｅｎｄｅｄ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅｓ）が使用されることを防ぐためである。また、上述した追加参照ラインが使用される場合には、上述したＰＤＰＣが使用されなくてもよい。

【0149】

クロマ成分に対する予測サンプル導出の一般

【0150】

現在ブロックにイントラ予測が行われる場合、現在ブロックのルマ成分ブロック（ルマブロック）に対する予測及びクロマ成分ブロック（クロマブロック）に対する予測が行われることができ、この場合、クロマ成分（クロマブロック）に対するイントラ予測モードは、ルマ成分（ルマブロック）に対するイントラ予測モードと個別的に設定されることができる。

【0151】

例えば、クロマ成分に対するイントラ予測モードは、イントラクロマ予測モード情報に基づいて指示されることができ、前記イントラクロマ予測モード情報は、Ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅシンタックス要素の形態でシグナリングされることができる。一例として、前記イントラクロマ予測モード情報は、Ｐｌａｎａｒモード、ＤＣモード、垂直（ｖｅｒｔｉｃａｌ）モード、水平（Ｈｏｒｉｚｏｎｔａｌ）モード、ＤＭ（Ｄｅｒｉｖｅｄ Ｍｏｄｅ）、Ｌ＿ＣＣＬＭ、Ｔ＿ＣＣＬＭ、ＬＴ＿ＣＣＬＭモードのうちの少なくとも一つを含む候補モードの一つを指示することができる。ＤＭは、ｄｉｒｅｃｔ ｍｏｄｅと呼ばれることもある。ＣＣＬＭは、ＬＭと呼ばれることもある。

【0152】

一方、ＤＭとＣＣＬＭは、ルマブロックの情報を用いてクロマブロックを予測する従属的なイントラ予測モードである。前記ＤＭは、前記ルマ成分に対するイントラ予測モードと同じイントラ予測モードが前記クロマ成分に対するイントラ予測モードに適用されるモードを示すことができる。また、前記ＣＣＬＭは、クロマブロックに対する予測ブロックを生成する過程でルマブロックの復元されたサンプルをサブサンプリングした後、サブサンプリングされたサンプルにＣＣＬＭパラメータ（例えば、α及び／又はβ）を適用して導出されたサンプルを前記クロマブロックの予測サンプルとして用いるイントラ予測モードを示すことができる。

【0153】

ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）の概要

【0154】

現在クロマブロックにＣＣＬＭモードが適用できる。ＣＣＬＭモードは、ルマブロックと前記ルマブロックに対応するクロマブロックとの相関性（ｃｏｒｒｅｌａｔｉｏｎ）を用いたイントラ予測モードであり、前記ルマブロックの周辺サンプル及びクロマブロックの周辺サンプルに基づいて線形モデルが導出されることができ、前記線形モデル及び前記ルマブロックの復元サンプルに基づいて前記クロマブロックの予測サンプルが導出されるモードを示すことができる。具体的には、現在クロマブロックに前記ＣＣＬＭモードが適用される場合、前記現在クロマブロックのイントラ予測に使用される周辺サンプル、及び現在ルマブロックのイントラ予測に使用される周辺サンプルに基づいて前記線形モデルに対するパラメータが導出できる。

【0155】

交差成分（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ）の重複性を減らすために、本開示では、ＣＣＬＭ予測モードが使用できる。ここで、クロマサンプルは、線形モデルを用いて同じＣＵの復元されたルマサンプルに基づいて予測できる。例えば、前記線形モデルは、次の数式１であり得る。

【0156】

［数式１］

【数1】

【0157】

ここで、ｐｒｅｄ_C（ｉ、ｊ）は、現在ＣＵ内の現在クロマブロックの（ｉ、ｊ）座標の予測サンプルを示すことができ、ｒｅｃ’_Ｌ（ｉ、ｊ）は、前記ＣＵ内の現在ルマブロックの（ｉ、ｊ）座標の復元サンプルを示すことができる。又は、ｒｅｃ’_Ｌ（ｉ、ｊ）は、現在ルマブロックのダウンサンプリング（ｄｏｗｎ－ｓａｍｐｌｅｄ）された復元サンプルを示すことができる。

【0158】

図９は、本開示の一実施例によるＣＣＬＭパラメータ導出のために用いられる隣接サンプルの位置を示す図である。図９は、左側隣接サンプルの位置、上側隣接サンプルの位置、及びＣＣＬＭモードに関連する現在ブロックに隣接したサンプルの例を示す。

【0159】

ＣＣＬＭパラメータ（例えば、α及び／又はβ）は、最大４つの隣接クロマサンプルと、これに対応するダウンサンプリングされたルマサンプルとを用いて導出できる。又は、ＣＣＬＭパラメータは、Ｎ個の隣接クロマサンプルと、これに対応するダウンサンプリングされたルマサンプルとを用いて導出できる。現在クロマブロックのサイズがＷ×Ｈである場合、Ｗ’及びＨ’は、次のように設定できる。Ｗ’は、ＣＣＬＭパラメータ導出のために用いられる上側隣接クロマサンプルが位置する範囲を意味することができる。Ｈ’は、ＣＣＬＭパラメータ導出のために用いられる左側隣接クロマサンプルが位置する範囲を意味することができる。

【0160】

－ＬＭモードが適用される場合、Ｗ’＝Ｗ、Ｈ’＝Ｈ

【0161】

－ＬＭ＿Ａモードが適用される場合、Ｗ’＝Ｗ＋Ｈ

【0162】

－ＬＭ＿Ｌモードが適用される場合、Ｈ’＝Ｈ＋Ｗ

【0163】

上側隣接サンプルの位置は、Ｓ［０、－１］．．．Ｓ［Ｗ’－１、－１］で表すことができ、左側隣接サンプルの位置は、Ｓ［－１、０］．．．S［－１、Ｈ’－１］で表すことができる。この場合、４個のサンプルは、次のように選択できる。

【0164】

－ＬＭモードが適用され、上側及び左側隣接サンプルが全て使用可能な場合：Ｓ［Ｗ’／４、－１］、Ｓ［３Ｗ’／４、－１］、Ｓ［－１、Ｈ’／４］、Ｓ［－１、３Ｈ’／４］

【0165】

－ＬＭ＿Ａモードが適用されるか、或いは上側隣接サンプルのみ使用可能な場合：Ｓ［Ｗ’／８、－１］、Ｓ［３Ｗ’／８、－１］、Ｓ［５Ｗ’／８、－１］、Ｓ［７Ｗ’／８、－１］

【0166】

－ＬＭ＿Ｌモードが適用されるか、或いは左側隣接サンプルのみ使用可能な場合：Ｓ［－１、Ｈ’／８］、Ｓ［－１、３Ｈ’／８］、Ｓ［－１、５Ｈ’／８］、Ｓ［－１、７Ｈ’／８］

【0167】

上述したような方法で選択された位置にある４つの隣り合うルマサンプルは、ダウンサンプリングによって取得できる。前記４つのルマサンプルのうちの２つの小さい値（Ｘ^０ _Ａ及びＸ^１Ａ）及び２つの大きい値（Ｘ^０ _Ｂ及びＸ^１ _Ｂ）を探すために、４回の比較が行われることができる。前記４つの隣り合うサンプルに対応するクロマサンプル値は、ｙ^０ _Ａ、ｙ^１ _Ａ、ｙ^０ _Ｂ及びｙ^１ _Ｂで表すことができる。この場合、Ｘ_ａ、Ｘ_ｂ、Ｙ_ａ及びＹ_ｂは、次の数式２によって誘導できる。

【0168】

［数式２］

【数2】

【0169】

前記ＣＣＬＭパラメータα及びβは、次の数式３によって取得できる。

【0170】

［数式３］

【数3】

【0171】

本開示の一実施例は、上側隣接サンプル及び左側隣接サンプルを用いてＣＣＬＭパラメータを誘導することができ、他の２つのＬＭモード（ＬＭ＿Ａモード及びＬＭ＿Ｌモード）でも使用できる。本開示の一実施例によれば、ＬＭ＿Ａモードでは、上側隣接サンプルのみがＣＣＬＭパラメータを誘導するために使用できる。この場合、さらに多くのサンプルを得るために、上側隣接サンプルは、Ｗ＋Ｈ位置のサンプルまで拡張できる。これに対し、ＬＭ＿Ｌモードでは、左側隣接サンプルのみがＣＣＬＭパラメータを誘導するために使用できる。その場合、さらに多くのサンプルを得るために、左側隣接サンプルは、Ｈ＋Ｗ位置のサンプルまで拡張できる。他の例として、非正方形（ｎｏｎ－ｓｑｕａｒｅ）ブロックにおいて、上側隣接サンプルはＷ＋Ｗ位置まで拡張でき、左側隣接サンプルはＨ＋Ｈ位置まで拡張できる。

【0172】

４：２：０ビデオシーケンスに対するクロマサンプルの位置を一致させるために、２つの類型のダウンサンプリングフィルタをルマサンプルに適用して水平及び垂直方向の両方で２対１のダウンサンプリング比率を達成することができる。前記ダウンサンプリングフィルタは、ＳＰＳレベルフラグによって指定できる。前記ダウンサンプリングフィルタは、所定の位置（ｉ、ｊ）のクロマサンプルに対応するルマサンプルを取得するために適用できる。２つのダウンサンプリングフィルタは、次の数式４及び数式５であり得る。

【0173】

［数式４］

【数4】

【0174】

［数式５］

【数5】

【0175】

現在ルマブロックの境界がＣＴＵの境界と一致する場合、ダウンサンプリングされたルマサンプルを作るために唯一つのルマ参照ラインのみが使用できる。

【0176】

前記パラメータの誘導は、画像復号化過程の一部で行われてもよく、エンコーダ検索動作のみで行われなくてもよい。結果的に、α及び／又はβ値を画像復号化装置に伝達するためにシンタックスが使われなくてもよい。

【0177】

本開示によれば、イントラクロマ予測モード符号化過程で、総８個のイントラ予測モードが用いられることができる。前記８個のイントラ予測モードは、５個の既存のイントラ予測モード及び３個のＣＣＬＭモード（ＣＣＬＭ、ＬＭ＿Ａ及びＬＭ＿Ｌ）を含むことができる。イントラクロマ予測モードシグナリング及び誘導過程は、次の表４及び表５を参照して後述する。

【0178】

【表4】

【0179】

【表5】

【0180】

イントラクロマ予測モード符号化は、これに対応するルマブロックのイントラ予測モードに従属的であり得る。Ｉスライスでは、ルマ及びクロマ成分に対する別途のブロック分割構造が活性化されるので、一つのクロマブロックは、複数のルマブロックに対応することができる。よって、クロマＤＭモードである場合、現在クロマブロックの中心位置をカバーする対応ルマブロックのイントラ予測モードが直接適用できる。

【0181】

表４は、ＣＣＬＭが適用可能でない場合のイントラクロマ予測モード導出のためのマッチングテーブルを示し、表５は、ＣＣＬＭが適用可能な場合のイントラクロマ予測モード導出のためのマッピングテーブルを示す。表に示されているように、イントラクロマ予測モードは、現在ブロック又はクロマブロックのセンター右下側サンプルをカバーするルマブロック（例えば、ＤＵＡＬ＿ＴＲＥＥが適用される場合）に対するイントラルマ予測モード及びシグナリングされたイントラクロマ予測モード（ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ）情報の値に基づいて決定できる。上述した表から導出されるＩｎｔｒａＰｒｅｄＭｏｄｅＣ［ｘＣｂ］［ｙＣｂ］のインデックスは、前述した表１に開示されているイントラ予測モードのインデックスと対応することができる。

【0182】

ＭＭＬＭ（Ｍｕｌｔｉ－ｍｏｄｅｌ ＬＭ）の概要

【0183】

ＣＣＬＭモードは、ＭＭＬＭモードに拡張できる。例えば、３つのＭＭＬＭモードが追加されてもよい。各ＭＭＬＭモードにおいて復元された隣接サンプルは、しきい値を用いて２つのグループに分類できる。前記しきい値は、例えば、復元されたルマサンプルの平均値であってもよい。各グループの線形モデルは、ＬＭＳ（Ｌｉｎｅａｒ－Ｍｅａｎ－Ｓｑｕａｒｅ）方法を用いて誘導できる。ＣＣＬＭモードの場合にも、ＬＭＳ方法は線形モデルを誘導するために使用できる。

【0184】

ＭＭＬＭを使用すると、ＣＵ内のルマサンプル及びクロマサンプルの間に２つ以上の線形モデルがあり得る。この方法において、現在ブロックの隣接ルマサンプル及び隣接クロマサンプルは、幾つかのグループに分類できる。また、各グループは、線形モデルを導出するためのトレーニングセットとして使用できる。すなわち、各グループ別にＣＣＬＭパラメータ（例えば、α及び／又はβ）が誘導できる。また、現在ルマブロック内のサンプルは、隣接ルマサンプルの分類のための方法と同じ方法で分類できる。

【0185】

この方法において、隣接サンプルは、Ｍ個のグループに分類できる。ここで、Ｍは、２又は３であり得る。Ｍが２又は３である場合、ＭＭＬＭ方法は、元来のＬＭモードの他に、ＭＭＬＭ２及びＭＭＬＭ３という２つの追加されたクロマ予測モードに設計できる。画像符号化装置は、ＲＤＯプロセスで最適のモードを選択し、そのモードをシグナリングすることができる。

【0186】

図１０は、本開示の一実施例による隣接サンプルを２つのグループに分類する方法を示す図である。図１０は、Ｍが２である場合を示す。図１０を参照すると、しきい値は、復元された隣接ルマサンプルの平均値として計算できる。しきい値以下のＲｅｃ’_Ｌ［ｘ、ｙ］を有する隣接ルマサンプルはグループ１に分類され、しきい値超過のＲｅｃ’_Ｌ［ｘ、ｙ］を有する隣接ルマサンプルはグループ２に分類され得る。前記グループ１及びグループ２の２つのモデルは、次の数式６を用いて誘導できる。

【0187】

［数式６］

【数6】

【0188】

以下、本開示の一実施例による画像符号化／復号化方法について詳細に説明する。

【0189】

本開示は、ＣＣＬＭ方法に関し、特に多重参照ライン基盤のＣＣＬＭ方法に関するものである。本開示によるＣＣＬＭモードは、周辺の上側参照サンプル及び左側参照サンプルを用いるＬＭモード、左側参照サンプルのみを用いるＬＭ＿Ｌモード、上側参照サンプルのみを用いるＬＭ＿Ａモード、及び２つ以上の線形モデルパラメータ（ｌｉｎｅａｒ ｍｏｄｅｌ ｐａｒａｍｅｔｅｒ）を用いるＭＭ（ｍｕｌｔｉ－ｍｏｄｅｌ）ＬＭ基盤の３ＬＭモード（ＭＭＬＭモード（上側参照サンプル及び左側参照サンプルを用いる）、ＭＭＬＭ＿Ｌモード（左側参照サンプルのみを用いる）、ＭＭＬＭ＿Ａモード（上側参照サンプルのみを用いる）を含むことができる。本開示では、前記６つのＬＭ方法をまとめてＣＣＬＭ方法と称する。また、本開示で言及された「参照ライン」は、「参照サンプルライン」又はこれと同等な技術的意味を有する他の用語で指称できる。

【0190】

本開示は、ＣＣＬＭ方法を介してクロマ画像の予測ブロック生成の際に、一つの参照ラインを用いる場合よりもさらに多くの周辺参照サンプルを用いる方法を提案する。既存のＣＣＬＭ方法は、クロマブロック周辺の一つの参照ラインを用いてｌｉｎｅａｒ ｍｏｄｅｌ ｐａｒａｍｅｔｅｒ（以下、「ＣＣＬＭパラメータ」という）α、β値を誘導する。ＣＣＬＭパラメータは、上述したように４つの周辺参照サンプルを用いて誘導された線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）によって誘導できる。又は、ＣＣＬＭパラメータは、ＬＭＳ（ｌｉｎｅａｒ ｍｅａｎ－ｓｑｕａｒｅ）モデルを介して誘導できる。例えば、数式７は、ＬＭＳモデルを用いてＣＣＬＭパラメータを誘導する例であり得る。

【0191】

［数式７］

【数7】

【0192】

ここで、Ｒｅｃ_Ｃ（ｉ）は、ターゲットブロック（現在クロマブロック）周辺の復元されたクロマサンプルを示し、Ｒｅｃ’_Ｌ（ｉ）は、ターゲットブロック（現在ルマブロック）周辺のダウンサンプリングされたルマサンプルを示す。また、Ｉは全体サンプルの数を示す。

【0193】

上述したように、ＣＣＬＭパラメータを誘導するために現在クロマブロック周辺の一つの参照ラインを用いる場合、精巧な線形モデルの誘導が容易でないので、予測の正確度が低下して結果的に画像の符号化効率が低下することがある。

【0194】

例えば、本開示によれば、ＣＣＬＭパラメータを誘導するために現在クロマブロック周辺の二つ以上の参照ラインを用いることにより、より精巧な線形モデルを誘導することができる。これにより、予測の正確度が向上し、結果的に画像の符号化効率が向上することができる。

【0195】

本開示の一実施例によれば、ＬＭＳ基盤のＣＣＬＭパラメータ誘導のために２つ以上の周辺参照ラインが用いられることができる。本開示の一実施例によれば、ＬＭＳ基盤のＣＣＬＭパラメータ誘導の際に、現在クロマブロックの周辺参照ラインを２つ以上用いてＣＣＬＭパラメータを誘導することにより、ＣＣＬＭ予測の正確度を高めることができる。

【0196】

図１１は、本開示の一実施例によるＣＣＬＭパラメータ誘導のための参照サンプル選択方法を説明するための図である。

【0197】

具体的には、図１１は、４×４の現在クロマブロックの周辺２つの参照ラインを用いてＣＣＬＭパラメータ誘導の際に周辺参照サンプルを選択する方法の例示を示す。図１１に示す本開示の一実施例によれば、ＣＣＬＭパラメータを誘導するために、一番目の参照ラインの８つのクロマサンプルにさらに二番目の参照ラインの８つのクロマサンプルを用いることができる。このとき、対応ルマブロックの周辺参照サンプルのダウンサンプリングが行われるが、例えば、ルマブロックの一番目の上側参照ラインと二番目の上側参照ラインをダウンサンプリングして一番目のダウンサンプリングされた上側参照ラインを取得することができる。また、三番目の上側参照ラインと四番目の上側参照ラインをダウンサンプリングして二番目のダウンサンプリングされた上側参照ラインを取得することができる。このように、２つのダウンサンプリングされた上側参照ラインが生成できる。また、本開示の一実施例によれば、ルマブロックの一番目の左側参照ライン、二番目の参照ライン及び三番目の参照ラインをダウンサンプリングして一番目のダウンサンプリングされた左側参照ラインを取得することができる。また、三番目の左側参照ライン、四番目の参照ライン及び五番目の参照ラインをダウンサンプリングして二番目のダウンサンプリングされた左側参照ラインを取得することができる。これにより、２つのダウンサンプリングされた左側参照ラインが生成できる。ルマサンプルのダウンサンプリング数式は、既存の方法をそのまま使用することができる。又は、ルマサンプルのダウンサンプリングは、既存とは異なる方法によって行われてもよい。前述した方法は、全てのＣＣＬＭ方法（ＬＭ、ＬＭ＿Ａ、ＬＭ＿Ｌ、ＭＭＬＭ、ＭＭＬＭ＿Ａ、ＭＭＬＭ＿Ｌ）に同様に適用できる。

【0198】

図１１を参照して説明した実施例は、クロマ参照ラインの個数が２つである場合に行われる例である。しかし、クロマ参照ラインの数がＮ個である場合にも、前記実施例が同様に適用できる。例えば、クロマ参照ラインの数がＮ個である場合、ＣＣＬＭパラメータ誘導のために２Ｎ個の複数の上側ルマ参照ラインが使用できる。このとき、２Ｎ個の複数の上側ルマ参照ラインのうち、２ｉ－１番目の上側ルマ参照ライン及び２ｉ番目の上側ルマ参照ラインに基づいてダウンサンプリングされたｉ番目の上側ルマ参照ラインを生成することができる。ここで、ｉは１～Ｎの間の整数であり得る。このような方法を用いて生成されたＮ個のダウンサンプリングされた上側ルマ参照ラインに基づいてＣＣＬＭパラメータが誘導されることができる。また、クロマ参照ラインの数がＮである場合、ＣＣＬＭパラメータ誘導のために２Ｎ＋１個の複数の左側ルマ参照ラインが使用できる。このとき、２Ｎ＋１個の複数の左側ルマ参照ラインのうち２ｉ－１番目の左側ルマ参照ライン、２ｉ番目の左側ルマ参照ライン及び２ｉ＋１番目の左側ルマ参照ラインに基づいてダウンサンプリングされたｉ番目の左側ルマ参照ラインを生成することができる。このような方法を用いて生成されたＮ個のダウンサンプリングされた左側ルマ参照ラインに基づいてＣＣＬＭパラメータが誘導されることができる。このように、ダウンサンプリングを介して取得された２つ（又はＮ個）のダウンサンプリングされた参照ラインの参照サンプルを用いてＣＣＬＭパラメータを誘導する際に、パラメータ正確度の向上によるＣＣＬＭ予測性能が向上することができる。また、ＣＣＬＭパラメータ誘導のためのクロマサンプル及びルマサンプルの数が２倍（又はＮ倍）に増加するため、既存のＣＣＬＭパラメータ誘導のためのプロセスを修正なしにそのまま用いることができる。

【0199】

図１２は、本開示の一実施例によるＬＭ＿ＡモードでＣＣＬＭパラメータ誘導のための参照サンプル選択方法を説明するための図である。ＬＭ＿Ａモードは、現在クロマブロックの上側参照サンプルのみを用いてＣＣＬＭパラメータを誘導する方法であり得る。ＣＣＬＭパラメータを誘導するために、既存の一番目の参照ラインの８つのクロマサンプルにさらに二番目の参照ラインの８つのクロマサンプルが用いられることができる。このとき、一番目の上側参照ラインの８つのクロマサンプルは、Ｗ＋Ｈ位置の範囲内に存在するサンプルであり得る。また、画像復号化装置は、ＣＣＬＭパラメータを誘導するために対応ルマブロック周辺の参照サンプルをダウンサンプリングすることができる。例えば、ルマブロックの一番目の上側参照ラインと二番目の上側参照ラインをダウンサンプリングして一番目のダウンサンプリングされた上側参照ラインを取得することができる。また、三番目の上側参照ラインと四番目の上側参照ラインをダウンサンプリングして二番目のダウンサンプリングされた上側参照ラインを取得することができる。

【0200】

図１３及び図１４は、本開示の一実施例による非正方形（ｎｏｎ－ｓｑｕａｒｅ）ブロックにおいて参照サンプルを選択する方法の例を示す。図１３に示すように、非正方形クロマブロックの左側又は上側のうちの一方（例えば、長手）に対しては、隣り合う参照サンプルのうちの一部のみが選択されてＣＣＬＭパラメータの誘導に用いられることができる。このとき、現在クロマブロック周辺の二つの参照ラインが用いられる場合、例えば、図１３の左側図に示すように、一番目の上側参照ラインでのサブサンプリングと二番目の上側参照ラインでのサブサンプリングとは同一であり得る。又は、図１３の右側図に示すように、一番目の左側参照ラインでのサブサンプリングと二番目の左側参照ラインでのサブサンプリングとは同一であり得る。対応ルマブロックに対しては、前記サブサンプリングされた位置を基準にダウンサンプリングが行われることにより、対応する復元されたルマサンプルを誘導することができる。

【0201】

図１４ａを参照すると、非正方形クロマブロックの上側に対しては、隣り合う参照サンプルのうちの一部のみが選択されてＣＣＬＭパラメータの誘導に用いられることができる。このとき、現在クロマブロック周辺の二つの参照ラインが用いられる場合、例えば、図１４ａに示すように、一番目の上側参照ラインでのサブサンプリングと二番目の上側参照ラインでのサブサンプリングとは同一であり得る。具体的には、二番目の参照ラインに存在するサンプルは、一番目の参照ラインに存在するサンプルのサブサンプリング比率の倍数位置と同じ位置に選択できる。例えば、サブサンプリング比率が４である場合、０、４、８、１２番目の位置の参照サンプルが二番目の参照ラインサンプルとして選択できる。

【0202】

本開示の他の実施例によれば、非正方形クロマブロックの上側に対しては、隣り合う参照サンプルのうちの一部のみが選択されてＣＣＬＭパラメータの誘導に用いられることができる。このとき、現在クロマブロック周辺の二つの参照ラインが用いられる場合、例えば、図１４ｂに示すように、一番目の上側参照ラインでのサブサンプリングと二番目の上側参照ラインでのサブサンプリングとは異なり得る。すなわち、一番目の参照ラインに存在するサンプルのサブサンプリングは、サブサンプリング比率の倍数位置ではなく、サブサンプリング比率の半分だけ移動（ｓｈｉｆｔ）した位置の参照サンプルが二番目の参照ラインサンプルとして選択できる。例えば、サブサンプリング比率が４である場合、２、５、１０、１４番目の位置の参照サンプルが二番目の参照ラインのサンプルとして選択できる。

【0203】

図１４を参照して説明した実施例は、上側参照ラインでサブサンプリングが行われる例である。しかし、左側参照ラインでサブサンプリングが行われる場合にも、前記実施例が同様に適用できる。すなわち、一番目の左側参照ラインでのサブサンプリングと二番目の左側参照ラインでのサブサンプリングは、同一でも異なってもよい。

【0204】

本開示の一実施例によるＣＣＬＭ予測方法の適用において、現在クロマブロックの上端境界がＣＴＵの境界と一致するか否かに基づいて、現在クロマブロックにＣＣＬＭモードを異なるように適用することができる。本開示の一実施例によれば、現在クロマブロックの上端境界がＣＴＵの境界と一致する場合、一番目（上側）の参照ラインサンプルを二番目の参照ラインに複写し、一番目の参照ラインと二番目の参照ラインを用いて本開示によるＣＣＬＭパラメータを誘導することができる。

【0205】

本開示の他の実施例によれば、現在クロマブロックの上端境界がＣＴＵの境界と一致する場合、本開示によるＣＣＬＭ予測方法が使用されなくてもよい。すなわち、現在クロマブロックの上端境界がＣＴＵの境界と一致する場合、一つの（上側）参照ラインを用いてＣＣＬＭパラメータを誘導することができる。

【0206】

本開示の別の実施例によれば、現在クロマブロックの上端境界がＣＴＵの境界と一致し、上側参照ラインを用いるＣＣＬＭ予測方法が適用される場合（例えば、ＬＭ、ＬＭ＿Ａ、ＭＭＬＭ、ＭＭＬＭ＿Ａ）、本開示で提案するＣＣＬＭ予測方法が使用されなくてもよい。

【0207】

本開示の一実施例によれば、ＬＭＳ基盤のＣＣＬＭパラメータ誘導の際に、１つのライン基盤のＣＣＬＭパラメータ誘導の場合よりもさらに多い参照サンプルが使用できる。１つのライン基盤のＣＣＬＭパラメータ誘導の場合よりも多い参照サンプルを用いてＣＣＬＭパラメータを誘導することにより、ＣＣＬＭパラメータの正確度が高くなることができる。

【0208】

上述した実施例において、２つの参照ラインに基づいてＣＣＬＭパラメータを誘導したが、本開示はこれに限定されない。例えば、ＣＣＬＭパラメータ誘導の際に、４個の現在クロマブロックの周辺参照ラインが使用できる。又は、ＣＣＬＭパラメータ誘導の際に、Ｎ個の現在クロマブロックの周辺参照ラインが使用できる。このとき、Ｎは、２とＣＴＵサイズとの間の値を有することができる。上述した２つの参照ライン基盤のＣＣＬＭパラメータ誘導方法は、Ｎ個の参照ライン基盤のＣＣＬＭパラメータ誘導方法に適用できる。例えば、Ｎ個の参照ラインを用いてＣＣＬＭパラメータを誘導する際に、Ｎ個の参照ラインにおいてＣＣＬＭパラメータの誘導に必要なサンプルは、前述した２つの参照ライン基盤のＣＣＬＭパラメータ誘導方法と同一の方法を用いて選択できる。

【0209】

本開示の他の実施例によれば、ＣＣＬＭパラメータは、所定の個数の参照サンプルに基づいて誘導できる。例えば、上述したように、ＣＣＬＭパラメータは、４個の参照サンプルに基づいて誘導できる。本開示は、より多くの参照サンプルに基づいてＣＣＬＭパラメータを誘導する多様な実施例を提供する。例えば、図１３に示すように、現在クロマブロックの周辺に位置した二つ以上の参照ラインから選択された参照サンプルを用いてＣＣＬＭパラメータを誘導することができる。本実施例によれば、１つの参照ライン基盤のＣＣＬＭ予測の場合よりもさらに多い参照ラインを用いることにより、ＣＣＬＭパラメータの正確度が高くなることができる。

【0210】

例えば、本開示の一実施例によれば、ＣＣＬＭパラメータ（α及び／又はβ）は、最大８個の隣接したクロマサンプル及びこれに対応するダウンサンプリングされたルマサンプルを用いて誘導できる。又は、ＣＣＬＭパラメータ（α及び／又はβ）は、Ｎ個の隣接したクロマサンプル及びこれに対応するダウンサンプリングされたルマサンプルを用いて誘導できる。現在ブロックのサイズがＷ×Ｈである場合、Ｗ’及びＨ’は、次のように誘導できる。Ｗ’は、ＣＣＬＭパラメータ導出のために用いられる上側隣接クロマサンプルが位置する範囲を意味することができる。Ｈ’は、ＣＣＬＭパラメータ導出のために用いられる左側隣接クロマサンプルが位置する範囲を意味することができる。

【0211】

－ＬＭモード又はＭＭＬＭモードの適用時、Ｗ’＝Ｗ、Ｈ’＝Ｈ

【0212】

－ＬＭ＿Ａモード又はＭＭＬＭ＿Ａモードの適用時、Ｗ’＝Ｗ＋Ｈ

【0213】

－ＬＭ＿Ｌモード又はＭＭＬＭ＿Ｌモードの適用時、Ｈ’＝Ｈ＋Ｗ

【0214】

上側隣接サンプルの位置は、Ｓ［０、－１］．．．Ｓ［Ｗ’－１、－１］で表すことができる。また、左側隣接サンプルの位置は、Ｓ［－１、０］．．．Ｓ［－１、Ｈ’－１］で表すことができる。この場合、ＣＣＬＭパラメータ誘導の際に必要な一番目の参照ライン内の４個のサンプルは、次のように選択できる。

【0215】

－ＬＭモード又はＭＭＬＭモードが適用され、上側隣接サンプル及び左側隣接サンプルが全て利用可能な場合、Ｓ［Ｗ’／４、－１］、Ｓ［３Ｗ’／４、－１］、Ｓ［－１、Ｈ’／４］、Ｓ［－１、３Ｈ’／４］

【0216】

－ＬＭ＿Ａモード又はＭＭＬＭ＿Ａモードが適用されるか、或いは上側隣接サンプルのみ利用可能な場合、Ｓ［Ｗ’／８、－１］、Ｓ［３Ｗ’／８、－１］、Ｓ［５Ｗ’／８、－１］、Ｓ［７Ｗ’／８、－１］

【0217】

－ＬＭ＿Ｌモード又はＭＭＬＭ＿Ｌモードが適用されるか、或いは左側隣接サンプルのみ利用可能な場合、Ｓ［－１、Ｈ’／８］、Ｓ［－１、３Ｈ’／８］、Ｓ［－１、５Ｈ’／８］、Ｓ［－１、７Ｈ’／８］

【0218】

一方、二番目の上側参照ラインに位置した隣接サンプルの位置は、Ｓ２［０、－１］．．．Ｓ２［Ｗ’－１、－１］で表すことができる。また、二番目の左側参照ラインに位置した隣接サンプルの位置は、Ｓ２［－１、０］．．．Ｓ２［－１、Ｈ’－１］で表すことができる。この場合、ＣＣＬＭパラメータ誘導の際に必要な追加４個のサンプルは、次のように選択できる。

【0219】

－ＬＭモード又はＭＭＬＭモードが適用され、上側隣接サンプル及び左側隣接サンプルが全て利用可能な場合、Ｓ２［Ｗ’／４、－１］、Ｓ２［３Ｗ’／４、－１］、Ｓ２［－１、Ｈ’／４］、Ｓ２［－１、３Ｈ’／４］

【0220】

－ＬＭ＿Ａモード又はＭＭＬＭ＿Ａモードが適用されるか、或いは上側隣接サンプルのみ利用可能な場合、Ｓ２［Ｗ’／８、－１］、Ｓ２［３Ｗ’／８、－１］、Ｓ２［５Ｗ’／８、－１］、Ｓ２［７Ｗ’／８、－１］

【0221】

－ＬＭ＿Ｌモード又はＭＭＬＭ＿Ｌモードが適用されるか、或いは左側隣接サンプルのみ利用可能な場合、Ｓ２［－１、Ｈ’／８］、Ｓ２［－１、３Ｈ’／８］、Ｓ２［－１、５Ｈ’／８］、Ｓ２［－１、７Ｈ’／８］

【0222】

前述した方法によってＣＣＬＭパラメータ誘導のための８個の参照サンプル対（ｐａｉｒ）が選択された後、ＣＣＬＭパラメータは、既存のＣＣＬＭパラメータ誘導方法を拡張して誘導され得る。例えば、８個の参照サンプルをサンプル値の大きさ比較によって二種類に区分した後、各グループの平均値に基づいてＣＣＬＭパラメータを誘導することができる。例えば、ＣＣＬＭパラメータは、上述した数式３を用いて誘導できる。すなわち、各グループのルマサンプル値の平均は、前記数式３のＸ_ａ、Ｘ_ｂに対応することができ、Ｙ_ａ、Ｙ_ｂも各グループのクロマサンプル値の平均に基づいて誘導されることができる。

【0223】

本開示の他の実施例によれば、ＣＣＬＭ予測方法の適用において、現在クロマブロックの上端境界がＣＴＵの境界と一致する場合、一番目の参照ラインに存在するサンプルを二番目の参照ラインに複写した後、本開示によるＣＣＬＭ予測方法が使用できる。本開示の他の実施例によれば、現在クロマブロックの上端境界がＣＴＵの境界と一致する場合、本開示によるＣＣＬＭ予測方法が使用されなくてもよい。本開示の別の実施例によれば、現在クロマブロックの上端境界がＣＴＵの境界と一致し、上側参照ラインを使用するＣＣＬＭ予測方法が適用される場合（例えば、ＬＭ、ＬＭ＿Ａ、ＭＭＬＭ、ＭＭＬＭ＿Ａ）、本開示で提案するＣＣＬＭ予測方法が使用されなくてもよい。

【0224】

本開示の他の実施例によれば、ＬＭＳ基盤のＣＣＬＭパラメータ誘導の際に、１つの参照ラインに基づくＣＣＬＭパラメータ誘導の場合よりもさらに多い参照サンプルが使用できる。１つの参照ラインに基づくＣＣＬＭパラメータを誘導する場合よりも多い参照サンプルを用いてＣＣＬＭパラメータを誘導することにより、ＣＣＬＭパラメータの正確度が高くなることができる。本開示の一実施例によって、ＣＣＬＭパラメータ誘導の際に、クロマブロック周辺の４個の参照ラインが使用できる。例えば、この場合、ＣＣＬＭパラメータは、前述した数式７を用いて誘導できる。又は、ＣＣＬＭパラメータ誘導の際に、クロマブロック周辺のＮ個の参照ラインが使用できる。このとき、Ｎは、２とＣＴＵの大きさとの間の値を有することができる。上述した２つの参照ライン基盤のＣＣＬＭパラメータ誘導方法は、Ｎ個の参照ライン基盤のＣＣＬＭパラメータ誘導方法に適用できる。例えば、Ｎ個の参照ラインを用いてＣＣＬＭパラメータを誘導する際に、Ｎ個の参照ラインにおいてＣＣＬＭパラメータの誘導に必要なサンプルは、前述した２つの参照ライン基盤のＣＣＬＭパラメータ誘導方法と同一の方法を用いて選択できる。

【0225】

本開示の別の実施例によれば、現在クロマブロックの大きさに適応的に複数の参照ライン基盤のＣＣＬＭ方法が適用できる。すなわち、クロマブロックの大きさと所定のしきい値との比較に基づいて、ＣＣＬＭパラメータの誘導に用いられるクロマ参照ラインの個数が異なるように決定できる。具体的な例は、次の通りである。

【0226】

－クロマブロックの幅（ｗｉｄｔｈ）×高さ（ｈｅｉｇｈｔ）がＮ以上である場合、複数の参照ライン基盤のＣＣＬＭ方法が適用される。それ以外の場合には、既存の１参照ライン基盤のＣＣＬＭ方法が適用される。

【0227】

－クロマブロックの幅（ｗｉｄｔｈ）がＮ以上である場合、複数の参照ライン基盤のＬＭ、ＬＭ＿Ａ、ＭＭＬＭ、ＭＭＬＭ＿Ａ方法が適用される。それ以外の場合には、既存の１参照ライン基盤のＬＭ、ＬＭ＿Ａ、ＭＭＬＭ、ＭＭＬＭ＿Ａ方法が適用される。

【0228】

－クロマブロックの高さ（ｈｅｉｇｈｔ）がＮ以上である場合、複数の参照ライン基盤のＬＭ、ＬＭ＿Ｌ、ＭＭＬＭ、ＭＭＬＭ＿Ｌ方法が適用される。それ以外の場合には、既存の１参照ライン基盤のＬＭ、ＬＭ＿Ｌ、ＭＭＬＭ、ＭＭＬＭ＿Ｌ方法が適用される。

【0229】

－クロマブロックの幅（ｗｉｄｔｈ）×高さ（ｈｅｉｇｈｔ）がＮ以下である場合、複数の参照ライン基盤のＣＣＬＭ方法が適用される。それ以外の場合には、既存の１参照ライン基盤のＣＣＬＭ方法が適用される。

【0230】

－クロマブロックの幅（ｗｉｄｔｈ）がＮ以下である場合、複数の参照ライン基盤のＬＭ、ＬＭ＿Ａ、ＭＭＬＭ、ＭＭＬＭ＿Ａ方法が適用される。それ以外の場合には、既存の１参照ライン基盤のＬＭ、ＬＭ＿Ａ、ＭＭＬＭ、ＭＭＬＭ＿Ａ方法が適用される。

【0231】

－クロマブロックの高さ（Ｈｅｉｇｈｔ）がＮ以下である場合、複数の参照ライン基盤のＬＭ、ＬＭ＿Ｌ、ＭＭＬＭ、ＭＭＬＭ＿Ｌ方法が適用される。それ以外の場合には、既存の１参照ライン基盤のＬＭ、ＬＭ＿Ｌ、ＭＭＬＭ、ＭＭＬＭ＿Ｌ方法が適用される。

【0232】

前述した方法によって、現在クロマブロックの予測のための参照サンプルが多いか或いは少ない場合、参照ラインの数を適応的に選択することにより、ＣＣＬＭ予測の効率が極大化できる。

【0233】

本開示の他の実施例によれば、ＣＣＬＭの種類に適応的に複数の参照ライン基盤のＣＣＬＭ方法の適用有無が決定できる。ＣＣＬＭの種類（ＬＭ、ＬＭ＿Ａ、ＬＭ＿Ｌ、ＭＭＬＭ、ＭＭＬＭ＿Ａ、ＭＭＬＭ＿Ｌ）に基づいて複数の参照ライン基盤のＣＣＬＭ方法の適用有無は、次のように決定できる。

【0234】

－ＭＭＬＭ、ＭＭＬＭ＿Ａ又はＭＭＬＭ＿Ｌのうちの少なくとも一つである場合、複数の参照ライン基盤のＣＣＬＭ方法が適用される。

【0235】

－ＬＭ、ＬＭ＿Ａ又はＬＭ＿Ｌのうちの少なくとも一つである場合、複数の参照ライン基盤のＣＣＬＭ方法が適用される。

【0236】

－ＬＭ又はＭＭＬＭのうちの少なくとも一つである場合、複数の参照ライン基盤のＣＣＬＭ方法が適用される。

【0237】

－ＬＭ＿Ａ、ＭＭＬＭ＿Ａ、ＬＭ＿Ｌ又はＭＭＬＭ＿Ｌのうちの少なくとも一つである場合、複数の参照ライン基盤のＣＣＬＭ方法が適用される。

【0238】

－ＬＭ＿Ａ又はＭＭＬＭ＿Ａのうちの少なくとも一つである場合、複数の参照ライン基盤のＣＣＬＭ方法が適用される。

【0239】

－ＬＭ＿Ｌ又はＭＭＬＭ＿Ｌのうちの少なくとも一つである場合、複数の参照ライン基盤のＣＣＬＭ方法が適用される。

【0240】

以下、図１５～図１８を参照して説明する実施例は、画像符号化装置又は画像復号化装置で行われることができる。例えば、図１５～図１８に示されている方法は、図２の画像符号化装置１００のイントラ予測部１８５、又は図３の画像復号化装置２００のイントラ予測部２６５で行われることができる。画像符号化装置１００で行われる場合、図１５～図１８に示されている方法は、図４のステップＳ４１０で行われることができる。画像復号化装置２００で行われる場合、図１５～図１８に示されている方法は、図６のステップＳ６１０～ステップＳ６３０で行われることができる。以下では、説明の便宜のために、図１５～図１８に示されている方法が画像復号化装置で行われると説明する。しかし、図１５～図１８に示されている方法は、画像符号化装置でも同様に行われることができる。

【0241】

図１５は、本開示の一実施例によるＣＣＬＭ予測方法を示すフローチャートである。

【0242】

図１５を参照すると、画像復号化装置は、クロマブロックの周辺に位置するクロマ参照サンプル及びクロマ参照サンプルに対応するルマ参照サンプルを導出することができる（Ｓ１５１０）。クロマブロックの周辺に位置するクロマ参照サンプルは、クロマブロックに隣接した参照サンプルであり得る。また、クロマ参照サンプルに対応するルマ参照サンプルは、ルマブロックに隣接した参照サンプルであり得る。このとき、本開示の一実施例によれば、クロマ参照サンプルは、クロマブロックに隣接した２つ以上のクロマ参照ラインから取得できる。ステップＳ１５１０で参照サンプルを導出するために、本開示の多様な実施例のうちの少なくとも一つ又は二つ以上の組み合わせが適用できる。

【0243】

画像復号化装置は、クロマ参照サンプル及びルマ参照サンプルに基づいてＣＣＬＭパラメータを誘導することができる（Ｓ１５２０）。すなわち、ステップＳ１５１０で導出したクロマ参照サンプル及びルマ参照サンプルを用いてＣＣＬＭパラメータを誘導することができる。本開示の一実施例によれば、ＣＣＬＭパラメータは、ステップＳ１５１０で導出したクロマ参照サンプル及びルマ参照サンプルを用いて誘導できる。この場合、ＬＭＳモデルを用いてＣＣＬＭパラメータを誘導することができる。例えば、ＣＣＬＭパラメータは、前述した数式７を用いて誘導できる。本開示の他の実施例によれば、ＣＣＬＭパラメータは、ステップＳ１５１０で導出したクロマ参照サンプル及びルマ参照サンプルのうちの所定の個数のみを用いて誘導できる。例えば、ＣＣＬＭパラメータは、前述した数式２及び／又は数式３を用いて誘導できる。

【0244】

画像復号化装置は、ＣＣＬＭパラメータに基づいて、現在クロマブロックの予測サンプルを生成することができる（Ｓ１５３０）。具体的に、現在クロマブロックの予測サンプルは、ステップＳ１５２０ステップで誘導したＣＣＬＭパラメータ及び現在ルマブロックの復元されたサンプルを用いて誘導できる。又は、現在クロマブロックの予測サンプルは、ステップＳ１５２０で誘導したＣＣＬＭパラメータ及び現在ルマブロックのダウンサンプリングされた復元サンプルを用いて誘導できる。本開示の一実施例によれば、クロマブロックの予測サンプルは、前述した数式１を用いて誘導できる。

【0245】

図１５に示す方法によれば、ＣＣＬＭパラメータの誘導のために２以上の参照ラインが用いられることができるので、より精巧なＣＣＬＭパラメータの誘導が可能である。また、これにより、ＣＣＬＭ予測の正確度が向上することができ、符号化効率が向上することができる。

【0246】

図１６は、現在クロマブロックの上端境界がＣＴＵの境界と一致する場合のＣＣＬＭ適用方法の例を示す。

【0247】

図１６の方法は、図１５のステップＳ１５１０の前ステップとして行われることができる。すなわち、図１６の方法は、ＣＣＬＭパラメータを誘導するために、複数の参照ラインを用いるか、単数の参照ラインを用いるか、或いは他の変形方式の参照ラインを用いるかを判断する方法であり得る。

【0248】

図１６を参照すると、画像復号化装置は、現在クロマブロックの上端境界がＣＴＵの境界と一致するかを確認することができる（Ｓ１６１０）。クロマブロックの上端境界がＣＴＵの境界と一致する場合（Ｓ１６１０でＹＥＳ）、画像復号化装置は、複数の参照ライン基盤のＣＣＬＭを適用しない（Ｓ１６２０）。この場合、例えば、画像復号化装置は、１つの参照ラインに基づいてＣＣＬＭを適用することができる。又は、画像復号化装置は、一番目の参照ラインに存在するサンプルを二番目の参照ラインに複写した後、本開示による複数の参照ライン基盤のＣＣＬＭを適用することができる。

【0249】

クロマブロックの上端境界がＣＴＵの境界と一致しない場合（Ｓ１６１０でＮＯ）、画像復号化装置は、現在クロマブロックを予測するために、本開示による複数の参照ライン基盤のＣＣＬＭを適用することができる（Ｓ１６３０）。例えば、クロマブロックの上端境界がＣＴＵの境界と一致しない場合、画像復号化装置は、複数の参照ラインに基づいてＬＭＳモデルを用いるか、或いは複数の参照ラインから選択された所定の個数の参照サンプルを用いてＣＣＬＭパラメータを誘導することができる。

【0250】

図１６に示されている実施例によれば、クロマブロックの上端境界がＣＴＵの境界と一致するか否かによって適応的に本開示による多様な実施例を適用することができるので、ＣＣＬＭパラメータ誘導の効率が向上することができる。

【0251】

図１７は、現在クロマブロックの大きさに基づいて複数の参照ライン基盤のＣＣＬＭが適用されるか否かを決定する本開示の実施例を説明するための図である。

【0252】

図１７を参照すると、画像復号化装置は、現在クロマブロックの大きさが所定の条件を満たしたかを確認することができる（Ｓ１７１０）。本開示の一実施例によれば、所定の条件は、現在クロマブロックの幅×高さがＮ以上であるか否かを確認する条件であり得る。ここで、Ｎは、４、８、１６、３２、６４、１２８、２５６又は１０２４のうちの少なくとも一つであってもよく、それ以外の他の数字を含んでもよい。本開示の他の実施例によれば、所定の条件は、現在クロマブロックの幅がＮ以上であるか否かを確認する条件であり得る。ここで、Ｎは、２、４、８、１６、３２、６４又は１２８のうちの少なくとも一つであってもよく、それ以外の他の数字を含んでもよい。本開示の別の実施例によれば、所定の条件は、現在クロマブロックの高さがＮ以上であるか否かを確認する条件であり得る。ここで、Ｎは、２、４、８、１６、３２、６４又は１２８のうちの少なくとも一つであってもよく、それ以外の他の数字を含んでもよい。本開示の別の実施例によれば、所定の条件は、現在クロマブロックの幅×高さがＮ以下であるか否かを確認する条件であり得る。ここで、Ｎは、４、８、１６、３２、６４、１２８、２５６又は１０２４のうちの少なくとも一つであってもよく、それ以外の他の数字を含んでもよい。本開示の別の実施例によれば、所定の条件は、現在クロマブロックの幅がＮ以下であるか否かを確認する条件であり得る。ここで、Ｎは、２、４、８、１６、３２、６４又は１２８のうちの少なくとも一つであってもよく、それ以外の他の数字を含んでもよい。本開示の別の実施例によれば、所定の条件は、現在クロマブロックの高さがＮ以下であるか否かを確認する条件であり得る。ここで、Ｎは、２、４、８、１６、３２、６４又は１２８のうちの少なくとも一つであってもよく、それ以外の他の数字を含んでもよい。

【0253】

現在クロマブロックの大きさが所定の条件を満たす場合（Ｓ１７１０でＹＥＳ）、複数の参照ライン基盤のＣＣＬＭが適用できる（Ｓ１７２０）。例えば、現在クロマブロックの大きさが所定の条件を満たす場合、画像復号化装置は、複数の参照ラインに基づいてＬＭＳモデルを用いるか、或いは複数の参照ラインから選択された所定の個数の参照サンプルを用いてＣＣＬＭパラメータを誘導することができる。これに対し、現在クロマブロックの大きさが所定の条件を満たさない場合（Ｓ１７１０でＮＯ）、複数の参照ライン基盤のＣＣＬＭが適用されない（Ｓ１７３０）。この場合、例えば、１つの参照ラインに基づくＣＣＬＭが適用できる。

【0254】

図１７に示されている実施例によれば、現在クロマブロックの予測のためのサンプルが多いか或いは少ない場合、ＣＣＬＭパラメータ誘導のための参照ラインの数を適応的に選択することにより、ＣＣＬＭ予測の効率が向上することができる。

【0255】

図１８は、現在クロマブロックに適用されるＣＣＬＭの種類に基づいて複数の参照ライン基盤のＣＣＬＭの適用有無を決定する本開示の実施例を説明するための図である。

【0256】

図１８を参照すると、画像復号化装置は、現在クロマブロックに適用されるＣＣＬＭの種類が所定の条件を満たすかを確認することができる（Ｓ１８１０）。本開示の一実施例によれば、所定の条件は、現在クロマブロックに適用されるＣＣＬＭモードがＭＭＬＭ、ＭＭＬＭ＿Ａ又はＭＭＬＭ＿Ｌのうちの少なくとも一つであるか否かを確認する条件であり得る。本開示の他の実施例によれば、所定の条件は、現在クロマブロックに適用されるＣＣＬＭモードがＬＭ、ＬＭ＿Ａ又はＬＭ＿Ｌのうちの少なくとも一つであるか否かを確認する条件であり得る。本発明の別の実施例によれば、所定の条件は、現在クロマブロックに適用されるＣＣＬＭモードがＬＭ＿Ａ又はＭＭＬＭ＿Ａのうちの少なくとも一つであるか否かを確認する条件であり得る。本発明の別の実施例によれば、所定の条件は、現在クロマブロックに適用されるＣＣＬＭモードがＬＭ＿Ａ、ＭＭＬＭ＿Ａ、ＬＭ＿Ｌ又はＭＭＬＭ＿Ｌのうちの少なくとも一つであるか否かを確認する条件であり得る。本開示の別の実施例によれば、所定の条件は、現在クロマブロックに適用されるＣＣＬＭモードがＬＭ＿Ａ又はＭＭＬＭ＿Ａのうちの少なくとも一つであるか否かを確認する条件であり得る。本開示の別の実施例によれば、所定の条件は、現在クロマブロックに適用されるＣＣＬＭモードがＬＭ＿Ｌ又はＭＭＬＭ＿Ｌのうちの少なくとも一つであるか否かを確認する条件であり得る。

【0257】

現在クロマブロックに適用されるＣＣＬＭの種類が所定の条件を満たす場合（Ｓ１８１０でＹＥＳ）、複数の参照ライン基盤のＣＣＬＭが適用できる（Ｓ１８２０）。例えば、現在クロマブロックに適用されるＣＣＬＭの種類が所定の条件を満たす場合、画像復号化装置は、複数の参照ラインに基づいてＬＭＳモデルを用いるか、或いは複数の参照ラインから選択された所定の個数の参照サンプルを用いてＣＣＬＭパラメータを誘導することができる。

【0258】

これに対し、現在クロマブロックに適用されるＣＣＬＭの種類が所定の条件を満たさない場合（Ｓ１８１０でＮＯ）、複数の参照ライン基盤のＣＣＬＭが適用されない（Ｓ１８３０）。この場合、例えば、１つの参照ラインに基づくＣＣＬＭが適用できる。

【0259】

図１８に示されている実施例によれば、現在クロマブロックの予測のために適用されるＣＣＬＭの種類によって適応的に本開示による多様な実施例を適用することができるので、ＣＣＬＭパラメータ誘導の効率が向上することができる。例えば、ＭＭＬＭ、ＭＭＬＭ＿Ａ又はＭＭＬＭ＿Ｌの場合、２以上の線形モデルが誘導されるため、線形モデルの誘導に必要な参照サンプルの個数が十分に確保される必要がある。よって、現在クロマブロックに適用されるＣＣＬがＭＭＬＭ、ＭＭＬＭ＿Ａ又はＭＭＬＭ＿Ｌのうちの少なくとも一つである場合、本開示による複数の参照ライン基盤のＣＣＬＭを適用することにより、複数の線形モデルの正確度が向上することができ、それにより予測の正確度が向上することができる。

【0260】

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。

【0261】

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

【0262】

本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

【0263】

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

【0264】

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0265】

図１９は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【0266】

図１９に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0267】

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記サーバは省略できる。

【0268】

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0269】

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

【0270】

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

【0271】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

【0272】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

【0273】

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0274】

本開示による実施例は、画像を符号化／復号化することに利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14a】

【図14b】

【図15】

【図16】

【図17】

【図18】

【図19】

【手続補正書】

【提出日】2024-07-02

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
前記画像復号化方法は、
クロマブロックのイントラ予測モードがＣＣＬＭ（Cross-component linear model）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ参照サンプルを導出するステップと、
前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを導出するステップと、
前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、
前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得される、画像復号化方法。

【請求項2】

前記ＣＣＬＭパラメータを導出する前記ステップは、前記クロマブロックに隣接した前記２つ以上の前記クロマ参照ラインに存在する前記クロマ参照サンプルを用いるＬＭＳ（Linear-Mean-Square）に基づいて行われる、請求項１に記載の画像復号化方法。

【請求項3】

前記ＣＣＬＭパラメータを導出する前記ステップは、前記クロマブロックに隣接した前記２つ以上の前記クロマ参照ラインに存在するクロマ参照サンプルの所定の個数を用いる、請求項１に記載の画像復号化方法。

【請求項4】

前記クロマブロックが非正方形ブロックであることに基づいて、前記クロマブロックに隣接した１番目の参照ラインに対するサブサンプリング方法と、前記クロマブロックに隣接した２番目の参照ラインに対するサブサンプリング方法とは同一である、請求項１に記載の画像復号化方法。

【請求項5】

前記クロマブロックが非正方形ブロックであることに基づいて、前記クロマブロックに隣接した１番目の参照ラインに対するサブサンプリング方法と、前記クロマブロックに隣接した２番目の参照ラインに対するサブサンプリング方法とは異なる、請求項１に記載の画像復号化方法。

【請求項6】

前記クロマブロックの上端境界がＣＴＵの境界と一致することに基づいて、前記クロマ参照サンプルを導出するためのクロマ参照ラインの個数が異なるように決定される、請求項１に記載の画像復号化方法。

【請求項7】

２つ以上のクロマ参照ラインの個数がＮであることに基づいて、複数の２Ｎ個の上側ルマ参照ラインのうちの２ｉ－１番目の上側ルマ参照ライン及び２ｉ番目の上側ルマ参照ラインに基づいて、ダウンサンプリングされたｉ番目の上側ルマ参照ラインが生成され、ｉは１～Ｎの整数であり、
前記ルマ参照サンプルは、前記ダウンサンプリングされたＮ個の上側ルマ参照ラインに基づいて取得される、請求項１に記載の画像復号化方法。

【請求項8】

２つ以上のクロマ参照ラインの個数がＮであることに基づいて、複数の２Ｎ＋１個の左側ルマ参照ラインのうちの２ｉ－１番目の左側ルマ参照ライン、２ｉ番目の左側ルマ参照ライン、及び２ｉ＋１番目の左側ルマ参照ラインに基づいて、ダウンサンプリングされたｉ番目の左側ルマ参照ラインが生成され、ｉは１～Ｎの整数であり、
前記ルマ参照サンプルは、前記ダウンサンプリングされたＮ個の左側ルマ参照ラインに基づいて取得される、請求項１に記載の画像復号化方法。

【請求項9】

前記クロマブロックの大きさと所定のしきい値との間の比較に基づいて、前記ＣＣＬＭパラメータの導出に用いられるクロマ参照ラインの個数が異なるように決定される、請求項１に記載の画像復号化方法。

【請求項10】

前記クロマブロックに適用されるＣＣＬＭの種類に基づいて、前記ＣＣＬＭパラメータを導出するために用いられるクロマ参照ラインの個数が異なるように決定される、請求項１に記載の画像復号化方法。

【請求項11】

前記ＣＣＬＭパラメータを導出する前記ステップは、
前記ルマ参照サンプル及び前記クロマ参照サンプルを所定のしきい値に基づいて２つ以上のグループに分類するステップと、
分類されたグループごとに前記ＣＣＬＭパラメータを導出するステップと、をさらに含む、請求項１に記載の画像復号化方法。

【請求項12】

画像符号化装置によって行われる画像符号化方法であって、
前記画像符号化方法は、
クロマブロックのイントラ予測モードがＣＣＬＭ（Cross-component linear model）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ参照サンプルを導出するステップと、
前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを導出するステップと、
前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、
前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得される、画像符号化方法。

【請求項13】

画像符号化方法によって生成されたビットストリームを伝送する方法において、
前記画像符号化方法は、
クロマブロックのイントラ予測モードがＣＣＬＭ（Cross-component linear model）モードであることに基づいて、前記クロマブロックの周辺に位置するクロマ参照サンプル、及び前記クロマ参照サンプルに対応するルマ参照サンプルを導出するステップと、
前記クロマ参照サンプル及び前記ルマ参照サンプルに基づいて、ＣＣＬＭパラメータを導出するステップと、
前記ＣＣＬＭパラメータに基づいて、前記クロマブロックの予測サンプルを生成するステップと、を含み、
前記クロマ参照サンプルは、前記クロマブロックに隣接した２つ以上のクロマ参照ラインから取得される、方法。

【国際調査報告】