特表 2024-530457 イントラ予測モードに基づいて参照サンプルフィルタリングを行う画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-21

(54)【発明の名称】イントラ予測モードに基づいて参照サンプルフィルタリングを行う画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

(51)【国際特許分類】

   H04N 19/11 20140101AFI20240814BHJP

   H04N 19/117 20140101ALI20240814BHJP

   H04N 19/157 20140101ALI20240814BHJP

   H04N 19/176 20140101ALI20240814BHJP

   H04N 19/593 20140101ALI20240814BHJP

   H04N 19/80 20140101ALI20240814BHJP

【ＦＩ】

H04N19/11

H04N19/117

H04N19/157

H04N19/176

H04N19/593

H04N19/80

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024506215

(86)(22)【出願日】2022-08-18

(85)【翻訳文提出日】2024-01-31

(86)【国際出願番号】 KR2022012317

(87)【国際公開番号】W WO2023022530

(87)【国際公開日】2023-02-23

(31)【優先権主張番号】10-2021-0108572

(32)【優先日】2021-08-18

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】チェ チャンウォン

(72)【発明者】

【氏名】イム チェヒョン

(72)【発明者】

【氏名】パク ネ リ

(72)【発明者】

【氏名】ユ ソンミ

(72)【発明者】

【氏名】ナム チョン ハク

(72)【発明者】

【氏名】チャン ヒョン ムン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159PP16

5C159TA31

5C159TA69

5C159TB08

5C159TC26

5C159TC27

5C159TD11

5C159UA02

5C159UA05

5C159UA11

(57)【要約】

画像符号化／復号化方法及び装置が提供される。本開示の一実施例による画像復号化装置によって行われる画像復号化方法は、現在ブロックのイントラ予測モードを決定するステップと、前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップと、前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて前記現在ブロックの復元サンプルを取得するステップと、を含み、前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含むことができる。
【選択図】図２２

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
現在ブロックのイントラ予測モードを決定するステップと、
前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップと、
前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得するステップとを含み、
前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含む、画像復号化方法。

【請求項2】

前記フィルタリングは、第１フィルタ或いは第２フィルタを含む複数のフィルタから１つのフィルタを適応的に選択して行われる、請求項１に記載の画像復号化方法。

【請求項3】

前記１つのフィルタは、前記イントラ予測参照サンプルの数に基づいて選択される、請求項２に記載の画像復号化方法。

【請求項4】

前記イントラ予測参照サンプルの数は、前記現在ブロックのサイズに基づいて決定される、請求項３に記載の画像復号化方法。

【請求項5】

前記イントラ予測参照サンプルの数は、前記現在ブロックのサイズと特定値の比較に基づいて決定される、請求項４に記載の画像復号化方法。

【請求項6】

前記第１フィルタは３タップフィルタであり、前記第２フィルタは５タップフィルタである、請求項１に記載の画像復号化方法。

【請求項7】

前記３タップフィルタは［１，２，１］である、請求項６に記載の画像復号化方法。

【請求項8】

前記５タップフィルタは［１，４，６，４，１］である、請求項６に記載の画像復号化方法。

【請求項9】

前記フィルタリングの適用は、ＤＩＭＤ（ｄｅｃｏｄｅｒ ｓｉｄｅ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）の適用如何或いはＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）の適用如何のうちの少なくとも一つに基づいて決定される、請求項１に記載の画像復号化方法。

【請求項10】

前記フィルタリングは、前記現在ブロックのサイズを問わずに適用される、請求項１に記載の画像復号化方法。

【請求項11】

前記フィルタリングは、前記現在ブロックのカラー成分を問わずに適用される、請求項１に記載の画像復号化方法。

【請求項12】

前記フィルタリングは、［１，２，１］フィルタに基づいて行われ、
前記現在ブロックのサイズ、前記現在ブロックのカラー成分或いはＩＳＰ（ｉｎｔｒａ ｓｕｂｐａｒｔｉｔｉｏｎ）の適用如何のうちの少なくとも一つに基づいて行われる、請求項１に記載の画像復号化方法。

【請求項13】

画像符号化装置によって行われる画像符号化方法であって、
現在ブロックのイントラ予測モードを決定するステップと、
前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップと、
前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得するステップと、を含み、
前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含む、画像符号化方法。

【請求項14】

画像符号化方法によって生成されたビットストリームの伝送方法であって、
前記画像符号化方法は、
現在ブロックのイントラ予測モードを決定するステップと、
前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップと、
前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得するステップと、を含み、
前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含む、ビットストリームの伝送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、イントラ予測モードに基づいて参照サンプルフィルタリングを行う画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

【背景技術】

【0002】

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

【0003】

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

【0005】

また、本開示は、イントラ予測モードに基づいて参照サンプルフィルタリングを行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0006】

また、本開示は、複数のフィルタのうちの一つに基づいて参照サンプルフィルタリングを行う画像を符号化／復号化する方法及び装置を提供することを目的とする。

【0007】

また、本開示は、特定のイントラ予測モードに基づいて参照サンプルフィルタリングを行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0008】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

【0009】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

【0010】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。

【0011】

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【課題を解決するための手段】

【0012】

本開示の一実施例によれば、画像復号化装置によって行われる画像復号化方法は、現在ブロックのイントラ予測モードを決定するステップと、前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップ、及び前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得するステップを含み、 前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含むことができる。

【0013】

本開示の一実施例によれば、前記フィルタリングは、第１フィルタ或いは第２フィルタのうちの１つのフィルタを適応的に選択して行われることができる。

【0014】

本開示の一実施例によれば、前記１つのフィルタは、前記イントラ予測参照サンプルの数に基づいて選択されることができる。

【0015】

本開示の一実施例によれば、前記第１フィルタは３タップフィルタであり、前記第２フィルタは５タップフィルタであり得る。

【0016】

本開示の一実施例によれば、前記３タップフィルタは［１，２，１］であり得る。

【0017】

本開示の一実施例によれば、前記５タップフィルタは［１，４，６，４，１］であり得る。

【0018】

本開示の一実施例によれば、前記イントラ予測参照サンプルの数は、前記現在ブロックのサイズに基づいて決定されることができる。

【0019】

本開示の一実施例によれば、前記イントラ予測参照サンプルの数は、前記現在ブロックのサイズと特定値との比較に基づいて決定されることができる。

【0020】

本開示の一実施例によれば、前記フィルタリングの適用は、ＤＩＭＤ（ｄｅｃｏｄｅｒ ｓｉｄｅ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）の適用如何に基づいて決定されることができる。

【0021】

本開示の一実施例によれば、前記フィルタリングの適用は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）の適用如何に基づいて決定されることができる。

【0022】

本開示の一実施例によれば、前記フィルタリングは、前記現在ブロックのカラー成分を問わずに適用されることができる。

【0023】

本開示の一実施例によれば、前記フィルタリングは、前記現在ブロックのサイズを問わずに適用されることができる。

【0024】

本開示の一実施例によれば、前記フィルタリングに用いられるフィルタ係数はいずれも正数であり得る。

【0025】

本開示の一実施例によれば、画像復号化装置は、メモリ及び少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、現在ブロックのイントラ予測モードを決定し、前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行い、前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得し、前記Ｐｌａｎａｒイントラ予測は、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用して行われることができる。

【0026】

本開示の一実施例によれば、画像符号化装置によって行われる画像符号化方法において、現在ブロックのイントラ予測モードを決定するステップと、前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップと、前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得するステップと、を含み、前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含むことができる。

【0027】

本開示の一実施例によれば、画像符号化装置或いは画像符号化方法によって生成されたビットストリームが伝送されることができる。

【0028】

本開示の一実施例によれば、画像符号化方法によって生成されたビットストリームの伝送方法において、前記画像符号化方法は、現在ブロックのイントラ予測モードを決定するステップと、前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップと、前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得するステップと、を含み、前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含むことができる。

【0029】

本開示の一実施例によれば、画像符号化方法によって生成されたビットストリームは、コンピュータ可読媒体に保存又は記録されることができる。

【0030】

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

【発明の効果】

【0031】

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

【0032】

また、本開示によれば、イントラ予測モードに基づいて参照サンプルフィルタリングを行う画像符号化／復号化方法及び装置が提供されることができる。

【0033】

また、本開示によれば、Ｐｌａｎａｒイントラ予測モードに基づいて参照サンプルフィルタリングを行う画像符号化／復号化方法及び装置が提供されることができる。

【0034】

本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

【0035】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

【0036】

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

【0037】

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【図面の簡単な説明】

【0038】

【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【0039】

【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0040】

【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0041】

【図4】マルチタイプツリー構造によるブロックの分割タイプを示す図である。

【0042】

【図5】本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造のパーティション分割情報のシグナリングメカニズムを例示する図である。

【0043】

【図6】イントラ予測に基づくビデオ／画像符号化方法を示すフローチャートである。

【0044】

【図7】本開示によるイントラ予測部１８５の構成を例示的に示す図である。

【0045】

【図8】イントラ予測に基づくビデオ／画像復号化方法を示すフローチャートである。

【0046】

【図9】本開示によるイントラ予測部２６５の構成を例示的に示す図である。

【0047】

【図10】画像符号化装置におけるイントラ予測モードシグナリング手順を示すフローチャートである。

【0048】

【図11】画像復号化装置におけるイントラ予測モード決定手順を示すフローチャートである。

【0049】

【図12】イントラ予測モード導出手順をより具体的に説明するためのフローチャートである。

【0050】

【図13】本開示の一実施例によるイントラ予測方向を示す図である。

【0051】

【図14】本開示の他の実施例によるイントラ予測方向を示す図である。

【0052】

【図15】本開示の一実施例による広角イントラ予測モードに対する参照サンプルを示す図である。

【0053】

【図16】本開示の一実施例による一部の広角イントラ予測方向を示す図である。

【0054】

【図17】ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）で使用できる周辺ブロックを示す図である。

【0055】

【図18】ＭＲＬ（Ｍｕｌｔｉ Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ）イントラ予測を示す図である。

【0056】

【図19a-19b】ＩＳＰ（Ｉｎｔｒａ Ｓｕｂｐａｒｔｉｔｉｏｎｓ）を示す図である。

【0057】

【図20】本開示の一実施例によるＰｌａｎａｒイントラ予測モード手順を示す図である。

【0058】

【図21】本開示の他の一実施例によるＰｌａｎａｒイントラ予測モード手順を示す図である。

【0059】

【図22】本開示の一実施例によるイントラ予測モードに基づいて参照サンプルフィルタリングを行う画像符号化又は復号化方法を示す図である。

【0060】

【図23】本開示の一実施例による画像符号化／復号化装置を説明するための図である。

【0061】

【図24】本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【発明を実施するための形態】

【0062】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0063】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0064】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0065】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

【0066】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

【0067】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0068】

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

【0069】

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

【0070】

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0071】

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

【0072】

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

【0073】

また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのクロマブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。

【0074】

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

【0075】

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

【0076】

ビデオコーディングシステムの概要

【0077】

図１は、本開示によるビデオコーディングシステムを示す図である。

【0078】

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

【0079】

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

【0080】

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

【0081】

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

【0082】

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

【0083】

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

【0084】

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

【0085】

画像符号化装置の概要

【0086】

図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0087】

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

【0088】

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

【0089】

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

【0090】

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0091】

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0092】

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

【0093】

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。

【0094】

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

【0095】

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

【0096】

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0097】

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

【0098】

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

【0099】

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

【0100】

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0101】

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0102】

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

【0103】

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

【0104】

画像復号化装置の概要

【0105】

図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0106】

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

【0107】

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

【0108】

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

【0109】

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

【0110】

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

【0111】

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0112】

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

【0113】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

【0114】

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

【0115】

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

【0116】

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

【0117】

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

【0118】

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0119】

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

【0120】

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

【0121】

ＣＴＵ分割の概要

【0122】

前述したように、コーディングユニットは、コーディングツリーユニット（ＣＴＵ）又は最大コーディングユニット（ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に分割することにより取得できる。例えば、ＣＴＵは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。

【0123】

四分木による分割は、現在ＣＵ（又はＣＴＵ）を４等分する分割を意味する。四分木による分割によって、現在ＣＵは、同じ幅と同じ高さを有する４つのＣＵに分割されることができる。現在ＣＵがそれ以上四分木構造に分割されない場合、現在ＣＵは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するＣＵは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するＣＵは、マルチタイプツリー構造によってさらに分割されることができる。

【0124】

図４は、マルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による２つの分割と三分木構造による２つの分割を含むことができる。

【0125】

二分木構造による２つの分割は、垂直バイナリ分割（ｖｅｒｔｉｃａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）と水平バイナリ分割（ｈｏｒｉｚｏｎｔａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）を含むことができる。垂直バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に二等分する分割を意味する。図４に示されているように、垂直バイナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有する２つのＣＵが生成されることができる。水平バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）は、現在ＣＵを水平方向に二等分する分割を意味する。図４に示されているように、水平バイナリ分割によって、現在ＣＵの高さの半分の高さ及び現在ＣＵの幅と同じ幅を有する２つのＣＵが生成されることができる。

【0126】

三分木構造による２つの分割は、垂直ターナリ分割（ｖｅｒｔｉｃａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）と水平ターナリ分割（ｈｏｒｉｚｏｎｔａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）を含むことができる。垂直ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に１：２：１の割合で分割する。図４に示されているように、垂直ターナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の１／４の幅を有する２つのＣＵと、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有するＣＵが生成されることができる。水平ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）は、現在ＣＵを水平方向に１：２：１の割合で分割する。図４に示されているように、水平ターナリ分割によって、現在ＣＵの高さの１／４の高さ及び現在ＣＵの幅と同じ幅を有する２つのＣＵと、現在ＣＵの高さの半分の高さ及び現在ＣＵの幅と同じ幅を有する１つのＣＵが生成されることができる。

【0127】

図５は、本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造のパーティション分割情報のシグナリングメカニズムを例示する図である。

【0128】

ここで、ＣＴＵは、四分木のルート（ｒｏｏｔ）ノードとして扱われ、四分木構造に初めて分割される。現在ＣＵ（ＣＴＵ又は四分木のノード（ＱＴ＿ｎｏｄｅ））に対して四分木分割を行うか否かを指示する情報（例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ）がシグナリングされることができる。例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第１値（例えば、「１」）であれば、現在ＣＵは四分木に分割されることができる。また、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第２値（例えば、「０」）であれば、現在ＣＵは、四分木に分割されず、四分木のリーフノード（ＱＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらに分割されることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード（ＭＴＴ＿ｎｏｄｅ）になることができる。マルチタイプツリー構造で、現在ノードがさらに分割されるかを指示するために、第１フラグ（ａ ｆｉｒｓｔ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）がシグナリングされることができる。もし当該ノードがさらに分割される場合（例えば、第１フラグが１である場合）には、分割方向（ｓｐｌｉｔｔｉｎｇ ｄｉｒｅｃｔｉｏｎ）を指示するために、第２フラグ（ａ ｓｅｃｏｎｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃｌａ＿ｆｌａｇ）がシグナリングされることができる。例えば、第２フラグが１である場合には、分割方向は垂直方向であり、第２フラグが０である場合には、分割方向は水平方向であり得る。その後、分割タイプがバイナリ分割タイプであるかターナリ分割タイプであるかを指示するために、第３フラグ（ａ ｔｈｉｒｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ）がシグナリングされることができる。例えば、第３フラグが１である場合には、分割タイプはバイナリ分割タイプであり、第３フラグが０である場合には、分割タイプはターナリ分割タイプであり得る。バイナリ分割又はターナリ分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらに分割されることができる。しかし、マルチタイプツリーのノードは四分木構造に分割されることはできない。前記第１フラグが０である場合、マルチタイプツリーの当該ノードは、それ以上分割されず、マルチタイプツリーのリーフノード（ＭＴＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。マルチタイプツリーのリーフノードに該当するＣＵは、前述した最終コーディングユニットとして使用できる。

【0129】

前述したｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ及びｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇに基づいて、ＣＵのマルチタイプツリー分割モード（ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ ｓｐｌｉｔｔｉｎｇ ｍｏｄｅ、ＭｔｔＳｐｌｉｔＭｏｄｅ）が表１のとおりに導出されることができる。

【0130】

【表1】

【0131】

一つのＣＴＵは、ルマサンプルのコーディングブロック（以下、「ルマブロック」という）と、これに対応するクロマサンプルの二つのコーディングブロック（以下、「クロマブロック」という）と、を含むことができる。前述したコーディングツリースキームは、現在ＣＵのルマブロック及びクロマブロックに対して同様に適用されることもでき、個別的に（ｓｅｐａｒａｔｅ）適用されることもできる。具体的には、一つのＣＴＵ内のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）と表すことができる。又は、一つのＣＴＵ内のルマブロック及びクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）と表すことができる。つまり、ＣＴＵがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ（ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ）と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ（ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）と呼ばれることができる。Ｐ及びＢスライス／タイルグループに対して、一つのＣＴＵ内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかし、Ｉスライス／タイルグループに対して、ルマブロック及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別ブロックツリー構造が適用される場合、ルマＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）は、特定のコーディングツリー構造に基づいてＣＵに分割され、クロマＣＴＢは、他のコーディングツリー構造に基づいてクロマＣＵに分割されることができる。すなわち、個別ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵは、ルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックで構成できる。また、同一ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵとＰ又はＢスライス／タイルグループのＣＵは、三つのカラー成分（ルマ成分及び二つのクロマ成分）のブロックで構成できる。

【0132】

上記において、マルチタイプツリーを伴う四分木コーディングツリー構造について説明したが、ＣＵが分割される構造はこれに限定されない。例えば、ＢＴ構造及びＴＴ構造は、多数の分割ツリー（Ｍｕｌｔｉｐｌｅ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｔｒｅｅ、ＭＰＴ）構造に含まれる概念と解釈されることができ、ＣＵはＱＴ構造及びＭＰＴ構造によって分割されると解釈されることができる。ＱＴ構造及びＭＰＴ構造によってＣＵが分割される一例において、ＱＴ構造のリーフノードが幾つかのブロックに分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｔｙｐｅ）及びＱＴ構造のリーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｍｏｄｅ）がシグナリングされることにより、分割構造が決定されることができる。

【0133】

別の例において、ＣＵは、ＱＴ構造、ＢＴ構造又はＴＴ構造とは異なる方法で分割されることができる。つまり、ＱＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４サイズに分割されるか、或いはＢＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／２サイズに分割されるか、或いはＴＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４又は１／２サイズに分割されるのとは異なり、下位デプスのＣＵは、場合によって、上位デプスのＣＵの１／５、１／３、３／８、３／５、２／３又は５／８のサイズに分割されることができ、ＣＵが分割される方法は、これに限定されない。

【0134】

イントラ予測の概要

【0135】

以下、本開示によるイントラ予測について説明する。

【0136】

イントラ予測は、現在ブロックの属するピクチャ（以下、現在ピクチャ）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する周辺参照サンプルが導出されることができる。前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの左側（ｌｅｆｔ）境界に隣接（ｎｅｉｇｈｂｏｒ／ａｄｊａｃｅｎｔ）したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接した総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接した総２×ｎＷ個のサンプル及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接した１つのサンプルを含むことができる。又は、前記現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むこともできる。また、前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接した１個のサンプルを含むこともできる。

【0137】

ただし、現在ブロックの周辺参照サンプルのうちの一部は、まだ復号化されていないか、或いは利用可能でないことがある。この場合、復号化器は、利用可能でないサンプルを利用可能なサンプルに置き換える（ｓｕｂｓｔｉｔｕｔｉｏｎ）ことにより、予測に使用する周辺参照サンプルを構成することができる。又は、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して、予測に使用する周辺参照サンプルを構成することができる。

【0138】

周辺参照サンプルが導出された場合、（ｉ）現在ブロックの周辺（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）或いはインターポレーション（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの周辺参照サンプルのうちの予測サンプルに対して特定（予測）の方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は非方向性モード又は非角度モード、（ｉｉ）の場合は方向性（ｄｉｒｅｃｔｉｏｎａｌ）モード又は角度（ａｎｇｕｌａｒ）モードと呼ばれることがある。

【0139】

また、前記周辺参照サンプルのうち、前記現在ブロックの予測対象サンプルを基準に、前記現在ブロックのイントラ予測モードの予測方向に位置する第１周辺サンプルとその反対方向に位置する第２周辺サンプルとの補間を介して、前記予測サンプルが生成されることもできる。上述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることがある。

【0140】

また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を用いてルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭ（Ｌｉｎｅａｒ Ｍｏｄｅｌ）モードと呼ばれることがある。

【0141】

また、フィルタリングされた周辺参照サンプルに基づいて前記現在ブロックの一時予測サンプルを導出し、前記既存の周辺参照サンプル、すなわち、フィルタリングされていない周辺参照サンプルのうち、前記イントラ予測モードに従って導出された少なくとも一つの参照サンプルと前記一時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して前記現在ブロックの予測サンプルを導出することもできる。この場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることがある。

【0142】

また、現在ブロックの周辺多重参照サンプルラインの中から、最も予測正確度の高い参照サンプルラインを選択して、当該ラインから予測方向に位置する参照サンプルを用いて予測サンプルを導出することができる。このとき、使用された参照サンプルラインに関する情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）は、ビットストリームに符号化されてシグナリングされることができる。この場合は、ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＭＲＬ）又はＭＲＬ基盤のイントラ予測と呼ばれることがある。ＭＲＬが適用されない場合、現在ブロックに直接隣接した参照サンプルラインから参照サンプルが導出されることができ、この場合、参照サンプルラインに関する情報は、シグナリングされないことができる。

【0143】

また、現在ブロックを垂直又は水平のサブパーティションに分割し、各サブパーティションに対して同一のイントラ予測モードに基づいてイントラ予測を行うことができる。このとき、イントラ予測の周辺参照サンプルは、各サブパーティション単位で導出されることができる。すなわち、符号化／復号化の順序上、以前サブパーティションの復元されたサンプルが現在サブパーティションの周辺参照サンプルとして用いられることができる。この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同一に適用されるが、前記サブパーティション単位で周辺参照サンプルを導出して用いることにより、場合に応じてイントラ予測性能を高めることができる。このような予測方法は、ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）又はＩＳＰ基盤のイントラ予測と呼ばれることがある。

【0144】

前述したイントラ予測技法は、方向性又は非方向性のイントラ予測モードと区分して前記イントラ予測タイプ又は付加イントラ予測モードなどの様々な用語で呼ばれることがある。例えば、前記イントラ予測技法（イントラ予測タイプ又は付加イントラ予測モードなど）は、上述したＬＩＰ、ＬＭ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうちの少なくとも一つを含むことができる。前記ＬＩＰ、ＬＭ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定のイントラ予測タイプを除いた一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることがある。ノーマルイントラ予測タイプは、上述した特定のイントラ予測タイプが適用されない場合に一般に適用されることができ、前述したイントラ予測モードに基づいて予測が行われることができる。一方、必要に応じて、導出された予測サンプルに対する後処理フィルタリングが行われることもできる。

【0145】

具体的には、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、周辺参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。さらに、必要に応じて、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが行われることもできる。

【0146】

図６は、イントラ予測に基づくビデオ／画像符号化方法を示すフローチャートである。

【0147】

図６の符号化方法は、図２の画像符号化装置によって行われることができる。具体的には、ステップＳ６１０は、イントラ予測部１８５によって行われることができ、ステップＳ６２０は、レジデュアル処理部によって行われることができる。具体的に、ステップＳ６２０は、減算部１１５によって行われることができる。ステップＳ６３０は、エントロピー符号化部１９０によって行われることができる。ステップＳ６３０の予測情報は、イントラ予測部１８５によって導出され、ステップＳ６３０のレジデュアル情報は、レジデュアル処理部によって導出されることができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、前記レジデュアルサンプルは、画像符号化装置の変換部１２０を介して変換係数に導出され、前記変換係数は、量子化部１３０を介して量子化された変換係数に導出されることができる。前記量子化された変換係数に関する情報が、レジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。

【0148】

画像符号化装置は、現在ブロックに対するイントラ予測を行うことができる（Ｓ６１０）。画像符号化装置は、現在ブロックに対するイントラ予測モード／タイプを決定し、現在ブロックの周辺参照サンプルを導出した後、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる。ここで、イントラ予測モード／タイプの決定、周辺参照サンプルの導出、及び予測サンプルの生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。

【0149】

図７は、本開示によるイントラ予測部１８５の構成を例示的に示す図である。

【0150】

図７に示すように、画像符号化装置のイントラ予測部１８５は、イントラ予測モード／タイプ決定部１８６、参照サンプル導出部１８７、及び／又は予測サンプル導出部を含むことができる。イントラ予測モード／タイプ決定部１８６は、前記現在ブロックに対するイントラ予測モード／タイプを決定することができる。参照サンプル導出部１８７は、前記現在ブロックの周辺参照サンプルを導出することができる、予測サンプル導出部１８８は、前記現在ブロックの予測サンプルを導出することができる。一方、たとえ図示されてはいないが、後述する予測サンプルフィルタリング手順が行われる場合、イントラ予測部１８５は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。

【0151】

画像符号化装置は、複数のイントラ予測モード／タイプのうち、前記現在ブロックに対して適用されるモード／タイプを決定することができる。画像符号化装置は、前記イントラ予測モード／タイプに対するレート歪みコスト（ＲＤ ｃｏｓｔ）を比較し、前記現在ブロックに対する最適のイントラ予測モード／タイプを決定することができる。

【0152】

一方、画像符号化装置は、予測サンプルフィルタリング手順を行うこともできる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリングされることができる。場合によっては、前記予測サンプルフィルタリング手順は省略可能である。

【0153】

再び図６を参照して、画像符号化装置は、予測サンプル又はフィルタリングされた予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ６２０）。画像符号化装置は、現在ブロックの原本サンプルから前記予測サンプルを減算して前記レジデュアルサンプルを導出することができる。すなわち、画像符号化装置は、原本サンプル値から対応する予測サンプル値を減算することにより、レジデュアルサンプル値を導出することができる。

【0154】

画像符号化装置は、前記イントラ予測に関する情報（予測情報）、及び前記レジデュアルサンプルに関するレジデュアル情報を含む画像情報を符号化することができる（Ｓ６３０）。前記予測情報は、前記イントラ予測モード情報及び／又は前記イントラ予測技法情報を含むことができる。画像符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。出力されたビットストリームは、記憶媒体又はネットワークを介して画像復号化装置へ伝達されることができる。

【0155】

前記レジデュアル情報は、後述するレジデュアルコーディングシンタックスを含むことができる。画像符号化装置は、前記レジデュアルサンプルを変換／量子化して、量子化された変換係数を導出することができる。前記レジデュアル情報は、前記量子化された変換係数に対する情報を含むことができる。

【0156】

一方、前述したように、画像符号化装置は、復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成することができる。このために、画像符号化装置は、前記量子化された変換係数を再び逆量子化／逆変換処理して（修正された）レジデュアルサンプルを導出することができる。このようにレジデュアルサンプルを変換／量子化した後、再び逆量子化／逆変換を行う理由は、画像復号化装置で導出されるレジデュアルサンプルと同一のレジデュアルサンプルを導出するためである。画像符号化装置は、前記予測サンプルと（前記修正された）レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを含む復元ブロックを生成することができる。前記復元ブロックに基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、前述したとおりである。

【0157】

図８は、イントラ予測に基づくビデオ／画像復号化方法を示すフローチャートである。

【0158】

画像復号化装置は、前記画像符号化装置で行われた動作と対応する動作を行うことができる。

【0159】

図８の復号化方法は、図３の画像復号化装置によって行われることができる。ステップＳ８１０乃至Ｓ８３０は、イントラ予測部２６５によって行われることができ、Ｓ８１０の予測情報及びＳ８４０のレジデュアル情報は、エントロピー復号化部２１０によってビットストリームから取得できる。画像復号化装置のレジデュアル処理部は、前記レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ８４０）。具体的には、前記レジデュアル処理部の逆量子化部２２０は、前記レジデュアル情報に基づいて導出された量子化変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部２３０は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。ステップＳ８５０は、加算部２３５又は復元部によって行われることができる。

【0160】

具体的には、画像復号化装置は、受信した予測情報（イントラ予測モード／タイプ情報）に基づいて、現在ブロックに対するイントラ予測モード／タイプを導出することができる（Ｓ８１０）。また、画像復号化装置は、前記現在ブロックの周辺参照サンプルを導出することができる（Ｓ８２０）。前記画像復号化装置は、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる（Ｓ８３０）。この場合、画像復号化装置は予測サンプルフィルタリング手順を行うことができる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることがある。前記予測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリングされることができる。場合によっては、予測サンプルフィルタリング手順は省略可能である。

【0161】

画像復号化装置は、受信したレジデュアル情報に基づいて前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ８４０）。画像復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、前記復元サンプルを含む復元ブロックを導出することができる（Ｓ８５０）。前記復元ブロックに基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、前述したとおりである。

【0162】

図９は、本開示によるイントラ予測部２６５の構成を例示的に示す図である。

【0163】

図９に示すように、画像復号化装置のイントラ予測部２６５は、イントラ予測モード／タイプ決定部２６６、参照サンプル導出部２６７、予測サンプル導出部２６８を含むことができる。イントラ予測モード／タイプ決定部２６６は、画像符号化装置のイントラ予測モード／タイプ決定部１８６で生成されてシグナリングされたイントラ予測モード／タイプ情報に基づいて前記現在ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部２６６は、現在ピクチャ内の復元された参照領域から前記現在ブロックの周辺参照サンプルを導出することができる。予測サンプル導出部２６８は、前記現在ブロックの予測サンプルを導出することができる。一方、たとえ図示されてはないが、前述した予測サンプルフィルタリング手順が行われる場合、イントラ予測部２６５は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。

【0164】

前記イントラ予測モード情報は、例えば、ＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）が前記現在ブロックに適用されるか、それともリメイニングモード（ｒｅｍａｉｎｉｎｇ ｍｏｄｅ）が適用されるかを示すフラグ情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）を含むことができ、前記ＭＰＭが前記現在ブロックに適用される場合、前記イントラ予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）のうちのいずれか一つを指示するインデックス情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）をさらに含むことができる。前記イントラ予測モード候補（ＭＰＭ候補）は、ＭＰＭ候補リスト又はＭＰＭリストから構成されることができる。また、前記ＭＰＭが前記現在ブロックに適用されない場合、前記イントラ予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）を除いた残りのイントラ予測モードのうちのいずれか一つを指示するリメイニングモード情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をさらに含むことができる。画像復号化装置は、前記イントラ予測モード情報に基づいて前記現在ブロックのイントラ予測モードを決定することができる。

【0165】

さらに、前記イントラ予測技法情報は、様々な形態で実現できる。一例として、前記イントラ予測技法情報は、前記イントラ予測技法のうちのいずれか一つを指示するイントラ予測技法インデックス情報を含むことができる。他の例として、前記イントラ予測技法情報は、前記ＭＲＬが前記現在ブロックに適用されるか、及び適用される場合には幾番目の参照サンプルラインが用いられるかを示す参照サンプルライン情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、前記ＩＳＰが前記現在ブロックに適用されるかを示すＩＳＰフラグ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、前記ＩＳＰが適用される場合にサブパーティションの分割タイプを指示するＩＳＰタイプ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＰＣの適用如何を示すフラグ情報、又はＬＩＰの適用如何を示すフラグ情報のうちの少なくとも一つを含むことができる。本開示において、ＩＳＰフラグ情報は、ＩＳＰ適用指示子と呼ばれることができる。

【0166】

前記イントラ予測モード情報及び／又は前記イントラ予測技法情報は、本開示において説明されたコーディング方法を介して符号化／復号化されることができる。例えば、前記イントラ予測モード情報及び／又は前記イントラ予測技法情報は、ｔｒｕｎｃａｔｅｄ（ｒｉｃｅ）ｂｉｎａｒｙ ｃｏｄｅに基づいてエントロピー符号化（例えば、ＣＡＢＡＣ、ＣＡＶＬＣ）を介して符号化／復号化されることができる。

【0167】

以下、本開示によるイントラ予測モード／タイプ決定方法についてより詳細に説明する。

【0168】

現在ブロックにイントラ予測が適用される場合、周辺ブロックのイントラ予測モードを用いて、現在ブロックに適用されるイントラ予測モードが決定されることができる。例えば、画像復号化装置は、現在ブロックの周辺ブロック（例えば、左側及び／又は上側周辺ブロック）のイントラ予測モード及び追加の候補モードに基づいて導出されたｍｐｍ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）リストを構成し、受信されたｍｐｍインデックスに基づいてｍｐｍリスト内のｍｐｍ候補のうちの一つを選択することができる。又は、画像復号化装置は、前記ｍｐｍリストに含まれていない残りのイントラ予測モードのうちの一つを、リメイニングイントラ予測モード情報に基づいて選択することができる。例えば、現在ブロックに適用されるイントラ予測モードがｍｐｍ候補中にあるか（すなわち、ｍｐｍリストに含まれているか）、それともリメイニングモード中にあるかは、ｍｐｍ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）に基づいて指示されることができる。ｍｐｍ ｆｌａｇの値１は、前記現在ブロックに対するイントラ予測モードがｍｐｍ候補（ｍｐｍリスト）内にあることを示すことができ、ｍｐｍ ｆｌａｇの値０は、前記現在ブロックに対するイントラ予測モードがｍｐｍ候補（ｍｐｍリスト）内にないことを示すことができる。前記ｍｐｍインデックスは、ｍｐｍ＿ｉｄｘ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘシンタックス要素の形態でシグナリングされることができ、前記リメイニングイントラ予測モード情報は、ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒシンタックス要素の形態でシグナリングされることができる。例えば、前記リメイニングイントラ予測モード情報は、全体イントラ予測モードのうち、前記ｍｐｍ候補（ｍｐｍリスト）に含まれない残りのイントラ予測モードを予測モード番号順にインデックス化してその中の一つを指示することができる。前記イントラ予測モードは、ルマ成分（サンプル）に対するイントラ予測モードであり得る。以下、イントラ予測モード情報は、前記ｍｐｍ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）、前記ｍｐｍインデックス（例えば、ｍｐｍ＿ｉｄｘ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）、前記リメイニングイントラ予測モード情報（ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）のうちの少なくとも一つを含むことができる。本開示において、ＭＰＭリストは、ＭＰＭ候補リスト、ｃａｎｄＭｏｄｅＬｉｓｔなどの多様な用語で呼ばれることができる。

【0169】

図１０は、画像符号化装置におけるイントラ予測モードシグナリング手順を示すフローチャートである。

【0170】

図１０を参照すると、画像符号化装置は、現在ブロックに対するＭＰＭリストを構成することができる（Ｓ１０１０）。前記ＭＰＭリストは、前記現在ブロックに適用される可能性の高い候補イントラ予測モード（ＭＰＭ候補）を含むことができる。前記ＭＰＭリストは、周辺ブロックのイントラ予測モードを含むこともでき、予め定められた方法によって特定イントラ予測モードをさらに含むこともできる。

【0171】

画像符号化装置は、現在ブロックのイントラ予測モードを決定することができる（Ｓ１０２０）。画像符号化装置は、多様なイントラ予測モードに基づいて予測を行うことができ、これに基づいたＲＤＯ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ）を行い、最適のイントラ予測モードを決定することができる。画像符号化装置は、この場合、前記ＭＰＭリストに含まれたＭＰＭ候補のみを用いて前記最適のイントラ予測モードを決定することもでき、或いは前記ＭＰＭリストに含まれたＭＰＭ候補だけでなく、残りのイントラ予測モードをさらに用いて前記最適のイントラ予測モードを決定することもできる。具体的には、例えば、もし前記現在ブロックのイントラ予測タイプがノーマルイントラ予測タイプではなく特定タイプ（例えば、ＬＩＰ、ＭＲＬ又はＩＳＰ）である場合には、画像符号化装置は、前記ＭＰＭ候補のみを用いて前記最適のイントラ予測モードを決定することができる。すなわち、この場合には、前記現在ブロックに対するイントラ予測モードは、前記ＭＰＭ候補の中でのみ決定でき、この場合には、前記ｍｐｍ ｆｌａｇを符号化／シグナリングしないことができる。画像復号化装置は、前記特定タイプの場合にはｍｐｍ ｆｌａｇのシグナリングを別途受けなくても、ｍｐｍ ｆｌａｇが１であると推定することができる。

【0172】

一方、一般的に、前記現在ブロックのイントラ予測モードが前記ＭＰＭリスト内にあるＭＰＭ候補のうちの一つである場合、画像符号化装置は、前記ＭＰＭ候補のうちの一つを指示するＭＰＭインデックス（ｍｐｍ ｉｄｘ）を生成することができる。もし、前記現在ブロックのイントラ予測モードが前記ＭＰＭリスト内にない場合には、前記ＭＰＭリストに含まれていない残りのイントラ予測モードのうち、前記現在ブロックのイントラ予測モードと同じモードを指示するリメイニングイントラ予測モード情報を生成することができる。

【0173】

画像符号化装置は、イントラ予測モード情報を符号化してビットストリーム形式で出力することができる（Ｓ１０３０）。前記イントラ予測モード情報は、前述したｍｐｍ ｆｌａｇ、ｍｐｍインデックス及び／又はリメイニングイントラ予測モード情報を含むことができる。一般的に、ｍｐｍインデックスとリメイニングイントラ予測モード情報は、ａｌｔｅｒｎａｔｉｖｅな関係であるので、一つのブロックに対するイントラ予測モードを指示するにあたり、同時にシグナリングされない。すなわち、ｍｐｍ ｆｌａｇ値が１であるとき、ｍｐｍインデックスがシグナリングされ、ｍｐｍ ｆｌａｇ値が０であるとき、リメイニングイントラ予測モード情報がシグナリングされることができる。ただし、前述したように、現在ブロックに特定イントラ予測タイプが適用される場合には、ｍｐｍ ｆｌａｇがシグナリングされず、その値が１と推論（ｉｎｆｅｒ）され、ｍｐｍインデックスのみシグナリングされることもできる。すなわち、この場合には、前記イントラ予測モード情報は、前記ｍｐｍインデックスのみを含んでもよい。

【0174】

図１０に示された例において、Ｓ１０２０はＳ１０１０よりも後ろに行われると図示されたが、これは一つの例示であり、Ｓ１０２０はＳ１０１０よりも先に行われてもよく、同時に行われてもよい。

【0175】

図１１は、画像復号化装置におけるイントラ予測モード決定手順を示すフローチャートである。

【0176】

画像復号化装置は、画像符号化装置で決定及びシグナリングされたイントラ予測モード情報に基づいて現在ブロックのイントラ予測モードを決定することができる。

【0177】

図１１を参照すると、画像復号化装置は、ビットストリームからイントラ予測モード情報を取得することができる（Ｓ１１１０）。前記イントラ予測モード情報は、前述したように、ｍｐｍ ｆｌａｇ、ｍｐｍインデックス及びリメイニングイントラ予測モードのうちの少なくとも一つを含むことができる。

【0178】

画像復号化装置は、ＭＰＭリストを構成することができる（Ｓ１１２０）。前記ＭＰＭリストは、前記画像符号化装置におけるＭＰＭリストと同様に構成される。すなわち、前記ＭＰＭリストは、周辺ブロックのイントラ予測モードを含んでもよく、予め定められた方法によって特定イントラ予測モードをさらに含んでもよい。

【0179】

図１１に示された例において、Ｓ１１２０は、Ｓ１１１０より後ろに行われると図示されたが、これは一つの例示であり、Ｓ１１２０はＳ１１１０より先に行われてもよく、同時に行われてもよい。

【0180】

画像復号化装置は、前記ＭＰＭリスト及び前記イントラ予測モード情報に基づいて現在ブロックのイントラ予測モードを決定する（Ｓ１１３０）。ステップＳ１１３０は、図１２を参照してより具体的に説明する。

【0181】

図１２は、イントラ予測モード導出手順をより具体的に説明するためのフローチャートである。

【0182】

図１２のステップＳ１２１０及びＳ１２２０は、それぞれ図１１のステップＳ１１１０及びＳ１１２０に対応することができる。従って、ステップＳ１２１０及びＳ１２２０についての具体的な説明は省略する。

【0183】

画像復号化装置は、ビットストリームからイントラ予測モード情報を取得し、ＭＰＭリストを構成した後（Ｓ１２１０、Ｓ１２２０）、所定の条件を判断することができる（Ｓ１２３０）。具体的に、図１２に示すように、ｍｐｍ ｆｌａｇの値が１である場合（Ｓ１２３０でＹｅｓ）、画像復号化装置は、前記ＭＰＭリスト内のＭＰＭ候補のうち、前記ｍｐｍインデックスが指示する候補を前記現在ブロックのイントラ予測モードに導出することができる（Ｓ１２４０）。他の例として、前記ｍｐｍ ｆｌａｇの値が０である場合（Ｓ１２３０でＮｏ）、画像復号化装置は、前記ＭＰＭリストに含まれていない残りのイントラ予測モードのうち、前記リメイニングイントラ予測モード情報が指示するイントラ予測モードを前記現在ブロックのイントラ予測モードに導出することができる（Ｓ１２５０）。一方、他の例として、前記現在ブロックのイントラ予測タイプが特定タイプ（例えば、ＬＩＰ、ＭＲＬ又はＩＳＰなど）である場合（Ｓ１２３０でＹｅｓ）、画像復号化装置は、前記ｍｐｍ ｆｌａｇの確認なしでも、前記ＭＰＭリスト内で前記ｍｐｍインデックスが指示する候補を前記現在ブロックのイントラ予測モードに導出することもできる（Ｓ１２４０）。

【0184】

一方、現在ブロックにイントラ予測が行われる場合、現在ブロックのルマ成分ブロック（ルマブロック）に対する予測及びクロマ成分ブロック（クロマブロック）に対する予測が行われることができ、この場合、クロマ成分（クロマブロック）に対するイントラ予測モードは、ルマ成分（ルマブロック）に対するイントラ予測モードと個別的に設定されることができる。

【0185】

例えば、クロマ成分に対するイントラ予測モードは、イントラクロマ予測モード情報に基づいて指示されることができ、前記イントラクロマ予測モード情報は、Ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅシンタックス要素の形態でシグナリングされることができる。一例として、前記イントラクロマ予測モード情報は、Ｐｌａｎａｒモード、ＤＣモード、垂直（ｖｅｒｔｉｃａｌ）モード、水平（Ｈｏｒｉｚｏｎｔａｌ）モード、ＤＭ（Ｄｅｒｉｖｅｄ Ｍｏｄｅ）、Ｌ＿ＣＣＬＭ、Ｔ＿ＣＣＬＭ、ＬＴ＿ＣＣＬＭモードのうちの少なくとも一つを含む候補モードの１つを指示することができる。ＤＭは、ｄｉｒｅｃｔ ｍｏｄｅと呼ばれることもある。ＣＣＬＭは、ＬＭと呼ばれることもある。

【0186】

図１３は、本開示の一実施例によるイントラ予測方向を示す図である。

【0187】

イントラ予測モードは、一例として、２個の非方向性イントラ予測モードと、３３個の方向性イントラ予測モードとを含むことができる。前記非方向性イントラ予測モードは、Ｐｌａｎａｒイントラ予測モード及びＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至３４番のイントラ予測モードを含むことができる。前記Ｐｌａｎａｒイントラ予測モードはＰｌａｎａｒモードと呼ばれることがあり、前記ＤＣイントラ予測モードはＤＣモードと呼ばれることがある。

【0188】

又は、自然画像（ｎａｔｕｒａｌ ｖｉｄｅｏ）で提示された任意のエッジ方向（ｅｄｇｅ ｄｉｒｅｃｔｉｏｎ）をキャプチャするために、図１４に示すように、イントラ予測モードは、２個の非方向性イントラ予測モードと、６５個の拡張された方向性イントラ予測モードとを含むことができる。前記非方向性イントラ予測モードは、Ｐｌａｎａｒモード及びＤＣモードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番のイントラ予測モードを含むことができる。前記拡張されたイントラ予測モードは、あらゆるサイズのブロックに適用されることができ、ルマ成分（ルマブロック）及びクロマ成分（クロマブロック）の両方ともに適用されることができる。

【0189】

又は、前記イントラ予測モードは、２個の非方向性イントラ予測モードと１２９個の方向性イントラ予測モードとを含むことができる。前記非方向性イントラ予測モードは、Ｐｌａｎａｒモード及びＤＣモードを含むことができ、前記方向性イントラ予測モードは、２番乃至１３０番のイントラ予測モードを含むことができる。

【0190】

一方、前記イントラ予測モードは、前述したイントラ予測モードの他にも、クロマサンプルのためのＣＣＬＭ（ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードをさらに含んでもよい。ＣＣＬＭモードは、ＬＭパラメータの導出のために左側サンプルを考慮するか、上側サンプルを考慮するか、両方を考慮するかによって、Ｌ＿ＣＣＬＭ、Ｔ＿ＣＣＬＭ、ＬＴ＿ＣＣＬＭに分けられ、クロマ成分に対してのみ適用されることができる。

【0191】

イントラ予測モードは、例えば、下記表２のようにインデックス化されることができる。

【0192】

【表2】

【0193】

図１４は、本開示の他の実施例によるイントラ予測方向を示す図である。図１４において、破線方向は、正方形ではなく、ブロックのみに適用される広角（ｗｉｄｅ ａｎｇｌｅ）モードを示す。図１４に示すように、自然画像（ｎａｔｕｒａｌ ｖｉｄｅｏ）で提示された任意のエッジ方向（ｅｄｇｅ ｄｉｒｅｃｔｉｏｎ）をキャプチャするために、一実施例によるイントラ予測モードは、２個の非方向性イントラ予測モードと共に、９３個の方向性イントラ予測モードを含んでもよい。非方向性イントラ予測モードは、Ｐｌａｎａｒモード及びＤＣモードを含むことができる。方向性イントラ予測モードは、図１５の矢印に示すように、２番乃至８０番と－１番乃至－１４番で構成されるイントラ予測モードを含むことができる。前記Ｐｌａｎａｒモードは、ＩＮＴＲＡ＿ＰＬＡＮＡＲと表記されることができ、ＤＣモードは、ＩＮＴＲＡ＿ＤＣと表記されることができる。そして、方向性イントラ予測モードは、ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ－１４乃至ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ－１、及びＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２乃至ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ８０のように表記されることができる。

【0194】

一方、ＭＰＭリストは、Ｎ個のＭＰＭを含むように構成されることもできる。この時、Ｎは５又は６であり得る。

【0195】

ＭＰＭリストを構成するために、後述する３種類のモードが考慮できる。

【0196】

－デフォルトイントラモード（Ｄｅｆａｕｌｔ ｉｎｔｒａ ｍｏｄｅｓ）

【0197】

－周辺イントラモード（Ｎｅｉｇｈｂｏｕｒ ｉｎｔｒａ ｍｏｄｅｓ）

【0198】

－導出されたイントラモード（Ｄｅｒｉｖｅｄ ｉｎｔｒａ ｍｏｄｅｓ）

【0199】

前記周辺イントラモードのために、２つの周辺ブロック、すなわち、左側周辺ブロック（Ａ）及び上側周辺ブロック（Ｂ）が考慮されることができる。

【0200】

また、ＭＰＭリストを構成するために、次の初期化されたデフォルトＭＰＭが考慮できる。

【0201】

Ｄｅｆａｕｌｔ ６ ＭＰＭ ｍｏｄｅｓ＝｛Ａ、Ｐｌａｎａｒ（０） ｏｒ ＤＣ（１）、Ｖｅｒｔｉｃａｌ（５０）、ＨＯＲ（１８）、ＶＥＲ－４（４６）、ＶＥＲ＋４（５４）｝

【0202】

前記２個の周辺イントラモードに対するプルーニング（ｐｒｕｎｉｎｇ）プロセスが行われることにより、ＭＰＭリストが構成できる。前記２個の周辺イントラモードが互いに同一であり、前記周辺イントラモードがＤＣ（１）モードより大きい場合、ＭＰＭリストは、｛Ａ、Ｐｌａｎａｒ、ＤＣ｝モードを含み、３個の導出されたイントラモードを含むことができる。３個の導出されたイントラモードは、周辺イントラモードに所定のオフセット値を加えるか、及び／又はモジュロ演算を行うことにより取得できる。前記２個の周辺イントラモードが互いに異なる場合、前記２個の周辺イントラモードは、１番目のＭＰＭモード及び２番目のＭＰＭモードに割り当てられ、残りの４個のＭＰＭモードは、デフォルトモード及び／又は周辺イントラモードから導出されることができる。ＭＰＭリスト生成過程において、プルーニングプロセスは、ＭＰＭリストに同じモードが重複しないようにするために行われることができる。ＭＰＭモード以外のモードのエントロピー符号化のために、ＴＢＣ（Ｔｒｕｎｃａｔｅｄ Ｂｉｎａｒｙ Ｃｏｄｅ）が使用できる。

【0203】

図１５は、本開示の一実施例による広角イントラ予測モードについての参照サンプルを示す図である。

【0204】

上述した内容のように、イントラ予測の予測方向が時計回りの方向（ｃｌｏｃｋｗｉｓｅ ｄｉｒｅｃｔｉｏｎ）に４５°乃至－１３５°と定義されることができる。しかし、現在ブロックが非正方形ブロックである場合、いくつかの既存の方向性イントラ予測モードは、広角イントラ予測モードに適応的に代替できる。代替される広角イントラ予測が適用される場合、既存のイントラ予測に関する情報がシグナリングされることができ、前記情報がパージングされた後、前記情報が前記広角イントラ予測モードのインデックスにリマッピングされることができる。したがって、特定のブロック（例えば、特定サイズの非正方形ブロック）に対する総イントラ予測モードの数は変更されなくてもよく、すなわち、総イントラ予測モードの数は６７個であり、前記特定ブロックに対するイントラ予測モード符号化は変更されなくてもよい。

【0205】

図１５に示すように、前記広角予測方向を支援するために２Ｗ＋１長さの上側参照サンプル及び２Ｈ＋１長さの左側参照サンプルが定義されることができる。一方、広角イントラ予測が適用される場合、広角イントラ予測モードに代替されるイントラ予測モードは、現在ブロックのアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）によって異なり得る。アスペクト比による広角イントラ予測モードに代替されるイントラ予測モードは、下記表のように導出されることができる。

【0206】

【表3】

【0207】

図１６は、本開示の一実施例による一部の広角イントラ予測方向を示す図である。

【0208】

一方、図１６に示すように、４５度を超える広角イントラ予測が行われる場合、２個の垂直に隣接した予測サンプルは、２個の隣接していない参照サンプルに基づいて予測されることができる。したがって、増加したギャップΔｐαの否定的な効果を減少させるために、低域参照サンプルフィルタ（ｌｏｗ－ｐａｓｓ ｒｅｆｅｒｅｎｃｅ ｓａｍｐｌｅｓ ｆｉｌｔｅｒ）及びサイドスムージング（ｓｉｄｅ ｓｍｏｏｔｈｉｎｇ）が広角予測に適用されることができる。

【0209】

一方、広角モードが分数でない（ｎｏｎ－ｆｒａｃｔｉｏｎａｌ）オフセットを示す場合が生じ得る。この条件を満足する広角モードには、［－１４、－１２、－１０、－６、７２、７６、７８、８０］のモードが含まれることができる。一例として、ブロックが上述の広角モードで予測されると、参照バッファのサンプルが任意の補間を適用せずに直接コピーされてもよい。これにより、スムージング（ｓｍｏｏｔｈｉｎｇ）に必要なサンプル数が減ることができる。また、既存の予測モードと広角モードとで、分数ではないモードを設計することができる。

【0210】

周辺参照サンプルの導出概要

【0211】

現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する周辺参照サンプルが導出されることができる。前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの左側（Ｌｅｆｔ）境界に隣接したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接した総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接した総２×ｎＷ個のサンプル及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接した１個のサンプルを含むことができる。又は、前記現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むこともできる。また、前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接した１個のサンプルを含むこともできる。

【0212】

一方、ＭＲＬが適用される場合、参照サンプルは、左側／上側で現在ブロックに隣接した０番ラインではなく、他のライン、例えば、１番～３番ラインに位置することができ、この場合、周辺参照サンプルの個数はさらに増えることができる。具体的な周辺参照サンプルの領域及び個数は、後述する。

【0213】

一方、後述するＩＳＰが適用される場合、前記周辺参照サンプルは、サブパーティション単位で導出されることができる。

【0214】

一方、拡張されたイントラ参照サンプル（ｅｘｔｅｎｄｅｄ ｉｎｔｒａ ｒｅｆｅｒｅｎｃｅ ｓａｍｐｌｅｓ）を誘導するために、補間フィルタが適用されることができる。現在ブロックの周辺参照サンプルの一部は、まだ復号化されていないか、或いは利用可能でないことがある。この場合、復号化器は、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して、予測に使用する周辺参照サンプルを構成することができる。

【0215】

一方、拡張されたイントラ参照サンプルを誘導するために、外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）が適用されることができる。現在ブロックの周辺参照サンプルの一部は、まだ復号化されていないか、或いは利用可能でないことがある。この場合、復号化器は、利用可能なサンプルの外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）を介して、予測に使用する周辺参照サンプルを構成することができる。左下端から右上端の参照サンプルに到達するまで、参照可能なサンプルを最新のサンプルに更新しながら（ｌａｓｔ ａｖａｉｌａｂｌｅ ｓａｍｐｌｅ）、まだ復号化されていないか或いは利用可能でないピクセルをｌａｓｔ ａｖａｉｌａｂｌｅ ｓａｍｐｌｅに代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）又はパディング（ｐａｄｄｉｎｇ）して構成することができる。

【0216】

参照サンプルフィルタリングの概要

【0217】

一方、現在ブロックの周辺参照サンプルに対してフィルタリングが適用されることができる。これは、イントラ予測後、予測サンプルに適用されるフィルタリングであるｐｏｓｔ ｆｉｌｔｅｒｉｎｇとは異なり、イントラ予測前の周辺参照サンプルに対して適用されるという点で、ｐｒｅ ｆｉｔｌｅｒｉｎｇと呼ばれることがある。前記周辺参照サンプルに対するフィルタリングは、スムージングフィルタリングと呼ばれることがあり、例えば、下記数式のように行われることができる。

【0218】

ｔｈｅ ｆｉｌｔｅｒｅｄ ｓａｍｐｌｅ ｖａｌｕｅｓ ｐ［ｘ］［ｙ］ ｗｉｔｈ ｘ ＝ －１，ｙ ＝ －１．．ｒｅｆＨ－１ ａｎｄ ｘ ＝ ０．．ｒｅｆＷ－１，ｙ ＝ －１ ａｒｅ ｄｅｒｉｖｅｄ ａｓ ｆｏｌｌｏｗｓ：

【0219】

ｐ［－１］［－１］ ＝ （ｒｅｆＵｎｆｉｌｔ［－１］［０］＋２＊ｒｅｆＵｎｆｉｌｔ［－１］［－１］＋ｒｅｆＵｎｆｉｌｔ［０］［－１］＋２）＞＞２（１．３．４－１）

【0220】

ｐ［－１］［ｙ］ ＝ （ｒｅｆＵｎｆｉｌｔ［－１］［ｙ＋１］＋２＊ｒｅｆＵｎｆｉｌｔ［－１］［ｙ］＋ｒｅｆＵｎｆｉｌｔ［－１］［ｙ－１］＋２）＞＞２

【0221】

ｆｏｒ ｙ ＝ ０．．ｒｅｆＨ－２（１．３．４－２）

【0222】

ｐ［－１］［ｒｅｆＨ－１］ ＝ ｒｅｆＵｎｆｉｌｔ［－１］［ｒｅｆＨ－１］（１．３．４－３）

【0223】

ｐ［ｘ］［－１］ ＝ （ｒｅｆＵｎｆｉｌｔ［ｘ－１］［－１］＋２＊ｒｅｆＵｎｆｉｌｔ［ｘ］［－１］＋ｒｅｆＵｎｆｉｌｔ［ｘ＋１］［－１］＋２）＞＞２

【0224】

ｆｏｒ ｘ ＝ ０．．ｒｅｆＷ－２（１．３．４－４）

【0225】

ｐ［ｒｅｆＷ－１］［－１］＝ｒｅｆＵｎｆｉｌｔ［ｒｅｆＷ－１］［－１］（１．３．４－５）

【0226】

ここで、ｒｅｆｕｎｆｉｌｔは、まだフィルタリングされていない周辺参照サンプルを示し、［ｘ］［ｙ］は、当該サンプルのｘ、ｙ座標を示す。例えば、これは、現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）サンプルポジション座標を（０，０）としたときの座標を示すことができる。

【0227】

前記周辺参照サンプルに対するフィルタリングが適用される場合、フィルタリングされた周辺参照サンプルが予測サンプル導出ステップでの参照サンプルとして使用されることができ、もし前記周辺参照サンプルに対するフィルタリングが適用されない場合には、フィルタリングされていない前記周辺参照サンプルが前記予測サンプル導出ステップでの参照サンプルとして使われることができる。

【0228】

上述した周辺参照サンプルフィルタリングは、例えば、次の特定条件を一部又は全部満足する場合に適用されることができる。

【0229】

－ｎＴｂＷ＊ｎＴｂＨが３２より大きい場合（ｎＴｂＷ＊ｎＴｂＨ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ ３２）

【0230】

－ｃＩｄｘが０である場合（ｃＩｄｘ ｉｓ ｅｑｕａｌ ｔｏ ０）

【0231】

－ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）と同一である場合
（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ ｉｓ ｅｑｕａｌ ｔｏ ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）

【0232】

－次の条件のうちの一つ以上が真である場合：

【0233】

－ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＰＬＡＮＡＲと同一である場合（ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｅｑｕａｌ ｔｏ ＩＮＴＲＡ＿ＰＬＡＮＡＲ）

【0234】

－ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＡＮＧＵＬＡＲ３４と同一である場合（ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｅｑｕａｌ ｔｏ ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ３４）

【0235】

－ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２と同一であり、ｎＴｂＨがｎＴｂＷ以上である場合（ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｅｑｕａｌ ｔｏ ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２ ａｎｄ ｎＴｂＨ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ ｏｒ ｅｑｕａｌ ｔｏ ｎＴｂＷ）

【0236】

－ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＡＮＧＵＬＡＲ６６と同一であり、ｎＴｂＷがｎＴｂＨ以上である場合（ｐｒｅｄＭｏｄｅＩｎｔｒａ ｉｓ ｅｑａｕｌ ｔｏ ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ６６ ａｎｄ ｎＴｂＷ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ ｏｒ ｅｑｕａｌ ｔｏ ｎＴｂＨ）

【0237】

一例として、イントラ予測モード／タイプの決定、周辺参照サンプルの導出、予測サンプルの導出などの手順はいずれも、ＣＵ単位で行われてもよく、他の例として、イントラ予測モード／タイプの決定はＣＵ単位で行われるが、周辺参照サンプルの導出及び予測サンプルの導出の手順は、前記ＣＵ内のＴＵ単位で行われることができる。この場合、前記ＣＵ内のＴＵは、同じイントラ予測モード／タイプを共有することができる。したがって、このような場合を考慮して、前記周辺参照サンプルフィルタリング如何は、ＴＵ（ｏｒ ＴＢ）の幅及び高さであるｎＴｂＷ及びｎＴｂＨを考慮して決定されることができる。

【0238】

符号化装置／復号化装置の予測部は、現在ブロックの周辺参照サンプルのうち、前記現在ブロックのイントラ予測モードによる参照サンプルを導出することができ、前記参照サンプルに基づいて前記現在ブロックの予測サンプルを生成することができる。

【0239】

例えば、現在ブロックの周辺（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）或いはインターポレーション（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの周辺参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて、前記予測サンプルを誘導することもできる。（ｉ）の場合は、非方向性モード又は非角度モード、（ｉｉ）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モード又は角度（ａｎｇｕｌａｒ）モードとも呼ばれることができる。また、前記周辺参照サンプルのうち、前記現在ブロックの予測サンプルを基準に前記現在ブロックのイントラ予測モードの予測方向の反対方向に位置する前記第２周辺サンプルと前記第１周辺サンプルとの補間を介して前記予測サンプルが生成されることもできる。上述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることがある。また、フィルタリングされた周辺参照サンプルに基づいて前記現在ブロックの一時予測サンプルを導出し、前記既存の周辺参照サンプル、すなわち、フィルタリングされていない周辺参照サンプルのうち、前記イントラ予測モードに応じて導出された少なくとも一つの参照サンプルと前記一時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して前記現在ブロックの予測サンプルを導出することもできる。上述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることがある。また、現在ブロックの周辺多重参照サンプルラインの中から最も予測正確度の高い参照サンプルラインを選択して、当該ラインで予測方向に位置する参照サンプルを用いて予測サンプルを導出し、このとき、使用された参照サンプルラインを復号化装置に指示（シグナリング）する方法でイントラ予測符号化を行うことができる。上述した場合は、ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＭＲＬ）又はＭＲＬ基盤のイントラ予測と呼ばれることがある。また、現在ブロックを垂直又は水平のサブパーティションに分けて同じイントラ予測モードに基づいてイントラ予測を行うが、前記サブパーティション単位で周辺参照サンプルを導出して用いることができる。すなわち、この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同一に適用されるが、前記サブパーティション単位で周辺参照サンプルを導出して用いることにより、場合に応じてイントラ予測性能を高めることができる。このような予測方法は、ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）又はＩＳＰ基盤のイントラ予測と呼ばれることがある。具体的な内容については後述する。また、予測サンプルを基準とした予測方向が周辺参照サンプル同士の間を指示する場合、すなわち、予測方向が分数サンプル位置を指示する場合、当該エッジ方向の周辺（当該分数サンプル位置の周辺）に位置した複数の参照サンプルの補間を介して予測サンプルの値を導出することもできる。

【0240】

上述したイントラ予測方法は、図１３及び／又は図１４におけるイントラ予測モードと区分してイントラ予測タイプと呼ばれることがある。前記イントラ予測タイプは、イントラ予測技法又は付加イントラ予測モードなどの多様な用語で呼ばれることができる。例えば、前記イントラ予測タイプ（又は、付加イントラ予測モードなど）は、上述したＬＩＰ、ＰＤＰＣ、ＭＲＬ及びＩＳＰのうちの少なくとも一つを含むことができる。前記イントラ予測タイプに関する情報は、符号化装置で符号化されてビットストリームに含まれて符号化装置へシグナリングされることができる。前記イントラ予測タイプに関する情報は、各イントラ予測タイプの適用如何を指示するフラグ情報、又は様々なイントラ予測タイプのうちの一つを指示するインデックス情報などの多様な形態で実現できる。

【0241】

前述したイントラ予測モード導出のためのＭＰＭリストは、前記イントラ予測タイプによって異なるように構成できる。又は、前記ＭＰＭリストは、前記イントラ予測タイプを問わずに共通に構成できる。

【0242】

一方、参照サンプルの補間を介して現在ブロックの予測サンプルが生成される場合、補間のための補間フィルタは様々な方法によって導出できる。例えば、前記補間フィルタは、所定の条件に基づいて決定できる。例えば、現在ブロックに対するイントラ予測モード及び／又は前記現在ブロックのサイズに基づいて前記補間フィルタを決定することができる。前記補間フィルタは、例えば、ガウシアンフィルタ及びキュービックフィルタを含むことができる。例えば、前記現在ブロックに対するイントラ予測モードが左下側の対角方向イントラ予測モード（＃２）、左上側の対角方向イントラ予測モード（＃３４）又は右上側の対角方向イントラ予測モード（＃６６）である場合、前記補間フィルタは適用されないか、或いはキュービックフィルタではなくガウシアンフィルタが適用されると決定されることができる。また、例えば、前記ＭＲＬの参照ラインインデックスが０である場合、キュービックフィルタが適用され、前記参照ラインインデックスが０より大きい場合、前記補間フィルタは適用されないか或いはガウシアンフィルタが適用されると決定されることができる。また、イントラ予測モードが現在予測サンプルの位置を基準としてイントラ予測モードによる予測方向が周辺参照サンプルの整数サンプル地点ではなく分数サンプル地点を指示する場合、前記分数サンプル地点に対応する参照サンプル値を生成するために補間フィルタが適用されることもできる。

【0243】

一方、向上した圧縮モデル（ｅｎｈａｎｃｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｍｏｄｅｌ）の６タップ補間フィルタにおいて、４タップキュービック補間は、参照サンプルで予測されたサンプルを誘導するための６タップキュービック補間フィルタに代替され得る。参照サンプルフィルタリングの場合、より大きいブロック（Ｗ＞＝３２及びＨ＞＝３２）に対して６タップガウスフィルタが適用され、そうでなければ、既存のＶＶＣ４タップガウス補間フィルタが適用されることができる。拡張されたイントラ参照サンプルは、最も近い隣接四捨五入の代わりに、４タップ補間フィルタを用いて誘導されることができる。

【0244】

一方、現在ブロック内の現在予測サンプル（対象予測サンプル）の位置を基準としてイントラ予測モードによる予測方向が周辺参照サンプルの整数サンプル地点ではなく分数サンプル地点を指示する場合、前記分数サンプル地点に対応する参照サンプル値を生成するために補間フィルタが適用されることもできる。

【0245】

一方、イントラ予測を行った後、現在ブロックの予測サンプルと周辺の既に復元された周辺サンプルとの誤差を減らすために、ブロック境界面を緩和するフィルタを適用することができる。例えば、本フィルタは、予測されたモード及びブロックのサイズに応じてフィルタ適用如何及びフィルタタイプなどを決定することができる。

【0246】

一方、ＤＩＭＤ（ｄｅｃｏｄｅｒ ｓｉｄｅ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）において、イントラ予測は、Ｐｌａｎａｒと誘導された二方向間の加重平均によって誘導されることができる。二つの角度モードは、現在ブロックの隣接ピクセルにおいて計算されたＨｏＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔ）から選択されることができる。２つのモードが選択されれば、当該モードの予測子とＰｌａｎａｒ予測子が計算された後の加重平均がブロックの最終予測子として使用できる。加重値を決定するために、ＨｏＧの当該振幅が２つのモードそれぞれに使用できる。

【0247】

誘導されたイントラモードがイントラＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）の１次リスト（ｐｒｉｍａｒｙ ｌｉｓｔ）に含まれることができるので、ＭＰＭリストが構成される前に、ＤＩＭＤプロセスが行われることができる。ＤＩＭＤブロックの１次誘導イントラモードは、ブロックと共に保存され、周辺ブロックのＭＰＭリストの構成に使用されることができる。

【0248】

ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）の概要

【0249】

一方、イントラ予測をインター予測と結合して現在ブロックに適用することもでき、これをＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）モードという。図１７は、ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）で使用できる周辺ブロックを示す図である。ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ／Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）モードが現在ブロック（例えば、ＣＵ）に適用されるか否かを示すために、追加フラグ（例えば、ｃｉｉｐ＿ｆｌａｇ）がシグナリングされることができる。例えば、現在ブロックがマージモード（ｍｅｒｇｅ ｍｏｄｅ）でコーディングされるとき、ブロックに少なくとも６４個のルマサンプルが含まれており（すなわち、ブロック幅＊ブロック高さが６４と同じかそれより大きい場合）、ブロック幅及び／又はブロック高さが１２８個のルマサンプルよりも小さい場合、ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ／Ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モードが現在ブロックに適用されるか否かを示すために追加フラグがシグナリングされることができる。ＣＩＩＰ予測は、インター予測信号とイントラ予測信号を結合することができるが、ＣＩＩＰモードＰ＿ｉｎｔｅｒのインター予測信号は、一般マージモードに適用された同一のインター予測プロセスを用いて誘導されることができる。イントラ予測信号（Ｐ＿ｉｎｔｒａ）は、Ｐｌａｎａｒモードを用いたイントラ予測プロセスによって誘導されることができる。その後、イントラ及びインター予測信号は、加重平均を用いて結合されることができ、ここで、加重値は、図１７のように、上端及び左側隣接ブロックのコーディングモードに応じて計算できる。

【0250】

一例として、上端隣接ブロックが使用可能であり、イントラコーディングされた場合には、ｉｓＩｎｔｒａＴｏｐは１に設定され、そうでない場合には、ｉｓＩｎｔｒａＴｏｐは０に設定されることができる。

【0251】

他の一例として、左側隣接ブロックが使用可能であり、イントラコーディングされた場合には、ｉｓＩｎｔｒａＬｅｆｔは１に設定され、そうでない場合には、ｉｓＩｎｔｒａＬｅｆｔは０に設定されることができる。

【0252】

他の一例として、（ｉｓＩｎｔｒａＬｅｆｔ＋ｉｓＩｎｔｒａＬｅｆｔ）が２である場合、ｗｔは３に設定されることができる。

【0253】

そうではなく、（ｉｓＩｎｔｒａＬｅｆｔ＋ｉｓＩｎｔｒａＬｅｆｔ）が１である場合、ｗｔは２に設定されることができる。

【0254】

それ以外の場合には、ｗｔが１に設定されることができる。

【0255】

一方、ＣＩＩＰ予測は、次の数式によって誘導されることができる。

【0256】

【0257】

一例として、左側の

はＣＩＩＰ信号であり、

はインター予測信号を示し、

はイントラ予測信号を示すことができる。

【0258】

ＭＲＬ（Ｍｕｌｔｉ－Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ） ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ

【0259】

従来のイントラ予測は、現在ブロックの上側第１ラインの周辺サンプル及び左側第１ラインの周辺サンプルのみをイントラ予測のための参照サンプルとして用いた。しかし、Ｍｕｌｔｉｐｌｅ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ（ＭＲＬ）方法では、現在ブロックの上側及び／又は左側に対して１つ乃至３つのサンプル距離だけ離れたサンプルラインに位置した周辺サンプルを参照サンプルとして用いてイントラ予測を行うことができる。図１８は、ＭＲＬイントラ予測を示す図であって、多重参照ラインの例を示す図である。ここで、多重参照ラインインデックス（例えば、ｍｒｌ＿ｉｄｘ）は、現在ブロックに対してどのラインがイントラ予測のために使用されるかを表す。例えば、前記多重参照ラインインデックスは、次のようにコーディングユニットシンタックスを介してシグナリングされることができる。前記多重参照ラインインデックスは、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ ｓｙｎｔａｘ ｅｌｅｍｅｎｔの形態で構成できる。

【0260】

【表4】

【0261】

ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ［ｘ０］［ｙ０］は、下記表５に指定されたようにイントラ参照ラインインデックスＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘ０］［ｙ０］を特定することができる。ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ［ｘ０］［ｙ０］が存在しない場合には、０と同一に見なされることができる。

【0262】

ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘは、（イントラ）参照サンプルラインインデックス又はｍｒｌ＿ｉｄｘと呼ばれることがある。また、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘは、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｌｉｎｅ＿ｉｄｘと呼ばれることもある。

【0263】

【表5】

【0264】

ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ［ｘ０］［ｙ０］が存在しない場合、１と同一に見なされることができる。

【0265】

ＭＲＬは、ＣＴＵ内の第１ライン（行）のブロックに対しては非活性化（ｄｉｓａｂｌｅ）されることができる。これは、現在ＣＴＵライン外部の拡張参照サンプル（ｅｘｔｅｎｄｅｄ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅｓ）が使用されることを防ぐためである。また、上述した追加参照ラインが使用される場合には、ＰＤＰＣが非活性化（ｄｉｓａｂｌｅ）されることができる。

【0266】

Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ） ｐｒｅｄｉｃｔｉｏｎ

【0267】

従来のイントラ予測は、現在符号化しようとするブロックを一つの符号化単位と見なして分割なしに符号化を行った。しかし、Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）予測方法は、現在符号化しようとするブロックを水平方向或いは垂直方向に分割してイントラ予測符号化を行う。図１９ａ及び図１９ｂは、本開示によるＩｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）過程を説明するための図である。このとき、分割されたブロック単位で符号化／復号化を行うことにより、復元されたブロックを生成し、復元されたブロックは、次の分割されたブロックの参照ブロックとして用いる。現在イントラサブパーティション（ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ））は、ブロックサイズによって表６のように分割する。

【0268】

【表6】

【0269】

より詳細には、図１９ａは、４×８と８×４ブロック（ＣＵ）の分割例を説明するための図であり、図１９ｂは、４×８、８×４、４×４ブロック（ＣＵ）を除いた残りの全ブロックの分割例を説明するための図である。

【0270】

【表7】

【0271】

イントラサブパーティション方法は、符号化複雑度を減らすために、各分割方法（水平分割と垂直分割）によってＭＰＭリストを生成し、生成されたＭＰＭリスト内の予測モードのうちの適合な予測モードをレート歪みの最適化（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｏｎ、ＲＤＯ）観点で比較して最適のモードを生成する。また、多重参照ライン（ＭＲＬ）イントラ予測が用いられる場合には、上述したイントラサブパーティション方法を使用することができない。すなわち、０番目の参照ラインを使用する場合（すなわち、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ値０）でのみイントラサブパーティション方法を適用する。また、上述したイントラサブパーティション方法が使用される場合には、上述したＰＤＰＣが使用できない。

【0272】

イントラサブパーティション方法は、まず、イントラサブパーティションの適用有無をブロック単位で伝送し、もし現在ブロックがイントラサブパーティション（ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）を使用すると、再び水平分割であるか垂直分割であるかについての情報（ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）を符号化／復号化する。

【0273】

イントラサブパーティション方法が適用される場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同一に適用され、前記サブパーティション単位で周辺参照サンプルを導出して用いることにより、イントラ予測性能を高めることができる。すなわち、イントラサブパーティション方法が適用される場合、サブパーティション単位でレジデュアルサンプル処理手順が行われる。言い換えれば、各サブパーティションに対してイントラ予測サンプルが導出され、ここに当該サブパーティションに対するレジデュアル信号（レジデュアルサンプル）が加えられて復元サンプルが取得される。前記レジデュアル信号（レジデュアルサンプル）は、上述したビットストリーム内のレジデュアル情報（量子化された変換係数情報又はレジデュアルコーディングシンタックス）に基づいて逆量子化／逆変換手順などを介して導出されることができる。すなわち、第１サブパーティションに対する予測サンプルの導出、レジデュアルサンプルの導出が行われ、これに基づいて前記第１サブパーティションに対する復元サンプルの導出が行われることができる。この場合、第２サブパーティションに対する予測サンプルの導出時に、前記第１サブパーティション内の復元サンプルの一部（例えば、前記第２サブパーティションの左側又は上側周辺参照サンプル）が前記第２サブパーティションに対する周辺参照サンプルとして用いられることができる。同様に、第２サブパーティションに対する予測サンプルの導出、レジデュアルサンプルの導出が行われ、これに基づいて前記第２サブパーティションに対する復元サンプルの導出が行われることができる。この場合、第３サブパーティションに対する予測サンプルの導出時に、前記第２サブパーティション内の復元サンプルの一部（例えば、前記第３サブパーティションの左側又は上側周辺参照サンプル）が前記第３サブパーティションに対する周辺参照サンプルとして用いられることができる。以下同様である。

【0274】

イントラ予測において、参照サンプルフィルタリングは、参照ラインインデックスが０であり、すなわち、ＭＲＬ（ｍｕｌｔｉ ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）基盤のイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が適用されず、ブロックのピクセル個数が３２個以上である場合、現在ブロックの色相成分がルマ色相成分である場合、ＩＳＰ（Ｉｎｔｒａ ｓｕｂｐａｒｔｉｔｉｏｎｓ）が適用されない場合、及びイントラ予測モードが０、－１４、－１２、－１０、－６、２、３４、６６、７２、７６、７８、８０番のいずれか一つである場合に適用されることができる。

【0275】

すなわち、現在イントラ参照サンプルフィルタリングは、特定サイズ以下のブロックには適用されないことができる。例えば、４×４、４×８、８×４などのブロックには適用されず、現在ブロックのイントラ予測モードがＭＲＬであるか或いはＩＳＰが適用される場合にも、参照サンプルフィルタリングが適用されないことができる。また、イントラ予測モードがＰｌａｎａｒモードであるか或いは特定方向性モードである場合、例えば、整数方向モード或いは特定広角方向モードにのみイントラ参照サンプルフィルタリングが適用できるようにして、多少制限的な適用条件が提示されている。また、以後のコーデック標準化のためのＥＣＭ（ｅｎｈａｎｃｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｍｏｄｅｌ）などで提案されたところによれば、上述したように、６タップキュービックフィルタ或いは６タップガウシアンフィルタが適用できるため、既存のイントラ参照サンプルフィルタリングの効果は大きく減少している。

【0276】

これにより、本開示では、イントラ参照サンプルフィルタリングをより精巧に、或いは簡素化して適用する方法を提案する。本開示の実施例によれば、イントラ参照サンプルフィルタリングに適用されるフィルタが複数のフィルタのうちの一つに適応的に選択されることができる。例えば、現在ブロックのサイズ或いは参照サンプル数などを含む特定条件に応じてフィルタが選択されることができる。また、本開示の他の一実施例によれば、イントラ参照サンプルフィルタリングは、特定イントラ予測モードでのみ適用でき、イントラ予測ピクセルを生成するときに参照サンプルフィルタリングが行われることができる。一方、本開示の他の一実施例によれば、イントラ参照サンプルフィルタリングは、イントラ予測モードを含む他の条件を問わずに常に適用されてもよく、常に適用されなくてもよい。

【0277】

実施例１

【0278】

本実施例では、参照サンプルフィルタリングに適用できるフィルタを多様化することにより、フィルタリングをより精巧に適用する方法を提案する。より詳細には、本実施例では、参照サンプルフィルタリングに使われるフィルタを一つ以上提案するが、ここで、各フィルタは、フィルタ係数が異なるか、或いはフィルタ係数の数、すなわちタップ数が異なってもよく、フィルタ係数はいずれも正数であってもよい。

【0279】

以下では、説明の明瞭さのために、各フィルタを第１フィルタ或いは第２フィルタのように第ｎフィルタと称するが、フィルタの順序やフィルタの種類を制限しようとするものではない。また、説明の明瞭さのために、以下では、第１フィルタ及び第２フィルタのみを用いて説明するが、必ずしも２つのフィルタのみが存在するのではなく、さらに多様なフィルタが存在してもよいので、本開示がこれに限定されるものではない。

【0280】

一例として、参照サンプルフィルタリングに使用できるフィルタには、第１フィルタとして３タップフィルタが含まれることができる。例えば、３タップフィルタは、［１，２，１］フィルタであり得る。また、第２フィルタとしては、ｎ＝３でないｎタップフィルタが含まれることができる。例えば、ｎは５又は６であり得る。或いは、ｎは奇数の整数であり得る。ｎが６である場合、６タップフィルタのフィルタ係数は、［１，４，６，４，１，０］であり得る。他の一例として、ｎが５である場合、５タップフィルタのフィルタ係数は［１，４，６，４，１］であり得る。一例として、第２フィルタはガウシアンフィルタであって、整数サンプル位置に適用できる。すなわち、ｎタップガウシアンフィルタであり得る。

【0281】

一例として、５タップフィルタが［１，４，６，４，１］である場合、次のように適用できる。

【0282】

－ｒｅｆ＿ｆｉｌｔｅｒｅｄ［ｘ］＝（ｒｅｆ［ｘ－２］＋４＊ｒｅｆ［ｘ－１］＋６＊ｒｅｆ［ｘ］＋４＊ｒｅｆ［ｘ＋１］＋ｒｅｆ［ｘ＋２］）／１６

【0283】

前記数式において、ｒｅｆ［ｘ］は、現在参照サンプルフィルタリングが適用されるｘ位置の参照サンプルを意味し、ｒｅｆ＿ｆｉｌｔｅｒｅｄ［ｘ］は、参照サンプルフィルタリングが適用された画素（ｐｉｘｅｌ）を意味することができる。すなわち、３タップフィルタ（例えば、［１，２，１］スムージングフィルタ）の代わりに、より精巧な［１，４，６，４，１］スムージングフィルタを適応的に適用することにより、符号化及び復号化効率を高めることができる。

【0284】

一方、複数のフィルタのうちの一つを選択するとき、参照サンプル数に応じて第１フィルタ（例えば、［１，２，１］フィルタ）と第２フィルタ（例えば、［１，４，６，４，１］フィルタ）を適応的に適用することにより、参照サンプルフィルタリング効率をより高めることができる。

【0285】

一例として、常に第２フィルタを用いてイントラ参照サンプルフィルタリングを行うことができる。すなわち、第１フィルタが３タップフィルタである場合、第１フィルタ以外の他のフィルタを用いてイントラ参照サンプルフィルタリングを行うことができるが、このとき、使用される他のフィルタを第２フィルタと仮定すれば、第２フィルタは、ｎ＞３のｎタップフィルタであり得る。一例として、第２フィルタが［１，４，６，４，１］フィルタであれば、常に第２フィルタが適用できる。

【0286】

他の一例として、参照サンプルフィルタリングを行うとき、ブロックのサイズ或いは面積を考慮してフィルタを選択することができる。例えば、現在ブロックの幅及び／又は高さが特定値（例えば、３２又は１６）以上である場合、一つのフィルタが使用され、その他の場合には他のフィルタが使用できる。この時、サイズ又は面積が特定値以上である現在ブロックに対する参照サンプルフィルタリングのためには、任意のｋタップフィルタが選択され、その他の場合には、任意のｊタップフィルタが選択され得るが、ここで、ｋ＞ｊであり得る。すなわち、ブロックのサイズがフィルタの選択基準になることができる。例えば、現在ブロックの幅及び／又は高さが特定値以上である場合、５タップフィルタ（例えば、［１，４，６，４，１］）が適用されることができ、そうでなければ、３タップフィルタ（例えば、［１，２，１］）が適用されることができる。他の一例として、ブロックのサイズ或いは面積が（例えば、幅とブロック高さとを乗じた値）が特定値（例えば、１０２４又は２５６）以上である場合、５タップフィルタ（例えば、［１，４，６，４，１］）が適用でき、そうでなければ、３タップフィルタ（例えば、［１，２，１］）が適用できる。

【0287】

本実施例によれば、フィルタを適応的に選択して参照サンプルフィルタリングを行うことにより、フィルタリング性能を向上させることができる。

【0288】

一方、参照サンプルフィルタリング適用条件は、上述したように、ＩＳＰ／ＭＲＬ適用如何、現在ブロックのカラー成分或いはイントラ予測モードに対する条件を含むことができるが、変更された参照サンプルフィルタリング適用条件に従うこともできる。一方、変更された参照サンプルフィルタリング適用条件には、上述した条件の一部条件が追加、変更されることも可能であり、一部条件が除外されることも可能である。変更された参照サンプルフィルタリング適用条件については、下記で詳細に説明する。

【0289】

実施例２

【0290】

本実施例では、参照サンプルフィルタリング適用条件を簡素化する方法を提案する。下記表８は、［１，２，１］フィルタを用いて参照サンプルフィルタリングを適用しなかった場合の性能を一例として示す。

【0291】

【表8】

【0292】

前記実験結果は、全てのイントラ予測における性能を示す。上記の表から分かるように、イントラ［１，２，１］参照サンプルフィルタリングの性能は、Ｙ成分の場合には０．０３％と示されている。

【0293】

一方、参照サンプルフィルタリング条件を変更して、特定イントラモード（例えば、Ｐｌａｎａｒイントラモード（ｐｌａｎａｒ ｉｎｔｒａ ｍｏｄｅ））である場合にのみ参照サンプルフィルタリングを適用する場合、むしろＹ成分の場合に０．０２％の性能向上を示している。すなわち、先に説明した先行実験結果を考慮すると、イントラ参照サンプルフィルタリングは、特定イントラモードでの適用時にも性能向上を期待することができる。

【0294】

したがって、本実施例では、次のように特定イントラモード（例えば、Ｐｌａｎａｒイントラモード）でのみ参照サンプルフィルタリングを適用する方法を提案する。

【0295】

一例として、イントラ参照サンプルフィルタリングは、参照ラインインデックス（Ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｉｎｄｅｘ）が０である場合（すなわち、ＭＲＬが適用されない）、現在ブロックの画素個数が３２個以上である場合、現在ブロックのカラー成分がルマカラー成分である場合、現在ブロックにＩＳＰが適用されない場合、及びイントラ予測モードインデックスが０番である場合、すなわち、イントラ方向が０番である場合（Ｐｌａｎａｒイントラモードである場合）に適用され得る。

【0296】

一方、上述した適用条件のうち、最後の条件であるイントラ方向が０番である場合、条件を除いた残りの条件は、符号化性能の向上と複雑度の低下のために除去或いは追加されてもよい。

【0297】

一例として、より高い符号化性能を得るために、ブロックのサイズを問わずに参照サンプルフィルタリングを適用する条件を適用することができる。例えば、参照ラインインデックスが０である場合（ＭＲＬ未適用条件）、現在ブロックのカラー成分がルマカラー成分である場合、現在ブロックにＩＳＰが適用されない場合、及びイントラ方向がＰｌａｎａｒイントラモードである場合に参照サンプルフィルタリングが適用されることができる。

【0298】

他の一例として、より高い符号化性能を得るためにブロックのカラー成分を問わずに参照サンプルフィルタリングを適用する条件を適用することができる。例えば、参照ラインインデックスが０である場合（ＭＲＬ未適用条件）、現在ブロックの画素個数が３２個以上である場合、現在ブロックにＩＳＰが適用されない場合、及びイントラ方向がＰｌａｎａｒイントラモードである場合に参照サンプルフィルタリングが適用されることができる。

【0299】

他の一例として、より高い符号化性能を得るために、上述したＤＩＭＤ及び／又はＣＩＩＰの適用如何を考慮して参照サンプルフィルタリングを適用する条件を適用することができる。上述したＤＩＭＤとＣＩＩＰでＰｌａｎａｒイントラ予測を行うか否かに基づいて、参照サンプルフィルタリングの実行如何を決定することができる。例えば、参照ラインインデックスが０である場合（ＭＲＬ未適用条件）、現在ブロックの画素個数が３２個以上である場合、現在ブロックにＩＳＰが適用されない場合、ＤＩＭＤが適用されない場合及びイントラ方向がＰｌａｎａｒイントラモードである場合に、参照サンプルフィルタリングが適用されることができる。他の一例として、参照ラインインデックスが０である場合（ＭＲＬ未適用条件）、現在ブロックの画素個数が３２個以上である場合、現在ブロックにＩＳＰが適用されない場合、ＣＩＩＰが適用されない場合及びイントラ方向がＰｌａｎａｒイントラモードである場合に、参照サンプルフィルタリングが適用されることができる。又は、ＤＩＭＤ及びＣＩＩＰが両方とも適用されない場合にのみ参照サンプルフィルタリングが適用されてもよい。

【0300】

他の一例として、上記の例示と反対に、現在ブロックにＣＩＩＰが適用される場合、ＤＩＭＤが適用される場合、或いはＣＩＩＰ又はＤＩＭＤが適用される場合にのみ参照サンプルフィルタリングが適用されてもよい。一例として、この時、イントラ予測モードは、Ｐｌａｎａｒイントラ予測であり得る。

【0301】

他の一例として、ＣＩＩＰ又はＤＩＭＤのようにイントラ予測子（例えば、Ｐｌａｎａｒイントラ予測者）が他のイントラ／インター予測と組み合わされる場合、イントラ予測において参照サンプルフィルタリング適用如何が決定されてもよい。

【0302】

一方、一実施例として、Ｐｌａｎａｒイントラモードでのみ参照サンプルフィルタリングを適用する場合、参照サンプルフィルタリングプロセスをイントラＰｌａｎａｒ予測と統合する方法を提案する。即ち、参照サンプルフィルタリングが別途のプロセスで存在せず、参照サンプルフィルタリングは、Ｐｌａｎａｒ予測の内部プロセスになることができる。図２０及び図２１は、Ｐｌａｎａｒ予測に参照サンプルフィルタリングプロセスが追加された二つのスペックの例示を示す。一例として、Ｐｌａｎａｒイントラ予測モードで参照サンプル幅と参照サンプル高さの入力を受け、参照サンプルフィルタリングに用いることができる。

【0303】

一方、Ｐｌａｎａｒイントラモードである場合にのみ参照サンプルフィルタリングを適用する場合、単一のフィルタのみが使用されることもできるが、以前の実施例１のように複数のフィルタを適応的に適用することもできる。例えば、第１フィルタ（例えば、［１，２，１］フィルタ）及び第２フィルタ（例えば、［１，４，６，４，１］フィルタ）を適応的に適用するとき、常に第１フィルタ（例えば、［１，２，１］フィルタ）を適用するか、或いは常に第２フィルタ（例えば、［１，４，６，４，１］フィルタ）を適用することもでき、ブロック幅及び／又は高さが特定値（例えば、３２或いは１６）以上である場合には、第２フィルタを適用し、それ以外には第１フィルタを適用するか、或いは、ブロックのサイズ或いは面積（例えば、ブロック幅×ブロック高さ）が特定値（例えば、１０２４或いは２５６）以上である場合には、第２フィルタを適用し、それ以外には第１フィルタを適用することもできる。

【0304】

前記実施例によれば、参照サンプルフィルタリングの性能を向上させることができ、これにより、符号化及び復号化効率が向上することができる。

【0305】

実施例３

【0306】

本実施例では、参照サンプルフィルタリングの適用条件を簡素化する他の方法を提案する。

【0307】

一例として、上述したように、イントラ予測モード、現在ブロックのカラー成分或いはＩＳＰ／ＭＲＬ適用如何などを問わず、現在ブロックにイントラ予測が適用されると、常に参照サンプルフィルタリングを適用することができる。

【0308】

他の一例として、前述したように、イントラ予測モード、現在ブロックのカラー成分、或いはＩＳＰ／ＭＲＬ適用如何を問わずに、現在ブロックにイントラ予測が適用されると、常に参照サンプルフィルタリングを適用しなくてもよい。

【0309】

一方、一例として、常に参照サンプルフィルタリングを適用する場合、参照サンプルフィルタは、単一のフィルタ（例えば、［１，２，１］フィルタ）であるか、或いは単一のフィルタ以外にも上記で提案した複数のフィルタをさらに考慮することもできる。例えば、第１フィルタ（例えば、［１，２，１］フィルタ）と第２フィルタ（例えば、［１，４，６，４，１］フィルタ）が考慮されてもよい。一方、参照サンプルフィルタリング自体は、如何なる条件とも関係なく行われても、複数のフィルタのうちの一つが適応的に選択されて適用される場合には、フィルタを選択するために、上述した現在ブロックのサイズやイントラ予測モードなどの他の条件が考慮されることもできる。

【0310】

常に参照サンプルフィルタリングを適用するか或いは適用しないとき、ブロックサイズ条件、ＩＳＰ／ＭＲＬ使用有無、イントラ予測方向条件などの条件を確認することが不要である。言い換えれば、上述した条件を問わずにイントラ予測が適用されると、常に参照サンプルフィルタリングが行われることができる。したがって、全体的なイントラ予測アルゴリズムの複雑度及び参照サンプルフィルタリングの適用如何などに関連したオーバーヘッドが減少して画像符号化／復号化の効率及び速度を増加させる効果をもたらすことができる。

【0311】

図２２は、本開示の一実施例によるイントラ予測モードに基づいて参照サンプルフィルタリングを行う画像符号化或いは復号化過程を示す図である。一例として、図２２は、画像符号化装置或いは画像復号化装置によって行われることができる。

【0312】

一例として、画像符号化又は復号化装置が画像符号化又は復号化を行う場合、現在ブロックのイントラ予測モードを決定（Ｓ２２０１）することができる。イントラ予測モードを決定するときには、イントラ予測モードを決定するための情報を基盤とすることができ、ビットストリームから取得するか、或いは他の情報に基づいて誘導することもできる。一例として、イントラ予測モードを決定するための情報には、上述したように、ＭＰＭリストインデックスなどが含まれてもよい。

【0313】

一方、イントラ予測モードが決定されると、イントラ予測に用いられる参照サンプルが誘導（Ｓ２２０２）されることができる。一例として、参照サンプルは、決定されたイントラ予測モードに基づいて誘導されることができ、この誘導過程は、イントラ予測が行われる過程に含まれることができる。より詳細には、図２２の実施例では、説明の明瞭さのために別途のステップで表現されたが、参照サンプルの誘導（Ｓ２２０２）、誘導された参照サンプルに対する参照サンプルフィルタリング如何の決定（Ｓ２２０３）及び／又は参照サンプルフィルタリング如何に基づいて参照サンプルフィルタリングを行う（Ｓ２２０４）過程は、イントラ予測を行う（Ｓ２２０５）過程に含まれる方式で実現されることもできるが、本開示はこれに限定されるものではない。

【0314】

例えば、決定されたイントラ予測モードが特定イントラ予測モード（例えば、Ｐｌａｎａｒイントラ予測モード）である場合、イントラ予測が行われる（Ｓ２２０５）過程に参照サンプルフィルタリングが行われる（Ｓ２２０４）過程が含まれ得る。すなわち、参照サンプルフィルタリングは、特定のイントラ予測モードに基づいたイントラ予測過程自体に含まれることができる。一方、一例として、参照サンプルフィルタリング（Ｓ２２０４）は、現在ブロックにイントラ予測が適用さえすれば、他の条件（例えば、イントラ予測方向、ブロックサイズなど）を問わずに適用されてもよく、適用されなくてもよい。すなわち、場合に応じて参照サンプルに対する参照サンプルフィルタリング如何を決定（Ｓ２２０３）する過程は省略可能である。一方、当該過程（Ｓ２２０３）が省略されず、参照サンプルに対する参照サンプルフィルタリング如何を決定（Ｓ２２０３）する場合、ビットストリームからシグナリングされた情報や他の情報などに基づいて誘導された情報によって参照サンプルフィルタリング如何が決定されてもよく、参照サンプルフィルタリングが適用できる条件に基づいて決定されてもよい。例えば、上述した実施例で説明した参照サンプルフィルタリングのための条件が適用されてもよい。

【0315】

一方、参照サンプルフィルタリング（Ｓ２２０４）が適用されるときには、一例として、参照サンプルフィルタリングは、複数のフィルタのうちの一つを適応的に選択して行われることもできる。また、フィルタは、イントラ予測参照サンプルの数に基づいて適応的に選択されることもできる。イントラ予測参照サンプルの数は、前記現在ブロックのサイズに基づいて決定されることができる。一例として、イントラ予測参照サンプルの数は、現在ブロックのサイズと特定値の比較に基づいて決定されることができるが、これは、前記実施例で説明した通りである。一方、複数のフィルタのうちの一つ（例えば、第１フィルタ）は３タップフィルタであってもよく、３タップフィルタは［１，２，１］で構成されてもよい。また、他の一つのフィルタ（例えば、第２フィルタ）はｎタップフィルタであるが、ｎは３より大きい値であってもよい。例えば、他の一つのフィルタは、５タップフィルタ或いは６タップフィルタであってもよい。一例として、５タップフィルタは［１，４，６，４，１］であってもよく、６タップフィルタは［１，４，６，４，１，０］であってもよい。例えば、フィルタリングに用いられるフィルタ係数はいずれも正数であり得る。一方、参照サンプルフィルタリングの適用条件にＤＩＭＤ（ｄｅｃｏｄｅｒ ｓｉｄｅ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）の適用如何及び／又はＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）の適用如何が含まれることができる。すなわち、参照サンプルフィルタリングの適用は、ＤＩＭＤ（ｄｅｃｏｄｅｒ ｓｉｄｅ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）及び／又はＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）の適用如何に基づいて決定されることができる。一方、参照サンプルフィルタリングは、現在ブロックのカラー成分とは問わずに適用されてもよく、現在ブロックのサイズとは問わずに適用されてもよい。

【0316】

イントラ予測モードに基づいてイントラ予測が行われる（Ｓ２２０５）とき、イントラ予測サンプルが生成されることができる。生成されたイントラ予測サンプルに基づいて、現在ブロックに対する復元サンプルが取得できる。上述したように、復元サンプルは、レジデュアルサンプルと予測サンプルに基づいて生成できる。

【0317】

また、図２２を参照して説明した画像符号化及び復号化方法は、本開示の一実施例に該当するので、上記で説明した実施例を組み合わせたステップがさらに追加されてもよく、一部ステップの順序が変更及び削除されてもよい。

【0318】

例えば、画像符号化方法の場合には、予測サンプルと現在ブロックに基づいて取得したレジデュアルサンプル（すなわち、レジデュアル信号）をビットストリームに符号化する過程がさらに含まれるか、或いはイントラ予測モードに関連した情報をビットストリームに符号化する過程をさらに含んでもよい。また、ビットストリームを画像復号化装置などに伝送する過程などをさらに含んでもよい。

【0319】

図２３は、本開示の一実施例による画像符号化／復号化装置を説明するための図である。一例として、画像符号化／復号化装置は、メモリ２３０２及び少なくとも１つのプロセッサ２３０３を含むことができる。

【0320】

一例として、少なくとも一つのプロセッサは、上述した実施例及び画像符号化／復号化方法を行うが、一部のステップを並列的に行うこともでき、可能な場合、一部のステップの順序を変えたり省略したりして行うこともできる。

【0321】

一例として、少なくとも１つのプロセッサは、現在ブロックのイントラ予測モードを決定し、イントラ予測モードに基づいて、イントラ予測を行い、イントラ予測によって生成された予測サンプルに基づいて復元サンプルを取得することができる。

【0322】

一例として、少なくとも１つのプロセッサは、イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うが、Ｐｌａｎａｒイントラ予測には、現在ブロックのイントラ予測参照サンプルフィルタリング過程が含まれることができる。

【0323】

本開示によれば、イントラ予測参照サンプルフィルタリングの条件を変更又は簡素化することにより、イントラ予測参照サンプルフィルタリングのオーバーヘッドを減少させ、符号化ないし復号化効率を向上させることができる。

【0324】

本開示による多様な実施例は、単独で或いは他の実施例と組み合わされて使用できる。

【0325】

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。

【0326】

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

【0327】

本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

【0328】

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

【0329】

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0330】

図２４は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【0331】

図２４に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0332】

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記サーバは省略できる。

【0333】

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0334】

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

【0335】

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

【0336】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

【0337】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

【0338】

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0339】

本開示による実施例は、画像を符号化／復号化することに利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19a】

【図19b】

【図20】

【図21】

【図22】

【図23】

【図24】

【誤訳訂正書】

【提出日】2024-04-10

【誤訳訂正1】

【訂正対象書類名】特許請求の範囲

【訂正対象項目名】全文

【訂正方法】変更

【訂正の内容】

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
現在ブロックのイントラ予測モードを決定するステップと、
前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップと、
前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得するステップとを含み、
前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含む、画像復号化方法。

【請求項2】

前記フィルタリングは、第１フィルタ或いは第２フィルタを含む複数のフィルタから１つのフィルタを適応的に選択して行われる、請求項１に記載の画像復号化方法。

【請求項3】

前記１つのフィルタは、前記イントラ予測参照サンプルの数に基づいて選択される、請求項２に記載の画像復号化方法。

【請求項4】

前記イントラ予測参照サンプルの数は、前記現在ブロックのサイズに基づいて決定される、請求項３に記載の画像復号化方法。

【請求項5】

前記イントラ予測参照サンプルの数は、前記現在ブロックのサイズと特定値の比較に基づいて決定される、請求項４に記載の画像復号化方法。

【請求項6】

前記第１フィルタは３タップフィルタであり、前記第２フィルタは５タップフィルタである、請求項１に記載の画像復号化方法。

【請求項7】

前記３タップフィルタは［１，２，１］である、請求項６に記載の画像復号化方法。

【請求項8】

前記５タップフィルタは［１，４，６，４，１］である、請求項６に記載の画像復号化方法。

【請求項9】

前記フィルタリングの適用は、ＤＩＭＤ（ｄｅｃｏｄｅｒ ｓｉｄｅ ｉｎｔｒａ ｍｏｄｅ ｄｅｒｉｖａｔｉｏｎ）の適用如何或いはＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）の適用如何のうちの少なくとも一つに基づいて決定される、請求項１に記載の画像復号化方法。

【請求項10】

前記フィルタリングは、前記現在ブロックのサイズを問わずに適用される、請求項１に記載の画像復号化方法。

【請求項11】

前記フィルタリングは、前記現在ブロックのカラー成分を問わずに適用される、請求項１に記載の画像復号化方法。

【請求項12】

前記フィルタリングは、［１，２，１］フィルタに基づいて行われ、
前記現在ブロックのサイズ、前記現在ブロックのカラー成分或いはＩＳＰ（ｉｎｔｒａ ｓｕｂｐａｒｔｉｔｉｏｎ）の適用如何のうちの少なくとも一つに基づいて行われる、請求項１に記載の画像復号化方法。

【請求項13】

画像符号化装置によって行われる画像符号化方法であって、
現在ブロックのイントラ予測モードを決定するステップと、
前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップと、
前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得するステップと、を含み、
前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含む、画像符号化方法。

【請求項14】

画像符号化方法によって生成されたビットストリームの伝送方法であって、
前記画像符号化方法は、
現在ブロックのイントラ予測モードを決定するステップと、
前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップと、
前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得するステップと、を含み、
前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含む、ビットストリームの伝送方法。

【請求項15】

画像符号化方法によって生成されたビットストリームの伝送方法であって、
前記画像符号化方法は、
現在ブロックのイントラ予測モードを決定するステップと、
前記イントラ予測モードがＰｌａｎａｒ予測モードであることに基づいて、Ｐｌａｎａｒイントラ予測を行うステップと、
前記Ｐｌａｎａｒイントラ予測に基づいて取得された予測サンプルに基づいて、前記現在ブロックの復元サンプルを取得するステップと、を含み、
前記Ｐｌａｎａｒイントラ予測を行うステップは、前記現在ブロックのイントラ予測参照サンプルにフィルタリングを適用するステップを含む、ビットストリームの伝送方法。

【国際調査報告】