特許 7541102 フィルタ利用可能情報を選択的にシグナリングする画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】フィルタ利用可能情報を選択的にシグナリングする画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

(51)【国際特許分類】

   H04N 19/70 20140101AFI20240820BHJP

   H04N 19/82 20140101ALI20240820BHJP

   H04N 19/117 20140101ALI20240820BHJP

   H04N 19/119 20140101ALI20240820BHJP

   H04N 19/136 20140101ALI20240820BHJP

   H04N 19/174 20140101ALI20240820BHJP

【ＦＩ】

H04N19/70

H04N19/82

H04N19/117

H04N19/119

H04N19/136

H04N19/174

【請求項の数】 10

(21)【出願番号】P 2022549075

(86)(22)【出願日】2021-02-15

(65)【公表番号】

(43)【公表日】2023-04-03

(86)【国際出願番号】 KR2021001856

(87)【国際公開番号】W WO2021162494

(87)【国際公開日】2021-08-19

【審査請求日】2022-08-12

(31)【優先権主張番号】62/977,060

(32)【優先日】2020-02-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】パク ネリ

(72)【発明者】

【氏名】ナム チョンハク

(72)【発明者】

【氏名】チャン ヒョンムン

【審査官】田部井 和彦

(56)【参考文献】

【文献】Benjamin Bross et al.，Versatile Video Coding (Draft 8) [online]，JVET-Q2001-vC，インターネット ＜URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v1.zip＞，2020年02月09日，pp.28-31,43-45,110-117,171-173,334-338,361-363,370-372

【文献】Kiyofumi Abe et al.，AHG12: Loop filter control flag for tile boundary [online]，JVET-P0252-v1，インターネット ＜URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0252-v1.zip＞，2019年09月24日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／７０

Ｈ０４Ｎ １９／８２

Ｈ０４Ｎ １９／１１７

Ｈ０４Ｎ １９／１１９

Ｈ０４Ｎ １９／１３６

Ｈ０４Ｎ １９／１７４

(57)【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
現在ピクチャの分割が制限されていないことに基づいて、前記現在ピクチャ内のタイルの個数を決定するステップと、
前記現在ピクチャ内のタイルの個数が複数個であることに基づいて、タイルの境界に対するフィルタリングのための第１フラグをビットストリームから取得するステップと、
前記第１フラグの値に基づいて、前記現在ピクチャに属する前記タイルの前記境界に対してフィルタリングを行うことを決定するステップと、
前記現在ピクチャの分割が制限されていないことに基づいて、スライスの境界に対するフィルタリングのための第２フラグを前記ビットストリームから取得するステップと、
前記第２フラグの値に基づいて、前記現在ピクチャに属する前記スライスの前記境界に対してフィルタリングを行うことを決定するステップと、を含み、
前記現在ピクチャの分割が制限されていないことに基づいて、前記現在ピクチャを構成するスライスに関する第１情報が前記ビットストリームから取得され、
前記現在ピクチャが１つのスライスで構成されることを前記スライスに関する前記第１情報が示さないことに基づいて、前記第２フラグが前記ビットストリームから取得され、
長方形スライスモードを前記現在ピクチャに適用するかどうかを示す前記スライスに関する第２情報に基づいて、前記第２フラグが前記ビットストリームから取得される、画像復号化方法。

【請求項2】

前記現在ピクチャの分割のための分割制限フラグが前記ビットストリームから取得され、
前記分割制限フラグに基づいて、前記現在ピクチャの分割が制限されると決定される、請求項１に記載の画像復号化方法。

【請求項3】

前記現在ピクチャ内のタイルの個数が、前記現在ピクチャを分割するタイルの個数のためのタイル個数情報に基づいて決定される、請求項１に記載の画像復号化方法。

【請求項4】

前記タイル個数情報は、前記現在ピクチャ内のタイル列の個数のための情報、及び前記現在ピクチャ内のタイル行の個数のための情報を含む、請求項３に記載の画像復号化方法。

【請求項5】

前記タイル個数情報が、前記現在ピクチャの分割が制限されていないことに基づいて前記ビットストリームから取得される、請求項３に記載の画像復号化方法。

【請求項6】

前記現在ピクチャのサブピクチャが１つの長方形スライスのみで構成されることを前記スライスに関する第３情報が示すことに基づいて、前記第２フラグが前記ビットストリームから取得される、請求項１に記載の画像復号化方法。

【請求項7】

前記現在ピクチャ内のスライスの個数が複数個であることを前記スライスに関する前記第１情報が示すことに基づいて、前記第２フラグが前記ビットストリームから取得される、請求項１に記載の画像復号化方法。

【請求項8】

前記現在ピクチャの分割が制限されていないことに基づいて、前記現在ピクチャを構成する前記スライスが長方形スライスであるかどうかが決定され、
前記現在ピクチャを構成する前記スライスが長方形スライスであるかどうかに基づいて、前記現在ピクチャのサブピクチャが１つの長方形スライスのみで構成されるかどうかが決定され、
前記現在ピクチャの前記サブピクチャが１つより多い長方形スライスで構成されることに基づいて、前記現在ピクチャ内のスライスの個数のための情報が前記ビットストリームから取得され、
前記現在ピクチャ内のスライスの個数のための情報に基づいて、前記現在ピクチャ内のスライスの個数が複数個であるかどうかが決定される、請求項７に記載の画像復号化方法。

【請求項9】

画像符号化装置によって行われる画像符号化方法であって、
現在ピクチャの分割が制限されていないことに基づいて、前記現在ピクチャ内のタイルの個数を決定するステップと、
前記現在ピクチャ内のタイルの個数が複数個であることに基づいて、タイルの境界に対するフィルタリングのための第１フラグの値を決定するステップと、
前記第１フラグを含むビットストリームを生成するステップと、
前記現在ピクチャの分割が制限されていないことに基づいて、前記現在ピクチャが１つのスライスから構成されるかどうかを第１情報として決定するステップと、
前記現在ピクチャが１つのスライスから構成されないことに基づいて、スライスの境界に対するフィルタリングのための第２フラグの値を決定するステップと、を含み、
前記現在ピクチャの分割が制限されていないことに基づいて、前記現在ピクチャを構成するスライスに関する前記第１情報が前記ビットストリームに含まれ、
長方形スライスモードを前記現在ピクチャに適用するかどうかを示す前記スライスに関する第２情報に基づいて、前記第２フラグが前記ビットストリームに含まれる、画像符号化方法。

【請求項10】

画像符号化方法によって生成されたビットストリームを送信するための方法であって、
前記画像符号化方法は、
現在ピクチャの分割が制限されていないことに基づいて、前記現在ピクチャ内のタイルの個数を決定するステップと、
前記現在ピクチャ内のタイルの個数が複数個であることに基づいて、タイルの境界に対するフィルタリングのための第１フラグの値を決定するステップと、
前記第１フラグを含むビットストリームを生成するステップと、
前記現在ピクチャの分割が制限されていないことに基づいて、前記現在ピクチャが１つのスライスから構成されるかどうかを第１情報として決定するステップと、
前記現在ピクチャが１つのスライスから構成されないことに基づいて、スライスの境界に対するフィルタリングのための第２フラグの値を決定するステップと、を含み、
前記現在ピクチャの分割が制限されていないことに基づいて、前記現在ピクチャを構成するスライスに関する前記第１情報が前記ビットストリームに含まれ、
長方形スライスモードを前記現在ピクチャに適用するかどうかを示す前記スライスに関する第２情報に基づいて、前記第２フラグが前記ビットストリームに含まれる、送信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、フィルタ可用情報を選択的にシグナリングする画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

【背景技術】

【0002】

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

【0003】

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

【0005】

また、本開示は、フィルタ可用情報を選択的にシグナリングすることにより、符号化／復号化効率の向上を図る画像符号化／復号化方法及び装置を提供することを目的とする。

【0006】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

【0007】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

【0008】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。

【0009】

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。

【課題を解決するための手段】

【0010】

本開示の一態様による画像復号化装置によって行われる画像復号化方法は、現在ピクチャの分割が制限されないことに基づいて、前記現在ピクチャ内のタイルの個数を決定するステップと、前記現在ピクチャ内のタイルの個数が複数個であることに基づいて、タイルの境界に対してフィルタリングが利用可能であるか否かを示す第１フラグをビットストリームから取得するステップと、前記第１フラグの値に基づいて、前記現在ピクチャに属するタイルの境界に対してフィルタリングを行うか否かを決定するステップと、を含むことができる。

【0011】

また、本開示の一態様による画像復号化装置は、メモリ及び少なくとも１つのプロセッサを含む画像復号化装置であって、前記少なくとも１つのプロセッサは、現在ピクチャの分割が制限されないことに基づいて、前記現在ピクチャ内のタイルの個数を決定し、前記現在ピクチャ内のタイルの個数が複数個であることに基づいて、タイルの境界に対してフィルタリングが利用可能であるか否かを示す第１フラグをビットストリームから取得し、前記第１フラグの値に基づいて、前記現在ピクチャに属するタイルの境界に対してフィルタリングを行うか否かを決定することができる。

【0012】

また、本開示の一態様による画像符号化装置によって行われる画像符号化方法は、現在ピクチャの分割が制限されないことに基づいて、前記現在ピクチャ内のタイルの個数を決定するステップと、前記現在ピクチャ内のタイルの個数が複数個であることに基づいて、タイルの境界に対してフィルタリングが利用可能であるか否かを示す第１フラグの値を決定するステップと、前記第１フラグを含むビットストリームを生成するステップと、を含むことができる。

【0013】

また、本開示の一態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。

【0014】

また、本開示の一態様によるコンピュータ可読の記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

【0015】

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

【発明の効果】

【0016】

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

【0017】

また、本開示によれば、フィルタ利用可能情報を選択的にシグナリングすることにより符号化／復号化効率の向上を図ることができる画像符号化／復号化方法及び装置が提供されることができる。

【0018】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

【0019】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

【0020】

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

【0021】

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【図面の簡単な説明】

【0022】

【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【図4】一実施例による画像の分割構造を示す図である。

【図5】マルチタイプツリー構造によるブロックの分割タイプの一実施例を示す図である。

【図6】本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造におけるブロック分割情報のシグナリングメカニズムを例示する図である。

【図7】ＣＴＵが多重ＣＵに分割される一実施例を示す図である。

【図8】一実施例による周辺参照サンプルを示す図である。

【図9】一実施例によるイントラ予測を説明する図である。

【図10】一実施例によるイントラ予測を説明する図である。

【図11】一実施例によるインター予測を用いた符号化方法を説明する図である。

【図12】一実施例によるインター予測を用いた復号化方法を説明する図である。

【図13】一つのシンタックス要素を符号化するための一実施例によるＣＡＢＡＣを示すブロック図である。

【図14】一実施例によるエントロピー符号化と復号化を説明する図である。

【図15】一実施例によるエントロピー符号化と復号化を説明する図である。

【図16】一実施例によるエントロピー符号化と復号化を説明する図である。

【図17】一実施例によるエントロピー符号化と復号化を説明する図である。

【図18】一実施例によるピクチャ復号化及び符号化手順の一例を示す図である。

【図19】一実施例によるピクチャ復号化及び符号化手順の一例を示す図である。

【図20】一実施例によるコーディングされた画像に対する階層構造を示す図である。

【図21】タイル、スライス及びサブピクチャを用いてピクチャを分割した実施例を示す図である。

【図22】タイル、スライス及びサブピクチャを用いてピクチャを分割した実施例を示す図である。

【図23】タイル、スライス及びサブピクチャを用いてピクチャを分割した実施例を示す図である。

【図24】タイル、スライス及びサブピクチャを用いてピクチャを分割した実施例を示す図である。

【図25】ピクチャパラメータセットに対するシンタックスの個別実施例を示す図である。

【図26】ピクチャパラメータセットに対するシンタックスの個別実施例を示す図である。

【図27】ピクチャパラメータセットに対するシンタックスの個別実施例を示す図である。

【図28】ピクチャパラメータセットに対するシンタックスの個別実施例を示す図である。

【図29】復号化方法及び符号化方法の一実施例を示す図である。

【図30】復号化方法及び符号化方法の一実施例を示す図である。

【図31】本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【発明を実施するための形態】

【0023】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0024】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0025】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0026】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素は、他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を、他の実施例で第１構成要素と呼んでもよい。

【0027】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

【0028】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0029】

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

【0030】

本開示において、「ビデオ（ｖｉｄｅｏ）」は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味することができる。「ピクチャ（ｐｉｃｔｕｒｅ」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、符号化においてピクチャの一部を構成する符号化単位である。一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。 前記ＣＴＵは１つ以上のＣＵに分割されることができる。１つのピクチャは、１つ以上のスライス／タイルで構成できる。タイルは、ピクチャ内の特定のタイル行（Ｔｉｌｅ Ｒｏｗ）及び特定のタイル列（Ｔｉｌｌｅ Ｃｏｌｕｍｎ）内に存在する四角領域であって、複数のＣＴＵで構成できる。タイル列は、ＣＴＵの四角領域と定義でき、ピクチャの高さと同じ高さを有し、ピクチャパラメータセットなどのビットストリーム部分からシグナリングされるシンタックス要素によって指定される幅を有することができる。タイル行は、ＣＴＵの四角領域と定義でき、ピクチャの幅と同じ幅を有し、ピクチャパラメータセットなどのビットストリーム部分からシグナリングされるシンタックス要素によって指定される高さを有することができる。タイルスキャンは、ピクチャを分割するＣＴＵの所定の連続した順序付け方法である。ここで、ＣＴＵは、タイル内でＣＴＵラスタースキャン（ｒａｓｔｅｒ ｓｃａｎ）に従って連続的に順序付けられてもよく、ピクチャ内のタイルは、ピクチャのタイルのラスタースキャン順序に従って連続的に順序付けられてもよい。スライスは、整数個の完全なタイルを含むか、或いは１つのピクチャの１つのタイル内の連続する整数個の完全なＣＴＵ行を含むことができる。スライスは、一つのシングルＮＡＬユニットに独占的に含まれることができる。

【0031】

一つのピクチャは一つ以上のタイルグループで構成できる。一つのタイルグループは一つ以上のタイルを含むことができる。ブリックは、ピクチャ内のタイル内のＣＴＵ行の四角領域を示すことができる。一つのタイルは一つ以上のブリック（Ｂｒｉｃｋ）を含むことができる。ブリックはタイル内のＣＴＵ行の四角領域を示すことができる。一つのタイルは、複数のブリックに分割されることができ、それぞれのブリックは、タイルに属する一つ以上のＣＴＵ行を含むことができる。複数のブリックに分割されないタイルもブリックとして取り扱われることができる。

【0032】

一方、一つのピクチャは、２つ以上のサブピクチャに区分できる。サブピクチャは、ピクチャ内の一つ以上のスライスの四角領域であり得る。

【0033】

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0034】

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ（例えば、Ｃｂ、Ｃｒ）ブロックを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

【0035】

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

【0036】

また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、「現在ブロックのルマブロック」を意味することができる。「現在ブロックのクロマブロック」は、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。

【0037】

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

【0038】

本開示において、「又は」は、「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

【0039】

ビデオコーディングシステムの概要

【0040】

図１は本開示によるビデオコーディングシステムを示す図である。

【0041】

一実施例によるビデオコーディングシステムは、ソースデバイス１０及び受信デバイス２０を含むことができる。ソースデバイス１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して受信デバイス２０へ伝達することができる。

【0042】

一実施例によるソースデバイス１０は、ビデオソース生成部１１、符号化装置１２及び伝送部１３を含むことができる。一実施例による受信デバイス２０は、受信部２１、復号化装置２２及びレンダリング部２３を含むことができる。前記符号化装置１２は、ビデオ／画像符号化装置と呼ばれることができ、前記復号化装置２２は、ビデオ／画像復号化装置と呼ばれることができる。伝送部１３は、符号化装置１２に含まれることができる。受信部２１は、復号化装置２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

【0043】

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して、仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

【0044】

符号化装置１２は、入力ビデオ／画像を符号化することができる。符号化装置１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化装置１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

【0045】

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して受信デバイス２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化装置２２に伝達することができる。

【0046】

復号化装置２２は、符号化装置１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

【0047】

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

【0048】

画像符号化装置の概要

【0049】

図２は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0050】

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

【0051】

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

【0052】

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

【0053】

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0054】

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びＰｌａｎａｒモードを含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0055】

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいて、インター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

【0056】

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に、現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点において、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。

【0057】

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

【0058】

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックにも適用されることもできる。

【0059】

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0060】

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓの値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

【0061】

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

【0062】

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

【0063】

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0064】

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0065】

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

【0066】

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

【0067】

画像復号化装置の概要

【0068】

図３は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0069】

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

【0070】

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

【0071】

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図１の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

【0072】

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

【0073】

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

【0074】

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0075】

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

【0076】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

【0077】

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

【0078】

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

【0079】

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

【0080】

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0081】

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0082】

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

【0083】

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

【0084】

画像分割の概要

【0085】

本開示によるビデオ／画像コーディング方法は、次の画像分割構造に基づいて行われることができる。具体的には、後述する予測、レジデュアル処理（（逆）変換、（逆）量子化など）、シンタックス要素コーティング、フィルタリングなどの手順は、前記画像分割構造に基づいて導出されたＣＴＵ、ＣＵ（及び／又はＴＵ、ＰＵ）に基づいて行われることができる。画像はブロック単位で分割されることができ、ブロック分割手順は上述した符号化装置の画像分割部１１０で行われることができる。分割関連情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で復号化装置に伝達できる。復号化装置のエントロピー復号化部２１０は、前記ビットストリームから取得した前記分割関連情報に基づいて、現在ピクチャのブロック分割構造を導出し、これに基づいて画像復号化のための一連の手順（例えば、予測、レジデュアル処理、ブロック／ピクチャ復元、インループフィルタリングなど）を行うことができる。

【0086】

ピクチャは、コーティングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔｓ、ＣＴＵｓ）のシーケンスに分割されることができる。図４はピクチャがＣＴＵに分割される例を示す。ＣＴＵはコーティングツリーブロック（Ｃｏｄｉｎｇ ｔｒｅｅ ｂｌｏｃｋｓ、ＣＴＢ）に対応することができる。或いは、ＣＴＵはルマサンプルのコーティングツリーブロックと、対応するクロマサンプルの二つのコーティングツリーブロックを含むことができる。例えば、三つのサンプルアレイを含むピクチャに対して、ＣＴＵは、ルマサンプルのＮ×Ｎブロックとクロマサンプルの二つの対応ブロックを含むことができる。コーディング及び予測などのためのＣＴＵの最大許容サイズは、変換のためのＣＴＵの最大許容サイズとは異なることができる。例えば、ＣＴＵ内のルマブロックの最大許容サイズは、たとえルマ変換ブロックの最大サイズが６４×６４である場合にも、１２８×１２８であり得る。

【0087】

ＣＴＵ分割の概要

【0088】

前述したように、コーディングユニットは、コーディングツリーユニット（ＣＴＵ）又は最大コーディングユニット（ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に分割することにより取得できる。例えば、ＣＴＵは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。

【0089】

四分木による分割は、現在ＣＵ（又はＣＴＵ）を４等分する分割を意味する。四分木による分割によって、現在ＣＵは、同じ幅と同じ高さを有する４つのＣＵに分割されることができる。現在ＣＵがそれ以上四分木構造に分割されない場合、現在ＣＵは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するＣＵは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するＣＵは、マルチタイプツリー構造によってさらに分割されることができる。

【0090】

図５はマルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による２つの分割と三分木構造による２つの分割を含むことができる。

【0091】

二分木構造による２つの分割は、垂直バイナリ分割（ｖｅｒｔｉｃａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）と水平バイナリ分割（ｈｏｒｉｚｏｎｔａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）を含むことができる。垂直バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に二等分する分割を意味する。図４に示されているように、垂直バイナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有する２つのＣＵが生成されることができる。水平バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）は、現在ＣＵを水平方向に二等分する分割を意味する。図５に示されているように、水平バイナリ分割によって、現在ＣＵの高さの半分の高さをもって現在ＣＵの幅と同じ幅を有する２つのＣＵが生成されることができる。

【0092】

三分木構造による２つの分割は、垂直ターナリ分割（ｖｅｒｔｉｃａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）と水平ターナリ分割（ｈｏｒｉｚｏｎｔａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）を含むことができる。垂直ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に１：２：１の割合で分割する。図５に示されているように、垂直ターナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の１／４の幅を有する２つのＣＵと、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有するＣＵが生成されることができる。水平ターナリ分割ＳＰＬＩＴ＿ＴＴ＿ＨＯＲは、現在ＣＵを水平方向に１：２：１の割合で分割する。図４に示されているように、水平ターナリ分割によって、現在ＣＵの高さの１／４の高さ及び現在ＣＵの幅と同じ幅を有する２つのＣＵと、現在ＣＵの高さの半分の高さ及び現在ＣＵの幅と同じ幅を有する一つのＣＵが生成されることができる。

【0093】

図６は本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造でのブロック分割情報のシグナリングメカニズムを例示する図である。

【0094】

ここで、ＣＴＵは四分木のルート（ｒｏｏｔ）ノードとして扱われ、ＣＴＵは四分木構造に初めて分割される。現在ＣＵ（ＣＴＵ又は四分木のノード（ＱＴ＿ｎｏｄｅ））に対して四分木分割を行うか否かを指示する情報（例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ）がシグナリングされることができる。例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第１値（例えば、「１」）であれば、現在ＣＵは四分木に分割されることができる。また、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第２値（例えば、「０」）であれば、現在ＣＵは、四分木に分割されず、四分木のリーフノード（ＱＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらに分割されることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード（ＭＴＴ＿ｎｏｄｅ）になることができる。マルチタイプツリー構造で、現在ノードがさらに分割されるかを指示するために、第１フラグ（ａ ｆｉｒｓｔ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）がシグナリングされることができる。もし当該ノードがさらに分割される場合（例えば、第１フラグが１である場合）には、分割方向（ｓｐｌｉｔｔｉｎｇ ｄｉｒｅｃｔｉｏｎ）を指示するために、第２フラグ（ａ ｓｅｃｏｎｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃｌａ＿ｆｌａｇ）がシグナリングされることができる。例えば、第２フラグが１である場合には、分割方向は垂直方向であり、第２フラグが０である場合には、分割方向は水平方向であることができる。その後、分割タイプがバイナリ分割タイプであるかターナリ分割タイプであるかを指示するために、第３フラグ（ａ ｔｈｉｒｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ）がシグナリングされることができる。例えば、第３フラグが１である場合には、分割タイプはバイナリ分割タイプであり、第３フラグが０である場合には、分割タイプはターナリ分割タイプであることができる。バイナリ分割又はターナリ分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることができる。しかし、マルチタイプツリーのノードは四分木構造にパーティショニングされることはできない。前記第１フラグが０である場合、マルチタイプツリーの該当ノードは、それ以上分割されず、マルチタイプツリーのリーフノード（ＭＴＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。マルチタイプツリーのリーフノードに該当するＣＵは、前述した最終コーディングユニットとして使用できる。

【0095】

前述したｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ及びｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇに基づいて、ＣＵのマルチタイプツリー分割モード（ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ ｓｐｌｉｔｔｉｎｇ ｍｏｄｅ、ＭｔｔＳｐｌｉｔＭｏｄｅ）が表１のとおりに導出されることができる。以下の説明において、マルチツリー分割モードは、マルチツリー分割タイプ又は分割タイプと略称することができる。

【0096】

【表1】

【0097】

図７は四分木の適用後にマルチタイプツリーが適用されることによりＣＴＵが多重ＣＵに分割される例を示す。図７において、太いブロックエッジ（ｂｏｌｄ ｂｌｏｃｋ ｅｄｇｅ）７１０は四分木分割を示し、残りのエッジ７２０はマルチタイプツリー分割を示す。ＣＵはコーディングブロックＣＢに対応することができる。一実施例において、ＣＵは、ルマサンプルのコーディングブロックと、ルマサンプルに対応するクロマサンプルの二つのコーディングブロックと、を含むことができる。クロマ成分（サンプル）ＣＢ又はＴＢサイズは、ピクチャ／画像のカラーフォーマット（クロマフォーマット、例えば、４：４：４、４：２：２、４：２：０など）による成分比に従ってルマ成分（サンプル）ＣＢ又はＴＢサイズに基づいて導出されることができる。カラーフォーマットが４：４：４である場合、クロマ成分ＣＢ／ＴＢサイズは、ルマ成分ＣＢ／ＴＢサイズと同一に設定されることができる。カラーフォーマットが４：２：２である場合、クロマ成分ＣＢ／ＴＢの幅はルマ成分ＣＢ／ＴＢの幅の半分に設定されることができ、クロマ成分ＣＢ／ＴＢの高さはルマ成分ＣＢ／ＴＢの高さに設定されることができる。カラーフォーマットが４：２：０である場合、クロマ成分ＣＢ／ＴＢの幅はルマ成分ＣＢ／ＴＢの幅の半分に設定されることができ、クロマ成分ＣＢ／ＴＢの高さはルマ成分ＣＢ／ＴＢの高さの半分に設定されることができる。

【0098】

一実施例において、ルマサンプル単位を基準にＣＴＵのサイズが１２８であるとき、ＣＵのサイズは、ＣＴＵと同じサイズである１２８×１２８から４×４までのサイズを有することができる。一実施例において、４：２：０カラーフォーマット（又はクロマフォーマット）である場合、クロマＣＢサイズは６４×６４から２×２までのサイズを持つことができる。

【0099】

一方、一実施例において、ＣＵサイズとＴＵサイズとが同じであることができる。又は、ＣＵ領域内に複数のＴＵが存在することもできる。ＴＵサイズとは、一般的に、ルマ成分（サンプル）ＴＢ（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）サイズを示すことができる。

【0100】

前記ＴＵサイズは、予め設定された値である最大許容ＴＢサイズ（ｍａｘＴｂＳｉｚｅ）に基づいて導出されることができる。例えば、前記ＣＵサイズが前記ｍａｘＴｂＳｉｚｅよりも大きい場合、前記ＣＵから、前記ｍａｘＴｂＳｉｚｅを持つ複数のＴＵ（ＴＢ）が導出され、前記ＴＵ（ＴＢ）単位で変換／逆変換が行われることができる。例えば、最大許容ルマＴＢサイズは６４×６４であり、最大許容クロマＴＢサイズは３２×３２であることができる。もし前記ツリー構造によって分割されたＣＢの幅又は高さが最大変換幅又は高さよりも大きい場合、当該ＣＢは、自動的に（又は暗黙的に）水平及び垂直方向のＴＢサイズの制限を満足するまで分割されることができる。

【0101】

また、例えばイントラ予測が適用される場合、イントラ予測モード／タイプは、前記ＣＵ（又はＣＢ）単位で導出され、周辺参照サンプル導出及び予測サンプル生成手順は、ＴＵ（又はＴＢ）単位で行われることができる。この場合、一つのＣＵ（又はＣＢ）領域内に一つ又は複数のＴＵ（又はＴＢ）が存在することができ、この場合、前記複数のＴＵ（又はＴＢ）は同じイントラ予測モード／タイプを共有することができる。

【0102】

一方、マルチタイプツリーを伴った四分木コーディングツリースキームのために、次のパラメータがＳＰＳシンタックス要素として符号化装置から復号化装置にシグナリングされることができる。例えば、四分木のルートノードのサイズを示すパラメータであるＣＴＵｓｉｚｅ、四分木のリーフノードの最小許容サイズを示すパラメータであるＭｉｎＱＴＳｉｚｅ、二分木のルートノードの最大許容サイズを示すパラメータであるＭａｘＢＴＳｉｚｅ、三分木のルートノードの最大許容サイズを示すパラメータであるＭａｘＴＴＳｉｚｅ、四分木のリーフノードから分割されるマルチタイプツリーの最大許容階層深さ（ｍａｘｉｍｕｍ ａｌｌｏｗｅｄ ｈｉｅｒａｒｃｈｙ ｄｅｐｔｈ）を示すパラメータであるＭａｘＭｔｔＤｅｐｔｈ、二分木の最小許容リーフノードサイズを示すパラメータであるＭｉｎＢｔＳｉｚｅ、及び三分木の最小許容リーフノードサイズを示すパラメータであるＭｉｎＴｔＳｉｚｅのうちの少なくとも一つがシグナリングされることができる。

【0103】

４：２：０クロマフォーマットを用いる一実施例において、ＣＴＵサイズは１２８×１２８ルマブロック及びルマブロックに対応する二つの６４×６４クロマブロックに設定されることができる。この場合、ＭｉｎＱＴＳｉｚｅは１６×１６に設定され、ＭａｘＢｔＳｉｚｅは１２８×１２８に設定され、ＭａｘＴｔＳｚｉｅは６４×６４に設定され、ＭｉｎＢｔＳｉｚｅ及びＭｉｎＴｔＳｉｚｅは４×４に設定され、ＭａｘＭｔｔＤｅｐｔｈは４に設定されことができる。四分木分割は、ＣＴＵに適用されて四分木のリーフノードを生成することができる。四分木のリーフノードはリーフＱＴノードと呼ばれることができる。四分木のリーフノードは１６×１６サイズ（例えば、ｔｈｅ ＭｉｎＱＴＳｉｚｅ）から１２８×１２８サイズ（例えば、ｔｈｅ ＣＴＵ ｓｉｚｅ）を持つことができる。もしリーフＱＴノードが１２８×１２８である場合、さらに二分木／三分木に分割されないことができる。これは、この場合に分割されてもＭａｘＢｔｓｉｚｅ及びＭａｘＴｔｓｚｉｅ（例えば、６４×６４）を超過するためである。これ以外の場合、リーフＱＴノードは、マルチタイプツリーにさらに分割されることができる。よって、リーフＱＴノードは、マルチタイプツリーに対するルートノード（ｒｏｏｔ ｎｏｄｅ）であり、リーフＱＴノードは、マルチタイプツリーデプス（ｍｔｔＤｅｐｔｈ）０値を持つことができる。もし、マルチタイプツリーデプスがＭａｘＭｔｔｄｅｐｔｈ（例えば、４）に到達した場合、それ以上の追加分割は考慮されないことができる。もし、マルチタイプツリーノードの幅がＭｉｎＢｔＳｉｚｅと同じであり、２ｘＭｉｎＴｔＳｉｚｅと同じかそれより小さい場合、それ以上の追加的な水平分割は考慮されないことができる。もし、マルチタイプツリーノードの高さがＭｉｎＢｔＳｉｚｅと同じであり、２ｘＭｉｎＴｔＳｉｚｅと同じかそれより小さい場合、それ以上の追加的な垂直分割は考慮されないことができる。このように分割が考慮されない場合、符号化装置は、分割情報のシグナリングを省略することができる。このような場合、復号化装置は、所定の値に分割情報を誘導することができる。

【0104】

一方、一つのＣＴＵは、ルマサンプルのコーディングブロック（以下、「ルマブロック」という）と、これに対応するクロマサンプルの二つのコーディングブロック（以下、「クロマブロック」という）と、を含むことができる。前述したコーディングツリースキームは、現在ＣＵのルマブロック及びクロマブロックに対して同様に適用されることもでき、個別的に（ｓｅｐａｒａｔｅ）適用されることもできる。具体的には、一つのＣＴＵ内のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）と表すことができる。又は、一つのＣＴＵ内のルマブロック及びクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）と表すことができる。つまり、ＣＴＵがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ（ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ）と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ（ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）と呼ばれることができる。Ｐ及びＢスライス／タイルグループに対して、一つのＣＴＵ内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかし、Ｉスライス／タイルグループに対して、ルマブロック及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別ブロックツリー構造が適用される場合、ルマＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）は、特定のコーディングツリー構造に基づいてＣＵに分割され、クロマＣＴＢは、他のコーディングツリー構造に基づいてクロマＣＵに分割されることができる。すなわち、個別ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵは、ルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックで構成され、Ｐ又はＢスライス／タイルグループのＣＵは、三つのカラー成分（ルマ成分及び二つのクロマ成分）のブロックで構成され得ることを意味することができる。

【0105】

上記において、マルチタイプツリーを伴った四分木コーディングツリー構造について説明したが、ＣＵが分割される構造はこれに限定されない。例えば、ＢＴ構造及びＴＴ構造は、多数の分割ツリー（Ｍｕｌｔｉｐｌｅ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｔｒｅｅ、ＭＰＴ）構造に含まれる概念と解釈されることができ、ＣＵはＱＴ構造及びＭＰＴ構造によって分割されると解釈することができる。ＱＴ構造及びＭＰＴ構造によってＣＵが分割される一例において、ＱＴ構造のリーフノードが幾つかのブロックに分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｔｙｐｅ）及びＱＴ構造のリーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｍｏｄｅ）が、シグナリングされることにより、分割構造が決定されることができる。

【0106】

別の例において、ＣＵは、ＱＴ構造、ＢＴ構造又はＴＴ構造とは異なる方法で分割されることができる。つまり、ＱＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４サイズに分割されるか、或いはＢＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／２サイズに分割されるか、或いはＴＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４又は１／２サイズに分割されるのとは異なり、下位デプスのＣＵは、場合によって、上位デプスのＣＵの１／５、１／３、３／８、３／５、２／３又は５／８のサイズに分割されることができ、ＣＵが分割される方法は、これに限定されない。

【0107】

このように、前記マルチタイプツリーを伴った四分木コーディングブロック構造は、非常に柔軟なブロック分割構造を提供することができる。一方、マルチタイプツリーに支援される分割タイプのために、場合によって、異なる分割パターンが潜在的に同一のコーディングブロック構造の結果を導出することができる。符号化装置と復号化装置は、このような冗長（ｒｅｄｕｎｄａｎｔ）分割パターンの発生を制限することにより、分割情報のデータ量を減らすことができる。

【0108】

また、本開示によるビデオ／画像の符号化及び復号化において、画像処理単位は階層的構造を持つことができる。一つのピクチャは、一つ以上のタイル、ブリック、スライス、及び／又はタイルグループに区分できる。一つのスライスは一つ以上のブリックを含むことができる。一つのブリックは、タイル内の一つ以上のＣＴＵ行（ｒｏｗ）を含むことができる。スライスはピクチャの整数個のブリックを含むことができる。一つのタイルグループは一つ以上のタイルを含むことができる。一つのタイルは一つ以上のＣＴＵを含むことができる。前記ＣＴＵは一つ以上のＣＵに分割されることができる。タイルは、ピクチャ内で複数のＣＴＵからなる特定のタイル行及び特定のタイル列で構成される四角領域であり得る。タイルグループは、ピクチャ内のタイルラスタースキャンによる整数個のタイルを含むことができる。スライスヘッダーは、該当スライス（スライス内のブロック）に適用できる情報／パラメータを運ぶことができる。符号化装置又は復号化装置がマルチコアプロセッサを有する場合、前記タイル、スライス、ブリック及び／又はタイルグループに対する符号化／復号化手順は並列処理できる。

【0109】

本開示において、スライス又はタイルグループの呼称又は概念は混用できる。すなわち、タイルグループヘッダーは、スライスヘッダーと呼ばれることができる。ここで、スライスは、ｉｎｔｒａ（Ｉ）ｓｌｉｃｅ、ｐｒｅｄｉｃｔｉｖｅ（Ｐ）ｓｌｉｃｅ、及びｂｉ－ｐｒｅｄｉｃｔｉｖｅ（Ｂ）ｓｌｉｃｅを含むスライスタイプのうちの一つのタイプを有することができる。Ｉスライス内のブロックに対しては、予測のためにインター予測は使用されず、イントラ予測のみ使用されることができる。もちろん、この場合にも、予測なしに原本サンプル値をコーディングしてシグナリングすることもできる。Ｐスライス内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合には、単（ｕｎｉ）予測のみ使用できる。一方、Ｂスライス内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合には、最大双（ｂｉ）予測まで使用できる。

【0110】

符号化装置は、ビデオ画像の特性（例えば、解像度）に応じて、或いはコーディングの効率又は並列処理を考慮して、タイル／タイルグループ、ブリック、スライス、最大及び最小コーディングユニットサイズを決定することができる。そして、これに関する情報又はこれを誘導し得る情報がビットストリームに含まれることができる。

【0111】

復号化装置は、現在ピクチャのタイル／タイルグループ、ブリック、スライス、タイル内のＣＴＵが多数のコーディングユニットに分割されたかなどを示す情報を取得することができる。符号化装置及び復号化装置は、このような情報を特定の条件下でのみシグナリングすることにより、符号化効率を高めることもできる。

【0112】

前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のピクチャに共通に適用可能な情報／パラメータを含むことができる。ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤーに共通に適用可能な情報／パラメータを含むことができる。ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通に適用可能な情報／パラメータを含むことができる。ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の結合に関連する情報／パラメータを含むことができる。

【0113】

また、例えば、前記タイル／タイルグループ／ブリック／スライスの分割及び構成などに関する情報は、前記上位レベルシンタックスを介して符号化段階において構成されてビットストリーム形式で復号化装置へ伝達できる。

【0114】

イントラ予測の概要

【0115】

以下、上述した符号化装置及び復号化装置が行うイントラ予測についてより詳細に説明する。イントラ予測は、現在ブロックの属するピクチャ（以下、現在ピクチャ）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。

【0116】

図８を参照して説明する。現在ブロック８０１にイントラ予測が適用される場合、現在ブロック８０１のイントラ予測に使用する周辺参照サンプルが導出されることができる。前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの左側（ｌｅｆｔ）境界に隣接するサンプル８１１及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接するサンプル８１２を含む合計２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接するサンプル８２１及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接するサンプル８２２を含む合計２×ｎＷ個のサンプル、並びに現在ブロックの左上側（ｔｏｐ－ｌｉｇｈｔ）に隣接する１つのサンプル８３１を含むことができる。又は、前記現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むこともできる。

【0117】

また、前記現在ブロックの周辺基準サンプルは、サイズｎＷ×ｎＨの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接する合計ｎＨ個のサンプル８４１、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接する合計ｎＷ個のサンプル８５１、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接する一つのサンプル８４２を含むこともできる。

【0118】

ただし、現在ブロックの周辺参照サンプルのうちの一部は、まだ復号化されていないか、或いは利用可能でない可能性がある。この場合、復号化装置は、利用可能でないサンプルを利用可能なサンプルで置き換える（ｓｕｂｓｔｉｔｕｔｉｏｎ）ことにより、予測に使用する周辺参照サンプルを構成することができる。又は、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して、予測に使用する周辺参照サンプルを構成することができる。

【0119】

周辺参照サンプルが導出された場合、（ｉ）現在ブロックの周辺（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）或いは補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの周辺参照サンプルのうちの予測サンプルに対して特定（予測）の方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は非方向性モード又は非角度モード、（ｉｉ）の場合は方向性（ｄｉｒｅｃｔｉｏｎａｌ）モード又は角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。また、前記周辺参照サンプルのうち、前記現在ブロックの予測サンプルを基準に、前記現在ブロックのイントラ予測モードの予測方向の反対方向に位置する前記第２周辺サンプルと前記第１周辺サンプルとの補間を介して、前記予測サンプルが生成されることもできる。上述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ぶことができる。また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を用いてルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭモードと呼ばれることができる。また、フィルタリングされた周辺参照サンプルに基づいて前記現在ブロックの臨時予測サンプルを導出し、前記既存の周辺参照サンプル、すなわちフィルタリングされていない周辺参照サンプルのうちの前記イントラ予測モードに従って導出された少なくとも一つの参照サンプルと前記臨時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して前記現在ブロックの予測サンプルを導出することもできる。上述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、現在ブロックの周辺多重参照サンプルラインの中から、最も予測精度の高い参照サンプルラインを選択して、当該ラインにおいて予測方向に位置する参照サンプルを用いて予測サンプルを導出し、このとき、使用された参照サンプルラインを復号化装置に指示（シグナリング）する方法でイントラ予測符号化を行うことができる。上述した場合は、ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ（ＭＲＬ）ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ又はＭＲＬベースのイントラ予測と呼ばれることができる。また、現在ブロックを垂直又は水平のサブパーティションに分けて同一のイントラ予測モードに基づいてイントラ予測を行うが、前記サブパーティション単位で周辺参照サンプルを導出して用いることができる。すなわち、この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同一に適用されるが、前記サブパーティション単位で周辺参照サンプルを導出して用いることにより、場合によってイントラ予測性能を高めることができる。このような予測方法は、ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）又はＩＳＰベースのイントラ予測と呼ばれることができる。このようなイントラ予測方法は、イントラ予測モード（例えば、ＤＣモード、Ｐｌａｎａｒモード及び方向性モード）と区分してイントラ予測タイプと呼ばれることができる。前記イントラ予測タイプは、イントラ予測技法又は付加イントラ予測モードなどの様々な用語で呼ばれることができる。例えば、前記イントラ予測タイプ（又は付加イントラ予測モードなど）は、上述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうちの少なくとも一つを含むことができる。前記ＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定のイントラ予測タイプを除いた一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、上述した特定のイントラ予測タイプが適用されない場合を指すことができ、上述したイントラ予測モードに基づいて予測が行われることができる。一方、必要に応じて、導出された予測サンプルに対する後処理フィルタリングが行われることもできる。

【0120】

具体的には、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、周辺参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。さらに、必要に応じて、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが行われることもできる。

【0121】

一方、上述したイントラ予測タイプの他にも、ＡＬＷＩＰ（ａｆｆｉｎｅ ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が使用されることができる。前記ＡＬＷＩＰは、ＬＷＩＰ（ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）又はＭＩＰ（ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ又はｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることもできる。前記ＭＩＰが現在ブロックに対して適用される場合、ｉ）平均化（ａｖｅｒａｇｉｎｇ）手順が行われた周辺参照サンプルを用いてｉｉ）マトリクスベクトルマルチプリケーション（ｍａｔｒｉｘ－ｖｅｃｔｏｒ－ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）手順を行い、ｉｉｉ）必要に応じて水平／垂直補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順をさらに行うことにより、前記現在ブロックに対する予測サンプルを導出することができる。前記ＭＩＰのために使用されるイントラ予測モードは、上述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰイントラ予測、又はノーマルイントラ予測で使用されるイントラ予測モードとは異なるように構成できる。前記ＭＩＰのためのイントラ予測モードは、ＭＩＰイントラ予測モード、ＭＩＰ予測モード又はＭＩＰモードと呼ばれることができる。例えば、前記ＭＩＰのためのイントラ予測モードに応じて、前記マトリクスベクトルマルチプリケーションで使用されるマトリクス及びオフセットが異なるように設定されることができる。ここで、前記マトリクスは（ＭＩＰ）重みマトリクスと呼ばれることができ、前記オフセットは（ＭＩＰ）オフセットベクトル又は（ＭＩＰ）バイアス（ｂｉａｓ）ベクトルと呼ばれることができる。具体的なＭＩＰ方法については後述する。

【0122】

イントラ予測に基づくブロック復元手順及び符号化装置内のイントラ予測部は、概略的に例を挙げて以下を含むことができる。Ｓ９１０は、符号化装置のイントラ予測部１８５によって行われることができ、Ｓ９２０は、符号化装置の減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０のうちの少なくとも１つを含むレジデュアル処理部によって行われることができる。具体的には、Ｓ９２０は、符号化装置の減算部１１５によって行われることができる。Ｓ９３０で、予測情報は、イントラ予測部１８５によって導出され、エントロピー符号化部１９０によって符号化されることができる。Ｓ９３０で、レジデュアル情報は、レジデュアル処理部によって導出され、エントロピー符号化部１９０によって符号化されることができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。上述したように、前記レジデュアルサンプルは、符号化装置の変換部１２０を介して変換係数に導出され、前記変換係数は、量子化部１３０を介して量子化された変換係数として導出されることができる。前記量子化された変換係数に関する情報が、レジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。

【0123】

符号化装置は、現在ブロックに対するイントラ予測を行うことができる（Ｓ９１０）。符号化装置は、現在ブロックに対するイントラ予測モード／タイプを導出し、現在ブロックの周辺参照サンプルを導出することができ、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成する。ここで、イントラ予測モード／タイプの決定、周辺参照サンプルの導出、及び予測サンプルの生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。例えば、図示されてはいないが、符号化装置のイントラ予測部１８５は、イントラ予測モード／タイプ決定部、参照サンプル導出部、予測サンプル導出部を含むことができ、イントラ予測モード／タイプ決定部で前記現在ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部で前記現在ブロックの周辺参照サンプルを導出し、予測サンプル導出部で前記現在ブロックの予測サンプルを導出することができる。一方、後述する予測サンプルフィルタリング手順が行われる場合、イントラ予測部１８５は、予測サンプルフィルタ部をさらに含むこともできる。符号化装置は、複数のイントラ予測モード／タイプのうち、前記現在ブロックに対して適用されるモード／タイプを決定することができる。符号化装置は、前記イントラ予測モード／タイプに対するＲＤコストを比較し、前記現在ブロックに対する最適なイントラ予測モード／タイプを決定することができる。

【0124】

一方、符号化装置は、予測サンプルフィルタリング手順を行うこともできる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリングされることができる。場合によっては、前記予測サンプルフィルタリング手順は省略可能である。

【0125】

符号化装置は、（フィルタリングされた）予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ９２０）。符号化装置は、現在ブロックの原本サンプルにおける前記予測サンプルを位相に基づいて比較し、前記レジデュアルサンプルを導出することができる。

【0126】

符号化装置は、前記イントラ予測に関する情報（予測情報）、及び前記レジデュアルサンプルに関するレジデュアル情報を含む画像情報を符号化することができる（Ｓ９３０）。前記予測情報は、前記イントラ予測モード情報、前記イントラ予測タイプ情報を含むことができる。符号化装置は、符号化された画像情報がビットストリーム形式で出力されることができる。出力されたビットストリームは、記憶媒体又はネットワークを介して復号化装置へ伝達されることができる。

【0127】

前記レジデュアル情報は、後述するレジデュアルコーディングシンタックスを含むことができる。符号化装置は、前記レジデュアルサンプルを変換／量子化して、量子化された変換係数を導出することができる。前記レジデュアル情報は、前記量子化された変換係数に対する情報を含むことができる。

【0128】

一方、上述したように、符号化装置は、復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成することができる。このために、符号化装置は、前記量子化された変換係数を再び逆量子化／逆変換処理して（修正された）レジデュアルサンプルを導出することができる。このようにレジデュアルサンプルを変換／量子化した後、再び逆量子化／逆変換を行う理由は、上述したように復号化装置で導出されるレジデュアルサンプルと同一のレジデュアルサンプルを導出するためである。符号化装置は、前記予測サンプルと（修正された）レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを含む復元ブロックを生成することができる。前記復元ブロックに基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述しとおりである。

【0129】

イントラ予測に基づくビデオ／画像復号化手順及び復号化装置内のイントラ予測部は、概略的に例を挙げて以下を含むことができる。復号化装置は、前記符号化装置で行われた動作と対応する動作を行うことができる。

【0130】

Ｓ１０１０～Ｓ１０３０は、復号化装置のイントラ予測部２６５によって行われることができ、Ｓ１０１０の予測情報及びＳ１０４０のレジデュアル情報は、復号化装置のエントロピー復号化部２１０によってビットストリームから取得できる。復号化装置の逆量子化部２２０及び逆変換部２３０のうちの少なくとも一つを含むレジデュアル処理部は、前記レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを導出することができる。具体的には、前記レジデュアル処理部の逆量子化部２２０は、前記レジデュアル情報に基づいて導出された量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部２３０は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。Ｓ１０５０は、復号化装置の加算部２３５又は復元部によって行われることができる。

【0131】

具体的には、復号化装置は、受信された予測情報（イントラ予測モード／タイプ情報）に基づいて、現在ブロックに対するイントラ予測モード／タイプを導出することができる（Ｓ１０１０）。復号化装置は、前記現在ブロックの周辺参照サンプルを導出することができる（Ｓ１０２０）。復号化装置は、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる（Ｓ１０３０）。この場合、復号化装置は予測サンプルフィルタリング手順を行うことができる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリングされることができる。場合によっては、予測サンプルフィルタリング手順は省略可能である。

【0132】

復号化装置は、受信したレジデュアル情報に基づいて前記現在ブロックに対するレジデュアルサンプルを生成することができる。復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、前記復元サンプルを含む復元ブロックを導出することができる（Ｓ１０４０）。前記復元ブロックに基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述したとおりである。

【0133】

ここで、復号化装置のイントラ予測部２６５は、たとえ図示されてはいないが、イントラ予測モード／タイプ決定部、参照サンプル導出部、予測サンプル導出部を含むことができ、イントラ予測モード／タイプ決定部は、エントロピー復号化部２１０で取得されたイントラ予測モード／タイプ情報に基づいて前記現在ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部は、前記現在ブロックの周辺参照サンプルを導出し、予測サンプル導出部は、前記現在ブロックの予測サンプルを導出することができる。一方、上述した予測サンプルフィルタリング手順が行われる場合、イントラ予測部２６５は、予測サンプルフィルタ部をさらに含むこともできる。

【0134】

前記イントラ予測モード情報は、例えば、ＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）が前記現在ブロックに適用されるのか、それともリメイニングモード（ｒｅｍａｉｎｉｎｇ ｍｏｄｅ）が適用されるのかを示すフラグ情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）を含むことができ、前記ＭＰＭが前記現在ブロックに適用される場合、前記予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）のうちのいずれか一つを指すインデックス情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）をさらに含むことができる。前記イントラ予測モード候補（ＭＰＭ候補）は、ＭＰＭ候補リスト又はＭＰＭリストから構成されることができる。また、前記ＭＰＭが前記現在ブロックに適用されない場合、前記イントラ予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）を除いた残りのイントラ予測モードのうちのいずれか一つを指すリメイニングモード情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をさらに含むことができる。復号化装置は、前記イントラ予測モード情報に基づいて前記現在ブロックのイントラ予測モードを決定することができる。上述したＭＩＰのために、別途のＭＰＭリストが構成されることができる。

【0135】

さらに、前記イントラ予測タイプ情報は、様々な形態で実現できる。一例として、前記イントラ予測タイプ情報は、前記イントラ予測タイプのうちのいずれか一つを指示するイントラ予測タイプインデックス情報を含むことができる。他の例として、前記イントラ予測タイプ情報は、前記ＭＲＬが前記現在ブロックに適用されるか、及び適用される場合には幾番目の参照サンプルラインが用いられるかを示す参照サンプルライン情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、前記ＩＳＰが前記現在ブロックに適用されるかを示すＩＳＰフラグ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、前記ＩＳＰが適用される場合にサブパーティションが分割タイプを指示するＩＳＰタイプ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＣＰの適用如何を示すフラグ情報、又はＬＩＰの適用如何を示すフラグ情報のうちの少なくとも一つを含むことができる。また、前記イントラ予測タイプ情報は、前記現在ブロックにＭＩＰが適用されるか否かを示すＭＩＰフラグを含むことができる。

【0136】

前記イントラ予測モード情報及び／又は前記イントラ予測タイプ情報は、本開示で説明したコーディング方法を介して符号化／復号化されることができる。例えば、前記イントラ予測モード情報及び／又は前記イントラ予測タイプ情報は、ｔｒｕｎｃａｔｅｄ（ｒｉｃｅ）ｂｉｎａｒｙ ｃｏｄｅに基づいてエントロピーコーディング（例えば、ＣＡＢＡＣ、ＣＡＶＬＣ）コーディングを介して符号化／復号化されることができる。

【0137】

インター予測の概要

【0138】

以下、図２及び図３を参照した符号化及び復号化についての説明におけるインター予測方法の詳細技術を説明する。復号化装置の場合、インター予測に基づくビデオ／画像復号化方法及び復号化装置内のインター予測部が以下の説明に従って動作することができる。符号化装置の場合、インター予測に基づくビデオ／画像符号化方法及び符号化装置内のインター予測部が以下の説明に従って動作することができる。これに加えて、以下の説明によって符号化されたデータはビットストリーム形式で保存できる。

【0139】

符号化装置／画像復号化装置の予測部は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャのデータ要素（例えば、サンプル値、又は動き情報など）に依存的な方法で導出される予測を示すことができる。現在ブロックにインター予測が適用される場合、参照ピクチャインデックスが指す参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）を基に、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて現在ブロックの動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測が適用される場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でも異なってもよい。前記時間周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができ、前記時間周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）の名前で呼ばれることもできる。例えば、現在ブロックの周辺ブロックを基に動き情報候補リストが構成でき、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が選択（使用）されるかを指し示すフラグ又はインデックス情報がシグナリングされることができる。様々な予測モードに基づいてインター予測が行われることができ、例えば、スキップモードとマージモードの場合に、現在ブロックの動き情報は、選択された周辺ブロックの動き情報と同一であってもよい。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を用いて前記現在ブロックの動きベクトルを導出することができる。

【0140】

前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）に基づいてＬ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と呼ばれることができ、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と呼ばれることができる。Ｌ０動きベクトルに基づいた予測はＬ０予測と呼ばれることができ、Ｌ１動きベクトルに基づいた予測はＬ１予測と呼ばれることができ、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方ともに基づいた予測は双（Ｂｉ）予測と呼ばれることができる。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連した動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連した動きベクトルを示すことができる。参照ピクチャリストＬ０は、前記現在ピクチャよりも出力順序において以前のピクチャを参照ピクチャとして含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも出力順序において以後のピクチャを含むことができる。前記以前のピクチャは、順方向（参照）ピクチャと呼ばれることができ、前記以後のピクチャは、逆方向（参照ピクチャ）と呼ばれることができる。前記参照ピクチャリストＬ０は、前記現在ピクチャよりも出力順序において以後のピクチャを参照ピクチャとしてさらに含むことができる。この場合、前記参照ピクチャリストＬ０内で前記以前のピクチャが先にインデックス化され、前記以後のピクチャはその次にインデックス化されることができる。前記参照ピクチャリストＬ１は、前記現在ピクチャよりも出力順序において以前のピクチャを参照ピクチャとしてさらに含むことができる。この場合、前記参照ピクチャリストＬ１内で前記以後のピクチャが先にインデックス化され、前記以前のピクチャはその次にインデックス化されることができる。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応することができる。

【0141】

インター予測に基づくビデオ／画像符号化手順及び符号化装置内のインター予測部は、概略的に例を挙げて以下を含むことができる。図１１を参照して説明する。符号化装置は、現在ブロックに対するインター予測を行う（Ｓ１１１０）。符号化装置は、現在ブロックのインター予測モード及び動き情報を導出し、前記現在ブロックの予測サンプルを生成することができる。ここで、インター予測モード決定、動き情報導出及び予測サンプル生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。例えば、符号化装置のインター予測部は、予測モード決定部、動き情報導出部、及び予測サンプル導出部を含むことができ、予測モード決定部で前記現在ブロックに対する予測モードを決定し、動き情報導出部で前記現在ブロックの動き情報を導出し、予測サンプル導出部で前記現在ブロックの予測サンプルを導出することができる。例えば、符号化装置のインター予測部は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定の領域（探索領域）内で前記現在ブロックと類似のブロックを探索し、前記現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。これに基づいて、前記参照ブロックが位置する参照ピクチャを指し示す参照ピクチャインデックスを導出し、前記参照ブロックと前記現在ブロックとの位置差に基づいて動きベクトルを導出することができる。符号化装置は、様々な予測モードのうち、前記現在ブロックに対して適用されるモードを決定することができる。符号化装置は、前記様々な予測モードに対するＲＤ ｃｏｓｔを比較し、前記現在ブロックに対する最適の予測モードを決定することができる。

【0142】

例えば、符号化装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれているマージ候補が指し示す参照ブロックのうち、前記現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。この場合、前記導出された参照ブロックに関連するマージ候補が選択され、前記選択されたマージ候補を指し示すマージインデックス情報が生成されて復号化装置にシグナリングされることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。

【0143】

他の例として、符号化装置は、前記現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、前記（Ａ）ＭＶＰ候補リストに含まれているｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち、選択されたｍｖｐ候補の動きベクトルを前記現在ブロックのｍｖｐとして用いることができる。この場合、例えば、上述した動き推定によって導出された参照ブロックを指し示す動きベクトルが前記現在ブロックの動きベクトルとして用いられることができ、前記ｍｖｐ候補のうち、前記現在ブロックの動きベクトルとの差が最も小さい動きベクトルを持つｍｖｐ候補が、前記選択されたｍｖｐ候補になることができる。前記現在ブロックの動きベクトルから前記ｍｖｐを差し引いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出されることができる。この場合、前記ＭＶＤに関する情報が復号化装置にシグナリングされることができる。また、（Ａ）ＭＶＰモードが適用される場合、前記参照ピクチャインデックスの値は、参照ピクチャインデックス情報で構成されて別途に前記復号化装置にシグナリングされることができる。

【0144】

符号化装置は、前記予測サンプルに基づいてレジデュアルサンプルを導出することができる（Ｓ１１２０）。符号化装置は、前記現在ブロックの原本サンプルと前記予測サンプルとの比較によって前記レジデュアルサンプルを導出することができる。

【0145】

符号化装置は、予測情報及びレジデュアル情報を含む画像情報を符号化する（Ｓ１１３０）。符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。前記予測情報は、前記予測手順に関連した情報であって、予測モード情報（例えば、ｓｋｉｐ ｆｌａｇ、ｍｅｒｇｅ ｆｌａｇ又はｍｏｄｅ ｉｎｄｅｘなど）及び動き情報に関する情報を含むことができる。前記動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報（例えば、ｍｅｒｇｅ ｉｎｄｅｘ、ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）を含むことができる。また、前記動き情報に関する情報は、上述したＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含むことができる。また、前記動き情報に関する情報は、Ｌ０予測、Ｌ１予測、又は双（ｂｉ）予測が適用されるか否かを示す情報を含むことができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。

【0146】

出力されたビットストリームは、（デジタル）記憶媒体に保存されて復号化装置に伝達されることができ、又はネットワークを介して復号化装置に伝達されることもできる。

【0147】

一方、上述したように、符号化装置は、前記参照サンプル及び前記レジデュアルサンプルに基づいて復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成することができる。これは、復号化装置で行われるのと同じ予測結果を符号化装置で導出するためであり、これによりコーディング効率を高めることができるためである。したがって、符号化装置は、復元ピクチャ（又は復元サンプル、復元ブロック）をメモリに保存し、インター予測のためのピクチャとして活用することができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述したとおりである。

【0148】

インター予測に基づくビデオ／画像復号化手順及び復号化装置内のインター予測部は、概略的に、例えば以下を含むことができる。

【0149】

復号化装置は、前記符号化装置で行われた動作と対応する動作を行うことができる。復号化装置は、受信された予測情報に基づいて現在ブロックに対する予測を行い、予測サンプルを導出することができる。

【0150】

具体的に、復号化装置は、受信された予測情報に基づいて、前記現在ブロックに対する予測モードを決定することができる（Ｓ１２１０）。復号化装置は、前記予測情報内の予測モード情報に基づいて、前記現在ブロックにどのインター予測モードが適用されるかを決定することができる。

【0151】

例えば、前記マージフラグ（ｍｅｒｇｅ ｆｌａｇ）に基づいて、前記現在ブロックに前記マージモードが適用されるか、或いは（Ａ）ＭＶＰモードが決定されるかを決定することができる。又は、前記ｍｏｄｅ ｉｎｄｅｘに基づいて、多様なインター予測モード候補のうちのいずれか一つを選択することができる。前記インター予測モード候補は、スキップモード、マージモード及び／又は（Ａ）ＭＶＰモードを含むことができ、或いは後述する様々なインター予測モードを含むことができる。

【0152】

復号化装置は、前記決定されたインター予測モードに基づいて前記現在ブロックの動き情報を導出する（Ｓ１２２０）。例えば、復号化装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択することができる。前記選択は、上述した選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として用いられることができる。

【0153】

他の例として、復号化装置は、前記現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、前記（Ａ）ＭＶＰ候補リストに含まれているｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補の中から選ばれたｍｖｐ候補の動きベクトルを前記現在ブロックのｍｖｐとして用いることができる。前記選択は、上述した選択情報（ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）に基づいて行われることができる。この場合、前記ＭＶＤに関する情報に基づいて、前記現在ブロックのＭＶＤを導出することができ、前記現在ブロックのｍｖｐと前記ＭＶＤに基づいて前記現在ブロックの動きベクトルを導出することができる。また、前記参照ピクチャインデックス情報に基づいて前記現在ブロックの参照ピクチャインデックスを導出することができる。前記現在ブロックに関する関連参照ピクチャリスト内で前記参照ピクチャインデックスが指し示すピクチャが、前記現在ブロックのインター予測のために参照される参照ピクチャとして導出されることができる。

【0154】

一方、後述するように候補リスト構成なしに前記現在ブロックの動き情報が導出されることができ、この場合、後述する予測モードで開示された手順に従って前記現在ブロックの動き情報が導出されることができる。この場合、上述した候補リスト構成は省略可能である。

【0155】

復号化装置は、前記現在ブロックの動き情報に基づいて、前記現在ブロックに対する予測サンプルを生成することができる（Ｓ１２３０）。この場合、前記現在ブロックの参照ピクチャインデックスに基づいて前記参照ピクチャを導出し、前記現在ブロックの動きベクトルが前記参照ピクチャ上で指し示す参照ブロックのサンプルを用いて前記現在ブロックの予測サンプルを導出することができる。この場合、後述するように、場合に応じて、前記現在ブロックの予測サンプルのうちの全部又は一部に対する予測サンプルフィルタリング手順がさらに行われることができる。

【0156】

例えば、復号化装置のインター予測部は、予測モード決定部、動き情報導出部及び予測サンプル導出部を含むことができ、予測モード決定部から受信された予測モード情報に基づいて、前記現在ブロックに対する予測モードを決定し、動き情報導出部から受信された動き情報に関する情報に基づいて前記現在ブロックの動き情報（動きベクトル及び／又は参照ピクチャインデックスなど）を導出し、予測サンプル導出部で前記現在ブロックの予測サンプルを導出することができる。

【0157】

復号化装置は、受信されたレジデュアル情報に基づいて、前記現在ブロックに対するレジデュアルサンプルを生成する（Ｓ１２４０）。復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成することができる（Ｓ１２５０）。以後、前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述したとおりである。

【0158】

上述したように、インター予測手順は、インター予測モード決定ステップ、決定された予測モードによる動き情報導出ステップ、及び導出された動き情報に基づく予測実行（予測サンプルの生成）ステップを含むことができる。前記インター予測手順は、前述したように符号化装置及び復号化装置で行われることができる。

【0159】

量子化／逆量子化

【0160】

上述したように、符号化装置の量子化部は、変換係数に量子化を適用して、量子化された変換係数を導出することができ、符号化装置の逆量子化部又は復号化装置の逆量子化部は、量子化された変換係数に逆量子化を適用して変換係数を導出することができる。

【0161】

動画像／静止画像の符号化及び復号化では、量子化率を変化させることができ、変化した量子化率を用いて圧縮率を調節することができる。実現の観点では、複雑度を考慮して量子化率を直接使用する代わりに、量子化パラメータ（ＱＰ、ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）を使用することができる。例えば、０から６３までの整数値の量子化パラメータを使用することができ、各量子化パラメータ値は、実際の量子化率に対応することができる。また、ルマ成分（ルマサンプル）に対する量子化パラメータＱＰ_Ｙと、クロマ成分（クロマサンプル）に対する量子化パラメータＱＰ_Ｃとは異なるように設定されることができる。

【0162】

量子化過程は、変換係数Ｃを入力とし、量子化率（Ｑｓｔｅｐ）で除算して、これに基づいて、量子化された変換係数Ｃ｀を得ることができる。この場合、計算複雑度を考慮して量子化率にスケールを乗じて整数形態にし、スケール値に対応する値だけシフト演算を行うことができる。量子化率とスケール値との積に基づいて量子化スケール（ｑｕａｎｔｉｚａｔｉｏｎ ｓｃａｌｅ）が導出できる。すなわち、ＱＰに応じて、前記量子化スケールが導出できる。前記変換係数Ｃに前記量子化スケールを適用して、これに基づいて、量子化された変換係数Ｃ｀を導出することもできる。

【0163】

逆量子化過程は、量子化過程の逆過程であり、量子化された変換係数Ｃ｀に量子化率Ｑｓｔｅｐを乗じて、これに基づいて、復元された変換係数Ｃ｀｀を得ることができる。この場合、前記量子化パラメータに応じてレベルスケール（ｌｅｖｅｌ ｓｃａｌｅ）が導出でき、前記量子化された変換係数Ｃ｀に前記レベルスケールを適用して、これに基づいて、復元された変換係数Ｃ｀を導出すことができる。復元された変換係数Ｃ｀｀は、変換及び／又は量子化過程における損失（ｌｏｓｓ）により最初変換係数Ｃとは多少差異がありうる。したがって、符号化装置においても、復号化装置と同様に逆量子化を行うことができる。

【0164】

一方、周波数に応じて量子化強度を調節する適応的周波数別重み付け量子化（ａｄａｐｔｉｖｅ ｆｒｅｑｕｅｎｃｙ ｗｅｉｇｈｔｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ）技術が適用できる。前記適応的周波数別重み付け量子化技術は、周波数別に量子化強度を異なるように適用する方法である。前記適応的周波数別重み付け量子化は、予め定義された量子化スケーリングマトリクスを用いて各周波数別量子化強度を異なるように適用することができる。つまり、上述した量子化／逆量子化過程は、前記量子化スケーリングマトリクスをより基にして行われることができる。例えば、現在ブロックのサイズ及び／又は前記現在ブロックのレジデュアル信号を生成するために、前記現在ブロックに適用された予測モードがインター予測であるか、又はイントラ予測であるかによって異なる量子化スケーリングマトリクスが使用できる。前記量子化スケーリングマトリクスは、量子化マトリクス又はスケーリングマトリクスと呼ばれることができる。前記量子化スケーリングマトリクスは、予め定義されることができる。また、周波数適応的スケーリングのために、前記量子化スケーリングマトリクスに対する周波数別量子化スケール情報が符号化装置で構成／符号化されて復号化装置へシグナリングされることができる。前記周波数別量子化スケール情報は量子化スケーリング情報と呼ばれることができる。前記周波数別量子化スケール情報は、スケーリングリストデータ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ）を含むことができる。前記スケーリングリストデータに基づいて、（修正された）前記量子化スケーリングマトリクスが導出されることができる。また、前記周波数別量子化スケール情報は、前記スケーリングリストデータの存否を指し示す存否フラグ（ｐｒｅｓｅｎｔ ｆｌａｇ）情報を含むことができる。又は、前記スケーリングリストデータが上位レベル（例えば、ＳＰＳ）でシグナリングされた場合、より下位レベル（例えば、ＰＰＳ ｏｒ ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒなど）で前記スケーリングリストデータが修正されるか否かを指し示す情報などがさらに含まれることができる。

【0165】

変換／逆変換

【0166】

前述したように、符号化装置は、イントラ／インター／ＩＢＣ予測などを介して予測されたブロック（予測サンプル）に基づいてレジデュアルブロック（レジデュアルサンプル）を導出することができ、導出されたレジデュアルサンプルに変換及び量子化を適用して、量子化された変換係数を導出することができる。量子化された変換係数に対する情報（レジデュアル情報）は、レジデュアルコーディングシンタックスに含まれて符号化された後、ビットストリーム形式で出力されることができる。復号化装置は、前記ビットストリームから前記量子化された変換係数に対する情報（レジデュアル情報）を取得し、復号化して量子化された変換係数を導出することができる。復号化装置は、量子化された変換係数に基づいて逆量子化／逆変換を経てレジデュアルサンプルを導出することができる。上述したように、前記量子化／逆量子化及び／又は変換／逆変換のうちの少なくとも一つは省略可能である。前記変換／逆変換が省略される場合、前記変換係数は係数又はレジデュアル係数と呼ばれることもでき、或いは表現の統一性のために変換係数と依然として呼ばれることもできる。前記変換／逆変換の省略如何は、変換スキップフラグ（例えば、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ）に基づいてシグナリングされることができる。

【0167】

前記変換／逆変換は、変換カーネルに基づいて行われることができる。例えば、変換／逆変換を行うためのＭＴＳ（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ）スキーム（ｓｃｈｅｍｅ）が適用できる。この場合、多数の変換カーネルセットのうちの一部が選択されて現在ブロックに適用できる。変換カーネルは、変換マトリクスや変換タイプなど、さまざまな用語で呼ばれることができる。例えば、変換カーネルセットは、垂直方向変換カーネル（垂直変換カーネル）及び水平方向変換カーネル（水平変換カーネル）の組み合わせを示すことができる。

【0168】

前記変換／逆変換は、ＣＵ又はＴＵ単位で行われることができる。すなわち、前記変換／逆変換は、ＣＵ内のレジデュアルサンプル又はＴＵ内のレジデュアルサンプルに対して適用できる。ＣＵサイズとＴＵサイズとが同じでもよく、或いはＣＵ領域内に複数のＴＵが存在してもよい。一方、ＣＵサイズとは、一般にルマ成分（サンプル）ＣＢサイズを示すことができる。ＴＵサイズとは、一般にルマ成分（サンプル）ＴＢサイズを示すことができる。クロマ成分（サンプル）ＣＢ又はＴＢサイズは、カラーフォーマット（クロマフォーマット、例えば、４：４：４、４：２：２、４：２：０など）による成分比に応じて、ルマ成分（サンプル）ＣＢ又はＴＢサイズに基づいて導出されることができる。前記ＴＵサイズは、ｍａｘＴｂＳｉｚｅに基づいて導出されることができる。例えば、前記ＣＵサイズが前記ｍａｘＴｂＳｉｚｅより大きい場合、前記ＣＵから前記ｍａｘＴｂＳｉｚｅの複数のＴＵ（ＴＢ）が導出され、前記ＴＵ（ＴＢ）単位で変換／逆変換が行われることができる。前記ｍａｘＴｂＳｉｚｅは、ＩＳＰなどの様々なイントラ予測タイプの適用如何判断などに考慮できる。前記ｍａｘＴｂＳｉｚｅに対する情報は、予め決定されてもよく、或いは符号化装置で生成及び符号化されて符号化装置へシグナリングされてもよい。

【0169】

エントロピーコーディング

【0170】

先立って図２を参照して説明したように、ビデオ／画像情報の一部又は全部は、エントロピー符号化部１９０によってエントロピー符号化でき、図３を参照して説明したビデオ／画像情報の一部又は全部は、エントロピー復号化部３１０によってエントロピー復号化できる。この場合、前記ビデオ／画像情報は、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）単位で符号化／復号化できる。本開示において、情報が符号化／復号化されるとは、本段落で説明される方法によって符号化／復号化されることを含むことができる。

【0171】

図１３は一つのシンタックス要素を符号化するためのＣＡＢＡＣのブロック図を示す。ＣＡＢＡＣの符号化過程は、まず、入力信号が２進値ではなく、シンタックス要素である場合に２値化（ｂｉｎａｒｉｚａｔｉｏｎ）を介して入力信号を２進値に変換することができる。入力信号が既に２進値である場合には、２値化を経ることなくバイパスできる。ここで、２進値を構成するそれぞれの２進数０又は１をビン（ｂｉｎ）と呼ぶことができる。例えば、二値化後の２進ストリング（ビンストリング）が１１０である場合、１、１、０のそれぞれを一つのビンと呼ぶことができる。一つのシンタックス要素に対する前記ビンは、当該シンタックス要素の値を示すことができる。

【0172】

２値化されたビンは、正規（ｒｅｇｕｌａｒ）コーディングエンジン又はバイパス（ｂｙｐａｓｓ）コーディングエンジンに入力されることができる。正規コーディングエンジンは、当該ビンに対して確率値を反映するコンテキスト（ｃｏｎｔｅｘｔ）モデルを割り当て、割り当てられたコンテキストモデルに基づいて当該ビンを符号化することができる。正規コーディングエンジンでは、各ビンに対するコーディングを行った後、当該ビンに対する確率モデルを更新することができる。このようにコーディングされるビンを、コンテキストコーディングされたビン（ｃｏｎｔｅｘｔ－ｃｏｄｅｄ ｂｉｎ）と呼ぶことができる。バイパスコーディングエンジンは、入力されたビンに対して確率を推定する手順と、コーディング後に当該ビンに適用した確率モデルを更新する手順を省略することができる。バイパスコーディングエンジンの場合、コンテキストを割り当てる代わりに均一な確率分布（例えば、５０：５０）を適用して入力されるビンをコーディングすることにより、コーディング速度を向上させることができる。このようにコーディングされるビンをバイパスビン（ｂｙｐａｓｓ ｂｉｎ）と呼ぶことができる。コンテキストモデルは、コンテキストコーディング（正規コーディング）されるビン別に割当及び更新されることができ、コンテキストモデルは、ｃｔｘｉｄｘ又はｃｔｘＩｎｃに基づいて指示されることができる。ｃｔｘｉｄｘはｃｔｘＩｎｃに基づいて導出されることができる。具体的には、例えば、前記正規コーディングされるビンのそれぞれに対するコンテキストモデルを指すコンテキストインデックス（ｃｔｘｉｄｘ）は、ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔ（ｃｔｘＩｎｃ）及びｃｏｎｔｅｘｔ ｉｎｄｅｘ ｏｆｆｓｅｔ（ｃｔｘＩｄｘＯｆｆｓｅｔ）の和として導出されることができる。ここで、前記ｃｔｘＩｎｃは、各ビン別に異なるように導出されることができる。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、前記ｃｔｘＩｄｘの最小値（ｔｈｅ ｌｏｗｅｓｔ ｖａｌｕｅ）で表されることができる。前記ｃｔｘＩｄｘの最小値は、前記ｃｔｘＩｄｘの初期値（ｉｎｉｔＶａｌｕｅ）と呼ばれることができる。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、一般に、他のシンタックス要素に対するコンテキストモデルとの区分のために用いられる値であり、一つのシンタックス要素に対するコンテキストモデルは、ｃｔｘｉｎｃに基づいて区分／導出されることができる。

【0173】

エントロピー符号化手順で正規コーディングエンジンを介して符号化を行うのか、バイパスコーディングエンジンを介して符号化を行うのかを決定し、コーディング経路をスイッチングすることができる。エントロピー復号化は、エントロピー符号化と同様の過程を逆順に行うことができる。

【0174】

上述したエントロピーコーディングは、例えば、図１４及び図１５のように行われることができる。図１４及び図１５を参照すると、符号化装置（エントロピー符号化部）は、画像／ビデオ情報に関するエントロピーコーディング手順を行うことができる。前記画像／ビデオ情報は、パーティショニング関連情報、予測関連情報（例えば、インター／イントラ予測区分情報、イントラ予測モード情報、インター予測モード情報など）、レジデュアル情報、インループフィルタリング関連情報などを含むことができ、或いは、それに関する様々なシンタックス要素を含むことができる。前記エントロピーコーディングは、シンタックス要素単位で行われることができる。図１４のステップＳ１４１０～Ｓ１４２０は、上述した図２の符号化装置のエントロピー符号化部１９０によって行われることができる。

【0175】

符号化装置は、対象シンタックス要素に対する２値化を行うことができる（Ｓ１４１０）。ここで、前記２値化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ、Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなどの多様な２値化方法に基づくことができ、対象シンタックス要素に対する２値化方法は、予め定義されることができる。前記２値化手順は、エントロピー符号化部１９０内の２値化部１９１によって行われることができる。

【0176】

符号化装置は、前記対象シンタックス要素に対するエントロピー符号化を行うことができる（Ｓ１４２０）。符号化装置は、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）又はＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）などのエントロピーコーディング技法に基づいて、対象シンタックス要素のビンストリングに対して、正規コーディングベース（コンテキストベース）又はバイパスコーディングベースの符号化を行うことができ、その出力は、ビットストリームに含まれることができる。前記エントロピー符号化手順は、エントロピー符号化部１９０内のエントロピー符号化処理部１９２によって行われることができる。前述したように、前記ビットストリームは、（デジタル）記憶媒体又はネットワークを介して復号化装置へ伝達できる。

【0177】

図１６及び図１７を参照すると、復号化装置（エントロピー復号化部）は、符号化された画像／ビデオ情報を復号化することができる。前記画像／ビデオ情報は、パーティショニング関連情報、予測関連情報（例えば、インター／イントラ予測区分情報、イントラ予測モード情報、インター予測モード情報など）、レジデュアル情報、インループフィルタリング関連情報などを含むことができ、或いは、それに関する様々なシンタックス要素を含むことができる。前記エントロピーコーディングは、シンタックス要素単位で行われることができる。Ｓ１６１０～Ｓ１６２０は、上述した図３の復号化装置のエントロピー復号化部２１０によって行われることができる。

【0178】

復号化装置は、対象シンタックス要素に対する２値化を行うことができる（Ｓ１６１０）。ここで、前記２値化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ、Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなどの多様な２値化方法に基づくことができ、対象シンタックス要素に対する２値化方法は、予め定義されることができる。復号化装置は、前記２値化手順を介して、対象シンタックス要素の利用可能値に対する利用可能ビンストリング（ビンストリング候補）を導出することができる。前記２値化手順は、エントロピー復号化部２１０内の２値化部２１１によって行われることができる。

【0179】

復号化装置は、前記対象シンタックス要素に対するエントロピー復号化を行うことができる（Ｓ１６２０）。復号化装置は、ビットストリーム内の入力ビットから前記対象シンタックス要素に対する各ビンを順次復号化及びパーシングしながら、導出されたビンストリングを当該シンタックス要素に対する利用可能ビンストリングと比較することができる。もし、導出されたビンストリングが前記利用可能ビンストリングのうちの一つと同じであれば、当該ビンストリングに対応する値が当該シンタックス要素の値として導出されることができる。もし、そうでなければ、前記ビットストリーム内の次のビットをさらにパーシングした後、上述した手順を再び行うことができる。このような過程によってビットストリーム内に特定の情報（特定のシンタックス要素）に対する開始ビット又は終了ビットを使用しなくても、可変長ビットを用いて当該情報をシグナリングすることができる。これにより、低い値に対しては相対的にさらに少ないビットを割り当てることができ、全般的なコーディング効率を高めることができる。

【0180】

復号化装置は、ＣＡＢＡＣ又はＣＡＶＬＣなどのエントロピーコーディング技法に基づいてビットストリームから前記ビンストリング内の各ビンに対してコンテキストベース又はバイパスベースの復号化を行うことができる。前記エントロピー復号化手順は、エントロピー復号化部２１０内のエントロピー復号化処理部２１２によって行われることができる。前記ビットストリームは、上述したように画像／ビデオ復号化のための様々な情報を含むことができる。上述したように、前記ビットストリームは、（デジタル）記憶媒体又はネットワークを介して復号化装置へ伝達されることができる。

【0181】

本開示において、符号化装置から復号化装置への情報のシグナリングを示すために、シンタックス要素を含むテーブル（シンタックステーブル）が使用できる。本開示で使用される前記シンタックス要素を含むテーブルのシンタックス要素の順序は、ビットストリームからシンタックス要素のパーシング順序（ｐａｒｓｉｎｇ ｏｒｄｅｒ）を示すことができる。符号化装置は、前記シンタックス要素がパーシング順序に従って復号化装置でパーシングできるようにシンタックステーブルを構成及び符号化することができ、復号化装置は、ビットストリームから当該シンタックステーブルのシンタックス要素をパーシング順序に従ってパーシング及び復号化してシンタックス要素の値を取得することができる。

【0182】

一般的な画像／ビデオコーディング手順

【0183】

画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号化順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）に従って符号化／復号化されることができる。復号化されたピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）に該当するピクチャ順序（ｐｉｃｔｕｒｅ ｏｒｄｅｒ）は、前記復号化順序とは異なるように設定されることができる。これに基づいて、インター予測の際に、順方向予測だけでなく逆方向予測も行うことができる。

【0184】

図１８は本開示の実施例が適用可能な概略的なピクチャ復号化手順の例を示す。図１８において、Ｓ１８１０は、図３で上述した復号化装置のエントロピー復号化部２１０で行われることができ、Ｓ１８２０は、イントラ予測部２６５及びインター予測部２６０を含む予測部で行われることができ、Ｓ１８３０は、逆量子化部２２０及び逆変換部２３０を含むレジデュアル処理部で行われることができ、Ｓ１８４０は、加算部２３５で行われることができ、Ｓ１８５０は、フィルタリング部２４０で行われることができる。Ｓ１８１０は、本開示で説明された情報復号化手順を含むことができ、Ｓ１８２０は、本開示で説明されたインター／イントラ予測手順を含むことができ、Ｓ１８３０は、本開示で説明されたレジデュアル処理手順を含むことができ、Ｓ１８４０は、本開示で説明されたブロック／ピクチャ復元手順を含むことができ、Ｓ１８５０は、本開示で説明されたインループフィルタリング手順を含むことができる。

【0185】

図１８を参照すると、ピクチャ復号化手順は、図３についての説明で示されているように、概略的に、ビットストリームから（復号化による）画像／ビデオ情報取得手順（Ｓ１８１０）、ピクチャ復元手順（Ｓ１８２０～Ｓ１８４０）、及び復元されたピクチャに対するインループフィルタリング手順（Ｓ１８５０）を含むことができる。前記ピクチャ復元手順は、本開示で説明されたインター／イントラ予測（Ｓ１８２０）及びレジデュアル処理（Ｓ１８３０、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正（ｍｏｄｉｆｉｅｄ）された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順（Ｓ１８５０）は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及び／又はバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの一つ又は一部が順次適用されることができ、或いはすべてが順次適用されることもできる。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。

【0186】

図１９は本開示の実施例が適用できる概略的なピクチャ符号化手順の例を示す。図１９において、Ｓ１９１０は、図２で上述した符号化装置のイントラ予測部１８５又はインター予測部１８０を含む予測部で行われることができ、Ｓ１９２０は、変換部１２０及び／又は量子化部１３０を含むレジデュアル処理部で行われることができ、Ｓ１９３０は、エントロピー符号化部１９０で行われることができる。Ｓ１９１０は、本開示で説明されたインター／イントラ予測手順を含むことができ、Ｓ１９２０は、本開示で説明されたレジデュアル処理手順を含むことができ、Ｓ１９３０は、本開示で説明された情報符号化手順を含むことができる。

【0187】

図１９を参照すると、ピクチャ符号化手順は、図２についての説明で示されているように、概略的にピクチャ復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（ｏｐｔｉｏｎａｌ）を含むことができる。符号化装置は、逆量子化部１４０及び逆変換部１５０を介して、量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、Ｓ１９１０の出力である予測サンプルと前記（修正された）レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリ１７０に保存されることができ、復号化装置での場合と同様に、以後のピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。

【0188】

このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画像コーディング時に発生するノイズを低減することができ、主観的／客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。

【0189】

上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス／タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分及びクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用されるができる。

【0190】

コーディング階層及び構造の例

【0191】

本開示によるコーディングされたビデオ／画像は、例えば、後述するコーディング階層及び構造に従って処理できる。

【0192】

図２０はコーディングされた画像に対する階層構造を示す図である。コーディングされた画像は、画像の復号化処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を伝送し保存する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されることができる。

【0193】

ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。

【0194】

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダーには、該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

【0195】

図示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号化するために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。

【0196】

上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。

【0197】

上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。

【0198】

例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むか否かによって、大きくＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。

【0199】

以下に、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセット／情報の種類などによって特定されたＮＡＬユニットタイプの一例を羅列する。

【0200】

－ＤＣＩ（Ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ） ＮＡＬ ｕｎｉｔ：ＤＣＩを含むＮＡＬユニットに対するタイプ

【0201】

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＶＰＳを含むＮＡＬユニットに対するタイプ

【0202】

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ

【0203】

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＰＰＳを含むＮＡＬユニットに対するタイプ

【0204】

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ

【0205】

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ） ＮＡＬ ｕｎｉｔ：Ｔｙｐｅ ｆｏｒ ＮＡＬ ｕｎｉｔ ｉｎｃｌｕｄｉｎｇ ＰＨ

【0206】

上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであることができ、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値で特定されることができる。

【0207】

一方、上述したように、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダー及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス（スライスヘッダー及びスライスデータ集合）に対して一つのピクチャヘッダーがさらに付加されることができる。前記ピクチャヘッダー（ピクチャヘッダーシンタックス）は、前記ピクチャに共通に適用可能な情報／パラメータを含むことができる。

【0208】

前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライス又はピクチャに共通に適用可能な情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤーに共通に適用可能な情報／パラメータを含むことができる。前記ＤＣＩ（ＤＣＩシンタックス）は、ビデオ全般に共通に適用可能な情報／パラメータを含むことができる。前記ＤＣＩは、デコーディング能力（ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ）に関連する情報／パラメータを含むことができる。本開示において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＣＩシンタックス、ピクチャヘッダーシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。一方、本開示において、下位レベルシンタックス（ｌｏｗ ｌｅｖｅｌ ｓｙｎｔａｘ、ＬＬＳ）は、例えば、スライスデータシンタックス、ＣＴＵシンタックス、符号化単位シンタックス、変換単位シンタックスなどを含むことができる。

【0209】

本開示において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーの情報、前記ピクチャヘッダーの情報、前記ＡＰＳの情報、前記ＰＰＳの情報、ＳＰＳの情報、ＶＰＳの情報及び／又はＤＣＩの情報を含むことができる。また、前記画像／ビデオ情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）及び／又はＮＡＬ ｕｎｉｔ ｈｅａｄｅｒの情報をさらに含むことができる。

【0210】

サブピクチャ、スライス、タイルを用いたピクチャのパーティショニング

【0211】

１つのピクチャは、少なくとも１つのタイル行（ｔｉｌｅ ｒｏｗｓ）及び少なくとも１つのタイル列（ｔｉｌｅ ｃｏｌｕｍｎｓ）に分割されることができる。１つのタイルは、ＣＴＵのシーケンスで構成され、１つのピクチャの四角領域をカバーすることができる。

【0212】

スライスは、１つのピクチャ内にある整数個の連続した完全なＣＴＵ行（ｒｏｗ）又は整数個の完全なタイルで構成されることができる。

【0213】

スライスに対して２つのモードが支援できる。１つはラスタースキャンスライスモード（ｒａｓｔｅｒ－ｓｃａｎ ｓｌｉｃｅ ｍｏｄｅ）、もう１つは長方形スライスモード（ｒｅｃｔａｎｇｕｌａｒ ｓｌｉｃｅ ｍｏｄｅ）と呼ばれることができる。ラスタースキャンスライスモードで、１つのスライスは、１つのピクチャにおいてタイルラスタースキャン順序で存在する完全なタイルシーケンスを含むことができる。長方形スライスモードにおいて、１つのスライスは、ピクチャの四角領域を形成するように集合された多数の完全なタイルを含むか、或いはピクチャの四角領域を形成するように集合された１つのタイルの連続した完全な多数のＣＴＵ行を含むことができる。四角スライス内のタイルは、スライスに対応する四角領域内においてタイルラスタースキャン順序でスキャンされることができる。サブピクチャは、ピクチャの四角領域をカバーするように集合された少なくとも１つのスライスを含むことができる。

【0214】

ピクチャの分割関係をより詳細に説明するために、図２１～図２４を参照して説明する。図２１～図２４は、タイル、スライス及びサブピクチャを用いてピクチャを分割した実施例を示す。図２１は、１２個のタイルと３個のラスタースキャンスライスに分割されたピクチャの例示を示す。図２２は、２４個のタイル（６個のタイル列と４個のタイル行）及び９個の四角スライスに分割されたピクチャの例示を示す。図２３は、４つのタイル（２つのタイル列と２つのタイル行）及び４つの四角スライスに分割されたピクチャの例示を示す。

【0215】

図２４は、サブピクチャにピクチャを分割した例示を示す。図２４において、ピクチャは、４×４のＣＴＵからなる１つのスライスをそれぞれカバーする１２個の左側タイルと、２×２のＣＴＵからなる垂直に集合された２つのスライスをそれぞれカバーする６個の右側タイルに分割され、１つのピクチャは、全体的に互いに異なる面積を有する２４個のスライスと２４個のサブピクチャに分割されている。図２４の例示において、個別スライスは個別サブピクチャに対応している。

【0216】

インインループフィルタリングの概要

【0217】

上述した手順によって生成された復元ピクチャに対してインループフィルタリング手順が行われることができる。インループフィルタリング手順を介して修正（ｍｏｄｉｆｉｅｄ）された復元ピクチャが生成されることができ、復号化装置で前記修正された復元ピクチャが復号化されたピクチャとして出力されことができ、さらに、符号化装置／復号化装置の復号ピクチャバッファ又はメモリに保存され、以後のピクチャの符号化／復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、及び／又はＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順などを含むことができる。この場合、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの１つ又は一部が順次適用されることができ、或いはすべてが順次適用されることもできる。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。

【0218】

デブロッキングフィルタリングは、復元されたピクチャからブロック間の境界に生じた歪みを除去するフィルタリング技法である。デブロッキングフィルタリング手順は、例えば、復元ピクチャからターゲット境界を導出し、前記ターゲット境界に対するｂＳ（ｂｏｕｎｄａｒｙ ｓｓｔｒｅｎｇｔｈ）を決定し、前記ｂＳに基づいて前記ターゲット境界に対するデブロッキングフィルタリングを行うことができる。前記ｂＳは、前記ターゲット境界に隣接する２つのブロックの予測モード、動きベクトルの差、参照ピクチャの同一如何、０ではない有効係数の存否などに基づいて決定されることができる。

【0219】

ＳＡＯは、サンプル単位で復元ピクチャと原本ピクチャとのオフセット差を補償する方法であって、例えば、バンドオフセット（Ｂａｎｄ Ｏｆｆｓｅｔ）、エッジオフセット（Ｅｄｇｅ Ｏｆｆｓｅｔ）などのタイプに基づいて適用されることができる。ＳＡＯによれば、各ＳＡＯタイプによってサンプルを互いに異なるカテゴリーに分類し、カテゴリーに基づいて各サンプルにオフセット値を加えることができる。ＳＡＯのためのフィルタリング情報は、ＳＡＯ適用如何に関する情報、ＳＡＯタイプ情報、ＳＡＯオフセット値情報などを含むことができる。ＳＡＯは、前記デブロッキングフィルタリング適用後の復元ピクチャに対して適用されることもできる。

【0220】

ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）は、復元ピクチャに対してフィルタの形状によるフィルタ係数に基づいてサンプル単位でフィルタリングする技法である。符号化装置は、復元ピクチャと原本ピクチャとの比較を介してＡＬＦ適用如何、ＡＬＦ形状及び／又はＡＬＦフィルタリング係数などを決定することができ、復号化装置にシグナリングすることができる。すなわち、ＡＬＦのためのフィルタリング情報は、ＡＬＦ適用如何に関する情報、ＡＬＦフィルタ形状（ｓｈａｐｅ）情報、ＡＬＦフィルタリング係数情報などを含むことができる。ＡＬＦは、前記デブロッキングフィルタリング適用後の復元ピクチャに対して適用されることもできる。

【0221】

インインループフィルタリング適用如何のシグナリング

【0222】

前述したように、ＨＬＳは、ビデオ及び／又は画像符号化のために符号化及び／又はシグナリングされることができる。前述したように、本明細書におけるビデオ／画像情報はＨＬＳに含まれることができる。そして、画像／ビデオ符号化方法は、このような画像／ビデオ情報に基づいて行われることができる。

【0223】

一実施例において、１つのピクチャは、サブピクチャ、スライス及び／又はタイルなどの分割単位でパーティショニングされることができる。そして、このような分割単位の境界に対してフィルタリングの適用如何がシグナリングされることができる。例えば、１つのピクチャは、複数のタイルに分割されることができる。このような場合、タイルの境界を横切るインループフィルタリングが行われることができる。又は、１つのピクチャは複数のスライスに分割されることができる。このような場合、スライスの境界を横切るインループフィルタリングが行われることができる。このような場合、タイルの境界及び／又はスライスの境界を横切るインループフィルタリングが行われるか否かがＨＬＳを介してシグナリングされることができる。

【0224】

図２５はタイルの境界及び／又はスライスの境界でインループフィルタリングが行われるか否かをシグナリングするためのＰＰＳのシンタックスの一実施例を示す図である。図２５のシンタックスにおいて、シンタックス要素ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ２５１０は、当該ＰＰＳを参照する個別ピクチャに対してピクチャのパーティショニングが適用されるか否かを示すことができる。例えば、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ２５１０の第１値（例えば、０）は、ＰＰＳを参照する個別ピクチャが１つよりも多いタイル又はスライスに分割できることを示すことができる。ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ２５１０の第２値（例えば、１）は、ＰＰＳを参照する個別ピクチャに対してピクチャの分割が行われないことを示すことができる。一方、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ２５１０は、１つのシーケンス内に存在するすべてのＰＰＳに対して同一の値を持つように制限されることができる。

【0225】

一実施例において、シンタックス要素ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ２５１０は、ピクチャが１つよりも多いタイル及び／又はスライスに分割される場合に、タイル及び／又はスライスの分割のための情報をシグナリングするための条件として使用できる。これは、図２５の図面符号２５２０のような条件文としてシンタックスに含まれることができる。例えば、符号化装置は、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ２５１０を用いて、タイル及び／又はスライスの分割に関する情報がビットストリームに含まれるか否かを復号化装置にシグナリングすることができる。そして、復号化装置は、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ２５１０の値が１であれば、ビットストリームからタイル及び／又はスライスの分割に関する情報をパーシングしないことができる。復号化装置は、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ２５１０の値が０であれば、ビットストリームからタイル及び／又はスライスの分割に関する情報を付加的な情報に従ってパーシングすることができる。

【0226】

上述した実現のために、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ２５１０が、当該ピクチャがタイル又はスライスに分割できることを示す場合、次のシンタックス要素がビットストリームから取得できることを、ＰＰＳシンタックスは図２５の例のように実現できる。

【0227】

シンタックス要素ｐｐｓ＿ｌｏｇ２＿ｃｔｕ＿ｓｉｚｅ＿ｍｉｎｕｓ５は、個別ＣＴＵのルマコーディングツリーブロックサイズを示すことができる。より詳細には、符号化装置は、個別ＣＴＵのルマコーディングツリーブロックサイズから５を差し引いた値にｐｐｓ＿ｌｏｇ２＿ｃｔｕ＿ｓｉｚｅ＿ｍｉｎｕｓ５の値を決定することができる。復号化装置は、ｐｐｓ＿ｌｏｇ２＿ｃｔｕ＿ｓｉｚｅ＿ｍｉｎｕｓ５に５を加えた値を個別ＣＴＵのルマコーディングツリーブロックサイズとして決定することができる。

【0228】

シンタックス要素ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１は、明示的にシグナリングされるタイル列（ｔｉｌｅ ｃｏｌｕｍｎ）の幅値の個数を示すことができる。例えば、復号化装置は、ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１に１を加えた値に、明示的にシグナリングされるタイル列の幅値の個数を決定することができる。ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１の値は、０からＰｉｃＷｉｄｔｈＩｎＣｔｂＹ－１までの値を持つことができる。ここで、ＰｉｃＷｉｄｔｈＩｎＣｔｂＹは、ルマコーディングブロックの幅単位で表されるピクチャの幅を示すことができる。一方、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇの値が１である場合、ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１の値は０に誘導されることができる。

【0229】

シンタックス要素ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１は、明示的にシグナリングされるタイル行（ｔｉｌｅ ｒｏｗ）の高さ値の個数を示すことができる。例えば、復号化装置は、ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１に１を加えた値に、明示的にシグナリングされるタイル行の高さ値の個数を決定することができる。ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値は、０からＰｉｃＨｅｉｇｈｔＩｎＣｔｂＹ－１までの値を持つことができる。ＰｉｃＨｅｉｇｈｔＩｎＣｔｂＹは、ルマコーディングブロックの高さ単位で表されるピクチャの高さを示すことができる。ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇの値が１である場合、ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値は０に誘導されることができる。

【0230】

シンタックス要素ｔｉｌｅ＿ｃｏｌｕｍｎ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］は、ＰＰＳを参照するピクチャのｉ番目のタイル列の幅を示すことができる。例えば、復号化装置は、ｔｉｌｅ＿ｃｏｌｕｍｎ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］に１を加えた値をｉ番目のタイル列の幅として決定することができる。シンタックス要素ｔｉｌｅ＿ｃｏｌｕｍｎ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］は、図２５のシンタックスのようにｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１の値に基づいてビットストリームから取得されることができる。

【0231】

シンタックス要素ｔｉｌｅ＿ｒｏｗ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］は、ＰＰＳを参照するピクチャのｉ番目のタイル行の高さを示すことができる。例えば、復号化装置は、ｔｉｌｅ＿ｒｏｗ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］に１を加えた値をｉ番目のタイル行の高さとして決定することができる。シンタックス要素ｔｉｌｅ＿ｒｏｗ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］は、図２５のシンタックスのようにｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値に基づいてビットストリームから取得されることができる。

【0232】

一方、ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１とｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値に基づいて変数ＮｕｍＴｉｌｅｓＩｎＰｉｃが計算されることができる。一実施例において、復号化装置は、（ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１＋１）＊（ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１＋１）の値としてＰＰＳを参照するピクチャ内のタイルの個数を示す変数ＮｕｍＴｉｌｅｓＩｎＰｉｃの値を決定することができる。

【0233】

ＮｕｍＴｉｌｅｓＩｎＰｉｃの値が１より大きければ、ビットストリームからシンタックス要素ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが取得できる。例えば、ピクチャが２つ以上のタイルに分割される場合、シンタックス要素ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが取得されることができる。

【0234】

シンタックス要素ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇは、ＰＰＳを参照する個別ピクチャにラスタースキャンスライスモード（ｒａｓｔｅｒ－ｓｃａｎ ｓｌｉｃｅ ｍｏｄｅ）が適用されるか、或いは長方形スライスモード（ｒｅｃｔａｎｇｕｌａｒ ｓｃａｎ ｓｌｉｃｅ ｍｏｄｅ）が適用されるか否かを示すことができる。例えば、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの第１値（例えば、０）は、ＰＰＳを参照する個別ピクチャにラスタースキャンスライスモードが適用されることを示すことができ、このような場合、スライスのレイアウトのシグナリングは省略可能である。ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの第２値（例えば、１）は、ＰＰＳを参照する個別ピクチャに対して長方形スライスモードが使用されることを示すことができる。このような場合、スライスのレイアウトが、以下に説明するようにＰＰＳを介してシグナリングされることができる。ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇがシグナリングされない場合、復号化装置はｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの値を１に誘導することができる。

【0235】

シンタックス要素ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの値が１である場合、シンタックス要素ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇがシグナリングされることができる。ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇの第１値（例えば、０）は、個別サブピクチャが１つよりも多い四角スライスで構成できることを示すことができる。ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇの第２値（例えば、１）は、個別サブピクチャが１つの四角スライスのみで構成されることを示すことができる。

【0236】

一方、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの値が１であり、ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇの値が０である場合、シンタックス要素ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１がシグナリングされることができる。例えば、当該ピクチャが長方形スライスに２つ以上分割される場合、長方形スライスのレイアウトをシグナリングするために、ＰＰＳを参照する個別ピクチャ内の長方形スライスの個数を示すシンタックス要素ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１がシグナリングされることができる。例えば、復号化装置は、ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１に１を加えた値に、当該ピクチャ内の長方形スライスの個数を決定することができる。ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１の値は、０からＭａｘＳｌｉｃｅＰｅｒＡｕ－１までの値を持つことができる。変数ＭａｘＳｌｉｃｅＰｅｒＡｕは、アクセスユニット当たり許容される最大スライスの個数を示すことができ、例えば、現在ピクチャで許容される最大スライスの個数を示すことができる。

【0237】

ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１の値に基づいて、シンタックス要素ｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１、ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１、ｎｕｍ＿ｅｘｐ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ、ｅｘｐ＿ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｃｔｕｓ＿ｍｉｎｕｓ１、及びｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａが図２５のシンタックスのように取得できる。ここで、シンタックス要素ｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、当該ピクチャ内の長方形スライスを識別することができるようにするインデックスとして使用されるシンタックス要素ｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａがビットストリームから取得されるか否かを示すことができる。シンタックス要素ｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］に１を加えた値は、ｉ番目の長方形スライスの幅をタイル列単位で表すことができる。シンタックス要素ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］に１を加えた値は、ｉ番目の長方形スライスの高さをタイル行単位で表すことができる。

【0238】

シンタックス要素ｎｕｍ＿ｅｘｐ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ［ｉ］は、ｉ番目のスライスを含むタイル内のスライスに対して明示的に提供されるスライスの高さの個数を表すことができる。シンタックス要素ｅｘｐ＿ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｃｔｕｓ＿ｍｉｎｕｓ１［ｊ］に１を加えた値は、ｉ番目のスライスを含むタイル内のｊ番目の長方形スライスの高さを表すことができ、単位は、ＣＴＵ行の単位を持つことができる。シンタックス要素ｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］は、ｉ番目の長方形スライス内の１番目のＣＴＵを含むタイルのインデックスとｉ＋１番目の長方形スライス内の１番目のＣＴＵを含むタイルのインデックスとの差を表すことができる。

【0239】

シンタックス要素ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２５３０は、ＰＰＳを参照するピクチャ内のタイルの境界を横切ってフィルタリング動作が行われるか否かを示すことができる。例えば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの第１値（例えば、０）は、本シンタックス要素が含まれているＰＰＳを参照するピクチャにおいて、当該ピクチャ内のタイルの境界を横切るインループフィルタリング動作が行われないことを示す。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの第２値（例えば、１）は、本シンタックス要素が含まれているＰＰＳを参照するピクチャ内のタイルの境界を横切るインループフィルタリング動作が行われることができることを示す。

【0240】

ここで、インループフィルタリング動作は、デブロッキングフィルタリング、ＳＡＯ（Ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）フィルタリング、及び／又はＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）を含むことができる。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値がビットストリームから取得されない場合（例えば、提供されない場合）、当該シンタックス要素の値は第２値（例えば、１）に誘導されることができる。一方、他の実施例において、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値がビットストリームから取得されない場合（例えば、提供されない場合）、当該シンタックス要素の値は第１値（例えば、０）に誘導されることもできる。

【0241】

シンタックス要素ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２５４０は、ＰＰＳを参照するピクチャ内のスライスの境界を横切ってフィルタリング動作が行われるか否かを示すことができる。例えば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの第１値（例えば、０）は、本シンタックス要素が含まれているＰＰＳを参照するピクチャ内のスライスの境界を横切るインループフィルタリング動作が行われないことを示すことができる。

【0242】

ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの第２値（例えば、１）は、本シンタックス要素が含まれているＰＰＳを参照するピクチャ内のスライスの境界を横切るインループフィルタリング動作が行われることができることを示すことができる。

【0243】

ここで、インループフィルタリング動作は、前述のように、デブロッキングフィルタリング、ＳＡＯフィルタリング、及び／又はＡＬＦを含むことができる。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値がビットストリームから取得されない場合（例えば、提供されない場合）、当該シンタックス要素の値は第１値（例えば、０）に誘導されることができる。

【0244】

一実施例において、各ピクチャは、タイル単位でパーティショニングされることができる。このような場合、１つのピクチャ内に２つ以上のタイルが存在することができ、各タイル領域の境界部分に対してインループフィルタが適用されるか否かは、個別ＰＰＳからシグナリングされるｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２５３０によって決定されることができる。

【0245】

図２５の例において、１つのピクチャ内に２つ以上のタイルが存在する場合（例えば、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ＝＝０）、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が常にシグナリングされて境界領域におけるインループフィルタの適用如何が決定されることができる。しかし、１つのピクチャ内にタイルのみ多数存在する場合にも当該フラグがシグナリングされるということを考慮して、伝送されるビット量を削減するために存在するタイルの個数を考慮して当該フラグをシグナリングすることができるように改善することができる。

【0246】

例えば、図２５の例において、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇの値が第１値（例えば、０）である場合、これは、現在ピクチャがタイル又はスライス単位で１つよりも多い部分に分割されることを意味する。一実施例において、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇの値が第１値（例えば、０）である場合、１つのピクチャ内に２つ以上のタイルが存在することもできるという点で、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が常にシグナリングされてタイル境界領域におけるインループフィルタ適用如何が決定されることができる。ところが、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇの値が第１値（例えば、０）である場合は、１つのピクチャがタイルに分割されず、スライスのみに分割される場合も含まれる。これにより、１つのピクチャ内にタイルが存在せず、スライスのみ多数存在する場合にも、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナリングされることもできる。このような点を考慮して、伝送されるビット量を削減するために存在するタイルの個数を考慮して、当該フラグをシグナリングすることができるように改善することができる。

【0247】

図２６は上述の問題を解決するためにタイルの個数を考慮してシンタックス要素ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇをシグナリングするシンタックスの一実施例を示す図である。図２６に示すように、シンタックス要素ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２６２０は、当該ピクチャに属するタイルの個数（例えば、ＮｕｍＴｉｌｅｓＩｎＰｉｃ）に基づいてシグナリングされることができる。例えば、図２６に示すように、当該ピクチャに属するタイルの個数が１より大きい場合に限り（２６１０）、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２６２０がビットストリームを介してシグナリングされることができる。これにより、符号化装置は、当該ピクチャに属するタイルの個数が１よりも大きい場合に限り（２６１０）、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２６２０をビットストリームとして符号化することができ、復号化装置は、ビットストリームからｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２６２０を取得することができる。

【0248】

一方、前述した図２５の実施例において、各ピクチャは、スライス単位でパーティショニングされることができる。このような場合、１つのピクチャ内に２つ以上のスライスが存在することができ、各スライス領域の境界部分に対してインループフィルタが適用されるか否かは、個別ＰＰＳからシグナリングされるｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇによって決定されることができる。より具体的には、１つのピクチャ内に２つ以上のスライスが存在する場合（例えば、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ＝＝０）、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が常にシグナリングされて境界領域におけるインループフィルタ適用如何が決定されることができる。しかし、１つのピクチャ内にスライスのみ多数存在する場合にも当該フラグがシグナリングされるという点を考慮して、伝送されるビット量を削減するために存在するスライスの個数を考慮して当該フラグをシグナリングすることができるように改善することができる。

【0249】

一実施例において、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇの値が第１値（例えば、０）である場合にも、当該ＰＰＳを参照するピクチャは、タイルのみに分割され、スライスには分割されないことがある。しかし、図２５の例では、このようにピクチャがタイルのみに分割され、スライスには分割されない場合にも、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は常にシグナリングされる。このように、１つのピクチャ内にタイルのみ多数存在する場合にもｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナリングされるという点を考慮して、伝送されるビット量を削減するために存在するスライスの個数を考慮して当該フラグをシグナリングすることができるように図２５の実施例が改善できる。

【0250】

図２７は上述の問題を解決するためにスライスの個数を考慮してシンタックス要素ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇをシグナリングするシンタックスの一実施例を示す図である。図２７に示すように、シンタックス要素ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２７２０は、当該ピクチャに属するスライスの個数（例えば、ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１）に基づいてシグナリングされることができる。例えば、図２７に示すように、当該ピクチャに属するスライスの個数が１よりも大きい場合に限り（２７１０）、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２７２０がビットストリームを介してシグナリングされることができる。これにより、当該ピクチャに属するスライスの個数が１よりも大きい場合に限り（２７１０）、符号化装置は、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２７２０を符号化してビットストリームを生成することができ、復号化装置は、ビットストリームからｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２７２０を取得することができる。

【0251】

一方、ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１は、ピクチャが長方形スライスに２つ以上分割される場合、長方形スライスのレイアウトをシグナリングするためにＰＰＳを参照する個別ピクチャ内の長方形スライスの個数を示すためにシグナリングされるシンタックス要素であって、個別ピクチャにラスタースキャンモード（ｒａｓｔｅｒ－ｓｃａｎ ｓｌｉｃｅ ｍｏｄｅ）が適用される場合、個別ピクチャは、依然として複数のスライスに分割されることができる。これにより、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの値がラスタースキャンスライスモードを表す第１値（例えば、０）を示す場合にも、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２７２０がシグナリングされるようにシンタックスが修正されることができる。

【0252】

また、ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇの値が第２値（例えば、１）である場合、当該ピクチャは複数のサブピクチャに分割されることができるという点で、１つのピクチャは複数のスライスで構成できる。これにより、ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇの値が第２値（例えば、１）を示す場合にも、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２７２０がシグナリングされるようにシンタックスが修正されることができる。

【0253】

このように、ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１の値がビットストリームから取得されない場合、現在ピクチャが幾つかのスライスに分割されるか否かがシグナリングされないため、ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１の値がビットストリームから取得されない場合にも、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ２７２０がシグナリングされるようにシンタックスが修正できる。例えば、図２７の例において、ビットストリームからｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１を取得するための条件として、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの値が１であり、ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇの値が０であることが要求される。このような点で、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの値が０であるか、或いはｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇの値が１である場合、ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１の値が１よりも大きいか否かに関係なく、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値がビットストリームから取得されることができる。このような処理のために、ＰＰＳシンタックスは先立って図２８のように修正できる。

【0254】

図２８は、図２５～図２７を参照して説明されたｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇのシグナリングが適用されたＰＰＳのシンタックスの一実施例を示す図である。図２８の一実施例において、図２５及び図２８を参照して説明されたシンタックス要素の名称の一部は、ｐｐｓ＿が付加されて命名されている。例えば、前述したシンタックスｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇはｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇと命名されている。

【0255】

図２８を参照すると、ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐｒａｔｉｏｎ＿ｆｌａｇが、ピクチャがタイル及びスライスのうちの少なくとも一つのタイプに２つ以上分割可能であることを示す値（例えば、０）を有する場合、ＰＰＳを参照するピクチャが幾つのタイル列を持つかを示すｐｐｓ＿ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｓ＿ｍｉｎｕｓ１及びＰＰＳを参照するピクチャが幾つのタイル行を持つかを示すｐｐｓ＿ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１シンタックス要素を用いて、現在ピクチャが幾つのタイルに分割されるかがシグナリングされることができる。そして、現在ピクチャに含まれるタイルの個数が（ｐｐｓ＿ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１＋１）＊（ｐｐｓ＿ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１＋１）で計算されて変数ＮｕｍＴｉｌｅＩｎＰｉｃに記録されることができる。

【0256】

前述したように、ＮｕｍＴｉｌｅＩｎＰｉｃの値が１よりも大きい場合、すなわち、現在ピクチャに１個よりも多いタイルが存在する場合に限り、タイルの境界を横切ってフィルタリングが適用できるか否かを示すｐｐｓ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素とｐｐｓ＿ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇシンタックス要素が取得できる。そして、ｐｐｓ＿ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの値が１である場合、ビットストリームからｐｐｓ＿ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇが取得できる。ｐｐｓ＿ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの値が１であり、ｐｐｓ＿ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇの値が０である場合、ビットストリームからｐｐｓ＿ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１シンタックス要素が取得できる。そして、ｐｐｓ＿ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの値が０であるか、或いはｐｐｓ＿ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇの値が１であるか、或いはｐｐｓ＿ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１の値が１より大きい場合、ｐｐｓ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値がビットストリームから取得できる。

【0257】

符号化及び復号化方法

【0258】

以下、一実施例による画像符号化装置及び画像復号化装置によって行われる画像符号化方法及び復号化方法について説明する。

【0259】

まず、復号化装置の動作を説明する。一実施例による画像復号化装置は、メモリとプロセッサを含み、復号化装置は、プロセッサの動作によって復号化を行うことができる。図２９は、一実施例による復号化装置の復号化方法を示す。

【0260】

一実施例による復号化装置は、現在ピクチャの分割が制限されないことに基づいて現在ピクチャ内のタイルの個数（例えば、ＮｕｍＴｉｌｅｓＩｎＰｉｃ）を決定することができる（Ｓ２９１０）。例えば、復号化装置は、現在ピクチャの分割制限如何を示す分割制限フラグ（例えば、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ）をビットストリームから取得することができ、分割制限フラグに基づいて、現在ピクチャの分割が制限されないか否かを決定することができる。

【0261】

次に、復号化装置は、現在ピクチャ内のタイルの個数が複数個であることに基づいて、タイルの境界に対してフィルタリングが利用可能であるか否かを示す第１フラグ（例えば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をビットストリームから取得することができる（Ｓ２９２０）。ここで、現在ピクチャ内のタイルの個数は、現在ピクチャを分割するタイルの個数を示すタイル個数情報に基づいて決定されることができる。ここで、タイル個数情報は、現在ピクチャの分割が制限されないことに基づいてビットストリームから取得されることができる。そして、タイル個数情報は、ピクチャ内のタイル列の個数を示す情報（例えば、ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１）、及びピクチャ内のタイル行の個数を示す情報（例えば、ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１）を含むことができる。

【0262】

次に、復号化装置は、第１フラグの値に基づいて、現在ピクチャに属するタイルの境界に対してフィルタリングを行うか否かを決定することができる（Ｓ２９３０）。ここで、フィルタリングの種類は、前述したように、デブロッキングフィルタ、ＳＡＯフィルタ及びＡＬＦのうちのいずれか一つのフィルタであり得る。例えば、第１フラグが、フィルタリングが利用可能でないことを示す場合、当該タイルの境界に対しては、デブロッキングフィルタ、ＳＡＯフィルタ及びＡＬＦフィルタのうち、当該画像を復号化するために使用されるフィルタが適用されないことができる。

【0263】

また、復号化装置は、現在ピクチャの分割が制限されないことに基づいて、スライスの境界に対してフィルタリングが利用可能であるか否かを示す第２フラグ（例えば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をビットストリームから取得することができる（Ｓ２９４０）。

【0264】

例えば、復号化装置は、現在ピクチャの分割が制限されないことに基づいて、ピクチャを構成するスライスに関する情報をビットストリームから取得することができる。そして、復号化装置は、スライスに関する情報が、ピクチャが１つのスライスで構成されることを示さないことに基づいて、第２フラグをビットストリームから取得することができる。

【0265】

或いは、復号化装置は、スライスに関する情報が、ピクチャに長方形スライスモードが適用されないことを示す（例えば、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇ＝＝０）に基づいて、第２フラグをビットストリームから取得することができる。或いは、復号化装置は、スライスに関する情報が、ピクチャのサブピクチャが１つの長方形スライスのみで構成されることを示す（例えば、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇ＝＝０又はｐｐｓ＿ｓｉｎｇｌｅ＿ｓｌｉｃｅ＿ｐｅｒ＿ｓｕｂｐｉｃ＿ｆｌａｇ＝＝１）に基づいて第２フラグをビットストリームから取得することができる。

【0266】

或いは、復号化装置は、スライスに関する情報が、現在ピクチャ内のスライスの個数が複数個であることを示す（例えば、ｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１＞０）に基づいて、第２フラグをビットストリームから取得することもできる。例えば、現在ピクチャの分割が制限されないことに基づいて、ピクチャを構成するスライスが長方形スライスであるか否かが決定され、ピクチャを構成するスライスが長方形スライスであることに基づいて、ピクチャのサブピクチャが１つの長方形スライスのみで構成されるか否かが決定され、ピクチャのサブピクチャが１つよりも多い個数の長方形スライスで構成されることに基づいて、現在ピクチャ内のスライスの個数を示す情報がビットストリームから取得され、現在ピクチャ内のスライスの個数を示す情報に基づいて、現在ピクチャ内のスライスの個数が複数個であるか否かが決定できる。

【0267】

そして、復号化装置は、第２フラグの値に基づいて、現在ピクチャに属するスライスの境界に対してフィルタリングを行うか否かを決定することができる（Ｓ２９５０）。例えば、第２フラグが、フィルタリングが利用可能でないことを示す場合、当該スライスの境界に対しては、デブロッキングフィルタ、ＳＡＯフィルタ及びＡＬＦフィルタのうち、当該画像を復号化するために使用されるフィルタが適用されないことができる。

【0268】

次に、符号化装置の動作について説明する。一実施例による画像符号化装置は、メモリとプロセッサを含み、符号化装置は、プロセッサの動作によって前記復号化装置の復号化に対応する方式で符号化を行うことができる。例えば、図３０に示すように、符号化装置は、現在ピクチャの分割が制限されないことに基づいて、現在ピクチャ内のタイルの個数（例えば、ＮｕｍＴｉｌｅｓＩｎＰｉｃ）を決定することができる（Ｓ３０１０）。次に、符号化装置は、現在ピクチャ内のタイルの個数が複数個であることに基づいて、タイルの境界に対してフィルタリングが利用可能であるか否かを示す第１フラグ（例えば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値を決定することができる（Ｓ３０２０）。一方、符号化装置は、現在ピクチャの分割が制限されないことに基づいて、現在ピクチャが１つのスライスで構成されるか否かをさらに決定することができる（Ｓ３０３０）。そして、符号化装置は、現在ピクチャが１つのスライスで構成されないことに基づいて、スライスの境界に対してフィルタリングが利用可能であるか否かを示す第２フラグ（例えば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値を決定することができる（Ｓ３０４０）。

【0269】

次に、符号化装置は、第１フラグ及び第２フラグのうちの少なくとも１つを含むか、或いはいずれか一つも含まないビットストリームを生成することができる（Ｓ３０５０）。例えば、符号化装置は、ピクチャ内のタイルの個数が複数個ではなく、現在ピクチャが１つのスライスで構成されることに基づいて、第１フラグと第２フラグの両方の値を決定しなくてもよく、第１フラグと第２フラグを含まないビットストリームを生成することができる。これに加えて、現在ピクチャの分割制限如何に応じて分割制限フラグ（例えば、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ）の値が設定でき、分割制限フラグもビットストリームに含まれることができる。

【0270】

上述したように、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇが符号化及び復号化方法で活用されることにより、現在ピクチャがタイル及び／又はスライスに分割されないか否かがｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇにシグナリングされる。そして、それに応じてタイルの分割情報及びスライスの個数情報がシグナリングされる。このような点で、単にｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇの値のみに基づいてｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇのシグナリング如何を決定すると、現在ピクチャがスライスのみ又はタイルのみに分割される場合、不要にｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ又ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナリングされる。

【0271】

また、前記ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇのシグナリングを減らすために、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇと共に現在ピクチャがタイルに分割されるかを示すフラグと、現在ピクチャがスライスに分割されるかを示すフラグを別途シグナリングすることは、ビット削減の面では役立たない。

【0272】

しかし、本明細書で説明されるように、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇと共に、ピクチャを分割するタイルの個数及びピクチャを分割するスライスの個数に基づいて、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇのシグナリング如何を決定する構成は、追加フラグのシグナリングなしにタイルとスライスのパーシング情報からｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇのシグナリング如何を決定することができるようにする。これにより、本開示で説明された技術的思想は、現在ピクチャがタイル及び／又はスライスに分割可能な符号化／復号化環境において、当該フラグがビットストリームに生成される頻度を減らすことができ、それによりビットストリームのサイズを減少させる効果を図ることができる。

【0273】

応用実施例

【0274】

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。

【0275】

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

【0276】

本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

【0277】

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、一つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

【0278】

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0279】

図３１は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【0280】

図３１に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0281】

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

【0282】

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0283】

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

【0284】

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

【0285】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

【0286】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

【0287】

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0288】

本開示による実施例は、画像を符号化／復号化することに利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】