特開 2024-96485 ＨＲＤパラメータをシグナリングする画像符号化／復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024096485

(43)【公開日】2024-07-12

(54)【発明の名称】ＨＲＤパラメータをシグナリングする画像符号化／復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体

(51)【国際特許分類】

   H04N 19/70 20140101AFI20240705BHJP

   H04N 19/30 20140101ALI20240705BHJP

【ＦＩ】

H04N19/70

H04N19/30

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2024079905

(22)【出願日】2024-05-16

(62)【分割の表示】P 2022559607の分割

【原出願日】2021-03-26

(31)【優先権主張番号】63/002,342

(32)【優先日】2020-03-30

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ヘンドリー ヘンドリー

(57)【要約】

【課題】ＨＲＤパラメータをシグナリングする画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法が提供される。
【解決手段】本開示による画像復号化方法は、ＶＰＳ内の一つ以上のＨＲＤパラメータシンタックス構造の個数を示す第１情報を取得するステップと、前記第１情報に基づいて、前記ＶＰＳから前記一つ以上のＨＲＤパラメータシンタックス構造を取得するステップと、前記第１情報に基づいて、前記ＶＰＳから一つ以上のマルチレイヤーＯＬＳと前記一つ以上のＨＲＤパラメータシンタックス構造とのマッピングに関する第２情報を取得するステップと、前記第２情報に基づいて、現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造を選択するステップと、前記選択されたＨＲＤパラメータシンタックス構造に基づいて、前記現在ＯＬＳを処理するステップと、を含むことができる。
【選択図】図１６

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、前記画像復号化方法は、
ＶＰＳ（Video Parameter Set）内の１つ以上のＨＲＤ（hypothetical reference decoder）パラメータシンタックス構造の個数を示す第１情報を取得するステップと、
前記第１情報に基づいて、前記ＶＰＳから前記１つ以上のＨＲＤパラメータシンタックス構造を取得するステップと、
前記第１情報に基づいて、前記ＶＰＳから１つ以上のマルチレイヤーＯＬＳ（output layer set）と前記１つ以上のＨＲＤパラメータシンタックス構造との間のマッピングに関する第２情報を取得するステップと、
前記第２情報に基づいて、現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造を選択するステップと、
前記選択されたＨＲＤパラメータシンタックス構造に基づいて、前記現在ＯＬＳを処理するステップと、を含み、
前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造のそれぞれは、前記１つ以上のマルチレイヤーＯＬＳのうちの少なくとも１つのマルチレイヤーＯＬＳにマッピングされる、画像復号化方法。

【請求項2】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数は、前記１つ以上のマルチレイヤーＯＬＳの個数よりも大きくない、請求項１に記載の画像復号化方法。

【請求項3】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１よりも大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が前記１つ以上のマルチレイヤーＯＬＳの個数と等しくないことに基づいて、前記第２情報は、前記ＶＰＳから取得される、請求項１に記載の画像復号化方法。

【請求項4】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１であることに基づいて、前記第２情報は、前記ＶＰＳから取得されず、前記第２情報は、０の値に等しいと推論される、請求項３に記載の画像復号化方法。

【請求項5】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１よりも大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が前記１つ以上のマルチレイヤーＯＬＳの個数と等しいことに基づいて、前記第２情報は、前記ＶＰＳから取得されず、ｉ番目のマルチレイヤーＯＬＳの前記第２情報は、ｉの値に等しいと推論される、請求項３に記載の画像復号化方法。

【請求項6】

前記現在ＯＬＳが単一階層のみを含むことに基づいて、前記現在ＯＬＳに適用される前記ＨＲＤパラメータシンタックス構造は、ＳＰＳ（Sequence Parameter Set）から取得される、請求項１に記載の画像復号化方法。

【請求項7】

画像符号化装置によって行われる画像符号化方法であって、前記画像符号化方法は、
ＶＰＳ（Video Parameter Set）内の１つ以上のＨＲＤ（hypothetical reference decoder）パラメータシンタックス構造の個数を示す第１情報を符号化するステップと、
前記第１情報に基づいて、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造を符号化するステップと、
前記第１情報に基づいて、前記ＶＰＳ内の１つ以上のマルチレイヤーＯＬＳ（output layer set）と前記１つ以上のＨＲＤパラメータシンタックス構造との間のマッピングに関する第２情報を符号化するステップと、
現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造に基づいて、前記現在ＯＬＳを処理するステップと、を含み、
前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造のそれぞれは、前記１つ以上のマルチレイヤーＯＬＳのうちの少なくとも１つのマルチレイヤーＯＬＳにマッピングされる、画像符号化方法。

【請求項8】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数は、前記１つ以上のマルチレイヤーＯＬＳの個数よりも大きくない、請求項７に記載の画像符号化方法。

【請求項9】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１よりも大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が前記１つ以上のマルチレイヤーＯＬＳの個数と等しくないことに基づいて、前記第２情報は、前記ＶＰＳ内に符号化される、請求項７に記載の画像符号化方法。

【請求項10】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１であることに基づいて、前記第２情報は、前記ＶＰＳ内に符号化されず、前記第２情報は、０の値に等しいと推論される、請求項９に記載の画像符号化方法。

【請求項11】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１よりも大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数がマルチレイヤーＯＬＳの個数と等しいことに基づいて、前記第２情報は、前記ＶＰＳ内に符号化されず、ｉ番目のマルチレイヤーＯＬＳの前記第２情報は、ｉの値に等しいと推論される、請求項９に記載の画像符号化方法。

【請求項12】

前記現在ＯＬＳが単一階層のみを含むことに基づいて、前記現在ＯＬＳに適用される前記ＨＲＤパラメータシンタックス構造は、ＳＰＳ（Sequence Parameter Set）内に符号化される、請求項７に記載の画像符号化方法。

【請求項13】

ビットストリームを伝送する方法であって、
前記ビットストリーム内に、ＶＰＳ（Video Parameter Set）内の１つ以上のＨＲＤ（hypothetical reference decoder）パラメータシンタックス構造の個数を示す第１情報を符号化するステップと、
前記ビットストリーム内に、前記第１情報に基づいて、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造を符号化するステップと、
前記ビットストリーム内に、前記第１情報に基づいて、前記ＶＰＳ内の１つ以上のマルチレイヤーＯＬＳ（output layer set）と前記１つ以上のＨＲＤパラメータシンタックス構造との間のマッピングに関する第２情報を符号化するステップと、
現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造に基づいて、前記現在ＯＬＳを処理するステップと、
前記ビットストリームを伝送するステップと、を含み、
前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造のそれぞれは、前記１つ以上のマルチレイヤーＯＬＳのうちの少なくとも１つのマルチレイヤーＯＬＳにマッピングされる、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化／復号化方法及び装置に関し、より詳細には、ＨＲＤ（Ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ）関連パラメータをシグナリングする画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを保存したコンピュータ可読記録媒体などに関する。

【背景技術】

【0002】

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

【0003】

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、符号化／復号化の効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

【0005】

また、本開示は、ＨＲＤパラメータを効率よくシグナリングすることにより、符号化／復号化の効率の向上を図る画像符号化／復号化方法及び装置を提供することを目的とする。

【0006】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

【0007】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

【0008】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。

【0009】

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【課題を解決するための手段】

【0010】

本開示の一態様による画像復号化装置によって行われる画像復号化方法は、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）内の１つ以上のＨＲＤ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ）パラメータシンタックス構造の個数を示す第１情報を取得するステップと、前記第１情報に基づいて、前記ＶＰＳから前記１つ以上のＨＲＤパラメータシンタックス構造を取得するステップと、前記第１情報に基づいて、前記ＶＰＳから１つ以上のマルチレイヤー（ｍｕｌｔｉ－ｌａｙｅｒ）ＯＬＳ（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ）と前記１つ以上のＨＲＤパラメータシンタックス構造とのマッピングに関する第２情報を取得するステップと、前記第２情報に基づいて、現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造を選択するステップと、前記選択されたＨＲＤパラメータシンタックス構造に基づいて、前記現在ＯＬＳを処理するステップと、を含むことができる。

【0011】

本開示の画像復号化方法において、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数は、前記１つ以上のマルチレイヤーＯＬＳの個数より大きくなくてもよい。

【0012】

本開示の画像復号化方法において、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造のそれぞれは、前記１つ以上のマルチレイヤーＯＬＳのうちの少なくとも１つのマルチレイヤーＯＬＳにマッピングされることができる。

【0013】

本開示の画像復号化方法において、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１より大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が前記１つ以上のマルチレイヤーＯＬＳの個数と等しくないことに基づいて、前記ＶＰＳから前記第２情報が取得されることができる。

【0014】

本開示の画像復号化方法において、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１であることに基づいて、前記第２情報は前記ＶＰＳから取得されず、前記第２情報は０の値と推論されることができる。

【0015】

本開示の画像復号化方法において、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１より大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が前記１つ以上のマルチレイヤーＯＬＳの個数と等しいことに基づいて、前記第２情報は前記ＶＰＳから取得されず、ｉ番目のマルチレイヤーＯＬＳに対する前記第２情報はｉの値と推論されることができる。

【0016】

本開示の画像復号化方法において、前記現在ＯＬＳが単一階層のみを含むことに基づいて、前記現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造をＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）から取得することができる。

【0017】

本開示の他の態様による画像復号化装置は、メモリ及び少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）内の１つ以上のＨＲＤ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ）パラメータシンタックス構造の個数を示す第１情報を取得し、前記第１情報に基づいて、前記ＶＰＳから前記１つ以上のＨＲＤパラメータシンタックス構造を取得し、前記第１情報に基づいて、前記ＶＰＳから１つ以上のマルチレイヤー（ｍｕｌｔｉ－ｌａｙｅｒ）ＯＬＳ（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ）と前記１つ以上のＨＲＤパラメータシンタックス構造とのマッピングに関する第２情報を取得し、前記第２情報に基づいて、現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造を選択し、前記選択されたＨＲＤパラメータシンタックス構造に基づいて、前記現在ＯＬＳを処理することができる。

【0018】

本開示の別の態様による画像符号化装置によって行われる画像符号化方法は、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）内の１つ以上のＨＲＤ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ）パラメータシンタックス構造の個数を示す第１情報を符号化するステップと、前記第１情報に基づいて、前記ＶＰＳに前記１つ以上のＨＲＤパラメータシンタックス構造を符号化するステップと、前記第１情報に基づいて、前記ＶＰＳに１つ以上のマルチレイヤー（ｍｕｌｔｉ－ｌａｙｅｒ）ＯＬＳ（ｏｕｔｐｕｔ ｌａｅｒ ｓｅｔ）と前記１つ以上のＨＲＤパラメータシンタックス構造とのマッピングに関する第２情報を符号化するステップと、現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造に基づいて、前記現在ＯＬＳを処理するステップと、を含むことができる。

【0019】

本開示の画像符号化方法において、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数は、前記１つ以上のマルチレイヤーＯＬＳの個数より大きくなくてもよい。

【0020】

本開示の画像符号化方法において、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造のそれぞれは、前記１つ以上のマルチレイヤーＯＬＳのうちの少なくとも１つのマルチレイヤーＯＬＳにマッピングされることができる。

【0021】

本開示の画像符号化方法において、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１より大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が前記１つ以上のマルチレイヤーＯＬＳの個数と等しくないことに基づいて、前記ＶＰＳに前記第２情報が符号化されることができる。

【0022】

本開示の画像符号化方法において、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１であることに基づいて、前記第２情報は、前記ＶＰＳに符号化されず、前記第２情報は０の値と推論されることができる。

【0023】

本開示の画像符号化方法において、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１より大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が前記１つ以上のマルチレイヤーＯＬＳの個数と等しいことに基づいて、前記第２情報は前記ＶＰＳに符号化されず、ｉ番目のマルチレイヤーＯＬＳに対する前記第２情報はｉの値と推論されることができる。

【0024】

本開示の画像符号化方法において、前記現在ＯＬＳが単一階層のみを含むことに基づいて、前記現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に符号化されることができる。

【0025】

本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。

【0026】

本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

【0027】

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

【発明の効果】

【0028】

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

【0029】

また、本開示は、ＨＲＤパラメータを効率よくシグナリングすることにより、符号化／復号化の効率の向上を図ることができる画像符号化／復号化方法及び装置が提供されることができる。

【0030】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

【0031】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

【0032】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

【0033】

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【図面の簡単な説明】

【0034】

【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【図4】本開示の実施例が適用できる概略的なピクチャ復号化手順の例を示す。

【図5】本開示の実施例が適用できる概略的なピクチャ符号化手順の例を示す。

【図6】コーディングされた画像／ビデオに対する階層構造の一例を示す図である。

【図7】本開示の一実施例によるＶＰＳのシンタックス構造を例示的に示す図である。

【図8】本開示の一実施例によってＨＲＤパラメータをシグナリングするためのＳＰＳのシンタックス構造を示す図である。

【図9】本開示の一実施例によるｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒ（）シンタックス構造を示す図である。

【図10】本開示の一実施例によるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を示す図である。

【図11】本開示の一実施例によるｓｕｂｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を示す図である。

【図12】本開示による実施例が適用できる画像符号化方法の一例を説明するための図である。

【図13】本開示による実施例が適用できる画像復号化方法の一例を説明するための図である。

【図14】本開示による実施例を適用できる画像復号化方法の他の例を説明するための図である。

【図15】本開示の別の実施例によってｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に基づいてＨＲＤパラメータを符号化する過程を説明するための図である。

【図16】本開示の別の実施例によってｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に基づいてＨＲＤパラメータを復号化する過程を説明するための図である。

【図17】本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【発明を実施するための形態】

【0035】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0036】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0037】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0038】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

【0039】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

【0040】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0041】

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

【0042】

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

【0043】

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0044】

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

【0045】

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

【0046】

また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのルマ成分ブロックは、明示的に「ルマブロック」又は「現在ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。

【0047】

本開示において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「Ａ及びＢの両方」を意味することができる。言い換えれば、本開示において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」と解釈されることができる。例えば、本開示において、「Ａ、Ｂ又はＣ（Ａ， Ｂ ｏｒ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、又は「Ａ、Ｂ及びＣの任意のいずれの組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味することができる。

【0048】

本開示で使用される「／」と「、（ｃｏｍｍａ）」は「及び／又は（ａｎｄ／ｏｒ）」を意味することができる。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」を意味することができる。これにより、「Ａ／Ｂ」は、「Ａのみ」、「Ｂのみ」、又は「ＡとＢの両方」を意味することができる。例えば、「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ又はＣ」を意味することができる。

【0049】

本開示において、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「ＡとＢの両方」を意味することができる。また、本開示において、「少なくとも１つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同一に解釈されることができる。

【0050】

また、本開示において、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、又は「Ａ、Ｂ及びＣの任意のいずれの組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。また、「少なくとも１つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味することができる。

【0051】

また、本開示で使用される括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味することができる。具体的に、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えれば、本開示の「予測」は、「イントラ予測」に限定（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（すなわち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。

【0052】

本開示において、１つの図面内で個別に説明される技術的特徴は、個別に実現されてもよく、同時に実現されてもよい。

【0053】

ビデオコーディングシステムの概要

【0054】

図１は、本開示によるビデオコーディングシステムを示す。

【0055】

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

【0056】

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

【0057】

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

【0058】

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

【0059】

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

【0060】

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

【0061】

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

【0062】

画像符号化装置の概要

【0063】

図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0064】

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

【0065】

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

【0066】

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

【0067】

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0068】

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0069】

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

【0070】

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。

【0071】

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

【0072】

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

【0073】

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0074】

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

【0075】

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

【0076】

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

【0077】

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0078】

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0079】

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

【0080】

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

【0081】

画像復号化装置の概要

【0082】

図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0083】

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

【0084】

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

【0085】

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

【0086】

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

【0087】

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

【0088】

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0089】

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

【0090】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

【0091】

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

【0092】

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

【0093】

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

【0094】

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

【0095】

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0096】

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

【0097】

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

【0098】

一般な画像／ビデオコーディング手順

【0099】

画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号化順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）に従って符号化／復号化できる。復号化されたピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）に該当するピクチャ順序（ｐｉｃｔｕｒｅ ｏｒｄｅｒ）は、前記復号化順序とは異なるように設定できる。これに基づいて、インター予測の際に、順方向予測だけでなく、逆方向予測も行うことができる。

【0100】

図４は、本開示の実施例が適用できる概略的なピクチャ復号化手順の例を示す。

【0101】

図４に示されている各手順は、図３の画像符号化装置によって行われることができる。例えば、ステップＳ４１０は、エントロピー復号化部２１０によって行われることができ、ステップＳ４２０は、イントラ予測部２６５及びインター予測部２６０を含む予測部で行われることができ、ステップＳ４３０は、逆量子化部２２０及び逆変換部２３０を含むレジデュアル処理部で行われることができ、ステップＳ４４０は、加算部２３５で行われることができ、ステップＳ４５０は、フィルタリング部２４０で行われることができる。ステップＳ４１０は、本開示で説明された情報復号化手順を含むことができ、ステップＳ４２０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ４３０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ４４０は、本開示で説明されたブロック／ピクチャ復元手順を含むことができ、ステップＳ４５０は、本開示で説明されたインループフィルタリング手順を含むことができる。

【0102】

図４を参照すると、ピクチャ復号化手順は、図３についての説明で示されているように、概略的に、ビットストリームから（復号化による）画像／ビデオ情報取得手順（Ｓ４１０）、ピクチャ復元手順（Ｓ４２０～Ｓ４４０）、及び復元されたピクチャに対するインループフィルタリング手順（Ｓ４５０）を含むことができる。前記ピクチャ復元手順は、本開示で説明されたインター／イントラ予測（Ｓ４２０）及びレジデュアル処理（Ｓ４３０、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正（ｍｏｄｉｆｉｅｄ）された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順（Ｓ４５０）は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及び／又はバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの一つ又は一部が順次適用されてもよく、全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。

【0103】

図５は、本開示の実施例が適用できる概略的なピクチャ符号化手順の例を示す。

【0104】

図５に示されている各手順は、図２の画像符号化装置によって行われることができる。例えば、ステップＳ５１０は、イントラ予測部１８５又はインター予測部１８０を含む予測部で行われることができ、ステップＳ５２０は、変換部１２０及び／又は量子化部１３０を含むレジデュアル処理部で行われることができ、ステップＳ５３０は、エントロピー符号化部１９０で行われることができる。ステップＳ５１０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ５２０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ５３０は、本開示で説明された情報符号化手順を含むことができる。

【0105】

図５を参照すると、ピクチャ符号化手順は、図２についての説明で示されているように、概略的にピクチャ復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（ｏｐｔｉｏｎａｌ）を含むことができる。符号化装置は、逆量子化部１４０及び逆変換部１５０を介して、量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、ステップＳ５１０の出力である予測サンプルと前記（修正された）レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリ１７０に保存されることができ、復号化装置での場合と同様に、以後のピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。

【0106】

このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画像コーディング時に発生するノイズを低減することができ、主観的／客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。

【0107】

上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス／タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分及びクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用されるができる。

【0108】

コーディング階層及び構造の例

【0109】

本開示によるコーディングされたビデオ／画像は、例えば、後述するコーディング階層及び構造に従って処理できる。

【0110】

図６は、コーディングされた画像／ビデオに対する階層構造の一例を示す図である。

【0111】

コーディングされた画像／ビデオは、画像／ビデオの復号化処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を伝送し保存する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されることができる。

【0112】

ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。

【0113】

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダーには、該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

【0114】

図６に示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰの類型によってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号化するために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。

【0115】

上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。

【0116】

上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むか否かによって、大きくＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。

【0117】

以下に、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセット／情報の種類などによって特定されたＮＡＬユニットタイプの一例を羅列する。

【0118】

－ＤＣＩ（Ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ） ＮＡＬ ｕｎｉｔ ｔｙｐｅ（ＮＵＴ）：ＤＣＩを含むＮＡＬユニットに対するタイプ

【0119】

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＶＰＳを含むＮＡＬユニットに対するタイプ

【0120】

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＳＰＳを含むＮＡＬユニットに対するタイプ

【0121】

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＰＰＳを含むＮＡＬユニットに対するタイプ

【0122】

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＡＰＳを含むＮＡＬユニットに対するタイプ

【0123】

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ） ＮＵＴ：ピクチャヘッダーを含むＮＵＬユニットに対するタイプ

【0124】

上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を用いて特定できる。

【0125】

一方、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダー及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス（スライスヘッダー及びスライスデータ集合）に対して一つのピクチャヘッダーがさらに付加されることができる。前記ピクチャヘッダー（ピクチャヘッダーシンタックス）は、前記ピクチャに共通に適用可能な情報／パラメータを含むことができる。前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライス又はピクチャに共通に適用可能な情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、マルチレイヤーに共通に適用可能な情報／パラメータを含むことができる。前記ＤＣＩは、復号化能力（ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ）に関連する情報／パラメータを含むことができる。

【0126】

本開示において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）は、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＣＩシンタックス、ピクチャヘッダーシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。また、本開示において、下位レベルシンタックス（ｌｏｗ ｌｅｖｅｌ ｓｙｎｔａｘ、ＬＬＳ）は、例えば、スライスデータシンタックス、ＣＴＵシンタックス、符号化単位シンタックス、変換単位シンタックスなどを含むことができる。

【0127】

一方、本開示において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーの情報、前記ピクチャヘッダーの情報、前記ＡＰＳの情報、前記ＰＰＳの情報、ＳＰＳの情報、前記ＶＰＳの情報及び／又は前記ＤＣＩの情報を含むことができる。また、前記画像／ビデオ情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）及び／又はＮＡＬユニットヘッダーの情報をさらに含むことができる。

【0128】

Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ ｓｉｇｎａｌｌｉｎｇ ａｎｄ ｓｅｍａｎｔｉｃｓ

【0129】

上述したように、本開示による画像／ビデオ情報は、ハイレベルシンタックス（Ｈｉｇｈ Ｌｅｖｅｌ Ｓｙｎｔａｘ、ＨＬＳ）を含むことができる。画像符号化方法及び／又は画像復号化方法は、前記画像／ビデオ情報に基づいて行われることができる。

【0130】

Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ ｓｉｇｎａｌｌｉｎｇ

【0131】

ビデオパラメータセット（Ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＶＰＳ）は、階層情報の伝送のために使用されるパラメータセットである。前記階層情報は、例えば、出力レイヤーセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）に関する情報、プロファイルティアレベル（ｐｒｏｆｉｌｅ ｔｉｅｒ ｌｅｖｅｌ）に関する情報、ＯＬＳと仮想参照デコーダ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ）との関係に関する情報、ＯＬＳとＤＰＢとの関係に関する情報などを含むことができる。ＶＰＳは、ビットストリームの復号化に必須ではないことができる。

【0132】

ＶＰＳ ＲＢＳＰ（ｒａｗ ｂｙｔｅ ｓｅｑｕｅｎｃｅ ｐａｙｌｏａｄ）は、参照される前に、ＴｅｍｐｏｒａｌＩＤが０である少なくとも１つのアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ、ＡＵ）に含まれるか、或いは外部手段を介して提供されることにより、復号化プロセスに利用可能でなければならない。

【0133】

ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）内で特定の値のｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを持つ全てのＶＰＳ ＮＡＬユニットは、同じコンテンツを持たなければならない。

【0134】

図７は、本開示の一実施例によるＶＰＳのシンタックス構造を例示的に示す図である。

【0135】

図７に示されているＶＰＳのシンタックス構造は、本開示に関連するシンタックス要素のみを含み、図７に示されていない他の多様なシンタックス要素がＶＰＳに含まれることができる。

【0136】

図７に示されている例において、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、ＶＰＳに対する識別子を提供する。他のシンタックス要素は、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを用いてＶＰＳを参照することができる。ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は０よりも大きくなければならない。

【0137】

ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた値は、前記ＶＰＳを参照する各ＣＶＳ内の許容可能な最大階層の数を示すことができる。

【0138】

ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた値は、前記ＶＰＳを参照する各ＣＶＳ内の階層に存在しうる時間的サブレイヤー（ｔｅｍｐｏｒａｌｓｕｂｌａｙｅｒｓ）の最大個数を示すことができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１は、０～６の値を有することができる。

【0139】

ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇは、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０よりも大きく、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０よりも大きい場合にシグナリングされることができる。第１値（例えば、１）のｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇは、前記ＶＰＳを参照する各ＣＶＳ内のすべての階層に対して時間的サブレイヤーの個数が同一であることを示すことができる。第２値（例えば、０）のｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇは、前記ＶＰＳを参照する各ＣＶＳ内の階層が同じ個数の時間的サブレイヤーを有しないことができることを示すことができる。ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇが存在しないとき、その値は第１値（例えば、１）と推論されることができる。

【0140】

ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇは、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０より大きい場合にシグナリングされることができる。第１値（例えば、１）のｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇは、前記ＣＶＳ内のすべての階層が階層間予測（ｉｎｔｅｒ－ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ）を使用せず、独立して符号化されることを示すことができる。第２値（例えば、０）のｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇは、前記ＣＶＳ内の１つ以上の階層が階層間予測を用いることができることを示すことができる。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが存在しない場合、その値は第１値（例えば、１）と推論されることができる。

【0141】

ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０より大きい場合にシグナリングされることができる。また、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが第１値である場合にシグナリングされることができる。第１値（例えば、１）のｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、各ＯＬＳが１つの階層のみを含むか否かを示すことができる。また、第１値（例えば、１）のｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、ＶＰＳを参照するＣＶＳ内の各階層自体がＯＬＳ（すなわち、ＯＬＳに含まれている１つの階層が唯一の出力レイヤーである）であることを示すことができる。また、第２値（例えば、０）のｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、少なくとも１つのＯＬＳが１つよりも多い階層を含むことができることを示すことができる。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０である場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は１と推論されることができる。そうではなく、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが０である場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は０と推論されることができる。

【0142】

ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが第２値（例えば、０）であり、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが第２値（例えば、０）である場合、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃがシグナリングされることができる。

【0143】

第１値（例えば、０）を有するｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって特定されるＯＬＳｓの全体個数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１と等しいことを示すことができる。このとき、ｉ番目のＯＬＳは、階層インデックス（ｌｙａｅｒ ｉｎｄｅｘ）が０～ｉである階層を含むことができる。また、各ＯＬＳに対して、ＯＬＳ内で最も高い階層インデックスを有する階層（最上位階層）のみが出力されることができる。

【0144】

第２値（例えば、１）を有するｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって特定されるＯＬＳｓの全体個数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１と等しいことを示すことができる。このとき、ｉ番目のＯＬＳは、階層インデックス（ｌａｙｅｒ ｉｎｄｅｘ）が０～ｉである階層を含むことができる。さらに、各ＯＬＳに対して、ＯＬＳ内のすべての階層が出力されることができる。

【0145】

第３値（例えば、２）を有するｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって特定されるＯＬＳｓの全体個数が明示的にシグナリングされることを示すことができる。さらに、各ＯＬＳに対して、出力レイヤーが明示的にシグナリングされることを示すことができる。出力レイヤーではない他の階層は、ＯＬＳの出力レイヤーの直接参照階層又は間接参照階層であり得る。

【0146】

ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１であり、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０である場合、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は第３値（例えば、２）と推論されることができる。

【0147】

ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２である場合、ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１とｏｌｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］が明示的にシグナリングされることができる。

【0148】

ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１に１を加えた値は、ＶＰＳによって特定されるＯＬＳｓの全体個数を示すことができる。

【0149】

ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２である場合、ｏｌｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、ｉ番目のＯＬＳのｊ番目の階層が出力レイヤーであるか否かを示すことができる。第１値（例えば、１）のｏｌｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｊ］と同じ階層識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有する階層がｉ番目のＯＬＳの出力レイヤーであることを示すことができる。第２値（例えば、０）のｏｌｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｊ］と同じ階層識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有する階層がｉ番目のＯＬＳの出力レイヤーではないことを示すことができる。

【0150】

以下、ＶＰＳでシグナリングされるＨＲＤパラメータについて説明する。

【0151】

ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが第２値（例えば、０）である場合、ｖｐｓ＿ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがシグナリングされることができる。第１値（例えば、１）のｖｐｓ＿ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造とは異なるＨＲＤパラメータがＶＰＳ内に存在することを示すことができる。第２値（例えば、０）のｖｐｓ＿ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造とは異なるＨＲＤパラメータがＶＰＳ内に存在しないことを示すことができる。ｖｐｓ＿ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが存在しない場合、その値は第２値（例えば、０）と推論されることができる。

【0152】

ｉ番目のＯＬＳが１つの階層を含む場合（ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］ ｉｓ ｅｑｕａｌ ｔｏ １）、ｉ番目のＯＬＳに適用されるｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ｉ番目のＯＬＳ内の階層によって参照されるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に存在する可能性がある。

【0153】

ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０より大きい場合にシグナリングされることができる。第１値（例えば、１）のｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＳ内のｉ番目のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、時間的階層識別子（ＴｅｍｐｏｒａｌＩｄ）が０乃至ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］であるサブレイヤーに対するＨＲＤパラメータを含むことを示すことができる。第２値（例えば、０）のｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＳ内のｉ番目のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、時間的階層識別子（ＴｅｍｐｏｒａｌＩｄ）がｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］だけであるサブレイヤーに対するＨＲＤパラメータを含むことを示すことができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０である場合、ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは第２値（例えば、０）と推論することができる。

【0154】

ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第２値（例えば、０）である場合、時間的階層識別子（ＴｅｍｐｏｒａｌＩｄ）が０乃至ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］－１であるサブレイヤーに対するＨＲＤパラメータは、時間的階層識別子（ＴｅｍｐｏｒａｌＩｄ）がｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］であるサブレイヤーに対するＨＲＤパラメータと同一であると推論することができる。

【0155】

ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に１を加えた値は、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数を示すことができる。ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１は、０乃至ＴｏｔａｌＮｕｍＯｌｓｓ－１の値を持つことができる。ＴｏｔａｌＮｕｍＯｌｓｓは、ＶＰＳによって特定されるＯＬＳの全体個数を示すことができる。本開示において、ＨＲＤパラメータはｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）を意味することができる。したがって、ＨＲＤパラメータシンタックス構造の個数は、ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数を意味することができる。

【0156】

ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］は、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０より大きく、ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇが第２値（例えば、０）である場合にシグナリングされることができる。ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］は、関連するＨＲＤパラメータがｉ番目のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に含まれている最上位サブレイヤーの時間的階層識別子（ＴｅｍｐｏｒａｌＩｄ）を示すことができる。

【0157】

ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］は、０乃至ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の値を持つことができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０である場合、ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］の値は０と推論されることができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０より大きく、ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇが１である場合、ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］の値はｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１と等しいと推論されることができる。

【0158】

図７に示されているように、ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇに基づいて一番目のサブレイヤーの時間的階層識別子（ＴｅｍｐｏｒａｌＩｄ）を示す変数ｆｉｒｓｔＳｕｂＬａｙｅｒが０又はｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］に誘導されることができる。具体的には、ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である場合、ｆｉｒｓｔＳｕｂＬａｙｅｒは０に誘導され、そうでなければ、ｆｉｒｓｔＳｕｂＬａｙｅｒはｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］に誘導されることができる。誘導されたｆｉｒｓｔＳｕｂＬａｙｅｒとｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］に基づいて、ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造がシグナリングされることができる。

【0159】

ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に１を加えた値とＴｏｔａｌＮｕｍＯｌｓｓが等しくなく、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１が０より大きい場合、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］がシグナリングされることができる。このとき、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］は、ｉ番目のＯＬＳに含まれている階層の個数（ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］）が１より大きい場合、ｉ番目のＯＬＳに対してシグナリングされることができる。ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］は、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のリストに対するインデックスであって、ｉ番目のＯＬＳに適用されるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のインデックスであり得る。ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］は、０乃至ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の値を持つことができる。ｉ番目のＯＬＳに含まれている階層の個数（ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］）が１である場合、ｉ番目のＯＬＳに適用されるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ｉ番目のＯＬＳ内の階層によって参照されるＳＰＳに存在することができる。

【0160】

本開示において、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］は、ｉ番目のＯＬＳ又はｉ番目のマルチレイヤーＯＬＳに適用されるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のインデックスであって、（マルチレイヤー）ＯＬＳとＨＲＤパラメータシンタックス構造（ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（））とのマッピング情報（マッピングに関する情報）と呼ばれることができる。

【0161】

ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍ＿ｍｉｎｕｓ１に１を加えた値がＴｏｔａｌＮｕｍＯｌｓｓと等しい場合、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］の値はｉと等しいと推論されることができる。そうではなく、ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が１より大きく、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１が０である場合、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］の値は０と推論されることができる。

【0162】

ＨＲＤ ｓｉｇｎａｌｌｉｎｇ ｉｎ ＶＰＳ ａｎｄ ＳＰＳ

【0163】

以下、本開示によるＨＲＤパラメータのシグナリングについてより具体的に説明する。ＨＲＤパラメータは、各出力レイヤーセット（ＯＬＳ）に対してシグナリングされることができる。仮想参照デコーダ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ、ＨＲＤ）は、符号化過程で生成できる標準規格による（ｃｏｎｆｏｒｍｉｎｇ）ＮＡＬユニットストリーム又は標準規格によるバイトストリームの変動性に対する制限事項を明示する仮想のデコーダモデルである。

【0164】

ＨＲＤパラメータは、図７を参照して説明したように、ＶＰＳに含まれてシグナリングされることができる。或いは、ＨＲＤパラメータは、ＳＰＳに含まれてシグナリングされることもできる。

【0165】

図８は、本開示の一実施例によってＨＲＤパラメータをシグナリングするためのＳＰＳのシンタックス構造を示す図である。

【0166】

図８に示されている例で、第１値（例えば、１）のｓｐｓ＿ｐｔｌ＿ｄｐｂ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造及びｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造がＳＰＳ内に存在することを示すことができる。ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）は、プロファイルディアレベルに対するパラメータを伝送するためのシンタックス構造であり、ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）パラメータを伝送するためのシンタックス構造であり得る。また、第１値（例えば、１）のｓｐｓ＿ｐｔｌ＿ｄｐｂ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造及びｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造がＳＰＳ内に存在し得ることを示すことができる。第２値（例えば、０）のｓｐｓ＿ｐｔｌ＿ｄｐｂ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、前記４つのシンタックス構造がＳＰＳ内に存在しないことを示すことができる。ｓｐｓ＿ｐｔｌ＿ｄｐｂ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］の値と同じであり得る。すなわち、ｓｐｓ＿ｐｔｌ＿ｄｐｂ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］の値として符号化されることができる。

【0167】

上記において、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、ＶＰＳに含まれて伝送されるシンタックス要素であり得る。第１値（例えば、１）のｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、インデックスがｉである階層が階層間予測（ｉｎｔｅｒ－ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ）を使用しない独立階層であることを示すことができる。第２値（例えば、０）のｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、インデックスがｉである階層が階層間予測（ｉｎｔｅｒ－ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ）を使用することができることを示すことができる。ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］が存在しない場合、その値は、第１値（例えば、１）と推論されることができる。

【0168】

ｓｐｓ＿ｐｔｌ＿ｄｐｂ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である場合、ｓｐｓ＿ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがシグナリングされることができる。

【0169】

第１値（例えば、１）のｓｐｓ＿ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＳＰＳがｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造とｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を含むことを示すことができる。第２値（例えば、０）のｓｐｓ＿ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＳＰＳがｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造又はｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を含まないことを示すことができる。

【0170】

図８に示されているところによれば、ｓｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０より大きい場合、ｓｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがシグナリングされることができる。このとき、ｓｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた値は、前記ＳＰＳを参照する各ＣＬＶＳ（ｃｏｄｅｄ ｌａｙｅｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）に存在しうる時間的サブレイヤー（ｔｅｍｐｏｒａｌ ｓｕｂｌａｙｅｒｓ）の最大個数を示すことができる。第１値（例えば、１）のｓｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＳＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、時間的階層識別子（ＴｅｍｐｏｒａｌＩｄ）が０乃至ｓｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１であるサブレイヤーに対するＨＲＤパラメータを含むことを示すことができる。第２値（例えば、０）のｓｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＳＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、時間的階層識別子（ＴｅｍｐｏｒａｌＩｄ）がｓｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１だけであるサブレイヤーに対するＨＲＤパラメータを含むことを示すことができる。ｓｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０である場合、ｓｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は第２値（例えば、０）と推論されることができる。

【0171】

ｓｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第２値（例えば、０）である場合、時間的階層識別子（ＴｅｍｐｏｒａｌＩｄ）が０乃至ｓｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１－１であるサブレイヤーに対するＨＲＤパラメータは、時間的階層識別子（ＴｅｍｐｏｒａｌＩｄ）がｓｐｓ＿ｍａｘ＿ｓｕｂｌａｙ＿ｍｉｎｕｓ１であるサブレイヤーに対するＨＲＤパラメータと等しいと推論されることができる。

【0172】

図９は、本開示の一実施例によるｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を示す図である。

【0173】

図９に示されているように、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＨＲＤ動作に使用されるシーケンスレベルＨＲＤパラメータの一部を含むことができる。ビットストリームの整合性に対する要求事項として、ビットストリーム内のＶＰＳ又はＳＰＳに存在するｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）の内容は同じでなければならない。

【0174】

ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造がＶＰＳに含まれる場合、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、前記ＶＰＳによって特定される全てのＯＬＳｓに適用できる。ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造がＳＰＳに含まれる場合、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、前記ＳＰＳを参照する階層のうち、最下位階層のみを含むＯＬＳに適用されることができる。このとき、前記最下位階層は独立階層であってもよい。

【0175】

図９に示されているように、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＨＲＤパラメータとして、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ、ｔｉｍｅ＿ｓｃａｌｅ、ｇｅｎｅｒａｌ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇなどのシンタックス要素を含むことができる。図９に示されているＨＲＤパラメータは、従来のＨＲＤパラメータと同じ意味を有することができる。したがって、本開示との関連性が少ないＨＲＤパラメータについての具体的な説明は省略する。

【0176】

図１０は、本開示の一実施例によるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を示す図である。

【0177】

ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造がＶＰＳに含まれる場合、ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が適用されるＯＬＳｓは、前記ＶＰＳによって特定されることができる。ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造がＳＰＳに含まれる場合、ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、前記ＳＰＳを参照する階層のうち、最下位階層のみを含むＯＬＳに適用されることができる。このとき、前記最下位階層は独立階層であってもよい。

【0178】

図１０に示されているように、ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＨＲＤパラメータとして、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ、ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１などのシンタックス要素を含むことができる。図１０に示されているＨＲＤパラメータは、従来のＨＲＤパラメータと同じ意味を有することができる。したがって、本開示との関連性が少ないＨＲＤパラメータについての具体的な説明は省略する。

【0179】

図１１は、本開示の一実施例によるｓｕｂｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を示す図である。

【0180】

ｓｕｂｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、図１０のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に含まれてシグナリングされることができる。

【0181】

図１１に示されているように、ｓｕｂｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＨＲＤパラメータとして、ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１、ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１、ｃｐｂ＿ｓｉｚｅ＿ｄｕ＿ｖａｌｕｅ＿ｍｉｎｕｓ１などのシンタックス要素を含むことができる。図１１に示されているＨＲＤパラメータは、従来のＨＲＤパラメータと同じ意味を有することができる。したがって、本開示との関連性が少ないＨＲＤパラメータについての具体的な説明は省略する。

【0182】

参考までに、出力時間（ｏｕｔｐｕｔ ｔｉｍｅ）は、ＤＰＢから復元されたピクチャが出力される時間を意味することができる。前記出力時間は、出力タイミングＤＰＢ動作（ｏｕｔｐｕｔ ｔｉｍｉｎｇ ＤＰＢ ｏｐｅｒａｔｉｏｎ）に応じてＨＲＤによって特定されることができる。

【0183】

ＮＡＬ ＨＲＤパラメータとＶＣＬ ＨＲＤパラメータの２セットのＨＲＤパラメータが使用できる。ＨＲＤパラメータは、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造とｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を介してシグナリングされることができる。前記ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造とｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＶＰＳに含まれてシグナリングされてもよく、ＳＰＳに含まれてシグナリングされてもよい。

【0184】

例えば、ＤＰＢ管理（ＤＰＢ ｍａｇａｎｅｍｅｎｔ）は、ＨＲＤパラメータに基づいて行われることができる。例えば、現在ピクチャの復号化前にＤＰＢからピクチャの削除及び／又は（復号化された）ピクチャの出力は、ＨＲＤパラメータに基づいて行われることができる。

【0185】

図７～図１１を参照して説明したＨＲＤパラメータのシグナリング方法によれば、少なくとも以下の問題が発生する可能性がある。

【0186】

－上述したように、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１は、０からＴｏｔａｌＮｕｍＯｌｓｓ－１の値を有するように制限されることができる。しかし、ＶＰＳでシグナリングされるそれぞれのＨＲＤパラメータが少なくとも１つのＯＬＳに関連付けられるべきであるという制限がない。したがって、ＶＰＳは、使用されないＨＲＤパラメータを含むことができるので、シグナリングの効率性が低下するという問題がある。

【0187】

－上述したように、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１は、０乃至ＴｏｔａｌＮｕｍＯｌｓｓ－１の値を有するように制限されることができる。しかし、１つの階層のみを含むＯＬＳが１つ以上存在することができるので、前記制限は、使用されないＨＲＤパラメータ構造がＶＰＳに含まれてシグナリングされることを許容する。１つの層のみを含むＯＬＳは、ＶＰＳでシグナリングされるＨＲＤパラメータ構造に関連付けられない。

【0188】

ＯＬＳに関連するＨＲＤパラメータのシグナリングは、上述した問題を含むことにより、本開示で言及されていない他の欠点を含むことができる。

【0189】

前記問題点のうちの少なくとも１つを解決するための本開示による実施例は、以下の構成のうちの少なくとも１つを含むことができる。以下の構成は、個別に又は他の構成と組み合わせられて適用されることができる。

【0190】

構成１：ＶＰＳでシグナリングされる各ＨＲＤパラメータ構造は、少なくとも１つのＯＬＳに関連付けられるように制限され得る。

【0191】

構成２：ＶＰＳでシグナリングされるＨＲＤパラメータ構造の個数（すなわち、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１）は、１つよりも多い階層を含むＯＬＳｓの個数より大きくてはならない。すなわち、ＶＰＳでシグナリングされるＨＲＤパラメータ構造の個数は、ＯＬＳｓの全体個数から１つの階層のみを含むＯＬＳｓの個数を差し引いた数よりも大きくないように制限され得る。

【0192】

図１２は、本開示による実施例が適用できる画像符号化方法の一例を説明するための図である。

【0193】

画像符号化装置は、ＨＲＤパラメータを誘導し（Ｓ１２１０）、画像／ビデオ情報を符号化することができる（Ｓ１２２０）。このとき、画像／ビデオ情報は、前記誘導されたＨＲＤパラメータに関連する情報を含むことができる。

【0194】

図１２には示されていないが、画像符号化装置は、ステップＳ１２１０で誘導されたＨＲＤパラメータに基づいて、ＤＰＢ管理（ＤＰＢ ｍａｎａｇｅｍｅｎｔ）を行うことができる。

【0195】

図１３は、本開示による実施例が適用できる画像復号化方法の一例を説明するための図である。

【0196】

画像復号化装置は、画像／ビデオ情報をビットストリームから取得することができる（Ｓ１３１０）。このとき、画像／ビデオ情報は、ＨＲＤパラメータに関連する情報を含むことができる。

【0197】

画像復号化装置は、取得されたＨＲＤパラメータに基づいてピクチャの復号化を行うことができる（Ｓ１３２０）。

【0198】

図１４は、本開示による実施例が適用できる画像復号化方法の他の例を説明するための図である。

【0199】

画像復号化装置は、画像／ビデオ情報をビットストリームから取得することができる（Ｓ１４１０）。このとき、画像／ビデオ情報は、ＨＲＤパラメータに関連する情報を含むことができる。

【0200】

画像復号化装置は、取得されたＨＲＤパラメータに基づいて、ＤＰＢ管理（ＤＰＢ ｍａｎａｇｅｍｅｎｔ）を行うことができる（Ｓ１４２０）。

【0201】

画像復号化装置は、ＤＰＢに基づいてピクチャの復号化を行うことができる（Ｓ１４３０）。例えば、ＤＰＢ内の既に復元されたピクチャを参照ピクチャとして使用するインター予測に基づいて、現在ピクチャ内のブロック／スライスが復号化されることができる。

【0202】

図１２～図１４を参照して説明した例において、ＨＲＤパラメータに関連する情報は、本開示の実施例のうちの少なくとも１つの実施例に関連して説明された情報／シンタックス要素のうちの少なくとも１つを含むことができる。また、上述したように、ＤＰＢ管理（ＤＰＢ ｍａｎａｇｅｍｅｎｔ）は、ＨＲＤパラメータに基づいて行われることができる。例えば、現在ピクチャの復号化前にＤＰＢからピクチャの削除及び／又は（復号化された）ピクチャの出力は、ＨＲＤパラメータに基づいて行われることができる。

【0203】

上述した問題点の少なくとも一部を解決するための本開示の一実施例によれば、ＶＰＳでシグナリングされる各ＨＲＤパラメータ構造は、少なくとも１つのＯＬＳと関連付けられるように制限されることができる。

【0204】

上述したように、ｉ番目のＯＬＳに適用されるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）は、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］によって特定されることができる。本実施例によれば、ＶＰＳでシグナリングされる全てのｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のそれぞれは、少なくとも１つのＯＬＳに適用されるように制限されることができる。すなわち、ＶＰＳ内のそれぞれのｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）は、少なくとも１つのｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］によって特定されることができる。

【0205】

本実施例によれば、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のそれぞれは少なくとも一度使用される。つまり、使用されないｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）はシグナリングされない。したがって、本実施例によれば、ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のシグナリングを効率よく行うことができるという効果がある。

【0206】

上述した問題点の少なくとも一部を解決するための本開示の他の実施例によれば、ＶＰＳでシグナリングされるＨＲＤパラメータ構造の個数（すなわち、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１）は、１つより多い階層を含むＯＬＳｓの個数よりも大きくないように制限されることができる。

【0207】

図７を参照して説明した例によれば、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に１を加えた値は、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数を示し、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１は、０乃至ＴｏｔａｌＮｕｍＯｌｓｓ－１の値を有することができる。

【0208】

しかし、上述したように、１つの階層のみを含むＯＬＳが存在することができ、１つの階層のみを含むＯＬＳは、ＶＰＳでシグナリングされるＨＲＤパラメータ構造と関連付けられない。図７の例におけるｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の値の範囲は、不正確なシグナリングを引き起こす可能性がある。したがって、ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数の範囲は、ＯＬＳｓの全体個数（ＴｏｔａｌＮｕｍＯｌｓｓ）の代わりに複数の階層を含むＯＬＳｓ（マルチレイヤーＯＬＳ）の個数（ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ）によって特定されれば正確なシグナリングが行われることができる。

【0209】

本開示によれば、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に１を加えた値は、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数を示し、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１は、０乃至ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ－１の値を有することができる。このとき、複数の階層を含むＯＬＳｓ（マルチレイヤーＯＬＳ）の個数（ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ）は、ＯＬＳｓの全体個数（ＴｏｔａｌＮｕｍＯｌｓｓ）から１つの階層のみを含むＯＬＳの個数（ＮｕｍＳｉｎｇｌｅＬａｙｅｒＯｌｓｓ）を差し引いたのと同じであり得る。

【0210】

上述したように、ＶＰＳでシグナリングされる各ＨＲＤパラメータ構造が、少なくとも１つのＯＬＳに関連（マッピング）付けられるように制限されることができる。また、ＶＰＳでシグナリングされるＨＲＤパラメータ構造の個数（すなわち、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１）は、複数の階層を含むＯＬＳｓ（マルチレイヤーＯＬＳ）の個数よりも大きくないように制限されることができる。前記２つの実施例は、組み合わせられた形態で以下のように別の実施例を構成することができる。

【0211】

図１５は、本開示の別の実施例によってｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に基づいてＨＲＤパラメータを符号化する過程を説明するための図である。

【0212】

画像符号化装置は、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１をＶＰＳに符号化することができる（Ｓ１５１０）。ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に１を加えた値は、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数を示し、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１は、０乃至ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ－１の値を持つことができる。

【0213】

画像符号化装置は、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＋１個のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造をＶＰＳに符号化することができる（Ｓ１５２０）。

【0214】

画像符号化装置は、以下の条件１を判断することができる（Ｓ１５３０）。

【0215】

条件１：（ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＋１！＝ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ＆＆ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＞０）？

【0216】

前記条件１は、ビットストリームにｏｌｓ＿ｈｒｄ＿ｉｄｘを符号化するための条件であって、前記条件１を満たす場合（Ｓ１５３０－Ｙｅｓ）、画像符号化装置は、ｏｌｓ＿ｈｒｄ＿ｉｄｘをＶＰＳに符号化することができる（Ｓ１５４０）。図１５を参照して説明する実施例によれば、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］は、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のリストに対するインデックスであって、ｉ番目の複数の階層を含むＯＬＳ（マルチレイヤーＯＬＳ）に適用されるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のインデックスであり得る。すなわち、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］は、マルチレイヤーＯＬＳｓに対してシグナリングされ、０乃至ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の値を有することができる。

【0217】

前記条件１を満たさない場合（Ｓ１５３０－Ｎｏ）、画像符号化装置は、ｏｌｓ＿ｈｒｄ＿ｉｄｘをＶＰＳに符号化せず、その値は推論されることができる（Ｓ１５５０）。具体的には、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１が０である場合、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］の値は０と推論されることができる。そうではなく、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍ＿ｍｉｎｕｓ１に１を加えた値がＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓと等しい場合、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］の値はｉと等しいと推論されることができる。

【0218】

また、単一階層のみを含むＯＬＳに適用されるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＶＰＳに符号化されず、当該ＯＬＳ内の前記階層によって参照されるＳＰＳに符号化されることができる。

【0219】

また、ＶＰＳ内のそれぞれのｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）は、少なくとも１つのｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］（ｉは０乃至ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ－１の値を有する）によって参照されることができる。

【0220】

画像符号化装置は、ＨＲＤパラメータに基づいてピクチャを符号化することができる（Ｓ１５６０）。このとき、ＨＲＤパラメータは、ステップＳ１５４０で取得されるか、或いはステップＳ１５５０で推論されたｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］によって参照されるＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）であり得る。または、単一階層のみを含むＯＬＳの場合、ＨＲＤパラメータは、前記単一階層によって参照されるＳＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）であり得る。

【0221】

図１６は、本開示の別の実施例によってｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に基づいてＨＲＤパラメータを復号化する過程を説明するための図である。

【0222】

画像復号化装置は、ＶＰＳからｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１を取得することができる（Ｓ１６１０）。ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に１を加えた値は、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数を示し、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１は、０乃至ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ－１の値を有することができる。

【0223】

画像復号化装置は、ＶＰＳからｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＋１個のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を取得することができる（Ｓ１６２０）。

【0224】

画像復号化装置は、以下の条件２を判断することができる（Ｓ１６３０）。

【0225】

条件２：（ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＋１！＝ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ＆＆ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＞０）？

【0226】

前記条件２は、ビットストリームからｏｌｓ＿ｈｒｄ＿ｉｄｘを取得するための条件であって、前記条件２を満たす場合（Ｓ１６３０－Ｙｅｓ）、画像復号化装置は、ＶＰＳからｏｌｓ＿ｈｒｄ＿ｉｄｘを取得することができる（Ｓ１６４０）。図１６を参照して説明する実施例によれば、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］は、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のリストに対するインデックスであって、ｉ番目の複数の階層を含むＯＬＳ（マルチレイヤーＯＬＳ）に適用されるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のインデックスであり得る。

【0227】

すなわち、ＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］は、マルチレイヤーＯＬＳに対してシグナリングされ、０乃至ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の値を有することができる。

【0228】

前記条件２を満たさない場合（Ｓ１６３０－Ｎｏ）、画像復号化装置は、ＶＰＳからｏｌｓ＿ｈｒｄ＿ｉｄｘを取得せず、その値を推論することができる（Ｓ１６５０）。具体的には、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１が０である場合、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］の値は０と推論されることができる。そうではなく、ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍ＿ｍｉｎｕｓ１に１を加えた値がＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓと等しい場合、ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］の値はｉに等しいと推論されることができる。

【0229】

また、単一階層のみを含むＯＬＳに適用されるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＶＰＳから取得されず、当該ＯＬＳ内の前記階層によって参照されるＳＰＳから取得されることができる。

【0230】

また、ＶＰＳ内のそれぞれのｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）は、少なくとも１つのｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］（ｉは０乃至ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ－１の値を有する）によって参照されることができる。

【0231】

画像復号化装置は、ＨＲＤパラメータに基づいてピクチャを復号化することができる（Ｓ１６６０）。このとき、ＨＲＤパラメータは、ステップＳ１６４０で取得されるか、或いはステップＳ１６５０で推論されたｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］によって参照されるＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）であり得る。或いは、単一階層のみを含むＯＬＳの場合、ＨＲＤパラメータは、単一階層によって参照されるＳＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）であり得る。

【0232】

図１５及び図１６を参照して説明した実施例によれば、参照されないＶＰＳ内のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の不要なシグナリングを防止することができ、単一階層のみを含むＯＬＳに対するｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＳＰＳを介してのみシグナリングすることにより、ＨＲＤパラメータのシグナリングをより正確かつ効率的に行うことができるという効果がある。

【0233】

図１５及び図１６を参照して説明した方法において、一部のステップは省略されてもよく、他のステップと順序が変更されてもよい。また、図１５及び図１６に示されていないステップが任意の位置に付加されることができる。

【0234】

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。

【0235】

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

【0236】

本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

【0237】

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

【0238】

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0239】

図１7は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【0240】

図１７に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0241】

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

【0242】

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0243】

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

【0244】

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

【0245】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

【0246】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

【0247】

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0248】

本開示による実施例は、画像を符号化／復号化することに利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【手続補正書】

【提出日】2024-05-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、前記画像復号化方法は、
ＶＰＳ（Video Parameter Set）内の１つ以上のＨＲＤ（hypothetical reference decoder）パラメータシンタックス構造の個数を示す第１情報を取得するステップと、
前記第１情報に基づいて、前記ＶＰＳから前記１つ以上のＨＲＤパラメータシンタックス構造を取得するステップと、
前記第１情報に基づいて、前記ＶＰＳから１つ以上のマルチレイヤーＯＬＳ（output layer set）と前記１つ以上のＨＲＤパラメータシンタックス構造との間のマッピングに関する第２情報を取得するステップと、
前記第２情報に基づいて、現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造を選択するステップと、
前記選択されたＨＲＤパラメータシンタックス構造に基づいて、前記現在ＯＬＳを処理するステップと、を含み、
前記第１情報は、前記ＶＰＳが前記１つ以上のＨＲＤパラメータシンタックス構造を含むかどうかに基づいて取得され、
前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造のそれぞれは、前記１つ以上のマルチレイヤーＯＬＳのうちの少なくとも１つのマルチレイヤーＯＬＳにマッピングされる、画像復号化方法。

【請求項2】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数は、前記１つ以上のマルチレイヤーＯＬＳの個数よりも大きくない、請求項１に記載の画像復号化方法。

【請求項3】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１よりも大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が前記１つ以上のマルチレイヤーＯＬＳの個数と等しくないことに基づいて、前記第２情報は、前記ＶＰＳから取得される、請求項１に記載の画像復号化方法。

【請求項4】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１であることに基づいて、前記第２情報は、前記ＶＰＳから取得されず、前記第２情報は、０の値に等しいと推論される、請求項３に記載の画像復号化方法。

【請求項5】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１よりも大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が前記１つ以上のマルチレイヤーＯＬＳの個数と等しいことに基づいて、前記第２情報は、前記ＶＰＳから取得されず、ｉ番目のマルチレイヤーＯＬＳの前記第２情報は、ｉの値に等しいと推論される、請求項３に記載の画像復号化方法。

【請求項6】

前記現在ＯＬＳが単一階層のみを含むことに基づいて、前記現在ＯＬＳに適用される前記ＨＲＤパラメータシンタックス構造は、ＳＰＳ（Sequence Parameter Set）から取得される、請求項１に記載の画像復号化方法。

【請求項7】

画像符号化装置によって行われる画像符号化方法であって、前記画像符号化方法は、
ＶＰＳ（Video Parameter Set）内の１つ以上のＨＲＤ（hypothetical reference decoder）パラメータシンタックス構造の個数を示す第１情報を符号化するステップと、
前記第１情報に基づいて、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造を符号化するステップと、
前記第１情報に基づいて、前記ＶＰＳ内の１つ以上のマルチレイヤーＯＬＳ（output layer set）と前記１つ以上のＨＲＤパラメータシンタックス構造との間のマッピングに関する第２情報を符号化するステップと、
現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造に基づいて、前記現在ＯＬＳを処理するステップと、を含み、
前記第１情報は、前記ＶＰＳが前記１つ以上のＨＲＤパラメータシンタックス構造を含むかどうかに基づいて符号化され、
前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造のそれぞれは、前記１つ以上のマルチレイヤーＯＬＳのうちの少なくとも１つのマルチレイヤーＯＬＳにマッピングされる、画像符号化方法。

【請求項8】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数は、前記１つ以上のマルチレイヤーＯＬＳの個数よりも大きくない、請求項７に記載の画像符号化方法。

【請求項9】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１よりも大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が前記１つ以上のマルチレイヤーＯＬＳの個数と等しくないことに基づいて、前記第２情報は、前記ＶＰＳ内に符号化される、請求項７に記載の画像符号化方法。

【請求項10】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１であることに基づいて、前記第２情報は、前記ＶＰＳ内に符号化されず、前記第２情報は、０の値に等しいと推論される、請求項９に記載の画像符号化方法。

【請求項11】

前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数が１よりも大きく、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造の個数がマルチレイヤーＯＬＳの個数と等しいことに基づいて、前記第２情報は、前記ＶＰＳ内に符号化されず、ｉ番目のマルチレイヤーＯＬＳの前記第２情報は、ｉの値に等しいと推論される、請求項９に記載の画像符号化方法。

【請求項12】

前記現在ＯＬＳが単一階層のみを含むことに基づいて、前記現在ＯＬＳに適用される前記ＨＲＤパラメータシンタックス構造は、ＳＰＳ（Sequence Parameter Set）内に符号化される、請求項７に記載の画像符号化方法。

【請求項13】

ビットストリームを伝送する方法であって、
前記ビットストリームを生成するステップと、
前記ビットストリームを伝送するステップと、を含み、
前記ビットストリームは、
ＶＰＳ（Video Parameter Set）内の１つ以上のＨＲＤ（hypothetical reference decoder）パラメータシンタックス構造の個数を示す第１情報を符号化するステップと、
前記第１情報に基づいて、前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造を符号化するステップと、
前記第１情報に基づいて、前記ＶＰＳ内の１つ以上のマルチレイヤーＯＬＳ（output layer set）と前記１つ以上のＨＲＤパラメータシンタックス構造との間のマッピングに関する第２情報を符号化するステップと、
現在ＯＬＳに適用されるＨＲＤパラメータシンタックス構造に基づいて、前記現在ＯＬＳを処理するステップと、を行うことによって生成され、
前記第１情報は、前記ＶＰＳが前記１つ以上のＨＲＤパラメータシンタックス構造を含むかどうかに基づいて符号化され、
前記ＶＰＳ内の前記１つ以上のＨＲＤパラメータシンタックス構造のそれぞれは、前記１つ以上のマルチレイヤーＯＬＳのうちの少なくとも１つのマルチレイヤーＯＬＳにマッピングされる、方法。