特開 2024-163297 出力レイヤセットに基づいてパラメータセットの参照如何を決定する画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024163297

(43)【公開日】2024-11-21

(54)【発明の名称】出力レイヤセットに基づいてパラメータセットの参照如何を決定する画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

(51)【国際特許分類】

   H04N 19/70 20140101AFI20241114BHJP

   H04N 19/30 20140101ALI20241114BHJP

【ＦＩ】

H04N19/70

H04N19/30

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2024158326

(22)【出願日】2024-09-12

(62)【分割の表示】P 2022559931の分割

【原出願日】2021-04-01

(31)【優先権主張番号】63/003,813

(32)【優先日】2020-04-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/005,464

(32)【優先日】2020-04-06

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ヘンドリー ヘンドリー

(57)【要約】

【課題】画像符号化／復号化方法及び装置が提供される。
【解決手段】本開示による画像復号化装置によって行われる画像復号化方法は、画像符号化データを復号化するためのパラメータセットの参照可用性を決定するステップと、参照可用性に基づいて画像符号化データを復号化するステップと、を含み、ＶＰＳによって指定され、出力レイヤセットのうち、画像符号化データに対応するレイヤを含む各出力レイヤセットが、パラメータセットに対応するレイヤをさらに含むかどうかに基づいて、参照可用性が決定され、画像符号化データに対応するレイヤは、画像符号化データに対応するＶＣＬ ＮＡＬユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、パラメータセットに対応するレイヤは、パラメータセットに対応するＮＡＬユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、パラメータセットは、ＰＰＳである。
【選択図】図１７

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
ビットストリームからパラメータセット及び画像符号化データを取得するステップと、
前記画像符号化データを復号化するための前記パラメータセットの参照可用性を決定するステップと、
前記参照可用性に基づいて前記画像符号化データを復号化するステップと、を含み、
前記参照可用性は、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む出力レイヤセットが所定のレイヤを含むか否かに基づいて決定される、画像復号化方法。

【請求項2】

前記出力レイヤセットは、ＶＰＳ（Ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）に基づいて決定される、請求項１に記載の画像復号化方法。

【請求項3】

前記所定のレイヤは、前記パラメータセットに対応するレイヤである、請求項１に記載の画像復号化方法。

【請求項4】

前記画像符号化データに対応するレイヤは、前記画像符号化データに対応するＶＣＬ（Ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ）ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、
前記所定のレイヤは、前記パラメータセットに対応するＮＡＬユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、
前記パラメータセットは、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）及びＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）のうちの少なくとも１つである、請求項３に記載の画像復号化方法。

【請求項5】

前記パラメータセットに対応するレイヤ識別子の値が前記画像符号化データに対応するレイヤ識別子の値よりも大きいことに基づいて、前記パラメータセットは、前記画像符号化データを復号化するための参照に利用可能ではないと決定される、請求項１に記載の画像復号化方法。

【請求項6】

前記画像符号化データに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットのうちの少なくとも１つの出力レイヤセットが、前記パラメータセットに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤを含まないことに基づいて、前記パラメータセットは、前記画像符号化データを復号化するための参照に利用可能でないと決定される、請求項１に記載の画像復号化方法。

【請求項7】

前記パラメータセットに対応する第２レイヤ識別子の値が、前記画像符号化データに対応する第１レイヤ識別子の値より大きくなく、前記第１レイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記第２レイヤ識別子と同じレイヤ識別子を有するレイヤを含むことに基づいて、前記パラメータセットは、前記画像符号化データを復号化するための参照に利用可能であると決定される、請求項１に記載の画像復号化方法。

【請求項8】

前記パラメータセットは、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、及びＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含み、
前記パラメータセットに対する参照可用性は、前記ＳＰＳ、前記ＰＰＳ及び前記ＡＰＳに対して個別に決定される、請求項７に記載の画像復号化方法。

【請求項9】

前記ＳＰＳに対応する第２レイヤ識別子の値が、前記画像符号化データに対応する第１レイヤ識別子の値より大きくなく、前記第１レイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記第２レイヤ識別子と同じレイヤ識別子を有するレイヤを含むことに基づいて、前記ＳＰＳは、前記画像符号化データを復号化するための参照に利用可能であると決定される、請求項８に記載の画像復号化方法。

【請求項10】

前記ＰＰＳに対応する第３レイヤ識別子の値が、前記画像符号化データに対応する第１レイヤ識別子の値より大きくなく、前記第１レイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記第３レイヤ識別子と同じレイヤ識別子を有するレイヤを含むことに基づいて、前記ＰＰＳは、前記画像符号化データを復号化するための参照に利用可能であると決定される、請求項９に記載の画像復号化方法。

【請求項11】

前記ＡＰＳに対応する第４レイヤ識別子の値が、前記画像符号化データに対応する第１レイヤ識別子の値より大きくなく、前記第１レイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記第４レイヤ識別子と同じレイヤ識別子を有するレイヤを含むことに基づいて、前記ＡＰＳは、前記画像符号化データを復号化するための参照に利用可能であると決定される、請求項１０に記載の画像復号化方法。

【請求項12】

メモリと少なくとも１つのプロセッサとを含む画像復号化装置であって、
前記少なくとも１つのプロセッサは、
ビットストリームからパラメータセット及び画像符号化データを取得し、
前記画像符号化データを復号化するための前記パラメータセットの参照可用性を決定し、
前記参照可用性に基づいて前記画像符号化データを復号化し、
前記参照可用性は、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む出力レイヤセットが所定のレイヤを含むか否かに基づいて決定される、画像復号化装置。

【請求項13】

画像符号化装置によって行われる画像符号化方法であって、
画像を符号化して前記画像の一部分に対する画像符号化データと前記符号化データに対するパラメータセットを生成するステップと、
前記画像符号化データと前記パラメータセットとを含むビットストリームを生成するステップと、を含み、
前記画像符号化データを復号化するための前記パラメータセットの参照可用性に基づいて前記パラメータセットが生成され、
前記参照可用性は、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む出力レイヤセットが所定のレイヤを含むか否かに基づいて決定される、画像符号化方法。

【請求項14】

前記出力レイヤセットを表すための情報がＶＰＳ（Ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）に含まれて前記ビットストリームに含まれ、
前記所定のレイヤは、前記パラメータセットに対応するレイヤであり、
前記画像符号化データに対応するレイヤは、前記画像符号化データに対応するＶＣＬ（Ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ）ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、
前記所定のレイヤは、前記パラメータセットに対応するＮＡＬユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、
前記パラメータセットは、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）及びＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）のうちの少なくとも一つである、請求項１３に記載の画像符号化方法。

【請求項15】

コンピュータ可読記録媒体であって、前記記録媒体には、復号化装置が請求項１に記載の画像復号化方法を行うように引き起こすビットストリームが保存された、記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化／復号化方法及び装置に関し、より詳細には、パラメータセットの参照如何を決定する画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

【背景技術】

【0002】

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

【0003】

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

【0005】

また、本開示は、パラメータセットの参照如何を決定することにより、符号化／復号化の効率の向上を図る画像符号化／復号化方法及び装置を提供することを目的とする。

【0006】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

【0007】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

【0008】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。例えば、前記記録媒体には、本開示による復号化装置が本開示による画像復号化方法を行うように引き起こすビットストリームが保存されることができる。

【0009】

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。

【課題を解決するための手段】

【0010】

本開示の一態様に係る画像復号化装置によって行われる画像復号化方法は、ビットストリームからパラメータセット及び画像符号化データを取得するステップと、前記画像符号化データを復号化するための前記パラメータセットの参照可用性を決定するステップと、前記参照可用性に基づいて前記画像符号化データを復号化するステップと、を含むことができる。ここで、前記参照可用性は、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む出力レイヤセットが所定のレイヤを含むか否かに基づいて決定されることができる。

【0011】

また、本開示の一態様に係る画像復号化装置は、メモリと少なくとも１つのプロセッサとを含む画像復号化装置であって、前記少なくとも１つのプロセッサは、ビットストリームからパラメータセット及び画像符号化データを取得し、前記画像符号化データを復号化するための前記パラメータセットの参照可用性を決定し、前記参照可用性に基づいて前記画像符号化データを復号化することができる。ここで、前記参照可用性は、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む出力レイヤセットが所定のレイヤを含むか否かに基づいて決定されることができる。

【0012】

また、本開示の一態様に係る画像符号化装置によって行われる画像符号化方法は、画像を符号化して前記画像の一部分に対する画像符号化データと、前記符号化データに対するパラメータセットを生成するステップと、前記画像符号化データと前記パラメータセットとを含むビットストリームを生成するステップと、を含むことができる。ここで、前記画像符号化データを復号化するための前記パラメータセットの参照可用性に基づいて前記パラメータセットが生成されることができる。前記参照可用性は、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む出力レイヤセットが所定のレイヤを含むか否かに基づいて決定されることができる。

【0013】

また、本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。

【0014】

また、本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

【0015】

また、本開示の別の態様によるコンピュータ可読記録媒体は、復号化装置が本開示の画像復号化方法を行うように引き起こすビットストリームを保存することができる。

【0016】

また、本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

【発明の効果】

【0017】

本開示によれば、符号化／復号化の効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

【0018】

また、本開示によれば、パラメータセットの参照如何を決定することにより、符号化／復号化の効率の向上を図ることができる画像符号化／復号化方法及び装置が提供されることができる。

【0019】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

【0020】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

【0021】

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

【0022】

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【図面の簡単な説明】

【0023】

【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【図4】一実施例によるピクチャ復号化及び符号化手順の一例を示す図である。

【図5】一実施例によるピクチャ復号化及び符号化手順の一例を示す図である。

【図6】一実施例によるコーディングされた画像に対する階層構造を示す図である。

【図7】マルチレイヤベースの符号化及び復号化を説明する図である。

【図8】マルチレイヤベースの符号化及び復号化を説明する図である。

【図9】マルチレイヤベースの符号化及び復号化を説明する図である。

【図10】マルチレイヤベースの符号化及び復号化を説明する図である。

【図11】一実施例によるＶＰＳ ＮＡＬユニットを説明する図である。

【図12】一実施例によるＶＰＳ ＮＡＬユニットを説明する図である。

【図13】一実施例によるＳＰＳ ＮＡＬユニットを説明する図である。

【図14】一実施例によるＰＰＳ ＮＡＬユニットを説明する図である。

【図15】一実施例によるＡＰＳ ＮＡＬユニットを説明する図である。

【図16】図１２の擬似コードの他の一実施例を示す図である。

【図17】一実施例による復号化方法を示す図である。

【図18】一実施例による復号化方法を示す図である。

【図19】一実施例による符号化方法を示す図である。

【図20】本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【発明を実施するための形態】

【0024】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0025】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0026】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0027】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素は、他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を、他の実施例で第１構成要素と呼んでもよい。

【0028】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

【0029】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0030】

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

【0031】

本開示で開示された方法／実施例は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準に開示される方法に適用されることができる。また、本開示で開示された方法／実施例は、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）又は次世代ビデオ／画像コーディング標準（例えば．Ｈ．２６７又はＨ．２６８など）に開示される方法に適用されることができる。

【0032】

本開示では、ビデオ／画像コーディングに関する様々な実施例を提示し、他に言及しない本開示における実施例は、互いに組み合わせられて行われることもできる。

【0033】

本開示において、「ビデオ（ｖｉｄｅｏ）」は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味することができる。「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、符号化においてピクチャの一部を構成する符号化単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。前記ＣＵＴは、一つ以上のＣＵに分割されることができる。

【0034】

１つのピクチャは、１つ以上のスライス／タイルで構成されることができる。タイルは、ピクチャ内の特定のタイル行（Ｔｉｌｅ Ｒｏｗ）及び特定のタイル列（Ｔｉｌｅ Ｃｏｌｕｍｎ）内に存在する四角領域であり、複数のＣＴＵから構成されることができる。タイル列は、ＣＴＵの四角領域として定義されることができ、ピクチャの高さと同じ高さを有し、ピクチャパラメータセットなどのビットストリーム部分からシグナリングされるシンタックス要素によって指定される幅を有することができる。タイル行は、ＣＴＵの四角領域として定義されることができ、ピクチャの幅と同じ幅を有し、ピクチャパラメータセットなどのビットストリーム部分からシグナリングされるシンタックス要素によって指定される高さを有することができる。

【0035】

タイルスキャンは、ピクチャを分割するＣＴＵの所定の連続した順序付け方法である。ここで、ＣＴＵは、タイル内でＣＴＵラスタスキャン（ｒａｓｔｅｒ ｓｃａｎ）に従って連続的に順序付けられてもよく、ピクチャ内のタイルは、ピクチャのタイルのラスタスキャン順序に従って連続的に順序付けられてもよい。スライスは、整数個の完全なタイルを含むか、或いは１つのピクチャの１つのタイル内の連続する整数個の完全なＣＴＵ行を含むことができる。スライスは、１つのシングルＮＡＬユニットに独占的に含まれることができる。

【0036】

１つのピクチャは、２つ以上のサブピクチャに区分されることができる。サブピクチャは、ピクチャ内の１つ以上のスライスの四角領域であり得る。

【0037】

１つのピクチャは、１つ以上のタイルグループで構成されることができる。１つのタイルグループは、１つ以上のタイルを含むことができる。ブリックは、ピクチャ内のタイル以内のＣＴＵ行の四角領域を示すことができる。１つのタイルは、１つ以上のブリック（Ｂｒｉｃｋ）を含むことができる。ブリックは、タイル内のＣＴＵ行の四角領域を示すことができる。１つのタイルは、複数のブリックに分割されることができ、それぞれのブリックは、タイルに属する１つ以上のＣＴＵ行を含むことができる。複数のブリックに分割されないタイルもブリックとして扱われることができる。

【0038】

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0039】

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、Ｃｂ、Ｃｒ）ブロックを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

【0040】

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーティングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

【0041】

本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、「現在ブロックのルマブロック」を意味することができる。「現在ブロックのクロマブロック」は、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。

【0042】

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

【0043】

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

【0044】

本開示において、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「ＡとＢの両方」を意味することができる。また、本開示において、「少なくとも１つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同一に解釈されることができる。

【0045】

また、本開示において、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、又は「Ａ、Ｂ及びＣの任意のいずれの組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。また、「少なくとも１つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味することができる。

【0046】

また、本開示で使用される括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味することができる。具体的に、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えれば、本開示の「予測」は、「イントラ予測」に限定（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（すなわち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。

【0047】

本開示において、１つの図面内で個別に説明される技術的特徴は、個別に実現されてもよく、同時に実現されてもよい。

【0048】

ビデオコーディングシステムの概要

【0049】

図１は、本開示によるビデオコーディングシステムを示す。

【0050】

一実施例によるビデオコーディングシステムは、ソースデバイス１０及び受信デバイス２０を含むことができる。ソースデバイス１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して受信デバイス２０へ伝達することができる。

【0051】

一実施例によるソースデバイス１０は、ビデオソース生成部１１、符号化装置１２及び伝送部１３を含むことができる。一実施例による受信デバイス２０は、受信部２１、復号化装置２２及びレンダリング部２３を含むことができる。前記符号化装置１２は、ビデオ／画像符号化装置と呼ばれることができ、前記復号化装置２２は、ビデオ／画像復号化装置と呼ばれることができる。伝送部１３は、符号化装置１２に含まれることができる。受信部２１は、復号化装置２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

【0052】

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

【0053】

符号化装置１２は、入力ビデオ／画像を符号化することができる。符号化装置１２は、圧縮及び符号化の効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化装置１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

【0054】

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して受信デバイス２０の受信部２１へ伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め定められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化装置２２へ伝達することができる。

【0055】

復号化装置２２は、符号化装置１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

【0056】

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

【0057】

画像符号化装置の概要

【0058】

図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0059】

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

【0060】

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

【0061】

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

【0062】

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0063】

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0064】

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

【0065】

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。

【0066】

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

【0067】

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

【0068】

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0069】

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

【0070】

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

【0071】

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

【0072】

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0073】

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0074】

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

【0075】

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

【0076】

画像復号化装置の概要

【0077】

図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0078】

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

【0079】

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

【0080】

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

【0081】

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

【0082】

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

【0083】

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0084】

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

【0085】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

【0086】

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

【0087】

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

【0088】

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

【0089】

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

【0090】

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0091】

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

【0092】

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

【0093】

一般な画像／ビデオコーディング手順

【0094】

画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号化順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）に従って符号化／復号化できる。復号化されたピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）に該当するピクチャ順序（ｐｉｃｔｕｒｅ ｏｒｄｅｒ）は、前記復号化順序とは異なるように設定できる。これに基づいて、インター予測の際に、順方向予測だけでなく、逆方向予測も行うことができる。

【0095】

図４は、本開示の実施例が適用できる概略的なピクチャ復号化手順の例を示す。図４において、Ｓ４１０は、図３で上述した復号化装置のエントロピー復号化部２１０で行われることができ、Ｓ４２０は、イントラ予測部２６５及びインター予測部２６０を含む予測部で行われることができ、Ｓ４３０は、逆量子化部２２０及び逆変換部２３０を含むレジデュアル処理部で行われることができ、Ｓ４４０は、加算部２３５で行われることができ、Ｓ４５０は、フィルタリング部２４０で行われることができる。Ｓ４１０は、本開示で説明された情報復号化手順を含むことができ、Ｓ４２０は、本開示で説明されたインター／イントラ予測手順を含むことができ、Ｓ４３０は、本開示で説明されたレジデュアル処理手順を含むことができ、Ｓ４４０は、本開示で説明されたブロック／ピクチャ復元手順を含むことができ、Ｓ４５０は、本開示で説明されたインループフィルタリング手順を含むことができる。

【0096】

図４を参照すると、ピクチャ復号化手順は、図３についての説明で示されているように、概略的に、ビットストリームから（復号化による）画像／ビデオ情報取得手順（Ｓ４１０）、ピクチャ復元手順（Ｓ４２０～Ｓ４４０）、及び復元されたピクチャに対するインループフィルタリング手順（Ｓ４５０）を含むことができる。前記ピクチャ復元手順は、本開示で説明されたインター／イントラ予測（Ｓ４２０）及びレジデュアル処理（Ｓ４３０、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正（ｍｏｄｉｆｉｅｄ）された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順（Ｓ４５０）は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及び／又はバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの一つ又は一部が順次適用されてもよく、全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。

【0097】

図５は、本開示の実施例が適用できる概略的なピクチャ符号化手順の例を示す。図５において、Ｓ５１０は、図２で上述した符号化装置のイントラ予測部１８５又はインター予測部１８０を含む予測部で行われることができ、Ｓ５２０は、変換部１２０及び／又は量子化部１３０を含むレジデュアル処理部で行われることができ、Ｓ５３０は、エントロピー符号化部１９０で行われることができる。Ｓ５１０は、本開示で説明されたインター／イントラ予測手順を含むことができ、Ｓ５２０は、本開示で説明されたレジデュアル処理手順を含むことができ、Ｓ５３０は、本開示で説明された情報符号化手順を含むことができる。

【0098】

図５を参照すると、ピクチャ符号化手順は、図２についての説明で示されているように、概略的にピクチャ復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（ｏｐｔｉｏｎａｌ）を含むことができる。符号化装置は、逆量子化部１４０及び逆変換部１５０を介して、量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、Ｓ５１０の出力である予測サンプルと前記（修正された）レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリ１７０に保存されることができ、復号化装置での場合と同様に、以後のピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。

【0099】

このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画像コーディング時に発生するノイズを低減することができ、主観的／客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。

【0100】

上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス／タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分及びクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用されるができる。

【0101】

コーディング階層及び構造の例

【0102】

本開示によるコーディングされたビデオ／画像は、例えば、後述するコーディング階層及び構造に従って処理できる。

【0103】

図６は、コーディングされた画像に対する階層構造を示す図である。コーディングされた画像は、画像の復号化処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を伝送し保存する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されることができる。

【0104】

ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。

【0105】

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダーには、該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

【0106】

前記図面に示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号化するために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。

【0107】

上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。

【0108】

上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。

【0109】

例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むか否かによって、大きくＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。

【0110】

以下に、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセット／情報の種類などによって特定されたＮＡＬユニットタイプの一例を羅列する。

【0111】

－ＤＣＩ（Ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ） ＮＡＬ ｕｎｉｔ：ＤＣＩを含むＮＡＬユニットに対するタイプ

【0112】

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＶＰＳを含むＮＡＬユニットに対するタイプ

【0113】

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ

【0114】

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＰＰＳを含むＮＡＬユニットに対するタイプ

【0115】

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ

【0116】

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ） ＮＡＬ ｕｎｉｔ：Ｔｙｐｅ ｆｏｒ ＮＡＬ ｕｎｉｔ ｉｎｃｌｕｄｉｎｇ ＰＨ

【0117】

上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであることができ、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値として特定されることができる。

【0118】

一方、上述したように、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダー及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス（スライスヘッダー及びスライスデータ集合）に対して一つのピクチャヘッダーがさらに付加されることができる。前記ピクチャヘッダー（ピクチャヘッダーシンタックス）は、前記ピクチャに共通に適用可能な情報／パラメータを含むことができる。

【0119】

前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライス又はピクチャに共通に適用可能な情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、マルチレイヤに共通に適用可能な情報／パラメータを含むことができる。前記ＤＣＩ（ＤＣＩシンタックス）は、ビデオ全般に共通に適用可能な情報／パラメータを含むことができる。前記ＤＣＩは、復号化能力（ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ）に関連する情報／パラメータを含むことができる。本開示において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＣＩシンタックス、ピクチャヘッダーシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。一方、本開示において、下位レベルシンタックス（ｌｏｗ ｌｅｖｅｌ ｓｙｎｔａｘ、ＬＬＳ）は、例えば、スライスデータシンタックス、ＣＴＵシンタックス、符号化単位シンタックス、変換単位シンタックスなどを含むことができる。

【0120】

本開示において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーの情報、前記ピクチャヘッダーの情報、前記ＡＰＳの情報、前記ＰＰＳの情報、ＳＰＳの情報、前記ＶＰＳの情報及び／又は前記ＤＣＩの情報を含むことができる。また、前記画像／ビデオ情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）及び／又はＮＡＬユニットヘッダーの情報をさらに含むことができる。

【0121】

マルチレイヤベースの符号化

【0122】

本開示による画像／ビデオコーディングは、マルチレイヤベースの画像／ビデオコーディングを含むことができる。前記マルチレイヤベースの画像／ビデオコーディングは、スケーラブルコーディングを含むことができる。マルチレイヤベースのコーディング又はスケーラブルコーディングでは、入力信号をレイヤごとに処理することができる。レイヤによって、入力信号（入力画像／ピクチャ）は、解像度（ｒｅｓｏｌｕｔｉｏｎ）、フレームレート（ｆｒａｍｅ ｒａｔｅ）、ビットデプス（ｂｉｔ－ｄｅｐｔｈ）、カラーフォーマット（ｃｏｌｏｒ ｆｏｒｍａｔ）、アスファクトレート（ａｓｐｅｃｔ ｒａｔｉｏ）、ビュー（ｖｉｅｗ）のうちの少なくとも１つに対して互いに異なる値を有することができる。この場合、レイヤ間の差異点を利用して（例えば、スケーラビリティに基づいて）、レイヤ間の予測を行うことにより、情報の重複伝送／処理を減らし、圧縮効率を高めることができる。

【0123】

図７は、本開示の実施例が適用でき、マルチレイヤベースのビデオ／画像信号の符号化が行われるマルチレイヤ符号化装置７００の概略的なブロック図を示す。

【0124】

図７のマルチレイヤ符号化装置７００は、前記図２の符号化装置を含むことができる。図２と比較して、図７のマルチレイヤ符号化装置７００では、画像分割部１１０及び加算部１５５の図示が省略されているが、前記マルチレイヤ符号化装置７００は、画像分割部１１０及び加算部１５５を含むことができる。一実施例において、画像分割部１１０及び加算部１５５はレイヤ単位で含まれることができる。以下、図７についての説明では、マルチレイヤベースの予測について重点的に説明する。例えば、以下に説明される内容の他にも、図７のマルチレイヤ符号化装置７００は、先立って図２を参照して説明したような符号化装置に対する技術的思想を含むことができる。

【0125】

説明の便宜のために、２つのレイヤからなるマルチレイヤ構造が図７に示されている。しかし、本開示の実施例は、２つのレイヤに限定されず、本開示の実施例が適用されるマルチレイヤ構造は、２つ以上のレイヤを含むことができる。

【0126】

図７を参照すると、符号化装置７００は、レイヤ１に対する符号化部７００－１と、レイヤ０に対する符号化部７００－０と、を含む。レイヤ０はベースレイヤ、参照レイヤ又は下位レイヤであり、レイヤ１はエンハンスメントレイヤ、現在レイヤ又は上位レイヤであり得る。

【0127】

レイヤ１の符号化部７００－１は、予測部７２０－１、レジデュアル処理部７３０－１、フィルタリング部７６０－１、メモリ７７０－１、エントロピー符号化部７４０－１、及びＭＵＸ（Ｍｕｌｔｉｐｌｅｘｅｒ）７７０を含むことができる。一実施例において、前記ＭＵＸは外部コンポーネントとして含まれてもよい。

【0128】

レイヤ０の符号化部７００－０は、予測部７２０－０、レジデュアル処理部７３０－０、フィルタリング部７６０－０、メモリ７７０－０及びエントロピー符号化部７４０－０を含むことができる。

【0129】

予測部７２０－０、７２０－１は、入力された画像に対して上述したように様々な予測技法に基づいて予測を行うことができる。例えば、予測部７２０－０、７２０－１は、インター予測とイントラ予測を行うことができる。予測部７２０－０、７２０－１は、所定の処理単位で予測を行うことができる。予測の実行単位は、コーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ）であってもよく、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ）であってもよい。予測の結果に基づいて予測されたブロック（予測サンプルを含む）が生成されることができ、これに基づいてレジデュアル処理部はレジデュアルブロック（レジデュアルサンプルを含む）を導出することができる。

【0130】

インター予測を通じては、現在ピクチャの以前ピクチャ及び／又は以後ピクチャのうちの少なくとも１つのピクチャの情報に基づいて予測を行って予測ブロックを生成することができる。イントラ予測を通じては、現在ピクチャ内の周辺サンプルに基づいて予測を行って予測ブロックを生成することができる。

【0131】

インター予測のモード又は方法として、上述した様々な予測モード方法などが使用できる。インター予測では、予測対象である現在ブロックに対して参照ピクチャを選択し、参照ピクチャ内で現在ブロックに対応する参照ブロックを選択することができる。予測部７２０－０、７２０－１は、参照ブロックに基づいて予測されたブロックを生成することができる。

【0132】

また、予測部７２０－１は、レイヤ０の情報を用いてレイヤ１に対する予測を行うことができる。本開示では、他のレイヤの情報を用いて現在レイヤの情報を予測する方法を、説明の便宜のために、インターレイヤ予測と呼ぶ。

【0133】

他のレイヤの情報を用いて予測される（例えば、インターレイヤ予測によって予測される）現在レイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ（例えば、フィルタリングパラメータなど）のうちの少なくとも１つであり得る。

【0134】

また、現在レイヤに対する予測に用いられる（例えば、インターレイヤ予測に用いられる）他のレイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ（例えば、フィルタリングパラメータなど）のうちの少なくとも１つであり得る。

【0135】

インターレイヤ予測において、現在ブロックは、現在レイヤ（例えば、レイヤ１）内の現在ピクチャ内のブロックであって、符号化対象のブロックであり得る。参照ブロックは、現在ブロックの予測に参照されるレイヤ（参照レイヤ、例えば、レイヤ０）において現在ブロックの属するピクチャ（現在ピクチャ）と同じアクセスユニット（ＡＵ：ａｃｃｅｓｓ Ｕｎｉｔ）に属するピクチャ（参照ピクチャ）内のブロックであって、現在ブロックに対応するブロックであり得る。

【0136】

インターレイヤ予測の一例として、参照レイヤの動き情報を用いて現在レイヤの動き情報を予測するインターレイヤ動き予測がある。インターレイヤ動き予測によれば、参照ブロックの動き情報を用いて現在ブロックの動き情報を予測することができる。すなわち、後述するインター予測モードに従って動き情報を導出する際に、時間的周辺ブロックの代わりにインターレイヤ参照ブロックの動き情報に基づいて動き情報候補を導出することができる。

【0137】

インターレイヤ動き予測を適用する場合に、予測部７２０－１は、参照レイヤの参照ブロック（すなわち、インターレイヤ参照ブロック）動き情報をスケーリングして利用することもできる。

【0138】

インターレイヤ予測の別の例として、インターレイヤテクスチャ予測は、復元された参照ブロックのテクスチャを現在ブロックに対する予測値として用いることができる。このとき、予測部７２０－１は、参照ブロックのテクスチャをアップサンプリングによってスケーリングされることができる。インターレイヤテクスチャ予測は、インターレイヤ（復元）サンプル予測、又は単にインターレイヤ予測と呼ばれることがある。

【0139】

インターレイヤ予測の別の例であるインターレイヤパラメータ予測では、参照レイヤの誘導されたパラメータを現在レイヤで再使用するか、或いは参照レイヤで使用したパラメータに基づいて現在レイヤに対するパラメータを誘導することができる。

【0140】

インターレイヤ予測の別の例であるインターレイヤレジデュアル予測では、他のレイヤのレジデュアル情報を用いて現在レイヤのレジデュアルを予測し、これに基づいて現在ブロックに対する予測を行うことができる。

【0141】

インターレイヤ予測の別の例であるインターレイヤ差分予測では、現在レイヤの復元ピクチャと参照レイヤの復元ピクチャをアップサンプリング又はダウンサンプリングした画像同士間の差分を利用して、現在ブロックに対する予測を行うことができる。

【0142】

インターレイヤ予測の別の例であるインターレイヤシンタックス予測では、参照レイヤのシンタックス情報を用いて現在ブロックのテクスチャを予測又は生成することができる。このとき、参照される参照レイヤのシンタックス情報は、イントラ予測モードに関する情報、動き情報を含むことができる。

【0143】

上述したインターレイヤを用いた予測方法は、特定のブロックに対する予測の際に複数個が用いられることもできる。

【0144】

ここでは、インターレイヤ予測の例として、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測、インターレイヤレジデュアル予測、インターレイヤ差分予測、インターレイヤシンタックス予測などを説明したが、本発明で適用可能なインターレイヤ予測は、これらに限定されない。

【0145】

例えば、インターレイヤ予測を現在レイヤに対するインター予測の拡張として適用することもできる。すなわち、参照レイヤから誘導された参照ピクチャを、現在ブロックのインター予測に参照可能な参照ピクチャに含ませて、現在ブロックに対するインター予測を行うこともできる。

【0146】

この場合、インターレイヤ参照ピクチャは、現在ブロックに対する参照ピクチャリストに含まれることができる。予測部７２０－１は、インターレイヤ参照ピクチャを用いて現在ブロックに対するインター予測を行うことができる。

【0147】

ここで、インターレイヤ参照ピクチャは、参照レイヤの復元されたピクチャを現在レイヤに対応するようにサンプリングして構成された参照ピクチャであり得る。したがって、参照レイヤの復元されたピクチャが現在レイヤのピクチャに対応する場合には、サンプリングなしに参照レイヤの復元されたピクチャをインターレイヤ参照ピクチャとして用いることができる。例えば、参照レイヤの復元されたピクチャと現在レイヤの復元されたピクチャにおけるサンプルの幅と高さが同一であり、参照レイヤのピクチャにおける左上端、右上端、左下端、右下端と、現在レイヤのピクチャにおける左上端、右上端、左下端及び右下端とのオフセットが０である場合、参照レイヤの復元されたピクチャを再びサンプリングせず、現在レイヤのインターレイヤ参照ピクチャとして使用することもできる。

【0148】

また、インターレイヤ参照ピクチャが誘導される参照レイヤの復元ピクチャは、符号化対象である現在ピクチャと同じＡＵに属するピクチャであり得る。

【0149】

インターレイヤ参照ピクチャを参照ピクチャリストに含めて現在ブロックに対するインター予測を行う場合に、インターレイヤ参照ピクチャの参照ピクチャリスト内の位置は参照ピクチャリストＬ０とＬ１で互いに異なることができる。例えば、参照ピクチャリストＬ０では、現在ピクチャ以前の短期参照ピクチャの後にインターレイヤ参照ピクチャが位置することができ、参照ピクチャリストＬ１では、参照ピクチャリストの最後にインターレイヤ参照ピクチャが位置することもできる。

【0150】

ここで、参照ピクチャリストＬ０は、Ｐスライスのインター予測に使用される参照ピクチャリスト又はＢスライスのインター予測において１番目の参照ピクチャリストとして用いられる参照ピクチャリストである。参照ピクチャリストＬ１は、Ｂスライスのインター予測に使用される２番目の参照ピクチャリストである。

【0151】

したがって、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順で構成されることができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャの順で構成されることができる。

【0152】

ここで、Ｐスライス（ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ）は、イントラ予測が行われるか、或いは予測ブロックあたり最大１つの動きベクトル及び参照ピクチャインデックスを用いてインター予測が行われるスライスである。Ｂスライス（ｂｉ－ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ）は、イントラ予測が行われるか、或いは予測ブロックあたり最大２つの動きベクトルと参照ピクチャインデックスを用いて予測が行われるスライスである。これに関して、Ｉスライス（ｉｎｔｒａ ｓｌｉｃｅ）は、イントラ予測のみが適用されたスライスである。

【0153】

また、インターレイヤ参照ピクチャを含む参照ピクチャリストに基づいて現在ブロックに対するインター予測を行う場合に、参照ピクチャリストは、複数のレイヤから誘導された複数のインターレイヤ参照ピクチャを含むことができる。

【0154】

複数のインターレイヤ参照ピクチャを含む場合に、インターレイヤ参照ピクチャは、参照ピクチャリストＬ０とＬ１において交差配置されることもできる。例えば、２つのインターレイヤ参照ピクチャ（Ｉｎｔｅｒ－ｌａｙｅｒ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）、インターレイヤ参照ピクチャＩＬＲＰｉ及びインターレイヤ参照ピクチャＩＬＲＰｊが現在ブロックのインター予測に使用される参照ピクチャリストに含まれる場合を仮定する。この場合、参照ピクチャリストＬ０において、ＩＬＲＰｉは現在ピクチャ以前の短期参照ピクチャの後ろに位置し、ＩＬＲＰｊはリストの最後に位置することができる。また、参照ピクチャリストＬ１において、ＩＬＲＰｉはリストの最後に位置し、ＩＬＲＰｊは現在ピクチャ以後の短期参照ピクチャの後ろに位置することができる。

【0155】

この場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊの順で構成されることができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順で構成されることができる。

【0156】

また、２つのインターレイヤ参照ピクチャのうち、いずれか一つは、解像度に関するスケーラブルレイヤから誘導したインターレイヤ参照ピクチャであり、他の一つは、異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャでもあり得る。この場合、例えば、ＩＬＲＰｉは異なる解像度を提供するレイヤから誘導したインターレイヤ参照ピクチャであり、ＩＬＲＰｊは異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャであれば、ビュー（ｖｉｅｗ）を除いたスケーラビリティのみを支援するスケーラブルビデオコーディングの場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順で構成されることができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順で構成されることができる。

【0157】

一方、インターレイヤ予測において、インターレイヤ参照ピクチャの情報は、サンプル値のみが用いられてもよく、動き情報（動きベクトル）のみが用いられてもよく、サンプル値と動き情報の両方が用いられてもよい。予測部７２０－１は、参照ピクチャインデックスがインターレイヤ参照ピクチャを指し示す場合に、符号化装置から受信した情報に応じてインターレイヤ参照ピクチャのサンプル値のみを用いるか、或いはインターレイヤ参照ピクチャの動き情報（動きベクトル）のみを用いるか、或いはインターレイヤ参照ピクチャのサンプル値と動き情報の両方を用いることができる。

【0158】

インターレイヤ参照ピクチャのサンプル値のみを用いる場合に、予測部７２０－１は、インターレイヤ参照ピクチャにおいて動きベクトルが特定するブロックのサンプルを現在ブロックの予測サンプルとして誘導することができる。ビュー（ｖｉｅｗ）を考慮しないスケーラブルビデオコーディングの場合に、インターレイヤ参照ピクチャを用いるインター予測（インターレイヤ予測）における動きベクトルは、固定された値（例えば、０）に設定されることができる。

【0159】

インターレイヤ参照ピクチャの動き情報のみを用いる場合に、予測部７２０－１は、インターレイヤ参照ピクチャで特定される動きベクトルを、現在ブロックの動きベクトルを誘導するための動きベクトル予測子として用いることができる。また、予測部７２０－１は、インターレイヤ参照ピクチャで特定される動きベクトルを現在ブロックの動きベクトルとして用いることもできる。

【0160】

インターレイヤ参照ピクチャのサンプルと動き情報の両方を用いる場合に、予測部７２０－１は、インターレイヤ参照ピクチャで現在ブロックに対応する領域のサンプルと、インターレイヤ参照ピクチャで特定される動き情報（動きベクトル）を現在ブロックの予測に用いることができる。

【0161】

符号化装置は、インターレイヤ予測が適用される場合に、参照ピクチャリストにおいてインターレイヤ参照ピクチャを指し示す参照インデックスを復号化装置へ伝送することができ、インターレイヤ参照ピクチャからどの情報（サンプル情報、動き情報、又はサンプル情報と動き情報の両方）を用いるかを特定する情報、すなわち２つのレイヤの間でインターレイヤ予測に関する依存性（ｄｅｐｅｎｄｅｎｃｙ）のタイプ（ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ）を特定する情報も復号化装置へ伝送することができる。

【0162】

図８は、本開示の実施例が適用でき、マルチレイヤベースのビデオ／画像信号の復号化が行われる復号化装置の概略的なブロック図を示す。図８の復号化装置は、前記図３の復号化装置を含むことができる。図８に示されている再整列部は、省略されるか、或いは逆量子化部に含まれることができる。本図面についての説明では、マルチレイヤベースの予測について重点的に説明する。その他は、前記図３で説明された復号化装置についての説明内容を含むことができる。

【0163】

また、図８の例では、説明の便宜のために、２つのレイヤからなるマルチレイヤ構造を例として説明する。しかし、本開示の実施例はこれに限定されず、本開示の実施例が適用されるマルチレイヤ構造は２つ以上のレイヤを含むことができることに留意されたい。

【0164】

図８を参照すると、復号化装置８００は、レイヤ１に対する復号化部８００－１と、レイヤ０に対する復号化部８００－０と、を含むことができる。レイヤ１の復号化部８００－１は、エントロピー復号化部８１０－１、レジデュアル処理部８２０－１、予測部８３０－１、加算器８４０－１、フィルタリング部８５０－１、メモリ８６０－１を含むことができる。レイヤ０の復号化部８００－０は、エントロピー復号化部８１０－０、レジデュアル処理部８２０－０、予測部８３０－０、加算器８４０－０、フィルタリング部８５０－０、メモリ８６０－０を含むことができる。

【0165】

符号化装置から画像情報を含むビットストリームが伝送されると、ＤＥＭＵＸ８０５は、レイヤごとに情報をデマルチプレクシングして各レイヤ別の復号化装置へ伝達することができる。

【0166】

エントロピー復号化部８１０－１、８１０－０は、符号化装置で使用したコーディング方式に対応して復号化を行うことができる。例えば、符号化装置でＣＡＢＡＣが使用された場合に、エントロピー復号化部８１０－１、８１０－０も、ＣＡＢＡＣを用いてエントロピー復号化を行うことができる。

【0167】

現在ブロックに対する予測モードがイントラ予測モード（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）である場合に、予測部８３０－１、８３０－０は、現在ピクチャ内の周辺復元サンプルに基づいて現在ブロックに対するイントラ予測を行うことができる。

【0168】

現在ブロックに対する予測モードがインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）モードである場合に、予測部８３０－１、８３０－０は、現在ピクチャの以前ピクチャ又は以後ピクチャのうちの少なくとも１つのピクチャに含まれている情報に基づいて、現在ブロックに対するインター予測を行うことができる。インター予測に必要な動き情報の一部又は全部は、符号化装置から受信した情報を確認し、それに対応して誘導されることができる。

【0169】

インター予測のモードとしてスキップモードが適用される場合には、符号化装置からレジデュアルが伝送されず、予測ブロックを復元ブロックとすることができる。

【0170】

一方、レイヤ１の予測部８３０－１は、レイヤ１内の情報のみを用いてインター予測又はイントラ予測を行ってもよく、他のレイヤ（レイヤ０）の情報を用いてインターレイヤ予測を行ってもよい。

【0171】

他のレイヤの情報を用いて予測される（例えば、インターレイヤ予測によって予測される）現在レイヤの情報としては、テクスチャ、動き情報、ユニット情報、所定のパラメータ（例えば、フィルタリングパラメータなど）のうちの少なくとも１つであり得る。

【0172】

また、現在レイヤに対する予測に用いられる（例えば、インターレイヤ予測に用いられる）他のレイヤの情報としては、テクスチャ、動き情報、ユニット情報、所定のパラメータ（例えば、フィルタリングパラメータなど）のうちの少なくとも一つであり得る。

【0173】

インターレイヤ予測において、現在ブロックは、現在レイヤ（例えば、レイヤ１）内の現在ピクチャ内のブロックであって、復号化対象ブロックであり得る。参照ブロックは、現在ブロックの予測に参照されるレイヤ（参照レイヤ、例えば、レイヤ０）における、現在ブロックの属するピクチャ（現在ピクチャ）と同じアクセスユニット（ＡＵ：ａｃｃｅｓｓ Ｕｎｉｔ）に属するピクチャ（参照ピクチャ）内のブロックであって、現在ブロックに対応するブロックであり得る。

【0174】

マルチレイヤ復号化装置８００は、先立ってマルチレイヤ符号化装置７００で説明したようにインターレイヤ予測を行うことができる。例えば、マルチレイヤ復号化装置８００は、先立ってマルチレイヤ符号化装置７００で説明したように、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測、インターレイヤレジデュアル予測、インターレイヤ差分予測、インターレイヤシンタックス予測などを行うことができ、本開示で適用することが可能なインターレイヤ予測は、これらに限定されない。

【0175】

予測部８３０－１は、符号化装置から受信した参照ピクチャインデックス或いは周辺ブロックから誘導した参照ピクチャインデックスが参照ピクチャリスト内でインターレイヤ参照ピクチャを指し示す場合に、インターレイヤ参照ピクチャを用いたインターレイヤ予測を行うことができる。例えば、予測部８３０－１は、参照ピクチャインデックスがインターレイヤ参照ピクチャを指し示す場合に、インターレイヤ参照ピクチャにおいて動きベクトルによって特定される領域のサンプル値を現在ブロックに対する予測ブロックとして誘導することができる。

【0176】

この場合、インターレイヤ参照ピクチャは、現在ブロックに対する参照ピクチャリストに含まれることができる。予測部８３０－１は、インターレイヤ参照ピクチャを用いて現在ブロックに対するインター予測を行うことができる。

【0177】

ここで、先立ってマルチレイヤ符号化装置７００で説明したように、マルチレイヤ復号化装置８００の動作において、インターレイヤ参照ピクチャは、参照レイヤの復元されたピクチャを現在レイヤに対応するようにサンプリングして構成された参照ピクチャであり得る。参照レイヤの復元されたピクチャが現在レイヤのピクチャに対応する場合に対する処理も、符号化過程での処理と同様に行われることができる。

【0178】

また、先立ってマルチレイヤ符号化装置７００で説明したように、マルチレイヤ復号化装置８００の動作において、インターレイヤ参照ピクチャが誘導される参照レイヤの復元ピクチャは、符号化対象である現在ピクチャと同じＡＵに属するピクチャであり得る。

【0179】

また、先立ってマルチレイヤ符号化装置７００で説明したように、マルチレイヤ復号化装置８００の動作において、インターレイヤ参照ピクチャを参照ピクチャリストに含めて、現在ブロックに対するインター予測を行う場合に、インターレイヤ参照ピクチャの参照ピクチャリスト内の位置は、参照ピクチャリストＬ０とＬ１で互いに異なり得る。

【0180】

また、先立ってマルチレイヤ符号化装置７００で説明したように、マルチレイヤ復号化装置８００の動作において、インターレイヤ参照ピクチャを含む参照ピクチャリストに基づいて現在ブロックに対するインター予測を行う場合に、参照ピクチャリストは、複数のレイヤから誘導された複数のインターレイヤ参照ピクチャを含むことができ、インターレイヤ参照ピクチャの配置も、先立って符号化過程で説明したのと対応するように行われることができる。

【0181】

また、先立ってマルチレイヤ符号化装置７００で説明したように、マルチレイヤ復号化装置８００の動作において、インターレイヤ参照ピクチャの情報は、サンプル値のみ用いられてもよく、動き情報（動きベクトル）のみ用いられてもよく、サンプル値と動き情報の両方が用いられてもよい。

【0182】

マルチレイヤ復号化装置８００は、参照ピクチャリストにおいてインターレイヤ参照ピクチャを指し示す参照インデックスをマルチレイヤ符号化装置７００から受信し、それに基づいてインターレイヤ予測を行うことができる。また、マルチレイヤ復号化装置８００は、インターレイヤ参照ピクチャからどの情報（サンプル情報、動き情報、又はサンプル情報と動き情報の両方）を用いるかを指し示す情報、すなわち２つのレイヤの間でインターレイヤ予測に関する依存性（ｄｅｐｅｎｄｅｎｃｙ）のタイプ（ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ）を特定する情報も、マルチレイヤ符号化装置７００から受信することができる。

【0183】

図９及び図１０を参照して、一実施例によるマルチレイヤ画像符号化装置及びマルチレイヤ画像復号化装置によって行われる画像符号化方法及び復号化方法について説明する。以下の説明の便宜のために、マルチレイヤ画像符号化装置を画像符号化装置と略記する。また、マルチレイヤ画像復号化装置を画像復号化装置と略記する。

【0184】

図９は、一実施例による画像符号化装置がマルチレイヤに基づいて画像を符号化する方法を説明する図である。一実施例による符号化装置は、第１レイヤのピクチャを符号化することができる（Ｓ９１０）。次に、符号化装置は、第１レイヤに基づいて第２レイヤのピクチャを符号化することができる（Ｓ９２０）。次に、符号化装置は、（マルチレイヤに対する）ビットストリームを出力することができる（Ｓ９３０）。

【0185】

図１０は、一実施例による画像復号化装置がマルチレイヤに基づいて画像を復号化する方法を説明する図である。一実施例による復号化装置は、ビットストリームからビデオ／画像情報を取得することができる（Ｓ１０１０）。次に、復号化装置は、ビデオ／画像情報に基づいて第１レイヤのピクチャを復号化することができる（Ｓ１０２０）。次に、復号化装置は、ビデオ／画像情報及び第１レイヤに基づいて第２レイヤのピクチャを復号化することができる（Ｓ１０３０）。

【0186】

一実施例において、ビデオ／画像情報は、後述するようなＨＬＳ（Ｈｉｇｈ ｌｅｖｌｅ ｓｙｎｔａｘ）を含むことができる。一実施例において、ＨＬＳは、本開示で開示されるようなＳＰＳ及び／又はＰＰＳを含むことができる。例えば、ビデオ／画像情報は、本開示で説明される情報及び／又はシンタックス要素を含むことができる。本開示で説明されるように、第２レイヤのピクチャは、第１レイヤのピクチャの動き情報／復元サンプル／パラメータに基づいて符号化されていてもよい。一実施例において、第１レイヤは、第２レイヤよりも低いレイヤであり得る。一実施例において、第２レイヤが現在レイヤである場合、第１レイヤは参照レイヤとして参照されることができる。

【0187】

ＨＬＳ（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）シグナリング及びセマンティクス

【0188】

前述したように、ＨＬＳは、ビデオ及び／又は画像符号化のために符号化及び／又はシグナリングされることができる。前述したように、本開示におけるビデオ／画像情報はＨＬＳに含まれることができる。そして、画像／ビデオ符号化方法は、このような画像／ビデオ情報に基づいて行われることができる。

【0189】

Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ ｓｉｇｎａｌｉｎｇ

【0190】

ビデオパラメータセット（Ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＶＰＳ）は、階層情報の伝送のために用いられるパラメータセットである。前記階層情報は、例えば、出力レイヤセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）に関する情報、プロファイルディアレベル（ｐｒｏｆｉｌｅ ｔｉｅｒ ｌｅｖｅｌ）に関する情報、ＯＬＳと仮想参照デコーダ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ）との関係に関する情報、ＯＬＳとＤＰＢとの関係に関する情報などを含むことができる。

【0191】

ＶＰＳ ＲＢＳＰ（ｒａｗ ｂｙｔｅ ｓｅｑｕｅｎｃｅ ｐａｙｌｏａｄ）は、参照される前に、ＴｅｍｐｏｒａｌＩＤが０である少なくとも１つのアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ、ＡＵ）に含まれるか、或いは外部手段を介して提供されることにより、復号化プロセスに利用可能でなければならない。ＣＶＳ内で特定の値のｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを有する全てのＶＰＳ ＮＡＬユニットは、同じコンテンツを持たなければならない。

【0192】

図１１は、一実施例によるＶＰＳのシンタックスの一部を示す図である。ビデオパラメータセット（Ｖｉｄｅｏ ｐａｒａｍｅｔｅｒｓｅｔ、ＶＰＳ）は、階層情報の伝送のために使用されるパラメータセットである。以下、図１１を参照して、ＶＰＳを介してシグナリングできるシンタックス要素を説明する。

【0193】

ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、ＶＰＳに対する識別子を提供する。他のシンタックス要素は、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを用いてＶＰＳを参照することができる。ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０より大きくなければならない。

【0194】

ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１は、ＶＰＳを参照する個別ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）に存在するレイヤの最大許容個数を示すことができる。例えば、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた値は、ＶＰＳを参照する個別ＣＶＳに存在するレイヤの最大許容個数を示すことができる。

【0195】

ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた値は、前記ＶＰＳを参照する個別ＣＶＳにおけるレイヤに存在しうる時間的サブレイヤの最大個数を示すことができる。

【0196】

ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇの値１は、時間的サブレイヤの個数が、前記ＶＰＳを参照する個別ＣＶＳにおける全てのレイヤにおいて同一であることを示すことができる。ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇの値０は、時間的サブレイヤの個数が、前記ＶＰＳを参照する個別ＣＶＳにおけるレイヤで同一でもよく、同一でなくてもよいことを示すことができる。ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇの値がビットストリームから提供されない場合、ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇの値は１に誘導されることができる。

【0197】

ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇの値１は、ＣＶＳに属する全てのレイヤがインターレイヤ予測を用いず、独立して符号化されたことを示すことができる。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇの値０は、ＣＶＳに属する少なくとも１つのレイヤがインターレイヤ予測を用いて符号化されたことを示すことができる。

【0198】

ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を示すことができる。任意の２つの負数でない整数値ｍ及びｎに対して、ｍがｎより小さい場合、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｍ］はｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｎ］より小さい値を有するように制限されることができる。ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、ＮＡＬユニットヘッダーでシグナリングされるシンタックス要素であって、ＮＡＬユニットの識別子を示すことができる。

【0199】

ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値１は、インデックスｉに対応するレイヤにはインターレイヤ予測が適用されないことを示すことができる。ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値０は、インデックスｉに対応するレイヤにはインターレイヤ予測が適用でき、シンタックス要素ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］がＶＰＳから取得されることを示すことができる。ここで、ｊは、０からｉ－１までの値を有することができる。一方、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値がビットストリームに存在しない場合、その値は１に誘導されることができる。

【0200】

ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値０は、インデックスｊを有するレイヤが、インデックスｉを有するレイヤの直接参照レイヤではないことを示すことができる。ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値１は、インデックスｊを有するレイヤが、インデックスｉを有するレイヤの直接参照レイヤであることを示すことができる。０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの値の範囲を有するｉ及びｊに対して、ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値がビットストリームから取得されなければ、その値は０に誘導されることができる。ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値が０であれば、ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値が１となるようにする少なくとも１つのｊが存在する可能性があり、このとき、ｊの値の範囲は、０からｉ－１までの値の範囲を有することができる。

【0201】

一実施例において、変数ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉ］、ＤｉｒｅｃｔＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｄ］、ＮｕｍＲｅｆＬａｙｅｒｓ［ｉ］、ＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｒ］、及びＬａｙｅｒＵｓｅｄＡｓＲｅｆＬａｙｅｒＦｌａｇｄ［ｊ］は、図１２の擬似コードを用いて誘導されることができる。

【0202】

変数ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｉ］は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］と等しいレイヤのレイヤインデックスを示し、下記数式のように誘導されることができる。

【0203】

［数式１］
ｆｏｒ（ｉ＝０；ｉ＜＝ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１；ｉ＋＋）
ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］］＝ｉ

【0204】

Ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ｓｉｇｎａｌｉｎｇ

【0205】

図１３は、一実施例に係るＳＰＳのシンタックスの一部を示す図である。シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＳＥＰＳ）は、ビデオシーケンスを符号化する情報の伝送のために使用されるパラメータセットである。全てのＳＰＳ ＲＢＳＰは、復号化過程で参照される以前に利用可能であるように制限されることができる。これは、ＴｅｍｐｏｒａｌＩｄが０である少なくとも１つのＡＵに含まれるか、或いは外部機器を介して提供されることができる。

【0206】

以下、図１３を参照して、ＳＰＳを介してシグナリングできるシンタックス要素について説明する。

【0207】

シンタックス要素ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、他のシンタックス要素からの参照のためのＳＰＳの識別子を提供する。ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を問わず、ＳＰＳ ＮＡＬユニットは、ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの同じ値空間を共有することができる。

【0208】

特定のＳＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｓｐｓＬａｙｅｒＩｄであり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、ｓｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値であり、ｓｐｓＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤは、ｖｃｌＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む少なくとも１つの出力レイヤセットに含まれない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＳＰＳ ＮＡＬユニットを参照しないように制限できる。

【0209】

ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値が０より大きければ、シンタックス要素ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、ＳＰＳによって参照されるＶＰＳに対するｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示すことができる。

【0210】

ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値が０であれば、以下が適用できる。

【0211】

－当該ＳＰＳは、ＶＰＳを参照しない。

【0212】

－当該ＳＰＳを参照する個別ＣＬＶＳを復号化する過程で、如何なるＶＰＳも参照されない。

【0213】

－ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０に誘導される。

【0214】

－ＣＶＳは、１つのレイヤのみを含む。例えば、ＣＶＳに属する全てのＶＣＬ ＮＡＬユニットは、同じｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するように制限されることができる。

【0215】

－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］の値は、０に誘導されることができる。

【0216】

－ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］の値は、１に誘導されることができる。

【0217】

ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］の値が１であれば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値としてｎｕｈＬａｙｅｒＩｄを有するＣＬＶＳによって参照される当該ＳＰＳは、ｎｕｈＬａｙｅｒＩｄと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するように制限されることができる。

【0218】

ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、ＣＶＳにおいてＣＬＶＳによって参照される全てのＳＰＳで同一に設定されることができる。

【0219】

ｒｅｓ＿ｃｈａｎｇｅ＿ｉｎ＿ｃｌｖｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇの値１は、ＳＰＳを参照するＣＬＶＳ内のピクチャ解像度が変更できることを示すことができる。ｒｅｓ＿ｃｈａｎｇｅ＿ｉｎ＿ｃｌｖｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇの値０は、ＳＰＳを参照する如何なるＣＬＶＳ内のピクチャ解像度も変更できないことを示すことができる。

【0220】

ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ＳＰＳを参照する個別復号化ピクチャの最大幅をルマサンプル単位で表すことができる。ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、０の値を有することができず、ｍａｘ（８、ＭｉｎＣｂＳｉｚｅＹ）の整数倍の値を有することができる。

【0221】

ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値が０より大きければ、ビットストリーム適合性のために、ＳＰＳを参照する少なくとも１つのレイヤを含む全てのＯＬＳに対して、当該ＯＬＳのＯＬＳインデックスｉがｉである場合、ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｗｉｄｔｈ［ｉ］以下の値に制限されることができる。

【0222】

ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ＳＰＳを参照する個別復号化ピクチャの最大高さをルマサンプル単位で表すことができる。ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、０の値を有することができず、ｍａｘ（８、ＭｉｎＣｂＳｉｚｅＹ）の整数倍の値を有することができる。

【0223】

ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値が０より大きければ、ビットストリーム適合性のために、ＳＰＳを参照する少なくとも１つのレイヤを含む全てのＯＬＳに対して、当該ＯＬＳのＯＬＳインデックスｉがｉである場合、ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｗｉｄｔｈ［ｉ］以下の値に制限されることができる。

【0224】

Ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ｓｉｇｎａｌｉｎｇ

【0225】

図１４は、一実施例によるＰＰＳのシンタックスの一部を示す図である。ピクチャパラメータセット（Ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＳＰＳ）は、ピクチャを符号化する情報の伝送のために使用されるパラメータセットである。ＰＰＳ ＲＢＳＰは、復号化過程で参照される以前に利用できるように制限されてもよい。これは、ＰＰＳ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄ値以下のＴｅｍｐｏｒａｌＩｄを有する少なくとも１つのＡＵに含まれることができ、外部機器を介して提供されることもできる。

【0226】

以下、図１４を参照して、ＰＰＳを介してシグナリングできるシンタックス要素について説明する。シンタックス要素ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、他のシンタックス要素によって参照されるためのＰＰＳを表すことができる。ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から６３までの値を有することができる。ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値に関係なく、ＰＰＳ ＮＡＬユニットはｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの同じ値空間を共有することができる。

【0227】

特定のＰＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｐｐｓＬａｙｅｒＩｄであり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、ｐｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値であり、ｐｐｓＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤは、ｖｃｌＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む少なくとも１つの出力レイヤセットに含まれない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＰＰＳ ＮＡＬユニットを参照しないように制限されることができる。

【0228】

ｐｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、ＳＰＳに対するｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を表す。ｐｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から１５までの値の範囲を有することができる。ｐｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、ＣＬＶＳで符号化されたピクチャによって参照される全てのＰＰＳで同じ値を有することができる。

【0229】

ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ルマサンプル単位でＰＰＳを参照する個別復号化ピクチャの幅を表すことができる。ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、０の値を有せず、Ｍａｘ（８、ＭｉｎＣｂＳｉｚｅＹ）の整数倍の値を有し、ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ以下の値を有するように制限されることができる。ここで、Ｍａｘ（８、ＭｉｎＣｂＳｉｚｅＹ）は、８とＭｉｎＣｂＳｉｚｅＹのうちの大きい値を表し、ＭｉｎＣｂＳｉｚｅＹは、ルマサンプル単位で利用可能な最小コーディングブロックのサイズを表す。

【0230】

ｒｅｓ＿ｃｈａｎｇｅ＿ｉｎ＿ｃｌｖｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇの値が０であれば、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓと同じ値を有するように制限されることができる。

【0231】

ｓｐｓ＿ｒｅｆ＿ｗｒａｐａｒｏｕｎｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１であれば、（ＣｔｂＳｉｚｅＹ／Ｍｉｎ＿ＣｂＳｉｚｅＹ＋１）の値は、（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＭｉｎＣｂＳｉｚｅＹ－１）の値以下の値を有するように制限されることができる。

【0232】

ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ルマサンプル単位でＰＰＳを参照する個別復号化ピクチャの高さを表すことができる。ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、０の値を有せず、Ｍａｘ（８、ＭｉｎＣｂＳｉｚｅＹ）の整数倍の値を有し、ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ以下の値を有するように制限されることができる。

【0233】

ｒｅｓ＿ｃｈａｎｇｅ＿ｉｎ＿ｃｌｖｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇの値が０であれば、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓと同じ値を有するように制限されることができる。

【0234】

ルマサンプル単位のコーディングツリーブロック単位でルマサンプル単位のピクチャの幅を表す変数ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹ、ルマサンプル単位のコーディングツリーブロック単位でルマサンプル単位のピクチャの高さを表す変数ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹ、ルマサンプル単位のコーディングツリーブロック単位でルマサンプル単位のピクチャのサイズを表す変数ＰｉｃＳｉｚｅＩｎＣｔｂｓＹ、ルマサンプル単位の最小コーディングブロック単位でルマサンプル単位のピクチャの幅を表す変数ＰｉｃＷｉｄｔｈＩｎＭｉｎＣｂｓＹ、ルマサンプル単位の最小コーディングブロック単位でルマサンプル単位のピクチャの高さを表す変数ＰｉｃＨｅｉｇｈｔＩｎＭｉｎＣｂｓＹ、ルマサンプル単位の最小コーディングブロック単位でルマサンプル単位のピクチャのサイズを表す変数ＰｉｃＳｉｚｅＩｎＭｉｎＣｂｓＹ、ルマサンプル単位でピクチャのサイズを表すＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ、クロマサンプル単位でピクチャの幅を表す変数ＰｉｃＷｉｄｔｈＩｎａｍｐｌｅＣ、及びクロマサンプル単位でピクチャの高さを表す変数ＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＣは、下記数式のように誘導されることができる。

【0235】

［数式２］
ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹ＝Ｃｅｉｌ（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ÷ＣｔｂＳｉｚｅＹ）
ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹ＝Ｃｅｉｌ（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ÷ＣｔｂＳｉｚｅＹ）
ＰｉｃＳｉｚｅＩｎＣｔｂｓＹ＝ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹ＊ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹ
ＰｉｃＷｉｄｔｈＩｎＭｉｎＣｂｓＹ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＭｉｎＣｂＳｉｚｅＹ
ＰｉｃＨｅｉｇｈｔＩｎＭｉｎＣｂｓＹ＝ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＭｉｎＣｂＳｉｚｅＹ
ＰｉｃＳｉｚｅＩｎＭｉｎＣｂｓＹ＝ＰｉｃＷｉｄｔｈＩｎＭｉｎＣｂｓＹ＊ＰｉｃＨｅｉｇｈｔＩｎＭｉｎＣｂｓＹ
ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ＊ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＣ＝ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＳｕｂＷｉｄｔｈＣ
ＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＣ＝ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＳｕｂＨｅｉｇｈｔＣ

【0236】

上記の数式において、Ｃｅｉｌ（）は床関数である。ＣｔｂＳｉｚｅＹは、コーディングツリーブロックのサイズをルマサンプル単位で表し、ビットストリームから取得できる。ＭｉｎＣｂＳｉｚｅＹは、最小コーディングブロックのサイズをルマサンプル単位で表し、ビットストリームから取得できる。ＳｕｂＷｉｄｔｈＣは、ルマブロックとクロマブロックとの比率の差を表し、ルマブロックがクロマブロックより大きい比率を整数倍数で表すことができ、ビットストリームから取得できる。

【0237】

Ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ ｓｉｇｎａｌｉｎｇ

【0238】

図１５は、一実施例によるＡＰＳのシンタックスの一部を示す図である。適応パラメータセット（Ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＰＳ）は、ピクチャを符号化する情報の伝送のために使用されるパラメータセットである。以下、図１５を参照して、ＡＰＳを介してシグナリングできるシンタックス要素について説明する。

【0239】

個別ＡＰＳ ＲＢＳＰは、参照される以前に先に復号化されることができ、これを参照する符号化スライスＮＡＬユニットのＴｅｍｐｒａｌＩｄ値以下の値を有するＴｅｍｐｏｒａｌＩｄを有する少なくとも１つのＡＵに属するか、或いは外部手段を介して提供されることができる。

【0240】

ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、他のシンタックス要素から参照されるためのＡＰＳの識別子を提供することができる。

【0241】

ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値がＡＬＦ＿ＡＰＳ又はＳＣＡＬＩＮＧ＿ＡＰＳと同じである場合、ａｄａｐｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から７までの値を有することができる。

【0242】

ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値がＬＭＣＳ＿ＡＰＳと同じである場合、ａｄａｐｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０から３までの値を有することができる。

【0243】

特定のＡＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がａｐｓＬａｙｅｒＩｄであり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、ａｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値であり、ａｐｓＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤは、ｖｃｌＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む少なくとも１つの出力レイヤセットに含まれない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＡＰＳ ＮＡＬユニットを参照しないように制限されることができる。

【0244】

ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅは、下記表に示すように、ＡＰＳによって伝達されるＡＰＳパラメータのタイプを表すことができる。

【0245】

【表1】

【0246】

パラメータ参照問題 前述した実施例によれば、次の問題点が発生する可能性がある。

【0247】

問題点１．ｌａｙｅｒＢがｌａｙｅｒＡの直接又は間接参照レイヤでない場合でも、所定のレイヤであるｌａｙｅｒＡに属するピクチャは、他のレイヤであるｌａｙｅｒＢに属するパラメータを参照することが許容されることができる。このような場合、レイヤ間参照が存在しない場合でも、パラメータ参照が発生するため、意図せぬ値のパラメータ参照結果が取得されるという問題が発生する可能性がある。

【0248】

問題点２．シングルレイヤビットストリームに対して、ＶＰＳが提供されるべきであるのが必須的ではない可能性がある。しかし、このような場合でも、ＶＰＳの所定の情報は、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］を用いることにより参照されることができる。このような値は、ＶＰＳが提供されなくても、復号化装置が誤った値を使用することを回避するために誘導される必要がある。

【0249】

問題点３.参照されるパラメータセットが、それを参照するピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄより低いｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するように、一実施例では、ＳＰＳ及びＰＰＳなどのパラメータセットがレイヤを横切って共有されることができる。しかし、以下の制限が適用される場合、参照ピクチャリサンプリングが許容されず、互いに異なるレイヤでピクチャの解像度が異なるマルチレイヤビットストリームに対して上述のパラメータセットの共有は正常に動作しない可能性がある。

【0250】

－ｒｅｓ＿ｃｈａｎｇｅ＿ｉｎ＿ｃｌｖｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇの値が０であれば、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しく制限される。

【0251】

－ｒｅｓ＿ｃｈａｎｇｅ＿ｉｎ＿ｃｌｖｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇの値が０であれば、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓに等しく制限される。

【0252】

改善方案

【0253】

以下の実施例は、上述した問題に対する改善方案を提供する。以下の個別実施例は、それぞれ実施されてもよく、少なくとも一部が併合されて実施されてもよい。

【0254】

問題点１及び２に関して、上述した実施例は、次のように改善されることができる。

【0255】

改善方案１．ｌａｙｅｒＡと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが、ｌａｙｅｒＢと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するパラメータセットを参照し、ｌａｙｅｒＡとｌａｙｅｒＢが同じでなければ、ｌａｙｅｒＢは、ｌａｙｅｒＡの直接又は間接参照レイヤとなるように強制できる。

【0256】

改善方案２．ｌａｙｅｒＡと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが、ｌａｙｅｒＢと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するパラメータセットを参照し、ｌａｙｅｒＡとｌａｙｅｒＢが同じでなければ、現在ＯＬＳ（例えば、現在復号化されているＯＬＳ）は、ｌａｙｅｒＡ及びｌａｙｅｒＢを含むように強制できる。

【0257】

改善方案３．代替的に、ｌａｙｅｒＡと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが、ｌａｙｅｒＢと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するパラメータセットを参照し、ｌａｙｅｒＡとｌａｙｅｒＢが同じでなければ、ｌａｙｅｒＡを含む個別ＯＬＳは、それぞれｌａｙｅｒＢを一緒に含むように強制できる。

【0258】

改善方案４．ＶＰＳが提供されない場合（例えば、ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値が０である場合）、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］の値は、ＳＰＳを含むＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄと同じ値に誘導されるように制限できる。

【0259】

改善方案５．代替的に、ＶＰＳが提供されない場合（例えば、ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値が０である場合）、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］の値は、０に誘導されるように制限できる。

【0260】

問題点１及び３を改善するために、以下の改善方案が適用できる。後述する改善方案は、単独で又は互いに組み合わせられて使用できる。

【0261】

改善方案６．ＲＰＲ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｒｅｓａｍｐｌｉｎｇ）が可能でない場合、ＣＬＶＳ内の全てのピクチャのサイズは同一に制限できる。例えば、ＲＰＲが可能でない場合、同じＳＰＳを参照する全てのＰＰＳでシグナリングされるピクチャサイズ（例えば、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ及びｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）は、同じ値を有するように制限できる。

【0262】

改善方案７．以下の条件が全て真（ｔｒｕｅ）である場合、参照ＳＰＳでシグナリングされる最大ピクチャサイズ（例えば、ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ及びｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）と同じ値に、シグナリングされるピクチャサイズが制限できる。

【0263】

－ＲＰＲが利用可能でない。

【0264】

－ＰＰＳ及びそれで参照されるＳＰＳの全てのｎｕｈ＿ｌａｙｅｒ＿ｉｄが同じ値である。

【0265】

－レイヤが独立して符号化されたレイヤである。例えば、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］の値が１である場合

【0266】

改善方案８．ｌａｙｅｒＡと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが、ｌａｙｅｒＢと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するパラメータセットを参照し、ｌａｙｅｒＡがｌａｙｅｒＢと同じでない場合、ｌａｙｅｒＢはｌａｙｅｒＡの直接又は間接参照レイヤとなるように強制できる。

【0267】

実施例１

【0268】

前述した改善方案１の実現のための一実施例として、以下の方案が適用できる。

【0269】

ｉ番目のインデックスを有するレイヤの直接参照レイヤの個数を表す変数ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉ］、ｉ番目のインデックスを有するレイヤの直接参照レイヤを０からＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉ］までの値を有するインデックスｄで表す変数ＤｉｒｅｃｔＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｄ］、ｉ番目のインデックスを有するレイヤの直接参照レイヤと間接参照レイヤの個数を表す変数ＮｕｍＲｅｆＬａｙｅｒｓ［ｉ］、ｉ番目のインデックスを有するレイヤの直接参照レイヤと間接参照レイヤを０からＮｕｍＲｅｆＬａｙｅｒｓ［ｉ］までの値を有するインデックスｒで表す変数ＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｒ］、インデックスｉを有するレイヤがインデックスｊを有するレイヤを直接又は間接参照するかを表す変数ＤｅｐｅｎｄｅｎｃｙＦｌａｇ［ｉ］［ｊ］、及びインデックスｊを有するレイヤが他のレイヤから参照されるかを表す変数ＬａｙｅｒＵｓｅｄＡｓＲｅｆＬａｙｅｒＦｌａｇ［ｊ］は、図１６のように誘導できる。

【0270】

そして、前述したシンタックス要素ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに関する＜ＳＰＳ制限１＞は、＜ＳＰＳ制限２＞のように置き換えられて適用できる。

【0271】

＜ＳＰＳ制限１＞

【0272】

特定のＳＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｓｐｓＬａｙｅｒＩｄであり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、ｓｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値であり、ｓｐｓＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤは、ｖｃｌＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む少なくとも１つの出力レイヤセットに含まれない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＳＰＳ ＮＡＬユニットを参照しないように制限できる。

【0273】

＜ＳＰＳ制限２＞

【0274】

所定のＳＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値をｓｐｓＬａｙｅｒＩｄと仮定し、所定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値をｖｃｌＬａｙｅｒＩｄと仮定することができる。以下の条件が全て満たされない場合、所定のＶＣＬ ＮＡＬユニットは、所定のＳＰＳ ＮＡＬユニットを参照しないように制限できる。

【0275】

－ｓｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値を有する。

【0276】

－ｓｐｓＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤが、ｖｃｌＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む少なくとも１つのＯＬＳに含まれている。

【0277】

－ＤｅｐｅｎｄｅｎｃｙＦｌａｇ［ｖｃｌＬａｙｅｒＩｄ］［ｓｐｓＬａｙｅｒＩｄ］の値が１である

【0278】

そして、前述したシンタックス要素ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに関する＜ＰＰＳ制限１＞は、＜ＰＰＳ制限２＞のように置き換えられて適用できる。

【0279】

＜ＰＰＳ制限１＞

【0280】

特定のＰＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｐｐｓＬａｙｅｒＩｄであり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、ｐｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値であり、ｐｐｓＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤは、ｖｃｌＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む少なくとも１つの出力レイヤセットに含まれない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＰＰＳ ＮＡＬユニットを参照しないように制限できる。

【0281】

＜ＰＰＳ制限２＞

【0282】

特定のＰＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｐｐｓＬａｙｅｒＩｄの値であり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、以下の全ての条件が満たされない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＰＰＳ ＮＡＬユニットを参照しないように制限できる。

【0283】

－ｐｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値を有する。

【0284】

－ｐｐｓＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤが、ｖｃｌＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む少なくとも１つのＯＬＳに含まれている。

【0285】

－ＤｅｐｅｎｄｅｎｃｙＦｌａｇ［ｖｃｌＬａｙｅｒＩｄ］［ｐｐｓＬａｙｅｒＩｄ］の値が１である。

【0286】

本実施例で説明されているように、ＳＰＳとＰＰＳに対する制限を置き換えて行うことにより、ｌａｙｅｒＡと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが、ｌａｙｅｒＢと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するパラメータセットを参照し、ｌａｙｅｒＡとｌａｙｅｒＢが同じでなければ、ｌａｙｅｒＢは、ｌａｙｅｒＡの直接又は間接参照レイヤとなるように強制できる。これにより、前述した問題点１及び２が解消できる。

【0287】

実施例２

【0288】

前述した改善方案１の実現のための別の一実施例として、以下の方案が適用できる。

【0289】

まず、実施例１で説明しているように、変数ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉ］、ＤｉｒｅｃｔＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｄ］、ＮｕｍＲｅｆＬａｙｅｒｓ［ｉ］、ＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｒ］、ＤｅｐｅｎｄｅｎｃｙＦｌａｇ［ｉ］［ｊ］、及びＬａｙｅｒＵｓｅｄＡｓＲｅｆＬａｙｅｒＦｌａｇ［ｊ］は、図１６のように誘導されることができる。

【0290】

そして、前述したシンタックス要素ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに関する＜ＳＰＳ制限１＞は、＜ＳＰＳ制限３＞のように置き換えられて適用できる。

【0291】

＜ＳＰＳ制限３＞

【0292】

所定のＳＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値をｓｐｓＬａｙｅｒＩｄと仮定し、所定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値をｖｃｌＬａｙｅｒＩｄと仮定することができる。以下の条件が全て満たされない場合、所定のＶＣＬ ＮＡＬユニットは、所定のＳＰＳ ＮＡＬユニットを参照しないように制限できる。

【0293】

－ｓｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値と同じである。

【0294】

－ＤｅｐｅｎｄｅｎｃｙＦｌａｇ［ｖｃｌＬａｙｅｒＩｄ］［ｓｐｓＬａｙｅｒＩｄ］の値が１である。

【0295】

そして、前述したシンタックス要素ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに関する＜ＰＰＳ制限１＞は、＜ＰＰＳ制限３＞のように置き換えられて適用できる。

【0296】

＜ＰＰＳ制限３＞

【0297】

特定のＰＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｐｐｓＬａｙｅｒＩｄの値であり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、以下の全ての条件が満たされない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＰＰＳ ＮＡＬユニットを参照しないように制限できる。

【0298】

－ｐｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値と同じである。

【0299】

－ＤｅｐｅｎｄｅｎｃｙＦｌａｇ［ｖｃｌＬａｙｅｒＩｄ］［ｐｐｓＬａｙｅｒＩｄ］の値が１である。

【0300】

そして、前述したシンタックス要素ａｄａｐｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに関する＜ＡＰＳ制限１＞は、＜ＡＰＳ制限２＞のように置き換えられて適用できる。

【0301】

＜ＡＰＳ制限１＞

【0302】

特定のＡＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がａｐｓＬａｙｅｒＩｄであり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、ａｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値であり、ａｐｓＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤは、ｖｃｌＬａｙｅｒＩｄと同じ値を有するｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む少なくとも１つの出力レイヤセットに含まれない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＡＰＳ ＮＡＬユニットを参照しないように制限できる。

【0303】

＜ＡＰＳ制限２＞

【0304】

特定のＡＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がａｐｓＬａｙｅｒＩｄの値であり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、以下の全ての条件が満たされない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＡＰＳ ＮＡＬユニットを参照しないように制限できる。

【0305】

－ａｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値と同じである。

【0306】

－ＤｅｐｅｎｄｅｎｃｙＦｌａｇ［ｖｃｌＬａｙｅｒＩｄ］［ａｐｓＬａｙｅｒＩｄ］の値が１である。

【0307】

本実施例で説明されているようにＳＰＳ、ＰＰＳ及びＡＰＳに対する制限を交替して行うことにより、ｌａｙｅｒＡと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが、ｌａｙｅｒＢと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するパラメータセットを参照し、ｌａｙｅｒＡとｌａｙｅｒＢが同一でなければ、ｌａｙｅｒＢは、ｌａｙｅｒＡの直接又は間接参照レイヤとなるように強制できる。これにより、前述した問題点１及び２が解消できる。

【0308】

実施例３

【0309】

前述した改善方案２及び３の実現のための一実施例として、以下の方案が適用できる。例えば、前述したシンタックス要素ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに関する＜ＳＰＳ制限１＞は、＜ＳＰＳ制限４＞又は＜ＳＰＳ制限５＞のように置き換えられて適用できる。

【0310】

＜ＳＰＳ制限４＞

【0311】

所定のＳＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値をｓｐｓＬａｙｅｒＩｄと仮定し、所定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値をｖｃｌＬａｙｅｒＩｄと仮定することができる。以下の条件が全て満たされない場合、所定のＶＣＬ ＮＡＬユニットは、所定のＳＰＳ ＮＡＬユニットを参照しないように制限できる。

【0312】

－ｓｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値を有する。

【0313】

－現在復号化されているＯＬＳは、ｓｐｓＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤと、ｖｃｌＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む。

【0314】

＜ＳＰＳ制限５＞

【0315】

所定のＳＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値をｓｐｓＬａｙｅｒＩｄと仮定し、所定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値をｖｃｌＬａｙｅｒＩｄと仮定することができる。以下の条件が全て満たされない場合、所定のＶＣＬ ＮＡＬユニットは、所定のＳＰＳ ＮＡＬユニットを参照しないように制限できる。

【0316】

－ｓｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値を有する。

【0317】

－ｖｃｌＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含むＶＰＳに指定された個別ＯＬＳに対して、前記ＯＬＳは、ｓｐｓＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む。

【0318】

そして、前述したシンタックス要素ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに関する＜ＰＰＳ制限１＞は、＜ＰＰＳ制限４＞又は＜ＰＰＳ制限５＞のように置き換えられて適用できる。

【0319】

＜ＰＰＳ制限４＞

【0320】

特定のＰＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｐｐｓＬａｙｅｒＩｄの値であり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、以下の全ての条件が満たされない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＰＰＳ ＮＡＬユニットを参照しないように制限できる。

【0321】

－ｐｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値を有する。

【0322】

－現在復号化されているＯＬＳは、ｐｐｓＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤと、ｖｃｌＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む。

【0323】

＜ＰＰＳ制限５＞

【0324】

特定のＰＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｐｐｓＬａｙｅｒＩｄの値であり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、以下の全ての条件が満たされない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＰＰＳ ＮＡＬユニットを参照しないように制限できる。

【0325】

－ｐｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄの値以下の値を有する。

【0326】

－ｖｃｌＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含むＶＰＳに指定された個別ＯＬＳに対して、前記ＯＬＳは、ｐｐｓＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを持つレイヤを含む。

【0327】

そして、前述したシンタックス要素ａｄａｐｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに関する＜ＡＰＳ制限１＞は、＜ＡＰＳ制限３＞又は＜ＡＰＳ制限４＞のように置き換えられて適用できる。

【0328】

＜ＡＰＳ制限３＞

【0329】

特定のＡＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がａｐｓＬａｙｅｒＩｄの値であり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、以下の全ての条件が満たされない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＡＰＳ ＮＡＬユニットを参照しないように制限できる。

【0330】

－ａｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄ値以下の値である。

【0331】

－現在復号化されているＯＬＳは、ａｐｓＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤと、ｖｃｌＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む。

【0332】

＜ＡＰＳ制限４＞

【0333】

特定のＡＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がａｐｓＬａｙｅｒＩｄの値であり、特定のＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｃｌＬａｙｅｒＩｄであると仮定することができる。このような場合、以下の全ての条件が満たされない限り、特定のＶＣＬ ＮＡＬユニットは、特定のＡＰＳ ＮＡＬユニットを参照しないように制限できる。

【0334】

－ａｐｓＬａｙｅｒＩｄの値がｖｃｌＬａｙｅｒＩｄ値以下の値である。

【0335】

－ｖｃｌＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含むＶＰＳに指定された個別ＯＬＳに対して、前記ＯＬＳは、ａｐｓＬａｙｅｒＩｄと同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤを含む。

【0336】

一実施例において、ＳＰＳに対する＜ＳＰＳ制限４＞、ＰＰＳに対する＜ＰＰＳ制限４＞及びＡＰＳに対する＜ＡＰＳ制限３＞が一緒に適用できる。別の一実施例において、ＳＰＳに対する＜ＳＰＳ制限５＞、ＰＰＳに対する＜ＰＰＳ制限５＞、及びＡＰＳに対する＜ＡＰＳ制限４＞が一緒に適用できる。

【0337】

本実施例で説明されているようにＳＰＳ、ＰＰＳ及びＡＰＳに対する制限を交替して行うことにより、ｌａｙｅｒＡと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが、ｌａｙｅｒＢと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するパラメータセットを参照し、ｌａｙｅｒＡとｌａｙｅｒＢが同一でなければ、現在ＯＬＳ（例えば、現在復号化されているＯＬＳ）は、ｌａｙｅｒＡ及びｌａｙｅｒＢを含むように強制するか、或いはｌａｙｅｒＡと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャが、ｌａｙｅｒＢと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するパラメータセットを参照し、ｌａｙｅｒＡとｌａｙｅｒＢが同じでなければ、ｌａｙｅｒＡを含む個別ＯＬＳは、それぞれｌａｙｅｒＢを一緒に含むように強制することができる。これにより、前述した問題点１及び２が解消できる。

【0338】

実施例４

【0339】

前述した改善方案４の実現のための一実施例として、以下の方案が適用できる。たとえば、ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値が０であれば、以下が適用できる。

【0340】

－当該ＳＰＳは、ＶＰＳを参照しない。

【0341】

－当該ＳＰＳを参照する個別ＣＬＶＳを復号化する過程で、如何なるＶＰＳも参照されない。

【0342】

－ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０に誘導される。

【0343】

－ＣＶＳは、１つのレイヤのみを含む。例えば、ＣＶＳに属する全てのＶＣＬ ＮＡＬユニットは、同じｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するように制限できる。

【0344】

－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］の値は、０に誘導されることができる。

【0345】

－ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］の値は、１に誘導されることができる。

【0346】

－ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］の値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄと同じ値に誘導されることができる。

【0347】

本実施例で説明されているようにＳＰＳに関する制限を追加することにより、ＶＰＳが提供されない場合、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］の値は、ＳＰＳを含むＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄと同じ値に誘導されるように制限できる。これにより、前述した問題点１及び２が解消できる。

【0348】

実施例５

【0349】

前述した改善方案６、７及び８の実現のための一実施例として、以下の方案が適用できる。

【0350】

まず、実施例１で説明したように、変数ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉ］、ＤｉｒｅｃｔＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｄ］、ＮｕｍＲｅｆＬａｙｅｒｓ［ｉ］、ＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｒ］、ＤｅｐｅｎｄｅｎｃｙＦｌａｇ［ｉ］［ｊ］、及びＬａｙｅｒＵｓｅｄＡｓＲｅｆＬａｙｅｒＦｌａｇ［ｊ］は、図１６のように誘導されることができる。

【0351】

そして、前述したシンタックス要素ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに関する＜ＳＰＳ制限１＞は、実施例１で説明したように＜ＳＰＳ制限２＞のように置き換えられて適用できる。

【0352】

そして、前述したシンタックス要素ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに関する＜ＰＰＳ制限１＞は、実施例１で説明したように＜ＰＰＳ制限２＞のように置き換えられて適用できる。

【0353】

そして、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、前述の説明とは異なり、次のように誘導されることができる。

【0354】

例えば、ｒｅｓ＿ｃｈａｎｇｅ＿ｉｎ＿ｃｌｖｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇの値が０であれば、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、ＣＬＶＳ内の符号化ピクチャによって参照される全てのＰＰＳに対して同じ値を有するように制限できる。

【0355】

以下の条件が全て真である場合、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、ｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値と同じ値を有するように制限できる。

【0356】

ｒｅｓ＿ｃｈａｎｇｅ＿ｉｎ＿ｃｌｖｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇの値は、０に等しい。

【0357】

ｐｐｓＬａｙｅｒＩｄの値が、参照されるＳＰＳのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値に等しい。

【0358】

ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｐｐｓＬａｙｅｒＩｄ］］の値が、１である。

【0359】

そして、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、前述の説明とは異なり、次のように誘導されることができる。

【0360】

例えば、ｒｅｓ＿ｃｈａｎｇｅ＿ｉｎ＿ｃｌｖｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇの値が０であれば、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、ＣＬＶＳ内の符号化されたピクチャによって参照される全てのＰＰＳに対して同じ値を有するように制限できる。

【0361】

ｒｅｓ＿ｃｈａｎｇｅ＿ｉｎ＿ｃｌｖｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇの値が０であり、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｐｐｓＬａｙｅｒＩｄ］］の値が１であれば、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値は、ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値と同一の値を有するように制限できる。

【0362】

本実施例で説明されているようにＳＰＳ及びＰＰＳに関する制限を追加することにより、前述した改善方案６～８が適用できる。これにより、前述した問題点１及び３が解決できる。

【0363】

符号化及び復号化方法

【0364】

以下、一実施例による画像符号化装置及び画像復号化装置によって行われる画像符号化方法及び復号化方法について説明する。

【0365】

図１７は、一実施例による画像復号化装置が画像を復号化するためにパラメータセットの参照可用性を決定する方法を説明するフローチャートである。一実施例による画像復号化装置は、メモリとプロセッサを含み、復号化装置は、プロセッサの動作によって、以下に説明する実施例による復号化を行うことができる。

【0366】

まず、復号化装置は、ビットストリームからパラメータセット及び画像符号化データを取得することができる（Ｓ１７１０）。次に、復号化装置は、前記画像符号化データを復号化するための前記パラメータセットの参照可用性を決定することができる（Ｓ１７２０）。次に、復号化装置は、参照可用性に基づいて前記画像符号化データを復号化することができる（Ｓ１７３０）。

【0367】

ここで、復号化装置は、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む出力レイヤセットが所定のレイヤを含むか否かに基づいて参照可用性を決定することができる。そして、前記画像符号化データに対応するレイヤは、前記画像符号化データに対応するＶＣＬ（Ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ）ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり得る。前記出力レイヤセットは、ＶＰＳ（Ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）に基づいて決定されることができる。例えば、ＶＰＳは、出力レイヤセットに関する情報を別途のシンタックス要素としてシグナリングすることができる。

【0368】

前記所定のレイヤは、前記パラメータセットに対応するレイヤであり得る。例えば、前記所定のレイヤは、前記パラメータセットに対応するＮＡＬユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、前記パラメータセットは、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、及びＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）のうちの少なくとも一つであり得る。

【0369】

レイヤ識別子は、前述したｎｕｈ＿ｌａｙｅｒ＿ｉｄで表されることができる。例えば、画像符号化データに対するレイヤ識別子は、画像符号化データに対応するＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄであり得る。ＳＰＳに対するレイヤ識別子は、ＳＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄであり得る。ＰＰＳに対するレイヤ識別子は、ＰＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄであり得る。ＡＰＳに対するレイヤ識別子は、ＡＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄであり得る。

【0370】

復号化装置は、以下の判断に基づいて参照可用性を決定することができる。図１８を参照して説明する。復号化装置は、第１条件が満たされか否かに基づいてパラメータセットの参照如何を決定することができる（Ｓ１８１０）。ここで、第１条件は、前記パラメータセットに対応するレイヤ識別子の値が、前記画像符号化データに対応するレイヤ識別子の値より大きくないか否かであり得る。復号化装置は、前記パラメータセットに対応するレイヤ識別子の値が前記画像符号化データに対応するレイヤ識別子の値より大きければ、前記パラメータセットが前記画像符号化データを復号化するための参照に利用可能でないと決定することができる（Ｓ１８４０）。

【0371】

一方、復号化装置は、前記パラメータセットに対応するレイヤ識別子の値が、前記画像符号化データに対応するレイヤ識別子の値より大きくなければ、第２条件が満たされるか否かを判断することができる（Ｓ１８２０）。ここで、第２条件は、前記画像符号化データに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記パラメータセットに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤを含むか否かであり得る。

【0372】

例えば、復号化装置は、前記画像符号化データに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記パラメータセットに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤを含むと、当該パラメータセットは、当該画像符号化データを復号化するための参照に利用可能であると決定することができる（Ｓ１８３０）。そうでない場合、復号化装置は、当該パラメータセットが当該画像符号化データを復号化するための参照に利用可能でないと決定することができる（Ｓ１８４０）。

【0373】

例えば、前記パラメータセットに対応するレイヤ識別子の値が、前記画像符号化データに対応するレイヤ識別子の値よりも大きいことに基づいて、前記パラメータセットは、前記画像符号化データを復号化するための参照に利用可能でないと決定されることができる。前記画像符号化データに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットのうちの少なくとも１つの出力レイヤセットが、前記パラメータセットに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤを含まないことに基づいて、前記パラメータセットは、前記画像符号化データを復号化するための参照に利用可能でないと決定されることができる。

【0374】

また、前記パラメータセットに対応する第２レイヤ識別子の値が、前記画像符号化データに対応する第１レイヤ識別子の値より大きくなく、前記第１レイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記第２レイヤ識別子と同じレイヤ識別子を有するレイヤを含むことに基づいて、前記パラメータセットは、前記画像符号化データを復号化するための参照に利用可能であると決定されることができる。

【0375】

一実施例において、前記パラメータセットは、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）及びＡＰＳ（Ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含み、前記パラメータセットに対する参照可用性は、前記ＳＰＳ、前記ＰＰＳ及び前記ＡＰＳに対して個別に決定されることができる。

【0376】

例えば、前記ＳＰＳに対応する第２レイヤ識別子の値が、前記画像符号化データに対応する第１レイヤ識別子の値よりも大きくなく、前記第１レイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記第２レイヤ識別子と同じレイヤ識別子を有するレイヤを含むことに基づいて、前記ＳＰＳは、前記画像符号化データを復号化するための参照に利用可能であると決定されることができる。

【0377】

これに加えて（又は選択的に）、前記ＰＰＳに対応する第３レイヤ識別子の値が、前記画像符号化データに対応する第１レイヤ識別子の値よりも大きくなく、前記第１レイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記第３レイヤ識別子と同じレイヤ識別子を有するレイヤを含むことに基づいて、前記ＰＰＳは、前記画像符号化データを復号化するための参照に利用可能であると決定されることができる。

【0378】

これに加えて（又は選択的に）、前記ＡＰＳに対応する第４レイヤ識別子の値が、前記画像符号化データに対応する第１レイヤ識別子の値よりも大きくなく、前記第１レイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記第４レイヤ識別子と同じレイヤ識別子を有するレイヤを含むことに基づいて、前記ＡＰＳは、前記画像符号化データを復号化するための参照に利用可能であると決定されることができる。

【0379】

例えば、一実施例において、画像復号化方法は、ビットストリームからＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｉｏｎ ｌａｙｅｒ）ユニットを取得するステップと、前記ビットストリームからＶＰＳ（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）ＮＡＬユニットを取得するステップと、前記ビットストリームからＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）ＮＡＬユニットを取得するステップと、前記ビットストリームからＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）ＮＡＬユニットを取得するステップと、前記ビットストリームからＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ）ＮＡＬユニットを取得するステップと、前記ＶＰＳ ＮＡＬユニットに基づいて、前記ＶＣＬ ＮＡＬユニットが前記ＳＰＳ ＮＡＬユニットと前記ＰＰＳ ＮＡＬユニットと前記ＡＰＳ ＮＡＬユニットのうちの少なくとも１つを参照することができるか否かを決定するステップと、を含んで構成できる。ここで、前記ＶＣＬ ＮＡＬユニットのレイヤ識別子と、前記ＶＰＳ ＮＡＬユニットに基づいて識別された出力レイヤセットのうち、前記ＶＣＬ ＮＡＬユニットのレイヤ識別子に対応するレイヤを含む全ての出力レイヤが所定のレイヤを含むか否かに基づいて前記参照の如何が決定されることができる。

【0380】

例えば、前記ＳＰＳ ＮＡＬユニットのレイヤ識別子の値が前記ＶＣＬ ＮＡＬユニットのレイヤ識別子の値以下の値を有し、前記ＶＰＳ ＮＡＬユニットに基づいて識別された出力レイヤセットのうち、前記ＶＣＬ ＮＡＬユニットのレイヤ識別子に対応するレイヤを含む全ての出力レイヤが、前記ＳＰＳ ＮＡＬユニットのレイヤ識別子に対応するレイヤをそれぞれ含むことに基づいて、前記ＶＣＬ ＮＡＬユニットが前記ＳＰＳ ＮＡＬユニットを参照しないか否かが決定されることができる。

【0381】

また、前記ＰＰＳ ＮＡＬユニットのレイヤ識別子の値が前記ＶＣＬ ＮＡＬユニットのレイヤ識別子の値以下の値を有し、前記ＶＰＳ ＮＡＬユニットに基づいて識別された出力レイヤセットのうち、前記ＶＣＬ ＮＡＬユニットのレイヤ識別子に対応するレイヤを含む全ての出力レイヤが、前記ＰＰＳ ＮＡＬユニットのレイヤ識別子に対応するレイヤをそれぞれ含むことに基づいて、前記ＶＣＬ ＮＡＬユニットが前記ＰＰＳ ＮＡＬユニットを参照しないか否かが決定されることができる。

【0382】

また、前記ＡＰＳ ＮＡＬユニットのレイヤ識別子の値が前記ＶＣＬ ＮＡＬユニットのレイヤ識別子の値以下の値を有し、前記ＶＰＳ ＮＡＬユニットに基づいて識別された出力レイヤセットのうち、前記ＶＣＬ ＮＡＬユニットのレイヤ識別子に対応するレイヤを含む全ての出力レイヤが、前記ＡＰＳ ＮＡＬユニットのレイヤ識別子に対応するレイヤをそれぞれ含むことに基づいて、前記ＶＣＬ ＮＡＬユニットが前記ＡＰＳ ＮＡＬユニットを参照しないか否かが決定されることができる。

【0383】

図１９は、一実施例による画像符号化装置が画像を符号化するためにパラメータセットの参照可用性を決定する方法を説明するフローチャートである。一実施例による画像符号化装置は、メモリとプロセッサを含み、符号化装置は、プロセッサの動作によって、前述した復号化方法に対応する方法で符号化を行うことができる。

【0384】

例えば、符号化装置は、画像を符号化して前記画像の一部分に対する画像符号化データと、前記符号化データに対するパラメータセットを生成することができる（Ｓ１９１０）。そして、符号化装置は、前記画像符号化データと前記パラメータセットとを含むビットストリームを生成することができる（Ｓ１９２０）。ここで、前記画像符号化データを復号化するための前記パラメータセットの参照可用性に基づいて、前記パラメータセットが生成されることができる。そして、前記参照可用性は、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む出力レイヤセットが所定のレイヤを含むか否かに基づいて決定されることができる。

【0385】

より詳細には、前述した復号化方法に相応するように、ＶＰＳ（Ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）は前記出力レイヤセットに関する情報を含み、前記所定のレイヤは、前記パラメータセットに対応するレイヤであり、前記画像符号化データに対応するレイヤは、前記画像符号化データに対応するＶＣＬ（Ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ）ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、前記所定のレイヤは、前記パラメータセットに対応するＮＡＬユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、前記パラメータセットは、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）及びＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）のうちの少なくとも一つであり得る。

【0386】

例えば、一実施例において、画像符号化方法は、画像を符号化して、前述したＶＣＬ ＮＡＬユニット、ＳＰＳ ＮＡＬユニット、ＶＰＳ ＮＡＬユニット、ＰＰＳ ＮＡＬユニット及びＡＰＳ ＮＡＬユニットを生成するステップと、前記ＶＣＬ ＮＡＬユニット、前記ＳＰＳ ＮＡＬユニット、前記ＶＰＳ ＮＡＬユニット、前記ＰＰＳ ＮＡＬユニット及び前記ＡＰＳ ＮＡＬユニットを含むビットストリームを生成するステップと、を含んで構成できる。

【0387】

ここで、前記ＶＣＬ ＮＡＬユニットが前記ＳＰＳ ＮＡＬユニット、前記ＰＰＳ ＮＡＬユニット及び前記ＡＰＳ ＮＡＬユニットのうちの少なくとも１つを参照することができるか否かに基づいて、前記ＶＣＬ ＮＡＬユニットのレイヤ識別子と前記ＶＰＳ ＮＡＬユニットが生成されることができる。

【0388】

また、前記ＶＣＬ ＮＡＬユニットが前記ＳＰＳ ＮＡＬユニット、前記ＰＰＳ ＮＡＬユニット及び前記ＡＰＳ ＮＡＬユニットのうちの少なくとも１つを参照することができるか否かに基づいて、ＶＰＳ ＮＡＬユニットによって識別される出力レイヤセットのうち、前記ＶＣＬ ＮＡＬユニットのレイヤ識別子に対応するレイヤを含む全ての出力レイヤが、所定のレイヤを含むように前記ＶＰＳ ＮＡＬユニットが生成されることができる。ここで、所定のレイヤは、前記ＳＰＳ、ＰＰＳ及びＡＰＳのうちの少なくとも一つに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤであり得る。

【0389】

応用実施例

【0390】

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。

【0391】

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満たされる場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満たされるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

【0392】

本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

【0393】

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

【0394】

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0395】

図２０は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【0396】

図２０に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0397】

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

【0398】

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0399】

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

【0400】

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

【0401】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

【0402】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

【0403】

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0404】

本開示による実施例は、画像を符号化／復号化するために利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【手続補正書】

【提出日】2024-09-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
ビットストリームからパラメータセット及び画像符号化データを取得するステップと、
前記画像符号化データを復号化するための前記パラメータセットの参照可用性を決定するステップと、
前記参照可用性に基づいて前記画像符号化データを復号化するステップと、を含み、
ＶＰＳ（video sequence parameter set）によって指定され、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む各出力レイヤセットが、前記パラメータセットに対応するレイヤをさらに含むかどうかに基づいて、前記参照可用性が決定され、
前記画像符号化データに対応する前記レイヤは、前記画像符号化データに対応するＶＣＬ（Video coding layer） ＮＡＬ（network abstraction layer）ユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、
前記パラメータセットに対応する前記レイヤは、前記パラメータセットに対応するＮＡＬユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、
前記パラメータセットは、ＰＰＳ（picture parameter set）である、画像復号化方法。

【請求項2】

前記パラメータセットに対応するレイヤ識別子の値が前記画像符号化データに対応するレイヤ識別子の値より大きいことに基づいて、前記パラメータセットが前記画像符号化データを復号化するための参照に利用可能でないと決定される、請求項１に記載の画像復号化方法。

【請求項3】

前記画像符号化データに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットの少なくとも１つが、前記パラメータセットに対応するレイヤ識別子と同じレイヤ識別子を有するレイヤを含まないことに基づいて、前記パラメータセットが前記画像符号化データを復号化するための参照に利用可能でないと決定される、請求項１に記載の画像復号化方法。

【請求項4】

前記パラメータセットに対応する第２レイヤ識別子の値が、前記画像符号化データに対応する第１レイヤ識別子の値より大きくなく、前記第１レイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記第２レイヤ識別子と同じレイヤ識別子を有するレイヤを含むことに基づいて、前記パラメータセットが前記画像符号化データを復号化するための参照に利用可能であると決定される、請求項１に記載の画像復号化方法。

【請求項5】

前記ＰＰＳに対応する第２レイヤ識別子の値が、前記画像符号化データに対応する第１レイヤ識別子の値より大きくなく、前記第１レイヤ識別子と同じレイヤ識別子を有するレイヤを含む全ての出力レイヤセットが、前記第２レイヤ識別子と同じレイヤ識別子を有するレイヤを含むことに基づいて、前記ＰＰＳが前記画像符号化データを復号化するための参照に利用可能であると決定される、請求項１に記載の画像復号化方法。

【請求項6】

画像符号化装置によって行われる画像符号化方法であって、
画像を符号化して前記画像の一部分に対する画像符号化データと前記画像符号化データに対するパラメータセットとを生成するステップと、
前記画像符号化データと前記パラメータセットとを含むビットストリームを生成するステップと、を含み、
前記パラメータセットは、前記画像符号化データを復号化するための前記パラメータセットの参照可用性に基づいて生成され、
前記参照可用性は、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む出力レイヤセットが前記パラメータセットに対応するレイヤを含むかどうかに基づいて決定され、
ＶＰＳ（video sequence parameter set）に含まれ、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む各出力レイヤセットが、前記パラメータセットに対応するレイヤをさらに含むかどうかに基づいて、前記参照可用性が決定され、
前記画像符号化データに対応する前記レイヤは、前記画像符号化データに対応するＶＣＬ（Video coding layer） ＮＡＬ（network abstraction layer）ユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、
前記パラメータセットに対応する前記レイヤは、前記パラメータセットに対応するＮＡＬユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、
前記パラメータセットは、ＰＰＳ（picture parameter set）である、画像符号化方法。

【請求項7】

ビットストリームを伝送するための方法であって、
画像符号化方法によってビットストリームを生成するステップと、
前記画像符号化方法が生成した前記ビットストリームを伝送するステップと、を含み、
前記画像符号化方法は、
画像を符号化して前記画像の一部分に対する画像符号化データと前記画像符号化データに対するパラメータセットとを生成するステップと、
前記画像符号化データと前記パラメータセットとを含むビットストリームを生成するステップと、を含み、
前記パラメータセットは、前記画像符号化データを復号化するための前記パラメータセットの参照可用性に基づいて生成され、
前記参照可用性は、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む出力レイヤセットが前記パラメータセットに対応するレイヤを含むかどうかに基づいて決定され、
ＶＰＳ（video sequence parameter set）に含まれ、出力レイヤセットのうち、前記画像符号化データに対応するレイヤを含む各出力レイヤセットが、前記パラメータセットに対応するレイヤをさらに含むかどうかに基づいて、前記参照可用性が決定され、
前記画像符号化データに対応する前記レイヤは、前記画像符号化データに対応するＶＣＬ（Video coding layer） ＮＡＬ（network abstraction layer）ユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、
前記パラメータセットに対応する前記レイヤは、前記パラメータセットに対応するＮＡＬユニットのレイヤ識別子と同じレイヤ識別子を有するレイヤであり、
前記パラメータセットは、ＰＰＳ（picture parameter set）である、方法。