特表 2024-515732 レイヤー識別子情報を含むＳＥＩメッセージに基づく画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-10

(54)【発明の名称】レイヤー識別子情報を含むＳＥＩメッセージに基づく画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

(51)【国際特許分類】

   H04N 19/70 20140101AFI20240403BHJP

   H04N 19/30 20140101ALI20240403BHJP

【ＦＩ】

H04N19/70

H04N19/30

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023565261

(86)(22)【出願日】2022-04-22

(85)【翻訳文提出日】2023-11-15

(86)【国際出願番号】 KR2022005797

(87)【国際公開番号】W WO2022225369

(87)【国際公開日】2022-10-27

(31)【優先権主張番号】63/178,531

(32)【優先日】2021-04-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】ヘンドリー ヘンドリー

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA31

5C159RC11

(57)【要約】

画像符号化／復号化方法及び装置が提供される。本開示の一実施例によれば、画像復号化装置によって行われる画像復号化方法は、ビットストリームに含まれた一つ以上のレイヤーに対する情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージをビットストリームとして受信するステップと、前記受信されたＳＥＩメッセージに基づいて前記一つ以上のレイヤーに対する情報を取得するステップと、前記取得された一つ以上のレイヤーに対する情報に基づいて前記ビットストリーム内の画像を復元するステップと、を含み、前記受信されたＳＥＩメッセージは、前記ビットストリームに含まれた前記一つ以上のレイヤーに対するレイヤー識別子情報を含むことができる。
【選択図】図１５

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
ビットストリームに含まれた一つ以上のレイヤーに対する情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージをビットストリームとして受信するステップと、
前記受信されたＳＥＩメッセージに基づいて前記一つ以上のレイヤーに対する情報を取得するステップと、
前記取得された一つ以上のレイヤーに対する情報に基づいて前記ビットストリーム内の画像を復元するステップと、を含み、
前記受信されたＳＥＩメッセージは、前記ビットストリームに含まれた前記一つ以上のレイヤーに対するレイヤー識別子情報を含む、画像復号化方法。

【請求項2】

前記レイヤー識別子情報は、前記ビットストリーム内の最大レイヤー数だけ取得される、請求項１に記載の画像復号化方法。

【請求項3】

前記ビットストリーム内の最大レイヤー数に関する情報は、前記ＳＥＩメッセージから取得される、請求項２に記載の画舫復号化方法。

【請求項4】

前記ＳＥＩメッセージは、前記ビットストリームに含まれた一つ以上のレイヤー以外のレイヤーに対する情報を含む、請求項１に記載の画像復号化方法。

【請求項5】

前記ビットストリーム内の最大レイヤー数は、前記ビットストリーム内の一つ以上のレイヤーの数に制限されない、請求項２に記載の画像復号化方法。

【請求項6】

前記ビットストリーム内の最大レイヤー数は、前記ビットストリーム内の一つ以上のレイヤーの数よりも小さい値を有しないように制限される、請求項２に記載の画像復号化方法。

【請求項7】

前記レイヤー識別子情報は、
ビュー識別子（ｖｉｅｗ ｉｄ）情報或いは補助識別子（ａｕｘｉｌｉａｒｙ ｉｄ）のそれぞれに対してシグナリングされる、請求項１に記載の画像復号化方法。

【請求項8】

前記レイヤー識別子情報は、
ｉ番目のレイヤーのレイヤー識別子がｉ－１番目のレイヤーのレイヤー識別子よりも大きい値を有するようにレイヤー識別子値の昇順で前記ＳＥＩメッセージに含まれる、請求項１に記載の画像復号化方法。

【請求項9】

前記レイヤー識別子情報は、
ｉ番目のレイヤーのレイヤー識別子がｉ－１番目のレイヤーのレイヤー識別子よりも小さい値を有するようにレイヤー識別子値の降順で前記ＳＥＩメッセージに含まれる、請求項１に記載の画像復号化方法。

【請求項10】

画像符号化装置によって行われる画像符号化方法であって、
ビットストリーム内の一つ以上のレイヤーに対する情報に基づいて前記ビットストリーム内の画像を符号化するステップと、
前記ビットストリームに含まれた一つ以上のレイヤーに対する情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージを前記ビットストリームに符号化するステップと、を含み、
前記ＳＥＩメッセージは、前記ビットストリームに含まれた前記一つ以上のレイヤーに対するレイヤー識別子情報を含む、画像符号化方法。

【請求項11】

前記レイヤー識別子情報は、前記ビットストリーム内の最大レイヤー数だけ前記ＳＥＩメッセージに含まれる、請求項１０に記載の画像符号化方法。

【請求項12】

前記ビットストリーム内の最大レイヤー数に関する情報は、前記ＳＥＩメッセージに含まれる、請求項１０に記載の画像符号化方法。

【請求項13】

請求項１０に記載の画像符号化装置によって生成されたビットストリームを伝送する方法。

【請求項14】

請求項１０に記載の画像符号化方法によって生成されたビットストリームを保存する、非一時的コンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、ビットストリームに含まれた一つ以上のレイヤーに対するレイヤー識別子情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージに基づく画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

【背景技術】

【0002】

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

【0003】

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

【0005】

また、本開示は、ＳＥＩメッセージのレイヤー識別子情報に基づいて画像復元を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0006】

また、本開示は、ＳＥＩメッセージに基づいて、ビットストリームに含まれた一つ以上のレイヤーに対する情報を取得して画像を符号化／復号化する方法及び装置を提供することを目的とする。

【0007】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

【0008】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

【0009】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。

【0010】

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【課題を解決するための手段】

【0011】

本開示の一実施例によれば、画像復号化装置によって行われる画像復号化方法は、ビットストリームに含まれた一つ以上のレイヤーに対する情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージをビットストリームとして受信するステップと、前記受信されたＳＥＩメッセージに基づいて前記一つ以上のレイヤーに対する情報を取得するステップと、前記取得された一つ以上のレイヤーに対する情報に基づいて前記ビットストリーム内の画像を復元するステップと、を含み、前記受信されたＳＥＩメッセージは、前記ビットストリームに含まれた前記一つ以上のレイヤーに対するレイヤー識別子情報を含むことができる。

【0012】

本開示の一実施例によれば、前記レイヤー識別子情報は、前記ビットストリーム内の最大レイヤー数だけ取得されることができる。

【0013】

本開示の一実施例によれば、前記ビットストリーム内の最大レイヤー数に関する情報は、前記ＳＥＩメッセージから取得されることができる。

【0014】

本開示の一実施例によれば、前記ＳＥＩメッセージは、前記ビットストリームに含まれた一つ以上のレイヤー以外のレイヤーに対する情報を含むことができる。

【0015】

本開示の一実施例によれば、前記ビットストリーム内の最大レイヤー数は、前記ビットストリーム内の一つ以上のレイヤーの数に制限されないことができる。

【0016】

本開示の一実施例によれば、前記ビットストリーム内の最大レイヤー数は、前記ビットストリーム内の一つ以上のレイヤーの数よりも小さい値を有しないように制限されることができる。

【0017】

本開示の一実施例によれば、前記レイヤー識別子情報は、ビュー識別子（ｖｉｅｗ ｉｄ）情報又は補助識別子（ａｕｘｉｌｉａｒｙ ｉｄ）のそれぞれに対してシグナリングされることができる。

【0018】

本開示の一実施例によれば、前記レイヤー識別子情報は、ｉ番目のレイヤーのレイヤー識別子がｉ－１番目のレイヤーのレイヤー識別子よりも大きい値を有するようにレイヤー識別子値の昇順で前記ＳＥＩメッセージに含まれることができる。

【0019】

本開示の一実施例によれば、ｉ番目のレイヤーのレイヤー識別子がｉ－１番目のレイヤーのレイヤー識別子よりも小さい値を有するようにレイヤー識別子値の降順で前記ＳＥＩメッセージに含まれることができる。

【0020】

本開示の一実施例によれば、画像符号化装置によって行われる画像符号化方法は、ビットストリーム内の一つ以上のレイヤーに対する情報に基づいて前記ビットストリーム内の画像を符号化するステップと、前記ビットストリームに含まれた一つ以上のレイヤーに対する情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージを前記ビットストリームに符号化するステップと、を含み、前記ＳＥＩメッセージは、前記ビットストリームに含まれた前記一つ以上のレイヤーに対するレイヤー識別子情報を含むことができる。

【0021】

本開示の一実施例によれば、前記レイヤー識別子情報は、前記ビットストリーム内の最大レイヤー数だけ前記ＳＥＩメッセージに含まれることができる。

【0022】

本開示の一実施例によれば、前記ビットストリーム内の最大レイヤー数に関する情報は、前記ＳＥＩメッセージに含まれることができる。

【0023】

本開示の一実施例によれば、画像符号化装置或いは画像符号化方法によって生成されたビットストリームが伝送されることができる。

【0024】

本開示の一実施例によれば、画像符号化方法によって生成されたビットストリームは、コンピュータ可読媒体に保存又は記録されることができる。

【0025】

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

【発明の効果】

【0026】

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

【0027】

本開示によれば、一つ以上のレイヤーに対する情報を含むＳＥＩメッセージに基づく画像符号化／復号化方法及び装置が提供されることができる。

【0028】

本開示によれば、一つ以上のレイヤーに対するレイヤー識別子情報を含む画像を符号化／復号化する方法及び装置が提供されることができる。

【0029】

本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

【0030】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

【0031】

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

【0032】

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【図面の簡単な説明】

【0033】

【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【0034】

【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0035】

【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0036】

【図4】画像復号化手順を概略的に示す図である。

【0037】

【図5】画像符号化手続きを概略的に示す図である。

【0038】

【図6】本開示によるコーディング階層及び構造を概略的に示す図である。

【0039】

【図7-14】本開示によるＶＰＳ内の多重レイヤー情報に関連するシンタックスを説明するための図である。

【0040】

【図15】本開示の一実施例によるＳＤＩ ＳＥＩメッセージシンタックスを示す図である。

【0041】

【図16】本開示の一実施例による画像復号化方法を示す図である。

【0042】

【図17】本開示の一実施例による画像符号化方法を示す図である。

【0043】

【図18】本開示の一実施例による画像符号化／復号化装置を示す図である。

【0044】

【図19】本開示の実施例が適用できるコンテンツストリーミングシステムを例示した図である。

【発明を実施するための形態】

【0045】

本開示の一実施例によれば、画像復号化装置によって行われる画像復号化方法は、ビットストリームに含まれた一つ以上のレイヤーに対する情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージをビットストリームとして受信するステップと、前記受信されたＳＥＩメッセージに基づいて前記一つ以上のレイヤーに対する情報を取得するステップと、前記取得された一つ以上のレイヤーに対する情報に基づいて前記ビットストリーム内の画像を復元するステップと、を含み、前記受信されたＳＥＩメッセージは、前記ビットストリームに含まれた前記一つ以上のレイヤーに対するレイヤー識別子情報を含むことができる。

【実施例】

【0046】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0047】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0048】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0049】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

【0050】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

【0051】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0052】

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

【0053】

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

【0054】

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0055】

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

【0056】

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

【0057】

また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのクロマブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。

【0058】

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

【0059】

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

【0060】

ビデオコーディングシステムの概要

【0061】

図１は、本開示によるビデオコーディングシステムを示す図である。

【0062】

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

【0063】

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

【0064】

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

【0065】

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

【0066】

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

【0067】

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

【0068】

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

【0069】

画像符号化装置の概要

【0070】

図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0071】

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

【0072】

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

【0073】

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

【0074】

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0075】

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0076】

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

【0077】

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。

【0078】

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

【0079】

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

【0080】

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0081】

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

【0082】

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

【0083】

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

【0084】

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0085】

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0086】

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

【0087】

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

【0088】

画像復号化装置の概要

【0089】

図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0090】

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

【0091】

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

【0092】

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

【0093】

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

【0094】

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

【0095】

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0096】

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

【0097】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

【0098】

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

【0099】

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

【0100】

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

【0101】

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

【0102】

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0103】

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

【0104】

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

【0105】

画像符号化／復号化手順の概要

【0106】

図４は、画像復号化手順を概略的に示す図である。

【0107】

画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号化順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）に従って符号化／復号化されることができる。復号化されたピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）に該当するピクチャ順序（ｐｉｃｔｕｒｅ ｏｒｄｅｒ）は、前記復号化順序とは異なるように設定されることができる。これに基づいて、インター予測の際に、順方向予測だけでなく、逆方向予測も行うことができる。

【0108】

図４において、Ｓ４０１は、上述した復号化装置のエントロピー復号化部で行われることができ、Ｓ４０２は、予測部で行われることができ、Ｓ４０３は、レジデュアル処理部で行われることができ、Ｓ４０４は、加算部で行われることができ、Ｓ４０５は、フィルタリング部で行われることができる。Ｓ４０１は、本明細書で説明された情報復号化手順を含むことができ、Ｓ４０２は、本明細書で説明されたインター／イントラ予測手順を含むことができ、Ｓ４０３は、本明細書で説明されたレジデュアル処理手順を含むことができ、Ｓ４０４は、本明細書で説明されたブロック／ピクチャ復元手順を含むことができ、Ｓ４０５は、本明細書で説明されたインループフィルタリング手順を含むことができる。

【0109】

図４の復号化手順は、上述した説明で示されているように、概略的に、ビットストリームから（復号化による）画像／ビデオ情報取得手順（Ｓ４０１）、ピクチャ復元手順（Ｓ４０２～Ｓ４０４）、及び復元されたピクチャに対するインループフィルタリング手順（Ｓ４０５）を含むことができる。前記ピクチャ復元手順は、本明細書で説明されたインター／イントラ予測（Ｓ４０２）及びレジデュアル処理（Ｓ４０３、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正（ｍｏｄｉｆｉｅｄ）された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリに保存されて以後ピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリに保存されて以後ピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順（Ｓ４０５）は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及び／又はバイラテラルフィルター（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルター（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの一つ又は一部が順次適用されることができ、或いはすべてが順次適用されることもできる。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。

【0110】

図５は、画像符号化手順を概略的に示す図である。

【0111】

図５において、Ｓ５０１は、上述した符号化装置の予測部で行われることができ、Ｓ５０２は、レジデュアル処理部で行われることができ、Ｓ５０３は、エントロピー符号化部１９０で行われることができる。Ｓ５０１は、本明細書で説明されたインター／イントラ予測手順を含むことができ、Ｓ５０２は、本明細書で説明されたレジデュアル処理手順を含むことができ、Ｓ５０３は、本明細書で説明された情報符号化手順を含むことができる。

【0112】

ピクチャ符号化手順は、上述した説明で示されているように、概略的にピクチャ復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（ｏｐｔｉｏｎａｌ）を含むことができる。符号化装置は、逆量子化部及び逆変換部を介して、量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、Ｓ５０１の出力である予測サンプルと前記（修正された）レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリに保存されることができ、復号化装置での場合と同様に、以後ピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によって、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピー符号化部で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。

【0113】

このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画像コーディング時に発生するノイズを低減することができ、主観的／客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。

【0114】

上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス／タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャの色成分は、ルマ成分及びクロマ成分を含むことができ、本明細書で明示的に制限しなければ、本明細書で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用できる。

【0115】

コーディング階層及び構造の概要

【0116】

図６は、コーディング階層及び構造を概略的に説明した図である。

【0117】

本明細書によるコーディングされたビデオ／画像は、例えば、後述するコーディング階層及び構造に従って処理できる。

【0118】

コーディングされた画像は、画像の復号化処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を伝送し保存する下位システム、及びＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されている。

【0119】

ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いは、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は画像の復号化過程に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。

【0120】

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダーには、当該ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

【0121】

図示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号化するために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。

【0122】

上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。

【0123】

上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。

【0124】

例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むか否かによって、大きくＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。

【0125】

次に、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセットの種類などによって特定されたＮＡＬユニットタイプの一例を羅列する。

【0126】

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ

【0127】

－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＤＰＳを含むＮＡＬユニットに対するタイプ

【0128】

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬユニット：ＶＰＳを含むＮＡＬユニットに対するタイプ

【0129】

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ

【0130】

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬユニット：ＰＰＳを含むＮＡＬユニットに対するタイプ

【0131】

上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであることができ、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値で特定できる。

【0132】

前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライス又はピクチャに共通に適用可能な情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤーに共通に適用可能な情報／パラメータを含むことができる。前記ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通に適用可能な情報／パラメータを含むことができる。前記ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）のｃｏｎｃａｔｅｎａｔｉｏｎに関する情報／パラメータを含むことができる。本明細書において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。

【0133】

本明細書において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーに含まれた情報、前記ＡＰＳに含まれた情報、前記ＰＰＳに含まれた情報、ＳＰＳに含まれた情報、及び／又はＶＰＳに含まれた情報を含むことができる。

【0134】

ＶＰＳ内の多重レイヤー（ｍｕｌｔｉｌａｙｅｒ）情報のシグナリング

【0135】

以下、ＶＰＳ内の多重レイヤー情報のシグナリングについて詳細に説明する。

【0136】

多重レイヤービットストリームに対して、レイヤー間の従属性のような、復号化できるレイヤーの利用可能な集合であるＯＬＳ（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ）、ＯＬＳに対するＰＴＬ（ｐｒｏｆｉｌｅ、Ｔｉｅｒ ａｎｄ Ｌｅｖｅｌ）情報、ＤＰＢ情報、ＨＲＤ情報は、下記表のとおりにシグナリングされることができる。

【0137】

【表1-1】

【表1-2】

【表1-3】

【表1-4】

【0138】

ＶＰＳ ＲＢＳＰは、参照される前に、復号化プロセスで利用可能でなければならず、ＴｅｍｐｏｒａｌＩｄが０である少なくとも一つのＡＵに含まれるか或いは外部手段を介して提供される。

【0139】

ＣＶＳ内の特定のｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ値を有する全てのＶＰＳ ＮＡＬユニットは、同じコンテンツを持たなければならない。

【0140】

前記表１において、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、他のシンタックス要素による参照のためにＶＰＳに対する識別子を提供する。ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０よりも大きくなければならない。

【0141】

ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳによって特定されるレイヤーの数を指定するが、これは、ＶＰＳを参照する各ＣＶＳで許容される最大レイヤー数である。

【0142】

ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳによって特性されるレイヤーに存在しうる時間的サブレイヤーの最大数を指定する。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０～６の範囲内でなければならない。

【0143】

１であるｖｐｓ＿ｄｅｆａｕｌｔ＿ｐｔｌ＿ｄｐｂ＿ｈｒｄ＿ｍａｘ＿ｔｉｄ＿ｆｌａｇは、シンタックス要素ｖｐｓ＿ｐｔｌ＿ｍａｘ＿ｔｉｄ［ｉ］、ｖｐｓ＿ｄｐｂ＿ｍａｘ＿ｔｉｄ［ｉ］、及びｖｐｓ＿ｐｔｌ＿ｍａｘ＿ｔｉｄ［ｉ］が存在せず、デフォルト値ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１と同一のものと推論されるように指定する。０であるｖｐｓ＿ｄｅｆａｕｌｔ＿ｐｔｌ＿ｄｐｂ＿ｈｒｄ＿ｍａｘ＿ｔｉｄ＿ｆｌａｇは、シンタックス要素ｖｐｓ＿ｐｔｌ＿ｍａｘ＿ｔｉｄ［ｉ］、ｖｐｓ＿ｄｐｂ＿ｍａｘ＿ｔｉｄ［ｉ］、及びｖｐｓ＿ｐｔｌ＿ｍａｘ＿ｔｉｄ［ｉ］が存在することを指定する。これに対し、シンタックス要素が存在しない場合には、ｖｐｓ＿ｄｅｆａｕｌｔ＿ｐｔｌ＿ｄｐｂ＿ｈｒｄ＿ｍａｘ＿ｔｉｄ＿ｆｌａｇが１と推論される。

【0144】

１であるｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇは、ＶＰＳによって特定される全てのレイヤーが、インターレイヤー予測を用いずに独立してコーディングされることを指定する。０であるｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇは、ＶＰＳによって特定される１つ以上のレイヤーがインターレイヤー予測を使用することができることを指定する。シンタックス要素が存在しない場合には、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇの値は１と推論される。

【0145】

ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤーのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する。Ｍ及びｎが負ではない二つの整数であり、ｍがｎより小さい場合には、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｍ］の値はｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｎ］よりも小さくなければならない。

【0146】

１であるｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、インデックスがｉであるレイヤーがインターレイヤー予測を使用しないことを指定する。０であるｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、インデックスがｉであるレイヤーがインターレイヤー予測を使用することができ、ｊが０乃至ｉ－１の範囲内であるシンタックス要素ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］がＶＰＳに存在することを指定する。シンタックス要素が存在しない場合、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値は１と推論される。

【0147】

１であるｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、シンタックス要素ｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］が存在することを指定する。０であるｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、シンタックス要素ｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］が存在しないことを指定する。

【0148】

０であるｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスがｊであるレイヤーが、インデックスがｉであるレイヤーに対する直接参照レイヤーではないことを指定する。１であるｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスがｊであるレイヤーが、インデックスがｉであるレイヤーに対する直接参照レイヤーであることを指定する。ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］が０乃至ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内であるｉ及びｊに対して存在しない場合には、０と推論される。ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］が０である場合、０乃至ｉ－１の範囲内であるｊに対して、ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値が１である少なくとも１つのｊが存在しなければならない。

【0149】

変数ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉ］、ＤｉｒｅｃｔＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｄ］、ＮｕｍＲｅｆＬａｙｅｒｓ［ｉ］、ＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｒ］、及びＬａｙｅｒＵｓｅｄＡｓＲｅｆＬａｙｅｒＦｌａｇ［ｊ］は、図７のように誘導される。

【0150】

ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］と同じレイヤーのレイヤーインデックスを指定する変数ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｉ］は、図８のように誘導される。

【0151】

互いに異なる任意の値を有するが、両方とも０乃至ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内であるｉ及びｊに対して、ｄｅｐｅｎｄｅｎｃｙＦｌａｇ［ｉ］［ｊ］が１であれば、ｉ番目のレイヤーに適用されるｔｓｐｓ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ及びｓｐｓ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８の値が、ｊ番目のレイヤーに適用されるｓｐｓ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ及びｓｐｓ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８の値とそれぞれ同一でなければならない。これは、ビットストリーム整合性要求事項である。

【0152】

０であるｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］は、ｐｈ＿ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔが０であるＧＤＲピクチャでも、ＩＲＡＰピクチャでもないｊ番目のレイヤーのピクチャがｉ番目のレイヤーのピクチャ復号化のためのＩＬＲＰとして使用されないことを指定する。０よりも大きいｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］は、ｉ番目のレイヤーのピクチャ復号化のために、ｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］－１よりも大きいＴｅｍｐｏｒａｌＩｄを有するｊ番目のレイヤーの如何なるピクチャもＩＬＲＰとして使用されないことを指定する。このシンタックス要素が存在しない場合、ｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］の値は、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１と同一であると推論される。

【0153】

１であるｖｐｓ＿ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、各ＯＬＳが一つのレイヤーのみを含み、ＶＰＳによって特定される各レイヤーは、単一包含レイヤーが唯一の出力レイヤーであるＯＬＳであることを指定する。０であるｖｐｓ＿ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、少なくとも一つのＯＬＳが二つ以上のレイヤーを含むように指定する。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０であれば、ｖｐｓ＿ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は１と推論される。そうではなく、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが０であれば、ｖｐｓ＿ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は０と推論される。

【0154】

０であるｖｐｓ＿ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって特定される総ＯＬＳの数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１と同一であり、ｉ番目のＯＬＳが０乃至ｉの範囲内であるレイヤーインデックスを有するレイヤーを含み、各ＯＬＳでＯＬＳの最上位レイヤーが出力レイヤーであるように指定する。

【0155】

１であるｖｐｓ＿ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって特定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１と同一であり、ｉ番目のＯＬＳが０乃至ｉの範囲内であるレイヤーインデックスを有するレイヤーを含み、各ＯＬＳでＯＬＳの全てのレイヤーが出力レイヤーであるように指定する。

【0156】

２であるｖｐｓ＿ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって特定されるＯＬＳの総数が明示的にシグナリングされ、各ＯＬＳで出力レイヤーが明示的にシグナリングされ、他のレイヤーは、ＯＬＳの出力レイヤーの直接或いは間接参照レイヤーであるように指定する。

【0157】

ｖｐｓ＿ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は、０乃至２の範囲内でなければならない。ｖｐｓ＿ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値が３であることは、ＩＴＵ－Ｔ│ＩＳＯ／ＩＥＣの今後の使用のために保存されている。

【0158】

ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１であり且つｖｐｓ＿ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０であれば、ｖｐｓ＿ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は２と推論される。

【0159】

ｖｐｓ＿ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１＋１は、ｖｐｓ＿ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２であるとき、ＶＰＳによって特定される総ＯＬＳの数を指定する。

【0160】

変数ｏｌｓＭｏｄｅＩｄｃは、図９のように誘導される。

【0161】

ＶＰＳによって特定されるＯＬＳの総数を指定する変数ＴｏｔａｌＮｕｍＯｌｓｓは、図１０のように誘導される。

【0162】

１であるｖｐｓ＿ｏｌｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｊ］と同一のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤーが、ｖｐｓ＿ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２であるとき、ｉ番目のＯＬＳの出力レイヤーであるように指定する。０であるｖｐｓ＿ｏｌｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｊ］と同一のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤーが、ｖｐｓ＿ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２であるとき、ｉ番目のＯＬＳの出力レイヤーではないように指定する。

【0163】

ｉ番目のＯＬＳの出力レイヤーの数を指定する変数ＮｕｍＯｕｔｐｕｔＬａｙｅｒｓＩｎＯｌｓ［ｉ］、ｉ番目のＯＬＳのｊ番目のレイヤーのサブレイヤーの数を指定する変数ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ｊ］、ｉ番目のＯＬＳのｊ番目の出力レイヤーのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する変数ＯｕｔｐｕｔＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］、及びｋ番目のレイヤーが少なくとも一つのＯＬＳで出力レイヤーとして使用されるか否かを指定する変数ＬａｙｅｒＵｓｅｄＡｓＯｕｔｐｕｔＬａｙｅｒＦｌａｇ［ｋ］は、図１１のように誘導される。

【0164】

０乃至ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内である各値に対して、ＬａｙｅｒＵｓｅｄＡｓＲｅｆＬａｙｅｒＦｌａｇ［ｉ］及びＬａｙｅｒＵｓｅｄＡｓＯｕｔｐｕｔＬａｙｅｒＦｌａｇ［ｉ］の値の両方とも０であってはならない。言い換えれば、少なくとも一つのＯＬＳの出力レイヤーでもなく、他のレイヤーの直接参照レイヤーでもないレイヤーは、存在することができない。

【0165】

各ＯＬＳにおいて、少なくとも１つのレイヤーは、出力レイヤーでなければならない。言い換えれば、０乃至ＴｏｔａｌＮｕｍＯｌｓｓ－１の範囲内である任意の値に対して、ＮｕｍＯｕｔｐｕｔＬａｙｅｒｓＩｎＯｌｓ［ｉ］の値は１以上でなければならない。

【0166】

ｉ番目のＯＬＳでレイヤーの数を指定する変数ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］、ｉ番目のＯＬＳのｊ番目のレイヤーのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する変数ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］、多重レイヤーＯＬＳ（すなわち、２つ以上のレイヤーを含むＯＬＳ）の数を指定する変数ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ、及びＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が０よりも大きいとき、ｉ番目のＯＬＳで多重レイヤーＯＬＳのリストに対するインデックスを指定する変数ＭｕｌｔｉＬａｙｅｒＯｌｓＩｄｘ［ｉ］は、図１２のように誘導される。

【0167】

ノート１－０番目のＯＬＳは、最下位（ｌｏｗｅｓｔ）のレイヤー（すなわち、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］と同一のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤー）のみを含み、０番目のＯＬＳの場合に含まれたレイヤーのみが出力である。

【0168】

ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］と同一のレイヤーのＯＬＳレイヤーインデックスを指定する変数ＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］は、図１３のように誘導される。

【0169】

各ＯＬＳの最下位レイヤーは、独立したレイヤーでなければならない。言い換えれば、０乃至ＴｏｔａｌＮｕｍＯｌｓｓ－１の範囲内であるそれぞれのｉに対して、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［０］］］の値は１でなければならない。

【0170】

各レイヤーは、ＶＰＳによって指定される少なくとも一つのＯＬＳに含まれなければならない。言い換えれば、０乃至ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内であるｋに対して、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｋ］のうちの一つと同一のｎｕｈ＿ｌａｙｅｒ＿ｉｄである特定のｎｕｈＬａｙｅｒＩｄ値を有する各レイヤーで、ｉ及びｊの値に対するペア（ｐａｉｒ）が少なくとも一つ存在しなければならない。ここで、ｉは０乃至ＴｏｔａｌＮｕｍＯｌｓｓ－１の範囲内であり、ｊはＮｕｍＬａｙｅｒｓＩｎＯｌｓ[ｉ]－１の範囲内なので、ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］の値はｎｕｈＬａｙｅｒＩｄと同一になる。

【0171】

ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造の数を指定する。ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１の値は、ＴｏｔａｌＮｕｍＯｌｓｓよりも小さくなければならない。この要素が存在しなければ、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１の値は０と推論される。

【0172】

１であるｖｐｓ＿ｐｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ｐｒｏｆｉｌｅ、ｔｉｅｒ及び一般制約情報がＶＰＳのｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造に存在することを指定する。０であるｖｐｓ＿ｐｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］０は、ｐｒｏｆｉｌｅ、ｔｉｅｒ及び一般制約情報がＶＰＳのｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造に存在しないことを指定するｖｐｓ＿ｐｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］が０であれば、ＶＰＳのｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造に対するｐｒｏｆｉｌｅ、ｔｉｅｒ及び一般制約情報は、ＶＰＳの（ｉ－１）番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造のそれと同一であると推論される。

【0173】

ｖｐｓ＿ｐｔｌ＿ｍａｘ＿ｔｉｄ［ｉ］は、レベル情報がＶＰＳでｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造に存在する最上位サブレイヤー表現のＴｅｍｐｏｒａｌＩｄを指定する。ｖｐｓ＿ｐｔｌ＿ｍａｘ＿ｔｉｄ［ｉ］の値は、０乃至ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内でなければならない。この要素が存在しなければ、ｖｐｓ＿ｐｔｌ＿ｍａｘ＿ｔｉｄ［ｉ］の値は、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１と同一であると推論される。

【0174】

ｖｐｓ＿ｐｔｌ＿ａｌｉｇｎｍｅｎｔ＿ｚｅｒｏ＿ｂｉｔは、０と同一でなければならない。

【0175】

ｖｐｓ＿ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］は、ｉ番目のＯＬＳに適用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造の、ＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造のリストに対するインデックスを指定する。この要素が存在する場合、ｖｐｓ＿ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値は、０乃至ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１の範囲内でなければならない。

【0176】

この要素が存在しない場合、ｖｐｓ＿ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値は、次のように推論される。

【0177】

－ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１が０であれば、ｖｐｓ＿ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値は、０と推論される。

【0178】

－そうでなければ、（ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１が０よりも大きく、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＋１がＴｏｔａｌＮｕｍＯｌｓｓと同一である）、ｖｐｓ＿ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値はｉと推論される。

【0179】

ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が１であれば、ｉ番目のＯＬＳに適用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造は、ｉ番目のＯＬＳのレイヤーが参照するＳＰＳ内にも存在する。ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が１であれば、ＶＰＳとｉ番目のＯＬＳに対するＳＰＳでシグナリングされるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造が同一でなければならないことが、ビットストリーム整合性の要求事項である。

【0180】

ＶＰＳのｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造のそれぞれは、０乃至ＴｏｔａｌＮｕｍＯｌｓｓ－１の範囲内であるｉに対する、少なくとも一つのｖｐｓ＿ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］値として参照されなければならない。

【0181】

ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＋１は、存在する場合、ＶＰＳ内のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の数を指定する。ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の値は、０乃至ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ－１の範囲内でなければならない。

【0182】

ＶＰＳでｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の数を指定する変数ＶｐｓＮｕｍＤｐｂＰａｒａｍｓは、図１４のように誘導される。

【0183】

ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｄｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＳでｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造内のｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［］、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［］、及びｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［］シンタックス要素の存在を制御するのに用いられる。この要素が存在しない場合、ｖｐｓ＿ｓｕｂ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは０と推論される。

【0184】

ｖｐｓ＿ｄｐｂ＿ｍａｘ＿ｔｉｄ［ｉ］は、ＤＰＲパラメータがＶＰＳでｉ番目のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に存在しうる最上位サブレイヤー表現のＴｅｍｐｏｒａｌＩｄを指定する。ｖｐｓ＿ｄｐｂ＿ｍａｘ＿ｔｉｄ［ｉ］の値は、０乃至ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内でなければならない。この要素が存在しない場合、ｖｐｓ＿ｄｐｂ＿ｍａｘ＿ｔｉｄ［ｉ］の値は、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１と同一のものと推論される。

【0185】

ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｗｉｄｔｈ［ｉ］は、ｉ番目の多重レイヤーＯＬＳに対する各ピクチャ保存バッファの幅をルマ（ｌｕｍａ）サンプル単位で指定する。

【0186】

ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｈｅｉｇｈｔ［ｉ］は、ｉ番目の多重レイヤーＯＬＳに対する各ピクチャ保存バッファの高さをルマサンプル単位で指定する。

【0187】

ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ［ｉ］は、ｉ番目の多重レイヤーＯＬＳに対するＣＶＳでＣＬＶＳが参照する全てのＳＰＳに対するｓｐｓ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの最大許容値を指定する。

【0188】

ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８［ｉ］は、ｉ番目の多重レイヤーＯＬＳに対するＣＶＳでＣＬＶＳが参照する全てのＳＰＳに対するｓｐｓ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８の最大許容値を指定する。

【0189】

ノート２－ｉ番目の多重レイヤーＯＬＳを復号化する際に、デコーダは、ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｗｉｄｔｈ［ｉ］、ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｈｅｉｇｈｔ［ｉ］、ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ［ｉ］、及びｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ８［ｉ］シンタックス要素の値に応じて、ＤＰＢに対して安全にメモリを割り当てることができる。

【0190】

ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］は、ｉ番目の多重レイヤーＯＬＳに適用されるｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の、ＶＰＳ内のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に対するインデックスを指定する。この要素が存在する場合、ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］の値は、０乃至ＶｐｓＮｕｍＤｅｂＰａｒａｍｓ―１の範囲内でなければならない。

【0191】

ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］が存在しない場合、次のことが推論される：

【0192】

－ＶｐｓＮｕｍＤｐｂＰａｒａｍｓが１であれば、ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］の値は０と推論される。

【0193】

－そうでない場合、（ＶｐｓＮｕｍＤｐｂＰａｒａｍｓが１よりも大きく、ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓと同一である）、ｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］の値はｉと推論される。

【0194】

単一レイヤーＯＬＳで、適用可能なｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＯＬＳのレイヤーで参照するＳＰＳに存在する。

【0195】

ＶＰＳ内のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のそれぞれは、０乃至ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ－１の範囲内であるｉに対して、少なくとも１つのｖｐｓ＿ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］値によって参照されなければならない。

【0196】

１であるｖｐｓ＿ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＳがｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造と他のＨＲＤパラメータを含むと指定する。０であるｖｐｓ＿ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＳがｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）のシンタックス構造或いは他のＨＲＤパラメータを含まないと指定する。

【0197】

ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が１であれば、ｉ番目のＯＬＳに適用されるｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造とｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ｉ番目のＯＬＳのレイヤーが参照するＳＰＳに存在する。

【0198】

１であるｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＳのｉ番目のＯＬＳ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が０乃至ｖｐｓ＿ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］の範囲内にあるＴｅｍｐｏｒａｌＩｄを有するサブレイヤー表現のためのＨＲＤパラメータを含むように指定する。０であるｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＳのｉ番目のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造がｖｐｓ＿ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］と同一のＴｅｍｐｏｒａｌＩｄを有するサブレイヤー表現のみのためのＨＲＤパラメータを含むように指定する。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０であれば、ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０と推論される。

【0199】

ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０であれば、０乃至ｖｐｓ＿ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］－１の範囲内にあるＴｅｍｐｏｒａｌＩｄを有するサブレイヤー表現のためのＨＲＤパラメータは、ｖｐｓ＿ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］と同一のＴｅｍｐｏｒａｌＩｄを有するサブレイヤー表現のためのＨＲＤパラメータと同一であると推論される。

【0200】

ここには、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ［ｉ］シンタックス要素から始まってｓｕｂｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ｉ）シンタックス構造の「ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）」条件の直下のｓｕｂｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ｉ）シンタックス構造までのＨＲＤパラメータが含まれる。

【0201】

ｖｐｓ＿ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＋１は、ｖｐｓ＿ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１であるとき、ＶＰＳ内に存在するｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の数を指定する。ｖｐｓ＿ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の値は、０乃至ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ－１の範囲内でなければならない。

【0202】

ｖｐｓ＿ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］は、ＨＲＤパラメータがｉ番目のｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に含まれる最上位サブレイヤー表現のＴｅｍｐｏｒａｌＩｄを指定する。ｖｐｓ＿ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］の値は、０乃至ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内でなければならない。この要素が存在しない場合、ｖｐｓ＿ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］の値はｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１と推論される。

【0203】

ｖｐｓ＿ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］は、ｉ番目の多重レイヤーＯＬＳに適用されるｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の、ＶＰＳのｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のリストに対するインデックスを指定する。ｖｐｓ＿ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］の値は、０乃至ｖｐｓ＿ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の範囲内でなければならない。

【0204】

ｖｐｓ＿ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］が存在しない場合、次のように推論される：

【0205】

－ｖｐｓ＿ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１が０であれば、ｖｐｓ＿ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］の値は０と推論される。

【0206】

－そうでない場合、（ｖｐｓ＿ｎｕｍ＿ｏｌｓ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＋１が１よりも大きく、ｉｓ ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓと同一である）、ｖｐｓ＿ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］の値はｉと推論される。

【0207】

単一レイヤーＯＬＳの場合、適用可能なｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＯＬＳのレイヤーで参照するＳＰＳに存在する。

【0208】

ＶＰＳのｏｌｓ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のそれぞれは、１乃至ＮｕｍＭｕｌｔｉＬａｙｅｒＯｌｓｓ－１の範囲内であるｉに対して少なくとも一つのｖｐｓ＿ｏｌｓ＿ｈｒｄ＿ｉｄｘ［ｉ］値として参照されなければならない。

【0209】

０であるｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素がＶＰＳ ＲＢＳＰシンタックス構造内に存在しないと指定する。１であるｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、ＶＰＳ ＲＢＳＰシンタックス構造内にｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素が存在することができると指定する。

【0210】

ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇは、いずれの値でもよい。この要素の存在と値は、この仕様のこのバージョンに指定されたプロファイルに対するデコーダ適合性に影響を及ぼさない。この仕様のこのバージョンに従うデコーダは、全てのｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素を無視しなければならない。

【0211】

ＶＰＳ及びＳＰＳ

【0212】

以下、ＶＰＳ（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）及びＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）のシグナリングについて説明する。

【0213】

ＶＰＳの存在は、単一レイヤービットストリームの場合に選択的である。ＶＰＳが存在しない場合、シンタックス要素ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は０であり、一部変数の値は、次の説明のように推論される。

【0214】

ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄが０であれば、次のことが適用される：

【0215】

－ＳＰＳがＶＰＳを参照せず、ＳＰＳを参照する各ＣＬＶＳを復号化するとき、ＶＰＳが参照されない。

【0216】

－ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０と推論される。

【0217】

－ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、６と推論される。

【0218】

－ＣＶＳは、一つのレイヤーのみを含まなければならない（すなわち、ＣＶＳの全てのＶＣＬ ＮＡＬユニットは、同一のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を持たなければならない。）

【0219】

－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］の値は、０と推論される。

【0220】

－ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｒｎａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］の値は、１と推論される。

【0221】

ＳＥＩメッセージの概要

【0222】

以下、下記表２を参照して、ＳＤＩ（ｓｃａｌａｂｉｌｉｔｙ ｄｉｍｅｎｓｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）ＳＥＩメッセージシンタックスについて説明する。

【0223】

【表2】

【0224】

以下、ＳＤＩ（Ｓｃａｌａｂｉｌｉｔｙ ｄｉｍｅｎｓｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）ＳＥＩメッセージセマンティクスについて説明する。

【0225】

ＳＤＩ（ｓｃａｌａｂｉｌｉｔｙ ｄｉｍｅｎｓｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）ＳＥＩメッセージは、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ（下記に定義される）の各レイヤーに対する拡張性次元情報（ｓｃａｌａｂｉｌｉｔｙ ｄｉｍｅｎｓｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を提供するが、例えば、１）ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅがマルチビュー（ｍｕｌｔｉｖｉｅｗ）ビットストリームである場合、各レイヤーのビューＩＤを、２）ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内の一つ以上のレイヤーによって伝達される補助情報（ａｕｘｉｌｉａｒｙ ｉｎｆｏｒｍａｔｉｏｎ）（例えば、深さ或いはアルファ（ａｌｐｈａ））が存在する場合、各レイヤーの補助ＩＤを提供することができる。

【0226】

ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅは、復号化順序上、現在拡張性次元情報ＳＥＩメッセージを含むＡＵと後続する０個以上のＡＵで構成されたＡＵのシーケンスであり得る。この時、前記後続する０個以上のＡＵは、拡張性次元情報ＳＥＩメッセージを含む後続ＡＵまで全ての後続ＡＵを含むことができる。このとき、拡張性次元情報ＳＥＩメッセージを含む前記後続ＡＵは含まれなくてもよい。

【0227】

ｓｄｉ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内の最大レイヤー数を指示することができる。

【0228】

１であるｓｄｉ＿ｍｕｌｔｉｖｉｅｗ＿ｉｎｆｏ＿ｆｌａｇは、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅがマルチビュービットストリーム（ｍｕｌｔｉｖｉｅｗ ｂｉｔｓｔｒｅａｍ）であってもよく、ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［］シンタックス要素がＳＤＩ（ｓｃａｌａｂｉｌｉｔｙ ｄｉｍｅｎｓｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）ＳＥＩメッセージ内に存在することを指示することができる。０であるｓｄｉ＿ｍｕｌｔｉｖｉｅｗ＿ｆｌａｇは、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅがマルチビュービットストリームではなく、ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［］シンタックス要素は、ＳＤＩ ＳＥＩメッセージ内に存在しないことを指示することができる。

【0229】

１であるｓｄｉ＿ａｕｘｉｌｉａｒｙ＿ｉｎｆｏ＿ｆｌａｇは、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内の一つ以上のレイヤーによって伝達される補助情報が存在することができ、ｓｄｉ＿ａｕｘ＿ｉｄ［］シンタックス要素がＳＤＩ ＳＥＩメッセージ内に存在することを指示することができる。０であるｓｄｉ＿ａｕｘｉｌｉａｒｙ＿ｉｎｆｏ＿ｆｌａｇは、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内の一つ以上のレイヤーによって伝達される補助情報が存在せず、ｓｄｉ＿ａｕｘ＿ｉｄ［］シンタックス要素がＳＤＩ ＳＥＩメッセージ内に存在しないことを指示することができる。

【0230】

ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｌｅｎは、ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］シンタックス要素の長さをビットで特定することができる。

【0231】

ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］は、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内のｉ番目のレイヤーのビューＩＤを特定することができる。ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］シンタックス要素の長さは、ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｌｅｎビットであり得る。この要素が存在しない場合、ｓｄＩ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］の値は０と推論されることができる。

【0232】

０であるｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］は、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内 のｉ番目のレイヤーが補助ピクチャを含まないことを指示することができる。０よりも大きいｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］は、下記表３に指定されたように、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ内のｉ番目レイヤーの補助ピクチャの類型を指示することができる。

【0233】

補助ピクチャ類型に対するｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］マッピング

【0234】

【表3】

【0235】

前記表３において、１２８乃至１５９の範囲内であるｓｄｉ＿ａｕｘ＿ｉｄに関連する補助ピクチャの解析は、ｓｄｉ＿ａｕｘ＿ｉｄ値ではない他の手段を介して指定されることができる。

【0236】

本開示によるビットストリームの場合、ｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］は、０乃至２の範囲内であるか、或いは１２８乃至１５９の範囲内であり得る。本開示によれば、ｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］の値が０乃至２の範囲内或いは１２８乃至１５９の範囲内であっても、デコーダは、０乃至２５５の範囲内でｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］の値を許容しなければならない。

【0237】

上述したように、ＳＤＩ ＳＥＩメッセージは、当該ビットストリームに存在するレイヤーに対する追加的な情報を提供することができる。レイヤーに対する情報を提供するために、ビットストリーム内のレイヤーリストに対する繰り返し文（ｌｏｏｐ）を含むことができる。しかし、ＳＤＩ ＳＥＩメッセージは、それぞれのインデックスｉがどのレイヤーを参照するかに関する情報を含むものではない。即ち、ＳＤＩ ＳＥＩメッセージのｉ番目のレイヤーと実際レイヤー自体との関係は、ビットストリームのＶＰＳに存在するレイヤー情報によって定義されることができる。これは、ＶＰＳが変更されてもよく、ＶＰＳを変更するエンティティが前記ＳＥＩメッセージも共に変更される必要があることを認知することができないので、好ましくない結果を引き起こすことができる。

【0238】

これを解決するために、本開示においてレイヤー識別子情報を含むＳＥＩメッセージを提案する。すなわち、本開示は、ビットストリーム内に含まれたレイヤーに対するレイヤー識別子情報を含むＳＥＩメッセージに基づく画像符号化／復号化技術を提案する。これによれば、ＶＰＳに対するレイヤー識別子情報の従属性が除去されることで、コーディング効率性を向上させることができる

【0239】

本開示によれば、上述した問題点を解決するための構成として、下記の構成１乃至構成６が提供されることができる。下記構成１乃至構成６は、それぞれ独立して実現されてもよく、２つ以上の構成が組み合わされて実現されてもよい。

【0240】

構成１：拡張可能な次元情報（Ａ Ｓｃａｌａｂｌｅ Ｄｉｍｅｎｓｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＤＩ）ＳＥＩメッセージは、関連したＣＶＳ或いはビットストリームに存在する実際レイヤー（ａｃｔｕａｌ ｌａｙｅｒｓ）よりもさらに多くの数のレイヤーに対する拡張可能な次元情報を伝達することができる。

【0241】

構成２：ｓｄｉ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、対応するＣＶＳ或いはビットストリーム内のレイヤーの数に制限されないことができる。すなわち、ビットストリーム内のレイヤーの数よりもさらに大きいか、同じか、或いはさらに小さくてもよい。

【0242】

構成３：又は、ｓｄｉ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１の値は、対応するＣＶＳ或いはビットストリーム内の実際レイヤーの数よりも小さくなくてもよい。

【0243】

構成４：各ビュー識別子及び／又は補助識別子に対して、レイヤー識別子（ｌａｙｅｒ ｉｄ）情報をシグナリングすることができる。言い換えれば、ＳＥＩメッセージ内のレイヤーに対する繰り返し文（ｌｏｏｐ）を用いてレイヤー識別子情報をシグナリングすることができる。

【0244】

構成５：レイヤーに対する繰り返し文内のレイヤー識別子情報は、レイヤー識別子値の昇順で整列されるか、或いは昇順でシグナリングされることができる。

【0245】

構成６：又は、レイヤーに対する繰り返し文内のレイヤー識別子情報は、レイヤー識別子値の降順で整列されるか、或いは降順でシグナリングされることができる。

【0246】

以下、図面を参照して本発明の実施例を詳細に説明する。

【0247】

実施例１：ＳＤＩ ＳＥＩメッセージシンタックス及びセマンティクス

【0248】

以下、図１５を参照して、本開示によるＳＤＩ ＳＥＩメッセージシンタックス及びセマンティクスに基づいて本開示の実施例を説明する

【0249】

一例として、ＳＤＩ ＳＥＩメッセージは、ビットストリーム（例えば、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ（下記に定義される））内の各レイヤーに対する拡張性次元情報を含むことができる。例えば、ＳＥＩメッセージには、１）ビットストリームがマルチビュービットストリーム（ｍｕｌｔｉｖｉｅｗ ｂｉｔｓｔｒｅａｍ）である場合、各レイヤーのビュー識別子（ｖｉｅｗ ＩＤ）情報が含まれることができ、２）ビットストリーム内の一つ以上のレイヤーが運搬する補助情報（ａｕｘｉｌｉａｒｙ ｉｎｆｏｒｍａｔｉｏｎ（例えば、深さ（ｄｅｐｔｈ）或いはアルファ（ａｌｐｈａ））が存在しうる場合、各レイヤーの補助識別子（ａｕｘｉｌｉａｒｙ ＩＤ）が含まれることができる。

【0250】

一例として、ビットストリーム（例えば、ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ）は、復号化順序で現在ＳＤＩ ＳＥＩメッセージを含む一つ以上のＡＵで構成されたＡＵのシーケンスであり得る。ここで、ＳＤＩ ＳＥＩメッセージを含む後続ＡＵまで含まれるが、ＳＥＩメッセージを含まない全ての後続ＡＵも含めて０個以上のＡＵがこれに後続することができる。

【0251】

一例として、ｓｄｉ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を足した値は、ビットストリーム内の最大レイヤー数を示すことができる。ｓｄｉ＿ｍｕｌｔｉｖｉｅｗ＿ｉｎｆｏ＿ｆｌａｇが１であれば、これは、ビットストリームがマルチビュービットストリームであってよく、ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［］シンタックス要素がＳＤＩ ＳＥＩメッセージ内に存在することを示すことができる。ｓｄｉ＿ｍｕｌｔｉｖｉｅｗ＿ｆｌａｇが０であれば、これは、ビットストリームがマルチビュービットストリームではなく、ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［］シンタックス要素がＳＤＩ ＳＥＩメッセージ内に存在しないことを示すことができる。

【0252】

他の一例として、ＳＤＩ ＳＥＩメッセージは、関連したＣＶＳ或いはビットストリームに存在する実際レイヤーよりもさらに多くのレイヤーに対する拡張可能な次元情報（ｓｃａｌａｂｌｅ ｄｉｍｅｎｓｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を運搬することができる。すなわち、ｓｄｉ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値が当該ＣＶＳ或いはビットストリーム内のレイヤーの数に制限されないことができる。すなわち、当該ＣＶＳ或いはビットストリームのレイヤー数よりも小さいか、同じか、或いは大きくてもよい。又は、ｓｄｉ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１の値は、常に当該ＣＶＳ或いはビットストリーム内のレイヤーの実際数よりも小さくなくてもよい。

【0253】

ｓｄｉ＿ａｕｘｉｌｉａｒｙ＿ｉｎｆｏ＿ｆｌａｇが１であれば、これは、ビットストリーム内の一つ以上のレイヤーによって伝達される補助情報が存在することができ、ｓｄｉ＿ａｕｘ＿ｉｄ［］シンタックス要素は、ＳＤＩ ＳＥＩメッセージ内に存在することを示すことができる。ｓｄｉ＿ａｕｘｉｌｉａｒｙ＿ｉｎｆｏ＿ｆｌａｇが０であれば、これは、ビットストリーム内の一つ以上のレイヤーによって伝達される補助情報は存在せず、ｓｄｉ＿ａｕｘ＿ｉｄ［］シンタックス要素は、ＳＤＩ ＳＥＩメッセージ内に存在しないことを示すことができる。

【0254】

ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｌｅｎは、ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］シンタックス要素の長さをビットで表すことができる。

【0255】

ｓｄｉ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ビットストリーム（ｂｉｔｓｔｒｅａｍＩｎＳｃｏｐｅ）内のｉ番目のレイヤーのレイヤー識別子（ｌａｙｅｒ ＩＤ）に対する情報を示すことができる。ｉ値は、０乃至ｓｄｉ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－１内の値を有することができる。このとき、ｓｄｉ＿ｌａｙｅｒ＿ｉｄ［ｉ］の値は、ｓｉｄ＿ｌａｙｅｒ＿ｉｄ［ｉ－１］よりも小さいように、降順で整列されることができる しかし、これに限定されず、昇順又は他の順序によって整列されてもよい。

【0256】

一例として、ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］は、ビットストリーム内のｉ番目のレイヤーのレイヤー識別子情報を示すことができる。ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］シンタックス要素の長さは、ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｌｅｎビットであり得る。この要素が存在しない場合、ｓｄｉ＿ｖｉｅｗ＿ｉｄ＿ｖａｌ［ｉ］の値は０と見做されることができる。

【0257】

一例として、ｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］が０であれば、これは、ビットストリーム内のｉ番目のレイヤーが補助ピクチャを含まないことを示すことができる。ｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］が０より大きければ、これは、表４に指定されたように、ビットストリーム内のｉ番目のレイヤーの補助ピクチャの類型を示すことができる。表４は、次の通りである。

【0258】

補助ピクチャの類型に対するＳｄｉ＿ａｕｘ＿ｉｄ［ｉ］マッピング

【0259】

【表4】

【0260】

前記表に示すように、１２８乃至１５９の範囲内であるｓｄｉ＿ａｕｘ＿ｉｄに関連する補助ピクチャ類型の解釈は、特定されなくてもよい。よって、補助ピクチャ類型は、ｓｄｉ＿ａｕｘ＿ｉｄ値以外に他の手段を介して特定されてもよい。

【0261】

一例として、ビットストリーム整合性（ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍａｎｃｅ）のために、ｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］は、０乃至２の範囲内でなければならない。或いは、１２８乃至１５９の範囲内に制限されることもできる。一例として、ｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］の値が０乃至２の範囲内或いは１２８乃至１５９の範囲内に制限されるとしても、デコーダは、ｓｄｉ＿ａｕｘ＿ｉｄ［ｉ］の値が０乃至２５５の範囲内の値を持つことができるように許可しなければならない。

【0262】

他の一例として、各ビュー識別子（ｖｉｅｗ ｉｄ）及び／又は補助識別子（ａｕｘｉｌｉａｒｙ ｉｄ）に対して、レイヤー識別子（ｌａｙｅｒ ｉｄ）がシグナリングされてもよい。言い換えれば、ＳＥＩメッセージ内のレイヤーに対する繰り返し文でレイヤー識別子情報がシグナリングされることができる。このとき、レイヤーに対するレイヤー識別子情報は、レイヤー識別子情報の値に対して昇順で整列或いはシグナリングされてもよく、降順で整列或いはシグナリングされてもよい。

【0263】

前記実施例によれば、レイヤー識別子に関連するＶＰＳに対する不要な従属性を除去してコーディング効率性を向上させることができる。

【0264】

実施例２：本開示による画像復号化方法

【0265】

以下、図１６を参照して、本開示の一実施例による画像復号化方法について説明する。

【0266】

図１６の画像復号化方法は、画像復号化装置によって行われ得る。画像復号化装置は、まず、ビットストリームに含まれた一つ以上のレイヤーに対する情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージをビットストリームとして受信（Ｓ１６０１）することができ。以後、前記受信されたＳＥＩメッセージに基づいて前記一つ以上のレイヤーに対する情報を取得（Ｓ１６０２）し、取得された一つ以上のレイヤーに対する情報に基づいて前記ビットストリーム内の画像を復元（Ｓ１６０３）することができる。

【0267】

このとき、前記ＳＥＩメッセージは、本開示によるＳＤＩ ＳＥＩメッセージであり得る。一例として、受信されたＳＥＩメッセージは、前記ビットストリームに含まれた前記一つ以上のレイヤーに対するレイヤー識別子情報を含むことができる。一例として、レイヤー識別子情報は、上述したｓｄｉ＿ｌａｙｅｒ＿ｉｄを含むことができる。また、レイヤー識別子情報は、前記ビットストリーム内の最大レイヤー数だけ取得できる。ビットストリーム内の最大レイヤー数に関する情報はＳＥＩメッセージから取得できる。すなわち、最大レイヤー数に関する情報はＳＥＩメッセージに含まれることができる。一例として、ＳＥＩメッセージは、ビットストリームに含まれた一つ以上のレイヤー以外のレイヤーに対する情報を含むことができる。即ち、ビットストリームに含まれた実際のレイヤーよりもさらに多くの数のレイヤーに対する情報を含むこともできる。すなわち、ビットストリーム内の最大レイヤー数は、ビットストリーム内の一つ以上のレイヤーの数に制限されないことができる。他の一例として、ビットストリーム内の最大レイヤー数は、ビットストリーム内の一つ以上のレイヤーの数よりも小さい値を有しないように制限されるか、或いはビットストリーム内の一つ以上のレイヤーの数よりも小さくてもよい。一方、レイヤー識別子情報は、ビュー識別子（ｖｉｅｗ ｉｄ）情報或いは補助識別子（ａｕｘｉｌｉａｒｙ ｉｄ）のそれぞれに対してシグナリングされることができる。また、レイヤー識別子情報は、ｉ番目のレイヤーのレイヤー識別子がｉ－１番目のレイヤーのレイヤー識別子よりも大きい値を有するようにレイヤー識別子値の昇順でＳＥＩメッセージに含まれるか、逆に、ｉ番目のレイヤーのレイヤー識別子がｉ－１番目のレイヤーのレイヤー識別子よりも小さい値を有するようにレイヤー識別子値の降順で前記ＳＥＩメッセージに含まれてもよい。

【0268】

一方、図１６は、本開示の一実施例に該当するので、一部ステップがさらに追加されるか、変更されるか、或いは削除されることができ、ステップの順序が変更されることができる。

【0269】

実施例３：本開示による画像符号化方法

【0270】

以下、図１７を参照して、本開示の一実施例による画像符号化方法について説明する。

【0271】

図１７の画像符号化方法は、画像符号化装置によって行われ得る。画像符号化装置は、まず、一つ以上のレイヤーにチスル情報に基づいて画像を符号化（Ｓ１７０１）することができる。すなわち、ビットストリーム内の一つ以上のレイヤーに対する情報に基づいて前記ビットストリーム内の画像を符号化することができる。以後、一つ以上のレイヤーに対する情報を含むＳＥＩメッセージを符号化（Ｓ１７０２）することができる。すなわち、ビットストリームに含まれた一つ以上のレイヤーに対する情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージをビットストリームに符号化することができる。

【0272】

このとき、前記ＳＥＩメッセージは、本開示によるＳＤＩ ＳＥＩメッセージであり得る。一例として、ＳＥＩメッセージは、ビットストリームに含まれた一つ以上のレイヤーに対するレイヤー識別子情報を含むことができる。一例として、レイヤー識別子情報は、上述したｓｄｉ＿ｌａｙｅｒ＿ｉｄを含むことができる。また、レイヤー識別子情報は、ビットストリーム内の最大レイヤー数だけＳＥＩメッセージに含まれることができる。ビットストリーム内の最大レイヤー数に関する情報もＳＥＩメッセージに含まれることができる。即ち、最大レイヤー数に関する情報は、ＳＥＩメッセージに含まれることができる。一例として、ＳＥＩメッセージには、ビットストリームに含まれた一つ以上のレイヤー以外のレイヤーに対する情報がさらに含まれることができる。他の一例として、ビットストリーム内の最大レイヤー数は、ビットストリーム内の一つ以上のレイヤーの数よりも小さい値を有しないように制限されるか、ビットストリーム内の一つ以上のレイヤーの数よりも小さくてもよい。一方、レイヤー識別子情報は、ビュー識別子（ｖｉｅｗ ｉｄ）情報或いは補助識別子（ａｕｘｉｌｉａｒｙ ｉｄ）のそれぞれに対してビットストリームに含まれることができる。また、レイヤー識別子情報は、ｉ番目のレイヤーのレイヤー識別子がｉ－１番目のレイヤーのレイヤー識別子よりも大きい値を有するようにレイヤー識別子値の昇順でＳＥＩメッセージに含まれて符号化されてもよい。或いは、降順でＳＥＩメッセージに含まれてもよい。

【0273】

一方、図１７は、本開示の一実施例に該当するので、一部ステップがさらに追加されるか、変更されるか、或いは削除されることができ、ステップの順序が変更されることができる。

【0274】

実施例４：本開示による画像符号化／復号化装置

【0275】

一実施例として、図１８の画像符号化／復号化装置１８０１は、データを保存するメモリ１８０２、及びメモリを制御するプロセッサ１８０３を含むことができ、プロセッサに基づいて上述した画像符号化／復号化を行うことができる。また、図１８の装置１８０１は、図２乃至図３の装置を簡略に表現した様子であり、上記で説明した機能を行うことができる。

【0276】

一実施例として、図１８の装置１８０１が画像復号化装置である場合、プロセッサ１８０３は、ビットストリームに含まれた一つ以上のレイヤーに対する情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージをビットストリームとして受信し、受信されたＳＥＩメッセージに基づいて一つ以上のレイヤーに対する情報を取得し、取得された一つ以上のレイヤーに対する情報に基づいてビットストリーム内の画像を復元することができる。また、受信されたＳＥＩメッセージは、前記ビットストリームに含まれた前記一つ以上のレイヤーに対するレイヤー識別子情報を含むことができる。

【0277】

他の一実施例として、図１８の装置１８０１が画像符号化装置である場合、プロセッサ１８０３は、ビットストリーム内の一つ以上のレイヤーに対する情報に基づいてビットストリーム内の画像を符号化し、ビットストリームに含まれた一つ以上のレイヤーに対する情報を含むＳＥＩ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージをビットストリームに符号化することができる 一方、ＳＥＩメッセージは、前記ビットストリームに含まれた前記一つ以上のレイヤーに対するレイヤー識別子情報を含むことができる。

【0278】

本開示による多様な実施例は、単独で又は他の実施例と組み合わされて使用できる。

【0279】

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。

【0280】

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

【0281】

本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

【0282】

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

【0283】

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0284】

図１９は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【0285】

図１９に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0286】

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記サーバは省略できる。

【0287】

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0288】

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

【0289】

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

【0290】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

【0291】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

【0292】

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0293】

本開示による実施例は、画像を符号化／復号化することに利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【国際調査報告】