特表 2023-507348 ビデオストリームにおいて異なるＮＡＬユニットタイプのＮＡＬユニットを混合するためのデコーダ、エンコーダおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-22

(54)【発明の名称】ビデオストリームにおいて異なるＮＡＬユニットタイプのＮＡＬユニットを混合するためのデコーダ、エンコーダおよび方法

(51)【国際特許分類】

   H04N 19/70 20140101AFI20230215BHJP

   H04N 19/31 20140101ALI20230215BHJP

【ＦＩ】

H04N19/70

H04N19/31

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022536873

(86)(22)【出願日】2020-12-16

(85)【翻訳文提出日】2022-08-10

(86)【国際出願番号】 EP2020086523

(87)【国際公開番号】W WO2021122817

(87)【国際公開日】2021-06-24

(31)【優先権主張番号】19219057.7

(32)【優先日】2019-12-20

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】591037214

【氏名又は名称】フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】サンチェス デ ラ フエンテ ヤゴ

(72)【発明者】

【氏名】ズーリング カルステン

(72)【発明者】

【氏名】ヘルゲ コーネリアス

(72)【発明者】

【氏名】ツェル トーマス

(72)【発明者】

【氏名】スクピン ロベルト

(72)【発明者】

【氏名】ウィーガンド トーマス

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA33

5C159PP04

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

本発明は、第１サブビットストリーム（１１－１）及び第２サブビットストリーム（１１－２）を含むビデオデータストリーム（１１）を処理するためのデコーダ、エンコーダ及び対応する方法に関する。本明細書で説明する概念は、アクセスユニット（３０、３１、３２）内で、異なるＮＡＬユニットタイプの異なるＮＡＬユニット（３０１、３０２、３０３０、３０４）を混合するためのソリューションを提供する。例えば、ＩＲＡＰ ＮＡＬユニットタイプは、異なるＩＲＡＰ ＮＡＬユニットタイプまたは非ＩＲＡＰ ＮＡＬユニットタイプと混合され得、非ＩＲＡＰ ＮＡＬユニットタイプは、異なる非ＩＲＡＰ ＮＡＬユニットタイプと混合され得る。

【特許請求の範囲】

【請求項1】

ビデオコンテンツ（１２）を復号するためのデコーダ（１００）であって、
前記デコーダ（１００）は、
前記ビデオコンテンツ（１２）のピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の第１空間セグメント（１３_１）に関連する第１サブビットストリーム（１１－１）と、前記ビデオコンテンツ（１２）のピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の第２空間セグメント（１３_２）に関連する第２サブビットストリーム（１１－２）と、を含むビットストリーム（１１）を復号するように構成され、
Ａ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、異なる非ＩＲＡＰ ＮＡＬユニットタイプ（ＲＡＤＬ、ＲＡＳＬ、ＴＲＡＩＬ、またはＳＴＳＡ）である前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合される非ＩＲＡＰ ＮＡＬユニットタイプ（ＲＡＤＬ、ＲＡＳＬ、ＴＲＡＩＬ、またはＳＴＳＡ）である、少なくとも１つのアクセスユニット（３０）を含む、または、
Ｂ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、さらなるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合されるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である、少なくとも１つのアクセスユニット（３０）を含む、または、
Ｃ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）またはＳＴＳＡ ＮＡＬユニットタイプの何れかである前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合されるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である、少なくとも１つのアクセスユニット（３０）を含む、
デコーダ（１００）。

【請求項2】

ピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の前記空間セグメント（１３_１、１３_２）は、前記ビデオコンテンツ（１２）におけるピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の、独立して符号化されたサブピクチャ（２０ｃ）に関連し、
前記デコーダ（１００）は、サブピクチャ境界を交差する動き補償予測に関して境界拡張を用いるように構成される、
請求項１に記載のデコーダ（１００）。

【請求項3】

Ａ）の場合では、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャユニットタイプ（ＲＡＤＬ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である、
請求項１または請求項２に記載のデコーダ（１００）。

【請求項4】

Ａ）の場合では、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である、
請求項１または請求項２に記載のデコーダ（１００）。

【請求項5】

Ａ）の場合では、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャ（ＲＡＤＬ）である、
請求項１または請求項２に記載のデコーダ（１００）。

【請求項6】

Ａ）の場合では、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である、
請求項１または請求項２に記載のデコーダ（１００）。

【請求項7】

前記デコーダ（１００）は、前記ビットストリーム（１１）から指示を導出するように構成され、
前記指示は、前記第２サブビットストリーム（１１－２）の前記非ＩＲＡＰ ＮＡＬユニットタイプの前記ＮＡＬユニット（３０４）が、前記第１サブビットストリーム（１１－１）の前記非ＩＲＡＰ ＮＡＬユニットタイプの前記ＮＡＬユニット（３０２）と混合されることを前記デコーダ（１００）に明示的に示し、
ＮＡＬユニット（３０４）が、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）であり、
ＮＡＬユニット（３０２）が、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）またはランダムアクセスデコーダブルリーディングピクチャ（ＲＡＤＬ）の何れかである、
請求項３または請求項４に記載のデコーダ（１００）。

【請求項8】

前記指示は、パラメータセットのシンタックス要素を含む、
請求項７に記載のデコーダ（１００）。

【請求項9】

前記シンタックス要素は、ピクチャパラメータセットまたはシーケンスパラメータセットの少なくとも１つに含まれる、
請求項８に記載のデコーダ（１００）。

【請求項10】

前記第１サブビットストリーム（１１－１）の前記非ＩＲＡＰ ＮＡＬユニットタイプの前記ＮＡＬユニット（３０２）がランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプがトレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である場合、
前記デコーダ（１００）は、
前記第１サブビットストリーム（１１－１）の前記ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）の前記ＮＡＬユニット（３０２）に対応する前記第１サブビットストリーム（１１－１）の前記ビデオコンテンツ（１２）のピクチャ（１２ａ、１２ｂ、１２ｃ）の第１空間セグメント（１３_１）を、
ａ）無視するまたは出力すること控えること、または
ｂ）破損した空間セグメントとして、出力しマークすることを、
前記デコーダ（１００）に向けて指示する前記ビットストリームから指示を導出するように構成される、
請求項１～９の何れか１項に記載のデコーダ（１００）。

【請求項11】

ｂ）の場合、前記デコーダ（１００）は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージにより、後続の処理チェーンに向けて前記破損した空間セグメントをマークするように構成される、
請求項１０に記載のデコーダ（１００）。

【請求項12】

前記デコーダ（１００）は、パラメータセットから制約指示を復号するように構成され、
前記制約指示は、前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプが非リーディングピクチャ ＮＡＬユニットタイプ（ＴＲＡＩＬまたはＳＴＳＡ）である場合、前記第１サブビットストリーム（１１－１）の、関連するＩＲＡＰ ＮＡＬユニット（３０１）が前記クリーンランダムアクセスユニットタイプ（ＣＲＡ）である場合に独占的に、前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプが、ランダムアクセスピクチャであることを、前記デコーダ（１００）に向けて示す、
請求項１～１１の何れか１項に記載のデコーダ（１００）。

【請求項13】

前記第２ビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニット（３０４）は、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である、
請求項１２に記載のデコーダ（１００）。

【請求項14】

Ａ）の場合、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャユニットタイプ（ＲＡＤＬ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）である、
請求項１または請求項２に記載のデコーダ（１００）。

【請求項15】

Ａ）の場合、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）である、
請求項１または請求項２に記載のデコーダ（１００）。

【請求項16】

前記デコーダ（１００）は、前記ビットストリーム（１１）から指示を導出するように構成され、
前記指示は、前記第２サブビットストリーム（１１－２）の前記非ＩＲＡＰ ＮＡＬユニットタイプの前記ＮＡＬユニット（３０４）が、前記第１サブビットストリーム（１１－１）の前記非ＩＲＡＰ ＮＡＬユニットタイプの前記ＮＡＬユニット（３０２）と混合されることを前記デコーダ（１００）に明示的に示し、
ＮＡＬユニット（３０４）が、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）であり、
ＮＡＬユニット（３０２）が、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）またはランダムアクセスデコーダブルリーディングピクチャ（ＲＡＤＬ）の何れかである、
請求項１５に記載のデコーダ（１００）。

【請求項17】

前記指示は、パラメータセットのシンタックス要素を含む、
請求項１６に記載のデコーダ（１００）。

【請求項18】

前記シンタックス要素は、ピクチャパラメータセットまたはシーケンスパラメータセットの少なくとも１つに含まれる、
請求項１７に記載のデコーダ（１００）。

【請求項19】

前記デコーダ（１００）は、前記ビットストリーム（１１）のパラメータセットから制約フラグを復号するように構成され、
前記制約フラグは、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）の１つ以上のＮＡＬユニット（３０２）と、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）の１つ以上のＮＡＬユニット（３０４）とを混合したものを含む、前記ビットストリーム（１１）の任意のアクセスユニット（３０）が、前記ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）に関連付けられる制約を満たすことを、前記デコーダ（１００）に向けて示す、
請求項１４～１８の何れか１項に記載のデコーダ（１００）。

【請求項20】

前記制約は、復号順序に従い、ステップワイズテンポラルサブレイヤクセス（ＳＴＳＡ）より次の上位テンポラルサブレイヤに関連付けられる、任意のピクチャが、前記次の上位テンポラルサブレイヤが前記ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）に先行する場合、前記次の上位テンポラルサブレイヤでピクチャを参照することを許可しないことを前記デコーダ（１００）に向けて示す、
請求項１９に記載のデコーダ（１００）。

【請求項21】

前記デコーダ（１００）は、前記ビットストリーム（１１）のパラメータセットから制約フラグを復号するように構成され、
前記制約フラグは、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）の１つ以上のＮＡＬユニット（３０２）と、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）の１つ以上のＮＡＬユニット（３０４）とを混合したものを含む、前記ビットストリーム（１１）の任意のアクセスユニット（３０）が、前記ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）に関連付けられる制約に従わないことを、前記デコーダ（１００）に向けて示し、
前記デコーダ（１００）は、前記制約フラグに応えて、前記ステップワイズテンポラルサブレイヤクセス（ＳＴＳＡ）ユニットタイプの１つ以上のＮＡＬユニット（３０４）を解析することを控え、ステップワイズテンポラルサブレイヤクセスの復号を暗黙的に推測する、
請求項１４～１８の何れか１項に記載のデコーダ（１００）。

【請求項22】

ビデオコンテンツ（１２）を復号するためのデコーダ（１００）であって、
ビットストリーム（１１）を復号し、
前記ビットストリーム（１１）のパラメータセットから制約フラグを復号し、
前記制約フラグは、前記ビットストリーム（１１）内で、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）のＮＡＬユニット（３０２）を含む任意のアクセスユニット（３０）が前記ステップワイズテンポラルサブレイヤクセス（ＳＴＳＡ）ユニットタイプに関連付けられる制約を満たすことを、前記デコーダ（１００）に向けて示す、
デコーダ（１００）。

【請求項23】

Ｂ）の場合、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記ＩＲＡＰユニットタイプは、クローズドＧＯＰ構造に関連付けられるＩＲＡＰ ＮＡＬユニットタイプであり、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記ＩＲＡＰユニットタイプは、オープンＧＯＰ構造に関連付けられるＩＲＡＰ ＮＡＬユニットタイプである、
請求項１または請求項２に記載のデコーダ（１００）。

【請求項24】

前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャユニットタイプを有するＣＲＡユニットタイプ（ＣＲＡ＿ｗｉｔｈ＿ＲＡＤＬ）であり、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセススキップリーディングピクチャユニットタイプを有するＣＲＡユニットタイプ（ＣＲＡ＿ｗｉｔｈ＿ＲＡＳＬ）である、
請求項２３に記載のデコーダ（１００）。

【請求項25】

Ｂ）の場合、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャユニットタイプを有する瞬間デコーディングリフレッシュ（ＩＤＲ＿Ｗ＿ＲＡＤＬ）であり、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記ＩＲＡＰ ＮＡＬユニットタイプは、クリーンランダムアクセスユニットタイプ（ＣＲＡ）である、
請求項１または請求項２に記載のデコーダ（１００）。

【請求項26】

前記デコーダ（１００）は、
ビットストリームの順序において、前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）が関連する少なくとも１つのアクセスユニット（３０）に続くアクセスユニット（３１、３２・・・）の１つ以上のピクチャ（１２ｂ、１２ｃ・・・）の共同設置された空間セグメント（１３_２ｂ、１３_２ｃ）を復号して提示し、
ビットストリームの順序において、前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）が関連する少なくとも１つのアクセスユニット（３０）に続くアクセスユニット（３１、３２・・・）の１つ以上のピクチャ（１２ｂ、１２ｃ・・・）の共同設置された空間セグメント（１３_１ｂ、１３_１ｃ）を破棄するようにマークする、
ように構成され、
共同設置された空間セグメント（１３_２ｂ、１３_２ｃ）が、前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）が関連する少なくとも１つのアクセスユニット（３０）のピクチャ（１２ａ）の前記第２空間セグメント（１３_２ａ）に一緒に並べられ、
共同設置された空間セグメント（１３_１ｂ、１３_１ｃ）が、前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）が関連する少なくとも１つのアクセスユニット（３０）のピクチャ（１２ａ）の前記第１空間セグメント（１３_１ａ）に一緒に並べられる、
請求項２３～２５の何れか１項に記載のデコーダ（１００）。

【請求項27】

前記デコーダ（１００）は、
通常のプレイアウト中に連続的に復号する場合、ビットストリームの順序において、前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）が関連する少なくとも１つのアクセスユニット（３０）に続くアクセスユニット（３１、３２・・・）の１つ以上のピクチャ（１２ｂ、１２ｃ・・・）の共同設置された空間セグメント（１３_２ｂ、１３_２ｃ）を復号して提示するように構成され、共同設置された空間セグメント（１３_２ｂ、１３_２ｃ）が、前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）が関連する少なくとも１つのアクセスユニット（３０）のピクチャ（１２ａ）の前記第２空間セグメント（１３_２ａ）に一緒に並べられ、
復号開始の場合、ビットストリームの順序において、前記少なくとも１つのアクセスユニット（３０）に続くアクセスユニット（３１、３２・・・）の１つ以上のピクチャ（１２ｂ、１２ｃ・・・）を破棄し、１つ以上のピクチャ（１２ｂ、１２ｃ・・・）が破棄された後に出力されたピクチャを再開するように構成される、
請求項２３～２５の何れか１項に記載のデコーダ（１００）。

【請求項28】

前記デコーダ（１００）は、
通常のプレイアウト中に連続的に復号する場合、ビットストリームの順序において、前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）が関連する少なくとも１つのアクセスユニット（３０）に続くアクセスユニット（３１、３２・・・）の１つ以上のピクチャ（１２ｂ、１２ｃ・・・）の共同設置された空間セグメント（１３_２ｂ、１３_２ｃ）を復号して提示するように構成され、共同設置された空間セグメント（１３_２ｂ、１３_２ｃ）が、前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）が関連する少なくとも１つのアクセスユニット（３０）のピクチャ（１２ａ）の前記第２空間セグメント（１３_２ａ）に一緒に並べられ、
ビットストリームの順序において、前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）が関連する少なくとも１つのアクセスユニット（３０）に続くアクセスユニット（３１、３２・・・）の１つ以上のピクチャ（１２ｂ、１２ｃ・・・）の共同設置された空間セグメント（１３_１ｂ、１３_１ｃ）を破棄するようにマークする、ように構成され、共同設置された空間セグメント（１３_１ｂ、１３_１ｃ）が、前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）が関連する少なくとも１つのアクセスユニット（３０）のピクチャ（１２ａ）の前記第１空間セグメント（１３_１ａ）に一緒に並べられ
復号開始の場合、ビットストリームの順序において、前記少なくとも１つのアクセスユニット（３０）に続くアクセスユニット（３１、３２・・・）の１つ以上のピクチャ（１２ｂ、１２ｃ・・・）を破棄し、１つ以上のピクチャ（１２ｂ、１２ｃ・・・）が破棄された後に出力されたピクチャを再開するように構成される、
請求項２３～２５の何れか１項に記載のデコーダ（１００）。

【請求項29】

前記デコーダ（１００）は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージにより、後続の処理チェーンに向けて前記破損した空間セグメントをマークするように構成される、
請求項２６～２８の何れか１項に記載のデコーダ（１００）。

【請求項30】

前記デコーダ（１００）は、前記アクセスユニット（３０）がクリーンランダムアクセスＮＡＬユニットタイプとは異なるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ＿Ｗ＿ＲＡＤＬ）のＮＡＬユニット（３０２）を含んでいても、クリーンランダムアクセスＮＡＬユニットタイプに対応する方法で、前記第１サブビットストリーム（１１－１）および前記第２サブビットストリーム（１１－２）と関連する前記少なくとも１つのアクセスユニット（３０）を復号するため前記デコーダ（１００）に向けて指示する前記ビットストリーム（１１）から指示を導出するように構成される、
請求項２３～２９の何れか１項に記載のデコーダ（１００）。

【請求項31】

ビデオコンテンツ（１２）を処理するための装置（１０）であって、
前記装置（１０）は、
前記ビデオコンテンツ（１２）のピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の第１空間セグメント（１３_１）に関連する第１サブビットストリーム（１１－１）を提供し、前記ビデオコンテンツ（１２）のピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の第２空間セグメント（１３_２）に関連する第２サブビットストリーム（１１－２）を提供するように構成され、
前記第１サブビットストリーム（１１－１）および前記第２サブビットストリーム（１１－２）は、ビットストリーム（１１）の一部であり、
Ａ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、異なる非ＩＲＡＰ ＮＡＬユニットタイプ（ＲＡＤＬ、ＲＡＳＬ、ＴＲＡＩＬ、またはＳＴＳＡ）である前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合される非ＩＲＡＰ ＮＡＬユニットタイプ（ＲＡＤＬ、ＲＡＳＬ、ＴＲＡＩＬ、またはＳＴＳＡ）である、少なくとも１つのアクセスユニット（３０）を含む、または、
Ｂ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、さらなるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合されるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である、少なくとも１つのアクセスユニット（３０）を含む、または、
Ｃ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）またはＳＴＳＡ ＮＡＬユニットタイプの何れかである前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合されるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である、少なくとも１つのアクセスユニット（３０）を含む、
装置（１０）。

【請求項32】

ピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の前記空間セグメント（１３_１、１３_２）は、前記ビデオコンテンツ（１２）におけるピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の、独立して符号化されたサブピクチャ（２０ｃ）に関連し、
前記デコーダ（１００）は、サブピクチャ境界を交差する動き補償予測に関して境界拡張を用いるように構成される、
請求項３１に記載の装置（１０）。

【請求項33】

Ａ）の場合では、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャユニットタイプ（ＲＡＤＬ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である、
請求項３１または請求項３２に記載の装置（１０）。

【請求項34】

Ａ）の場合では、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である、
請求項３１または請求項３２に記載の装置（１０）。

【請求項35】

Ａ）の場合では、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャ（ＲＡＤＬ）である、
請求項３１または請求項３２に記載の装置（１０）。

【請求項36】

Ａ）の場合では、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である、
請求項３１または請求項３２に記載の装置（１０）。

【請求項37】

前記装置（１０）は、前記第２サブビットストリーム（１１－２）の前記非ＩＲＡＰ ＮＡＬユニットタイプの前記ＮＡＬユニット（３０４）が、前記第１サブビットストリーム（１１－１）の前記非ＩＲＡＰ ＮＡＬユニットタイプの前記ＮＡＬユニット（３０２）と混合されることを指示するため、前記ビットストリーム（１１）から指示を設定するように構成され、
ＮＡＬユニット（３０４）が、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）であり、
ＮＡＬユニット（３０２）が、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）またはランダムアクセスデコーダブルリーディングピクチャ（ＲＡＤＬ）の何れかである、
請求項３３または請求項３４に記載の装置（１０）。

【請求項38】

前記指示は、パラメータセットのシンタックス要素を含む、
請求項３７に記載の装置（１０）。

【請求項39】

前記シンタックス要素は、ピクチャパラメータセットまたはシーケンスパラメータセットの少なくとも１つに含まれる、
請求項３８に記載のデコーダ（１００）。

【請求項40】

前記第１サブビットストリーム（１１－１）の前記非ＩＲＡＰ ＮＡＬユニットタイプの前記ＮＡＬユニット（３０２）がランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプがトレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である場合、
前記装置（１０）は、
前記第１サブビットストリーム（１１－１）の前記ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）の前記ＮＡＬユニット（３０２）に対応する前記第１サブビットストリーム（１１－１）の前記ビデオコンテンツ（１２）のピクチャ（１２ａ、１２ｂ、１２ｃ）の第１空間セグメント（１３_１）を、
ａ）無視するまたは出力すること控えること、または
ｂ）破損した空間セグメントとして、出力しマークすること、
を指示するため、前記ビットストリームで指示を設定するように構成される、
請求項３１～３９の何れか１項に記載の装置（１０）。

【請求項41】

ｂ）の場合、前記装置（１０）は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージにより、後続の処理チェーンに向けて前記破損した空間セグメントをマークするように構成される、
請求項４０に記載の装置（１０）。

【請求項42】

前記装置（１０）は、前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプが非リーディングピクチャ ＮＡＬユニットタイプ（ＴＲＡＩＬまたはＳＴＳＡ）である場合、前記第１サブビットストリーム（１１－１）の、関連するＩＲＡＰ ＮＡＬユニット（３０１）が前記クリーンランダムアクセスユニットタイプ（ＣＲＡ）である場合に独占的に、前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプが、ランダムアクセスピクチャであることを、指示するために、パラメータセットで制約指示を設定するように構成される、
請求項３１～４１の何れか１項に記載の装置（１０）。

【請求項43】

前記第２ビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニット（３０４）は、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である、
請求項４２に記載の装置（１０）。

【請求項44】

Ａ）の場合、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャユニットタイプ（ＲＡＤＬ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）である、
請求項３１または請求項３２に記載の装置（１０）。

【請求項45】

Ａ）の場合、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記非ＩＲＡＰ ＮＡＬユニットタイプは、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）である、
請求項３１または請求項３２に記載の装置（１０）。

【請求項46】

前記装置（１０）は、前記第２サブビットストリーム（１１－２）の前記非ＩＲＡＰ ＮＡＬユニットタイプの前記ＮＡＬユニット（３０４）が、前記第１サブビットストリーム（１１－１）の前記非ＩＲＡＰ ＮＡＬユニットタイプの前記ＮＡＬユニット（３０２）と混合されることを指示するため、前記ビットストリーム（１１）で指示を設定するように構成され、
ＮＡＬユニット（３０４）が、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）であり、
ＮＡＬユニット（３０２）が、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）またはランダムアクセスデコーダブルリーディングピクチャ（ＲＡＤＬ）の何れかである、
請求項４５に記載の装置（１０）。

【請求項47】

前記指示は、パラメータセットのシンタックス要素を含む、
請求項４６に記載の装置（１０）。

【請求項48】

前記シンタックス要素は、ピクチャパラメータセットまたはシーケンスパラメータセットの少なくとも１つに含まれる、
請求項４７に記載の装置（１０）。

【請求項49】

前記装置（１０）は、前記ビットストリーム（１１）のパラメータセットで制約フラグを設定するように構成され、
前記制約フラグは、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）の１つ以上のＮＡＬユニット（３０２）と、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）の１つ以上のＮＡＬユニット（３０４）とを混合したものを含む、前記ビットストリーム（１１）の任意のアクセスユニット（３０）が、前記ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）に関連付けられる制約を満たすことを、指示する、
請求項４４～４８の何れか１項に記載の装置（１０）。

【請求項50】

前記制約は、復号順序に従い、ステップワイズテンポラルサブレイヤクセス（ＳＴＳＡ）より次の上位テンポラルサブレイヤに関連付けられる、任意のピクチャが、前記次の上位テンポラルサブレイヤが前記ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）に先行する場合、前記次の上位テンポラルサブレイヤでピクチャを参照することを許可しないことを指示する、
請求項４９に記載の装置（１０）。

【請求項51】

前記装置（１０）は、前記ビットストリーム（１１）のパラメータセットで制約フラグを設定し、前記ステップワイズテンポラルサブレイヤクセス（ＳＴＳＡ）ユニットタイプの１つ以上のＮＡＬユニット（３０４）を解析する代わりに、ステップワイズテンポラルサブレイヤクセスの復号を暗黙的に推測するように構成され、
前記制約フラグは、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）の１つ以上のＮＡＬユニット（３０２）と、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）の１つ以上のＮＡＬユニット（３０４）とを混合したものを含む、前記ビットストリーム（１１）の任意のアクセスユニット（３０）が、前記ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）に関連付けられる制約に従わないことを指示する、
請求項４４～４８の何れか１項に記載の装置（１０）。

【請求項52】

ビデオコンテンツ（１２）を処理するための装置（１０）であって、
ビットストリーム（１１）を処理し、
前記ビットストリーム（１１）のパラメータセットで制約フラグを設定し、
前記制約フラグは、前記ビットストリーム（１１）内で、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）のＮＡＬユニット（３０２）を含む任意のアクセスユニット（３０）が前記ステップワイズテンポラルサブレイヤクセス（ＳＴＳＡ）ユニットタイプに関連付けられる制約を満たすことを指示する、
装置（１０）。

【請求項53】

Ｂ）の場合、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記ＩＲＡＰユニットタイプは、クローズドＧＯＰ構造に関連付けられるＩＲＡＰ ＮＡＬユニットタイプであり、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記ＩＲＡＰユニットタイプは、オープンＧＯＰ構造に関連付けられるＩＲＡＰ ＮＡＬユニットタイプである、
請求項３１または請求項３２に記載の装置（１０）。

【請求項54】

前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャユニットタイプを有するＣＲＡユニットタイプ（ＣＲＡ＿ｗｉｔｈ＿ＲＡＤＬ）であり、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセススキップリーディングピクチャユニットタイプを有するＣＲＡユニットタイプ（ＣＲＡ＿ｗｉｔｈ＿ＲＡＳＬ）である、
請求項５３に記載の装置（１０）。

【請求項55】

Ｂ）の場合、
前記第２サブビットストリーム（１１－２）の前記ＮＡＬユニット（３０４）の前記ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャユニットタイプを有する瞬間デコーディングリフレッシュ（ＩＤＲ＿Ｗ＿ＲＡＤＬ）であり、
前記第１サブビットストリーム（１１－１）の前記ＮＡＬユニット（３０２）の前記ＩＲＡＰ ＮＡＬユニットタイプは、クリーンランダムアクセスユニットタイプ（ＣＲＡ）である、
請求項３１または請求項３２に記載の装置（１０）。

【請求項56】

前記装置（１０）は、前記アクセスユニット（３０）がクリーンランダムアクセスＮＡＬユニットタイプとは異なるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ＿Ｗ＿ＲＡＤＬ）のＮＡＬユニット（３０２）を含んでいても、クリーンランダムアクセスＮＡＬユニットタイプに対応する方法で、前記第１サブビットストリーム（１１－１）および前記第２サブビットストリーム（１１－２）と関連する前記少なくとも１つのアクセスユニット（３０）が処理されることを指示するために、前記ビットストリーム（１１）で指示を設定するように構成される、
請求項５３～５５の何れか１項に記載の装置（１０）。

【請求項57】

前記装置（１０）は、エンコーダ、マージャー、およびネットワークノードの少なくとも１つを含む、
請求項３１～５６の何れか１項に記載の装置（１０）。

【請求項58】

ビデオコンテンツ（１２）を復号するための方法であって、
前記ビデオコンテンツ（１２）のピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の第１空間セグメント（１３_１）に関連する第１サブビットストリーム（１１－１）と、前記ビデオコンテンツ（１２）のピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の第２空間セグメント（１３_２）に関連する第２サブビットストリーム（１１－２）と、を含むビットストリーム（１１）を復号するステップを含み、
Ａ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、異なる非ＩＲＡＰ ＮＡＬユニットタイプ（ＲＡＤＬ、ＲＡＳＬ、ＴＲＡＩＬ、またはＳＴＳＡ）である前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合される非ＩＲＡＰ ＮＡＬユニットタイプ（ＲＡＤＬ、ＲＡＳＬ、ＴＲＡＩＬ、またはＳＴＳＡ）である、少なくとも１つのアクセスユニット（３０）を含む、または、
Ｂ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、さらなるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合されるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である、少なくとも１つのアクセスユニット（３０）を含む、または、
Ｃ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）またはＳＴＳＡ ＮＡＬユニットタイプの何れかである前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合されるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である、少なくとも１つのアクセスユニット（３０）を含む、
方法。

【請求項59】

ビデオコンテンツ（１２）を処理するための方法であって、
前記ビデオコンテンツ（１２）のピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の第１空間セグメント（１３_１）に関連する第１サブビットストリーム（１１－１）を提供し、前記ビデオコンテンツ（１２）のピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）の第２空間セグメント（１３_２）に関連する第２サブビットストリーム（１１－２）を提供するステップを含み、
前記第１サブビットストリーム（１１－１）および前記第２サブビットストリーム（１１－２）は、ビデオビットストリーム（１１）の一部であり、
Ａ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、異なる非ＩＲＡＰ ＮＡＬユニットタイプ（ＲＡＤＬ、ＲＡＳＬ、ＴＲＡＩＬ、またはＳＴＳＡ）である前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合される非ＩＲＡＰ ＮＡＬユニットタイプ（ＲＡＤＬ、ＲＡＳＬ、ＴＲＡＩＬ、またはＳＴＳＡ）である、少なくとも１つのアクセスユニット（３０）を含む、または、
Ｂ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、さらなるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合されるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である、少なくとも１つのアクセスユニット（３０）を含む、または、
Ｃ）前記ビットストリーム（１１）は、前記第１サブビットストリーム（１１－１）の少なくとも１つの第１ＮＡＬユニット（３０２）が、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）またはＳＴＳＡ ＮＡＬユニットタイプの何れかである前記第２サブビットストリーム（１１－２）の少なくとも１つの異なる第２ＮＡＬユニット（３０４）と混合されるＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ、またはＣＲＡ）である、少なくとも１つのアクセスユニット（３０）を含む、
方法。

【請求項60】

前記ビデオビットストリーム（１１）の中に前記第１サブビットストリーム（１１－１）および前記第２サブビットストリーム（１１－２）を組み合わせるステップを含む、
請求項５９に記載の方法。

【請求項61】

請求項５８～６０の何れか１項に記載の方法によって得られる、
データストリーム（１１）。

【請求項62】

コンピュータの動作時に、請求項５８～６０の何れか１項に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムを記憶したコンピュータ読取可能なデジタル記憶媒体。

【請求項63】

ビデオコンテンツ（１２）を復号するためのデコーダ（１００）であって、
前記デコーダ（１００）は、第１サブビットストリーム（１１－１）および第２サブビットストリーム（１１－２）を含むビットストリーム（１１）を復号するように構成され、
前記デコーダ（１００）は、前記第１および第２サブビットストリーム（１１－１、１１－２）の前記ＮＡＬユニット（３０２、３０４）のスライスヘッダーから派生するように構成され、ＮＡＬユニット（３０２、３０４）は、ＩＲＡＰ ＮＡＬユニットタイプ（ＣＲＡ、ＩＤＲ＿Ｗ＿ＬＰ、ＩＤＲ＿Ｎ＿ＬＰ）の、前記ＮＡＬユニット（３０２、３０４）が参照するピクチャ（１２ｒ）のＰＯＣにおける最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）を設定するための情報であり、
Ａ）アクセスユニット（３２）内の少なくとも１つのＮＡＬユニット（３０２）が非瞬間デコーディングリフレッシュユニットタイプ（ＣＲＡ）ではない場合、前記前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が、前記ビットストリーム（１１）のアクセスユニット（３２）内で前記ＩＲＡＰ ＮＡＬユニットタイプの全てのＮＡＬユニット（３０２、３０４）のための所定値に設定する必要がある、または、
Ｂ）任意のピクチャ参照が復号順序において、全てのＮＡＬユニット（３０２、３０４）がＩＲＡＰ ＮＡＬユニットタイプであり、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が所定値に設定されるスライスヘッダーを有する、前記ビットストリーム（１１）の任意のアクセスユニット（３２）を交差することを許可されない、または、
Ｃ）第１アクセスユニット（３１）のピクチャ（１２ａ、１２ｂ、１２ｃ・・・）の任意のピクチャ参照が許可されず、前記第１アクセスユニット（３１）が、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が第１所定値に設定され、ビットストリーム順序において、ピクチャ（１２ｓ）により前記ビットストリーム（１１）の第２アクセスユニット（３２）に先行するスライヘッダーを有するＮＡＬユニット（３０１、３０３）で構成され、前記第２アクセスユニットが、全てのＮＡＬユニット（３０２、３０４）がＩＲＡＰ ＮＡＬユニットタイプであり、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が第２所定値に設定されるスライスヘッダーを有しており、ピクチャ（１２ｓ）は、前記ビットストリーム順序において、前記ビットストリーム（１１）の前記第２アクセスユニット（３２）に続く、
デコーダ（１００）。

【請求項64】

Ａ）の場合において、
前記所定値は、前記ＮＡＬユニット（３０２）が参照するピクチャ（１２ｒ）に先行するピクチャ（１２ａ、１２ｂ・・・）に関連付けられるＰＯＣの最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）以上である、
請求項６３に記載のデコーダ（１００）。

【請求項65】

前記所定値は、０に等しい、
請求項６３または請求項６４に記載のデコーダ（１００）。

【請求項66】

前記所定値は、暗黙的に導出される最上位ＰＯＣ部分に等しい、
請求項６３または請求項６４に記載のデコーダ（１００）。

【請求項67】

Ｂ）の場合において、
前記所定値は、前記ＮＡＬユニット（３０２、３０４）が参照する前記ピクチャ（１２ｒ）に先行するピクチャ（１２ａ、１２ｂ、１２ｃ・・・）に関連付けられるＰＯＣの最上位ＰＯＣ（ＰＯＣ ＭＳＢ）より小さい、
請求項６３に記載のデコーダ（１００）。

【請求項68】

前記所定値は、０に等しい、
請求項６３または請求項６７に記載のデコーダ（１００）。

【請求項69】

前記所定値は、暗黙的に導出される最上位ＰＯＣ部分をに等しい、
請求項６３または請求項６７に記載のデコーダ（１００）。

【請求項70】

Ｃ）の場合において、
前記第１所定値は、前記第２所定値より大きい、
請求項６３に記載のデコーダ（１００）。

【請求項71】

前記第２所定値は、０に等しい、
請求項６３または請求項７０に記載のデコーダ（１００）。

【請求項72】

前記第２所定値は、暗黙的に導出される最上位ＰＯＣ部分に等しい、
請求項６３または請求項７０に記載のデコーダ（１００）。

【請求項73】

前記ビットストリーム（１１）は、多重レイヤのビットストリームであり、
前記第１サブビットストリーム（１１－１）が、第１レイヤ（Ｌ０）に属し、
前記第２サブビットストリーム（１１－２）が、異なる第２レイヤ（Ｌ１）に属する、
請求項６３～７２の何れか１項に記載のデコーダ（１００）。

【請求項74】

前記ピクチャ参照は、短期ピクチャ参照および長期ピクチャ参照の少なくとも１つを含む、
請求項６３～７３の何れか１項に記載のデコーダ（１００）。

【請求項75】

ビデオコンテンツ（１２）を符号化するエンコーダ（１０）であって、
前記エンコーダ（１０）は、第１サブビットストリーム（１１－１）および第２サブビットストリーム（１１－２）を含むビットストリーム（１１）を符号化するように構成され、
前記エンコーダ（１０）は、第１サブビットストリーム（１１－１）および第２サブビットストリーム（１１－２）を含むビットストリーム（１１）を設定するように構成され、ＮＡＬユニット（３０２、３０４）は、ＩＲＡＰ ＮＡＬユニットタイプ（ＣＲＡ、ＩＤＲ＿Ｗ＿ＬＰ、ＩＤＲ＿Ｎ＿ＬＰ）の、前記ＮＡＬユニット（３０２、３０４）が参照するピクチャ（１２ｒ）のＰＯＣにおける最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）であり、
Ａ）アクセスユニット（３２）内の少なくとも１つのＮＡＬユニット（３０２）が非瞬間デコーディングリフレッシュユニットタイプ（ＣＲＡ）ではない場合、前記前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が、前記ビットストリーム（１１）のアクセスユニット（３２）内で前記ＩＲＡＰ ＮＡＬユニットタイプの全てのＮＡＬユニット（３０２、３０４）のための所定値に設定する必要がある、または、
Ｂ）任意のピクチャ参照が復号順序において、全てのＮＡＬユニット（３０２、３０４）がＩＲＡＰ ＮＡＬユニットタイプであり、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が所定値に設定されるスライスヘッダーを有する、前記ビットストリーム（１１）の任意のアクセスユニット（３２）を交差することを許可されない、または、
Ｃ）第１アクセスユニット（３１）のピクチャ（１２ａ、１２ｂ、１２ｃ・・・）の任意のピクチャ参照が許可されず、前記第１アクセスユニット（３１）が、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が第１所定値に設定され、ビットストリーム順序において、ピクチャ（１２ｓ）により前記ビットストリーム（１１）の第２アクセスユニット（３２）に先行するスライヘッダーを有するＮＡＬユニット（３０１、３０３）で構成され、前記第２アクセスユニットが、全てのＮＡＬユニット（３０２、３０４）がＩＲＡＰ ＮＡＬユニットタイプであり、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が第２所定値に設定されるスライスヘッダーを有しており、ピクチャ（１２ｓ）は、前記ビットストリーム順序において、前記ビットストリーム（１１）の前記第２アクセスユニット（３２）に続く、
エンコーダ（１０）。

【請求項76】

Ａ）の場合において、
前記所定値は、前記ＮＡＬユニット（３０２）が参照するピクチャ（１２ｒ）に先行するピクチャ（１２ａ、１２ｂ・・・）に関連付けられるＰＯＣの最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）以上である、
請求項７５に記載のエンコーダ（１０）。

【請求項77】

前記所定値は、０に等しい、
請求項７５または請求項７６に記載のエンコーダ（１０）。

【請求項78】

前記所定値は、暗黙的に導出される最上位ＰＯＣ部分に等しい、
請求項７５または請求項７６に記載のエンコーダ（１０）。

【請求項79】

Ｂ）の場合において、
前記所定値は、前記ＮＡＬユニット（３０２、３０４）が参照する前記ピクチャ（１２ｒ）に先行するピクチャ（１２ａ、１２ｂ、１２ｃ・・・）に関連付けられるＰＯＣの最上位ＰＯＣ（ＰＯＣ ＭＳＢ）より小さい、
請求項７５に記載のエンコーダ（１０）。

【請求項80】

前記所定値は、０に等しい、
請求項７５または請求項７９に記載のエンコーダ（１０）。

【請求項81】

前記所定値は、暗黙的に導出される最上位ＰＯＣ部分をに等しい、
請求項７５または請求項７９に記載のエンコーダ（１０）。

【請求項82】

Ｃ）の場合において、
前記第１所定値は、前記第２所定値より大きい、
請求項７５に記載のエンコーダ（１０）。

【請求項83】

前記第２所定値は、０に等しい、
請求項７５または請求項８２に記載のエンコーダ（１０）。

【請求項84】

前記第２所定値は、暗黙的に導出される最上位ＰＯＣ部分に等しい、
請求項７５または請求項８２に記載のエンコーダ（１０）。

【請求項85】

前記ビットストリーム（１１）は、多重レイヤのビットストリームであり、
前記第１サブビットストリーム（１１－１）が、第１レイヤ（Ｌ０）に属し、
前記第２サブビットストリーム（１１－２）が、異なる第２レイヤ（Ｌ１）に属する、
請求項７５～８４の何れか１項に記載のエンコーダ（１０）。

【請求項86】

前記ピクチャ参照は、短期ピクチャ参照および長期ピクチャ参照の少なくとも１つを含む、
請求項７５～８５の何れか１項に記載のエンコーダ（１０）。

【請求項87】

ビデオコンテンツ（１２）を復号するための方法であって、
前記方法は、第１サブビットストリーム（１１－１）および第２サブビットストリーム（１１－２）を含むビットストリーム（１１）を復号するステップと、
前記第１および第２サブビットストリーム（１１－１、１１－２）の前記ＮＡＬユニット（３０２、３０４）のスライスヘッダーから派生するステップであって、ＮＡＬユニット（３０２、３０４）が、ＩＲＡＰ ＮＡＬユニットタイプ（ＣＲＡ、ＩＤＲ＿Ｗ＿ＬＰ、ＩＤＲ＿Ｎ＿ＬＰ）の、前記ＮＡＬユニット（３０２、３０４）が参照するピクチャ（１２ｒ）のＰＯＣにおける最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）を設定するための情報であるステップと、を含み、
Ａ）アクセスユニット（３２）内の少なくとも１つのＮＡＬユニット（３０２）が非瞬間デコーディングリフレッシュユニットタイプ（ＣＲＡ）ではない場合、前記前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が、前記ビットストリーム（１１）のアクセスユニット（３２）内で前記ＩＲＡＰ ＮＡＬユニットタイプの全てのＮＡＬユニット（３０２、３０４）のための所定値に設定する必要がある、または、
Ｂ）任意のピクチャ参照が復号順序において、全てのＮＡＬユニット（３０２、３０４）がＩＲＡＰ ＮＡＬユニットタイプであり、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が所定値に設定されるスライスヘッダーを有する、前記ビットストリーム（１１）の任意のアクセスユニット（３２）を交差することを許可されない、または、
Ｃ）第１アクセスユニット（３１）のピクチャ（１２ａ、１２ｂ、１２ｃ・・・）の任意のピクチャ参照が許可されず、前記第１アクセスユニット（３１）が、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が第１所定値に設定され、ビットストリーム順序において、ピクチャ（１２ｓ）により前記ビットストリーム（１１）の第２アクセスユニット（３２）に先行するスライヘッダーを有するＮＡＬユニット（３０１、３０３）で構成され、前記第２アクセスユニットが、全てのＮＡＬユニット（３０２、３０４）がＩＲＡＰ ＮＡＬユニットタイプであり、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が第２所定値に設定されるスライスヘッダーを有しており、ピクチャ（１２ｓ）は、前記ビットストリーム順序において、前記ビットストリーム（１１）の前記第２アクセスユニット（３２）に続く、
方法。

【請求項88】

ビデオコンテンツ（１２）を符号化する方法であって、
前記方法は、第１サブビットストリーム（１１－１）および第２サブビットストリーム（１１－２）を含むビットストリーム（１１）を符号化するステップと、
前記エンコーダ（１０）は、第１サブビットストリーム（１１－１）および第２サブビットストリーム（１１－２）を含むビットストリーム（１１）を設定するステップであって、ＮＡＬユニット（３０２、３０４）は、ＩＲＡＰ ＮＡＬユニットタイプ（ＣＲＡ、ＩＤＲ＿Ｗ＿ＬＰ、ＩＤＲ＿Ｎ＿ＬＰ）の、前記ＮＡＬユニット（３０２、３０４）が参照するピクチャ（１２ｒ）のＰＯＣにおける最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）であるステップと、を含み、
Ａ）アクセスユニット（３２）内の少なくとも１つのＮＡＬユニット（３０２）が非瞬間デコーディングリフレッシュユニットタイプ（ＣＲＡ）ではない場合、前記前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が、前記ビットストリーム（１１）のアクセスユニット（３２）内で前記ＩＲＡＰ ＮＡＬユニットタイプの全てのＮＡＬユニット（３０２、３０４）のための所定値に設定する必要がある、または、
Ｂ）任意のピクチャ参照が復号順序において、全てのＮＡＬユニット（３０２、３０４）がＩＲＡＰ ＮＡＬユニットタイプであり、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が所定値に設定されるスライスヘッダーを有する、前記ビットストリーム（１１）の任意のアクセスユニット（３２）を交差することを許可されない、または、
Ｃ）第１アクセスユニット（３１）のピクチャ（１２ａ、１２ｂ、１２ｃ・・・）の任意のピクチャ参照が許可されず、前記第１アクセスユニット（３１）が、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が第１所定値に設定され、ビットストリーム順序において、ピクチャ（１２ｓ）により前記ビットストリーム（１１）の第２アクセスユニット（３２）に先行するスライヘッダーを有するＮＡＬユニット（３０１、３０３）で構成され、前記第２アクセスユニットが、全てのＮＡＬユニット（３０２、３０４）がＩＲＡＰ ＮＡＬユニットタイプであり、前記最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が第２所定値に設定されるスライスヘッダーを有しており、ピクチャ（１２ｓ）は、前記ビットストリーム順序において、前記ビットストリーム（１１）の前記第２アクセスユニット（３２）に続く、
方法。

【請求項89】

請求項８７または請求項８８に記載の方法によって得られる、
データストリーム（１１）。

【請求項90】

コンピュータの動作時に、請求項８７または請求項８８に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムを記憶したコンピュータ読取可能なデジタル記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、ビデオストリームを復号／符号化するためのデコーダおよび対応するエンコーダに関し、特に、少なくとも２つのビデオサブストリームを備えるビデオストリームに関する。前記ビデオストリームは、複数のアクセスユニットを備え得、各アクセスユニットは、前記２つ以上のビデオサブストリームの各々に含まれる少なくとも１つのピクチャを備え得る。各ピクチャは、特定のＮＡＬユニットタイプのＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ：ネットワーク抽象化レイヤ）ユニットに関連付けられ得る。本明細書で説明する革新的な概念は、異なるＮＡＬユニットタイプのＮＡＬユニットを混合するための解決策を導入する。

【背景技術】

【0002】

ＮＡＬユニットは、それぞれ、符号化ピクチャまたは他の関連データを含むかどうかに従って、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ：ビデオ符号化レイヤ）および非ＶＣＬ ＮＡＬユニットに分類され得る。ＨＥＶＣ規格では、デコーダの初期化およびランダムアクセス目的のためのピクチャのカテゴリを識別するいくつかのＶＣＬ ＮＡＬユニットタイプが含まれる。２バイトＮＡＬユニットヘッダーの内容を使用して、関連付けられたペイロードデータの目的を簡単に識別できる。

【0003】

ビデオ符号化技術はランダムアクセスとビットストリームの結合を可能にする。ランダムアクセスに関して、ビットストリームは、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ：瞬間デコーディングリフレッシュ）アクセスユニットで開始することができる。ＩＤＲアクセスユニットは、独立して符号化されたピクチャ、すなわち、ＮＡＬユニットストリーム中の以前のピクチャを復号せずに、復号され得る符号化ピクチャを含む。ＩＤＲアクセスユニットの存在は、ビットストリーム中の後続のピクチャが、それが復号されるためにそれが含むピクチャより前のピクチャの参照を必要としないことを示す。ＩＤＲピクチャは、クローズドＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）として知られる符号化構造内で使用される。上述のＩＤＲシンタックスに代わるものとして、ＲＡＰまたはＩＲＡＰ（（Ｉｎｔｒａ）Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）の位置における独立に符号化されたピクチャの使用、すなわち、ビットストリーム内の位置を指定するＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ：クリーンランダムアクセス）ピクチャシンタックスがある。このシンタックスは、オープンＧＯＰ操作として知られる効率的な時間的符号化順序をサポートする、ビットストリーム内に先に現れたピクチャを復号する必要なしに、デコーダがピクチャを正常に復号し始めることができるビットストリーム内の位置を指定する。

【0004】

ランダムアクセスの良好なサポートは、チャネル切り替え、シーク（ｓｅｅｋ）動作、および動的ストリーミングサービスを可能にするために重要であり得る。復号順序でＣＲＡピクチャの後に続き、表示順序でそれに先行するいくつかのピクチャは、デコーダにおいて利用可能でないピクチャへのインターピクチャ（ｉｎｔｅｒｐｉｃｔｕｒｅ）予測参照を含み得る。したがって、これらの非復号可能ピクチャは、ＣＲＡ点で復号処理を開始するデコーダによって破棄され得る。この目的のために、そのような非復号ピクチャは、ＲＡＳＬピクチャ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ：ランダムアクセススキップリーディング）として識別され得る。ＩＲＡＰピクチャは、ＩＤＲまたはＣＲＡピクチャであり得、ＣＲＡピクチャの後に、ビットストリーム中のＲＡＳＬピクチャが続き得る。ＲＡＳＬピクチャは、例えば、結合動作のために、ビットストリーム中に実際には存在しないピクチャへの参照を含み得るので、デコーダによって破棄され得る。

【0005】

復号順序でＩＲＡＰピクチャに後続し、出力順序でＩＲＡＰピクチャに先行することができるさらなるタイプのピクチャは、ＲＡＤＬピクチャ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｒｄａｂｌｅ Ｌｅａｄｉｎｇ：ランダムアクセスデコーダブルリーディング）であり、これは、復号順序でＩＲＡＰピクチャに先行する任意のピクチャへの参照を含まないことがある。ＲＡＳＬおよびＲＡＤＬピクチャは、まとめて、リーディングピクチャ（ＬＰ：Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅｓ）と呼ばれることがある。復号順序および出力順序の両方でＩＲＡＰピクチャに続くピクチャは、トレーリングピクチャ（ｔｒａｉｌｉｎｇ：ＴＲＡＩＬ）として知られている。それらは、インターピクチャ予測のためのＬＰへのいかなる参照も含まないことがある。

【0006】

今日のビデオコーディングでは、テンポラルサブレイヤリングサポート（Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒｉｎｇ Ｓｕｐｐｏｒｔ）も与えられ得る。したがって、階層的時間的予測構造におけるレベルを示す時間的識別子がＮＡＬユニットヘッダーにおいて指定され得る。これは、ＮＡＬユニットヘッダー以外のビットストリームの部分を解析する必要なく、時間的なスケーラビリティを実現するのに役立つ。特定の状況下では、復号された時間サブレイヤの数は、１つの符号化ビデオシーケンスの復号処理中に調整され得る。サブレイヤの切り替えが、いくつかのより高い時間レイヤの復号を開始することが可能であるビットストリーム中の点の位置は、ＳＴＳＡピクチャ（Ｓｔｅｐｗｉｓｅ Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒ Ａｃｃｅｓｓ：ステップワイズテンポラルサブレイヤクセス）の存在によって示され得る。ＳＴＳＡピクチャの位置において、より低い時間的サブレイヤを復号することから、１つの特定のより高い時間的サブレイヤを復号することに切り替えることが可能であり得る（ただし、それらがＳＴＳＡピクチャも含まない限り、その上のさらなるレイヤはそうではない）。

【0007】

複数の参照ピクチャの管理の場合、ビットストリーム中のピクチャの残りの部分の復号のために、以前に復号されたピクチャの特定のセットがＤＰＢ（Ｄｅｃｏｒｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）中に存在し得る。これらのピクチャを識別するために、ＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）識別子のリストが各スライスヘッダーで送信されることがある。保持される参照ピクチャの設定は、ＲＰＳ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｓｅｔ）と呼ばれる。ＰＯＣは、ビットストリーム中の各ピクチャについて、それぞれの現在のピクチャ順序カウント（ＰＯＣ値）を示すための最下位ビット部分（ＬＳＢ）と最上位ビット部分（ＭＳＢ）とを含み得、ピクチャ順序は、それぞれのピクチャの復号順序とは異なり得る。したがって、ＩＲＡＰピクチャの後にピクチャを復号することは、ＩＲＡＰピクチャの前の参照ピクチャを参照するが、困難であり得る。

【0008】

したがって、特に、ＩＲＡＰピクチャの後に現れる場合に、ビットストリーム中のピクチャおよびピクチャのシーケンスの適切な処理を提供し得る既存のエンコーダおよびデコーダを改善することが望ましい。

【0009】

したがって、少なくとも独立請求項の特徴を有するデコーダと、少なくとも独立請求項の特徴を有する符号化および／またはマージのための対応する装置とを提供することが提案される。さらに、対応するコンピュータプログラム製品およびビットストリームと同様に、それぞれ符号化および復号化の対応する方法を提供することが提案される。有利な実施形態は、従属請求項に提示される。

【0010】

上述のように、ビットストリームは、ＩＲＡＰ ＮＡＬユニットタイプに関連付けられているピクチャを備え得、このピクチャは、ＩＲＡＰピクチャとも呼ばれ得、また、ＩＲＡＰ ＮＡＬユニットタイプに関連付けられていないピクチャ、すなわち、非ＩＲＡＰ ＮＡＬユニットタイプに関連付けられているピクチャは、非ＩＲＡＰピクチャとも呼ばれ得る。

【発明の概要】

【課題を解決するための手段】

【0011】

一態様によれば、ビデオコンテンツを復号するためのデコーダが提供され、デコーダは、ビデオコンテンツのピクチャの第１空間セグメント（１３_１）に関連する第１サブビットストリームと、ビデオコンテンツのピクチャの第２空間セグメント（１３_２）に関連する第２サブビットストリームと、を含むビットストリームを復号するように構成される。この場合、ビットストリームは、第１サブビットストリームの少なくとも１つの第１ＮＡＬユニットが非ＩＲＡＰ ＮＡＬユニットタイプ、例えばＲＡＳＬ、ＲＡＤＬ、ＴＲＡＩＬ、ＳＴＳＡである少なくとも１つのアクセスユニットを備える。少なくとも１つのアクセスユニットは、非ＩＲＡＰ ＮＡＬユニットタイプ、たとえば、ＲＡＳＬ、ＲＡＤＬ、ＴＲＡＩＬ、ＳＴＳＡである第２サブビットストリームの少なくとも１つの異なる第２ＮＡＬユニットをさらに備え、第１サブビットストリームの第１ＮＡＬユニットと第２サブビットストリームの第２ＮＡＬユニットとが混合される。言い換えれば、非ＩＲＡＰ ＮＡＬユニットは、異なる非ＩＲＡＰ ＮＡＬユニットと混合される。例えば、ＴＲＡＩＬピクチャＮＡＬユニットタイプのＮＡＬユニットは、ＲＡＳＬピクチャＮＡＬユニットタイプのＮＡＬユニットと混合されることができる。この非限定的な例によれば、１つのアクセスユニット内で、第１サブビットストリームのＴＲＡＩＬピクチャは、第２サブビットストリームのＲＡＳＬピクチャと混合され得る。他の非限定的な例は、１つのアクセスユニット内で、第１サブビットストリームのＴＲＡＩＬピクチャを第２サブビットストリームのＲＡＤＬピクチャと混合することを可能にし得る。いくつかのさらなる非限定的な例は、１つのアクセスユニット内で、第１サブビットストリームのＴＲＡＩＬピクチャを第２サブビットストリームのＳＴＳＡピクチャと混合することを可能にし得る。いくつかのさらなる非限定的な例は、１つのアクセスユニット内で、第１サブビットストリームのＳＴＳＡピクチャを第２サブビットストリームのＲＡＤＬピクチャと混合することを可能にし得る。いくつかのさらなる非限定的な例は、１つのアクセスユニット内で、第１サブビットストリームのＳＴＳＡピクチャを第２サブビットストリームのＲＡＳＬピクチャと混合することを可能にし得る。いくつかのさらなる非限定的な例は、１つのアクセスユニット内で、第１サブビットストリームのＲＡＳＬピクチャと第２サブビットストリームのＲＡＤＬピクチャとを混合することを可能にし得る。

【0012】

さらなる態様によれば、ビデオコンテンツを復号するためのデコーダが提供され、デコーダは、ビデオコンテンツのピクチャの第１空間セグメントに関連する第１サブビットストリームと、ビデオコンテンツのピクチャの第２空間セグメントに関連する第２サブビットストリームとを備えるビットストリームを復号するように構成される。この場合、ビットストリームは、第１サブビットストリームの少なくとも１つの第１ＮＡＬユニットが、さらなるＩＲＡＰ ＮＡＬユニットタイプである第２サブビットストリームの少なくとも１つの第２ＮＡＬユニットと混合されるＩＲＡＰ ＮＡＬユニットタイプである少なくとも１つのアクセスユニットを備える。言い換えれば、第１ＩＲＡＰ ＮＡＬユニットは、さらなる第２ＩＲＡＰ ＮＡＬユニットと混合される。さらなる第２ＩＲＡＰ ＮＡＬユニットは、第１ＩＲＡＰ ＮＡＬユニットと同じＮＡＬユニットタイプであってもよく、または第１ＩＲＡＰ ＮＡＬユニットとは異なるＮＡＬユニットタイプであってもよい。たとえば、ＣＲＡピクチャＮＡＬユニットタイプのＮＡＬユニットは、同じＮＡＬユニットタイプのさらなるピクチャ、たとえば、さらなるＣＲＡピクチャＮＡＬと混合され得るか、または異なるＮＡＬユニットタイプのさらなるピクチャ、たとえば、先行ピクチャをもつＩＤＲピクチャＮＡＬユニットタイプのＮＡＬユニット、すなわち、ＩＤＲーｗｉｔｈーＲＡＤＬピクチャユニットタイプ（ＩＤＲ＿Ｗ＿ＲＡＤＬ）と混合され得る。この非限定的な例によれば、１つのアクセスユニット内で、第１サブビットストリームのＣＲＡピクチャを、第２サブビットストリームのさらなるＣＲＡピクチャまたは第２サブビットストリームのＩＤＲ＿Ｗ＿ＲＡＤＬピクチャと混合することができる。

【0013】

さらなる態様によれば、ビデオコンテンツを復号するためのデコーダが提供され、デコーダは、ビデオコンテンツのピクチャの第１空間セグメントに関連する第１サブビットストリームと、ビデオコンテンツのピクチャの第２空間セグメントに関連する第２サブビットストリームとを備えるビットストリームを復号するように構成される。この場合、ビットストリームは、第１サブビットストリームの少なくとも１つの第１ＮＡＬユニットが、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（たとえば、ＲＡＳＬまたはＲＡＤＬ）またはＳＴＳＡ ＮＡＬユニットタイプのいずれかである第２サブビットストリームの少なくとも１つの第２ＮＡＬユニットと混合されるＩＲＡＰ ＮＡＬユニットタイプである少なくとも１つのアクセスユニットを備える。言い換えれば、１つのアクセスユニット内で、ＩＲＡＰ ＮＡＬユニット（ＩＤＲ＿Ｗ＿ＲＡＤＬまたはＣＲＡ）が非ＩＲＡＰ ＮＡＬユニットと混合され、非ＩＲＡＰ ＮＡＬユニットは、ＲＡＳＬピクチャ、ＲＡＤＬピクチャ、またはＳＴＳＡピクチャのいずれか１つである。

【0014】

さらなる態様によれば、ビデオコンテンツを復号するためのデコーダが提供され、デコーダは、第１サブビットストリームと第２サブビットストリームとを含むビットストリームを復号するように構成され、デコーダは、第１および第２サブビットストリームのＮＡＬユニットのスライスヘッダーから派生するように構成され、ＮＡＬユニットは、ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＣＲＡ、ＩＤＲ＿Ｗ＿ＲＡＤＬ）であり、ＮＡＬユニットが参照するピクチャのＰＯＣの最上位ＰＯＣ部分を設定するための情報である。この例では、最上位ＰＯＣ部分は、ビットストリームのアクセスユニット内のＩＲＡＰ ＮＡＬユニットタイプのすべてのＮＡＬユニットについて、アクセスユニット内の少なくとも１つのＮＡＬユニットが非瞬間デコーディングリフレッシュ（ｎｏｎーＩｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ：非ＩＤＲ）ユニットタイプである場合、所定値に設定されることが必要である。言い換えれば、アクセスユニット内の少なくとも１つのＮＡＬユニットが非ＩＤＲピクチャ、例えばＣＲＡピクチャを参照する場合、最上位ＰＯＣ部分は、所定値に設定される必要がある。非限定的な例として、所定値は、ＮＡＬユニットが参照するピクチャに先行するピクチャに関連付けられているＰＯＣの最上位ＰＯＣ部分以上であり得る。言い換えれば、非ＩＤＲピクチャがアクセスユニット内に存在する場合、ＰＯＣリセットは発生しないことがある。

【0015】

さらなる態様によれば、ビデオコンテンツを復号するためのデコーダが提供され、デコーダは、第１サブビットストリームと第２サブビットストリームとを含むビットストリームを復号するように構成され、デコーダは、第１および第２サブビットストリームのＮＡＬユニットのスライスヘッダーから派生するように構成され、ＮＡＬユニットは、ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＣＲＡ、ＩＤＲ＿Ｗ＿ＲＡＤＬ）であり、ＮＡＬユニットが参照するピクチャのＰＯＣの最上位ＰＯＣ部分を設定するための情報である。この例では、どのピクチャ参照も、復号順序において、すべてのＮＡＬユニットがＩＲＡＰ ＮＡＬユニットタイプであり、最上位ＰＯＣ部分が所定値に設定されるスライスヘッダーを有するビットストリームの任意のアクセスユニットを横断することを許可されない。言い換えれば、アクセスユニット内の各ピクチャがＩＲＡＰ ＮＡＬユニットタイプ（たとえば、ＣＲＡまたはＩＤＲ＿Ｗ＿ＲＡＤＬ）を参照し得、所定値に設定される最上位ＰＯＣ部分を有し得る場合、前記アクセスユニットに先行する参照ピクチャから参照する任意のピクチャは許可され得ない。非限定的な例として、前記所定値は、ＮＡＬユニットが参照するピクチャに先行するピクチャに関連するＰＯＣの最上位ＰＯＣ部分よりも小さくてもよい。所定値は、例えば、最上位ＰＯＣ部分のリセットが発生した場合、より小さくてもよい。したがって、上述の非限定的な例によれば、アクセスユニットがＩＲＡＰピクチャのみを備える場合があり、最上位ＰＯＣ部分のリセットが発生した場合、先行する参照ピクチャを参照することによるピクチャ参照は許可されない場合がある。

【0016】

さらなる態様によれば、ビデオコンテンツを復号するためのデコーダが提供され、デコーダは、第１サブビットストリームと第２サブビットストリームとを含むビットストリームを復号するように構成され、デコーダは、第１および第２サブビットストリームのＮＡＬユニットのスライスヘッダーから派生するように構成され、ＮＡＬユニットは、ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＣＲＡ、ＩＤＲ＿Ｗ＿ＲＡＤＬ）であり、ＮＡＬユニットが参照するピクチャのＰＯＣの最上位ＰＯＣ部分を設定するための情報である。この例では、最上位ＰＯＣ部分が第１所定値に設定され、ビットストリーム順序で、すべてのＮＡＬユニットがＩＲＡＰ ＮＡＬユニットタイプであり、最上位ＰＯＣ部分が第２所定値に設定されるスライスヘッダーを有するビットストリームの第２アクセスユニットに先行するスライスヘッダーを有する第１アクセスユニットの参照ピクチャを、ビットストリーム順序で、ビットストリームの第２アクセスユニットに続くピクチャによって参照することは、許可されない。非限定的な例によれば、第１所定値は、第２所定値よりも大きくてもよい。言い換えれば、（先行する）第１アクセスユニットの最上位ＰＯＣ部分の第１所定値が、第２アクセスユニットの最上位ＰＯＣ部分の第２所定値よりも大きい場合、第２アクセスユニットに続くピクチャが、前記第２アクセスユニットに先行する参照ピクチャを参照し得ることは許可され得ない。

【0017】

さらなる態様によれば、それぞれの対応するエンコーダ、符号化のための方法、および復号化のための方法が提案される。

【0018】

さらなる態様によれば、コンピュータプログラムが提供され、ここで、コンピュータプログラムの各々は、コンピュータまたは信号プロセッサ上で実行されるときに、ここに記載された方法のうちの１つを実装するように構成され、それにより、ここに記載された方法は、コンピュータプログラムのうちの１つによって実装される。

【図面の簡単な説明】

【0019】

以下では、本開示の実施形態が図面を参照してより詳細に説明される。

【図1】図１は、実施形態に従って本発明のデコーダおよび符号化／マージのための装置によって処理され得るビットストリームの概略図である。

【図2】図２は、ＩＤＲ＿Ｎ＿ＬＰ ＮＡＬユニットタイプを有するアクセスユニットと、同じＮＡＬユニットタイプを有する他のすべてのアクセスユニットとを有するビットストリームの概略図である。

【図3】図３は、ＩＤＲ＿Ｗ＿ＬＰ ＮＡＬユニットタイプを有するアクセスユニットおよびＴＲＡＩＬユニットタイプと混合された対応するＲＡＤＬユニットタイプを有するビットストリームの概略図である。

【図4】図４は、ＣＲＡ ＮＡＬユニットタイプを有するアクセスユニットおよびＴＲＡＩＬユニットタイプと混合された対応するＲＡＳＬユニットタイプを有するビットストリームの概略図である。

【図5】図５は、選択的高解像度タイルを有する完全な３６０度の低解像度のサムネイルを示す図である。

【図6】図６は、１つのタイル（上の例）において、ピクチャがステップワイズテンポラルサブレイヤクセスを示すＳＴＳＡ ＮＡＬユニットタイプを用い、別のタイル（下の例）において同じピクチャがＲＡＳＬ ＮＡＩＬユニットタイプを用いる、例示的なコーディング構造を示す図である。

【図7】図７は、クローズドＧＯＰ構造を用いた高解像度領域（上）および、オープンＧＯＰ構造を用いた高解像度領域（下）における例示的なコーディング構造を示す図である。

【図8】図８は、レイヤ整列されたＲＡＰピクチャでリセットされたＰＯＣを有するマルチレイヤビットストリームの例示的なコーディング構造を示す図である。

【図9】図９は、すべてのＮＡＬユニットＩＤＲが許可されていない場合の、ＰＯＣ ＭＳＢリセットを伴うマルチレイヤビットストリームの例示的なコーディング構造を示す図である。

【図10】図１０は、すべてのＮＡＬユニットＩＤＲが許可されている場合の、ＰＯＣ ＭＳＢリセットを伴うマルチレイヤビットストリームの例示的なコーディング構造を示す図である。

【図11】図１１は、ＰＯＣ ＭＳＢリセットおよびＬＴ参照が許可されていない場合の、マルチレイヤビットストリームの例示的なコーディング構造を示す図である。

【図12】図１２は、すべてのＰＯＣ ＭＳＢが０に等しく、ＬＴ参照が許可されていない場合の、マルチレイヤビットストリームの例示的なコーディング構造を示す図である。

【図13】図１３は、すべてのＰＯＣ ＭＳＢが０に等しく、ＬＴ参照が許可されている場合の、マルチレイヤビットストリームの例示的なコーディング構造を示す図である。

【図14】図１４は、ＰＯＣ ＭＳＢがリセットされてなく、ＬＴ参照が許可されている場合の、マルチレイヤビットストリームの例示的なコーディング構造を示す図である。

【発明を実施するための形態】

【0020】

同等または同等の要素または同等または同等の機能を有する要素は、以下の説明において、同等または同等の参照番号によって示される。

【0021】

ブロック図によって描写され、前記ブロック図を参照して説明される方法ステップはまた、描写および／または説明される順序とは異なる順序で実行され得る。さらに、装置の特定の特徴に関する方法ステップは、前記装置の前記特徴と置き換え可能であってもよく、他の方法であってもよい。

【0022】

ピクチャおよびアクセスユニットにおけるＮＡＬユニットタイプの混合
１．符号化ピクチャ内の混合ユニットタイプ
図１は、導入目的のために、本発明の実施形態による、ビデオビットストリーム１１を符号化および／またはマージするためのデコーダ１００および装置１０によって処理され得る例示的なビデオビットストリーム１１の構造を示す。ビデオビットストリーム１１は、連続するピクチャ１２ａ、１２ｂ、１２ｃのシーケンスを備え、前記連続するピクチャ１２ａ、１２ｂ、１２ｃのうちの２つ以上は、意図されるビデオコンテンツの少なくとも一部を表すことができるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）１２中に一緒にグループ化され得る。

【0023】

コーディングのために、各ピクチャ１２ａ、１２ｂ、１２ｃは、空間セグメント、たとえば、スライス、タイル、またはブロックに細分され得る。この限定的でない例では、ピクチャ１２ａ、１２ｂ、１２ｃは、それぞれ、２つの空間セグメント、すなわち、第１（例えば、左側の）空間セグメント１３_１と第２（例えば、右側の）空間セグメント１３_２に細分化される。

【0024】

ビットストリーム１１は、ピクチャ１２ａ、１２ｂ、１２ｃの第１空間セグメント１３_１に関連する第１サブビットストリーム１１－１と、ピクチャ１２ａ、１２ｂ、１２ｃの第２空間セグメント１３_２に関連する第２サブビットストリーム１１－２とに細分化することができる。

【0025】

いくつかのピクチャ１２ａ、１２ｂは、たとえば予測符号化によって、依存的に符号化され得る。これらのピクチャ１２ｂのうちのいくつかは、単一予測によって、たとえば、単一の先行ピクチャを参照することによって予測され得、一方、いくつかの他のピクチャ１２ａは、たとえば、先行ピクチャおよび後続ピクチャを参照することによって、双予測によって予測され得る。いくつかの他のピクチャ１２ｃは、独立して符号化され得る、すなわち、これらのピクチャ１２ｃは、先行または後続のピクチャを参照し得ない。独立して符号化されたピクチャ１２ｃは、ビットストリーム１１内の位置を表す（イントラ）ランダムアクセスポイント（（Ｉ）ＲＡＰ）を提供することができ、それは、ビットストリーム１１内のより早く現れたピクチャを復号する必要なしに、デコーダが後続のピクチャを復号し始めることができる。たとえば、ピクチャ１２ｃは、（Ｉ）ＲＡＰピクチャとも呼ばれ得る独立して符号化されたピクチャである。本開示では、ＲＡＰおよびＩＲＡＰという用語は、同義語として使用され得る。

【0026】

ビットストリーム１１は、ビットストリーム１１にアクセスするための１つ以上のアクセスユニット３０を備えることができる。図１の非限定的な例では、アクセスユニット３０は、第１および第２サブビットストリーム１１－１、１１－２に含まれるピクチャセグメント１３_１、１３_２を（提示順序に関して）揃えることができる。これらの整列されたピクチャセグメント１３_１、１３_２を含むピクチャ１２ａ、１２ｂ、１２ｃは、それぞれ、異なるカテゴリ、例えば、（上述したように）ＩＲＡＰピクチャおよび非ＩＲＡＰピクチャにグループ化することができる。

【0027】

ネットワークアブストラクションレイヤ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ：ＮＡＬ）は、それらのピクチャセグメント１３_１、１３_２およびピクチャ１２ａ、１２ｂ、１２ｃを定義するためのハイレベルシンタックス（Ｈｉｇｈ Ｌｅｖｅｌ Ｓｙｎｔａｘ）を提供することができる。特に、ＮＡＬユニットは、ピクチャ１２ａ、１２ｂ、１２ｃの各々について、前記ピクチャセグメント１３_１、１３_２に関連付けられてもよい。したがって、本開示では、上述のピクチャセグメント１３_１、１３_２、第１および第２サブビットストリーム１１－１、１１－２のは、ＮＡＬユニットとも同義であると呼ぶことができる。したがって、第１および第２サブビットストリーム１１－１、１１－２は、ＮＡＬユニットストリームとも呼ばれる。各々のＮＡＬユニット１３_１、１３_２は、特定のＮＡＬユニット型を含むことができる。ＮＡＬユニットタイプは、次に、ＮＡＬユニットに含まれるそれぞれのピクチャの前述のカテゴリ、すなわち、それぞれのＮＡＬユニットがＩＲＡＰタイプであるか非ＩＲＡＰタイプであるかを識別することができる。

【0028】

ピクチャ内でＩＲＡＰタイプを混合することに依存する複数のアプリケーションがあり、ＩＲＡＰタイプは、ＮＡＬユニットタイプを通じて示されるアクセスユニット（ＡＵ：Ａｃｃｅｓｓ Ｕｎｉｔ）３０またはその一部のランダムアクセスプロパティである。ユースケースは、単一レイヤまたはマルチレイヤのコーデックドメイン、すなわち、同じピクチャの他のスライスがそうでない間、ピクチャがＩＲＡＰであるスライスから構成される単一レイヤコーデックビットストリーム、またはアクセスユニットが１つのレイヤにＩＲＡＰを含み、他のレイヤが非ＩＲＡＰピクチャを含むマルチレイヤコーデックビットストリームのいずれかにある。

【0029】

現在、混合ＮＡＬユニットタイプのサポートは、ＩＲＡＰ ＮＡＬユニットタイプの単一タイプが、ＴＲＡＩＬピクチャと共にピクチャ内で混合され得る従来技術において与えられる。しかしながら、これは、以下に記載され、本発明が解決策を提供するような特徴の必要性を適切に動機付ける使用事例をカバーしない。

【0030】

混合ＮＡＬユニットタイプの必要性を動機付ける主な使用事例は、３６０度ビデオであり、タイルストリーミングが使用され、３６０度全体のサブセットのみが高解像度で送信され、残りは低解像度で送信される。視線方向の変化が起こると、高解像度の一部のタイルはもはや必要とされないが、低解像度で示された新しいタイルは、この時間以降、高解像度で必要とされる。これらのタイルは、変化（高解像度から低解像度へ、およびその逆）に遭遇する唯一のタイルである。これらのタイルは、ＩＲＡＰ で始まる表現を使用してダウンロードされるが、他のタイルにはこのプロパティが必要ない。異なるタイルに対応するビットストリームを単一のビットストリームにマージするとき、タイルのうちのいくつかは、ＩＲＡＰピクチャに対応するＮＡＬユニットタイプを含み、他のものは、非ＩＲＡＰピクチャのＮＡＬユニットタイプを含む。

【0031】

さらに、ＡＵが異なるタイプのＮＡＬユニットを有することを可能にすることが望ましいいくつかの他の使用事例がある。例えば、ＲｏＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）の中において、７２０ｐの内側にＲｏＩを有する１０８０ｐのピクチャがあるシナリオでは、ビデオの異なる部分（ＲｏＩまたはその他）が異なるＲＡＰ期間を持つことを想定することができる。例えば、１つはビデオ全体に関心があり、もう１つはＲｏＩにのみ関心があるというように、同じビットストリームが２つの受信機にフィードするために使用される場合である。

【0032】

異なるビットストリームのマージが起こる３６０度ビデオストリーミング、またはビデオが元々、異なる領域のための異なるＲＡＰ期間を有する異なる部分に符号化されるＲｏＩストリーミングのいずれかの場合、デコーダは、符号化されたピクチャ内のＮＡＬユニットが必ずしも同じではないビットストリームに遭遇することになる。したがって、本発明は、異なるＮＡＬユニットタイプのＮＡＬユニットを混合するための解決策を提供する。

【0033】

１．１ トレーリングピクチャの混合（先行技術）
従来技術において現在提案されている解決策は、ＰＰＳフラグが、ＲＡＰピクチャが非ＲＡＰピクチャと混合されるかどうかを示し、次いで、混合ＡＵのＮＡＬユニットにおいて遭遇することができるＮＡＬユニットタイプが、非ＩＲＡＰタイプのためのＴＲＡＩＬＮＡＬユニットタイプ（最大ＶＣＬ＿ＲＳＶ＿６またはＧＤＲ）であり、単一の１タイプのＩＤＲ＿Ｗ＿ＲＡＤＬ（ＩＤＲ ｗｉｔｈ Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅｓ：リーディングピクチャを有するＩＤＲ）、ＩＤＲ＿Ｎ＿ＬＰ（ＩＤＲ ｗｉｔｈ Ｎｏ Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅｓ：リーディングピクチャを有さないＩＤＲ）、およびＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ：クリーンランダムアクセス）であることである。したがって、従来技術は、ＩＲＡＰピクチャをＴＲＡＩＬピクチャと混合することを示唆している。

【0034】

図２は、従来技術による例を示し、ＩＲＡＰ ＮＡＬユニットタイプのＮＡＬユニット２０１が、トレーリングピクチャタイプ（ＴＲＡＩＬ）のＮＡＬユニット２０２と混合される。この例のＩＲＡＰ ＮＡＬユニットタイプは、リーディングピクチャを有さないＩＤＲ（ＩＤＲ＿Ｎ＿ＬＰ）である。他のすべてのアクセスユニットは、同じＮＡＬユニットタイプ（すなわち、ＴＲＡＩＬ）のＮＡＬユニットを有する。

【0035】

１．２ リーディングピクチャの混合
しかしながら、これらの手段は、オープンＧＯＰ構造がリーディングピクチャ（ＬＰ）を導入して適用され得る想定される用途には十分ではない。図３は、ＩＲＡＰ ＮＡＬユニットタイプ（たとえば、ＩＤＲ＿Ｗ＿ＲＡＤＬ）のＮＡＬユニット３０１が、その関連付けられたリーディングピクチャ３０２とともに示される例示的なケースを示し、このケースでは、ＮＡＬユニットタイプＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｒｄａｂｌｅ Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ：ランダムアクセスデコーダブルリーディングピクチャ）のＮＡＬユニット３０２であり得る。ＩＲＡＰタイプのＮＡＬユニット３０１（たとえば、ＩＤＲ＿Ｗ＿ＲＡＤＬ）は、非ＩＲＡＰ ＮＡＬユニットタイプのＮＡＬユニット３０３（たとえば、ＴＲＡＩＬ）と混合され得る。非ＩＲＡＰタイプであるリーディングピクチャタイプ（ＲＡＤＬ）の関連するＮＡＬユニット３０２は、異なる非ＩＲＡＰタイプ（たとえば、ＴＲＡＩＬ）のＮＡＬユニット３０４と混合され得る。

【0036】

図４は、ＩＲＡＰ ＮＡＬユニットタイプ（たとえば、ＣＲＡ）のＮＡＬユニット３０１が、その関連付けられたリーディングピクチャ３０２とともに示されるさらなる例示的なケースを示し、このケースでは、ＮＡＬユニットタイプＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ：ランダムアクセススキップリーディングピクチャ）のＮＡＬユニット３０２であり得る。代替として、図示されないが、関連するリーディングピクチャ３０２は、ＮＡＬユニットタイプＲＡＤＬ（ランダムアクセスデコーダブルリーディングピクチャ）のＮＡＬユニット３０２であり得る。ＩＲＡＰタイプのＮＡＬユニット３０１（たとえば、ＣＲＡ）は、非ＩＲＡＰ ＮＡＬユニットタイプのＮＡＬユニット３０３（たとえば、ＴＲＡＩＬ）と混合され得る。非ＩＲＡＰタイプであるリーディングピクチャタイプ（たとえば、ＲＡＳＬ）の関連するＮＡＬユニット３０２は、異なる非ＩＲＡＰタイプ（たとえば、ＴＲＡＩＬ）のＮＡＬユニット３０４と混合され得る。

【0037】

そのため、ＩＲＡＰ ＮＡＬユニットが含まれる場合だけでなく、混合ピクチャに含まれる非ＩＲＡＰ ＮＡＬユニットのみを対象として、混合ＮＡＬユニットタイプを伴う符号化ピクチャを扱う必要がある。

【0038】

簡単に要約すると、従来技術は、ＩＲＡＰ ＮＡＬユニットをＴＲＡＩＬタイプの非ＩＲＡＰ ＮＡＬユニットと混合すること、または同じタイプの非ＩＲＡＰ ＮＡＬユニット、すなわちＴＲＡＩＬタイプのＮＡＬユニットをＴＲＡＩＬタイプのＮＡＬユニットと混合することを提案することができる。

【0039】

本発明は、代わりに、第１非ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＲＡＳＬ、ＲＡＤＬ、ＴＲＡＩＬ、ＳＴＳＡ）を、少なくとも１つの異なる第２非ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＲＡＳＬ、ＲＡＤＬ、ＴＲＡＩＬ、ＳＴＳＡ）と混合することを提案する。

【0040】

したがって、実施形態によれば、ビデオコンテンツ１２を復号するためにデコーダ１００が設けられ、デコーダ１００は、ビデオコンテンツ１２のピクチャ１２ａ、１２ｂ、１２ｃの第１空間セグメント１３_１に関連する第１サブビットストリーム１１－１と、ビデオコンテンツ１２のピクチャ１２ａ、１２ｂ、１２ｃの第２空間セグメント１３_２に関連する第２サブビットストリーム１１－２とを含むビットストリーム１１を復号するように構成されている。この実施形態によれば、ビットストリーム１１は、第１サブビットストリーム１１－１の少なくとも１つの第１ＮＡＬユニット３０２が、異なる非ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＲＡＳＬ、ＲＡＤＬ、ＴＲＡＩＬ、ＳＴＳＡ）である第２サブビットストリーム１１－２の少なくとも１つの異なる第２ＮＡＬユニット３０４と混合される非ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＲＡＳＬ、ＲＡＤＬ、ＴＲＡＩＬ、ＳＴＳＡ）である少なくとも１つのアクセスユニット３０を備える。

【0041】

例えば、ＴＲＡＩＬピクチャは、ＲＡＤＬピクチャまたはＲＡＳＬピクチャと混合され得る。
・ＴＲＡＩＬ ＋ ＲＡＤＬ
・ＴＲＡＩＬ ＋ ＲＡＳＬ

【0042】

したがって、一実施形態によれば、デコーダ１００は、第１サブビットストリーム１１－１のＮＡＬユニット３０２の非ＩＲＡＰ ＮＡＬユニットタイプがランダムアクセスデコーダブルリーディングピクチャユニットタイプ（ＲＡＤＬ）であり、第２サブビットストリーム１１－２のＮＡＬユニット３０４の非ＩＲＡＰ ＮＡＬユニットタイプがトレーリングピクチャユニットタイプ（ＴＲＡＩＬ）であるビットストリーム１１を処理するように構成され得る。

【0043】

さらなる実施形態によれば、デコーダ１００は、第１サブビットストリーム１１－１のＮＡＬユニット３０２の非ＩＲＡＰ ＮＡＬユニットタイプがランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、第２サブビットストリーム１１－２のＮＡＬユニット３０４の非ＩＲＡＰ ＮＡＬユニットタイプがトレーリングピクチャユニットタイプ（ＴＲＡＩＬ）であるビットストリーム１１を処理するように構成され得る。

【0044】

本発明の一実施形態では、ビットストリーム１１に、例えば、符号化ピクチャ内のＮＡＬユニットタイプを以下のように混合することができるパラメータセット（ＰＰＳ、ＳＰＳ、ＶＰＳ）内のフラグとしての指示がある。
・ＴＲＡＩＬ ＋ ＲＡＤＬ
・ＴＲＡＩＬ ＋ ＲＡＳＬ

【0045】

このようなシグナリングは、ＴＲＡＩＬ＋（ＣＲＡ ｘｏｒ ＩＤＲ＿Ｗ＿ＬＤ ｘｏｒ ＩＤＲ＿Ｎ＿Ｐ）が混合可能であることを示すために、ＰＰＳにおいて運ぶことができる。

【0046】

たとえば、フラグがセットされていない（すなわち、フラグ＝０）場合、ピクチャのすべてのＮＡＬユニットは、同じＮＡＬユニットタイプを備え得、ピクチャまたはＰＵは、ピクチャまたはＰＵの符号化スライスＮＡＬユニットと同じＮＡＬユニットタイプを有すると呼ばれる。

【0047】

そうでない場合、フラグがセットされる（すなわち、フラグ＝１）場合、ピクチャは、少なくとも２つのサブピクチャを含むことがある。追加または代替として、前記ピクチャのＮＡＬユニットは、少なくとも２つの異なるＮＡＬユニットタイプを備え得る。さらに、追加的に、または代替的に、前記ピクチャのＮＡＬユニットは、ＧＤＲのＮＡＬユニットタイプを備えなくてもよい。さらに追加または代替として、前記ピクチャの１つのＮＡＬユニットが、以下のＮＡＬユニットタイプのうちの少なくとも１つのものである場合、
・ランダムアクセスデコードリーディングピクチャによるインスタントデコーダリフレッシュ（ＩＤＲ＿Ｗ＿ＲＡＤＬ）
・リーディングピクチャを有さないインスタントデコーダリフレッシュ（ＩＤＲ＿Ｎ＿ＬＰ）
・クリーンランダムアクセス（ＣＲＡ）

【0048】

その場合、前記ピクチャの他のすべての入手可能なＮＡＬユニットは、上記の３つのユニットタイプ（ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ）またはトレーリングピクチャユニットタイプ（ＴＲＡＩＬ）のうちの１つを備え得る。

【0049】

代替的に、ＲＡＤＬピクチャおよびＲＡＳＬピクチャは、例えばＩＲＡＰピクチャが有するように、ＴＲＡＩＬピクチャとは異なる規範的復号処理を有さないので、この指示は、ＳＰＳレベルで行われ得る。一実施形態では、例えば、指示は、制約フラグ、例えば、一般的な制約フラグの形態を有することができる。一般的な制約フラグは、ＮＡＬユニットタイプの特定の混合が許可されるかどうかを示し得る。このような一般的な制約フラグが設定されている場合（すなわち、一般的な制約フラグ＝ １）、ピクチャ内にＮＡＬユニットタイプが混合していないこと、およびパラメータセット（ＰＰＳ、ＳＰＳ、ＶＰＳ）内の上記のフラグが設定されていない（すなわち、フラグ＝ ０）ことを示している可能性がある。一般的な制約フラグがセットされていない場合（すなわち、一般的な制約フラグ＝ ０）、上記の制約は課されない可能性がある。

【0050】

したがって、一実施形態によれば、デコーダ１００は、ビットストリーム１１から指示を導出するように構成され得、この指示は、第２サブビットストリーム１１－２の非ＩＲＡＰ ＮＡＬユニットタイプのＮＡＬユニット３０４（このＮＡＬユニット３０４は、トレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である）が、第１サブビットストリーム１１－１の非ＩＲＡＰ ＮＡＬユニットタイプのＮＡＬユニット３０２と混合され、このＮＡＬユニット３０２は、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）またはランダムアクセスデコーダブルリーディングピクチャユニットタイプ（ＲＡＤＬ）のいずれか１つであることをデコーダ１００に明示的に知らせる。

【0051】

一実施形態によれば、指示は、パラメータセット中のシンタックス要素を備え得る。例えば、シンタックス要素は、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）またはシーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）の少なくとも１つに含まれていてもよい。

【0052】

しかしながら、３６０度ビデオタイルベースのストリーミングシナリオを仮定すると、ＲＡＳＬプロパティを有するタイルおよびＴＲＡＩＬピクチャのタイルがピクチャ内で混合されるとき、タイルが部分的なＲＡＰ点で位置を変更し、したがって、使用される参照ピクチャが正しくない（すなわち、依然として他のタイルのコンテンツを描写している）ので、ＲＡＳＬタイルが正しく再構成され得ないことが起こり得る。アプリケーションにとって、これらの欠陥のある再構成されたピクチャ領域を認識することは極めて重要であり、一方、（ＴＲＡＩＬ＋ＲＡＳＬタイルを含む）混合リーディングピクチャ全体をドロップすることも、プレイアウト（ｐｌａｙｏｕｔ）の連続性の理由のための選択肢ではない。代わりに、クライアントは、復号され出力されたピクチャ内の欠陥領域を認識し、後続の処理のためにそれらを使用しない。

【0053】

代わりに、例えば、図５に示されるような設定が与えられると、クライアントは、それらの混合されたリーディングピクチャ内で不正確に再構成されるコンテンツのために、ピクチャ内に含まれる低解像度バージョン５１を使用することができる。一実施形態では、潜在的に欠陥のある再構成されたタイルに対応する領域は、後続の処理に、例えばＳＥＩメッセージを通して、または外部手段、例えばアプリケーションによって示される。説明された指示は、ＮＡＬユニットタイプのＲＡＳＬを有するＮＡＬユニットに対応する領域が無視される／出力されないことを意味する。

【0054】

したがって、一実施形態によれば、第１サブビットストリーム１１－１の非ＩＲＡＰ ＮＡＬユニットタイプのＮＡＬユニット３０２がランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、第２サブビットストリーム１１－２のＮＡＬユニット３０４の非ＩＲＡＰ ＮＡＬユニットタイプがトレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である場合、デコーダ１００は、ビットストリーム１１から指示を導出するように構成されてもよい。

【0055】

一例では、この指示は、第１サブビットストリーム１１－１のランダムアクセススキップリーディングピクチャユニットタイプのＮＡＬユニット３０２に対応する第１サブビットストリーム１１－１のビデオコンテンツ１２のピクチャ１２ａ、１２ｂ、１２ｃにおける第１空間セグメント１３_１を無視するか、または出力しないように、デコーダ１００に向けて示すことができる。

【0056】

別の例では、この指示は、デコーダ１００に向けて、第１サブビットストリーム１１－１のランダムアクセススキップリードピクチャユニットタイプ（ＲＡＳＬ）の前記ＮＡＬユニット３０２に対応する第１サブビットストリーム１１－１のビデオ１２内容のピクチャ１２ａ、１２ｂ、１２ｃの第１空間セグメント１３_１を出力し、さらに、第１空間セグメント１３_１を、破損した空間セグメントとしてマークするように指示することができる。例えば、デコーダ１００は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージによって、上述の破損した空間セグメント１３を後続の処理チェーンに向けてマークするように構成してもよい。

【0057】

さらに、別のオプションは、ＲＡＳＬピクチャがトレーリングピクチャ（ＴＲＡＩＬ）と全く混合されることを回避し、したがって、ＲＡＤＬピクチャがＴＲＡＩＬピクチャと混合されることのみを可能にすることである。したがって、一実施形態では、ＳＰＳに示される制約があり、ＣＲＡがＴＲＡＩＬピクチャと混合されるとき、関連するリーディングピクチャはＲＡＤＬタイプのみでなければならない。

【0058】

したがって、一実施形態によれば、デコーダ１００は、パラメータセットから制約指示を復号するように構成され得、上述の制約指示は、第２サブビットストリーム１１－２のＮＡＬユニット３０４の非ＩＲＡＰ ＮＡＬユニットタイプが非リーディングピクチャＮＡＬユニットタイプ（例えば、ＴＲＡＩＬまたはＳＴＳＡ）である場合、第１サブビットストリーム１１－１のＮＡＬユニット３０２の非ＩＲＡＰ ＮＡＬユニットタイプは、第１サブビットストリーム１１－１のその関連ＩＲＡＰ ＮＡＬユニット３０１がクリーンランダムアクセスユニットタイプ（ＣＲＡ）である場合にのみ、ランダムアクセスデコーダブルリーディング（ＲＡＤＬ）ピクチャユニットタイプであることをデコーダ１００に向けて示す。

【0059】

これは、特に、第２ビットストリーム１１－２のＮＡＬユニット３０４の非ＩＲＡＰ ＮＡＬユニットタイプがトレーリングピクチャユニットタイプ（ＴＲＡＩＬ）である実施形態、すなわち、関連するＲＡＤＬリーディングピクチャとＴＲＡＩＬ＋ＣＲＡを混合する場合に当てはまり得る。

【0060】

前の態様では、主にＴＲＡＩＬ ＮＡＬユニットタイプに焦点を当てた。しかしながら、多くの場合、ＳＴＳＡ ＮＡＬユニットタイプもあり得、段階的で時間的なサブレイヤのアクセス（ｓｔｅｐ－ｗｉｓｅ ｔｅｍｐｏｒａｌ ｓｕｂｌａｙｅｒ ａｃｃｅｓｓ）を可能にする。すなわち、上述の例は主にＴＲＡＩＬ ＮＡＬユニットタイプの非ＩＲＡＰ ＮＡＬユニットに関するものであったが、本発明はまた、ＳＴＳＡ（Ｓｔｅｐｗｉｓｅ Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒ Ａｃｃｅｓｓ：ステップワイズテンポラルサブレイヤクセス）ユニットタイプの非ＩＲＡＰ ＮＡＬユニットを、ＲＡＳＬユニットタイプ、ＲＡＤＬユニットタイプ、およびＴＲＡＩＬユニットタイプのうちの少なくとも１つと混合するための解決策を提供することができる。
・ＳＴＳＡ ＋ ＲＡＳＬ
・ＳＴＳＡ ＋ ＲＡＤＬ
・ＳＴＳＡ ＋ ＴＲＡＩＬ

【0061】

したがって、一実施形態によれば、デコーダ１００は、第１サブビットストリーム１１－１のＮＡＬユニット３０２の非ＩＲＡＰ ＮＡＬユニットタイプがステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）であり、第２サブビットストリーム１１－２のＮＡＬユニット３０４の非ＩＲＡＰ ＮＡＬユニットタイプがトレーリングピクチャユニットタイプ（ＴＲＡＩＬ）であるビットストリーム１１を復号するように構成され得る。

【0062】

さらなる実施形態では、デコーダ１００は、ビットストリーム１１を復号するように構成され得、第１サブビットストリーム１１－１のＮＡＬユニット３０２の非ＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルリーディングピクチャユニットタイプ（ＲＡＤＬ）であり、第２サブビットストリーム１１－２のＮＡＬユニット３０４の非ＩＲＡＰ ＮＡＬユニットタイプは、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）である。

【0063】

さらなる実施形態では、デコーダ１００は、第１サブビットストリーム１１－１のＮＡＬユニット３０２の非ＩＲＡＰ ＮＡＬユニットタイプがランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）であり、第２サブビットストリーム１１－２のＮＡＬユニット３０４の非ＩＲＡＰ ＮＡＬユニットタイプがステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）であるビットストリーム１１を復号するように構成され得る。

【0064】

図６は、１つのピクチャセグメント１３_２（例えば、タイル）において、ピクチャ１２ａがＳＴＳＡ ＮＡＬユニットタイプのＮＡＬユニット３０４を使用してステップワイズテンポラルサブレイヤクセスを示す一方で、別のピクチャセグメント１３_１（例えば、タイル）の同じピクチャ１２ａがＲＡＳＬ ＮＡＬユニットタイプのＮＡＬユニット３０２を使用する例示的な符号化構造を示す。

【0065】

ＳＴＳＡ ＮＡＬユニットタイプは最下位の時間レベル０に配置できないため、ＳＴＳＡ ＮＡＬユニットはＩＲＡＰ ＮＡＬユニットと混合しない。しかしながら、これらは、上述のＴＲＡＩＬ ＮＡＬユニットと同様に、ＲＡＤＬまたはＲＡＳＬ ＮＡＬユニットタイプと混合することができる。

【0066】

一実施形態では、フラグは、パラメータセットに、例えば、ＳＴＳＡ ＮＡＬユニットがＲＡＳＬまたはＲＡＤＬ ＮＡＬユニットタイプと混合されることを示すＰＰＳに含まれる。

【0067】

したがって、本発明の一実施形態では、ビットストリーム１１内に、例えば、パラメータセット（ＰＰＳ、ＳＰＳ、ＶＰＳ）内のフラグとして、符号化ピクチャ内のＮＡＬユニットタイプを以下のように混合することができるという指示がある。
・ＳＴＳＡ ＋ ＲＡＤＬ
・ＳＴＳＡ ＋ ＲＡＳＬ
・ＳＴＳＡ ＋ ＴＲＡＩＬ

【0068】

さらなる実施形態では、そのような混合が許可されるかどうかは、たとえば、シーケンスレベルまたはピクチャレベルに対する制約フラグを用いて示され得る。

【0069】

したがって、一実施形態によれば、デコーダ１００は、ビットストリーム１１から指示を導出するように構成されてもよく、ここで、上述の指示は、ＮＡＬユニット３０４がステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）である第２サブビットストリーム１１－２の非ＩＲＡＰ ＮＡＬユニットタイプのＮＡＬユニット３０４が、第１サブビットストリーム１１－１の非ＩＲＡＰ ＮＡＬユニットタイプのＮＡＬユニット３０２と混合され、上述のＮＡＬユニット３０２がランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬ）またはランダムアクセスデコーダブルリーディングピクチャユニットタイプ（ＲＡＤＬ）のいずれかであることを、デコーダ１００に向けて明示的に知らせる。

【0070】

一実施形態によれば、指示は、パラメータセット内のシンタックス要素を含む。さらなる実施形態によれば、シンタックス要素は、ピクチャパラメータセットまたはシーケンスパラメータセットの少なくとも１つに含まれる。

【0071】

さらに、ＳＴＳＡ ＮＡＬユニット３０４を含むピクチャ１２ａのすべてのＮＡＬユニット３０２、３０４が、別のＮＡＬユニットタイプ、たとえばＲＡＳＬ（たとえば、ＮＡＬユニット３０２を参照）を有する場合でも、ＳＴＳＡ ＮＡＬユニットタイプに関連する制約を満たすことを効果的に示す指示が、ビットストリーム１１に追加され得る。これは、ＲＡＳＬピクチャを含む（空間）サブセットのビットストリーム１１－１（たとえば、ＮＡＬユニット３０２を参照）が、各ＲＡＳＬピクチャもＳＴＳＡピクチャであるという制約を満たすことを示すＳＰＳ中のフラグによって示され得る。そのようなシグナリングは、ＲＡＳＬまたはＲＡＤＬ ＮＡＬユニットを含む元のビットストリームが、ＲＡＤＬおよびＲＡＳＬ ＮＡＬユニットがＳＴＳＡピクチャの特性を満たすかどうかを示すことができ、その結果、ＳＴＳＡと混合された場合、混合符号化ピクチャがＳＴＳＡ特性を有するかどうかを容易に導出することができる、マージのユースケースにとってさらに重要である。

【0072】

したがって、一実施形態によれば、デコーダ１００は、ビットストリーム１１のパラメータセットから制約フラグを復号するように構成されてもよく、この制約フラグは、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（例えば、ＲＡＳＬまたはＲＡＤＬ）の１つ以上のＮＡＬユニット３０２と、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）の１つ以上のＮＡＬユニット３０４との混合を備える、ビットストリーム１１の任意のアクセスユニット３０が、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）に関連付けられている制約を満たすこと、すなわち、各ＲＡＳＬピクチャ３０２がＳＴＳＡピクチャとして扱われてもよいことをデコーダ１００に向けて示す。

【0073】

上述の制約は、デコーダ１００に向けて、復号順序に従い、ステップワイズテンポラルサブレイヤクセス（ＳＴＳＡ）ユニットタイプよりも次の高いテンポラルサブレイヤに関連付けられた任意のピクチャが、上述の次の高いテンポラルサブレイヤが上述のステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）に先行する場合、上述の次の高いテンポラルサブレイヤ内のピクチャを参照することを許可されないことを示すことができる。

【0074】

代替的に、混合ＮＡＬユニットタイプ（たとえば、ＳＴＳＡ ＋ ＲＡＳＬまたはＲＡＤＬ）を有する符号化ピクチャ１２ａをもつビットストリーム１１は、フラグが設定されるピクチャ１２ａがＳＴＳＡ ＮＡＬユニットタイプのＮＡＬユニット３０４を含み得るが、（合計で）ＳＴＳＡ ＮＡＬユニットタイプに関連する制約に従わないことを示すフラグを含み得る。これは、符号化ピクチャ１２ａがＳＴＳＡに等しいＮＡＬユニットタイプを有し得るが、ＳＴＳＡによって暗示される特性（すなわち、さらなる時間レベルがそのＡＵ以降から復号され得る）は適用されないことを示す。したがって、ＳＴＳＡの構文解析は無視され、ステップワイズテンポラルサブレイヤクセスが推測される。

【0075】

したがって、一実施形態によれば、デコーダ１００は、パラメータセットからフラグを復号するように構成されてもよく、このフラグは、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）の１つ以上のＮＡＬユニット３０２と、ステップワイズテンポラルサブレイヤクセスユニットタイプ（ＳＴＳＡ）の１つ以上のＮＡＬユニット３０４との混合を備える任意のアクセスユニット３０が、ステップワイズテンポラルサブレイヤクセス（ＳＴＳＡ）ユニットタイプに関連する制約に従わないことをデコーダ１００に向けて示す。さらに、デコーダ１００は、上述のフラグに応答して、ステップワイズテンポラルサブレイヤクセス（ＳＴＳＡ）ユニットタイプの１つ以上のＮＡＬユニット３０４を解析することを控え、ステップワイズテンポラルサブレイヤクセスの復号を暗黙的に推測するように構成され得、すなわち、ＳＴＳＡ制約は、それぞれのアクセスユニットに適用されない。

【0076】

この概念はまた、上記で説明したように、ＮＡＬユニットタイプを混合することとは無関係に適用され得る。したがって、一実施形態によれば、ビデオコンテンツ１２を復号するためのデコーダ１００が提案され、デコーダ１００は、ビットストリーム１１を復号し、ビットストリーム１１のパラメータセットから制約フラグを復号するように構成され、上述の制約フラグは、ビットストリーム１１内で、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（たとえば、ＲＡＳＬまたはＲＡＤＬ）のＮＡＬユニット３０２を備える任意のアクセスユニット３０が、ステップワイズテンポラルサブレイヤクセス（ＳＴＳＡ）ユニットタイプに関連する制約を満たすことをデコーダ１００に向かって示す。

【0077】

１．３ さまざまなＲＡＰタイプの混合
先行技術によって可能にされないさらなる重要なケースは、オープンＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造のピクチャをクローズドＧＯＰ構造のピクチャと混合することを可能にすることである。たとえば、２つの異なるタイプのＩＲＡＰ ＮＡＬユニットタイプ（たとえば、ＩＤＲ、ＣＲＡ）、たとえば、ＩＤＲ＿Ｗ＿ＲＡＤＬおよびＣＲＡ ＮＡＬユニットタイプの混合が許可され得るか、または同じＮＡＬユニットタイプのＮＡＬユニット、たとえば、ＣＲＡおよびＣＲＡの混合が許可され得る。
・ＩＤＲ＿Ｗ＿ＲＡＤＬ ＋ ＣＲＡ
・ＣＲＡ ＋ ＣＲＡ

【0078】

上述のように、この実施形態は、オープンＧＯＰ構造に関連するＮＡＬユニットタイプのＩＲＡＰ ＮＡＬユニットと、クローズドＧＯＰ構造に関連するＮＡＬユニットタイプのＩＲＡＰ ＮＡＬユニットとを混合することを可能にするものとする。例えば、ＲＡＤＬを有するＣＲＡは、クローズドＧＯＰ構造に関連付けられてもよく、一方、ＲＡＳＬを有するＣＲＡは、オープンＧＯＰ構造に関連付けられてもよい。

【0079】

したがって、実施形態によれば、ビデオコンテンツ１２を復号するためのデコーダ１００が提供されてもよく、デコーダ１００は、ビデオコンテンツ１２のピクチャ１２ａ、１２ｂ、１２ｃの第１空間セグメント１３_１に関連する第１サブビットストリーム１１－１と、ビデオコンテンツ１２のピクチャ１２ａ、１２ｂ、１２ｃの第２空間セグメント１３_２に関連する第２サブビットストリーム１１－２とを含むビットストリーム１１を復号するように構成されている。この例によれば、ビットストリーム１１は、第１サブビットストリーム１１－１の少なくとも１つの第１ＮＡＬユニット３０２が、さらなる（同じまたは異なる） ＩＲＡＰ ＮＡＬユニットタイプである第２サブビットストリーム１１－２の少なくとも１つの第２ＮＡＬユニット３０４と混合されるＩＲＡＰ ＮＡＬユニットタイプである少なくとも１つのアクセスユニット３０を備える。

【0080】

少なくとも１つのユースケースがあり、これは非常に有用である。例えば、タイル化されたストリーミングを用いた３６０度のビデオ伝送への１つのアプローチは、（その一部が高解像度タイルとしても伝送されるかどうかにかかわらず）低解像度ビデオコンテンツ全体が伝送される場合である。このような場合、ビューイング方向の変化と、１つのビューポートから別のビューポートへの高解像度タイル選択の対応する変化が、図５に示されている。

【0081】

低解像度ビデオコンテンツ全体は常にクライアント側で利用可能であり、この領域のためにタイルごとのストリーム切り替えは必要とされないので、低解像度コンテンツはＣＲＡで符号化することができ、したがって、ＩＤＲを使用するクローズドＧＯＰ構造と比較してより高い符号化効率を利用することができる。また、ストリーム切替えに必要なランダムアクセスポイント期間が長いほど、この領域には十分であり、低解像度ビデオの符号化効率に再び恩恵をもたらす。一方、高解像度タイルは、図５に示されるように、１つのビューポートから別のビューポートへの高速進行において頻繁に変化する可能性があり、したがって、低解像度ビデオの場合と同様に、ＣＲＡおよび関連するＲＡＳＬピクチャを使用することは、ビューポートのスムーズな切り替えを可能にしない。これは、位置を変更したり、新たに追加されたタイルストリームを表すピクチャ内のＲＡＳＬ領域が適切に復号できず（参照がないため）、ビューポートの変更に遭遇すると破棄されるためである。

【0082】

図７は、クローズドＧＯＰ構造に関連付けられているＮＡＬユニット３０４が、オープンＧＯＰ構造に関連付けられているＮＡＬユニット３０２と混合される例を示す。この特定の、しかし非限定的な例では、リーディングＲＡＤＬ３１４（クローズドＧＯＰ）を有するＣＲＡタイプのＮＡＬユニット３０４は、リーディングＲＡＳＬ３１２（オープンＧＯＰ）を有するＣＲＡタイプのＮＡＬユニット３０２と混合される。この非限定的な例は、ＣＲＡを有するクローズドＧＯＰ構造をＲＡＤＬタイプのリーディングピクチャと組み合わせて使用する第２サブビットストリーム１１－２における高解像度領域と、ＣＲＡを有するオープンＧＯＰ構造をＲＡＳＬタイプのリーディングピクチャと組み合わせて使用する第１サブビットストリーム１１－１における低解像度領域との符号化構造を示す。

【0083】

一実施形態によれば、デコーダ１００は、ビットストリーム１１を処理するように構成され、第２サブビットストリーム１１－２のＮＡＬユニット３０４のＩＲＡＰ ＮＡＬユニットタイプは、クローズドＧＯＰ構造に関連するＩＲＡＰ ＮＡＬユニットタイプであり、第１サブビットストリーム１１－１のＮＡＬユニット３０２のＩＲＡＰ ＮＡＬユニットタイプは、オープンＧＯＰ構造に関連するＩＲＡＰ ＮＡＬユニットタイプである。

【0084】

図７に示されるようなこの特定の非限定的な実施形態では、第２サブビットストリーム１１－２のＮＡＬユニット３０４のＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセスデコーダブルピクチャユニットタイプ（ＲＡＤＬを有するＣＲＡ）を有するＣＲＡユニットタイプであり、第１サブビットストリーム１１－１のＮＡＬユニット３０２のＩＲＡＰ ＮＡＬユニットタイプは、ランダムアクセススキップリーディングピクチャユニットタイプ（ＲＡＳＬを有するＣＲＡ）を有するＣＲＡユニットタイプである。

【0085】

図７は、アクセスユニットのシーケンスと、その中に含まれるピクチャとを、それらの表示順序で示すことに留意されたい。ただし、表示順序は、ビットストリーム順序とも呼ばれる符号化順序とは異なる場合がある。見て分かるように、アクセスユニット３０は、第１サブビットストリーム１１－１内のピクチャ１２ａの第１空間セグメント１３_１ａを表す第１ＶＣＬ ＮＡＬユニット３０２と、第２サブビットストリーム１１－２内のピクチャ１２ａの第２空間セグメント１３_２ａを表す第２ＶＣＬ ＮＡＬユニット３０４とを含む混合ピクチャ１２ａを含む。この場合、第１および第２ＮＡＬユニットはＩＲＡＰ ＮＡＬユニットである。この特定のが非限定的な例では、第１および第２ＮＡＬユニット３０２、３０４の両方は、ＩＲＡＰ ＮＡＬユニットタイプＣＲＡのものである。また、図７は、連続するピクチャの表示順序を示す。

【0086】

したがって、表示順序では、さらなるアクセスユニット３１が、上述のアクセスユニット３０に先行し得る。上述のリーディングアクセスユニット３１は、第１サブビットストリーム１１－１内のピクチャ１２ｂの第１空間セグメント１３_１ｂを表す第１ＶＣＬ ＮＡＬユニット３１２と、第２サブビットストリーム１１－２内のピクチャ１２ｂの第２空間セグメント１３_２ｂを表す第２ＶＣＬ ＮＡＬユニット３１４とを含む混合ピクチャ１２ｂを含む。このＡＵ３１の第１ＮＡＬユニット３１２は、非ＩＲＡＰ ＮＡＬユニットタイプＲＡＳＬであり、このＡＵ３１の第２ＮＡＬユニット３１４は、非ＩＲＡＰ ＮＡＬユニットタイプＲＡＤＬである。また、図７は、連続するピクチャの表示順序を示す。

【0087】

任意選択で、さらに表示順序で、例示的に描写されるアクセスユニット３２などの１つ以上のさらなるアクセスユニットは、上記で説明したアクセスユニット３１に先行し得る。より一般的には、非ＩＲＡＰ ＮＡＬユニット３１２、３１４（たとえば、ＲＡＳＬまたはＲＡＤＬ）を備えるアクセスユニット３１は、表示順序で、好ましくは非ＩＲＡＰ ＮＡＬユニット３２２、３２４（たとえば、ＲＡＳＬまたはＲＡＤＬ）をも備え得る少なくとも１つのさらなるアクセスユニット３２の前にあり得る。第１サブビットストリーム１１－１におけるオープンＧＯＰ構造を維持するために、アクセスユニット３１のＲＡＳＬ ＮＡＬユニット３１２は、（表示順序で）先行するアクセスユニット３２に含まれ、ＲＡＳＬタイプであってもよいＮＡＬユニット３２２によって（表示順序で）先行されてもよい。次に、第２サブビットストリーム１１－２におけるクローズドＧＯＰ構造を維持するために、アクセスユニット３１のＲＡＤＬ ＮＡＬユニット３１４は、（表示順序で）先行するアクセスユニット３２に含まれ、ＲＡＤＬタイプでもあり得るＮＡＬユニット３２４によって（表示順序で）先行され得る。

【0088】

ビットストリーム順序とも呼ばれる符号化順序は、図７に示される表示順序とは異なる場合がある。例えば、ＲＡＤＬおよびＲＡＳＬピクチャ１３_１b、１３_２ｂ、１３_１ｃ、１３_２cは、依存的に符号化され、これは、ＣＲＡピクチャ１３_１ａ、１３_２ａを（表示順序で）それぞれのＣＲＡピクチャ１３から差動符号化情報を取り出すことを意味する。例えば、アクセス部３１に含まれるＲＡＤＬ及びＲＡＳＬピクチャ１３_１ｂ、１３_２ｂは、アクセスユニット３０が（表示順に）アクセスユニット３１に追従しているにもかかわらず、アクセスユニット３０に含まれるＣＲＡピクチャ１３_１ａ、１３_２ａを（表示順序で）参照する。

【0089】

ＲＡＳＬピクチャ１３_１ｂは、図７に例示されている先行のＲＡＳＬピクチャ１３_１ｃのような（表示および符号化の順序で）ピクチャを任意にさらに参照することができ、したがって、先行のアクセスユニット３２の先行のＲＡＳＬピクチャ１３_１ｃは、アクセスユニット３１のＲＡＳＬピクチャ１３ｂの前に符号化されなければならない。しかしながら、先行アクセスユニット３２の更に先行するＲＡＳＬピクチャ１３_１ｃは、アクセスユニット３０のＩＲＡＰピクチャ１３_１ａのように、表示順序は追従するが符号化順序は先行するピクチャを自身が参照してもよい。つまり、アクセスユニット３０のＩＲＡＰ（ＣＲＡ）ピクチャ１３_１ａは、先に述べた順序（すなわち、ＣＲＡ）ピクチャ１３の最後のピクチャであるが、アクセスユニット３０のＩＲＡＰ（ＣＲＡ）ピクチャ１３_１ａは、両方のＲＡＳＬピクチャ１３_１ｂ、１３_１ｃは、符号化中にＩＲＡＰ（ＣＲＡ）ピクチャ１３_１ａを参照するので、符号化順序の最初のピクチャである、すなわち、最初に符号化されなければならない。

【0090】

ＲＡＤＬピクチャについても同様である。ＲＡＤＬピクチャ１３_２ｂは、図７に例示されている先行ＲＡＤＬピクチャ１３_２ｃのように、（表示及び符号化の順序で）任意に先行するピクチャをさらに参照することができ、したがって、先行アクセスユニット３２のさらなる前後のＲＡＤＬピクチャ１３_２ｃは、アクセスユニット３１のＲＡＤＬピクチャ１３_２ｂの前に符号化されなければならない。しかしながら、先行アクセスユニット３２の更に先行するＲＡＤＬピクチャ１３_２ｃは、アクセスユニット３０のＩＲＡＰピクチャ１３_２ａのように、表示順序は追従するが符号化順序は先行するピクチャを自身が参照してもよい。つまり、アクセスユニット３０のＩＲＡＰ（ＣＲＡ）ピクチャ１３_２ａは、先に述べた順序（すなわち、ＣＲＡ）ピクチャ１３の最後のピクチャであるが、アクセスユニット３０のＩＲＡＰ（ＣＲＡ）ピクチャ１３_２ａは、両方のＲＡＤＬピクチャ１３_２ｂ、１３_２ｃは、符号化の間、ＩＲＡＰ（ＣＲＡ）ピクチャ１３_２ａを参照するので、符号化の順序で最初のピクチャである、つまり、最初に符号化されなければならない。

【0091】

より一般的に言えば、リーディングピクチャ（ＬＰ）タイプの非ＩＲＡＰピクチャ（例えば、ＲＡＳＬおよびＲＡＤＬピクチャ１３_１ｂ、１３_１ｃ、１３_２ｂ、１３_２ｃ）は、（例えば、ディスプレイ順序で）追従するＩＲＡＰピクチャ（例えば、ＣＲＡピクチャ１３_１ａ、１３_２ａ）を参照することができ、ＩＲＡＰピクチャ（例えば、ＣＲＡピクチャ１３_１ａ、１３_２ａ）は、最初に、つまり、リーディングピクチャ（ＬＰ）タイプの（ディスプレイ順序で）リーディング非ＩＲＡＰピクチャ（例えば、ＲＡＳＬおよびＲＡＤＬピクチャ１３_１ｂ、１３_１ｃ、１３_２ｂ、１３_２ｃ）より前に、符号化されなければならない。つまり、ＩＲＡＰピクチャ（ＣＲＡピクチャ１３_１ａ、１３_２ａなど）は、リーディングピクチャ（ＬＰ）タイプの非ＩＲＡＰピクチャ（ＲＡＳＬおよびＲＡＤＬピクチャ１３_１ｂ、１３_１ｃ、１３_２ｂ、１３_２ｃなど）に表示順序に従うが、ＩＲＡＰピクチャ（ＣＲＡピクチャ１３_１ａ、１３_２ａなど）は最初に符号化される。言い換えると、リーディングピクチャ（ＬＰ）タイプの非ＩＲＡＰピクチャ（例えば、ＲＡＳＬおよびＲＡＤＬピクチャ１３_１ｂ、１３_１ｃ、１３_２ｂ、１３_２ｃ）は、表示順序でＩＲＡＰピクチャ（例えば、ＣＲＡピクチャ１３_１ａ、１３_２ａ）をリードし、ＩＲＡＰピクチャ（例えば、ＣＲＡピクチャ１３_１ａ、１３_２ａ）は、ビットストリーム順序（符号化順序）で、リーディングピクチャ（ＬＰ）タイプの非ＩＲＡＰピクチャ（例えば、ＲＡＳＬおよびＲＡＤＬピクチャ１３_１ｂ、１３_１ｃ、１３_２ｂ、１３_２ｃ）をリードする。言い換えると、の先頭ピクチャ（LP）タイプの非ＩＲＡＰピクチャ（たとえば、ＲＡＳＬおよびＲＡＤＬピクチャ１３_１ｂ、１３_１ｃ、１３_２ｂ、１３_２ｃ）は、ＩＲＡＰピクチャ（たとえば、ＣＲＡピクチャ１３_１ａ、１３_２ａ）を表示順にリードするが、ローディングピクチャ（ＬＰ）タイプの非ＩＲＡＰピクチャ（たとえば、ＲＡＳＬおよびＲＡＤＬピクチャ１３_１ｂ、１３_１ｃ、１３_２ｂ、１３_２ｃ）は、ＩＲＡＰピクチャ（たとえば、ＣＲＡピクチャ１３_１ａ、１３_２ａ）の後に、符号化／ビットストリームの順序で続く。

【0092】

上記の事例および符号化構造を考慮すると、アクセスユニット３０のピクチャ内のリーディングＲＡＳＬ（オープンＧＯＰ）を有するＣＲＡとリーディングＲＡＤＬ（クローズドＧＯＰ）を有するＣＲＡとの混合が許容されることは、本発明の利点の１つである。このような混合ＮＡＬＵアクセスユニット３０が通常のプレイアウト（ｐｌａｙｏｕｔ）中に符号化ビデオシーケンス（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ：ＣＶＳ）内で遭遇すると（最初からビットストリーム１１全体を復号する）、必要なすべての参照ピクチャが利用可能となる。したがって、ＲＡＳＬ ＮＡＬユニットを有する混合ピクチャに続くピクチャは、復号され、正常に出力されることになる。

【0093】

しかしながら、シーク動作中にそのような混合ＮＡＬＵに遭遇したとき、または、ランダムアクセス中にそのようなＡＵから復号処理が開始したとき、利用不可能な参照ピクチャを生成するための処理は、呼び出される必要があり、かつ、以下の何れかである。
・後続の処理チェーンは、ＲＡＳＬ領域が正しく復号されず、対応する低解像度領域が、例えば、ＳＥＩ指示を通して使用されることを知らされる必要がある。
・影響を受けたピクチャは出力から完全に削除される。

【0094】

これは、混合ピクチャの復号を開始するときに、１つのオプションは、それを、いくつかの部分が復号可能であり、示されることができ、他の部分が、示されることができず、経時的に（すべてのＲＡＳＬ ＮＡＬユニットが終了するまで）リフレッシュされる、ＧＤＲピクチャとして扱うことであることを意味する。そのような動作は、例えば、ＲＡＰタイプが図７に示される方法とは反対に選択される３６０シナリオに関連し、すなわち、低解像度がクローズドＧＯＰ構造（例えば、ＲＡＤＬを有するＣＲＡ）を使用し、高解像度コンテンツがオープンＧＯＰ構造（例えば、ＲＡＳＬを有するＣＲＡ）を使用する。次いで、それはクローズドＧＯＰ構造を使用し、プレイヤは、オープンＧＯＰ構造を使用する高解像度がそれを示すためにきれいに復号されるまで待機するので、低解像度を示すことができる。

【0095】

そのような状況を処理するための他のオプションは、欠落した参照によって影響を受けている（部分的にさえされていない）ピクチャのいずれも表示せず、それらをドロップすること、すなわち、ＲＡＳＬに等しいＮＡＬユニットタイプを有する任意のミックスピクチャをドロップすることである。

【0096】

言い換えれば、ＲＡＳＬに等しいＮＡＬユニットタイプ３１２、３２２を有する任意の混合ピクチャ１２ｂ、１２ｃは、連続的な復号挙動を保証するために、ドロップ／破棄されるようにマークされ得る。

【0097】

したがって、一実施形態によれば、デコーダ１００は、ビットストリーム順序で、第２サブビットストリーム１１－２のＮＡＬユニット３０４が関連する少なくとも１つのアクセスユニット３０に続く、アクセスユニット３１、３２、・・・の１つ以上のピクチャ１２ｂ、１２ｃ、・・・の共同設置された空間セグメント１３_２ｂ、１３_２ｃ、・・・を復号し、提示するように構成してもよく、このアクセスユニット３０には、第２サブビットストリーム１１－２のＮＡＬユニット３０４が関連する少なくとも１つのアクセスユニット３０のピクチャ１２ａの第２空間セグメント１３_２ａに、共同設置された空間セグメント１３_２ｂ、１３_２ｃ、・・・が一緒に並べられる。さらに、デコーダ１００は、第１サブビットストリーム１１－１のＮＡＬユニット３０２が関連する少なくとも１つのアクセスユニット３０に続く、アクセスユニット３１、３２、・・・の１つ以上のピクチャ１２ｂ、１２ｃ、・・・の、共同設置された空間セグメント１３_１ｂ、１３_１ｃ、・・・、を破棄するようにマークするように構成してもよく、このアクセスユニット３０には、第１サブビットストリーム１１－１のＮＡＬユニット３０２が関連する少なくとも１つのアクセスユニット３０のピクチャ１２ａの第１空間セグメント１３_１ａに、共同設置されたセグメント１３_１ｂ、１３_１ｃ、・・・、が一緒に並べられる。

【0098】

さらなる実施形態によれば、デコーダ１００は、（最初からビットストリーム１１全体を復号する）通常のプレイアウト中の連続復号の場合、または復号の開始の場合（たとえば、シーク動作中に、またはランダムアクセス中に復号処理がそのようなＡＵから開始する）、ビットストリーム１１が復号されるべきかどうかに応じて、動作するように構成され得る。

【0099】

（ビットストリーム１１全体を最初から復号する）通常のプレイアウトの際に、デコーダ１００は、第２サブビットストリーム１１－２のＮＡＬユニット３０４が関連する少なくとも１つのアクセスユニット３０（例えば、ＲＡＤＬを有するＣＲＡ）をビットストリーム順序で後続する、アクセスユニット３１、３２、・・・の１つ以上のピクチャ１２ｂ、１２ｃ、・・・の、共同設置された空間セグメント１３_２ｂ、１３_２ｃ、・・・・、を復号し、提示するように構成することができ、これらのアクセスユニット３１、３２、・・・・、には、共同設置された空間セグメント１３_２ｂ、１３_２ｃ、・・・・、は、第２サブビットストリーム１１－２のＮＡＬユニット３０４が関連する少なくとも１つのアクセスユニット３０のピクチャ１２ａの第２空間セグメント１３_２ａが一緒に並べられる。さらに、復号開始の場合（たとえば、シーク動作中、またはランダムアクセス中にそのようなＡＵから復号処理が開始する場合）、デコーダ１００は、少なくとも１つのアクセスユニット３０にビットストリーム順序で後続するアクセスユニット３１、３２、・・・の１つ以上のピクチャ１２ｂ、１２ｃ、・・・を破棄し、１つまたは複数の破棄されたピクチャ１２ｂ、１２ｃ、・・・の後にピクチャ出力を再開するように構成されてもよい。言い換えれば、ＲＡＳＬに等しい少なくとも１つのＮＡＬユニット３１２、３２２を有する任意の混合ピクチャ１２ｂ、１２ｃがドロップ／破棄される。

【0100】

さらなる実施形態によれば、デコーダ１００は、ＳＥＩメッセージによって、後続の処理チェーンに向けて、上述の破損した空間セグメント１３_１ｂ、１３_１ｃ、…にマークするように構成してもよい。

【0101】

さらなる実施形態では、ＩＤＲ＿Ｗ＿ＲＡＤＬ ＮＡＬユニットタイプがあるかどうかにかかわらず、ＡＵがＣＲＡとして扱われる、すなわち、ＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇが１に等しいＩＲＡＰであるという指示が、ビットストリーム内に存在する。ＡＵが混合ＮＡＬＵであるが、ＩＲＡＰおよびオープンＧＯＰ構造の言及された特性があることを示す。言い換えると、デコーダ１００は、クリーンランダムアクセスＮＡＬユニットタイプに対応する方法で、第１サブビットストリーム１１－１および第２サブビットストリーム１１－２に関連する少なくとも１つのアクセスユニット３０を復号するために、デコーダ１００に向かって示す指示をビットストリーム１１から導出するように構成され得る。

【0102】

上記の説明では、デコーダ１００がビットストリーム１１を処理するように構成された実施形態について説明したが、ここでは
Ａ）非ＩＲＡＰ ＮＡＬユニットタイプの非ＩＲＡＰ ＮＡＬユニット（例えば、ＲＡＳＬ、ＲＡＤＬ、ＴＲＡＩＬ、ＳＴＳＡ）は、異なる非ＩＲＡＰ ＮＡＬユニットタイプの少なくとも１つの異なる第２ＮＡＬユニット（例えば、ＲＡＳＬ、ＲＡＤＬ、ＴＲＡＩＬ、ＳＴＳＡ）と混合される、または
Ｂ）ＩＲＡＰ ＮＡＬユニットタイプのＮＡＬユニット（たとえば、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＣＲＡ）は、さらなるＩＲＡＰ ＮＡＬユニットタイプの少なくとも１つのＮＡＬユニット（たとえば、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＣＲＡ）と混合される。

【0103】

しかしながら、デコーダ１００がビットストリーム１１を処理するように構成され得る、さらなる実施形態が存在し得、ここで
Ｃ）ＩＲＡＰ ＮＡＬユニットタイプ（ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＣＲＡ）のＮＡＬユニットは、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（例えば、ＲＡＳＬ、ＲＡＤＬ）またはＳＴＳＡ ＮＡＬユニットタイプのうちの１つのうちの少なくとも１つのＮＡＬユニットと混合される。

【0104】

さらなる実施形態はまた、ビットストリーム１１の符号化および／または第１および第２サブビットストリーム１１－１、１１－２のマージ中にビデオビットストリーム１１を処理するための対応する装置を提供することを提案する。上述の装置１０は、本明細書で説明される革新的な原理に従ってビットストリーム１１を処理するためのエンコーダ、マージャー、またはネットワークノードのうちの少なくとも１つであり得る。

【0105】

したがって、実施形態によれば、ビデオコンテンツ１２を処理するための装置１０が提案され、装置１０は、ビデオコンテンツ１２のピクチャ１２ａ、１２ｂ、１２ｃの第１空間セグメント１３_１に関連する第１サブビットストリーム１１－１を提供し、ビデオコンテンツ１２のピクチャ１２ａ、１２ｂ、１２ｃの第２空間セグメント１３_２に関連する第２サブビットストリーム１１－２を提供するように構成され、第１サブビットストリーム１１－１および第２サブビットストリーム１１－２は、ビットストリーム１１の一部であり、
Ａ）ビットストリーム１１は、第１サブビットストリーム１１－１の少なくとも１つの第１ＮＡＬユニット３０２が、異なる非ＩＲＡＰ ＮＡＬユニットタイプである第２サブビットストリーム１１－２の少なくとも１つの異なる第２ＮＡＬユニット３０４と混合される非ＩＲＡＰ ＮＡＬユニットタイプである、少なくとも１つのアクセスユニット３０を含む、または、
Ｂ）ビットストリーム１１は、第１サブビットストリーム１１－１の少なくとも１つの第１ＮＡＬユニット３０２が、さらなるＩＲＡＰ ＮＡＬユニットタイプである第２サブビットストリーム１１－２の少なくとも１つの異なる第２ＮＡＬユニット３０４と混合されるＩＲＡＰ ＮＡＬユニットタイプである、少なくとも１つのアクセスユニット３０を含む、または、
Ｃ）ビットストリーム１１は、第１サブビットストリーム１１－１の少なくとも１つの第１ＮＡＬユニット３０２が、非ＩＲＡＰリーディングピクチャＮＡＬユニットタイプ（ＲＡＳＬまたはＲＡＤＬ）またはＳＴＳＡ ＮＡＬユニットタイプの何れかである第２サブビットストリーム１１－２の少なくとも１つの異なる第２ＮＡＬユニット３０４と混合されるＩＲＡＰ ＮＡＬユニットタイプである、少なくとも１つのアクセスユニット（３０）を含む。

【0106】

１．４ 要約とシンタックス例
以下に、本発明内で許容される混合タイプの概要を示す。

【表1】

【0107】

本発明に記載される新しい混合タイプでは、２つのタイプの混合が存在し、１つはＩＲＡＰタイプを伴うものであり、他の１つはＩＲＡＰタイプを有さないものである。

【0108】

オプション１
前のセクションで上述したように、１つのオプションは、ＩＲＡＰタイプを伴う混合のみをＰＰＳ内のフラグで伝えることである。たとえば、ＩＤＲまたはＣＲＡとＴＲＡＩＬをＶＣＬ＿ＲＳＶ＿６（ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）まで混合した既存のものを再利用する。ＩＲＡＰ以外のタイプは、ＳＰＳ／ＶＰＳ／ＤＰＳで制約フラグを使用して伝えられ得る。

【0109】

１に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャが、１つ以上のＶＣＬ ＮＡＬユニットを持つこと、ＶＡＬ ＮＡＬユニットが同一のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を持たず、ＩＤＲ＿Ｗ＿ＲＡＤＬからＣＲＡ＿ＮＵＴの範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を有すること、ピクチャがＩＲＡＰ ＩＤＲピクチャではないこと、を指定する。０に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャは１つ以上のＶＣＬ ＮＡＬユニットを持ち、ＶＣＬ ＮＡＬユニットがＩＤＲ＿Ｗ＿ＲＡＤＬからＣＲＡ＿ＮＵＴの範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を有する場合、ＰＰＳを参照する各ピクチャのＶＣＬ ＮＡＬユニットが、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅと同じ値を有することを指定する。

【0110】

次に、ＡＵがビットストリームの最初のＡＵであるか、１に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを有するＰＰＳを参照するシーケンス（ＥＯＳ）ＮＡＬユニットの後の最初のＡＵである場合、符号化化ピクチャのＮＡＬユニットタイプはＣＲＡ＿ＮＵＴおよびＩＤＲ＿Ｗ＿ＲＡＤＬである必要がある。非ＩＲＡＰタイプを有するＩＤＲ／ＣＲＡとの混合ピクチャは、ＡＵがビットストリームまたはシーケンスの最初のピクチャではない場合にのみ許可される。

【0111】

１に等しいｎｏ＿ｎｏｎ＿ｉｒａｐ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、シーケンスにＴＲＡＩＬ、ＳＴＳＡ、ＲＡＳＬ、ＲＡＤＬが含まれるピクチャのＶＣＬ ＮＡＬユニットがｎａｌ＿ｕｎｉｔ＿ｔｙｐｅと同じ値を有することがビットストリーム適合の要件であることを指定する。０に等しい値はこのような制約を課さない。すなわち、ピクチャはＴＲＡＩＬ、ＳＴＳＡ、ＲＡＳＬ、ＲＡＤＬの間で、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの２つの異なる値を有していてもよい。

【0112】

オプション２
別のオプションは、ＰＰＳのフラグ（ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）の代わりに、異なる組み合わせを示す指示（ｉｄｃ）を指定する必要があるだろう。

【0113】

１に等しいｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃが０に等しいことがビットストリーム適合性の要件であることを指定する。０に等しいｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、このような制約を課さない。

【0114】

０に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃは、ＰＰＳを参照する各ピクチャに１つ以上のＶＣＬ ＮＡＬユニットがあり、ＰＰＳを参照する各ピクチャのＶＣＬ ＮＡＬユニットがｎａｌ＿ｕｎｉｔ＿ｔｙｐｅと同じ値を有することを指定する。

【0115】

１に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃが、ＰＰＳを参照する各ピクチャは複数のＶＣＬ ＮＡＬユニットを持ち、ＶＣＬ ＮＡＬユニットはすべてＴＲＡＩＬ＿ＮＵＴからＲＳＶ＿ＶＣＬ＿６までの範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの２つの特定値を持つことを指定する。

【表2】

【0116】

２に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃは、ＰＰＳをを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを持ち、１つ以上のＶＣＬ ＮＡＬユニットはすべてＩＤＲ＿Ｗ＿ＲＡＤＬからＣＲＡ＿ＮＵＴまでの範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの特定の値を持ち、他のＶＣＬ ＮＡＬユニットはすべてＴＲＡＩＬ＿ＮＵＴからＲＳＶ＿ＶＣＬ＿６までの範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの特定の値を持つか、ＧＲＡ＿ＮＵＴに等しいことを指定する。

【0117】

この値は、ＮＡＬユニットと既存のフラグとの許可された混合に対応する。

【表3】

【0118】

３に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃは、ＰＰＳを参照する各ピクチャが、ＩＤＲ＿Ｗ＿ＲＡＤＬのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を持つ複数のＶＣＬ ＮＡＬユニットと、ＣＲＡ＿ＮＵＴのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を持つ１つ以上のＶＣＬ ＮＡＬユニットを持つことを指定する。

【表4】

【0119】

任意の特定のピクチャのＶＣＬ ＮＡＬユニットについて、以下が適用される。
ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃが０に等しい場合、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値はピクチャのすべての符号化スライスＮＡＬユニットで同じになる。ピクチャまたはＰＵは、ピクチャまたはＰＵの符号化スライスＮＡＬユニットと同じＮＡＬユニットタイプを有すると呼ばれる。
ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃが１または２の場合、以下が適用される。
ピクチャ内のＶＣＬ ＮＡＬユニットの１つがＴＲＡＩＬ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を有する場合、ピクチャまたはＰＵはトレーリング（ｔｒａｉｌｉｎｇ）ピクチャまたはトレーリングＰＵと呼ばれる。
そうでない場合（ピクチャ内にＴＲＡＩＬ＿ＮＵＴ ＶＣＬ ＮＡＬユニットがない）、ピクチャまたはＰＵは、リーディングピクチャまたはリーディングＰＵであると呼ばれる。
ピクチャ内のＶＣＬ ＮＡＬユニットの１つが、ＲＡＤＬ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を有する場合、ピクチャまたはＰＵはＲＡＤＬピクチャまたはＲＡＤＬ ＰＵと呼ばれる。
それ以外の場合（ピクチャ内のＶＣＬ ＮＡＬユニットが、ＲＡＤＬ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を有さない場合）、ピクチャまたはＰＵはＲＡＳＬピクチャまたはＲＡＳＬ ＰＵと呼ばれる。
それ以外の場合（ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃが３に等しい）、ピクチャはＣＲＡピクチャまたはＣＲＡ ＰＵと呼ばれる。

【0120】

ＳＴＳＡピクチャとして主要なＮＡＬユニットタイプを扱うことに関連する態様は、以下のように制約フラグを用いて実装され得る。

【表5】

【0121】

１に等しいｌｅａｄｉｎｇ＿ｓｔｓａ＿ｐｉｃｔｕｒｅｓ＿ｆｌａｇは、ＲＡＤＬおよびＲＡＳＬピクチャのインター予測の参照は、次のように制約される。０に等しいｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、このような制約を課さない。

【0122】

ｌｅａｄｉｎｇ＿ｓｔｓａ＿ｐｉｃｔｕｒｅｓ＿ｆｌａｇが１に等しい場合、以下が適用される。
現在のピクチャがＲＡＳＬピクチャまたはＲＡＤＬピクチャであるとき、現在のピクチャのＴｅｍｐｏｒａｌＩｄに等しいＴｅｍｐｏｒａｌＩｄを有するＲｅｆＰｉｃＬｉｓｔ［０］またはＲｅｆＰｉｃＬｉｓｔ［１］中のアクティブエントリはない。
現在のピクチャが、復号順序で、ＲＡＳＬまたはＲＡＤＬに続き、現在のピクチャのものと等しいＴｅｍｐｏｒａｌＩｄを有する関連するＩＲＡＰピクチャに先行するピクチャであるとき、復号順序で、ＲＡＳＬまたはＲＡＤＬピクチャに先行するＲｅｆＰｉｃＬｉｓｔ［０］またはＲｅｆＰｉｃＬｉｓｔ［１］中のアクティブエントリとして含まれる現在のピクチャのものと等しいＴｅｍｐｏｒａｌＩｄを有するピクチャはないものとする。

【0123】

言い換えれば、ＳＴＳＡピクチャに関連する制限は、復号順序に従い、ＳＴＳＡよりも次の上位のテンポラルサブレイヤ（ｔｅｍｐｏｒａｌ ｓｕｂ－ｌａｙｅｒ）に関連するピクチャが、ＳＴＳＡに先行する次の上位のテンポラルサブレイヤにおける任意の参照を使用することを禁止し、すなわち、デコーダは、ＳＴＳＡ以降から次のテンポラルサブレイヤの復号を開始することができる。そのような制限は、もちろん、上述のようにＲＡＳＬ／ＲＡＤＬピクチャに対しても実施することができ、したがって、上述のシグナリングは、これらの特性の指示としての役割を果たすことができる。

【0124】

２．マルチレイヤクセスユニット内のピクチャタイプの混合
本サブセクションは、非限定的な例として、マルチレイヤビットストリーム中のマルチレイヤクセスユニットに関係し得る。しかしながら、本明細書に記載される特徴は、１つの単一レイヤに既に適用されてもよい。さらに、本サブセクションは、非限定的な例として、長期参照ピクチャを参照することによって、本発明の原理を説明する。しかしながら、本発明の概念は、短期参照ピクチャにも同様に適用可能であり、すなわち、本明細書で説明される特徴は、概して参照するピクチャに適用され得る。さらに、本サブセクションは、非限定的な例として、ＰＯＣ値をゼロに設定することによって、すなわち、ＭＳＢ ＝ ０に設定することによって、ＰＯＣ ＭＳＢリセットを説明することができる。しかしながら、値ゼロは、ＭＳＢの減少する値を象徴するプレースホルダとしてのみ作用し、例えば、ＭＳＢリセットが、０に等しくないが、それぞれのビットストリーム位置における現在のＭＳＢよりも小さい任意の所定値に起こり得ることも可能である。

【0125】

従来技術は、最上位ＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ：ピクチャオーダーカウント）ビット（ｐｏｃ＿ｍｓｂ＿ｖａｌ）をシグナリングすることによって、すなわち、アクセスユニットがそのレイヤ中にＲＡＰピクチャと非ＲＡＰピクチャとを同時に含む時間インスタンスのために、レイヤ化されたアクセスユニット内の異なるＲＡＰタイプのピクチャを混合するためのサポートを提供し得る。しかしながら、ロングタームリファレンスピクチャ（Ｌｏｎｇ Ｔｅｒｍ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅｓ）の例によって以下に示されるように、符号化順序でそれらの関連付けられたＩＲＡＰピクチャに先行するピクチャへの参照を伴うが、ショートタームリファレンスピクチャ（Ｓｈｏｒｔ Ｔｅｒｍ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅｓ）にも適用可能であり、本発明が解決策を提供する、リーディングピクチャＮＡＬユニットタイプのリファレンスピクチャには問題が残ることがある。

【0126】

現在のＰＯＣシグナリング関連のシンタックスは次の通りである。

【表6】

【表7】

【0127】

上記のＰＯＣ ＭＳＢシグナリングの例示的な使用法は、すべてのレイヤが同じＩＲＡＰ ＮＡＬユニットタイプを有する、例えば、図８に示されるように、すべてのレイヤがＩＤＲ＿Ｗ＿ＲＡＤＬまたはＣＲＡであるときに、ＰＯＣ ＭＳＢを０に設定することである。

【0128】

図８は、第１レイヤＬ０の第１サブビットストリーム１１－１と、第２レイヤＬ１の第２サブビットストリーム１１－２で構成されるマルチレイヤビットストリーム１１を示している。各レイヤ、Ｌ０は、１つ以上のテンポラルサブレイヤＴ０、Ｔ１、Ｔ２を備え得る。したがって、ピクチャの空間セグメントは、上述の異なるレイヤＬ０、Ｌ１およびテンポラルサブレイヤＴ０、Ｔ１、Ｔ２にわたって分散され得る。

【0129】

図８は、いくつかの例示的なマルチレイヤクセスユニット３０、３１、３２をさらに示す。この例では、マルチレイヤクセスユニット３０、３１、３２は、第２レイヤＬ１中の第２サブビットストリーム１１－２の第２ＮＡＬユニット３０４と混合される、第１レイヤＬ０中の第１サブビットストリーム１１－１の第１ＮＡＬユニット３０２を備え得る。ＮＡＬユニットは、上記で説明したように、異なるＮＡＬユニットタイプ、特にＩＲＡＰおよび非ＩＲＡＰ ＮＡＬユニットタイプを備え得る。さらに、ＮＡＬユニットは、上述のように、ピクチャオーダーカウント（ＰＯＣ）がシグナリングされるスライスヘッダーを備え得る。本明細書で説明する概念は、最上位のＰＯＣ部分、たとえば最上位のＰＯＣビット、またはＰＯＣ ＭＳＢに関する。したがって、図では、ＰＯＣ ＭＳＢは、各ＩＲＡＰ ＮＡＬユニットで示されている。

【0130】

たとえば、マルチレイヤクセスユニット３０、３２は、第１サブビットストリーム１１－１中の第１ＮＡＬユニット３０２のＰＯＣ ＭＳＢが、第２サブビットストリーム１１－２の第２ＮＡＬユニット３０４のＰＯＣ ＭＳＢと位置合わせされたアクセスユニットを表し、両方のＮＡＬユニットはＩＲＡＰ ＮＡＬユニットタイプである。

【0131】

マルチレイヤクセスユニット３１は、非整列アクセスユニット、すなわち、第１サブビットストリーム１１－１内の第１ＮＡＬユニット３０２のＰＯＣ ＭＳＢが、非ＩＲＡＰ ＮＡＬユニットタイプの第２サブビットストリーム１１－２の第２ＮＡＬユニット３０４のＰＯＣ ＭＳＢ（例えば、ＭＳＢ ＝ ０）と非整列アクセスユニットを表す。したがって、第１サブビットストリーム１１－１の第１ＮＡＬユニット３０２のＰＯＣ ＭＳＢは、所定値だけ増加され得、たとえば、１だけ増加され得る。

【0132】

図８は、前述のスライスヘッダーにおけるＭＳＢシグナリングが、そのようなマルチレイヤの場合にどのように使用され得るかを示す。シグナリングの目的は、例えば、ＣＲＡ ｗ ＭＳＢ＝１の非整列アクセスユニット３１のような、整列されていないＲＡＰにおいてＰＯＣ値を正しく保つことであり、すなわち、すべてのレイヤが同じアクセスユニットにおいてＩＲＡＰを有していないときに、ＰＯＣ（ＬＳＢおよびＭＳＢ）がゼロにリセットされることを回避することである。

【0133】

しかしながら、図８はまた、ＰＯＣが位置合わせされるとき、（例えば、ロングタームおよび／またはショートタームの）レファレンスピクチャ１２ｒに問題があることを示す。理解を容易にするために、以下の図は、ロングタームレファレンスピクチャのみを参照し得る。しかしながら、本概念は、ショートタームレファレンスピクチャにも適用可能である。

【0134】

最後のＣＲＡアクセスユニット３２の前のピクチャ１２ａ、１２ｂ、１２ｃ、・・・すなわち、第２の整列されたＲＡＰは、ＰＯＣ ＭＳＢ＞０およびＰＯＣ ＬＳＢ＞０を有することに留意されたい。したがって、（図８に例示的に示されるように）最後のＣＲＡアクセスユニット３２におけるＭＳＢを０にリセットするとき、ＰＯＣ ＭＳＢまたはそのデルタ（ロングタームレファレンスピクチャのために使用される）を使用して、前のピクチャ１２ａ、１２ｂ、１２ｃ、・・・のいずれかを参照することは不可能である。１つのそのような例は、図８において、「ＬＴ ｒｅｆ」でマークされた緑色の矢印によって示される。したがって、図８に示される例は、この場合、ピクチャ参照が不可能であり得ることを示すものとする。

【0135】

したがって、本発明は、ピクチャ参照が可能になるように、この問題に対する解決策を提供する。

【0136】

一実施形態では、制約は、アクセスユニット内のすべてのピクチャがタイプＩＤＲ、すなわちＩＤＲ＿Ｗ＿ＲＡＤＬまたはＩＤＲ＿Ｎ＿ＬＰであるときのみ、ＭＳＢを０にセットすることができるビットストリームフラグ（ＳＰＳ、ＶＰＳ、ＤＰＳ）を通じて、明細書において表現されるか、または示される。それによって、ＣＲＡが使用されるとき、ＰＯＣリセットは発生せず、ＬＴ参照が許可される（例については、図９および１０を参照されたい）。

【0137】

図９に見られるように、アクセスユニット３２は、両方のＮＡＬユニット３０２、３０４がＩＲＡＰ ＮＡＬユニットタイプである、整列されたアクセスユニット３２であり得る。しかしながら、第１サブビットストリーム１１－１の第１ＮＡＬユニット３０２はＣＲＡタイプであるので、ＰＯＣリセットは発生しない。つまり、図９は、ＰＯＣリセットが許可されないシナリオを示している。

【0138】

代わりに、図１０は、第１サブビットストリーム１１－１の第１ＮＡＬユニット３０２および第２サブビットストリーム１１－２の第２ＮＡＬユニット３０４が両方ともＩＤＲユニットタイプであるので、ＰＯＣリセットが許可されるシナリオを示す。

【0139】

したがって、実施形態によれば、ビデオコンテンツ１２を復号するためのデコーダ１００が提供され、デコーダ１００は、第１サブビットストリーム１１－１および第２サブビットストリーム１１－２を備えるビットストリーム１１を復号するように構成され、デコーダ１００は、第１および第２サブビットストリーム１１－１、１１－２のＮＡＬユニット３０２、３０４のスライスヘッダーから派生するように構成され、ここで、ＮＡＬユニット３０２、３０４は、ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＣＲＡ、ＩＤＲ＿Ｗ＿ＬＰ、ＩＤＲ＿Ｎ＿ＬＰ）、ＮＡＬユニット３０２、３０４が参照するピクチャ１２ｒのＰＯＣの最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）を設定するための情報である。この例によれば、最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）は、ビットストリーム１１のアクセスユニット３２内のＩＲＡＰ ＮＡＬユニットタイプのすべてのＮＡＬユニット３０２、３０４について、上述のアクセスユニット３２内の少なくとも１つのＮＡＬユニット３０２、３０４が、非瞬間デコーディングリフレッシュ（ｎｏｎ－Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ユニットタイプ、例えばＣＲＡユニットタイプのものである場合、所定値に設定される必要がある。

【0140】

上述のように、本サブセクションは、非限定的な例として、ＰＯＣ値をゼロに設定することによって、すなわち、ＭＳＢ ＝ ０に設定することによって、ＰＯＣ ＭＳＢリセットを説明することができる。しかしながら、値ゼロは、ＭＳＢの減少する値を象徴するプレースホルダとしてのみ作用し、例えば、ＭＳＢリセットが、０に等しくないが、それぞれのビットストリーム位置における現在のＭＳＢよりも小さい任意の所定値に起こり得ることも可能である。したがって、上述した所定値は、ＮＡＬユニット３０２が参照するピクチャ１２ｒの前のピクチャ１２ａ、１２ｂ、・・・に関連付けられたＰＯＣの最上位ＰＯＣ部分以上であってもよい。言い換えれば、アクセスユニット３２内のすべてのＮＡＬユニット３０２、３０４がＩＤＲユニットタイプでない場合、ＰＯＣリセットは行われない。

【0141】

いくつかの例では、上述の所定値はゼロに等しくてもよく、すなわち、ＭＳＢ ＝ ０であってもよい。いくつかの他の例では、上述の所定値は、暗黙的に導出された最上位ＰＯＣ部分、例えば、通常のＳＯＴＡ ＰＯＣ ＭＳＢの暗黙導出に等しくてもよい。

【0142】

別の実施形態では、整列されたＲＡＰアクセスユニット３２が発生し、アクセスユニット３２のＰＯＣ ＭＳＢが０に設定されるときはいつでも、整列されたＲＡＰアクセスユニット３２の前の（ロングタームまたはショートターム）レファレンスピクチャ１２ａ、１２ｂ、１２ｃ、・・・がビットストリーム順序で整列されたＲＡＰアクセスユニット３２に続くピクチャ１２ｓによって参照されることを許可されることを、明細書で表現されるまたは、ビットストリームフラグ（ＳＰＳ、ＶＰＳ、ＤＰＳ）を介して、示される制約があり得る。

【0143】

たとえば、図１１は、ピクチャ１２ｓが提示順序においてピクチャ１２ｒに先行し得るが、ピクチャ１２ｓが復号順序においてピクチャ１２ｒに後続し得ることを示す。

【0144】

図１１および図１２は、０に等しいＭＳＢを有する任意のピクチャ１２ｒが、ＬＴレファレンスピクチャを有するリーディングピクチャ１２ａ、１２ｂ、１２ｃ、・・・を有さないことを示す（一方、図１１は、ＭＳＢ ＝ １からＭＳＢ ＝ ０へのリセットを表し、図１２は、例えば、ＰＯＣ＿ＬＳＢが、増加が起こらないほど十分に長いので、０に等しいＭＳＢを表す）。したがって、図１１は、ＰＯＣ ＭＳＢリセットおよびピクチャ参照が許可されないシナリオを示し、図１２は、すべてのＰＯＣ ＭＳＢがゼロに等しいが、ピクチャ参照が許可されないシナリオを示す。図１３は、ＭＳＢが０に等しくない場合、ＬＴレファレンスピクチャがリーディングピクチャに対して許可されることを示す。

【0145】

したがって、実施形態によれば、ビデオコンテンツ１２を復号するためのデコーダ１００が提供され、デコーダ１００は、第１サブビットストリーム１１－１および第２サブビットストリーム１１－２を含むビットストリーム１１を復号するように構成され、デコーダ１００は、第１および第２サブビットストリーム１１－１、１１－２のＮＡＬユニット３０２、３０４のスライスヘッダーから派生するように構成され、ここで、ＮＡＬユニット３０２、３０４は、ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＣＲＡ、ＩＤＲ＿Ｗ＿ＬＰ、ＩＤＲ＿Ｎ＿ＬＰ）、ＮＡＬユニット３０２、３０４が参照するピクチャ１２ｒのＰＯＣの最上位ＰＯＣ部分（ＰＯＣＭＳＢ）を設定するための情報である。この例によれば、任意のピクチャ参照も、復号順序において、すべてのＮＡＬユニット３０２、３０４がＩＲＡＰ ＮＡＬユニットタイプであり、最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が所定値に設定されるスライスヘッダーを有するビットストリーム１１の任意のアクセスユニット３２と交差することを許可されない。

【0146】

再び、上述のように、本サブセクションは、非限定的な例として、ＰＯＣ値をゼロに設定することによって、すなわち、ＭＳＢ ＝ ０に設定することによって、ＰＯＣ ＭＳＢリセットを説明することができる。しかしながら、値ゼロは、ＭＳＢの減少する値を象徴するプレースホルダとしてのみ作用し、例えば、ＭＳＢリセットが、０に等しくないが、それぞれのビットストリーム位置における現在のＭＳＢよりも小さい任意の所定値に起こり得ることも可能である。したがって、図１１～図１３を参照して説明した例の前記所定値は、ＮＡＬユニット（３０２、３０４）が参照するピクチャ（１２ｒ）に先行するピクチャ（１２ａ、１２ｂ、１２ｃ、・・・）に関連付けられたＰＯＣの最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）、すなわち、ＰＯＣリセットが発生したものよりも小さくなり得る。

【0147】

いくつかの例では、上述の所定値はゼロに等しくてもよく、すなわち、ＭＳＢ ＝ ０であってもよい。いくつかの他の例では、上述の所定値は、暗黙的に導出された最上位ＰＯＣ部分、例えば、通常のＳＯＴＡ ＰＯＣ ＭＳＢの暗黙的導出に等しくてもよい。

【0148】

別の実施形態では、整列されたＲＡＰアクセスユニット３２が発生し、アクセスユニット３２のＰＯＣ ＭＳＢが０（ＰＯＣリセット）にセットされるときはいつでも、整列されたＲＡＰアクセスユニット３２の前に０とは異なるＭＳＢを有する（ショートタームまたはロングタームの）レファレンスピクチャ１２ａ、１２ｂ、１２ｃ、・・・・が、整列されたＲＡＰアクセスユニット３２の後に続くピクチャ１２ｓによってビットストリーム順序で参照されることを許可する、という、明細書において表される、またはビットストリームフラグ（ＳＰＳ、ＶＰＳ、ＤＰＳ）を通じて示される制約があり得る。

【0149】

ＬＴレファレンスピクチャの参照はＰＯＣ＿ＬＳＢ値によってのみ行われるので、図８に示される上記の例においてＭＳＢ増加がなかった場合、ＬＴレファレンスピクチャを使用することが問題にならないことに留意されたい。

【0150】

図１４は、この例ではＰＯＣ ＭＳＢリセットが発生していないことを示している。ＰＯＣ ＭＳＢリセットは、アクセスユニット３２のＰＯＣ ＭＳＢ値（図１４に示される例では、ＰＯＣ ＭＳＢ値が増加される、すなわち、ＭＳＢ ＝ ３）を増加させるか、またはアクセスユニット３２のＰＯＣ ＭＳＢ値を前のアクセスユニット３１と同じ値のままにするかのいずれかによって示され得ない。

【0151】

したがって、一実施形態によれば、ビデオコンテンツ１２を復号するためのデコーダ１００が提供され、デコーダ１００は、第１サブビットストリーム１１－１および第２サブビットストリーム１１－２を備えるビットストリーム１１を復号するように構成され、デコーダ１００は、第１および第２サブビットストリーム１１－１、１１－２のＮＡＬユニット３０２、３０４のスライスヘッダーから派生するように構成され、ここで、ＮＡＬユニット３０２、３０４は、ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＣＲＡ、ＩＤＲ＿Ｗ＿ＬＰ、ＩＤＲ＿Ｎ＿ＬＰ）、ＮＡＬユニット３０２、３０４が参照するピクチャ１２ｒのＰＯＣの最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）を設定するための情報である。この例によれば、最上位ＰＯＣ部分が第１所定値に設定され、ビットストリーム順序に先行するスライスヘッダーを備えたＮＡＬユニット３０１、３０３からなる第１アクセスユニット３１のリファレンスピクチャ１２ａ、１２ｂ、１２ｃ、・・・の任意のピクチャ参照は、ビットストリーム順序において、全てのＮＡＬユニット３０２、３０４がＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＣＲＡ、ＩＤＲ＿Ｗ＿ＬＰ、ＩＤＲ＿Ｎ＿ＬＰ）であり、かつ最上位ＰＯＣ部分（ＰＯＣ ＭＳＢ）が第２所定値に設定されたスライスヘッダーを有するビットストリーム１１の第２アクセスユニット３２を、ビットストリーム順序において、ビットストリーム１１の第２アクセスユニット３２に続くピクチャ１２ｓによって、許容されない。

【0152】

再び、上述のように、本サブセクションは、非限定的な例として、ＰＯＣ値をゼロに設定することによって、すなわち、ＭＳＢ ＝ ０に設定することによって、ＰＯＣ ＭＳＢリセットを説明することができる。しかしながら、値ゼロは、ＭＳＢの減少する値を象徴するプレースホルダとしてのみ作用し、例えば、ＭＳＢリセットが、０に等しくないが、それぞれのビットストリーム位置における現在のＭＳＢよりも小さい任意の所定値に起こり得ることも可能である。したがって、図１４を参照して説明した例に関して、先行する第１アクセスユニット３１の上述のＰＯＣ ＭＳＢの第１所定値は、後続する第２アクセスユニット３２の上述のＰＯＣ ＭＳＢの第２所定の値よりも大きくてもよい。この場合、ピクチャ参照は許可されない。反対に、後続の第２アクセスユニット３２のＭＳＢの第２所定値が、前の第１アクセスユニット３１の上述のＰＯＣ ＭＳＢの第１所定値よりも大きい場合、ピクチャ参照が許可されることを述べることができる。つまり、ＰＯＣリセットが発生しなかった場合は、ピクチャの参照が許可される。

【0153】

例えば、前記第２所定値は、ＰＯＣリセットを示すためにゼロに等しくてもよい。したがって、ＰＯＣリセットが発生した場合、ピクチャ参照は許可されない。いくつかの他の例では、上述の第２所定値は、暗黙的に導出された最上位ＰＯＣ部分、例えば、通常のＳＯＴＡ ＰＯＣ ＭＳＢの暗黙的導出に等しくてもよい。

【0154】

いくつかの態様を装置の文脈で説明してきたが、これらの態様はまた、対応する方法の説明を表し、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応することが明らかである。同様に、方法ステップの文脈で説明される態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も表す。

【0155】

方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路などのハードウェア装置によって（または使用して）実行され得る。いくつかの実施形態では、最も重要な方法ステップのうちの１つまたは複数は、そのような装置によって実行され得る。

【0156】

特定の実装要件に応じて、本発明の実施形態は、ハードウェアで、またはソフトウェアで、または少なくとも部分的にハードウェアで、または少なくとも部分的にソフトウェアで、実装することができる。実装は、それぞれの方法が実施されるようにプログラマブルコンピュータシステムと協働する（または協働することができる）電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨ（登録商標）メモリを使用して実施することができる。したがって、デジタル記憶媒体は、コンピュータ読み取り可能であってもよい。

【0157】

本発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを備える。

【0158】

概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するときに方法のうちの１つを実行するように動作する。プログラムコードは、例えば、機械可読キャリア上に記憶されてもよい。

【0159】

他の実施形態は、機械可読キャリアに記憶された、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含む。

【0160】

言い換えれば、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0161】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを記録したデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には、有形および／または非一時的である。

【0162】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成されてもよい。

【0163】

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するように構成または適合された処理手段、例えば、コンピュータまたはプログラマブル論理デバイスを備える。

【0164】

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

【0165】

本発明によるさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的または光学的に）転送するように構成された装置またはシステムを備える。受信器は、例えば、コンピュータ、モバイル装置、メモリ装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含むことができる。

【0166】

いくつかの実施形態では、プログラマブル論理デバイス（たとえば、フィールドプログラマブルゲートアレイ）を使用して、本明細書で説明する方法の機能の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明する方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。一般に、方法は、好ましくは、任意のハードウェア装置によって実行される。

【0167】

本明細書で説明される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装され得る。

【0168】

本明細書で説明する方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行され得る。

【0169】

本開示は、例示的な実施形態を参照して説明されたが、この説明は、限定的な意味で解釈されることは意図されていない。例示的な実施形態の様々な修正および組合せ、ならびに本開示の他の実施形態は、説明を参照することによって当業者に明らかになるであろう。したがって、添付の特許請求の範囲は、任意のそのような修正または実施形態を包含することが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2022-08-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

マイクロプロセッサおよびメモリを有するデコーダであって、
前記メモリは、前記マイクロプロセッサに読まれる場合、前記デコーダに、
複数のピクチャに関連付けられる一般的な制約であるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇをビットストリームから復号させ、
複数のピクチャパラメータセットを、前記ビットストリームから復号させる、
プログラムコードを有し、
前記複数のピクチャパラメータセットの各ピクチャパラメータセットは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有し、
前記複数のピクチャパラメータセットの各ピクチャパラメータセットは、前記複数のピクチャ内のピクチャにより参照され、
１に等しい前記一般的な制約であるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、前記複数のピクチャのそれぞれが、０に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有するピクチャパラメータセットを参照するように制約されることを指定し、
０に等しい前記一般的な制約であるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、前記複数のピクチャのそれぞれが、０に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有するピクチャパラメータセットを参照するように制約されないことを指定し、
０に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有するピクチャパラメータセットは、前記０に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有する前記ピクチャパラメータセットを参照する各ピクチャが、１つ以上のＶＣＬ ＮＡＬユニットを有することを指定し、
前記１つ以上のＶＣＬ ＮＡＬユニットのそれぞれは、同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する、
デコーダ。

【請求項2】

前記一般的な制約であるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、１に等しい値を有し、
前記複数のピクチャパラメータセットの各ピクチャパラメータセットは、０の値を有するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有する、
請求項１に記載のデコーダ。

【請求項3】

前記一般的な制約であるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、０に等しい値を有し、
前記複数のピクチャパラメータセットは、１の値を有するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有する第１ピクチャパラメータセットを含む、
請求項１に記載のデコーダ。

【請求項4】

前記複数のピクチャは、前記第１ピクチャパラメータセットを参照し、ＴＲＡＩＬ ＮＡＬユニットと、ＲＡＤＬ ＮＡＬユニット、ＲＡＳＬ ＮＡＬユニット、ＳＴＳＡ ＮＡＬユニットのうちの１つとを有する第１ピクチャを含む、
請求項３に記載のデコーダ。

【請求項5】

前記複数のピクチャは、前記第１ピクチャパラメータセットを参照し、ＳＴＳＡ ＮＡＬユニットと、ＲＡＤＬ ＮＡＬユニット、ＲＡＳＬ ＮＡＬユニットのうちの１つとを有する第１ピクチャを含む、
請求項３に記載のデコーダ。

【請求項6】

前記複数のピクチャは、前記第１ピクチャパラメータセットを参照し、ＲＡＳＬ ＮＡＬユニットと、ＴＲＡＩＬ ＮＡＬユニット、ＲＡＤＬ ＮＡＬユニットのうちの１つとを有する第１ピクチャを含む、
請求項３に記載のデコーダ。

【請求項7】

前記複数のピクチャは、前記第１ピクチャパラメータセットを参照し、ＲＡＤＬ ＶＣＬ ＮＡＬユニットと、ＴＲＡＩＬ ＶＣＬ ＮＡＬユニット、ＲＡＳＬ ＶＣＬ ＮＡＬユニットのうちの１つとを有する第１ピクチャを含む、
請求項３に記載のデコーダ。

【請求項8】

マイクロプロセッサおよびメモリを有するエンコーダであって、
前記メモリは、前記マイクロプロセッサに読まれる場合、前記エンコーダに、
複数のピクチャに関連付けられる一般的な制約であるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇをビットストリームに符号化させ、
複数のピクチャパラメータセットを、前記ビットストリームに符号化させる、
プログラムコードを有し、
前記複数のピクチャパラメータセットの各ピクチャパラメータセットは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有し、
前記複数のピクチャパラメータセットの各ピクチャパラメータセットは、前記複数のピクチャ内のピクチャにより参照され、
１に等しい前記一般的な制約であるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、前記複数のピクチャのそれぞれが、０に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有するピクチャパラメータセットを参照するように制約されることを指定し、
０に等しい前記一般的な制約であるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、前記複数のピクチャのそれぞれが、０に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有するピクチャパラメータセットを参照するように制約されないことを指定し、
０に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有するピクチャパラメータセットは、前記０に等しいｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有する前記ピクチャパラメータセットを参照する各ピクチャが、１つ以上のＶＣＬ ＮＡＬユニットを有することを指定し、
前記１つ以上のＶＣＬ ＮＡＬユニットのそれぞれは、同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する、
エンコーダ。

【請求項9】

前記一般的な制約であるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、１に等しい値を有し、
前記複数のピクチャパラメータセットの各ピクチャパラメータセットは、０の値を有するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有する、
請求項８に記載のエンコーダ。

【請求項10】

前記一般的な制約であるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは、０に等しい値を有し、
前記複数のピクチャパラメータセットは、１の値を有するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｉｄｃを有する第１ピクチャパラメータセットを含む、
請求項８に記載のエンコーダ。

【請求項11】

前記複数のピクチャは、前記第１ピクチャパラメータセットを参照し、ＴＲＡＩＬ ＮＡＬユニットと、ＲＡＤＬ ＮＡＬユニット、ＲＡＳＬ ＮＡＬユニット、ＳＴＳＡ ＮＡＬユニットのうちの１つとを有する第１ピクチャを含む、
請求項１０に記載のエンコーダ。

【請求項12】

前記複数のピクチャは、前記第１ピクチャパラメータセットを参照し、ＳＴＳＡ ＮＡＬユニットと、ＲＡＤＬ ＮＡＬユニット、ＲＡＳＬ ＮＡＬユニットのうちの１つとを有する第１ピクチャを含む、
請求項１０に記載のエンコーダ。

【請求項13】

前記複数のピクチャは、前記第１ピクチャパラメータセットを参照し、ＲＡＳＬ ＮＡＬユニットと、ＴＲＡＩＬ ＮＡＬユニット、ＲＡＤＬ ＮＡＬユニットのうちの１つとを有する第１ピクチャを含む、
請求項１０に記載のエンコーダ。

【請求項14】

前記複数のピクチャは、前記第１ピクチャパラメータセットを参照し、ＲＡＤＬ ＶＣＬ ＮＡＬユニットと、ＴＲＡＩＬ ＶＣＬ ＮＡＬユニット、ＲＡＳＬ ＶＣＬ ＮＡＬユニットのうちの１つとを有する第１ピクチャを含む、
請求項１０に記載のエンコーダ。

【国際調査報告】