特許 6235042 ビデオコーディングにおけるネストされていないＳＥＩメッセージ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6235042

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】ビデオコーディングにおけるネストされていないＳＥＩメッセージ

(51)【国際特許分類】

   H04N 19/70 20140101AFI20171113BHJP

   H04N 19/30 20140101ALI20171113BHJP

【ＦＩ】

   H04N19/70

   H04N19/30

【請求項の数】19

【全頁数】51

(21)【出願番号】特願2015-551728(P2015-551728)

(86)(22)【出願日】2013年12月26日

(65)【公表番号】特表2016-506695(P2016-506695A)

(43)【公表日】2016年3月3日

(86)【国際出願番号】US2013077828

(87)【国際公開番号】WO2014107396

(87)【国際公開日】20140710

【審査請求日】2016年12月7日

(31)【優先権主張番号】61/749,786

(32)【優先日】2013年1月7日

(33)【優先権主張国】US

(31)【優先権主張番号】14/036,873

(32)【優先日】2013年9月25日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100194814

【弁理士】

【氏名又は名称】奥村 元宏

(72)【発明者】

【氏名】ワン、イェ−クイ

(72)【発明者】

【氏名】チェン、イン

(72)【発明者】

【氏名】ラマスブラモニアン、アダルシュ・クリシュナン

【審査官】 赤穂 州一郎

(56)【参考文献】

【文献】 特表２０１０−５３１５５４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／００１３６２０（ＵＳ，Ａ１）

【文献】 Jie Dong et al.，”Description of scalable video coding technology proposal by InterDigital Communications”，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting: Shanghai, CN, 10-19 Oct., 2012，２０１２年１０月１１日，JCTVC-K0034，１，１９−２２頁

【文献】 Benjamin Bross et al.，”Proposed Editorial Improvements for High efficiency video coding (HEVC) Text Specification Draft 9 (SoDIS)”，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013，SW，２０１３年 １月 ３日，JCTVC-L0030-v1，２３３−２４３，２７０−２７１頁

【文献】 Ye-Kui Wang，”AHG9: On HRD and related general issues”，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting: Shanghai, CN, 10-19 October 2012，SW，２０１２年１０月１９日，JCTVC-K0126

【文献】 Miska M. Hannuksela, et al.，”Scope of Supplemental Enhancement Information Message”，Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) 20th Meeting, Klagenfurt, Austria, July 2006，SW，２０１２年１０月１１日，JVT-T073

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオデータを処理する方法であって、前記方法は下記を備える、
一連のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを含むコーディングされたビデオデータのビットストリームから、ネストされていない補足強調情報（ＳＥＩ）メッセージを取得すること、ここにおいて、前記ネストされていないＳＥＩメッセージは、前記ビットストリーム中のスケーラブルネスティングＳＥＩメッセージ内にネストされておらず、前記ネストされていないＳＥＩメッセージは、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージではない、と、
前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームのレイヤを決定すること、ここにおいて、前記ネストされていないＳＥＩメッセージが適用可能な前記レイヤは、前記ビットストリームのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットが、前記ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのヘッダにおいて指定されるレイヤ識別子に等しいレイヤ識別子を有するレイヤであり、前記ＳＥＩ ＮＡＬユニットの前記ヘッダにおいて指定される時間識別子は、前記ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しいことが要求される、と、
前記ネストされていないＳＥＩメッセージ中のデータに部分的に基づいて、前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームの前記レイヤのビデオデータを処理すること。

【請求項2】

前記ＳＥＩ ＮＡＬユニットはＮＡＬユニットヘッダとペイロードとを含み、
前記ＳＥＩ ＮＡＬユニットの前記ＮＡＬユニットヘッダは、少なくとも第１のシンタックス要素と第２のシンタックス要素とを含み、
前記第１のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットにおいて指定される前記レイヤ識別子を指定し、
前記第２のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットにおいて指定される前記時間識別子を指定し、
前記ＳＥＩ ＮＡＬユニットの前記ペイロードは、前記ネストされていないＳＥＩメッセージを含む、
請求項１に記載の方法。

【請求項3】

前記ネストされていないＳＥＩメッセージは、
出力ピクチャのピクチャアスペクト比とは異なるピクチャアスペクト比での表示に関連付けられたデータを含むパンスキャン方形ＳＥＩメッセージ、
特定の制約を満たすようにビットレートを調整するためのデータを含むフィラーペイロードＳＥＩメッセージ、
クリーンランダムアクセスまたは漸次復号リフレッシュについての情報を含む回復点ＳＥＩメッセージ、
シーン変化および遷移に関連付けられた情報を含むシーン情報ＳＥＩメッセージ、
関連付けられた、復号されたピクチャをビデオコンテンツの静止画像スナップショットとして標示するための指示を含むピクチャスナップショットＳＥＩメッセージ、
動画シーンではなくピクチャの品質の漸進的洗練化を表す連続ピクチャのセグメントの開始に関連付けられた情報を含む漸進的洗練化セグメント開始ＳＥＩメッセージ、
連続ピクチャの前記セグメントの終了に関連付けられた情報を含む漸進的洗練化セグメント終了ＳＥＩメッセージ、
合成フィルムグレイン効果に関連付けられた情報を含むフィルムグレイン特性ＳＥＩメッセージ、
提案されたポストフィルタ係数に関連付けられた情報またはポストフィルタ設計についての相関情報を含むポストフィルタヒントＳＥＩメッセージ、
符号化において使われ、または想定されるものとは別の色空間への再マップに関連付けられた情報を含むトーンマッピング情報ＳＥＩメッセージ、
前記ビットストリーム中への立体視ビデオのパッキングに関連付けられた情報を含むフレームパッキング配置ＳＥＩメッセージ、
前記出力ピクチャが表示されるときに前記出力ピクチャに適用されるべきフリップおよび／または回転を指定する情報を含む表示配向ＳＥＩメッセージ、
前記ビットストリームの時間およびインター予測構造を記述する情報を含むピクチャ情報ＳＥＩメッセージの構造、
０に等しい時間識別子をもつコーディングされたピクチャが欠落しているときの検出に関連付けられた情報を含む時間サブレイヤゼロインデックスＳＥＩメッセージ、あるいは
前記ネストされていないＳＥＩメッセージが適用されるスライスセグメントが、現在のピクチャのリフレッシュされた領域に属すかどうかを示す情報を含む領域リフレッシュ情報ＳＥＩメッセージ、
のうちの１つである、請求項１に記載の方法。

【請求項4】

前記方法は、前記ネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素に基づいて、前記ネストされていないＳＥＩメッセージ用のペイロードタイプ変数を決定することをさらに備え、ここにおいて、
前記ネストされていないＳＥＩメッセージ用の前記ペイロードタイプ変数は、前記ネストされていないＳＥＩメッセージのペイロードタイプを示し、
前記ネストされていないＳＥＩメッセージ用の前記ペイロードタイプ変数は、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、または１３４に等しい、
請求項３に記載の方法。

【請求項5】

前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記方法は、
前記ビットストリームから、仮想参照デコーダ（ＨＲＤ）動作についての初期遅延を示す第２のネストされていないバッファリング期間ＳＥＩメッセージを取得することと、
前記第２のネストされていないバッファリング期間ＳＥＩメッセージがＴａｒｇｅｔＯｐに適用可能なとき、ＨＲＤ初期化点として、前記第２のネストされていないバッファリング期間ＳＥＩメッセージに関連付けられたアクセスユニットを選択すること、ここにおいて、ＴａｒｇｅｔＯｐは、復号対象ビットストリーム中のレイヤ識別子のセットであり、前記復号対象ビットストリームは、前記ビットストリームまたは前記ビットストリームのサブストリームである、と、
前記選択されたアクセスユニットにおいてＨＲＤを初期化することと、
をさらに備える、請求項１に記載の方法。

【請求項6】

前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記方法は、
前記ビットストリームから、第２のネストされていないＳＥＩメッセージを取得すること、前記第２のネストされていないＳＥＩメッセージは、ＨＲＤ動作についての初期遅延を示すバッファリング期間ＳＥＩメッセージ、ＨＲＤ動作についてのピクチャ出力時間とピクチャ／サブピクチャ除去時間とを示すピクチャタイミングＳＥＩメッセージ、またはＨＲＤ動作についてのサブピクチャ除去時間を示す復号ユニットＳＥＩメッセージである、と、
復号対象ビットストリーム中の各それぞれのアクセスユニットについて、
前記第２のネストされていないＳＥＩメッセージが、前記アクセスユニットに関連付けられ、および前記第２のネストされていないＳＥＩメッセージが、前記復号対象ビットストリーム中のレイヤ識別子のセットに適用可能であるとき、前記それぞれのアクセスユニット用の前記第２のネストされていないＳＥＩメッセージを選択すること、ここにおいて、前記復号対象ビットストリームは、前記ビットストリームまたは前記ビットストリームのサブビットストリームである、と、
前記それぞれのアクセスユニットに関して、ＨＲＤ動作において、前記第２のネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素を使うことと、
をさらに備える、請求項１に記載の方法。

【請求項7】

前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記方法は、
前記ビットストリームから、第２のネストされていないＳＥＩメッセージを取得すること、前記第２のネストされていないＳＥＩメッセージは、ＨＲＤ動作についての初期遅延を示すバッファリング期間ＳＥＩメッセージ、ＨＲＤ動作についてのピクチャ出力時間とピクチャ／サブピクチャ除去時間とを示すピクチャタイミングＳＥＩメッセージ、またはＨＲＤ動作についてのサブピクチャ除去時間を示す復号ユニットＳＥＩメッセージである、と、
前記第２のネストされていないＳＥＩメッセージに適用可能な動作点を決定することと、
ここにおいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点のすべてのＮＡＬユニットのヘッダにおいて指定される最も高い時間識別子は、前記第２のネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのヘッダにおいて指定される時間識別子に等しい、および
ここにおいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点の前記ＮＡＬユニットすべてのレイヤ識別子のセットは、０から、前記第２のネストされていないＳＥＩメッセージをカプセル化する前記ＳＥＩ ＮＡＬユニットの前記ヘッダにおいて指定される前記レイヤ識別子までの範囲内のすべての整数値を含む、
前記第２のネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素の値に部分的に基づいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点に関してＨＲＤ動作を実施することと、
をさらに備える、請求項１に記載の方法。

【請求項8】

１つまたは複数のプロセッサを備えるビデオ処理デバイスであって、前記１つまたは複数のプロセッサは、
一連のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを含むコーディングされたビデオデータのビットストリームから、ネストされていない補足強調情報（ＳＥＩ）メッセージを取得し、ここにおいて、前記ネストされていないＳＥＩメッセージは、前記ビットストリーム中のスケーラブルネスティングＳＥＩメッセージ内にネストされておらず、前記ネストされていないＳＥＩメッセージは、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージではなく、
前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームのレイヤを決定し、ここにおいて、前記ネストされていないＳＥＩメッセージが適用可能な前記レイヤは、前記ビットストリームのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットが、前記ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのヘッダにおいて指定されるレイヤ識別子に等しいレイヤ識別子を有するレイヤであり、前記ＳＥＩ ＮＡＬユニットの前記ヘッダにおいて指定される時間識別子は、前記ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しいことが要求され、
前記ネストされていないＳＥＩメッセージ中のデータに部分的に基づいて、前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームの前記レイヤのビデオデータを処理する、
ように構成される、ビデオ処理デバイス。

【請求項9】

前記ＳＥＩ ＮＡＬユニットはＮＡＬユニットヘッダとペイロードとを含み、
前記ＳＥＩ ＮＡＬユニットの前記ＮＡＬユニットヘッダは、少なくとも第１のシンタックス要素と第２のシンタックス要素とを含み、
前記第１のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットにおいて指定される前記レイヤ識別子を指定し、
前記第２のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットにおいて指定される前記時間識別子を指定し、
前記ＳＥＩ ＮＡＬユニットの前記ペイロードは、前記ネストされていないＳＥＩメッセージを含む、
請求項８に記載のビデオ処理デバイス。

【請求項10】

前記ネストされていないＳＥＩメッセージは、
出力ピクチャのピクチャアスペクト比とは異なるピクチャアスペクト比での表示に関連付けられたデータを含むパンスキャン方形ＳＥＩメッセージ、
特定の制約を満たすようにビットレートを調整するためのデータを含むフィラーペイロードＳＥＩメッセージ、
クリーンランダムアクセスまたは漸次復号リフレッシュについての情報を含む回復点ＳＥＩメッセージ、
シーン変化および遷移に関連付けられた情報を含むシーン情報ＳＥＩメッセージ、
関連付けられた、復号されたピクチャをビデオコンテンツの静止画像スナップショットとして標示するための指示を含むピクチャスナップショットＳＥＩメッセージ、
動画シーンではなくピクチャの品質の漸進的洗練化を表す連続ピクチャのセグメントの開始に関連付けられた情報を含む漸進的洗練化セグメント開始ＳＥＩメッセージ、
連続ピクチャの前記セグメントの終了に関連付けられた情報を含む漸進的洗練化セグメント終了ＳＥＩメッセージ、
合成フィルムグレイン効果に関連付けられた情報を含むフィルムグレイン特性ＳＥＩメッセージ、
提案されたポストフィルタ係数に関連付けられた情報またはポストフィルタ設計についての相関情報を含むポストフィルタヒントＳＥＩメッセージ、
符号化において使われ、または想定されるものとは別の色空間への再マップに関連付けられた情報を含むトーンマッピング情報ＳＥＩメッセージ、
前記ビットストリーム中への立体視ビデオのパッキングに関連付けられた情報を含むフレームパッキング配置ＳＥＩメッセージ、
前記出力ピクチャが表示されるときに前記出力ピクチャに適用されるべきフリップおよび／または回転を指定する情報を含む表示配向ＳＥＩメッセージ、
前記ビットストリームの時間およびインター予測構造を記述する情報を含むピクチャ情報ＳＥＩメッセージの構造、
０に等しい時間識別子をもつコーディングされたピクチャが欠落しているときの検出に関連付けられた情報を含む時間サブレイヤゼロインデックスＳＥＩメッセージ、あるいは
前記ネストされていないＳＥＩメッセージが適用されるスライスセグメントが、現在のピクチャのリフレッシュされた領域に属すかどうかを示す情報を含む領域リフレッシュ情報ＳＥＩメッセージ、
のうちの１つである、請求項８に記載のビデオ処理デバイス。

【請求項11】

前記１つまたは複数のプロセッサは、前記ネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素に基づいて、前記ネストされていないＳＥＩメッセージ用のペイロードタイプ変数を決定するように構成され、ここにおいて、前記ネストされていないＳＥＩメッセージ用の前記ペイロードタイプ変数は、前記ネストされていないＳＥＩメッセージのペイロードタイプを示し、
前記ネストされていないＳＥＩメッセージ用の前記ペイロードタイプ変数は、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、または１３４に等しい、
請求項１０に記載のビデオ処理デバイス。

【請求項12】

前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記１つまたは複数のプロセッサは、
前記ビットストリームから、仮想参照デコーダ（ＨＲＤ）動作についての初期遅延を示す第２のネストされていないバッファリング期間ＳＥＩメッセージを取得し、
前記第２のネストされていないバッファリング期間ＳＥＩメッセージがＴａｒｇｅｔＯｐに適用可能なとき、ＨＲＤ初期化点として、前記第２のネストされていないバッファリング期間ＳＥＩメッセージに関連付けられたアクセスユニットを選択し、ここにおいて、ＴａｒｇｅｔＯｐは、復号対象ビットストリーム中のレイヤ識別子のセットであり、前記復号対象ビットストリームは、前記ビットストリームまたは前記ビットストリームのサブストリームであり、
前記選択されたアクセスユニットにおいてＨＲＤを初期化する、
ようにさらに構成される、請求項８に記載のビデオ処理デバイス。

【請求項13】

前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記１つまたは複数のプロセッサは、
前記ビットストリームから、第２のネストされていないＳＥＩメッセージを取得し、前記第２のネストされていないＳＥＩメッセージは、ＨＲＤ動作についての初期遅延を示すバッファリング期間ＳＥＩメッセージ、ＨＲＤ動作についてのピクチャ出力時間とピクチャ／サブピクチャ除去時間とを示すピクチャタイミングＳＥＩメッセージ、またはＨＲＤ動作についてのサブピクチャ除去時間を示す復号ユニットＳＥＩメッセージである、
復号対象ビットストリーム中の各それぞれのアクセスユニットについて、
前記第２のネストされていないＳＥＩメッセージが、前記アクセスユニットに関連付けられ、および前記第２のネストされていないＳＥＩメッセージが、前記復号対象ビットストリーム中のレイヤ識別子のセットに適用可能であるとき、前記それぞれのアクセスユニット用の前記第２のネストされていないＳＥＩメッセージを選択し、ここにおいて、前記復号対象ビットストリームは、前記ビットストリームまたは前記ビットストリームのサブビットストリームであり、
前記それぞれのアクセスユニットに関して、ＨＲＤ動作において、前記第２のネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素を使う、
ようにさらに構成される、請求項８に記載のビデオ処理デバイス。

【請求項14】

前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記１つまたは複数のプロセッサは、
前記ビットストリームから、第２のネストされていないＳＥＩメッセージを取得し、前記第２のネストされていないＳＥＩメッセージは、ＨＲＤ動作についての初期遅延を示すバッファリング期間ＳＥＩメッセージ、ＨＲＤ動作についてのピクチャ出力時間とピクチャ／サブピクチャ除去時間とを示すピクチャタイミングＳＥＩメッセージ、またはＨＲＤ動作についてのサブピクチャ除去時間を示す復号ユニットＳＥＩメッセージであり、
前記第２のネストされていないＳＥＩメッセージに適用可能な動作点を決定し、
ここにおいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点のすべてのＮＡＬユニットのヘッダにおいて指定される最も高い時間識別子は、前記第２のネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのヘッダにおいて指定される時間識別子に等しい、および
ここにおいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点の前記ＮＡＬユニットすべてのレイヤ識別子のセットは、０から、前記第２のネストされていないＳＥＩメッセージをカプセル化する前記ＳＥＩ ＮＡＬユニットの前記ヘッダにおいて指定される前記レイヤ識別子までの範囲内のすべての整数値を含み、
前記第２のネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素の値に部分的に基づいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点に関してＨＲＤ動作を実施する、
ようにさらに構成される、請求項８に記載のビデオ処理デバイス。

【請求項15】

前記１つまたは複数のプロセッサは、前記ネストされていないＳＥＩメッセージ中の前記１つまたは複数のシンタックス要素に部分的に基づいて、前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームの前記レイヤの前記ビデオデータを復号するように構成される、請求項８に記載のビデオ処理デバイス。

【請求項16】

ビデオ処理デバイスであって、前記ビデオ処理デバイスは下記を備える、
一連のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを含むコーディングされたビデオデータのビットストリームから、ネストされていない補足強調情報（ＳＥＩ）メッセージを取得するための手段、ここにおいて、前記ネストされていないＳＥＩメッセージは、前記ビットストリーム中のスケーラブルネスティングＳＥＩメッセージ内にネストされておらず、前記ネストされていないＳＥＩメッセージは、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージではない、と、
前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームのレイヤを決定するための手段、ここにおいて、前記ネストされていないＳＥＩメッセージが適用可能な前記レイヤは、前記ビットストリームのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットが、前記ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのヘッダにおいて指定されるレイヤ識別子に等しいレイヤ識別子を有するレイヤであり、前記ＳＥＩ ＮＡＬユニットの前記ヘッダにおいて指定される時間識別子は、前記ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しいことが要求される、と、
前記ネストされていないＳＥＩメッセージ中のデータに部分的に基づいて、前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームの前記レイヤのビデオデータを処理するための手段。

【請求項17】

前記ＳＥＩ ＮＡＬユニットはＮＡＬユニットヘッダとペイロードとを含み、
前記ＳＥＩ ＮＡＬユニットの前記ＮＡＬユニットヘッダは、少なくとも第１のシンタックス要素と第２のシンタックス要素とを含み、
前記第１のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットにおいて指定される前記レイヤ識別子を指定し、
前記第２のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットにおいて指定される前記時間識別子を指定し、
前記ＳＥＩ ＮＡＬユニットの前記ペイロードは、前記ネストされていないＳＥＩメッセージを含む、
請求項１６に記載のビデオ処理デバイス。

【請求項18】

実行されると、ビデオ処理デバイスを、
一連のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを含むコーディングされたビデオデータのビットストリームから、ネストされていない補足強調情報（ＳＥＩ）メッセージを取得し、ここにおいて、前記ネストされていないＳＥＩメッセージは、前記ビットストリーム中のスケーラブルネスティングＳＥＩメッセージ内にネストされておらず、前記ネストされていないＳＥＩメッセージは、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージではなく、
前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームのレイヤを決定し、ここにおいて、前記ネストされていないＳＥＩメッセージが適用可能な前記レイヤは、前記ビットストリームのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットが、前記ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのヘッダにおいて指定されるレイヤ識別子に等しいレイヤ識別子を有するレイヤであり、前記ＳＥＩ ＮＡＬユニットの前記ヘッダにおいて指定される時間識別子は、前記ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しいことが要求され、
前記ネストされていないＳＥＩメッセージ中のデータに部分的に基づいて、前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームの前記レイヤのビデオデータを処理する、
ように構成する命令を記憶したコンピュータ可読記憶媒体。

【請求項19】

前記ＳＥＩ ＮＡＬユニットはＮＡＬユニットヘッダとペイロードとを含み、
前記ＳＥＩ ＮＡＬユニットの前記ＮＡＬユニットヘッダは、少なくとも第１のシンタックス要素と第２のシンタックス要素とを含み、
前記第１のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットにおいて指定される前記レイヤ識別子を指定し、
前記第２のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットにおいて指定される前記時間識別子を指定し、
前記ＳＥＩ ＮＡＬユニットの前記ペイロードは、前記ネストされていないＳＥＩメッセージを含む、
請求項１８に記載のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001]本出願は、全体の内容が参照によって本明細書に組み込まれる、２０１３年１月７日に出願された、米国仮出願第６１／７４９，７８６号の利益を主張する。

【0002】

[0002]本開示は、ビデオの符号化と復号とに関する。

【背景技術】

【0003】

[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤー、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格、およびそのような規格の拡張によって定義される規格に記載されているような、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオ圧縮技法を実装することにより、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶することができる。

【0004】

[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングの場合、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）がビデオブロックに分割され得る。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャの中の参照サンプルに対する時間的予測を使用することができる。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

【0005】

[0005]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックをもたらす。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コーディングされたブロックと予測ブロックとの差分を示す。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されてよく、残差係数をもたらし、次いで残差係数が量子化されてよい。最初は２次元アレイで構成される量子化された係数は、係数の１次元ベクトルを生成するために走査されてよく、なお一層の圧縮を達成するためにエントロピーコーディングが適用されてよい。

【0006】

[0006]マルチビューコーディングビットストリームは、たとえば複数の視点からのビューを符号化することによって、生成され得る。マルチビューコーディングの態様を利用する、いくつかの３次元（３Ｄ）ビデオ規格が開発されている。たとえば、異なるビューは、３Ｄビデオをサポートするために、左目のビューと右目のビューとを送信することができる。あるいは、いくつかの３Ｄビデオコーディング処理は、いわゆるマルチビュープラス深度コーディングを適用することがある。マルチビュープラス深度コーディングでは、３Ｄビデオビットストリームは、テクスチャビュー成分だけではなく、深度ビュー成分も含み得る。たとえば、各ビューは、１つのテクスチャビュー成分と１つの深度ビュー成分とを備え得る。

【発明の概要】

【0007】

[0007]概して、本開示は、ビデオコーディングにおける、ネストされていない補足強調情報（ＳＥＩ）の使用について記載する。ネストされていないＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージ内に含まれないＳＥＩメッセージである。詳細には、本開示は、ビデオデータの符号化された表現を含むビットストリームから、ネストされていないＳＥＩメッセージを取得するビデオプロセッサについて記載する。さらに、ビデオプロセッサは、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤを決定する。ビットストリームのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤに、ネストされていないＳＥＩメッセージが適用可能である。ＳＥＩ ＮＡＬユニットの時間識別子は、ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しい。ビデオプロセッサは、ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤのビデオデータを処理することができる。

【0008】

[0008]一例では、本開示は、ビデオデータを処理する方法について記載し、この方法は、ビデオデータの符号化された表現を含むビットストリームから、ビットストリーム中の別のＳＥＩメッセージ内にネストされていない、ネストされていないＳＥＩメッセージを取得することと、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤを決定することと、ここにおいて、ビットストリームのＶＣＬ ＮＡＬユニットが、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤにネストされていないＳＥＩメッセージが適用可能である、およびここにおいて、ＳＥＩ ＮＡＬユニットの時間識別子は、ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しい、ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤのビデオデータを処理することとを備える。

【0009】

[0009]別の例では、本開示は、ビデオデータの符号化された表現を含むビットストリームから、ビットストリーム中の別のＳＥＩメッセージ内にネストされていない、ネストされていないＳＥＩメッセージを取得し、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤを決定し、ここにおいて、ビットストリームのＶＣＬ ＮＡＬユニットが、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤにネストされていないＳＥＩメッセージが適用可能である、およびここにおいて、ＳＥＩ ＮＡＬユニットの時間識別子は、ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しい、ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤのビデオデータを処理するように構成された１つまたは複数のプロセッサを備えるビデオ処理デバイスについて記載する。

【0010】

[0010]別の例では、本開示は、ビデオデータの符号化された表現を含むビットストリームから、ビットストリーム中の別のＳＥＩメッセージ内にネストされていない、ネストされていないＳＥＩメッセージを取得するための手段と、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤを決定するための手段と、ここにおいて、ビットストリームのＶＣＬ ＮＡＬユニットが、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤにネストされていないＳＥＩメッセージが適用可能である、およびここにおいて、ＳＥＩ ＮＡＬユニットの時間識別子は、ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しい、ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤのビデオデータを処理するための手段とを備えるビデオ処理デバイスについて記載する。

【0011】

[0011]別の例では、本開示は、実行されると、ビデオデータの符号化された表現を含むビットストリームから、ビットストリーム中の別のＳＥＩメッセージ内にネストされていない、ネストされていないＳＥＩメッセージを取得し、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤを決定し、ここにおいて、ビットストリームのＶＣＬ ＮＡＬユニットが、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤにネストされていないＳＥＩメッセージが適用可能である、およびここにおいて、ＳＥＩ ＮＡＬユニットの時間識別子は、ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しい、ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤのビデオデータを処理するようにビデオ処理デバイスを構成する命令を記憶したコンピュータ可読記憶媒体について記載する。

【0012】

[0012]本開示の１つまたは複数の例の詳細は、添付の図面および以下の説明において述べられる。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0013】

【図1】[0013]本開示で説明される技法を利用することができる、例示的なビデオコーディングシステムを示すブロック図。

【図2】[0014]本開示で説明される技法を実装することができる、例示的なビデオエンコーダを示すブロック図。

【図3】[0015]本開示で説明される技法を実装することができる、例示的なビデオデコーダを示すブロック図。

【図4】[0016]本開示の１つまたは複数の技法による、ビデオプロセッサの例示的な動作を示すブロック図。

【図5】[0017]ビットストリームコンフォーマンステストの一部を実施するための例示的動作を示すフローチャート。

【発明を実施するための形態】

【0014】

[0018]ビデオエンコーダが、符号化されたビデオデータの表現を含むビットストリームを生成することができる。ビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを備え得る。ＮＡＬユニットは、ＮＡＬユニット中のデータのタイプの指示と、必要に応じてエミュレーション防止ビットが散在させられているローバイトシーケンスペイロード（ＲＢＳＰ）の形態でそのデータを含むバイトとを含む、シンタックス構造であり得る。ＮＡＬユニットは、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとを含み得る。ＶＣＬ ＮＡＬユニットは、ピクチャのコーディングされたスライスを含み得る。非ＶＣＬ ＮＡＬユニットは、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、１つまたは複数のｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）メッセージ、または他のタイプのデータをカプセル化し得る。

【0015】

[0019]さらに、ビットストリームのＮＡＬユニットは、ビットストリームの異なるレイヤに関連付けられ得る。スケーラブルビデオコーディング（ＳＶＣ）において、ベースレイヤ以外のレイヤは、「拡張レイヤ」と呼ばれてよく、ビデオデータの再生の品質を向上させるデータを含み得る。マルチビューコーディングおよび３次元ビデオ（３ＤＶ）コーディングにおいて、レイヤは、異なるビューに関連付けられたデータを含み得る。ビットストリームの各レイヤは、異なるレイヤ識別子に関連付けられる。さらに、ＮＡＬユニットは時間識別子を含み得る。動作点とは、ビットストリームの時間レイヤのサブセットである。ビットストリームの各動作点は、レイヤ識別子のセット（すなわち、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ値のセット）と時間識別子とを有する。ＮＡＬユニットが、ある動作点についてのレイヤ識別子のセット中のレイヤ識別子を指定し、ＮＡＬユニットの時間識別子が動作点の時間識別子以下の場合、ＮＡＬユニットは、その動作点に関連付けられる。

【0016】

[0020]上述したように、ビットストリームは、ＳＥＩメッセージをカプセル化するＮＡＬユニットを含み得る。１つまたは複数のＳＥＩメッセージをカプセル化するＮＡＬユニットは、本明細書ではＳＥＩ ＮＡＬユニットと呼ばれる。１つのタイプのＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージ（scalable nesting SEI message）である。スケーラブルネスティングＳＥＩメッセージは、１つまたは複数の追加ＳＥＩメッセージを含むＳＥＩメッセージである。スケーラブルネスティングＳＥＩメッセージ中に含まれないＳＥＩメッセージは、本明細書では、ネストされていない(non-nested)ＳＥＩメッセージと呼ばれる。

【0017】

[0021]ある特定のタイプのＳＥＩメッセージは、特定の動作点にのみ適用可能な情報を含む。たとえば、バッファリング期間ＳＥＩメッセージ(buffering period SEI messages)、ピクチャタイミングＳＥＩメッセージ(picture timing SEI messages)、および復号ユニットＳＥＩメッセージ(decoding unit SEI messages)は、特定の動作点にのみ適用可能である。したがって、そのようなＳＥＩメッセージ中の情報を使うために、ビデオプロセッサは、どの動作点がＳＥＩメッセージに適用可能か決定すればよい。他のタイプのＳＥＩメッセージは、特定のレイヤにのみ適用可能である。したがって、そのようなＳＥＩメッセージ中の情報を使うために、ビデオプロセッサは、どのレイヤがＳＥＩメッセージに適用可能か決定すればよい。

【0018】

[0022]以前のビデオコーディング仕様は、特定のネストされていないＳＥＩメッセージが適用される動作点またはレイヤに関する明確な指示を与えていない。その結果、ビデオデコーダは、そのようなネストされていないＳＥＩメッセージを使うことができない場合がある。したがって、そのようなネストされていないＳＥＩメッセージをビットストリーム中に含めるのは、ビットの浪費であり得る。

【0019】

[0023]本開示の１つまたは複数の技法によると、ビデオプロセッサは、ネストされていないＳＥＩメッセージがバッファリングピクチャＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、それとも復号ユニットＳＥＩメッセージであるか決定することができる。ネストされていないＳＥＩメッセージが、これらの３つのタイプのＳＥＩメッセージのうちの１つである場合、ビデオプロセッサは、ネストされていないＳＥＩメッセージに適用可能な動作点を決定することができる。一例では、ネストされていないＳＥＩメッセージに適用可能な動作点のすべてのＮＡＬユニットの最も高い時間識別子が、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットの時間識別子に等しい。さらに、この例では、ネストされていないＳＥＩメッセージに適用可能な動作点のＮＡＬユニットすべてのレイヤ識別子のセットが、０から、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子までの範囲のすべての整数値を含む。

【0020】

[0024]さらに、本開示の１つまたは複数の技法によると、ネストされていないＳＥＩメッセージが、バッファリングピクチャＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニットＳＥＩメッセージ以外のタイプのＳＥＩメッセージである場合、ビデオコーダは、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤを決定することができる。具体的には、ビットストリームのＶＣＬ ＮＡＬユニットは、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤにのみネストされていないＳＥＩメッセージが適用され得る。このようにして、ネストされていないＳＥＩメッセージのタイプのための適用可能な動作点またはレイヤが明確に指定される。

【0021】

[0025]図１は、本開示の技法を利用し得る、例示的なビデオコーディングシステム１０を示すブロック図である。本明細書で使用される「ビデオコーダ」という用語は、ビデオエンコーダとビデオデコーダの両方を総称的に指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化またはビデオ復号を総称的に指し得る。

【0022】

[0026]図１に示されるように、ビデオコーディングシステム１０は、ソースデバイス１２と宛先デバイス１４とを含む。ソースデバイス１２は、符号化されたビデオデータを生成する。したがって、ソースデバイス１２はビデオ符号化デバイスまたはビデオ符号化装置と呼ばれ得る。宛先デバイス１４はソースデバイス１２によって生成された、符号化されたビデオデータを復号することができる。したがって、宛先デバイス１４はビデオ復号デバイスまたはビデオ復号装置と呼ばれ得る。ソースデバイス１２および宛先デバイス１４は、ビデオコーディングデバイスまたはビデオコーディング装置の例であり得る。

【0023】

[0027]ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、モバイルコンピューティングデバイス、ノートブック（たとえば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、車内コンピュータなどを含む、広範囲のデバイスを備え得る。

【0024】

[0028]宛先デバイス１４は、チャネル１６を介してソースデバイス１２から符号化されたビデオデータを受信し得る。チャネル１６は、ソースデバイス１２から宛先デバイス１４に符号化されたビデオデータを移動することが可能な、１つまたは複数の媒体またはデバイスを備え得る。一例では、チャネル１６は、ソースデバイス１２が符号化されたビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にする、１つまたは複数の通信媒体を備え得る。この例では、ソースデバイス１２は、ワイヤレス通信プロトコルのような通信規格に従って、符号化されたビデオデータを変調することができ、変調されたビデオデータを宛先デバイス１４に送信することができる。１つまたは複数の通信媒体は、高周波（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路のような、ワイヤレスおよび／または有線の通信媒体を含み得る。１つまたは複数の通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはグローバルネットワーク（たとえば、インターネット）などのパケットベースネットワークの一部を形成し得る。１つまたは複数の通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を容易にする、ルータ、スイッチ、基地局、または他の機器を含み得る。

【0025】

[0029]別の例では、チャネル１６は、ソースデバイス１２によって生成された、符号化されたビデオデータを記憶する記憶媒体を含み得る。この例では、宛先デバイス１４は、たとえばディスクアクセスまたはカードアクセスを介して、記憶媒体にアクセスし得る。記憶媒体は、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、または符号化されたビデオデータを記憶するための他の適切なデジタル記憶媒体のような、種々のローカルにアクセスされるデータ記憶媒体を含み得る。

【0026】

[0030]さらなる例では、チャネル１６は、ソースデバイス１２によって生成された、符号化されたビデオデータを記憶するファイルサーバまたは別の中間ストレージデバイスを含み得る。この例では、宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ファイルサーバまたは他の中間ストレージデバイスに記憶された、符号化されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを記憶し、符号化されたビデオデータを宛先デバイス１４に送信することが可能な、あるタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイト用の）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、およびローカルディスクドライブを含む。

【0027】

[0031]宛先デバイス１４は、インターネット接続のような標準的なデータ接続を通じて、符号化されたビデオデータにアクセスし得る。例示的なタイプのデータ接続は、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに好適である、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。ファイルサーバからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組合せであってよい。

【0028】

[0032]本開示の技法は、ワイヤレス適用例または設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのビデオデータの符号化、データ記憶媒体に記憶されたビデオデータの復号、または他の用途のような、種々のマルチメディア用途をサポートするビデオコーディングに適用され得る。いくつかの例では、ビデオコーディングシステム１０は、単方向または双方向のビデオ送信をサポートして、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオ電話のような用途をサポートするために構成され得る。

【0029】

[0033]図１は一例にすぎず、本開示の技法は、符号化デバイスと復号デバイスとの間のデータ通信を必ずしも含むとは限らないビデオコーディング設定（たとえば、ビデオ符号化またはビデオ復号）に適用され得る。他の例では、データがローカルメモリから取り出されること、ネットワークを通じてストリーミングされることなどが行われる。ビデオ符号化デバイスはデータを符号化してメモリに記憶することができ、および／または、ビデオ復号デバイスはメモリからデータを取り出し復号することができる。多くの例では、符号化および復号は、互いに通信しないが、メモリにデータを符号化し、および／またはメモリからデータを取り出して復号するだけであるデバイスによって実行される。

【0030】

[0034]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。いくつかの例では、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含み得る。ビデオソース１８は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオデータを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、および／もしくはビデオデータを生成するためのコンピュータグラフィックスシステム、またはビデオデータのそのようなソースの組合せを含み得る。

【0031】

[0035]ビデオエンコーダ２０は、ビデオソース１８からのビデオデータを符号化することができる。いくつかの例では、ソースデバイス１２は、出力インターフェース２２を介して宛先デバイス１４に符号化されたビデオデータを直接送信する。他の例では、符号化されたビデオデータはまた、復号および／または再生のための宛先デバイス１４による後のアクセスのために記憶媒体またはファイルサーバ上に記憶され得る。

【0032】

[0036]図１の例では、宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。いくつかの例では、入力インターフェース２８は、受信機および／またはモデムを含む。入力インターフェース２８は、チャネル１６を通じて、符号化されたビデオデータを受信することができる。ビデオデコーダ３０は、符号化されたビデオデータを復号し得る。ディスプレイデバイス３２は、復号されたビデオデータを表示し得る。ディスプレイデバイス３２は、宛先デバイス１４と一体であってよく、またはその外部にあってよい。ディスプレイデバイス３２は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスのような、種々のディスプレイデバイスを備え得る。

【0033】

[0037]ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ハードウェア、またはそれらの任意の組合せのような、種々の好適な回路のいずれかとして実装され得る。本技法がソフトウェアで部分的に実装される場合、デバイスは、適切な非一時的コンピュータ可読記憶媒体にソフトウェア用の命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェア中で実行して、本開示の技法を実行することができる。上記（ハードウェア、ソフトウェア、ハードウェアおよびソフトウェアの組合せなどを含む）のいずれも、１つまたは複数のプロセッサであると見なされ得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダに含まれることがあり、それらのいずれかがそれぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として組み込まれることがある。

【0034】

[0038]本開示は、一般に、ある情報をビデオデコーダ３０のような別のデバイスに「シグナリング」するビデオエンコーダ２０に言及することがある。「シグナリング」という用語は、一般に、圧縮されたビデオデータを復号するために使用されるシンタックス要素および／または他のデータの通信を指し得る。そのような通信は、リアルタイムまたはほぼリアルタイムで行われ得る。代替的に、そのような通信は、符号化の時に符号化されたビットストリーム中でシンタックス要素をコンピュータ可読記憶媒体に記憶するときに行われ得るなど、ある時間の期間にわたって行われることがあり、次いで、これらの要素は、この媒体に記憶された後の任意の時間に復号デバイスによって取り出されてよい。

【0035】

[0039]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、そのスケーラブルビデオコーディング（ＳＶＣ）拡張、マルチビュービデオコーディング（ＭＶＣ）拡張、およびＭＶＣベースの３ＤＶ拡張を含む、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌおよび（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４のようなビデオ圧縮規格に従って動作する。いくつかの事例では、Ｈ．２６４／ＡＶＣのＭＶＣベースの３ＤＶ拡張に準拠する任意のビットストリームは、Ｈ．２６４／ＡＶＣのＭＶＣ拡張に準拠するサブビットストリームを常に含む。さらに、Ｈ．２６４／ＡＶＣに対する３次元ビデオ（３ＤＶ）コーディング拡張、すなわちＡＶＣベースの３ＤＶを生成する取組みが進行中である。他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、およびＩＴＵ−Ｔ Ｈ．２６４、ＩＳＯ／ＩＥＣ Ｖｉｓｕａｌに従って動作し得る。

【0036】

[0040]他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）とＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とのビデオコーディング共同研究部会（ＪＣＴ−ＶＣ）によって開発された高効率ビデオコーディング（ＨＥＶＣ）規格に従って動作し得る。「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ８」と呼ばれる次のＨＥＶＣ規格のドラフトは、Ｂｒｏｓｓら、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ８」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオコーディング共同研究部会（ＪＣＴ−ＶＣ）、第１０回会合、ストックホルム、スウェーデン、２０１２年７月に記載されている。別の「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ９」と呼ばれる次のＨＥＶＣ規格のドラフトは、Ｂｒｏｓｓら、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ９」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオコーディング共同研究部会（ＪＣＴ−ＶＣ）、第１１回会合、上海、中国、２０１２年１０月に記載されている。さらに、ＨＥＶＣ向けのスケーラブルビデオコーディング拡張、マルチビューコーディング拡張、および３ＤＶ拡張を製作する作業が進行中である。ＨＥＶＣのスケーラブルビデオコーディング拡張はＳＨＥＶＣと呼ばれることがある。ＨＥＶＣの３ＤＶ拡張は、ＨＥＶＣベースの３ＤＶまたはＨＥＶＣ−３ＤＶと呼ばれることがある。

【0037】

[0041]ＨＥＶＣおよび他のビデオコーディング仕様において、ビデオシーケンスは通常、一連のピクチャを含む。ピクチャは「フレーム」と呼ばれることもある。ピクチャは、Ｓ_L、Ｓ_CbおよびＳ_Crと示される３つのサンプルアレイを含み得る。Ｓ_Lは、輝度サンプルの２次元アレイ（すなわち、ブロック）である。Ｓ_Cbは、Ｃｂクロミナンスサンプルの２次元アレイである。Ｓ_Crは、Ｃｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルは、本明細書では「色差」サンプルと呼ばれることもある。他の例では、ピクチャは、単色であってよく、輝度サンプルのアレイのみを含み得る。

【0038】

[0042]ビデオエンコーダ２０は、ピクチャの符号化された表現を生成するために、コーディングツリーユニット（ＣＴＵ）のセットを生成し得る。ＣＴＵの各々は、輝度サンプルのコーディングツリーブロック、色差サンプルの２つの対応するコーディングツリーブロック、およびコーディングツリーブロックのサンプルをコーディングするのに使用されるシンタックス構造を含み得る。３つの別個のカラープレーンを有する１つまたは複数のモノクロームピクチャでは、ＣＴＵは、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングツリーブロックは、サンプルのＮ×Ｎブロックであり得る。ＣＴＵは「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ：largest coding unit）と呼ばれることもある。ＨＥＶＣのＣＴＵは、Ｈ．２６４／ＡＶＣのような、他の規格のマクロブロックに広い意味で類似し得る。しかしながら、ＣＴＵは、必ずしも特定のサイズに限定されるとは限らず、１つまたは複数のコーディングユニット（ＣＵ：coding unit）を含み得る。スライスは、ラスタスキャン順序において連続的に順序付けられた整数個のＣＴＵを含み得る。

【0039】

[0043]ビデオエンコーダ２０は、コーディングされたＣＴＵを生成するために、ＣＴＵのコーディングツリーブロックに対して再帰的に四分木分割を実行して、コーディングツリーブロックをコーディングブロックに分割することができ、したがって、「コーディングツリーユニット」という名称である。コーディングブロックは、サンプルのＮ×Ｎブロックであり得る。ＣＵは、輝度サンプルアレイ、ＣｂサンプルアレイおよびＣｒサンプルアレイ、ならびにコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造を有するピクチャの輝度サンプルの１つのコーディングブロックおよび色差サンプルの２つの対応するコーディングブロックを含み得る。３つの別個のカラープレーンを有する１つまたは複数のモノクロームピクチャでは、ＣＵは、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。

【0040】

[0044]ビデオエンコーダ２０は、ＣＵの１つのコーディングブロックを１つまたは複数の予測ブロックに分割することができる。予測ブロックは、同じ予測が適用されるサンプルの方形（すなわち、正方形または非正方形）ブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロック、色差サンプルの２つの対応する予測ブロック、予測ブロックを予測するのに使用されるシンタックス構造を含み得る。３つの別個のカラープレーンを有する１つまたは複数のモノクロームピクチャでは、ＰＵは、単一の予測ブロックと、その予測ブロックを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度予測ブロック、Ｃｂ予測ブロック、およびＣｒ予測ブロックのために、予測輝度ブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成することができる。

【0041】

[0045]ビデオエンコーダ２０は、イントラ予測またはインター予測を使用して、ＰＵの予測ブロックを生成することができる。ビデオエンコーダ２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵと関連付けられたピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成することができる。ビデオエンコーダ２０がインター予測を使用してＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵと関連付けられたピクチャ以外の１つまたは複数のピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成することができる。

【0042】

[0046]ビデオエンコーダ２０は、ＣＵの１つまたは複数のＰＵの予測輝度ブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成した後、ＣＵの輝度残差ブロックを生成することができる。ＣＵの輝度残差ブロック中の各サンプルは、ＣＵの予測輝度ブロックのうちの１つの中の輝度サンプルとＣＵの元の輝度コーディングブロックの中の対応するサンプルとの差分を示す。加えて、ビデオエンコーダ２０はＣＵのＣｂ残差ブロックを生成することができる。ＣＵのＣｂ残差ブロック中の各サンプルは、ＣＵの予測Ｃｂブロックのうちの１つの中のＣｂサンプルとＣＵの元のＣｂコーディングブロックの中の対応するサンプルとの差分を示し得る。ビデオエンコーダ２０はＣＵのＣｒ残差ブロックも生成することができる。ＣＵのＣｒ残差ブロック中の各サンプルは、ＣＵの予測Ｃｒブロックのうちの１つの中のＣｒサンプルとＣＵの元のＣｒコーディングブロックの中の対応するサンプルとの差分を示し得る。

【0043】

[0047]さらに、ビデオエンコーダ２０は四分木分割を使用して、ＣＵの輝度残差ブロックと、Ｃｂ残差ブロックと、Ｃｒ残差ブロックとを、１つまたは複数の輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解することができる。変換ブロックは、同じ変換が適用されるサンプルの方形（たとえば、正方形または非正方形）ブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロック、色差サンプルの２つの対応する変換ブロック、変換ブロックサンプルを変換するのに使用されるシンタックス構造を含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロックおよびＣｒ変換ブロックと関連付けられ得る。ＴＵと関連付けられた輝度変換ブロックはＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックはＣＵのＣｂ残差ブロックのサブブロックであってもよい。Ｃｒ変換ブロックはＣＵのＣｒ残差ブロックのサブブロックであってもよい。３つの別個のカラープレーンを有する１つまたは複数のモノクロームピクチャでは、ＴＵは、単一の変換ブロックと、その変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備え得る。

【0044】

[0048]ビデオエンコーダ２０は、ＴＵの輝度変換ブロックに１回または複数の変換を適用して、ＴＵの輝度係数ブロックを生成することができる。係数ブロックは変換係数の２次元アレイであり得る。変換係数はスカラー量であり得る。ビデオエンコーダ２０は、ＴＵのＣｂ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｂ係数ブロックを生成することができる。ビデオエンコーダ２０は、ＴＵのＣｒ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｒ係数ブロックを生成することができる。

【0045】

[0049]ビデオエンコーダ２０は、係数ブロック（たとえば、輝度係数ブロック、Ｃｂ係数ブロック、またはＣｒ係数ブロック）を生成した後、係数ブロックを量子化することができる。量子化は、一般に、変換係数が変換係数を表すために使用されるデータの量をできるだけ低減するために量子化される処理を指し、、さらなる圧縮を実現する。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素をエントロピー符号化することができる。たとえば、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素に対して、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：Context-Adaptive Binary Arithmetic Coding）を実行することができる。

【0046】

[0050]ビデオエンコーダ２０は、コーディングされたピクチャおよび関連するデータの表現を形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを備え得る。ＮＡＬユニットは、ＮＡＬユニット中のデータのタイプの指示と、必要に応じてエミュレーション防止ビットが散在させられているローバイトシーケンスペイロード（ＲＢＳＰ）の形態でそのデータを含むバイトとを含む、シンタックス構造である。ＮＡＬユニットの各々は、ＮＡＬユニットヘッダを含み、ＲＢＳＰをカプセル化する。ＮＡＬユニットヘッダは、ＮＡＬユニットタイプコードを示すシンタックス要素を含み得る。ＮＡＬユニットのＮＡＬユニットヘッダによって規定されるＮＡＬユニットタイプコードは、ＮＡＬユニットのタイプを示す。ＲＢＳＰは、ＮＡＬユニット内にカプセル化された整数個のバイトを含むシンタックス構造であり得る。いくつかの例では、ＲＢＳＰはゼロビットを含む。

【0047】

[0051]異なるタイプのＮＡＬユニットは、異なるタイプのＲＢＳＰをカプセル化し得る。たとえば、第１のタイプのＮＡＬユニットはピクチャパラメータセット（ＰＰＳ）のためのＲＢＳＰをカプセル化することができ、第２のタイプのＮＡＬユニットはコーディングされたスライスのためのＲＢＳＰをカプセル化することができ、第３のタイプのＮＡＬユニットはＳＥＩのためのＲＢＳＰをカプセル化することができ、その他もあり得る。（パラメータセットおよびＳＥＩメッセージのためのＲＢＳＰではなく）ビデオコーディングデータのためのＲＢＳＰをカプセル化するＮＡＬユニットは、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと呼ばれ得る。

【0048】

[0052]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信することができる。加えて、ビデオデコーダ３０は、ビットストリームを解析して、ビットストリームからシンタックス要素を取得することができる。ビデオデコーダ３０は、ビットストリームから取得されたシンタックス要素に少なくとも一部基づいて、ビデオデータのピクチャを再構成することができる。ビデオデータを再構成するための処理は、一般に、ビデオエンコーダ２０によって実行される処理の逆であり得る。加えて、ビデオデコーダ３０は、現在のＣＵのＴＵと関連付けられる係数ブロックを逆量子化することができる。ビデオデコーダ３０は、係数ブロックに対して逆変換を実行して、ＣＵのＴＵと関連付けられた変換ブロックを再構成することができる。ビデオデコーダ３０は、現在のＣＵのＰＵの予測ブロックのサンプルを現在のＣＵのＴＵの変換ブロックの対応するサンプルに追加することによって、現在のＣＵのコーディングブロックを再構成することができる。ピクチャの各ＣＵのコーディングブロックを再構成することによって、ビデオデコーダ３０はピクチャを再構成することができる。

【0049】

[0053]マルチビューコーディングでは、異なる視点からの同じシーンの複数のビューがあり得る。「アクセスユニット」という用語は、同じ時間インスタンスに対応するピクチャのセットを指すために使用される。したがって、ビデオデータは、経時的に発生する一連のアクセスユニットとして概念化され得る。「ビュー成分」は、単一のアクセスユニット中のビューのコーディングされた表現であり得る。本開示では、「ビュー」は、同じビュー識別子と関連付けられるビュー成分のシーケンスを指し得る。例示的なタイプのビュー成分は、テクスチャビュー成分と深度ビュー成分とを含み得る。

【0050】

[0054]マルチビューコーディングは、インタービュー予測をサポートする。インタービュー予測は、ＨＥＶＣにおいて使用されるインター予測と同様であり、同じシンタックス要素を使用し得る。しかしながら、ビデオコーダが現在のビデオユニット（ＰＵのような）に対してインタービュー予測を実行するとき、ビデオエンコーダ２０は、参照ピクチャとして、その現在のビデオユニットと同じアクセスユニット中にあるが異なるビュー中にあるピクチャを使用し得る。対照的に、従来のインター予測は、参照ピクチャとして異なるアクセスユニット中のピクチャのみを使用する。

【0051】

[0055]マルチビューコーディングでは、ビデオデコーダ（たとえば、ビデオデコーダ３０）が、あるビュー中のピクチャを任意の他のビュー中のピクチャを参照することなく復号できる場合、そのビューは「ベースビュー」と呼ばれ得る。非ベースビューの１つの中のピクチャをコーディングするとき、ピクチャが、異なるビュー中にあるがビデオコーダが現在コーディングしているピクチャと同じ時間インスタンス（すなわち、アクセスユニット）内にある場合、ビデオコーダ（ビデオエンコーダ２０またはビデオデコーダ３０のような）は、参照ピクチャリストにピクチャを追加し得る。他のインター予測参照ピクチャと同様に、ビデオコーダは、参照ピクチャリストの任意の位置にインタービュー予測参照ピクチャを挿入し得る。

【0052】

[0056]ビデオコーディング規格は、ビデオのバッファリングのモデルを規定する。Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、バッファリングのモデルは、「仮想参照デコーダ」または「ＨＲＤ」と呼ばれる。ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ８では、ＨＲＤはＡｎｎｅｘ Ｃに記載される。

【0053】

[0057]ＨＲＤは、データが復号のためにどのようにバッファリングされるべきかということと、復号されたデータが出力のためにどのようにバッファリングされるかということとを表す。たとえば、ＨＲＤは、コーディングされたピクチャのバッファ（「ＣＰＢ」）、復号されたピクチャのバッファ（「ＤＰＢ」）、およびビデオ復号処理の動作を表す。ＣＰＢは、ＨＲＤによって規定される復号順序でアクセスユニットを含む、先入れ先出しのバッファである。ＤＰＢは、ＨＲＤによって規定される参照、出力の並べ替え、または出力遅延のために、復号されたピクチャを保持するバッファである。ＣＰＢおよびＤＰＢの挙動は、数学的に規定され得る。ＨＲＤは、タイミング、バッファのサイズ、およびビットレートに対して制約を直接課し得る。さらに、ＨＲＤは、様々なビットストリーム特性および統計に対して制約を間接的に課し得る。

【0054】

[0058]Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、ビットストリームの適合およびデコーダの適合は、ＨＲＤ仕様の一部として規定される。言い換えると、ＨＲＤモデルは、ビットストリームがビデオコーディング仕様に適合するかどうかを決定するための試験と、デコーダがビデオコーディング仕様に適合するかどうかを決定するための試験とを規定する。ＨＲＤがある種のデコーダと命名されるが、ビデオエンコーダは通常ＨＲＤを使用してビットストリームの適合を保証し、ビデオデコーダは通常ＨＲＤを必要としない。

【0055】

[0059]Ｈ．２６４／ＡＶＣとＨＥＶＣの両方が、２つのタイプのビットストリームまたはＨＲＤの適合、すなわち、Ｔｙｐｅ ＩとＴｙｐｅ ＩＩとを規定する。Ｔｙｐｅ Ｉのビットストリームは、ビットストリーム中のすべてのアクセスユニットのための、ＶＣＬ ＮＡＬユニットとフィラーデータＮＡＬユニットとのみを含むＮＡＬユニットストリームである。Ｔｙｐｅ ＩＩのビットストリームは、ビットストリーム中のすべてのアクセスユニットのためのＶＣＬ ＮＡＬユニットおよびフィラーデータＮＡＬユニットに加えて、フィラーデータＮＡＬユニット以外の追加の非ＶＣＬ ＮＡＬユニットと、ＮＡＬユニットストリームからバイトストリームを形成するすべてのｌｅａｄｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓ、ｚｅｒｏ＿ｂｙｔｅ、ｓｔａｒｔ＿ｃｏｄｅｄ＿ｐｒｅｆｉｘ＿ｏｎｅ＿３ｂｙｔｅｓ、およびｔｒａｉｌｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓシンタックス要素との少なくとも１つを含む、ＮＡＬユニットストリームである。

【0056】

[0060]ビットストリームがビデオコーディング規格に適合するかどうかを決定するビットストリーム適合試験をデバイスが実行するとき、デバイスはビットストリームの動作点を選択することができる。デバイスは次いで、選択された動作点に適用可能なＨＲＤパラメータのセットを決定することができる。デバイスは、選択された動作点に適用可能なＨＲＤパラメータのセットを使用して、ＨＲＤの挙動を構成することができる。より具体的には、デバイスは、ＨＲＤパラメータの適用可能なセットを使用して、仮想ストリームスケジューラ（ＨＳＳ：hypothetical stream scheduler）、ＣＰＢ、復号処理、ＤＰＢなどのような、ＨＲＤの特定のコンポーネントの挙動を構成することができる。続いて、ＨＳＳは、特定のスケジュールに従って、ビットストリームのコーディングされたビデオデータをＨＲＤのＣＰＢに注入することができる。

【0057】

[0061]さらに、ビットストリームコンフォーマンステストを実施することの一部として、デバイスは、ＣＰＢ中のコーディングされたビデオデータを復号する復号プロセスを呼び出し得る。復号処理は、復号されたピクチャをＤＰＢに出力することができる。デバイスがＨＲＤを通じてデータを移動するにしたがって、デバイスは、制約の特定のセットが満たされたままであるかどうかを決定することができる。たとえば、デバイスは、ＨＲＤが選択された動作点の動作点表現を復号している間、ＣＰＢまたはＤＰＢにおいてオーバーフローの条件またはアンダーフローの条件が発生しているかどうかを決定することができる。デバイスは、このようにして、ビットストリームの各動作点を選択し処理し得る。ビットストリームの動作点が、制約が違反される原因とならない場合、そのビットストリームはビデオコーディング規格に適合すると、デバイスは決定し得る。

【0058】

[0062]Ｈ．２６４／ＡＶＣとＨＥＶＣの両方が、２つのタイプのデコーダの適合、すなわち、出力タイミングについてのデコーダの適合と出力順序についてのデコーダの適合とを規定する。特定のプロファイル、ティア、およびレベルに対する適合を主張するデコーダは、ＨＥＶＣのようなビデオコーディング規格のビットストリーム適合要件に適合するすべてのビットストリームの復号に成功することが可能である。本開示では、「プロファイル」はビットストリームシンタックスのサブセットを指し得る。「ティア」および「レベル」は、各プロファイル内で規定され得る。ティアのレベルは、ビットストリーム中のシンタックス要素の値に課された制約の規定されたセットであり得る。これらの制約は、値に関する単純な制限であり得る。代替的に、制約は、値の算術的な組合せ（たとえば、ピクチャの幅×ピクチャの高さ×毎秒復号されるピクチャの数）に対する制約の形態をとり得る。通常、下位のティアのために規定されたレベルは、上位のティアのために規定されたレベルよりも制約される。

【0059】

[0063]デバイスがデコーダ適合試験を実行して、試験対象のデコーダ（ＤＵＴ：decoder under test）がビデオコーディング仕様に適合するかどうかを決定するとき、デバイスは、ビデオコーディング規格に適合するビットストリームを、ＨＲＤとＤＵＴの両方に提供することができる。ＨＲＤは、ビットストリーム適合試験に関して上で説明された方式で、ビットストリームを処理することができる。デバイスは、ＤＵＴによって出力される復号されたピクチャがＨＲＤによって出力される復号されたピクチャの順序と一致する場合、ＤＵＴがビデオコーディング規格に適合すると決定することができる。さらに、デバイスは、ＤＵＴが復号されたピクチャを出力するタイミングが、ＨＲＤが復号されたピクチャを出力するタイミングと一致する場合、ＤＵＴがビデオコーディング規格に適合すると決定することができる。

【0060】

[0064]Ｈ．２６４／ＡＶＣおよびＨＥＶＣ ＨＲＤモデルにおいて、復号および／またはＣＰＢ除去は、アクセスユニットベースであり得る。すなわち、ＨＲＤは、一度に全体のアクセスユニットを復号し、ＣＰＢから全体のアクセスユニットを除去すると想定される。さらに、Ｈ．２６４／ＡＶＣおよびＨＥＶＣ ＨＲＤモデルでは、ピクチャの復号は瞬時的であると想定される。ビデオエンコーダ２０は、ピクチャタイミングＳＥＩメッセージにおいて、アクセスユニットの復号を開始する復号時間をシグナリングすることができる。実際の適用例では、適合するビデオデコーダが、アクセスユニットの復号を開始するためのシグナリングされた復号時間に厳密に従う場合、特定の復号されたピクチャを出力する最早の可能な時間は、その特定のピクチャの復号時間にその特定のピクチャを復号するために必要とされる時間を加えたものに等しい。しかしながら、現実の世界では、ピクチャを復号するのに必要とされる時間は、０に等しくはできない。

【0061】

[0065]ＨＲＤパラメータは、ＨＲＤの様々な態様を制御することができる。言い換えると、ＨＲＤは、ＨＲＤパラメータに依存し得る。ＨＲＤパラメータは、初期のＣＰＢの除去遅延と、ＣＰＢサイズと、ビットレートと、初期のＤＰＢの出力遅延と、ＤＰＢサイズとを含み得る。ビデオエンコーダ２０は、ビデオパラメータセット（ＶＰＳ）および／またはシーケンスパラメータセット（ＳＰＳ）において規定されるｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造で、これらのＨＲＤパラメータをシグナリングすることができる。個々のＶＰＳおよび／またはＳＰＳは、ＨＲＤパラメータの異なるセットに対して複数のｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックスを含み得る。いくつかの例では、ビデオエンコーダ２０は、バッファリング期間ＳＥＩメッセージまたはピクチャタイミングＳＥＩメッセージにおいて、ＨＲＤパラメータをシグナリングすることができる。

【0062】

[0066]上で説明されたように、ビットストリームの動作点は、レイヤ識別子のセット（すなわち、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓの値のセット）および時間識別子と関連付けられる。動作点表現は、その動作点と関連付けられる各ＮＡＬユニットを含み得る。動作点表現は、元のビットストリームと異なるフレームレートおよび／またはビットレートを有し得る。これは、動作点表現が元のビットストリームのデータのいくつかのピクチャおよび／または一部を含まないことがあるからである。したがって、元のビットストリームを処理するときにビデオデコーダ３０が特定のレートでＣＰＢおよび／またはＤＰＢからデータを除去することになっていた場合、および、動作点表現を処理するときにビデオデコーダ３０が同じレートでＣＰＢおよび／またはＤＰＢからデータを除去することになっていた場合、ビデオデコーダ３０は、ＣＰＢおよび／またはＤＰＢから、あまりにも大量の、または少量のデータを除去することがある。したがって、ビデオエンコーダ２０は、異なる動作点のためにＨＲＤパラメータの異なるセットをシグナリングすることができる。たとえば、ビデオエンコーダ２０は、ＶＰＳに、異なる動作点のためのＨＲＤパラメータを含む複数のｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を含み得る。

【0063】

[0067]下のテーブル１は、ＨＥＶＣにおけるｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造についての例示的シンタックスである。

【表1】

【0064】

[0068]上の表１および本開示の他のシンタックス表の例では、型記述子ｕｅ（ｖ）をもつシンタックス要素は、左ビットが先頭の０次指数ゴロム（Ｅｘｐ−Ｇｏｌｏｍｂ）コーディングを使用して符号化される可変長の符号のない整数であり得る。表１および以下の表の例では、形式ｕ（ｎ）の記述子を有するシンタックス要素は、長さｎの符号のない値であり、ただし、ｎは非負の整数である。

【0065】

[0069]Ｈ．２６４／ＡＶＣとＨＥＶＣの両方においてサポートされるＳＥＩ機構は、ビデオエンコーダ（たとえば、ビデオエンコーダ２０）が、出力ピクチャのサンプル値の正確な復号のためには要求されないが、ピクチャ出力タイミング、表示、ならびに損失検出および隠蔽など、他の様々な目的に使われ得るようなメタデータをビットストリーム中に含めることを可能にする。ビデオエンコーダ２０は、ＳＥＩメッセージを使用して、ピクチャのサンプル値の正確な復号に必要とされないメタデータをビットストリームに含めることができる。しかしながら、ビデオデコーダ３０または他のデバイスが、様々な他の目的で、ＳＥＩメッセージに含まれるメタデータを使用し得る。たとえば、ビデオデコーダ３０または他のデバイスは、ピクチャ出力のタイミング、ピクチャの表示、喪失の検出、およびエラーの隠匿のために、ＳＥＩメッセージ中のメタデータを使用し得る。

【0066】

[0070]ビデオエンコーダ２０は、アクセスユニットに１つまたは複数のＳＥＩ ＮＡＬユニットを含め得る。言い換えると、任意の数のＳＥＩ ＮＡＬユニットが、アクセスユニットと関連付けられ得る。さらに、各ＳＥＩ ＮＡＬユニットが、１つまたは複数のＳＥＩメッセージを含み得る。つまり、ビデオエンコーダは、任意の数のＳＥＩ ＮＡＬユニットをアクセスユニット中に含めてよく、各ＳＥＩ ＮＡＬユニットは、１つまたは複数のＳＥＩメッセージを含み得る。ＳＥＩ ＮＡＬユニットは、ＮＡＬユニットヘッダとペイロードとを含み得る。ＳＥＩ ＮＡＬユニットのＮＡＬユニットヘッダは、少なくとも第１のシンタックス要素と第２のシンタックス要素とを含む。第１のシンタックス要素は、ＳＥＩ ＮＡＬユニットのレイヤ識別子を指定する。第２のシンタックス要素は、ＳＥＩ ＮＡＬユニットの時間識別子を指定する。

【0067】

[0071]ネストされたＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージ中に含まれるＳＥＩメッセージを指す。ネストされていないＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージ中に含まれないＳＥＩメッセージを指す。ＳＥＩ ＮＡＬユニットのペイロードは、ネストされたＳＥＩメッセージまたはネストされていないＳＥＩメッセージを備え得る。

【0068】

[0072]ＨＥＶＣ規格は、様々なタイプのＳＥＩメッセージのためのシンタックスとセマンティクスとを記述する。しかしながら、ＳＥＩメッセージは規範的な復号処理に影響を与えないので、ＨＥＶＣ規格はＳＥＩメッセージの処理を記述しない。ＨＥＶＣ規格においてＳＥＩメッセージがある１つの理由は、補助データがＨＥＶＣを使用して異なるシステムにおいて同様に解釈されることを可能にするためである。ＨＥＶＣを使用する仕様およびシステムは、ビデオエンコーダがあるＳＥＩメッセージを生成することを要求することがあり、または、特定のタイプの受信されたＳＥＩメッセージの特定の処理を定義することがある。

【0069】

[0073]以下の表２は、ＨＥＶＣで規定されるＳＥＩメッセージを一覧にし、それらの目的を簡単に説明する。

【表2】

【0070】

ＨＥＶＣワーキングドラフト９では、ＨＲＤ動作は、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージにおいて、および時には復号ユニット情報ＳＥＩメッセージにおいてもシグナリングされるパラメータを要求する。

【0071】

[0074]さらに、ＨＥＶＣワーキングドラフト９において、ネストされたＳＥＩメッセージに適用可能な動作点、レイヤ、またはサブレイヤは、スケーラブルネスティングＳＥＩメッセージのセマンティクスによって指定される。言い換えると、各ＳＥＩメッセージ用の、持続性スコープとも呼ばれる適用可能アクセスユニットは、ＳＥＩメッセージのセマンティクスによって指定され、ネストされたＳＥＩメッセージ用の適用可能動作点またはレイヤもしくはサブレイヤは、スケーラブルネスティングＳＥＩメッセージのセマンティクスによって、および適用動作点またはレイヤもしくはサブレイヤ内で指定される。ただし、ＨＥＶＣワーキングドラフト９において、どの動作点、レイヤ、またはサブレイヤが、ネストされていないＳＥＩメッセージに適用可能であるかは明確でない。したがって、ビデオデコーダは、ネストされていないＳＥＩメッセージを使うことができない場合がある。たとえば、バッファリングＳＥＩメッセージ、ネストされたピクチャタイミングＳＥＩメッセージおよびネストされた復号ユニット情報ＳＥＩメッセージは、ＨＲＤパラメータを含み得る。説明を簡単にするために、こうしたタイプのＳＥＩメッセージは本明細書では、「ＨＲＤ ＳＥＩメッセージタイプ」と呼ばれ得る。

【0072】

[0075]ＨＥＶＣワーキングドラフト９において、ＨＲＤ ＳＥＩメッセージタイプに属す、ネストされたＳＥＩメッセージのみが、ＨＲＤ動作において使われ得る。対照的に、ＨＲＤ ＳＥＩメッセージタイプに属す、ネストされていないＳＥＩメッセージは、ＨＲＤ動作において使うことができない。つまり、ＨＥＶＣワーキングドラフト９において、ネストされたバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージおよび復号ユニット情報ＳＥＩメッセージのみが、ＨＲＤ動作において使われるために選ばれてよく、ネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージおよび復号ユニット情報ＳＥＩメッセージは、存在するときでも、ＨＲＤ動作において使用するために選ばれることはない。

【0073】

[0076]本開示の技法は、各タイプのネストされていないＳＥＩメッセージが、ネストされていないＳＥＩメッセージに適用可能な動作点、レイヤ、またはサブレイヤを示すことができるような設計を提供する。たとえば、本開示の技法によると、各タイプのネストされていないＳＥＩメッセージ用の適用可能動作点またはレイヤもしくはサブレイヤが明確に指定され、ＨＲＤ動作における、ネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージおよび復号ユニット情報ＳＥＩメッセージの選択および使用が指定される。

【0074】

[0077]デバイス（ビデオデコーダ３０など）は、ネストされていないＳＥＩメッセージが適用可能な１つまたは複数の動作点、レイヤ、またはサブレイヤのセットを決定することができる。デバイスは、ネストされていないＳＥＩメッセージに少なくとも部分的基づいて、１つまたは複数のＨＲＤパラメータを修正することができる。ＨＲＤパラメータは、ビデオデコーダ３０が動作点、レイヤ、またはサブレイヤをどのように復号するかの様々な側面を制御することができる。ビデオデコーダ３０は、ビデオデータを復号するとき、修正されたＨＲＤパラメータを使えばよい。

【0075】

[0078]本開示の技法によると、ＳＥＩメッセージは、ＳＥＩメッセージが、ネストされたＳＥＩメッセージであるときのみ、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットの時間ＩＤよりも小さい時間ＩＤをもつレイヤに適用可能であり得る。ネストされていないＳＥＩメッセージは、ネストされていないＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットの時間ＩＤよりも小さい時間ＩＤをもつレイヤには適用可能でない。つまり、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのものよりも小さい時間レベル（ＴｅｍｐｏｒａｌＩｄ）をもつレイヤに適用されるべきＳＥＩメッセージ用に、ＳＥＩメッセージはネストされなければならない。言い換えると、ネストされていないＳＥＩメッセージは、より小さいＴｅｍｐｏｒａｌＩｄ値をもつレイヤには適用可能でない。

【0076】

[0079]さらに、本開示の技法によると、ＨＲＤ ＳＥＩメッセージタイプ以外のＳＥＩメッセージタイプ（すなわち、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、および復号ユニットＳＥＩメッセージ以外のＳＥＩメッセージタイプ）に属すネストされていないＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＳＥＩ ＮＡＬユニットを含むアクセスユニットと同じ時間ＩＤを有することを要求され得る。言い換えると、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、および復号ユニット情報ＳＥＩメッセージ以外の、どの現在指定されているタイプのＳＥＩメッセージのネストされていないＳＥＩメッセージも含むＳＥＩ ＮＡＬユニットは、ＳＥＩ ＮＡＬユニットを含むアクセスユニットのものと同じＴｅｍｐｏｒａｌＩｄを有することを要求される。

【0077】

[0080]たとえば、ｐａｙｌｏａｄＴｙｐｅは、ＳＥＩメッセージのタイプを指定し得る。さらに、動作点は、ＯＰＬａｙｅｒＩｄＳｅｔとして示されるｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ値のセットと、ＯｐＴｉｄとして示されるＴｅｍｐｏｒａｌＩｄ値とによって識別される。ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しい場合、ネストされていないＳＥＩメッセージは、ＳＥＩメッセージマイナス１を含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１に等しいＯｐＴｉｄを有するとともに、両端値を含む、０から、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓまでの範囲内のすべての整数値を含むＯｐＬａｙｅｒＩｄＳｅｔを有する動作点に適用可能である。ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１、マイナス１は、ＳＥＩ ＮＡＬユニットの時間ＩＤを指定する。ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓは、レイヤ識別子を指定し得る。したがって、ネストされていないＳＥＩメッセージは、ＳＥＩ ＮＡＬユニットの時間識別子に等しい時間識別子を有するとともに、０からＳＥＩ ＮＡＬユニットのレイヤ識別子までの範囲内に含まれるレイヤ識別子のセットを有する動作点に適用可能であり得る。

【0078】

[0081]したがって、本開示のいくつかの例示的技法では、デバイス（ビデオエンコーダ２０、ビデオデコーダ３０、または別のデバイスなど）は、ビットストリームから、ネストされていないＳＥＩメッセージを取得することができ、ここで、ネストされていないＳＥＩメッセージは、ＨＲＤ動作についての初期遅延を示すバッファリング期間ＳＥＩメッセージ、ＨＲＤ動作についてのピクチャ出力時間とピクチャ／サブピクチャ除去時間とを示すピクチャタイミングＳＥＩメッセージ、またはＨＲＤ動作についてのサブピクチャ除去時間を示す復号ユニットＳＥＩメッセージである。さらに、デバイスは、ネストされていないＳＥＩメッセージに適用可能な動作点を決定することができる。ネストされていないＳＥＩメッセージに適用可能な動作点のすべてのＮＡＬユニットの最も高い時間識別子が、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットの時間識別子に等しい。ネストされていないＳＥＩメッセージに適用可能な動作点のＮＡＬユニットすべてのレイヤ識別子のセットが、０から、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子の値までの範囲内のすべての整数値を含む。さらに、デバイスは、第２のネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素の値に部分的に基づいて、第２のネストされていないＳＥＩメッセージに適用可能な動作点に関してＨＲＤ動作（たとえば、ビットストリームコンフォーマンステスト、デコーダコンフォーマンステストなど）を実施することができる。

【0079】

[0082]そうではなく、ｐａｙｌｏａｄＴｙｐｅが２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１２９、１３１、または１３４に等しいとき、ＶＣＬ ＮＡＬユニットはＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓに等しいｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓをレイヤに関して有し、そのレイヤに、ネストされていないＳＥＩメッセージが適用し得、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄは、ＳＥＩメッセージを含むアクセスユニットのＴｅｍｐｏｒａｌＩｄに等しいものとする。

【0080】

[0083]ｐａｙｌｏａｄＴｙｐｅが２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１２９、１３１、または１３４に等しいとき、ネストされていないＳＥＩメッセージは、それぞれ、出力ピクチャのピクチャアスペクト比とは異なるピクチャアスペクト比での表示に関連付けられたデータを含むパンスキャン方形ＳＥＩメッセージ（a pan-scan rectangle SEI message）、特定の制約を満たすようにビットレートを調整するためのデータを含むフィラーペイロードＳＥＩメッセージ（filler payload SEI message）、クリーンランダムアクセスまたは漸次復号リフレッシュについての情報を含む回復点ＳＥＩメッセージ（recovery point SEI message）、シーン変化および遷移に関連付けられた情報を含むシーン情報ＳＥＩメッセージ（scene information SEI message）、関連付けられた、復号されたピクチャをビデオコンテンツの静止画像スナップショットとして標示するための指示を含むピクチャスナップショットＳＥＩメッセージ（picture snapshot SEI message）、動画シーンではなくピクチャの品質の漸進的洗練化を表す連続ピクチャのセグメントの開始に関連付けられた情報を含む漸進的洗練化セグメント開始ＳＥＩメッセージ（progressive refinement segment start SEI message）、連続ピクチャのセグメントの終了に関連付けられた情報を含む漸進的洗練化セグメント終了ＳＥＩメッセージ（progressive refinement segment end SEI）、合成フィルムグレイン効果に関連付けられた情報を含むフィルムグレイン特性ＳＥＩメッセージ（film grain characteristics SEI message）、提案されたポストフィルタ係数に関連付けられた情報またはポストフィルタ設計についての相関情報を含むポストフィルタヒントＳＥＩメッセージ（post filter hint SEI message）、符号化において使われ、または想定されるものとは別の色空間への再マップに関連付けられた情報を含むトーンマッピング情報ＳＥＩメッセージ（tone mapping information SEI message）、ビットストリーム中への立体視ビデオのパッキングに関連付けられた情報を含むフレームパッキング配置ＳＥＩメッセージ（frame packing arrangement SEI message）、出力ピクチャが表示されるときに出力ピクチャに適用されるべきフリップおよび／または回転を指定する情報を含む表示配向ＳＥＩメッセージ（display orientation SEI message）、ビットストリームの時間およびインター予測構造を記述する情報を含むピクチャ情報ＳＥＩメッセージの構造、アクティブパラメータセットについての情報を含むアクティブパラメータセットＳＥＩメッセージ（active parameter sets SEI message）、０に等しい時間識別子をもつコーディングされたピクチャが欠落しているときの検出に関連付けられた情報を含む時間サブレイヤゼロインデックスＳＥＩメッセージ（temporal sub-layer zero index SEI message）、あるいはネストされていないＳＥＩメッセージが適用されるスライスセグメントが、現在のピクチャのリフレッシュされた領域に属すかどうかを示す情報を含む領域リフレッシュ情報ＳＥＩメッセージ（region refresh information SEI message）のうちの１つである。

【0081】

[0084]このようにして、デバイス（ビデオエンコーダ２０、ビデオデコーダ３０、または別のデバイスなど）は、ビデオデータの符号化された表現を含むビットストリームから、ビットストリーム中の別のＳＥＩメッセージ内にネストされていない、ネストされていないＳＥＩメッセージを取得することができる。さらに、デバイスは、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤを決定することができ、ここにおいて、ビットストリームのＶＣＬ ＮＡＬユニットが、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤにネストされていないＳＥＩメッセージが適用可能である。ＳＥＩ ＮＡＬユニットの時間識別子は、ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しい。ビデオコーダは、ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤのビデオデータを処理することができる。いくつかの例では、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤのビデオデータを処理することは、ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤのビデオデータを復号することを備える。

【0082】

[0085]図２は、本開示の技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。図２は、説明のために提供されるものであり、本開示で広く例示され説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示は、ＨＥＶＣコーディングの文脈でビデオエンコーダ２０を説明する。しかしながら、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。

【0083】

[0086]図２の例では、ビデオエンコーダ２０は、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換処理ユニット１１０と、再構成ユニット１１２と、フィルタユニット１１４と、復号されたピクチャのバッファ１１６と、エントロピー符号化ユニット１１８とを含む。予測処理ユニット１００は、インター予測処理ユニット１２０とイントラ予測処理ユニット１２６とを含む。インター予測処理ユニット１２０は、動き推定ユニット１２２と動き補償ユニット１２４とを含む。他の例では、ビデオエンコーダ２０は、より多数の、より少数の、または異なる機能コンポーネントを含み得る。

【0084】

[0087]ビデオエンコーダ２０はビデオデータを受信することができる。ビデオエンコーダ２０はビデオデータのピクチャのスライス中の各ＣＴＵを符号化することができる。ＣＴＵの各々は、等しいサイズの輝度コーディングツリーブロック（ＣＴＢ：coding tree block）およびピクチャの対応するＣＴＢと関連付けられ得る。ＣＴＵの符号化の一部として、予測処理ユニット１００は、四分木分割を実行して、ＣＴＵのＣＴＢを徐々により小さくなるブロックに分割することができる。より小さいブロックは、ＣＵのコーディングブロックであり得る。たとえば、予測処理ユニット１００は、ＣＴＵと関連付けられるＣＴＢを４つの等しいサイズのサブブロックに分割することができ、サブブロックの１つまたは複数を４つの等しいサイズのサブサブブロックに分割することができ、以下同様である。

【0085】

[0088]ビデオエンコーダ２０は、ＣＴＵのＣＵを符号化して、ＣＵの符号化された表現（すなわち、コーディングされたＣＵ）を生成することができる。ＣＵを符号化することの一部として、予測処理ユニット１００は、ＣＵの１つまたは複数のＰＵの中で、ＣＵと関連付けられるコーディングブロックを分割することができる。したがって、各ＰＵは、輝度予測ブロックおよび対応する色差予測ブロックと関連付けられ得る。ビデオエンコーダ２０およびビデオデコーダ３０は、様々なサイズを有するＰＵをサポートすることができる。上記のように、ＣＵのサイズは、ＣＵの輝度コーディングブロックのサイズを指すことがあり、ＰＵのサイズは、ＰＵの輝度予測ブロックのサイズを指すことがある。特定のＣＵのサイズを２Ｎ×２Ｎと仮定すると、ビデオエンコーダ２０およびビデオデコーダ３０は、イントラ予測のために２Ｎ×２ＮまたはＮ×ＮのＰＵサイズをサポートすることができ、インター予測のために２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様の対称的なＰＵサイズをサポートすることができる。ビデオエンコーダ２０およびビデオデコーダ３０はまた、インター予測のために、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズのための非対称的な分割をサポートすることができる。

【0086】

[0089]インター予測処理ユニット１２０は、ＣＵの各ＰＵに対してインター予測を実行することによって、ＰＵの予測データを生成することができる。ＰＵの予測データは、ＰＵの予測ブロックとＰＵの動き情報とを含み得る。インター予測ユニット１２０は、ＰＵがＩスライス中にあるか、Ｐスライス中にあるか、またはＢスライス中にあるかに応じて、ＣＵのＰＵに対して異なる動作を実行することができる。Ｉスライス中では、すべてのＰＵがイントラ予測される。したがって、ＰＵがＩスライス中にある場合、インター予測処理ユニット１２０は、ＰＵに対してインター予測を実行しない。

【0087】

[0090]ＰＵがＰスライス中にある場合、動き推定ユニット１２２は、ＰＵの参照領域のための参照ピクチャのリスト（たとえば、「ＲｅｆＰｉｃＬｉｓｔ０」）中の参照ピクチャを探索し得る。ＰＵの参照領域は、ＰＵの予測ブロックに最も密接に対応するサンプルを含む参照ピクチャ内の領域であり得る。動き推定ユニット１２２は、ＰＵの参照領域を含む参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０中の位置を示す参照インデックスを生成し得る。加えて、動き推定ユニット１２２は、ＰＵのコーディングブロックと参照領域と関連付けられる参照位置の間の、空間的な変位を示す動きベクトルを生成し得る。たとえば、動きベクトルは現在のピクチャ中の座標から参照ピクチャ中の座標までのオフセットを提供する、２次元ベクトルであり得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動きベクトルによって示される参照位置における実際のサンプルまたは補間されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。

【0088】

[0091]ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵに対して単方向予測または双方向予測を実行することができる。ＰＵについて単方向予測を実行するために、動き推定ユニット１２２は、ＰＵの参照領域について、ＲｅｆＰｉｃＬｉｓｔ０の参照ピクチャまたは第２の参照ピクチャリスト（「ＲｅｆＰｉｃＬｉｓｔ２」）を探索し得る。動き推定ユニット１２２は、参照領域を含む参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１中の位置を示す参照インデックスと、ＰＵの予測ブロックと参照領域と関連付けられる参照位置との間の空間的な変位を示す動きベクトルと、参照ピクチャがＲｅｆＰｉｃＬｉｓｔ０の中にあるか、またはＲｅｆＰｉｃＬｉｓｔ１の中にあるかを示す１つまたは複数の予測方向インジケータとを、ＰＵの動き情報として出力することができる。動き補償ユニット１２４は、ＰＵの動きベクトルによって示される参照位置における実際のサンプルまたは補間されたサンプルに少なくとも一部基づいて、ＰＵの予測ブロックを生成し得る。

【0089】

[0092]動き推定ユニット１２２は、ＰＵについて双方向インター予測を実行するために、ＰＵの参照領域についてＲｅｆＰｉｃＬｉｓｔ０の中の参照ピクチャを探索することができ、ＰＵの別の参照領域についてＲｅｆＰｉｃＬｉｓｔ１の中の参照ピクチャを探索することもできる。動き推定ユニット１２２は、参照領域を含む参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１の中の位置を示す、参照インデックスを生成し得る。加えて、動き推定ユニット１２２は、参照領域と関連付けられる参照位置とＰＵの予測ブロックとの間の空間的な変位を示す動きベクトルを生成することができる。ＰＵの動き情報は、ＰＵの参照インデックスと、動きベクトルとを含み得る。動き補償ユニット１２４は、ＰＵの動きベクトルによって示される参照位置における実際のサンプルまたは補間されたサンプルに少なくとも一部基づいて、ＰＵの予測ブロックを生成し得る。

【0090】

[0093]イントラ予測処理ユニット１２６は、ＰＵに対してイントラ予測を実行することによって、ＰＵの予測データを生成することができる。ＰＵの予測データは、ＰＵの予測ブロックと様々なシンタックス要素とを含み得る。イントラ予測処理ユニット１２６は、Ｉスライス、Ｐスライス、およびＢスライスの中のＰＵに対してイントラ予測を実行することができる。

【0091】

[0094]ＰＵに対してイントラ予測を実行するために、イントラ予測処理ユニット１２６は、複数のイントラ予測モードを使用して、ＰＵの予測ブロックの複数のセットを生成することができる。特定のイントラ予測モードを使用してイントラ予測を実施するとき、イントラ予測処理ユニット１２６は、隣接ブロックからのサンプルの特定のセットを使用してＰＵの予測ブロックを生成し得る。隣接ブロックは、ＰＵ、ＣＵ、およびＣＴＵについて左から右、上から下の符号化順序を仮定すると、ＰＵの予測ブロックの上、右上、左上、または左にあり得る。イントラ予測処理ユニット１２６は、様々な数のイントラ予測モード、たとえば３３個の方向のイントラ予測モードを使用することができる。いくつかの例では、イントラ予測モードの数は、ＰＵの予測ブロックのサイズに依存し得る。

【0092】

[0095]予測処理ユニット１００は、ＰＵのためにインター予測処理ユニット１２０によって生成された予測データ、またはＰＵのためにイントラ予測処理ユニット１２６によって生成された予測データの中から、ＣＵのＰＵの予測データを選択することができる。いくつかの例では、予測処理ユニット１００は、予測データのセットのレート／ひずみ測定基準に基づいて、ＣＵのＰＵの予測データを選択する。選択された予測データの予測ブロックは、本明細書では、選択された予測ブロックと呼ばれ得る。

【0093】

[0096]残差生成ユニット１０２は、ＣＵの輝度コーディングブロック、Ｃｂコーディングブロック、およびＣｒコーディングブロックならびにＣＵのＰＵの選択された予測輝度ブロック、予測Ｃｂブロック、および予測Ｃｒブロックに基づいて、ＣＵの輝度残差ブロックと、Ｃｂ残差ブロックと、Ｃｒ残差ブロックとを生成することができる。たとえば、残差生成ユニット１０２は、残差ブロック中の各サンプルが、ＣＵのコーディングブロック中のサンプルとＣＵのＰＵの対応する選択された予測ブロック中の対応するサンプルとの間の差に等しい値を有するように、ＣＵの残差ブロックを生成することができる。

【0094】

[0097]変換処理ユニット１０４は、四分木分割を実行して、ＣＵの残差ブロックをＣＵのＴＵと関連付けられた変換ブロックに分割することができる。したがって、ＴＵは、輝度変換ブロックおよび２つの対応する色差変換ブロックと関連付けられ得る。ＣＵのＴＵの輝度変換ブロックおよび色差変換ブロックのサイズおよび位置は、ＣＵのＰＵの予測ブロックのサイズおよび位置に基づくこともまたは基づかないこともあり得る。

【0095】

[0098]変換処理ユニット１０４は、ＴＵの変換ブロックに１つまたは複数の変換を適用することによって、ＣＵの各ＴＵのための変換係数ブロックを生成することができる。変換処理ユニット１０４は、ＴＵと関連付けられた変換ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向変換、または概念的に同様の変換を変換ブロックに適用し得る。いくつかの例において、変換処理ユニット１０４は変換ブロックに変換を適用しない。そのような例では、変換ブロックは変換係数ブロックとして扱われ得る。

【0096】

[0099]量子化ユニット１０６は、係数ブロック中の変換係数を量子化し得る。量子化処理は、変換係数の一部またはすべてと関連付けられたビット深度を低減し得る。たとえば、量子化の間にｎビットの変換係数がｍビット変換係数へと切り捨てられてよく、この場合、ｎはｍよりも大きい。量子化ユニット１０６は、ＣＵと関連付けられた量子化パラメータ（ＱＰ）値に基づいてＣＵのＴＵと関連付けられた係数ブロックを量子化することができる。ビデオエンコーダ２０は、ＣＵと関連付けられたＱＰの値を調整することによって、ＣＵと関連付けられた係数ブロックに適用される量子化の程度を調整することができる。量子化は情報の損失をもたらすことがあり、したがって、量子化された変換係数は、元の係数よりも低い精度を有し得る。

【0097】

[0100]逆量子化ユニット１０８および逆変換処理ユニット１１０は、それぞれ、係数ブロックに逆量子化および逆変換を適用して、係数ブロックから残差ブロックを再構成し得る。再構成ユニット１１２は、再構成された残差ブロックを、予測処理ユニット１００によって生成された１つまたは複数の予測ブロックからの対応するサンプルに追加して、ＴＵと関連付けられた再構成された変換ブロックを生成し得る。このようにＣＵの各ＴＵのための変換ブロックを再構成することによって、ビデオエンコーダ２０は、ＣＵのコーディングブロックを再構成し得る。

【0098】

[0101]フィルタユニット１１４は、１つまたは複数のデブロッキング動作を実行して、ＣＵと関連付けられたコーディングブロック中のブロッキングアーティファクトを低減することができる。復号されたピクチャのバッファ１１６は、フィルタユニット１１４が、再構成されたコーディングブロックに対して１回または複数のデブロッキング動作を実行した後、再構成されたコーディングブロックを記憶し得る。インター予測処理ユニット１２０は、再構成されたコーディングブロックを含む参照ピクチャを使用して、他のピクチャのＰＵに対してインター予測を実行し得る。加えて、イントラ予測処理ユニット１２６は、復号されたピクチャのバッファ１１６の中の再構成されたコーディングブロックを使用して、ＣＵと同じピクチャの中の他のＰＵに対してイントラ予測を実行することができる。

【0099】

[0102]エントロピー符号化ユニット１１８は、ビデオエンコーダ２０の他の機能コンポーネントからデータを受け取ることができる。たとえば、エントロピー符号化ユニット１１８は、量子化ユニット１０６から係数ブロックを受け取ることができ、予測処理ユニット１００からシンタックス要素を受け取ることができる。エントロピー符号化ユニット１１８は、このデータに対して１つまたは複数のエントロピー符号化動作を実行して、エントロピー符号化されたデータを生成することができる。たとえば、エントロピー符号化ユニット１１８は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）動作、ＣＡＢＡＣ動作、可変−可変（Ｖ２Ｖ：variable-to-variable）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）動作、確率間隔分割エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実行し得る。ビデオエンコーダ２０は、エントロピー符号化ユニット１１８によって生成されたエントロピー符号化されたデータを含むビットストリームを出力することができる。

【0100】

[0103]図３は、本開示の技法を実装するために構成された例示的なビデオデコーダ３０を示すブロック図である。図３は、説明のために提供されるものであり、本開示において広く例示され説明される技法を限定するものではない。説明の目的で、本開示は、ＨＥＶＣコーディングの文脈においてビデオデコーダ３０を説明する。しかしながら、本開示の技法は、他のコーディング規格または方法に適用可能であり得る。

【0101】

[0104]図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換処理ユニット１５６と、再構成ユニット１５８と、フィルタユニット１６０と、復号されたピクチャのバッファ１６２とを含む。予測処理ユニット１５２は、動き補償ユニット１６４と、イントラ予測処理ユニット１６６とを含む。他の例では、ビデオデコーダ３０は、より多数の、より少数の、または異なる機能コンポーネントを含み得る。

【0102】

[0105]コーディングされたピクチャのバッファ（ＣＰＢ）１５１は、ビットストリームの符号化されたビデオデータ（たとえば、ＮＡＬユニット）を受け取り、記憶することができる。エントロピー復号ユニット１５０は、ＣＰＢ １５１からＮＡＬユニットを受け取り、ＮＡＬユニットを解析してシンタックス要素をビットストリームから取得することができる。エントロピー復号ユニット１５０は、ＮＡＬユニット中のエントロピー符号化されたシンタックス要素をエントロピー復号することができる。予測処理ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５６、再構成ユニット１５８、およびフィルタユニット１６０は、ビットストリームから抽出されたシンタックス要素に基づいて復号されたビデオデータを生成することができる。

【0103】

[0106]ビットストリームのＮＡＬユニットは、コーディングされたスライスＮＡＬユニットを含み得る。ビットストリームを復号することの一部として、エントロピー復号ユニット１５０は、コーディングされたスライスＮＡＬユニットからシンタックス要素を抽出し、エントロピー復号することができる。コーディングされたスライスの各々は、スライスヘッダと、スライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含み得る。

【0104】

[0107]ビットストリームからのシンタックス要素を復号することに加えて、ビデオデコーダ３０は、ＣＵに対して復号動作を実行することができる。ＣＵに対して復号動作を実行することによって、ビデオデコーダ３０は、ＣＵのコーディングブロックを再構成することができる。

【0105】

[0108]ＣＵに対して復号動作を実行することの一部として、逆量子化ユニット１５４は、ＣＵのＴＵと関連付けられた係数ブロックを逆量子化（inverse quantize）、すなわち逆量子化（de-quantize）することができる。逆量子化ユニット１５４は、ＴＵのＣＵと関連付けられたＱＰ値を使用して、量子化の程度を決定することができ、同様に、逆量子化ユニット１５４が適用すべき逆量子化の程度を決定することができる。すなわち、圧縮比、すなわち、元のシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、変換係数を量子化するときに使用されるＱＰの値を調整することによって制御され得る。圧縮比はまた、利用されたエントロピーコーディングの方法に依存し得る。

【0106】

[0109]逆量子化ユニット１５４が係数ブロックを逆量子化した後、逆変換処理ユニット１５６は、ＴＵと関連付けられた残差ブロックを生成するために、係数ブロックに１つまたは複数の逆変換を適用することができる。たとえば、逆変換処理ユニット１５６は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向性変換、または別の逆変換を、係数ブロックに適用することができる。

【0107】

[0110]ＰＵがイントラ予測を使用して符号化される場合、イントラ予測処理ユニット１６６は、イントラ予測を実行して、ＰＵの予測ブロックを生成することができる。イントラ予測処理ユニット１６６は、イントラ予測モードを使用して、空間的に隣接するＰＵの予測ブロックに基づいて、ＰＵの予測輝度ブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成することができる。イントラ予測処理ユニット１６６は、ビットストリームから復号された１つまたは複数のシンタックス要素に基づいて、ＰＵのイントラ予測モードを決定することができる。

【0108】

[0111]予測処理ユニット１５２は、ビットストリームから抽出されたシンタックス要素に基づいて、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）と第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）とを構築することができる。さらに、ＰＵがインター予測を使用して符号化される場合、エントロピー復号ユニット１５０は、ＰＵの動き情報を取得することができる。動き補償ユニット１６４は、ＰＵの動き情報に基づいて、ＰＵの１つまたは複数の参照領域を決定することができる。動き補償ユニット１６４は、ＰＵの１つまたは複数の参照ブロックにおけるサンプルに基づいて、ＰＵの予測輝度ブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成することができる。

【0109】

[0112]再構成ユニット１５８は、適用可能な場合、ＣＵのＴＵと関連付けられた輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックと、ＣＵのＰＵの予測輝度ブロック、予測Ｃｂブロック、および予測Ｃｒブロックからの残差値を使用して、すなわち、イントラ予測データまたはインター予測データのいずれかを使用して、ＣＵの輝度コーディングブロックと、Ｃｂコーディングブロックと、Ｃｒコーディングブロックとを再構成することができる。たとえば、再構成ユニット１５８は、輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックのサンプルを予測輝度ブロック、予測Ｃｂブロック、および予測Ｃｒブロックの対応するサンプルに加算して、ＣＵの輝度コーディングブロックと、Ｃｂコーディングブロックと、Ｃｒコーディングブロックとを再構成することができる。

【0110】

[0113]フィルタユニット１６０は、ＣＵの輝度コーディングブロック、Ｃｂコーディングブロック、およびＣｒコーディングブロックと関連付けられたブロッキングアーティファクトを低減するためにデブロッキング動作を実行し得る。ビデオデコーダ３０は、ＣＵの輝度コーディングブロックと、Ｃｂコーディングブロックと、Ｃｒコーディングブロックとを復号されたピクチャのバッファ１６２に記憶することができる。復号されたピクチャのバッファ１６２は、後続の動き補償、イントラ予測、および図１のディスプレイデバイス３２のようなディスプレイデバイス上での提示のために、参照ピクチャを提供することができる。たとえば、ビデオデコーダ３０は、復号されたピクチャのバッファ１６２中の輝度ブロック、Ｃｂブロック、およびＣｒブロックに基づいて、他のＣＵのＰＵに対してイントラ予測動作またはインター予測動作を実行し得る。ビデオデコーダ３０は、このようにして、有意輝度係数ブロックの変換係数レベルをビットストリームから抽出し、変換係数レベルを逆量子化し、変換係数レベルに変換を適用して変換ブロックを生成し、変換ブロックに少なくとも部分的に基づいてコーディングブロックを生成し、コーディングブロックを表示のために出力することができる。

【0111】

[0114]いくつかの例では、ビデオプロセッサ（ビデオエンコーダ２０、ビデオデコーダ３０、または別のデバイスなど）は、ビットストリームがビデオコーディング仕様に準拠するかどうか決定するためのビットストリームコンフォーマンステストを実施することができる。このビットストリームは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅまたは復号対象ビットストリームと呼ばれ得る。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅは、ビデオプロセッサによって受信されるビットストリームまたはビデオプロセッサによって受信されるビットストリームのサブビットストリームと同じであり得る。ＨＥＶＣワーキングドラフト９のサブクローズＣ．１は、ＨＥＶＣのＨＲＤと、ビットストリームとデコーダ準拠とを調べるための、ＨＲＤの使用とについて記述している。具体的には、ＨＥＶＣワーキングドラフト９のサブクローズＣ．１は、ビットストリームコンフォーマンステストにおいて適用される一連の順序付きステップを指定する。本開示の１つまたは複数の例示的技法によると、この一連の順序付きステップを記載する、ＨＥＶＣワーキングドラフト９のサブクローズＣ．１の部分は、ネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージおよび復号ユニット情報ＳＥＩメッセージがＨＲＤ動作における使用のために選ばれ得るように、次のように変更されている。

【0112】

ビットストリームの準拠を調べるために、複数のテストが必要とされる場合があり、このビットストリームは、以下では、テスト中のビットストリームと呼ばれる。各テストに対して、以下のステップが、列挙される順序で適用される。

【0113】

１． ＴａｒｇｅｔＯｐとして示される、テスト中の動作点が選択される。ＴａｒｇｅｔＯｐのＯｐＬａｙｅｒＩｄＳｅｔは、ＴａｒｇｅｔＯｐに関連付けられたビットストリームサブセット中に存在するｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ値のセットを含み、このサブセットは、テスト中のビットストリーム中に存在するｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ値のサブセットである。ＴａｒｇｅｔＯｐのＯｐＴｉｄは、ＴａｒｇｅｔＯｐに関連付けられたビットストリームサブセット中に存在する最も高いＴｅｍｐｏｒａｌＩｄに等しい。

【0114】

２． ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＳｅｔはＴａｒｇｅｔＯｐのＯｐＬａｙｅｒＩｄＳｅｔにセットされ、ＨｉｇｈｅｓｔＴｉｄはＴａｒｇｅｔＯｐのＯｐＴｉｄにセットされ、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅは、ＴａｒｇｅｔＯｐ、すなわち、テスト中のビットストリーム、すなわちＨｉｇｈｅｓｔＴｉｄとＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＳｅｔとを入力としてもつ、ＨＥＶＣワーキングドラフト９のサブクローズ１０．１において指定されるサブビットストリーム抽出プロセスの出力に関連付けられたビットストリームサブセットにセットされる。

【0115】

３． ＴａｒｇｅｔＯｐに適用可能なｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造およびｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選択される。ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＳｅｔが、テスト中のビットストリーム中に存在するすべてのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ値を含む場合、アクティブシーケンスパラメータセット中の（または、本明細書では指定されない外部手段を通して与えられる）ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選択される。そうでない場合、ＴａｒｇｅｔＯｐに適用されるアクティブビデオパラメータセット中の（または、本明細書では指定されない何らかの外部手段を通して与えられる）ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選択される。選択されたｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造内で、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、条件「ｉｆ（ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）」の直後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ＨｉｇｈｅｓｔＴｉｄ）シンタックス構造が選択され、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは０に等しくセットされ、そうでない場合（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである）、条件「ｉｆ（ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）」（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは０に等しくセットされる）または条件「ｉｆ（ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）」（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは１に等しくセットされる）のいずれかの直後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ＨｉｇｈｅｓｔＴｉｄ）シンタックス構造が選択される。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームであり、ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しいとき、フィラーデータＮＡＬユニットを除くすべての非ＶＬＣ ＮＡＬユニットがＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅから破棄され、残りのビットストリームはＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅに割り当てられる。

【0116】

４． ＴａｒｇｅｔＯｐに適用可能なバッファリング期間ＳＥＩメッセージ（スケーラブルネスティングＳＥＩメッセージ中のＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するか、または本明細書では指定されない外部手段を通して入手可能である）に関連付けられたアクセスユニットが、ＨＲＤ初期化点として選択され、アクセスユニット０と呼ばれる。

【0117】

５． アクセスユニット０から始まるＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中の各アクセスユニットに対して、アクセスユニットに関連付けられるとともにＴａｒｇｅｔＯｐに適用されるバッファリング期間ＳＥＩメッセージ（スケーラブルネスティングＳＥＩメッセージ中のＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するか、または本明細書では指定されない外部手段を通して入手可能である）が選択され、アクセスユニットに関連付けられるとともにＴａｒｇｅｔＯｐに適用されるピクチャタイミングＳＥＩメッセージ（スケーラブルネスティングＳＥＩメッセージ中のＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するか、または本明細書では指定されない外部手段を通して入手可能である）が選択され、ＳｕｂＰｉｃＣｐｂＦｌａｇが１に等しく、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０に等しいとき、アクセスユニット中の復号ユニットに関連付けられるとともにＴａｒｇｅｔＯｐに適用される復号ユニット情報ＳＥＩメッセージ（スケーラブルネスティングＳＥＩメッセージ中のＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するか、または本明細書では指定されない外部手段を通して入手可能である）が選択される。

【0118】

６． ＳｃｈｅｄＳｅｌＩｄｘの値が選択される。選択されたＳｃｈｅｄＳｅｌＩｄｘは、両端値を含む０〜ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］の範囲内であるものとし、ここでｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］は、上で選択されたｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ＨｉｇｈｅｓｔＴｉｄ）シンタックス構造中に見られる。

【0119】

７． アクセスユニット０中のコーディングされたピクチャが、ＣＲＡ＿ＮＵＴまたはＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、選択されたバッファリング期間ＳＥＩメッセージ中のｒａｐ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいとき、以下のうちのいずれかが、初期ＣＰＢ除去遅延および遅延オフセットの選択のために適用される。

【0120】

− ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］およびｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］によって表されるデフォルト初期ＣＰＢ除去遅延および遅延オフセットが、上のステップ３の下で指定されたＮａｌＨｒｄＭｏｄｅＦｌａｇに依存して選択され、変数ＤｅｆａｕｌｔＩｎｉｔＣｐｂＰａｒａｍｓＦｌａｇは、１に等しくセットされる。

【0121】

− 上のステップ３の下で指定されたＮａｌＨｒｄＭｏｄｅＦｌａｇに依存して選択されたｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］およびｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］によって表される代替初期ＣＰＢ除去遅延および遅延オフセット、変数ＤｅｆａｕｌｔＩｎｉｔＣｐｂＰａｒａｍｓＦｌａｇが０に等しくセットされ、アクセスユニット０に関連付けられたＲＡＳＬアクセスユニットがＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅから破棄され、残りのビットストリームは、依然としてＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅに割り当てられる。

【0122】

８． 選択されたｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中のｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいとき、ＣＰＢは、アクセスユニットレベル（この場合、変数ＳｕｂＰｉｃＣｐｂＦｌａｇは０に等しくセットされる）またはサブピクチャレベル（この場合、変数ＳｕｂＰｉｃＣｐｂＦｌａｇは１に等しくセットされる）のいずれかで動作するようにスケジュールされる。

【0123】

[0115]上のテキストの下線部分は、本開示の技法により、ＨＥＶＣワーキングドラフト９のサブクローズＣ．１から削除されているテキストを示す。上で指摘したように、バッファリング期間ＳＥＩメッセージは、ＨＲＤ動作の初期遅延を示す。下線部分を削除した結果として、ビデオプロセッサは、ステップ４で、ＨＲＤ初期化点として、バッファリング期間ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージ中にあるかどうかにかかわらず、ＴａｒｇｅｔＯｐに適用可能なバッファリング期間ＳＥＩメッセージに関連付けられたアクセスユニットを選択することができる。ＴａｒｇｅｔＯｐは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中のレイヤ識別子のセットである。したがって、ネストされていないバッファリング期間ＳＥＩメッセージがＴａｒｇｅｔＯｐに適用可能なとき、ビデオプロセッサは、ＨＲＤ初期化点として、ネストされていないバッファリング期間ＳＥＩメッセージに関連付けられたアクセスユニットを選択することができる。ビデオプロセッサは、選択されたアクセスユニットにおいてＨＲＤを初期化すればよい。ＨＲＤ初期化点は、アクセスユニット０とも呼ばれ得る。ＨＲＤ初期化点は、ＨＲＤ動作中に評価される第１のアクセスユニットであってよい。

【0124】

[0116]同様に、ステップ５で、ビデオプロセッサは、バッファリング期間ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージ中にあるかどうかにかかわらず、バッファリング期間ＳＥＩメッセージを選択することができる。さらに、ステップ５で、ビデオプロセッサは、ピクチャタイミングＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージ中にあるかどうかにかかわらず、ピクチャタイミングＳＥＩメッセージを選択することができる。さらに、ステップ５で、ビデオプロセッサは、復号ユニット情報ＳＥＩメッセージがバッファリング期間ＳＥＩメッセージ中にあるかどうかにかかわらず、復号ユニット情報ＳＥＩメッセージを選択することができる。したがって、ビデオプロセッサは、ビットストリームから、ネストされていないＳＥＩメッセージを取得することができ、ここにおいて、ネストされていないＳＥＩメッセージは、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニットＳＥＩメッセージである。さらに、復号対象ビットストリーム中の各それぞれのアクセスユニットに対して、ビデオプロセッサは、ネストされていないＳＥＩメッセージがアクセスユニットに関連付けられているとともにネストされていないＳＥＩメッセージが復号対象ビットストリーム中のレイヤ識別子のセットに適用可能であるとき、それぞれのアクセスユニット用のネストされていないＳＥＩメッセージを選択することができる。ビデオプロセッサは、それぞれのアクセスユニットに関して、ＨＲＤ動作中に、ネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素を使うことができる。

【0125】

[0117]上述したように、いくつかのタイプのネストされていないＳＥＩメッセージ（たとえば、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、復号ユニット情報ＳＥＩメッセージなど）が、特定の動作点に適用可能である。さらに、いくつかのタイプのネストされていないＳＥＩメッセージが、特定のレイヤに適用可能である。本開示の１つまたは複数の技法によると、以下は、特定のタイプのネストされていないＳＥＩメッセージについての適用可能動作点またはレイヤを指定する。

【0126】

[0118]ビデオプロセッサは、ビットストリームから、ネストされていないＳＥＩメッセージを取得することができる。さらに、ビデオプロセッサは、ネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素に基づいて、ネストされていないＳＥＩメッセージ用のペイロードタイプ変数（たとえば、「ｐａｙｌｏａｄＴｙｐｅ」）を決定することができる。ネストされていないＳＥＩメッセージのｐａｙｌｏａｄＴｙｐｅが０に等しく（すなわち、ネストされていないＳＥＩメッセージがバッファリング期間ＳＥＩメッセージである）、ネストされていないＳＥＩメッセージのｐａｙｌｏａｄＴｙｐｅが１に等しく（すなわち、ネストされていないＳＥＩメッセージがピクチャタイミングＳＥＩメッセージである）、またはネストされていないＳＥＩメッセージのｐａｙｌｏａｄＴｙｐｅが１３０に等しい（すなわち、ネストされていないＳＥＩメッセージが復号ユニット情報ＳＥＩメッセージである）場合、ネストされていないＳＥＩメッセージは、ネストされていないＳＥＩメッセージマイナス１を含むとともに、両端値を含む、０から、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓまでの範囲内のすべての整数値を含むＯｐＬａｙｅｒＩｄＳｅｔを有するＳＥＩ ＮＡＬユニットのｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１に等しいＯｐＴｉｄを有する動作点に適用可能である。そうではなく、ネストされていないＳＥＩメッセージのｐａｙｌｏａｄＴｙｐｅが２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１２９、１３１、または１３４に等しいとき、ＶＣＬ ＮＡＬユニットが、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓに等しいｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓをレイヤに関して有し、そのレイヤにネストされていないＳＥＩメッセージが適用可能であり、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄは、ＳＥＩメッセージを含むアクセスユニットのＴｅｍｐｏｒａｌＩｄに等しいものとする。いくつかの例では、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージまたは復号ユニット情報ＳＥＩメッセージが、ネストされたＳＥＩメッセージとして存在するとき、同じＳＥＩメッセージ（同じ内容をもつ）は、ネストされていないＳＥＩメッセージとして同時に複製されない。

【0127】

[0119]本開示の他の例示的技法によると、各タイプのネストされていないＳＥＩメッセージ用の適用可能動作点またはレイヤは、次のように指定される。ネストされていないＳＥＩメッセージのｐａｙｌｏａｄＴｙｐｅが０に等しく（すなわち、ネストされていないＳＥＩメッセージがバッファリング期間ＳＥＩメッセージである）、ネストされていないＳＥＩメッセージのｐａｙｌｏａｄＴｙｐｅが１に等しく（すなわち、ネストされていないＳＥＩメッセージがピクチャタイミングＳＥＩメッセージである）、またはネストされていないＳＥＩメッセージのｐａｙｌｏａｄＴｙｐｅが１３０に等しい（すなわち、ネストされていないＳＥＩメッセージが復号ユニット情報ＳＥＩメッセージである）場合、ネストされていないＳＥＩメッセージは、ネストされていないＳＥＩメッセージマイナス１を含むとともに、両端値を含む、０から、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓまでの範囲内のすべての整数値を含むＯｐＬａｙｅｒＩｄＳｅｔを有するＳＥＩ ＮＡＬユニットのｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１に等しいＯｐＴｉｄを有する動作点に適用可能である。そうではなく、ネストされていないＳＥＩメッセージのｐａｙｌｏａｄＴｙｐｅが２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１２９、１３１、または１３４に等しいとき、ＶＣＬ ＮＡＬユニットが、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ以上のｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓをレイヤに関して有し、そのレイヤに、ネストされていないＳＥＩメッセージが適用可能であり、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄは、ＳＥＩメッセージを含むアクセスユニットのＴｅｍｐｏｒａｌＩｄに等しいものとする。同じアクセスユニット中のＳＥＩメッセージを含むＳＥＩ ＮＡＬユニット中のｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓの異なる値に関連付けられた、同じタイプのどの２つのネストされていないＳＥＩメッセージに対しても、ＶＣＬ ＮＡＬユニットが、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓの大きい方の値以上のｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓをレイヤに関して有し、そのレイヤに、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓの大きい方の値に関連付けられたネストされていないＳＥＩメッセージが適用可能である。いくつかの例では、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージまたは復号ユニット情報ＳＥＩメッセージが、ネストされたＳＥＩメッセージとして存在するとき、同じＳＥＩメッセージ（同じ内容をもつ）は、ネストされていないＳＥＩメッセージとして同時に複製されるべきでない。

【0128】

[0120]図４は、本開示の１つまたは複数の技法によるビデオ処理デバイスの例示的な動作２００を示すフローチャートである。図４の例において、ビデオプロセッサ（ビデオエンコーダ２０、ビデオデコーダ３０、または別のデバイスなど）は、ビデオデータの符号化された表現を含むビットストリームから、ビットストリーム中の別のＳＥＩメッセージ内にネストされていない、ネストされていないＳＥＩメッセージを取得することができる（２０２）。さらに、ビデオプロセッサは、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤを決定することができ、ここにおいて、ビットストリームのＶＣＬ ＮＡＬユニットが、ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤに、ネストされていないＳＥＩメッセージが適用可能である（２０４）。ＳＥＩ ＮＡＬユニットの時間識別子は、ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しい。さらに、ビデオプロセッサは、ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、ネストされていないＳＥＩメッセージが適用可能なビットストリームのレイヤのビデオデータを処理することができる（２０６）。

【0129】

[0121]図５は、ビットストリームコンフォーマンステストの一部を実施するための例示的動作２５０を示すフローチャートである。図５の例において、ビデオプロセッサ（たとえば、ビデオエンコーダ２０、ビデオデコーダ３０、または別のデバイス）は、テスト中の動作点（すなわち、「ＴａｒｇｅｔＯｐ」）を選択すればよい（２５２）。ＴａｒｇｅｔＯｐのレイヤ識別子セット（すなわち、「ＯｐＬａｙｅｒＩｄＳｅｔ」）は、ＴａｒｇｅｔＯｐに関連付けられたビットストリームサブセット中に存在するｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ値のセットを含むことができ、このサブセットは、テスト中のビットストリーム中に存在するｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ値のサブセットである。

【0130】

[0122]さらに、ビデオプロセッサは、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＳｅｔと、ＨｉｇｈｅｓｔＴｉｄと、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅとをセットしてよい（２５４）。いくつかの例では、ビデオプロセッサは、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＳｅｔをＴａｒｇｅｔＯｐのＯｐＬａｙｅｒＩｄＳｅｔにセットすればよい。さらに、ビデオプロセッサは、ＨｉｇｈｅｓｔＴｉｄを、ＴａｒｇｅｔＯｐに関連付けられたビットストリームサブセット中に存在する最も高い時間識別子にセットすればよい。さらに、ビデオプロセッサは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅを、ＴａｒｇｅｔＯｐに関連付けられたビットストリームサブセットにセットすればよい。

【0131】

[0123]次に、ビデオプロセッサは、ＴａｒｇｅｔＯｐに適用可能な、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造と、ｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造とを選択することができる（２５６）。いくつかの例では、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＳｅｔが、テスト中のビットストリーム中に存在するすべてのｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ値を含む場合、ビデオプロセッサは、アクティブシーケンスパラメータセット中の（または外部手段を通して与えられる）ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を選択する。そうでない場合、ビデオプロセッサは、ＴａｒｇｅｔＯｐに適用可能なアクティブビデオパラメータセット中の（または何らかの外部手段を通して与えられる）ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を選択してよい。選択されたｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造内で、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、ビデオプロセッサは、条件「ｉｆ（ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）」の直後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ＨｉｇｈｅｓｔＴｉｄ）シンタックス構造を選択すればよく、ビデオプロセッサは、変数をセットすればよく、ＮａｌＨｒｄＭｏｄｅＦｌａｇは０に等しくセットされる。そうでない場合（すなわち、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである）、ビデオプロセッサは、条件「ｉｆ（ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）」（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは０に等しくセットされる）または条件「ｉｆ（ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）」（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは１に等しくセットされる）のいずれかの直後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ＨｉｇｈｅｓｔＴｉｄ）シンタックス構造を選択する。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームであり、ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しいとき、ビデオプロセッサは、フィラーデータＮＡＬユニットを除くすべての非ＶＬＣ ＮＡＬユニットをＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅから破棄してよく、ビデオプロセッサは、残りのビットストリームをＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅに割り当てればよい。

【0132】

[0124]さらに、ビデオプロセッサは、アクセスユニット０（すなわち、ＨＲＤ初期化点）として、ＴａｒｇｅｔＯｐに適用可能なバッファリング期間ＳＥＩメッセージに関連付けられたアクセスユニットを選択することができる（２５８）。本開示の１つまたは複数の例示的技法によると、ビデオプロセッサは、バッファリング期間ＳＥＩメッセージが、スケーラブルネスティングＳＥＩメッセージ中のＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するのか、それともネストされていないバッファリング期間ＳＥＩメッセージとしてＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するのかにかかわらず、バッファリング期間ＳＥＩメッセージを選択することができる。

【0133】

[0125]次に、アクセスユニット０から始まる、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中の各アクセスユニットに対して、ビデオプロセッサは、アクセスユニットに関連付けられるとともにＴａｒｇｅｔＯｐに適用可能なバッファリング期間ＳＥＩメッセージを選択すればよい（２６０）。本開示の１つまたは複数の例示的技法によると、ビデオプロセッサは、バッファリング期間ＳＥＩメッセージが、スケーラブルネスティングＳＥＩメッセージ中のＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するのか、それともネストされていないバッファリング期間ＳＥＩメッセージとしてＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するのかにかかわらず、バッファリング期間ＳＥＩメッセージを選択することができる。

【0134】

[0126]さらに、アクセスユニット０から始まる、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中の各アクセスユニットに対して、ビデオプロセッサは、アクセスユニットに関連付けられるとともにＴａｒｇｅｔＯｐに適用可能なピクチャタイミングＳＥＩメッセージを選択すればよい（２６２）。本開示の１つまたは複数の例示的技法によると、ビデオプロセッサは、ピクチャタイミングＳＥＩメッセージが、スケーラブルネスティングＳＥＩメッセージ中のＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するのか、それともネストされていないピクチャタイミングＳＥＩメッセージとしてＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するのかにかかわらず、ピクチャタイミングＳＥＩメッセージを選択することができる。

【0135】

[0127]さらに、アクセスユニット０から始まる、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中の各アクセスユニットに対して、ＳｕｂＰｉｃＣｐｂＦｌａｇが１に等しく、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０に等しいとき、ビデオプロセッサは、アクセスユニット中の復号ユニットに関連付けられるとともにＴａｒｇｅｔＯｐに適用される復号ユニット情報ＳＥＩメッセージを選択すればよい（２６４）。本開示の１つまたは複数の例示的技法によると、ビデオプロセッサは、復号ユニット情報ＳＥＩメッセージが、スケーラブルネスティングＳＥＩメッセージ中のＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するのか、それともネストされていない復号ユニット情報ＳＥＩメッセージとしてＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するのかにかかわらず、復号ユニット情報ＳＥＩメッセージを選択してよい。ＳｕｂＰｉｃＣｐｂＦｌａｇは、ＣＰＢが、アクセスユニットレベルそれともサブピクチャレベルで動作するようにスケジュールされるかを示す変数である。ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇは、サブピクチャＣＰＢ除去遅延パラメータがピクチャタイミングＳＥＩメッセージ中に存在するかどうかと、復号ユニット情報ＳＥＩメッセージが入手可能であるかどうかとを示すシンタックス要素である。

【0136】

[0128]次に、ビデオプロセッサは、ＳｃｈｅｄＳｅｌＩｄｘの値を選択すればよい（２６６）。選択されたＳｃｈｅｄＳｅｌＩｄｘは、両端値を含む０〜ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］の範囲内であり、ここでｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］は、上で選択されたｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ＨｉｇｈｅｓｔＴｉｄ）シンタックス構造中に見られる。ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１［］は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中のシンタックス要素の配列である。ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１［ｉ］は、ＨｉｇｈｅｓｔＴｉｄがｉに等しいとき、コーディングされたビデオシーケンスのビットストリーム中で、代替ＣＰＢ仕様の数を示す。

【0137】

[0129]アクセスユニット０中のコーディングされたピクチャが、ＣＲＡ＿ＮＵＴまたはＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、選択されたバッファリング期間ＳＥＩメッセージ中のｒａｐ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいとき、ビデオプロセッサは、初期ＣＰＢ除去遅延と遅延オフセットとを選択することができる（２６８）。バッファリング期間ＳＥＩメッセージは、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］シンタックス要素と、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］シンタックス要素と、ｒａｐ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素とを含み得る。ｒａｐ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、ｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］およびｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］シンタックス要素がバッファリング期間ＳＥＩメッセージ中に存在するかどうかを示す。ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］およびｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］は、それぞれ、第ｉのＣＰＢについての、デフォルトおよび代替初期ＣＰＢ除去遅延を指定する。ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］およびｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］は、それぞれ、コーディングされたデータユニットの初期配信時間をＣＰＢに対して指定するための、第ｉのＣＰＢについてのデフォルトおよび代替初期ＣＰＢ除去オフセットを指定する。

【0138】

[0130]以下のいずれかが、初期ＣＰＢ除去遅延および遅延オフセットの選択のために適用することができる。第１に、ビデオプロセッサは、上で指定されたＮａｌＨｒｄＭｏｄｅＦｌａｇに依存して、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］およびｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］によって表されるデフォルト初期ＣＰＢ除去遅延と遅延オフセットとを選択することができ、変数ＤｅｆａｕｌｔＩｎｉｔＣｐｂＰａｒａｍｓＦｌａｇは１に等しくセットされる。第２に、ビデオプロセッサは、上で指定されたＮａｌＨｒｄＭｏｄｅＦｌａｇに依存して、ｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］およびｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］によって表される代替初期ＣＰＢ除去遅延と遅延オフセットとを選択することができ、変数ＤｅｆａｕｌｔＩｎｉｔＣｐｂＰａｒａｍｓＦｌａｇは０に等しくセットされ、アクセスユニット０に関連付けられたランダムアクセススキップトリーディング（ＲＡＳＬ：Random Access Skipped Leading）アクセスユニットはＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅから破棄され、残りのビットストリームは依然として、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅに割り当てられる。

【0139】

[0131]さらに、選択されたｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中のｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいとき、ビデオプロセッサは、ＣＰＢを、アクセスユニットレベル（この場合、変数ＳｕｂＰｉｃＣｐｂＦｌａｇは０に等しくセットされる）またはサブピクチャレベル（この場合、変数ＳｕｂＰｉｃＣｐｂＦｌａｇは１に等しくセットされる）のいずれかで動作するようにスケジュールしてよい（２７０）。ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、サブピクチャＣＰＢ除去遅延パラメータが存在するかどうかと、ＣＰＢがアクセスユニットレベルそれともサブピクチャレベルで動作し得るかとを示す、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中のシンタックス要素である。

【0140】

[0132]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されてよく、またはコンピュータ可読媒体を介して送信されてよく、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形なコンピュータ可読記憶媒体、または、（２）信号または搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法を実装するための命令、コードおよび／またはデータ構造を取り出すために、１つもしくは複数のコンピュータ、または１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

【0141】

[0133]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を備え得る。同様に、いかなる接続も厳密にはコンピュータ可読媒体と称される。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。

【0142】

[0134]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価な統合された論理回路もしくは個別の論理回路のような、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造、または本明細書で説明された技法の実装に好適な他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のハードウェアおよび／もしくはソフトウェアモジュール内で与えられてよく、または複合コーデックに組み込まれてよい。また、本技法は、１つまたは複数の回路または論理要素中で完全に実装され得る。

【0143】

[0135]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示された技法を実行するために構成されたデバイスの機能的な側面を強調するために、様々なコンポーネント、モジュール、またはユニットが説明されたが、それらのコンポーネント、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、コーデックハードウェアユニットにおいて組み合わせられてよく、または、上で説明された１つまたは複数のプロセッサを含む、相互動作するハードウェアユニットの集合によって与えられてよい。

【0144】

[0136]様々な例が説明されてきた。これらおよび他の例は、以下の特許請求の範囲内にある。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを処理する方法であって、前記方法は下記を備える、
前記ビデオデータの符号化された表現を含むビットストリームから、前記ビットストリーム中の別のＳＥＩメッセージ内にネストされていない、ネストされていない補足強調情報（ＳＥＩ）メッセージを取得することと、
前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームのレイヤを決定すること、ここにおいて、前記ビットストリームのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤに、前記ネストされていないＳＥＩメッセージが適用可能である、およびここにおいて、前記ＳＥＩ ＮＡＬユニットの時間識別子は、前記ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しい、と、
前記ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームの前記レイヤのビデオデータを処理すること。
［Ｃ２］
前記ＳＥＩ ＮＡＬユニットはＮＡＬユニットヘッダとペイロードとを含み、
前記ＳＥＩ ＮＡＬユニットの前記ＮＡＬユニットヘッダは、少なくとも第１のシンタックス要素と第２のシンタックス要素とを含み、
前記第１のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットの前記レイヤ識別子を指定し、
前記第２のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットの前記時間識別子を指定し、
前記ＳＥＩ ＮＡＬユニットの前記ペイロードは、前記ネストされていないＳＥＩメッセージを含む、
Ｃ１に記載の方法。
［Ｃ３］
前記ネストされていないＳＥＩメッセージは、
出力ピクチャのピクチャアスペクト比とは異なるピクチャアスペクト比での表示に関連付けられたデータを含むパンスキャン方形ＳＥＩメッセージ、
特定の制約を満たすようにビットレートを調整するためのデータを含むフィラーペイロードＳＥＩメッセージ、
クリーンランダムアクセスまたは漸次復号リフレッシュについての情報を含む回復点ＳＥＩメッセージ、
シーン変化および遷移に関連付けられた情報を含むシーン情報ＳＥＩメッセージ、
関連付けられた、復号されたピクチャをビデオコンテンツの静止画像スナップショットとして標示するための指示を含むピクチャスナップショットＳＥＩメッセージ、
動画シーンではなくピクチャの品質の漸進的洗練化を表す連続ピクチャのセグメントの開始に関連付けられた情報を含む漸進的洗練化セグメント開始ＳＥＩメッセージ、
連続ピクチャの前記セグメントの終了に関連付けられた情報を含む漸進的洗練化セグメント終了ＳＥＩメッセージ、
合成フィルムグレイン効果に関連付けられた情報を含むフィルムグレイン特性ＳＥＩメッセージ、
提案されたポストフィルタ係数に関連付けられた情報またはポストフィルタ設計についての相関情報を含むポストフィルタヒントＳＥＩメッセージ、
符号化において使われ、または想定されるものとは別の色空間への再マップに関連付けられた情報を含むトーンマッピング情報ＳＥＩメッセージ、
前記ビットストリーム中への立体視ビデオのパッキングに関連付けられた情報を含むフレームパッキング配置ＳＥＩメッセージ、
前記出力ピクチャが表示されるときに前記出力ピクチャに適用されるべきフリップおよび／または回転を指定する情報を含む表示配向ＳＥＩメッセージ、
前記ビットストリームの時間およびインター予測構造を記述する情報を含むピクチャ情報ＳＥＩメッセージの構造、
アクティブパラメータセットについての情報を含むアクティブパラメータセットＳＥＩメッセージ、
０に等しい時間識別子をもつコーディングされたピクチャが欠落しているときの検出に関連付けられた情報を含む時間サブレイヤゼロインデックスＳＥＩメッセージ、あるいは
前記ネストされていないＳＥＩメッセージが適用されるスライスセグメントが、現在のピクチャのリフレッシュされた領域に属すかどうかを示す情報を含む領域リフレッシュ情報ＳＥＩメッセージ、
のうちの１つである、Ｃ１に記載の方法。
［Ｃ４］
前記方法は、前記ネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素に基づいて、前記ネストされていないＳＥＩメッセージ用のペイロードタイプ変数を決定することをさらに備え、ここにおいて、
前記ネストされていないＳＥＩメッセージ用の前記ペイロードタイプ変数は、前記ネストされていないＳＥＩメッセージのペイロードタイプを示し、
前記ネストされていないＳＥＩメッセージ用の前記ペイロードタイプ変数は、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１２９、１３１、または１３４に等しい、
Ｃ３に記載の方法。
［Ｃ５］
前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記方法は、
前記ビットストリームから、仮想参照デコーダ（ＨＲＤ）動作についての初期遅延を示す第２のネストされていないバッファリング期間ＳＥＩメッセージを取得することと、
前記第２のネストされていないバッファリング期間ＳＥＩメッセージがＴａｒｇｅｔＯｐに適用可能なとき、ＨＲＤ初期化点として、前記第２のネストされていないバッファリング期間ＳＥＩメッセージに関連付けられたアクセスユニットを選択すること、ここにおいて、ＴａｒｇｅｔＯｐは、復号対象ビットストリーム中のレイヤ識別子のセットであり、前記復号対象ビットストリームは、前記ビットストリームまたは前記ビットストリームのサブストリームである、と、
前記選択されたアクセスユニットにおいてＨＲＤを初期化することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ６］
前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記方法は、
前記ビットストリームから、第２のネストされていないＳＥＩメッセージを取得すること、前記第２のネストされていないＳＥＩメッセージは、ＨＲＤ動作についての初期遅延を示すバッファリング期間ＳＥＩメッセージ、ＨＲＤ動作についてのピクチャ出力時間とピクチャ／サブピクチャ除去時間とを示すピクチャタイミングＳＥＩメッセージ、またはＨＲＤ動作についてのサブピクチャ除去時間を示す復号ユニットＳＥＩメッセージである、と、
復号対象ビットストリーム中の各それぞれのアクセスユニットに関して、
前記ネストされていないＳＥＩメッセージが、前記アクセスユニットに関連付けられ、および前記ネストされていないＳＥＩメッセージが、前記復号対象ビットストリーム中のレイヤ識別子のセットに適用可能であるとき、前記それぞれのアクセスユニット用の前記ネストされていないＳＥＩメッセージを選択すること、ここにおいて、前記復号対象ビットストリームは、前記ビットストリームまたは前記ビットストリームのサブビットストリームである、と、
前記それぞれのアクセスユニットに関して、ＨＲＤ動作において、前記ネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素を使うことと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ７］
前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記方法は、
前記ビットストリームから、第２のネストされていないＳＥＩメッセージを取得すること、前記第２のネストされていないＳＥＩメッセージは、ＨＲＤ動作についての初期遅延を示すバッファリング期間ＳＥＩメッセージ、ＨＲＤ動作についてのピクチャ出力時間とピクチャ／サブピクチャ除去時間とを示すピクチャタイミングＳＥＩメッセージ、またはＨＲＤ動作についてのサブピクチャ除去時間を示す復号ユニットＳＥＩメッセージである、と、
前記第２のネストされていないＳＥＩメッセージに適用可能な動作点を決定することと、
ここにおいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点のすべてのＮＡＬユニットの最も高い時間識別子は、前記第２のネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットの時間識別子に等しい、および
ここにおいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点の前記ＮＡＬユニットすべてのレイヤ識別子のセットは、０から、前記第２のネストされていないＳＥＩメッセージをカプセル化する前記ＳＥＩ ＮＡＬユニットの前記レイヤ識別子までの範囲内のすべての整数値を含む、
前記第２のネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素の値に部分的に基づいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点に関してＨＲＤ動作を実施することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ８］
１つまたは複数のプロセッサを備えるビデオ処理デバイスであって、前記１つまたは複数のプロセッサは、
ビデオデータの符号化された表現を含むビットストリームから、前記ビットストリーム中の別のＳＥＩメッセージ内にネストされていない、ネストされていない補足強調情報（ＳＥＩ）メッセージを取得し、
前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームのレイヤを決定し、ここにおいて、前記ビットストリームのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤに、前記ネストされていないＳＥＩメッセージが適用可能であり、およびここにおいて、前記ＳＥＩ ＮＡＬユニットの時間識別子は、前記ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しく、
前記ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームの前記レイヤのビデオデータを処理する、
ように構成される、ビデオ処理デバイス。
［Ｃ９］
前記ＳＥＩ ＮＡＬユニットはＮＡＬユニットヘッダとペイロードとを含み、
少なくとも第１のシンタックス要素と第２のシンタックス要素とを含む前記ＳＥＩ ＮＡＬユニットの前記ＮＡＬユニットヘッダ、
前記ＳＥＩ ＮＡＬユニットの前記レイヤ識別子を指定する前記第１のシンタックス要素、
前記第２のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットの前記時間識別子を指定し、
前記ＳＥＩ ＮＡＬユニットの前記ペイロードは、前記ネストされていないＳＥＩメッセージを含む、
Ｃ８に記載のビデオ処理デバイス。
［Ｃ１０］
前記ネストされていないＳＥＩメッセージは、
出力ピクチャのピクチャアスペクト比とは異なるピクチャアスペクト比での表示に関連付けられたデータを含むパンスキャン方形ＳＥＩメッセージ、
特定の制約を満たすようにビットレートを調整するためのデータを含むフィラーペイロードＳＥＩメッセージ、
クリーンランダムアクセスまたは漸次復号リフレッシュについての情報を含む回復点ＳＥＩメッセージ、
シーン変化および遷移に関連付けられた情報を含むシーン情報ＳＥＩメッセージ、
関連付けられた、復号されたピクチャをビデオコンテンツの静止画像スナップショットとして標示するための指示を含むピクチャスナップショットＳＥＩメッセージ、
動画シーンではなくピクチャの品質の漸進的洗練化を表す連続ピクチャのセグメントの開始に関連付けられた情報を含む漸進的洗練化セグメント開始ＳＥＩメッセージ、
連続ピクチャの前記セグメントの終了に関連付けられた情報を含む漸進的洗練化セグメント終了ＳＥＩメッセージ、
合成フィルムグレイン効果に関連付けられた情報を含むフィルムグレイン特性ＳＥＩメッセージ、
提案されたポストフィルタ係数に関連付けられた情報またはポストフィルタ設計についての相関情報を含むポストフィルタヒントＳＥＩメッセージ、
符号化において使われ、または想定されるものとは別の色空間への再マップに関連付けられた情報を含むトーンマッピング情報ＳＥＩメッセージ、
前記ビットストリーム中への立体視ビデオのパッキングに関連付けられた情報を含むフレームパッキング配置ＳＥＩメッセージ、
前記出力ピクチャが表示されるときに前記出力ピクチャに適用されるべきフリップおよび／または回転を指定する情報を含む表示配向ＳＥＩメッセージ、
前記ビットストリームの時間およびインター予測構造を記述する情報を含むピクチャ情報ＳＥＩメッセージの構造、
アクティブパラメータセットについての情報を含むアクティブパラメータセットＳＥＩメッセージ、
０に等しい時間識別子をもつコーディングされたピクチャが欠落しているときの検出に関連付けられた情報を含む時間サブレイヤゼロインデックスＳＥＩメッセージ、あるいは
前記ネストされていないＳＥＩメッセージが適用されるスライスセグメントが、現在のピクチャのリフレッシュされた領域に属すかどうかを示す情報を含む領域リフレッシュ情報ＳＥＩメッセージ、
のうちの１つである、Ｃ８に記載のビデオ処理デバイス。
［Ｃ１１］
前記１つまたは複数のプロセッサは、前記ネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素に基づいて、前記ネストされていないＳＥＩメッセージ用のペイロードタイプ変数を決定するように構成され、ここにおいて、前記ネストされていないＳＥＩメッセージ用の前記ペイロードタイプ変数は、前記ネストされていないＳＥＩメッセージのペイロードタイプを示し、
前記ネストされていないＳＥＩメッセージ用の前記ペイロードタイプ変数は、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１２９、１３１、または１３４に等しい、
Ｃ１０に記載のビデオ処理デバイス。
［Ｃ１２］
前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記１つまたは複数のプロセッサは、
前記ビットストリームから、仮想参照デコーダ（ＨＲＤ）動作についての初期遅延を示す第２のネストされていないバッファリング期間ＳＥＩメッセージを取得し、
前記第２のネストされていないバッファリング期間ＳＥＩメッセージがＴａｒｇｅｔＯｐに適用可能なとき、ＨＲＤ初期化点として、前記ネストされていないバッファリング期間ＳＥＩメッセージに関連付けられたアクセスユニットを選択し、ここにおいて、ＴａｒｇｅｔＯｐは、復号対象ビットストリーム中のレイヤ識別子のセットであり、前記復号対象ビットストリームは、前記ビットストリームまたは前記ビットストリームのサブストリームであり、
前記選択されたアクセスユニットにおいてＨＲＤを初期化する、
ようにさらに構成される、Ｃ８に記載のビデオ処理デバイス。
［Ｃ１３］
前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記１つまたは複数のプロセッサは、
前記ビットストリームから、第２のネストされていないＳＥＩメッセージを取得し、前記第２のネストされていないＳＥＩメッセージは、ＨＲＤ動作についての初期遅延を示すバッファリング期間ＳＥＩメッセージ、ＨＲＤ動作についてのピクチャ出力時間とピクチャ／サブピクチャ除去時間とを示すピクチャタイミングＳＥＩメッセージ、またはＨＲＤ動作についてのサブピクチャ除去時間を示す復号ユニットＳＥＩメッセージである、
復号対象ビットストリーム中の各それぞれのアクセスユニットについて、
前記ネストされていないＳＥＩメッセージが、前記アクセスユニットに関連付けられ、および前記ネストされていないＳＥＩメッセージが、前記復号対象ビットストリーム中のレイヤ識別子のセットに適用可能であるとき、前記それぞれのアクセスユニット用の前記ネストされていないＳＥＩメッセージを選択し、ここにおいて、前記復号対象ビットストリームは、前記ビットストリームまたは前記ビットストリームのサブビットストリームであり、
前記それぞれのアクセスユニットに関して、ＨＲＤ動作において、前記ネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素を使う、
ようにさらに構成される、Ｃ８に記載のビデオ処理デバイス。
［Ｃ１４］
前記ネストされていないＳＥＩメッセージは、第１のネストされていないＳＥＩメッセージであり、
前記１つまたは複数のプロセッサは、
前記ビットストリームから、第２のネストされていないＳＥＩメッセージを取得し、前記第２のネストされていないＳＥＩメッセージは、ＨＲＤ動作についての初期遅延を示すバッファリング期間ＳＥＩメッセージ、ＨＲＤ動作についてのピクチャ出力時間とピクチャ／サブピクチャ除去時間とを示すピクチャタイミングＳＥＩメッセージ、またはＨＲＤ動作についてのサブピクチャ除去時間を示す復号ユニットＳＥＩメッセージであり、
前記第２のネストされていないＳＥＩメッセージに適用可能な動作点を決定し、
ここにおいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点のすべてのＮＡＬユニットの最も高い時間識別子は、前記第２のネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットの時間識別子に等しい、および
ここにおいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点の前記ＮＡＬユニットすべてのレイヤ識別子のセットは、０から、前記第２のネストされていないＳＥＩメッセージをカプセル化する前記ＳＥＩ ＮＡＬユニットの前記レイヤ識別子までの範囲内のすべての整数値を含み、
前記第２のネストされていないＳＥＩメッセージの１つまたは複数のシンタックス要素の値に部分的に基づいて、前記第２のネストされていないＳＥＩメッセージに適用可能な前記動作点に関してＨＲＤ動作を実施する、
ようにさらに構成される、Ｃ８に記載のビデオ処理デバイス。
［Ｃ１５］
前記１つまたは複数のプロセッサは、前記ネストされていないＳＥＩメッセージ中の前記１つまたは複数のシンタックス要素に部分的に基づいて、前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームの前記レイヤの前記ビデオデータを復号するように構成される、Ｃ８に記載のビデオ処理デバイス。
［Ｃ１６］
ビデオ処理デバイスであって、前記ビデオ処理デバイスは下記を備える、
ビデオデータの符号化された表現を含むビットストリームから、前記ビットストリーム中の別のＳＥＩメッセージ内にネストされていない、ネストされていない補足強調情報（ＳＥＩ）メッセージを取得するための手段と、
前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームのレイヤを決定するための手段、ここにおいて、前記ビットストリームのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤに、前記ネストされていないＳＥＩメッセージが適用可能であり、およびここにおいて、前記ＳＥＩ ＮＡＬユニットの時間識別子は、前記ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しい、と、
前記ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームの前記レイヤのビデオデータを処理するための手段。
［Ｃ１７］
前記ＳＥＩ ＮＡＬユニットはＮＡＬユニットヘッダとペイロードとを含み、
少なくとも第１のシンタックス要素と第２のシンタックス要素とを含む前記ＳＥＩ ＮＡＬユニットの前記ＮＡＬユニットヘッダ、
前記ＳＥＩ ＮＡＬユニットの前記レイヤ識別子を指定する前記第１のシンタックス要素、
前記第２のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットの前記時間識別子を指定し、
前記ＳＥＩ ＮＡＬユニットの前記ペイロードは、前記ネストされていないＳＥＩメッセージを含む、
Ｃ１６に記載のビデオ処理デバイス。
［Ｃ１８］
実行されると、ビデオ処理デバイスを、
ビデオデータの符号化された表現を含むビットストリームから、前記ビットストリーム中の別のＳＥＩメッセージ内にネストされていない、ネストされていない補足強調情報（ＳＥＩ）メッセージを取得し、
前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームのレイヤを決定し、ここにおいて、前記ビットストリームのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記ネストされていないＳＥＩメッセージをカプセル化するＳＥＩ ＮＡＬユニットのレイヤ識別子に等しいレイヤ識別子をレイヤに関して有し、そのレイヤに、前記ネストされていないＳＥＩメッセージが適用可能であり、およびここにおいて、前記ＳＥＩ ＮＡＬユニットの時間識別子は、前記ＳＥＩ ＮＡＬユニットを含むアクセスユニットの時間識別子に等しく、
前記ネストされていないＳＥＩメッセージ中の１つまたは複数のシンタックス要素に部分的に基づいて、前記ネストされていないＳＥＩメッセージが適用可能な前記ビットストリームの前記レイヤのビデオデータを処理する、
ように構成する命令を記憶したコンピュータ可読記憶媒体。
［Ｃ１９］
前記ＳＥＩ ＮＡＬユニットはＮＡＬユニットヘッダとペイロードとを含み、
少なくとも第１のシンタックス要素と第２のシンタックス要素とを含む前記ＳＥＩ ＮＡＬユニットの前記ＮＡＬユニットヘッダ、
前記ＳＥＩ ＮＡＬユニットの前記レイヤ識別子を指定する前記第１のシンタックス要素、
前記第２のシンタックス要素は、前記ＳＥＩ ＮＡＬユニットの前記時間識別子を指定し、
前記ＳＥＩ ＮＡＬユニットの前記ペイロードは、前記ネストされていないＳＥＩメッセージを含む、
Ｃ１８に記載のコンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】