特開 2024-96842 スケーラブルネスティングＳＥＩメッセージ管理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024096842

(43)【公開日】2024-07-17

(54)【発明の名称】スケーラブルネスティングＳＥＩメッセージ管理

(51)【国際特許分類】

   H04N 19/70 20140101AFI20240709BHJP

   H04N 19/30 20140101ALI20240709BHJP

【ＦＩ】

H04N19/70

H04N19/30

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024063231

(22)【出願日】2024-04-10

(62)【分割の表示】P 2022518744の分割

【原出願日】2020-09-08

(31)【優先権主張番号】62/905,244

(32)【優先日】2019-09-24

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ワン、イエ－クイ

(57)【要約】      （修正有）

【課題】画質をほとんど又は全く犠牲にすることなく圧縮率を改善するビデオシグナルのコード化のための装置、方法、システム及びデータ構造を提供する。
【解決手段】ビデオシーケンスをビットストリームへ符号化する方法であって、１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームを符号化し、ＯＬＳからターゲットＯＬＳを抽出するために仮想参照デコーダ（ＨＲＤ）によってサブビットストリーム抽出プロセスを実行し、スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットを、ビットストリームから除去し、ターゲットＯＬＳに対してビットストリーム適合性試験のセットを実行し、デコーダに向けて通信するためビットストリームを記憶する。
【選択図】図１０

【特許請求の範囲】

【請求項1】

１つまたは複数の記憶媒体と、受信機とを備える、ビットストリームを記憶するための装置であって、前記受信機は、１つまたは複数のビットストリームを受信するように構成されており、前記１つまたは複数のビットストリームは、ターゲット出力レイヤセット（ＯＬＳ）を含む１つまたは複数のＯＬＳのための情報を有し、
スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージが前記ターゲットＯＬＳを参照しない場合、且つ前記スケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、前記１つまたは複数のビットストリームに含まれておらず、
前記１つまたは複数の記憶媒体は、前記１つまたは複数のビットストリームを記憶するように構成されている、装置。

【請求項2】

スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、前記スケーラブルネスティングＳＥＩメッセージは、前記特定のＯＬＳに適用される、請求項１に記載の装置。

【請求項3】

ｉ番目のネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）が、前記ターゲットＯＬＳに関連付けられたターゲットＯＬＳインデックス（ｔａｒｇｅｔＯｌｓＩｄｘ）と等しくなるような、０～ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）（両端を含む）までの範囲のインデックス（ｉ）値を、前記スケーラブルネスティングＳＥＩメッセージが含んでいない場合、スケーラブルネスティングされたＳＥＩメッセージは、前記ターゲットＯＬＳを参照しない、請求項１～２のいずれか一項に記載の装置。

【請求項4】

前記スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１は、前記スケーラブルネスティングＳＥＩメッセージが適用されるＯＬＳの数を指定し、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０～ＯＬＳの総数から１を引いた数（ＴｏｔａｌＮｕｍＯｌｓｓ－１）（両端を含む）までの範囲に制約される、請求項３に記載の装置。

【請求項5】

前記ｔａｒｇｅｔＯｌｓＩｄｘは、前記ターゲットＯＬＳのＯＬＳインデックスを識別する、請求項３または４に記載の装置。

【請求項6】

ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、前記スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する、請求項２に記載の装置。

【請求項7】

ターゲットセットに属さない前記１つまたは複数のビットストリーム内の前記ＳＥＩ ＮＡＬユニットは、前記１つまたは複数のビットストリームに含まれていない、請求項１～６のいずれか一項に記載の装置。

【請求項8】

ビットストリームを記憶するための方法であって、
受信機を通じてビットストリームを受信する段階と、
１つまたは複数の記憶媒体に前記ビットストリームを記憶する段階と
を備え、前記ビットストリームは、ターゲット出力レイヤセット（ＯＬＳ）を含む１つまたは複数のＯＬＳのための情報を有し、
スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージが前記ターゲットＯＬＳを参照しない場合、且つ前記スケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、前記ビットストリームに含まれておらず、
前記１つまたは複数の記憶媒体は、前記ビットストリームを記憶するように構成されている、方法。

【請求項9】

スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、前記スケーラブルネスティングＳＥＩメッセージは、前記特定のＯＬＳに適用される、請求項８に記載の方法。

【請求項10】

ｉ番目のネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）が、前記ターゲットＯＬＳに関連付けられたターゲットＯＬＳインデックス（ｔａｒｇｅｔＯｌｓＩｄｘ）と等しくなるような、０～ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）（両端を含む）までの範囲のインデックス（ｉ）値を、前記スケーラブルネスティングＳＥＩメッセージが含んでいない場合、スケーラブルネスティングされたＳＥＩメッセージは、前記ターゲットＯＬＳを参照しない、請求項８～９のいずれか一項に記載の方法。

【請求項11】

前記スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１は、前記スケーラブルネスティングＳＥＩメッセージが適用されるＯＬＳの数を指定し、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０～ＯＬＳの総数から１を引いた数（ＴｏｔａｌＮｕｍＯｌｓｓ－１）（両端を含む）までの範囲に制約される、請求項１０に記載の方法。

【請求項12】

前記ｔａｒｇｅｔＯｌｓＩｄｘは、前記ターゲットＯＬＳのＯＬＳインデックスを識別する、請求項１０または１１に記載の方法。

【請求項13】

ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、前記スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する、請求項９に記載の方法。

【請求項14】

ターゲットセットに属さない前記ビットストリーム内の前記ＳＥＩ ＮＡＬユニットは、前記ビットストリームに含まれていない、請求項８～１３のいずれか一項に記載の方法。

【請求項15】

ビットストリームを送信するためのデバイスであって、前記デバイスは、
少なくとも１つのビットストリームを記憶するように構成されている少なくとも１つの記憶媒体であって、前記少なくとも１つのビットストリームは、ターゲット出力レイヤセット（ＯＬＳ）を含む１つまたは複数のＯＬＳのための情報を有し、
スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージが前記ターゲットＯＬＳを参照しない場合、且つ前記スケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、前記少なくとも１つのビットストリームに含まれていない、少なくとも１つの記憶媒体と、
前記少なくとも１つのビットストリームを別のデバイスへ送信するように構成されている送信機と
を備える、デバイス。

【請求項16】

ビットストリームを送信するための方法であって、前記方法は、
少なくとも１つの記憶媒体から１つまたは複数のビットストリームを取得する段階であって、前記少なくとも１つの記憶媒体は、前記１つまたは複数のビットストリームを記憶し、前記１つまたは複数のビットストリームは、ターゲット出力レイヤセット（ＯＬＳ）を含む１つまたは複数のＯＬＳのための情報を有し、
スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージが前記ターゲットＯＬＳを参照しない場合、且つ前記スケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、前記１つまたは複数のビットストリームに含まれていない、段階と、
前記１つまたは複数のビットストリームを別のデバイスへ送信する段階と
を備える、方法。

【請求項17】

符号化デバイスと、１つまたは複数の記憶媒体と、復号デバイスとを備える、ビットストリームを処理するためのシステムであって、
前記符号化デバイスは、ビデオシグナルを取得し、前記ビデオシグナルを符号化して、１つまたは複数のビットストリームを取得するように構成されており、前記１つまたは複数のビットストリームは、ターゲット出力レイヤセット（ＯＬＳ）を含む１つまたは複数のＯＬＳのための情報を有し、
スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージが前記ターゲットＯＬＳを参照しない場合、且つ前記スケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、前記１つまたは複数のビットストリームに含まれておらず、
前記復号デバイスは、前記１つまたは複数のビットストリームを復号するために用いられる、システム。

【請求項18】

コンピュータにより用いられるデータ構造であって、前記データ構造は、
ターゲット出力レイヤセット（ＯＬＳ）を含む１つまたは複数のＯＬＳのための情報を有する符号化されたビットストリームを備え、
スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージが前記ターゲットＯＬＳを参照しない場合、且つ前記スケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、前記ビットストリームに含まれていない、データ構造。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本特許出願は、参照により本明細書に組み込まれる、Ｙｅ－Ｋｕｉ Ｗａｎｇによって２０１９年９月２４日に出願され、「Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（ＨＲＤ）ｆｏｒ Ｍｕｌｔｉ－Ｌａｙｅｒ Ｖｉｄｅｏ Ｂｉｔｓｔｒｅａｍｓ」と題する、米国仮特許出願第６２／９０５，２４４号の利益を主張する。

【0002】

本開示は、一般に、ビデオコード化に関し、具体的には、マルチレイヤビットストリームの効率的な符号化および／または適合性試験をサポートするための仮想参照デコーダ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ、ＨＲＤ）パラメータの変更に関する。

【背景技術】

【0003】

比較的短いビデオであっても描写するのに必要なビデオデータの量は、かなり多くなる可能性があり、これは、データが限られた帯域幅容量を有する通信ネットワークを介してストリーミングまたは通信される場合に困難をもたらす可能性がある。したがって、ビデオデータは、一般に、今日の電気通信ネットワークを介して通信される前に圧縮される。メモリリソースが制限される可能性があるため、ビデオが記憶装置に記憶される場合、ビデオのサイズも問題になる可能性がある。ビデオ圧縮装置は、送信または記憶の前にビデオデータをコード化するためにソースでソフトウェアおよび／またはハードウェアを使用することが多く、それによって、デジタルビデオ画像を表すために必要なデータの量を減少させる。次いで、圧縮データは、ビデオデータを復号するビデオ解凍装置によって宛先で受信される。ネットワークリソースが限られており、高いビデオ品質への要求がますます高まっているため、画質をほとんどまたはまったく犠牲にすることなく圧縮率を改善する、改善された圧縮および解凍技術が望ましい。

【発明の概要】

【0004】

一実施形態では、本開示は、デコーダによって実装される方法であって、本方法は、デコーダの受信機により、ターゲット出力レイヤセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）を備えるビットストリームを受信する段階であって、スケーラブルネスティング補足拡張情報（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、およびスケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むスケーラブルネスティングＳＥＩネットワーク抽象化レイヤ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ＮＡＬ）ユニットは、サブビットストリーム抽出プロセスの一部としてビットストリームから除去される、受信する段階と、プロセッサによって、ターゲットＯＬＳからのピクチャを復号する段階とを備える、方法を含む。

【0005】

ビデオコード化システムは、ビットストリームがデコーダによって復号可能であることを保証するために、さまざまな適合性試験を適用する。例えば、適合性チェックは、適合性についてビットストリーム全体を試験することと、次いで、適合性についてビットストリームの各レイヤを試験することと、最後に、適合性について潜在的な復号可能出力をチェックすることとを含み得る。適合性チェックを実装するために、対応するパラメータがビットストリームに含まれる。仮想参照デコーダ（ＨＲＤ）は、パラメータを読み取り、試験を実行することができる。ビデオは、多くのレイヤおよび多くの異なるＯＬＳを含み得る。要求に応じて、エンコーダは、選択されたＯＬＳの１つまたは複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポートされ得るＯＬＳから最良のレイヤを送信し得る。問題は、ＯＬＳに含まれるレイヤに関する。各ＯＬＳは、デコーダで表示されるように構成された少なくとも１つの出力レイヤを含む。エンコーダのＨＲＤは、各ＯＬＳが標準に適合しているかどうかをチェックすることができる。適合するＯＬＳは常に、適合するデコーダで復号されて表示され得る。ＨＲＤプロセスは、ＳＥＩメッセージによって部分的に管理することができる。例えば、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングされたＳＥＩメッセージを含み得る。各スケーラブルネスティングされたＳＥＩメッセージは、対応するレイヤに関連するデータを含み得る。適合チェックを実行するとき、ＨＲＤは、ターゲットＯＬＳに対してビットストリーム抽出プロセスを実行することができる。ＯＬＳ内のレイヤに関連しないデータは、一般に、各ＯＬＳを別々にチェックできるように、適合性試験の前に（例えば、送信前に）除去される。いくつかのビデオコード化システムは、サブビットストリーム抽出プロセス中にスケーラブルネスティングＳＥＩメッセージを除去しないが、これは、そのようなメッセージが複数のレイヤに関連するからである。これは、スケーラブルネスティングＳＥＩメッセージがターゲットＯＬＳ（抽出されているＯＬＳ）内のいかなるレイヤにも関連しない場合であっても、サブビットストリーム抽出後にビットストリーム内に残るスケーラブルネスティングＳＥＩメッセージをもたらし得る。これは、いかなる追加の機能も提供することなく、最終ビットストリームのサイズを増加させることができる。本例は、マルチレイヤビットストリームのサイズを低減するためのメカニズムを含む。サブビットストリーム抽出中、スケーラブルネスティングＳＥＩメッセージは、ビットストリームから除去するために考慮され得る。スケーラブルネスティングＳＥＩメッセージが１つまたは複数のＯＬＳに関連する場合、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがチェックされる。スケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳ内のいかなるレイヤにも関連しない場合、スケーラブルネスティングＳＥＩメッセージ全体をビットストリームから除去することができる。これにより、デコーダに送信されるビットストリームのサイズが低減される。したがって、本例は、コード化効率を高め、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソースの使用を低減する。

【0006】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、サブビットストリーム抽出プロセスが、エンコーダ上の仮想参照デコーダ（ＨＲＤ）によって実行されることを提供する。

【0007】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージが、スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、特定のＯＬＳに適用されることを提供する。

【0008】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージに、ｉ番目のネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）が、ターゲットＯＬＳに関連付けられたターゲットＯＬＳインデックス（ｔａｒｇｅｔＯｌｓＩｄｘ）と等しくなるような、０～ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）（両端を含む）までの範囲内のインデックス（ｉ）値が含まれていない場合、スケーラブルネスティングされたＳＥＩメッセージは、ターゲットＯＬＳを参照しないことを提供する。

【0009】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１が、スケーラブルネスティングＳＥＩメッセージが適用されるＯＬＳの数を指定し、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値が、０～ＯＬＳの総数から１を引いた数（ＴｏｔａｌＮｕｍＯｌｓｓ－１）（両端を含む）までの範囲に制約されることを提供する。

【0010】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、ｔａｒｇｅｔＯｌｓＩｄｘが、ターゲットＯＬＳのＯＬＳインデックスを識別することを提供する。

【0011】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］が、スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定することを提供する。

【0012】

一実施形態では、本開示は、エンコーダによって実装される方法であって、本方法は、エンコーダのプロセッサによって、１つまたは複数のＯＬＳを含むビットストリームを符号化する段階と、プロセッサ上で動作するＨＲＤによって、ＯＬＳからターゲットＯＬＳを抽出するためにサブビットストリーム抽出プロセスを実行する段階と、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、およびスケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、プロセッサ上で動作するＨＲＤによって、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットを、ビットストリームから除去する段階と、プロセッサ上で動作するＨＲＤによって、ターゲットＯＬＳ上でビットストリーム適合性試験のセットを実行する段階とを備える、方法を含む。

【0013】

ビデオコード化システムは、ビットストリームがデコーダによって復号可能であることを保証するために、さまざまな適合性試験を適用する。例えば、適合性チェックは、適合性についてビットストリーム全体を試験することと、次いで、適合性についてビットストリームの各レイヤを試験することと、最後に、適合性について潜在的な復号可能出力をチェックすることとを含み得る。適合性チェックを実装するために、対応するパラメータがビットストリームに含まれる。仮想参照デコーダ（ＨＲＤ）は、パラメータを読み取り、試験を実行することができる。ビデオは、多くのレイヤおよび多くの異なるＯＬＳを含み得る。要求に応じて、エンコーダは、選択されたＯＬＳの１つまたは複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポートされ得るＯＬＳから最良のレイヤを送信し得る。問題は、ＯＬＳに含まれるレイヤに関する。各ＯＬＳは、デコーダで表示されるように構成された少なくとも１つの出力レイヤを含む。エンコーダのＨＲＤは、各ＯＬＳが標準に適合しているかどうかをチェックすることができる。適合するＯＬＳは常に、適合するデコーダで復号されて表示され得る。ＨＲＤプロセスは、ＳＥＩメッセージによって部分的に管理することができる。例えば、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングされたＳＥＩメッセージを含み得る。各スケーラブルネスティングされたＳＥＩメッセージは、対応するレイヤに関連するデータを含み得る。適合チェックを実行するとき、ＨＲＤは、ターゲットＯＬＳに対してビットストリーム抽出プロセスを実行することができる。ＯＬＳ内のレイヤに関連しないデータは、一般に、各ＯＬＳを別々にチェックできるように、適合性試験の前に（例えば、送信前に）除去される。いくつかのビデオコード化システムは、サブビットストリーム抽出プロセス中にスケーラブルネスティングＳＥＩメッセージを除去しないが、これは、そのようなメッセージが複数のレイヤに関連するからである。これは、スケーラブルネスティングＳＥＩメッセージがターゲットＯＬＳ（抽出されているＯＬＳ）内のいかなるレイヤにも関連しない場合であっても、サブビットストリーム抽出後にビットストリーム内に残るスケーラブルネスティングＳＥＩメッセージをもたらし得る。これは、いかなる追加の機能も提供することなく、最終ビットストリームのサイズを増加させることができる。本例は、マルチレイヤビットストリームのサイズを低減するためのメカニズムを含む。サブビットストリーム抽出中、スケーラブルネスティングＳＥＩメッセージは、ビットストリームから除去するために考慮され得る。スケーラブルネスティングＳＥＩメッセージが１つまたは複数のＯＬＳに関連する場合、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがチェックされる。スケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳ内のいかなるレイヤにも関連しない場合、スケーラブルネスティングＳＥＩメッセージ全体をビットストリームから除去することができる。これにより、デコーダに送信されるビットストリームのサイズが低減される。したがって、本例は、コード化効率を高め、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソースの使用を低減する。

【0014】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージが、スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、特定のＯＬＳに適用されることを提供する。

【0015】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージに、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］が、ターゲットＯＬＳに関連付けられたｔａｒｇｅｔＯｌｓＩｄｘと等しくなるような、０～スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１（両端を含む）までの範囲内のインデックス（ｉ）値が含まれていない場合、スケーラブルネスティングされたＳＥＩメッセージは、ターゲットＯＬＳを参照しないことを提供する。

【0016】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１が、スケーラブルネスティングＳＥＩメッセージが適用されるＯＬＳの数を指定することを提供する。

【0017】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－１（両端を含む）の範囲に制約されることを提供する。

【0018】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、ｔａｒｇｅｔＯｌｓＩｄｘが、ターゲットＯＬＳのＯＬＳインデックスを識別することを提供する。

【0019】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］が、スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定することを提供する。

【0020】

一実施形態では、本開示は、ビデオコード化装置であって、プロセッサと、プロセッサに結合された受信機と、プロセッサに結合されたメモリと、プロセッサに結合された送信機とを備え、プロセッサ、受信機、メモリ、および送信機は、前述の態様のいずれか一項に記載の方法を実行するように構成される、ビデオコード化装置を含む。

【0021】

一実施形態では、本開示は、ビデオコード化装置による使用のためのコンピュータプログラム製品を含む非一時的コンピュータ可読媒体であって、プロセッサによって実行されると、ビデオコード化装置に前述の態様のいずれか一項に記載の方法を実行させるように、コンピュータプログラム製品は、非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体を含む。

【0022】

一実施形態では、本開示は、デコーダであって、ターゲットＯＬＳを備えるビットストリームを受信する受信手段であって、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、およびスケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むスケーラブルネスティングＳＥＩ ＮＡＬユニットは、サブビットストリーム抽出プロセスの一部としてビットストリームから除去される、受信手段と、ターゲットＯＬＳからのピクチャを復号する復号手段と、復号されたビデオシーケンスの一部として表示するためにピクチャを転送する転送手段とを備える、デコーダを含む。

【0023】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、デコーダが、前述した態様のいずれかの方法を実行するようにさらに構成されることを提供する。

【0024】

一実施形態では、本開示は、エンコーダであって、１つまたは複数のＯＬＳを含むビットストリームを符号化する符号化手段と、ＨＲＤ手段であって、ＯＬＳからターゲットＯＬＳを抽出するためにサブビットストリーム抽出プロセスを実行することと、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、およびスケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットを、ビットストリームから除去することと、ターゲットＯＬＳ上でビットストリーム適合性試験のセットを実行することとを行うためのＨＲＤ手段と、デコーダに向けて通信するためのビットストリームを記憶する記憶手段とを備える、エンコーダを含む。

【0025】

任意に、前述した態様のいずれかにおいて、態様の別の実装は、エンコーダが、前述した態様のいずれかの方法を実行するようにさらに構成されることを提供する。

【0026】

明確にするために、前述の実施形態のいずれか１つを他の前述の実施形態のうちいずれか１つまたは複数と組み合わせて、本開示の範囲内の新しい実施形態を作成することができる。

【0027】

これらおよび他の特徴は、添付の図面および特許請求の範囲と併せて以下の詳細な説明からより明確に理解されるであろう。

【0028】

本開示をより完全に理解するために、添付の図面および詳細な説明に関連して以下の簡単な説明を参照するが、同様の参照番号は同様の部分を表す。

【図面の簡単な説明】

【0029】

【図1】ビデオシグナルのコード化の例示的な方法のフローチャートである。

【0030】

【図2】ビデオコード化のための例示的なコード化および復号（コーデック）システムの概略図である。

【0031】

【図3】例示的なビデオエンコーダを示す概略図である。

【0032】

【図4】例示的なビデオデコーダを示す概略図である。

【0033】

【図5】例示的な仮想参照デコーダ（ＨＲＤ）を示す概略図である。

【0034】

【図6】レイヤ間予測のために構成された例示的なマルチレイヤビデオシーケンスを示す概略図である。

【0035】

【図7】時間スケーラビリティのために構成された例示的なマルチレイヤビデオシーケンスを示す概略図である。

【0036】

【図8】例示的なビットストリームを示す概略図である。

【0037】

【図9】例示的なビデオコード化装置を示す概略図である。

【0038】

【図10】スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージを除去することによって、ビデオシーケンスをビットストリームへ符号化する例示的な方法のフローチャートである。

【0039】

【図11】スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、スケーラブルネスティングＳＥＩメッセージが除去されるビットストリームからビデオシーケンスを復号する例示的な方法のフローチャートである。

【0040】

【図12】スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、スケーラブルネスティングＳＥＩメッセージを除去することによって、ビデオシーケンスをビットストリームへ符号化する例示的なシステムの概略図である。

【発明を実施するための形態】

【0041】

最初に、１つまたは複数の実施形態の例示的な実装が以下に提供されるが、開示されたシステムおよび／または方法は、現在知られているかまたは存在しているかにかかわらず、任意の数の技術を使用して実装され得ることを理解されたい。本開示は、本明細書に示され説明される例示的な設計および実装を含む、以下に示される例示的な実装、図面、および技術に決して限定されるべきではなく、それらの均等物の全範囲と共に添付の特許請求の範囲内で修正することができる。

【0042】

以下の用語は、本明細書で反対の文脈で使用されない限り、以下のように定義される。具体的には、以下の定義は、本開示をさらに明確にすることを意図している。しかしながら、用語は、異なる文脈において異なって記載され得る。したがって、以下の定義は、補足と見なされるべきであり、本明細書においてそのような用語について提供される説明の任意の他の定義を限定すると見なされるべきではない。

【0043】

ビットストリームは、エンコーダとデコーダとの間の送信のために圧縮されたビデオデータを含む一連のビットである。エンコーダは、符号化プロセスを使用して、ビデオデータをビットストリームに圧縮するように構成された装置である。デコーダは、復号プロセスを使用して、表示のためにビットストリームからビデオデータを再構成するように構成された装置である。ピクチャは、フレームまたはそのフィールドを生成する輝度サンプルのアレイおよび／または彩度サンプルのアレイである。説明を明確にするために、符号化または復号されているピクチャを現在のピクチャと呼ぶことができる。ネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、生バイトシーケンスペイロード（ＲＢＳＰ）、データのタイプの指示、およびエミュレーション防止バイト（必要に応じて散在する）の形式のデータを含むシンタックス構造である。ビデオコード化レイヤ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ＶＣＬ）ＮＡＬユニットは、ピクチャのコード化されたスライスなどのビデオデータを含むようにコード化されたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオデータの復号、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。アクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ、ＡＵ）は、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関するＮＡＬユニットのセットである。復号ユニット（ｄｅｃｏｄｉｎｇ ｕｎｉｔ、ＤＵ）は、ＡＵまたはＡＵのサブセット、及び関連付けられた非ＶＣＬ ＮＡＬユニットである。例えば、ＡＵは、ＶＣＬ ＮＡＬユニットと、ＡＵ内のＶＣＬ ＮＡＬユニットに関連付けられた任意の非ＶＣＬ ＮＡＬユニットとを含む。さらに、ＤＵは、ＡＵまたはそのサブセットからのＶＣＬ ＮＡＬユニットのセット、およびＤＵ内のＶＣＬ ＮＡＬユニットに関連付けられた任意の非ＶＣＬ ＮＡＬユニットを含む。レイヤは、指定された特性（例えば、共通解像度、フレームレート、画像サイズなど）および関連付けられた非ＶＣＬ ＮＡＬユニットを共有するＶＣＬ ＮＡＬユニットのセットである。復号順序は、シンタックス要素が復号プロセスによって処理される順序である。ビデオパラメータセット（ＶＰＳ）は、ビデオ全体に関するパラメータを含むデータユニットである。

【0044】

時間スケーラブルビットストリームは、さまざまな時間解像度／フレームレート（例えば、各レイヤは、異なるフレームレートをサポートするようにコード化される）を提供する複数のレイヤでコード化されたビットストリームである。サブレイヤは、特定の時間識別子値を有するＶＣＬ ＮＡＬユニットおよび関連付けられた非ＶＣＬ ＮＡＬユニットを含む時間スケーラブルビットストリームの時間スケーラブルレイヤである。例えば、時間サブレイヤは、指定されたフレームレートに関連付けられたビデオデータを含むレイヤである。サブレイヤ表現は、特定のサブレイヤおよび下位のサブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。したがって、１つまたは複数の時間サブレイヤを組み合わせて、指定されたフレームレートを有するビデオシーケンスをもたらすように復号することができるサブレイヤ表現を達成することができる。出力レイヤセット（ＯＬＳ）は、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、出力（例えば、ディスプレイに）のために指定されるレイヤである。ＯＬＳインデックスは、対応するＯＬＳを一意に識別するインデックスである。ゼロ番目（０番目）のＯＬＳは、最下位レイヤ（最下位レイヤ識別子を有するレイヤ）のみを含み、したがって、出力レイヤのみを含むＯＬＳである。時間識別子（ＩＤ）は、データがビデオシーケンス内の時間的場所に対応することを示すデータ要素である。サブビットストリーム抽出プロセスは、ターゲットＯＬＳインデックスおよびターゲット最高時間ＩＤによって決定されるターゲットセットに属さないビットストリームからＮＡＬユニットを除去するプロセスである。サブビットストリーム抽出プロセスは、ターゲットセットの一部であるビットストリームからのＮＡＬユニットを含む出力サブビットストリームをもたらす。

【0045】

ＨＲＤは、符号化プロセスによって生成されたビットストリームの変動性をチェックして指定された制約との適合性を検証するエンコーダ上で動作するデコーダモデルである。ビットストリーム適合性試験は、符号化ビットストリームが多用途ビデオコード化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）などの標準に準拠しているかどうかを決定するための試験である。ＨＲＤパラメータは、ＨＲＤの動作条件を初期化および／または定義するシンタックス要素である。ＨＲＤパラメータは、ＨＲＤパラメータシンタックス構造に含めることができる。シンタックス構造は、複数の異なるパラメータを含むように構成されたデータオブジェクトである。シンタックス要素は、同じタイプの１つまたは複数のパラメータを含むデータオブジェクトである。したがって、シンタックス構造は、複数のシンタックス要素を含むことができる。シーケンスレベルのＨＲＤパラメータは、コード化されたビデオシーケンス全体に適用されるＨＲＤパラメータである。最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）は、ＨＲＤパラメータがＯＬＳ ＨＲＤパラメータのｉ番目のセットに含まれる最高サブレイヤ表現の時間ＩＤを指定する。一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造は、シーケンスレベルのＨＲＤパラメータを含むシンタックス構造である。動作点（ｏｐｅｒａｔｉｏｎ ｐｏｉｎｔ、ＯＰ）は、ＯＬＳインデックスおよび最高時間ＩＤで識別されるＯＬＳの時間サブセットである。被試験ＯＰ（ｔａｒｇｅｔＯｐ）は、ＨＲＤでの適合性試験のために選択されるＯＰである。ターゲットＯＬＳは、ビットストリームからの抽出のために選択されるＯＬＳである。復号ユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、対応するＨＲＤパラメータがＤＵレベルで動作するか、ＡＵレベルで動作するかを示すフラグである。コード化ピクチャバッファ（ｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ、ＣＰＢ）は、ビットストリーム適合性検証中に使用するために復号順序でコード化ピクチャを含むＨＲＤにおける先入れ先出しバッファである。復号されたピクチャバッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ、ＤＰＢ）は、参照、出力並べ替え、および／または出力遅延のための復号されたピクチャを保持するためのバッファである。

【0046】

補足拡張情報（ＳＥＩ）メッセージは、復号されたピクチャ内のサンプルの値を決定するために復号プロセスによって必要とされない情報を伝達する指定されたセマンティクスを有するシンタックス構造である。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳまたは１つもしくは複数のレイヤに対応する複数のＳＥＩメッセージを含むメッセージである。スケーラブルネスティングされていないＳＥＩメッセージは、ネストされておらず、したがって単一のＳＥＩメッセージを含むメッセージである。バッファリング期間（ｂｕｆｆｅｒｉｎｇ ｐｅｒｉｏｄ、ＢＰ）ＳＥＩメッセージは、ＣＰＢを管理するためにＨＲＤを初期化するためのＨＲＤパラメータを含むＳＥＩメッセージである。ピクチャタイミング（ｐｉｃｔｕｒｅ ｔｉｍｉｎｇ、ＰＴ）ＳＥＩメッセージは、ＣＰＢおよび／またはＤＰＢにおけるＡＵのための配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。復号ユニット情報（ｄｅｃｏｄｉｎｇ ｕｎｉｔ ｉｎｆｏｒｍａｔｉｏｎ、ＤＵＩ）ＳＥＩメッセージは、ＣＰＢおよび／またはＤＰＢにおけるＤＵのための配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。

【0047】

ＣＰＢ除去遅延は、対応する現在のＡＵが除去されてＤＰＢに出力される前にＣＰＢに留まることができる期間である。初期ＣＰＢ除去遅延は、ビットストリーム、ＯＬＳ、および／またはレイヤ内の各ピクチャ、ＡＵ、および／またはＤＵのデフォルトＣＰＢ除去遅延である。ＣＰＢ除去オフセットは、ＣＰＢ内の対応するＡＵの境界を決定するために使用されるＣＰＢ内の場所である。初期ＣＰＢ除去オフセットは、ビットストリーム、ＯＬＳ、および／またはレイヤ内の各ピクチャ、ＡＵ、および／またはＤＵに関連付けられたデフォルトＣＰＢ除去オフセットである。復号されたピクチャバッファ（ＤＰＢ）出力遅延情報は、対応するＡＵが出力前にＤＰＢに留まることができる期間である。ＣＰＢ除去遅延情報は、対応するＤＵのＣＰＢからの除去に関する情報である。配信スケジュールは、ＣＰＢおよび／またはＤＰＢなどのメモリ場所との間のビデオデータの配信のタイミングを指定する。ＶＰＳレイヤＩＤ（ｖｐｓ＿ｌａｙｅｒ＿ｉｄ）は、ＶＰＳで示されるｉ番目のレイヤのレイヤＩＤを示すシンタックス要素である。出力レイヤセット数から１を引いた数（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）は、ＶＰＳによって指定されたＯＬＳの総数を指定するシンタックス要素である。ＨＲＤコード化ピクチャバッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）は、代替ＣＰＢ配信スケジュールの数を指定するシンタックス要素である。サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、ＯＬＳ ＨＲＤパラメータのセットが、指定されたサブレイヤ表現のＨＲＤパラメータを含むかどうかを指定するシンタックス要素である。スケジュールインデックス（ＳｃＩｄｘ）は、配信スケジュールを識別するインデックスである。ＢＰ ＣＰＢカウントから１を引いた数（ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）は、初期ＣＰＢ除去遅延およびオフセット対の数、したがって、時間サブレイヤに利用可能な配信スケジュールの数を指定するシンタックス要素である。ＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）は、ＮＡＬユニットを含むレイヤの識別子を指定するシンタックス要素である。固定ピクチャレート一般フラグ（ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ）シンタックス要素は、出力順序が連続するピクチャのＨＲＤ出力時間の時間的な距離が制約されるかどうかを指定するシンタックス要素である。サブレイヤＨＲＤパラメータ（ｓｕｂｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造は、対応するサブレイヤのＨＲＤパラメータを含むシンタックス構造である。一般ＶＣＬ ＨＲＤパラメータ存在フラグ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、一般ＨＲＤパラメータシンタックス構造において、ＶＣＬ ＨＲＤパラメータが存在するか否かを指定するフラグである。ＢＰ最大サブレイヤから１を引いた数（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）のシンタックス要素は、ＣＰＢ除去遅延およびＣＰＢ除去オフセットがＢＰ ＳＥＩメッセージで示される時間サブレイヤの最大数を指定するシンタックス要素である。ＶＰＳ最大サブレイヤから１を引いた数（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）のシンタックス要素は、ＶＰＳによって指定されたレイヤ内に存在し得る時間サブレイヤの最大数を指定するシンタックス要素である。スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが、特定のＯＬＳまたは特定のレイヤに適用されるかを指定するフラグである。ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）は、スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定するシンタックス要素である。ネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ）は、スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳのＯＬＳインデックスを指定するシンタックス要素である。ターゲットＯＬＳインデックス（ｔａｒｇｅｔＯｌｓＩｄｘ）は、復号対象となるターゲットＯＬＳのＯＬＳインデックスを識別する変数である。ＯＬＳの総数から１を引いた数（ＴｏｔａｌＮｕｍＯｌｓｓ－１）は、ＶＰＳで指定されたＯＬＳの総数を指定するシンタックス要素である。

【0048】

本明細書では、次の頭字語、アクセスユニット（ＡＵ）、コード化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ、ＣＴＢ）、コード化ツリーユニット（ＣＴＵ）、コード化ユニット（ＣＵ）、コード化レイヤビデオシーケンス（ＣＬＶＳ）、コード化レイヤビデオシーケンス開始（ＣＬＶＳＳ）、コード化されたビデオシーケンス（ＣＶＳ）、コード化されたビデオシーケンス開始（ＣＶＳＳ）、ジョイントビデオエキスパートチーム（ＪＶＥＴ）、仮想参照デコーダ（ＨＲＤ）、動き制約タイルセット（ＭＣＴＳ）、最大転送ユニット（ＭＴＵ）、ネットワーク抽象化レイヤ（ＮＡＬ）、出力レイヤセット（ＯＬＳ）、ピクチャ順序カウント（ＰＯＣ）、ランダムアクセスポイント（ＲＡＰ）、生バイトシーケンスペイロード（ＲＢＳＰ）、シーケンスパラメータセット（ＳＰＳ）、ビデオパラメータセット（ＶＰＳ）、多用途ビデオコード化（ＶＶＣ）が使用される。

【0049】

データの損失を最小限に抑えながらビデオファイルのサイズを縮小するために、多くのビデオ圧縮技術を使用することができる。例えば、ビデオ圧縮技術は、ビデオシーケンスにおけるデータ冗長性を低減または除去するために、空間（例えば、イントラピクチャ）予測および／または時間（例えば、インターピクチャ）予測を実行することを含み得る。ブロックベースビデオコード化の場合、ビデオスライス（例えば、ビデオピクチャまたはビデオピクチャの一部）は、ビデオブロックに分割され得、これは、ツリーブロック、コード化ツリーブロック（ＣＴＢ）、コード化ツリーユニット（ＣＴＵ）、コード化ユニット（ＣＵ）、および／またはコード化ノードとも呼ばれる。ピクチャのイントラコード化された（Ｉ）スライス内のビデオブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに対する空間予測を使用してコード化される。ピクチャのインターコード化された一方向予測（Ｐ）または双方向予測（Ｂ）スライス内のビデオブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに対する空間予測または他の参照ピクチャ内の参照サンプルに対する時間予測を使用することによってコード化され得る。ピクチャは、フレームおよび／または画像と呼ばれる場合があり、参照ピクチャは、参照フレームおよび／または参照画像と呼ばれる場合がある。空間または時間予測は、画像ブロックを表す予測ブロックをもたらす。残差データは、元の画像ブロックと予測ブロックとの間のピクセル差を表す。したがって、インターコード化されたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルおよびコード化されたブロックと予測ブロックとの間の差を示す残差データに従って符号化される。イントラコード化されたブロックは、イントラコード化モードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセルドメインから変換ドメインに変換され得る。これらは、量子化され得る残差変換係数をもたらす。量子化された変換係数は、最初に２次元アレイに配置されてもよい。量子化された変換係数は、変換係数の１次元ベクトルを生成するために走査され得る。エントロピーコード化は、さらに多くの圧縮を達成するために適用され得る。そのようなビデオ圧縮技術は、以下により詳細に説明される。

【0050】

符号化されたビデオを正確に復号できるようにするために、ビデオは、対応するビデオコード化標準に従って符号化および復号される。ビデオコード化標準には、国際電気通信連合（ＩＴＵ）標準化部門（ＩＴＵ－Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）－１パート２、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２パート２、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４パート２、ＩＴＵ－Ｔ Ｈ．２６４またはＩＳＯ／ＩＥＣ ＭＰＥＧ－４パート１０としても知られる高度ビデオコード化（ＡＶＣ）、およびＩＴＵ－Ｔ Ｈ．２６５またはＭＰＥＧ－Ｈパート２としても知られる高効率ビデオコード化（ＨＥＶＣ）が含まれる。ＡＶＣは、スケーラブルビデオコード化（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＳＶＣ）、マルチビュービデオコード化（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＭＶＣ）およびマルチビュービデオコード化プラス深度（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｐｌｕｓ Ｄｅｐｔｈ、ＭＶＣ＋Ｄ）、ならびに３次元（３Ｄ）ＡＶＣ（３Ｄ－ＡＶＣ）などの拡張を含む。ＨＥＶＣは、スケーラブルＨＥＶＣ（ＳＨＶＣ）、マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）、および３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張を含む。ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣのｊｏｉｎｔ ｖｉｄｅｏ ｅｘｐｅｒｔｓ ｔｅａｍ（ＪＶＥＴ）は、多用途ビデオコード化（ＶＶＣ）と呼ばれるビデオコード化標準の開発を開始した。ＶＶＣは、ＪＶＥＴ－Ｏ２００１－ｖ１４を含むワーキングドラフト（Ｗｏｒｋｉｎｇ Ｄｒａｆｔ、ＷＤ）に含まれる。

【0051】

ビデオコード化システムは、ビットストリームがデコーダによって復号可能であることを保証するために、さまざまな適合性試験を適用する。例えば、適合性チェックは、適合性についてビットストリーム全体を試験することと、次いで、適合性についてビットストリームの各レイヤを試験することと、最後に、適合性について潜在的な復号可能出力をチェックすることとを含み得る。適合性チェックを実装するために、対応するパラメータがビットストリームに含まれる。仮想参照デコーダ（ＨＲＤ）は、パラメータを読み取り、試験を実行することができる。ビデオは、多くのレイヤおよび多くの異なる出力レイヤセット（ＯＬＳ）を含み得る。要求に応じて、エンコーダは、選択されたＯＬＳの１つまたは複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポートされ得るＯＬＳから最良のレイヤを送信し得る。この手法の第１の問題は、かなりの数のレイヤが試験されるが、実際にはデコーダに送信されないことである。しかしながら、そのような試験をサポートするためのパラメータは、依然としてビットストリームに含まれ得、これは、ビットストリームサイズを不必要に増加させる。

【0052】

第１の例では、ビットストリーム適合性試験を各ＯＬＳのみに適用するメカニズムが本明細書で開示される。このようにして、ビットストリーム全体、各レイヤ、および復号可能な出力は、対応するＯＬＳが試験されるときにまとめて試験される。したがって、適合性試験の数が削減され、エンコーダにおけるプロセッサおよびメモリリソースの使用量が削減される。さらに、適合性試験の数を削減することは、ビットストリームに含まれる関連付けられたパラメータの数を削減することができる。これは、ビットストリームサイズを減少させ、したがって、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソース利用を削減する。

【0053】

第２の問題は、いくつかのビデオコード化システムにおけるＨＲＤ適合性試験に使用されるＨＲＤパラメータシグナリングプロセスが、マルチレイヤコンテキストにおいて複雑になる可能性があることである。例えば、ＨＲＤパラメータのセットは、各ＯＬＳのレイヤごとにシグナリングされ得る。そのようなＨＲＤパラメータは、パラメータの意図された範囲に応じてビットストリーム内の異なる場所でシグナリングされ得る。これは、より多くのレイヤおよび／またはＯＬＳが追加されるにつれてより複雑になるスキームをもたらす。さらに、異なるレイヤおよび／またはＯＬＳのＨＲＤパラメータは、冗長情報を含むことができる。

【0054】

第２の例では、ＯＬＳおよび対応するレイヤのＨＲＤパラメータのグローバルセットをシグナリングするためのメカニズムが本明細書で開示される。例えば、すべてのＯＬＳおよびＯＬＳに含まれるすべてのレイヤに適用されるすべてのシーケンスレベルのＨＲＤパラメータは、ビデオパラメータセット（ＶＰＳ）でシグナリングされる。ＶＰＳはビットストリーム内で１回シグナリングされ、したがって、シーケンスレベルのＨＲＤパラメータは１回シグナリングされる。さらに、シーケンスレベルのＨＲＤパラメータは、すべてのＯＬＳに対して同じになるように制約され得る。このようにして、冗長なシグナリングが減少し、コード化効率が向上する。また、この手法はＨＲＤプロセスを単純化する。その結果、プロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用は、エンコーダおよびデコーダの両方で低減される。

【0055】

第３の問題は、ビデオコード化システムがビットストリームに対して適合性チェックを実行するときに発生し得る。ビデオは、複数のレイヤおよび／またはサブレイヤにコード化され得、これらは、次いで、ＯＬＳに編成され得る。各ＯＬＳの各レイヤおよび／またはサブレイヤは、配信スケジュールに従って適合性についてチェックされる。各配信スケジュールは、異なる送信帯域幅およびシステム能力を考慮するために、異なるコード化ピクチャバッファ（ＣＰＢ）サイズおよびＣＰＢ遅延に関連付けられる。いくつかのビデオコード化システムは、各サブレイヤが任意の数の配信スケジュールを定義することを可能にする。これは、適合性チェックをサポートするための大量のシグナリングをもたらす可能性があり、その結果、ビットストリームのコード化効率が低下する。

【0056】

第３の例では、複数のレイヤを含むビデオのコード化効率を高めるためのメカニズムが本明細書で開示される。具体的には、すべてのレイヤおよび／またはサブレイヤは、同じ数のＣＰＢ配信スケジュールを含むように制約される。例えば、エンコーダは、任意の１つのレイヤに使用されるＣＰＢ配信スケジュールの最大数を決定し、すべてのレイヤのＣＰＢ配信スケジュールの数を最大数に設定することができる。次いで、配信スケジュールの数は、例えば、ＶＰＳのＨＲＤパラメータの一部として、１回シグナリングされ得る。これにより、レイヤ／サブレイヤごとに多数のスケジュールをシグナリングする必要がなくなる。いくつかの例では、ＯＬＳ内のすべてのレイヤ／サブレイヤも同じ配信スケジュールインデックスを共有することができる。これらの変更は、適合性チェックに関連するデータをシグナリングするために使用されるデータの量を低減する。これは、ビットストリームサイズを減少させ、したがって、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソース利用を削減する。

【0057】

第４の問題は、ビデオが、複数のレイヤおよび／またはサブレイヤにコード化され、その後これらがＯＬＳに編成される場合に発生し得る。ＯＬＳは、出力レイヤのみを含むゼロ番目（０番目）のＯＬＳを含み得る。標準への適合性についてビットストリームのレイヤを試験するために使用されるレイヤ／ＯＬＳ固有のパラメータをＨＲＤに知らせるために、補足拡張情報（ＳＥＩ）メッセージがビットストリームに含まれ得る。具体的には、ＯＬＳがビットストリームに含まれる場合、スケーラブルネスティングＳＥＩメッセージが使用される。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳおよび／またはＯＬＳの１つもしくは複数のレイヤに適用されるネストされたＳＥＩメッセージのグループを含む。ネストされたＳＥＩメッセージはそれぞれ、対応するＯＬＳおよび／またはレイヤとの関連付けを示すインジケータを含み得る。ネストされたＳＥＩメッセージは、複数のレイヤで使用するように構成され、単一のレイヤを含む０番目のＯＬＳに適用されたときに無関係な情報を含むことができる。

【0058】

第４の例では、０番目のＯＬＳを含むビデオのコード化効率を高めるためのメカニズムが本明細書で開示される。０番目のＯＬＳには、スケーラブルネスティングされていないＳＥＩメッセージが使用される。スケーラブルネスティングされていないＳＥＩメッセージは、０番目のＯＬＳのみに適用され、したがって、０番目のＯＬＳに含まれる出力レイヤのみに適用されるように制約される。このようにして、ネスト関係、レイヤ指示などの無関係な情報は、ＳＥＩメッセージから省略することができる。スケーラブルネスティングされていないＳＥＩメッセージは、バッファリング期間（ＢＰ）ＳＥＩメッセージ、ピクチャタイミング（ＰＴ）ＳＥＩメッセージ、復号ユニット（ＤＵ）ＳＥＩメッセージ、またはそれらの組み合わせとして使用され得る。これらの変更は、０番目のＯＬＳの適合性チェック関連情報をシグナリングするために使用されるデータの量を低減する。これは、ビットストリームサイズを減少させ、したがって、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソース利用を削減する。

【0059】

第５の問題も、ビデオが複数のレイヤおよび／またはサブレイヤに分離されるときに発生し得る。エンコーダは、これらのレイヤをビットストリームに符号化することができる。さらに、エンコーダは、ビットストリームが標準に適合しているかどうかをチェックするために、ＨＲＤを使用して適合性試験を実行し得る。エンコーダは、そのような適合性試験をサポートするために、レイヤ固有のＨＲＤパラメータをビットストリームに含めるように構成することができる。レイヤ固有のＨＲＤパラメータは、いくつかのビデオコード化システムではレイヤごとに符号化することができる。場合によっては、レイヤ固有のＨＲＤパラメータはレイヤごとに同じであり、その結果、ビデオ符号化のサイズを不必要に増加させる冗長な情報が生じる。

【0060】

第５の例では、複数のレイヤを使用するビデオのＨＲＤパラメータの冗長性を低減するためのメカニズムが本明細書で開示される。エンコーダは、最高レイヤのＨＲＤパラメータを符号化することができる。エンコーダはまた、サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を符号化することができる。ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをゼロに設定して、すべての下位レイヤが最高レイヤと同じＨＲＤパラメータを使用する必要があることを示すことができる。これに関連して、最高レイヤは最大レイヤ識別子（ＩＤ）を有し、下位レイヤは最高レイヤのレイヤＩＤよりも小さいレイヤＩＤを有する任意のレイヤである。このようにして、下位レイヤのＨＲＤパラメータをビットストリームから省略することができる。これは、ビットストリームサイズを減少させ、したがって、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソース利用を削減する。

【0061】

第６の問題は、ビデオ内の各ビデオシーケンスに関連するシンタックス要素を含むためのシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＳＰＳ）の使用に関する。ビデオコード化システムは、レイヤおよび／またはサブレイヤにおいてビデオをコード化し得る。ビデオシーケンスは、異なるレイヤおよび／またはサブレイヤにおいて異なって動作し得る。したがって、異なるレイヤは、異なるＳＰＳを指し得る。ＢＰ ＳＥＩメッセージは、標準への適合性についてチェックされるレイヤ／サブレイヤを示し得る。いくつかのビデオコード化システムは、ＳＰＳで示されるレイヤ／サブレイヤにＢＰ ＳＥＩメッセージが適用されることを示し得る。これは、異なるレイヤが異なるＳＰＳを参照した場合に問題を引き起こす可能性があり、そのようなＳＰＳは矛盾する情報を含む可能性があり、予期しないエラーをもたらす。

【0062】

第６の例では、ビデオシーケンスに複数のレイヤが使用される場合の適合性チェックに関するエラーに対処するためのメカニズムが本明細書で開示される。具体的には、ＢＰ ＳＥＩメッセージは、ＶＰＳに記載された任意の数のレイヤ／サブレイヤが適合性についてチェックされ得ることを示すように修正される。例えば、ＢＰ ＳＥＩメッセージは、ＢＰ ＳＥＩメッセージ内のデータに関連付けられたレイヤ／サブレイヤの数を示すＢＰ最大サブレイヤから１を引いた数（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）のシンタックス要素を含み得る。一方、ＶＰＳ内のＶＰＳ最大サブレイヤから１を引いた数（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）のシンタックス要素は、ビデオ全体におけるサブレイヤの数を示す。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、０～ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素の値までの任意の値に設定され得る。このようにして、ＳＰＳ不一致に関連するレイヤベースのシーケンスの問題を回避しながら、ビデオ内の任意の数のレイヤ／サブレイヤを適合性についてチェックすることができる。したがって、本開示は、レイヤベースのコード化エラーを回避し、したがって、エンコーダおよび／またはデコーダの機能性を高める。さらに、本例は、コード化効率を高めることができるレイヤベースのコード化をサポートする。このように、本例は、エンコーダおよび／またはデコーダにおける低減されたプロセッサ、メモリ、および／またはネットワークリソースの使用をサポートする。

【0063】

第７の問題は、ＯＬＳに含まれるレイヤに関する。各ＯＬＳは、デコーダで表示されるように構成された少なくとも１つの出力レイヤを含む。エンコーダのＨＲＤは、各ＯＬＳが標準に適合しているかどうかをチェックすることができる。適合するＯＬＳは常に、適合するデコーダで復号されて表示され得る。ＨＲＤプロセスは、ＳＥＩメッセージによって部分的に管理することができる。例えば、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングされたＳＥＩメッセージを含み得る。各スケーラブルネスティングされたＳＥＩメッセージは、対応するレイヤに関連するデータを含み得る。適合チェックを実行するとき、ＨＲＤは、ターゲットＯＬＳに対してビットストリーム抽出プロセスを実行することができる。ＯＬＳ内のレイヤに関連しないデータは、一般に、各ＯＬＳを別々にチェックできるように、適合性試験の前に（例えば、送信前に）除去される。いくつかのビデオコード化システムは、サブビットストリーム抽出プロセス中にスケーラブルネスティングＳＥＩメッセージを除去しないが、これは、そのようなメッセージが複数のレイヤに関連するからである。これは、スケーラブルネスティングＳＥＩメッセージがターゲットＯＬＳ（抽出されているＯＬＳ）内のいかなるレイヤにも関連しない場合であっても、サブビットストリーム抽出後にビットストリーム内に残るスケーラブルネスティングＳＥＩメッセージをもたらし得る。これは、いかなる追加の機能も提供することなく、最終ビットストリームのサイズを増加させることができる。

【0064】

第７の例では、マルチレイヤビットストリームのサイズを低減するためのメカニズムが本明細書で開示される。サブビットストリーム抽出中、スケーラブルネスティングＳＥＩメッセージは、ビットストリームから除去するために考慮され得る。スケーラブルネスティングＳＥＩメッセージが１つまたは複数のＯＬＳに関連する場合、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがチェックされる。スケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳ内のいかなるレイヤにも関連しない場合、スケーラブルネスティングＳＥＩメッセージ全体をビットストリームから除去することができる。これにより、デコーダに送信されるビットストリームのサイズが低減される。したがって、本例は、コード化効率を高め、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソースの使用を低減する。

【0065】

図１は、ビデオシグナルのコード化の例示的な動作方法１００のフローチャートである。具体的には、ビデオシグナルは、エンコーダで符号化される。符号化プロセスは、さまざまなメカニズムを使用することによって、ビデオシグナルを圧縮し、ビデオファイルサイズを縮小する。より小さいファイルサイズは、関連付けられた帯域幅オーバーヘッドを低減しながら、圧縮されたビデオファイルをユーザに向けて送信することを可能にする。次いで、デコーダは、圧縮されたビデオファイルを復号して、エンドユーザに表示するために元のビデオシグナルを再構成する。復号プロセスは、一般に、デコーダがビデオシグナルを一貫して再構成することを可能にするために符号化プロセスをミラーリングする。

【0066】

ステップ１０１において、ビデオシグナルがエンコーダに入力される。例えば、ビデオシグナルは、メモリに記憶された非圧縮のビデオファイルであってもよい。別の例として、ビデオファイルは、ビデオカメラなどのビデオキャプチャ装置によってキャプチャされ、ビデオのライブストリーミングをサポートするために符号化され得る。ビデオファイルは、オーディオ成分およびビデオ成分の両方を含み得る。ビデオ成分は、シーケンスで見たときに動きの視覚的印象を与える一連の画像フレームを含む。フレームは、本明細書では輝度成分（または輝度サンプル）と呼ばれる光、および彩度成分（または色サンプル）と呼ばれる色に関して表現されるピクセルを含む。いくつかの例では、フレームはまた、３次元表示をサポートするための深度値を含み得る。

【0067】

ステップ１０３において、ビデオがブロックに分割される。分割は、各フレーム内のピクセルを圧縮のために正方形および／または長方形のブロックに細分することを含む。例えば、高効率ビデオコード化（ＨＥＶＣ）（Ｈ．２６５およびＭＰＥＧ－Ｈパート２としても知られる）において、フレームは、最初に、所定のサイズ（例えば、６４ピクセル×６４ピクセル）のブロックであるコード化ツリーユニット（ＣＴＵ）に分割され得る。ＣＴＵは、輝度サンプルおよび彩度サンプルの両方を含む。コード化ツリーを使用して、ＣＴＵをブロックに分割し、次いで、さらなる符号化をサポートする構成が達成されるまでブロックを再帰的に細分することができる。例えば、フレームの輝度成分は、個々のブロックが比較的均一な照明値を含むまで細分され得る。さらに、フレームの彩度成分は、個々のブロックが比較的均一な色値を含むまで細分され得る。したがって、分割メカニズムは、ビデオフレームのコンテンツに応じて変化する。

【0068】

ステップ１０５において、ステップ１０３において分割された画像ブロックを圧縮するためにさまざまな圧縮メカニズムが使用される。例えば、インター予測および／またはイントラ予測が使用され得る。インター予測は、共通のシーン内のオブジェクトが連続するフレームに現れる傾向があるという事実を利用するように設計される。したがって、参照フレーム内のオブジェクトを描写するブロックは、隣接するフレーム内で繰り返し記述される必要はない。具体的には、テーブルなどのオブジェクトは、複数のフレームにわたって一定の位置に留まり得る。したがって、テーブルは一度記述され、隣接するフレームは参照フレームを参照することができる。パターンマッチングメカニズムを使用して、複数のフレームにわたってオブジェクトをマッチングすることができる。さらに、移動するオブジェクトは、例えば、オブジェクトの移動またはカメラの移動に起因して、複数のフレームにわたって表され得る。特定の例として、ビデオは、複数のフレームにわたって画面を横切って移動する自動車を示し得る。動きベクトルを使用して、そのような動きを記述することができる。動きベクトルは、フレーム内のオブジェクトの座標から参照フレーム内のオブジェクトの座標へのオフセットを提供する２次元ベクトルである。このように、インター予測は、現在のフレーム内の画像ブロックを、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルのセットとして符号化することができる。

【0069】

イントラ予測は、共通フレーム内のブロックを符号化する。イントラ予測は、輝度および彩度成分がフレーム内でクラスタ化する傾向があるという事実を利用する。例えば、木の一部の緑色のパッチは、同様の緑色のパッチに隣接して位置する傾向がある。イントラ予測は、複数の指向性予測モード（例えば、ＨＥＶＣでは３３）、平面モード、および直流（ｄｉｒｅｃｔ ｃｕｒｒｅｎｔ、ＤＣ）モードを使用する。指向性モードは、現在のブロックが対応する方向において隣接ブロックのサンプルと類似／同じであることを示す。平面モードは、行／列に沿った一連のブロック（例えば、平面）が、行のエッジにある隣接ブロックに基づいて補間され得ることを示す。平面モードは、実際には、変化する値に比較的一定の傾きを採用することによって、行／列にわたる光／色の滑らかな遷移を示す。ＤＣモードは、境界平滑化に使用され、ブロックは、指向性予測モードの角度方向に関連付けられたすべての隣接ブロックのサンプルに関連付けられた平均値と類似／同じであることを示す。したがって、イントラ予測ブロックは、実際の値ではなく、さまざまな関係予測モード値として画像ブロックを表すことができる。さらに、インター予測ブロックは、実際の値ではなく、動きベクトル値として画像ブロックを表すことができる。いずれの場合も、予測ブロックは、場合によっては、画像ブロックを正確に表さない場合がある。差分は、残差ブロックに記憶される。変換は、ファイルをさらに圧縮するために残差ブロックに適用され得る。

【0070】

ステップ１０７において、さまざまなフィルタリング技術を適用することができる。ＨＥＶＣでは、フィルタは、インループフィルタリングスキームに従って適用される。上述したブロックベースの予測は、デコーダにおいてブロック状の乱れがある（ｂｌｏｃｋｙ）画像の作成をもたらし得る。さらに、ブロックベースの予測スキームは、ブロックを符号化し、次いで、符号化されたブロックを参照ブロックとして後で使用するために再構成することができる。インループフィルタリングスキームは、ノイズ抑制フィルタ、デブロックフィルタ、適応ループフィルタ、およびサンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）フィルタをブロック／フレームに繰り返し適用する。これらのフィルタは、符号化ファイルを正確に再構成することができるように、そのようなブロッキングアーチファクトを軽減する。さらに、これらのフィルタは、再構成された参照ブロックにおけるアーチファクトを軽減し、その結果、アーチファクトは、再構成された参照ブロックに基づいて符号化される後続のブロックにおいて追加のアーチファクトを生成する可能性が低くなる。

【0071】

ビデオシグナルが分割、圧縮、およびフィルタリングされると、ステップ１０９において、結果として得られるデータがビットストリームに符号化される。ビットストリームは、上述したデータ、ならびにデコーダにおいて適切なビデオシグナル再構成をサポートすることが望まれる任意のシグナリングデータを含む。例えば、そのようなデータは、分割データ、予測データ、残差ブロック、およびデコーダにコード化命令を提供するさまざまなフラグを含み得る。ビットストリームは、要求に応じて、デコーダに向けて送信するためにメモリに記憶されてもよい。ビットストリームはまた、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストされてもよい。ビットストリームの作成は、反復プロセスである。したがって、ステップ１０１、１０３、１０５、１０７、および１０９は、多くのフレームおよびブロックにわたって連続的におよび／または同時に行われ得る。図１に示す順序は、説明を明確かつ容易にするために提示されており、ビデオコード化プロセスを特定の順序に限定することを意図していない。

【0072】

デコーダは、ビットストリームを受信し、ステップ１１１において復号プロセスを開始する。具体的には、デコーダは、エントロピー復号スキームを使用して、ビットストリームを対応するシンタックスおよびビデオデータに変換する。デコーダは、ステップ１１１において、ビットストリームからのシンタックスデータを使用して、フレームの分割を決定する。分割は、ステップ１０３におけるブロック分割の結果と一致するはずである。ここで、ステップ１１１で使用されるエントロピー符号化／復号について説明する。エンコーダは、圧縮プロセス中に、入力画像内の値の空間的位置に基づいていくつかの可能な選択からブロック分割スキームを選択するなど、多くの選択を行う。正確な選択をシグナリングするには、多数のビンを使用し得る。本明細書で使用される場合、ビンは、変数（例えば、文脈に応じて変化し得るビット値）として扱われるバイナリ値である。エントロピーコード化は、エンコーダが、明らかに、特定のケースのために実行可能ではない任意のオプションを廃棄し、許容可能なオプションのセットを残すことを可能にする。次いで、各許容可能なオプションにコードワードが割り当てられる。コードワードの長さは、許容可能なオプションの数に基づく（例えば、２つのオプション用の１つのビン、３～４つのオプション用の２つのビンなど）。次いで、エンコーダは、選択されたオプションのコードワードを符号化する。このスキームは、コードワードのサイズを小さくし、これは、コードワードが、すべての可能なオプションの潜在的に大きなセットからの選択を一意に示すのではなく、許容可能なオプションの小さなサブセットからの選択を一意に示すのに必要なだけの大きさであるためである。次いで、デコーダは、エンコーダと同様に許容可能なオプションのセットを決定することによって選択を復号する。許容可能なオプションのセットを決定することにより、デコーダは、コードワードを読み取り、エンコーダによって行われた選択を決定し得る。

【0073】

ステップ１１３において、デコーダは、ブロック復号を実行する。具体的には、デコーダは、残差ブロックを生成するために逆変換を使用する。次いで、デコーダは、分割に従って画像ブロックを再構成するために、残差ブロックおよび対応する予測ブロックを使用する。予測ブロックは、ステップ１０５においてエンコーダで生成されるようなイントラ予測ブロックおよびインター予測ブロックの両方を含み得る。次いで、再構成された画像ブロックは、ステップ１１１で決定された分割データに従って再構成されたビデオシグナルのフレームに配置される。ステップ１１３のシンタックスはまた、上述のように、エントロピーコード化を介してビットストリーム内でシグナリングされ得る。

【0074】

ステップ１１５において、エンコーダにおけるステップ１０７と同様の方法で、再構成されたビデオシグナルのフレームに対してフィルタリングが実行される。例えば、ブロッキングアーチファクトを除去するために、ノイズ抑制フィルタ、デブロックフィルタ、適応ループフィルタ、およびＳＡＯフィルタをフレームに適用することができる。フレームがフィルタリングされると、ビデオシグナルは、エンドユーザが見るためにステップ１１７でディスプレイに出力することができる。

【0075】

図２は、ビデオコード化のための例示的なコード化および復号（コーデック）システム２００の概略図である。具体的には、コーデックシステム２００は、動作方法１００の実装をサポートする機能を提供する。コーデックシステム２００は、エンコーダおよびデコーダの両方で使用されるコンポーネントを示すために一般化される。コーデックシステム２００は、動作方法１００においてステップ１０１および１０３に関して説明したように、ビデオシグナルを受信して分割し、その結果、分割されたビデオシグナル２０１が得られる。次いで、コーデックシステム２００は、方法１００においてステップ１０５、１０７、および１０９に関して説明したように、エンコーダとして機能するときに、分割されたビデオシグナル２０１を符号化ビットストリームに圧縮する。デコーダとして動作するとき、コーデックシステム２００は、動作方法１００においてステップ１１１、１１３、１１５、および１１７に関して説明したように、ビットストリームから出力ビデオシグナルを生成する。コーデックシステム２００は、一般コーダ制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、イントラピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、動き推定コンポーネント２２１、スケーリングおよび逆変換コンポーネント２２９、フィルタ制御解析コンポーネント２２７、インループフィルタコンポーネント２２５、復号されたピクチャバッファコンポーネント２２３、ならびにヘッダフォーマッティングおよびコンテキスト適応バイナリ算術コード化（ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ、ＣＡＢＡＣ）コンポーネント２３１を含む。そのようなコンポーネントは、図示のように結合される。図２において、黒線は符号化／復号対象のデータの移動を示し、破線は他のコンポーネントの動作を制御する制御データの移動を示す。コーデックシステム２００のコンポーネントは、すべてエンコーダに存在してもよい。デコーダは、コーデックシステム２００のコンポーネントのサブセットを含み得る。例えば、デコーダは、イントラピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、スケーリングおよび逆変換コンポーネント２２９、インループフィルタコンポーネント２２５、ならびに復号されたピクチャバッファコンポーネント２２３を含み得る。次に、これらのコンポーネントについて説明する。

【0076】

分割されたビデオシグナル２０１は、コード化ツリーによってピクセルのブロックに分割されたキャプチャされたビデオシーケンスである。コード化ツリーは、ピクセルのブロックをより小さいピクセルのブロックに細分するためにさまざまなスプリットモードを使用する。次いで、これらのブロックをより小さいブロックにさらに細分することができる。ブロックは、コード化ツリー上のノードと呼ばれる場合がある。より大きな親ノードは、より小さな子ノードにスプリットされる。ノードが細分される回数は、ノード／コード化ツリーの深度と呼ばれる。分割されたブロックは、場合によっては、コード化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）に含まれ得る。例えば、ＣＵは、ＣＵのための対応するシンタックス命令と共に、輝度ブロック、赤色差分彩度（Ｃｒ）ブロック、および青色差分彩度（Ｃｂ）ブロックを含むＣＴＵの下位部分であり得る。スプリットモードには、使用されるスプリットモードに応じてさまざまな形状のノードをそれぞれ２つ、３つ、または４つの子ノードに分割するために使用されるバイナリツリー（ｂｉｎａｒｙ ｔｒｅｅ、ＢＴ）、トリプルツリー（ｔｒｉｐｌｅ ｔｒｅｅ、ＴＴ）、およびクワッドツリー（ｑｕａｄ ｔｒｅｅ、ＱＴ）が含まれ得る。分割されたビデオシグナル２０１は、圧縮のために、一般コーダ制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、フィルタ制御解析コンポーネント２２７、ならびに動き推定コンポーネント２２１に転送される。

【0077】

一般コーダ制御コンポーネント２１１は、アプリケーション制約に従って、ビデオシーケンスの画像のビットストリームへのコード化に関する決定を行うように構成される。例えば、一般コーダ制御コンポーネント２１１は、ビットレート／ビットストリームサイズ対再構成品質の最適化を管理する。そのような決定は、記憶スペース／帯域幅の可用性および画像解像度の要求に基づいて行うことができる。一般コーダ制御コンポーネント２１１はまた、バッファアンダーランおよびオーバーランの問題を緩和するために、送信速度に照らしてバッファ利用を管理する。これらの問題を管理するために、一般コーダ制御コンポーネント２１１は、他のコンポーネントによる分割、予測、およびフィルタリングを管理する。例えば、一般コーダ制御コンポーネント２１１は、圧縮複雑度を動的に増加させて解像度を高め、帯域幅使用量を増加させ、または圧縮複雑度を減少させて解像度および帯域幅使用量を減少させ得る。したがって、一般コーダ制御コンポーネント２１１は、ビデオシグナル再構成品質とビットレートの懸念とのバランスをとるために、コーデックシステム２００の他のコンポーネントを制御する。一般コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを作成する。制御データはまた、デコーダで復号するためのシグナルパラメータにビットストリームで符号化されるようにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。

【0078】

分割されたビデオシグナル２０１はまた、インター予測のために動き推定コンポーネント２２１および動き補償コンポーネント２１９に送信される。分割されたビデオシグナル２０１のフレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定コンポーネント２２１および動き補償コンポーネント２１９は、時間予測を提供するために、受信されたビデオブロックの、１つまたは複数の参照フレームにおける１つまたは複数のブロックに対するインター予測コード化を実行する。コーデックシステム２００は、例えば、ビデオデータの各ブロックに適切なコード化モードを選択するために、複数のコード化パスを実行し得る。

【0079】

動き推定コンポーネント２２１および動き補償コンポーネント２１９は、高度に統合されてもよいが、概念的な目的のために別々に示されている。動き推定コンポーネント２２１によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、予測ブロックに対するコード化されたオブジェクトの変位を示し得る。予測ブロックは、ピクセル差に関して、コード化されるべきブロックと厳密に一致することが見出されるブロックである。予測ブロックはまた、参照ブロックと呼ばれることもある。そのようなピクセル差は、絶対差の和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）、二乗差の和（ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｆｆｅｒｅｎｃｅ、ＳＳＤ）、または他の差メトリックによって決定され得る。ＨＥＶＣは、ＣＴＵ、コード化ツリーブロック（ＣＴＢ）、およびＣＵを含むいくつかのコード化オブジェクトを使用する。例えば、ＣＴＵはＣＴＢに分割することができ、次いで、ＣＵに含めるためにＣＢに分割され得る。ＣＵは、予測データを含む予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）および／またはＣＵ用の変換された残差データを含む変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）として符号化することができる。動き推定コンポーネント２２１は、レート歪み最適化プロセスの一部としてレート歪み解析を使用することによって、動きベクトル、ＰＵ、およびＴＵを生成する。例えば、動き推定コンポーネント２２１は、現在のブロック／フレームについて複数の参照ブロック、複数の動きベクトルなどを決定することができ、最良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択することができる。最良のレート歪み特性は、ビデオ再構成（例えば、圧縮によるデータ損失の量）の品質およびコード化効率（例えば、最終符号化のサイズ）の両方のバランスをとる。

【0080】

いくつかの例では、コーデックシステム２００は、復号されたピクチャバッファコンポーネント２２３に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算することができる。例えば、ビデオコーデックシステム２００は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の小数ピクセル位置の値を補間し得る。したがって、動き推定コンポーネント２２１は、全ピクセル位置および小数ピクセル位置に対して動き探索を行い、小数ピクセル精度で動きベクトルを出力することができる。動き推定コンポーネント２２１は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス内のビデオブロックのＰＵに対する動きベクトルを計算する。動き推定コンポーネント２２１は、計算された動きベクトルを動きデータとしてヘッダフォーマッティングに出力し、符号化および動きのためのＣＡＢＡＣコンポーネント２３１を動き補償コンポーネント２１９に出力する。

【0081】

動き補償コンポーネント２１９によって実行される動き補償は、動き推定コンポーネント２２１によって決定された動きベクトルに基づいて、予測ブロックをフェッチまたは生成することを含み得る。ここでも、いくつかの例では、動き推定コンポーネント２２１および動き補償コンポーネント２１９は、機能的に統合されてもよい。現在のビデオブロックのＰＵの動きベクトルを受信すると、動き補償コンポーネント２１９は、動きベクトルが指し示す予測ブロックに位置し得る。次いで、符号化されている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算してピクセル差値を形成することによって、残差ビデオブロックが形成される。一般に、動き推定コンポーネント２２１は、輝度成分に対する動き推定を実行し、動き補償コンポーネント２１９は、彩度成分および輝度成分の両方について輝度成分に基づいて計算された動きベクトルを使用する。予測ブロックおよび残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。

【0082】

分割されたビデオシグナル２０１はまた、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７にも送信される。動き推定コンポーネント２２１および動き補償コンポーネント２１９と同様に、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、高度に統合されてもよいが、概念的な目的のために別々に示されている。イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、上述したように、フレーム間で動き推定コンポーネント２２１および動き補償コンポーネント２１９によって実行されるインター予測の代替として、現在のフレーム内のブロックに対して現在のブロックをイントラ予測する。特に、イントラピクチャ推定コンポーネント２１５は、現在のブロックを符号化するために使用するイントラ予測モードを決定する。いくつかの例では、イントラピクチャ推定コンポーネント２１５は、複数の試験されたイントラ予測モードから現在のブロックを符号化するために適切なイントラ予測モードを選択する。次いで、選択されたイントラ予測モードは、符号化のためにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。

【0083】

例えば、イントラピクチャ推定コンポーネント２１５は、さまざまな試験されたイントラ予測モードのレート歪み解析を使用してレート歪み値を計算し、試験されたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み解析は、一般に、符号化されたブロックと符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（またはエラー）の量、および符号化されたブロックを生成するために使用されるビットレート（例えば、ビット数）を決定する。イントラピクチャ推定コンポーネント２１５は、さまざまな符号化されたブロックの歪みおよびレートから比率を計算して、どのイントラ予測モードがブロックの最良のレート歪み値を示すかを決定する。加えて、イントラピクチャ推定コンポーネント２１５は、レート歪み最適化（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ、ＲＤＯ）に基づく深度モデリングモード（ｄｅｐｔｈ ｍｏｄｅｌｉｎｇ ｍｏｄｅ、ＤＭＭ）を使用して、深度マップの深度ブロックをコード化するように構成され得る。

【0084】

イントラピクチャ予測コンポーネント２１７は、エンコーダ上で実装された場合、イントラピクチャ推定コンポーネント２１５によって決定された選択されたイントラ予測モードに基づいて予測ブロックから残差ブロックを生成し得る、またはデコーダ上で実装された場合、ビットストリームから残差ブロックを読み出し得る。残差ブロックは、行列として表される、予測ブロックと元のブロックとの間の値の差を含む。次いで、残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、輝度成分および彩度成分の両方で動作し得る。

【0085】

変換スケーリングおよび量子化コンポーネント２１３は、残差ブロックをさらに圧縮するように構成される。変換スケーリングおよび量子化コンポーネント２１３は、離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ、ＤＣＴ）、離散サイン変換（ｄｉｓｃｒｅｔｅ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ、ＤＳＴ）、または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換も使用することができる。変換は、残差情報をピクセル値ドメインから周波数ドメインなどの変換ドメインに変換することができる。変換スケーリングおよび量子化コンポーネント２１３はまた、例えば、周波数に基づいて、変換された残差情報をスケーリングするように構成される。そのようなスケーリングは、異なる周波数情報が異なる粒度で量子化されるように残差情報にスケールファクタを適用することを含み、これは、再構成されたビデオの最終的な視覚的品質に影響を及ぼし得る。変換スケーリングおよび量子化コンポーネント２１３はまた、ビットレートをさらに低減するために、変換係数を量子化するように構成される。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減することができる。量子化の程度は、量子化パラメータを調整することによって変更することができる。いくつかの例では、変換スケーリングおよび量子化コンポーネント２１３は、次いで、量子化された変換係数を含む行列のスキャンを実行することができる。量子化された変換係数は、ビットストリーム内で符号化されるようにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。

【0086】

スケーリングおよび逆変換コンポーネント２２９は、動き推定をサポートするために、変換スケーリングおよび量子化コンポーネント２１３の逆演算を適用する。スケーリングおよび逆変換コンポーネント２２９は、例えば、別の現在のブロックの予測ブロックになり得る参照ブロックとして後で使用するために、逆スケーリング、変換、および／または量子化を適用して、ピクセルドメイン内の残差ブロックを再構成する。動き推定コンポーネント２２１および／または動き補償コンポーネント２１９は、後のブロック／フレームの動き推定に使用するために、残差ブロックを対応する予測ブロックに加算し戻すことによって、参照ブロックを計算することができる。フィルタは、再構成された参照ブロックに適用され、スケーリング、量子化、および変換中に生成されるアーチファクトを軽減する。そうでなければ、このようなアーチファクトは、後続のブロックが予測されるときに不正確な予測を引き起こす（および追加のアーチファクトを生成する）場合がある。

【0087】

フィルタ制御解析コンポーネント２２７およびインループフィルタコンポーネント２２５は、フィルタを、残差ブロックおよび／または再構成された画像ブロックに適用する。例えば、スケーリングおよび逆変換コンポーネント２２９からの変換された残差ブロックは、イントラピクチャ予測コンポーネント２１７および／または動き補償コンポーネント２１９からの対応する予測ブロックと組み合わされて、元の画像ブロックを再構成することができる。次いで、フィルタを再構成された画像ブロックに適用することができる。いくつかの例では、フィルタは、代わりに、残差ブロックに適用されてもよい。図２の他のコンポーネントと同様に、フィルタ制御解析コンポーネント２２７およびインループフィルタコンポーネント２２５は、高度に統合されており、一緒に実装することができるが、概念的な目的のために別々に示されている。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、そのようなフィルタがどのように適用されるかを調整するための複数のパラメータを含む。フィルタ制御解析コンポーネント２２７は、再構成された参照ブロックを解析して、そのようなフィルタが適用されるべき場所を決定し、対応するパラメータを設定する。そのようなデータは、符号化のためのフィルタ制御データとしてヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。インループフィルタコンポーネント２２５は、フィルタ制御データに基づいてそのようなフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、および適応ループフィルタを含み得る。そのようなフィルタは、例に応じて、空間／ピクセルドメイン（例えば、再構成されたピクセルブロック上）または周波数ドメインに適用することができる。

【0088】

エンコーダとして動作するとき、フィルタリングされた再構成された画像ブロック、残差ブロック、および／または予測ブロックは、上述のように、動き推定に後で使用するために復号されたピクチャバッファコンポーネント２２３に記憶される。デコーダとして動作するとき、復号されたピクチャバッファコンポーネント２２３は、再構成およびフィルタリングされたブロックを記憶し、出力ビデオシグナルの一部としてディスプレイに向けて転送する。復号されたピクチャバッファコンポーネント２２３は、予測ブロック、残差ブロック、および／または再構成された画像ブロックを記憶することができる任意のメモリ装置とすることができる。

【0089】

ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、コーデックシステム２００のさまざまなコンポーネントからデータを受信し、デコーダに向けて送信するためにそのようなデータをコード化ビットストリームに符号化する。具体的には、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、一般制御データおよびフィルタ制御データなどの制御データを符号化するためのさまざまなヘッダを生成する。さらに、イントラ予測および動きデータを含む予測データ、ならびに量子化された変換係数データの形態の残差データは、すべてビットストリーム内で符号化される。最終ビットストリームは、元の分割されたビデオシグナル２０１を再構成するためにデコーダによって所望されるすべての情報を含む。そのような情報はまた、イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）、さまざまなブロックのための符号化コンテキストの定義、最も可能性の高いイントラ予測モードの指示、分割情報の指示などを含み得る。そのようなデータは、エントロピーコード化を適用することによって、符号化され得る。例えば、情報は、コンテキスト適応可変長コード化（ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ、ＣＡＶＬＣ）、ＣＡＢＡＣ、シンタックスベースのコンテキスト適応バイナリ算術コード化（ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ、ＳＢＡＣ）、確率区間分割エントロピー（ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ、ＰＩＰＥ）コード化、または別のエントロピーコード化技術を使用することによって、符号化され得る。エントロピーコード化に続いて、コード化されたビットストリームは、別の装置（例えば、ビデオデコーダ）へ送信され得る、または、後の送信または取得のためにアーカイブされ得る。

【0090】

図３は、例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００は、コーデックシステム２００の符号化機能を実装するために、ならびに／または動作方法１００のステップ１０１、１０３、１０５、１０７、および／もしくは１０９を実装するために使用され得る。エンコーダ３００は、入力ビデオシグナルを分割し、分割されたビデオシグナル２０１と実質的に同様の分割されたビデオシグナル３０１をもたらす。分割されたビデオシグナル３０１は、次いで、エンコーダ３００のコンポーネントによって圧縮され、ビットストリームに符号化される。

【0091】

具体的には、分割されたビデオシグナル３０１は、イントラ予測のためにイントラピクチャ予測コンポーネント３１７に転送される。イントラピクチャ予測コンポーネント３１７は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７と実質的に同様であってもよい。分割されたビデオシグナル３０１はまた、復号されたピクチャバッファコンポーネント３２３内の参照ブロックに基づいて、インター予測のために動き補償コンポーネント３２１に転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１および動き補償コンポーネント２１９と実質的に同様であってもよい。イントラピクチャ予測コンポーネント３１７および動き補償コンポーネント３２１からの予測ブロックおよび残差ブロックは、残差ブロックの変換および量子化のために変換および量子化コンポーネント３１３に転送される。変換および量子化コンポーネント３１３は、変換スケーリングおよび量子化コンポーネント２１３と実質的に同様であってもよい。変換および量子化された残差ブロックならびに対応する予測ブロック（関連付けられた制御データと共に）は、ビットストリームへのコード化のためにエントロピーコード化コンポーネント３３１に転送される。エントロピーコード化コンポーネント３３１は、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１と実質的に同様であってもよい。

【0092】

変換および量子化された残差ブロックならびに／または対応する予測ブロックはまた、動き補償コンポーネント３２１による使用のために参照ブロックへの再構成のために、変換および量子化コンポーネント３１３から逆変換および量子化コンポーネント３２９に転送される。逆変換および量子化コンポーネント３２９は、スケーリングおよび逆変換コンポーネント２２９と実質的に同様であってもよい。インループフィルタコンポーネント３２５内のインループフィルタはまた、例に応じて、残差ブロックおよび／または再構成された参照ブロックに適用される。インループフィルタコンポーネント３２５は、フィルタ制御解析コンポーネント２２７およびインループフィルタコンポーネント２２５と実質的に同様であってもよい。インループフィルタコンポーネント３２５は、インループフィルタコンポーネント２２５に関して説明したように、複数のフィルタを含み得る。次いで、フィルタリングされたブロックは、動き補償コンポーネント３２１によって参照ブロックとして使用するために、復号されたピクチャバッファコンポーネント３２３に記憶される。復号されたピクチャバッファコンポーネント３２３は、復号されたピクチャバッファコンポーネント２２３と実質的に同様であってもよい。

【0093】

図４は、例示的なビデオデコーダ４００を示すブロック図である。ビデオデコーダ４００は、コーデックシステム２００の復号機能を実装するために、ならびに／または動作方法１００のステップ１１１、１１３、１１５、および／もしくは１１７を実装するために使用され得る。デコーダ４００は、例えば、エンコーダ３００からビットストリームを受信し、エンドユーザに表示するためにビットストリームに基づいて再構成された出力ビデオシグナルを生成する。

【0094】

ビットストリームは、エントロピー復号コンポーネント４３３によって受信される。エントロピー復号コンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコード化、または他のエントロピーコード化技術などのエントロピー復号スキームを実装するように構成される。例えば、エントロピー復号コンポーネント４３３は、ヘッダ情報を使用して、ビットストリーム内のコードワードとして符号化された追加のデータを解釈するためのコンテキストを提供することができる。復号された情報は、一般制御データ、フィルタ制御データ、分割情報、動きデータ、予測データ、および残差ブロックからの量子化された変換係数など、ビデオシグナルを復号するための任意の所望の情報を含む。量子化された変換係数は、残差ブロックへの再構成のために、逆変換および量子化コンポーネント４２９に転送される。逆変換および量子化コンポーネント４２９は、逆変換および量子化コンポーネント３２９と同様であってもよい。

【0095】

再構成された残差ブロックおよび／または予測ブロックは、イントラ予測演算に基づいて画像ブロックに再構成するために、イントラピクチャ予測コンポーネント４１７に転送される。イントラピクチャ予測コンポーネント４１７は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７と同様であってもよい。具体的には、イントラピクチャ予測コンポーネント４１７は、予測モードを使用してフレーム内の参照ブロックを特定し、残差ブロックを適用して、その結果、イントラ予測画像ブロックを再構成する。再構成されたイントラ予測画像ブロックおよび／または残差ブロックおよび対応するインター予測データは、それぞれ、復号されたピクチャバッファコンポーネント２２３およびインループフィルタコンポーネント２２５と実質的に同様であり得る、インループフィルタコンポーネント４２５を介して復号されたピクチャバッファコンポーネント４２３に転送される。インループフィルタコンポーネント４２５は、再構成された画像ブロック、残差ブロック、および／または予測ブロックをフィルタリングし、そのような情報は、復号されたピクチャバッファコンポーネント４２３に記憶される。復号されたピクチャバッファコンポーネント４２３からの再構成された画像ブロックは、インター予測のために動き補償コンポーネント４２１に転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１および／または動き補償コンポーネント２１９と実質的に同様であってもよい。具体的には、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを用いて予測ブロックを生成し、残差ブロックを結果に適用して画像ブロックを再構成する。結果として得られる再構成されたブロックはまた、インループフィルタコンポーネント４２５を介して復号されたピクチャバッファコンポーネント４２３に転送されてもよい。復号されたピクチャバッファコンポーネント４２３は、分割情報を介してフレームに再構成することができる追加の再構成された画像ブロックを記憶し続ける。そのようなフレームはまた、シーケンス内に配置されてもよい。シーケンスは、再構成された出力ビデオシグナルとしてディスプレイに向けて出力される。

【0096】

図５は、例示的なＨＲＤ５００を示す概略図である。ＨＲＤ５００は、例えば、コーデックシステム２００および／またはエンコーダ３００のようなエンコーダにおいて適用され得る。ＨＲＤ５００は、ビットストリームがデコーダ４００などのデコーダに転送される前に、方法１００のステップ１０９で作成されたビットストリームをチェックすることができる。いくつかの例では、ビットストリームは、ビットストリームが符号化されるときにＨＲＤ５００を介して連続的に転送され得る。ビットストリームの一部が関連付けられた制約に適合しない場合、ＨＲＤ５００は、そのような失敗をエンコーダに示して、エンコーダに異なるメカニズムでビットストリームの対応するセクションを再符号化させることができる。

【0097】

ＨＲＤ５００は、仮想ストリームスケジューラ（ｈｙｐｏｔｈｅｔｉｃａｌ ｓｔｒｅａｍ ｓｃｈｅｄｕｌｅｒ、ＨＳＳ）５４１を含む。ＨＳＳ５４１は、仮想配信メカニズムを実行するように構成されたコンポーネントである。仮想配信メカニズムは、ＨＲＤ５００に入力されるビットストリーム５５１のタイミングおよびデータフローに関して、ビットストリームまたはデコーダの適合性をチェックするために使用される。例えば、ＨＳＳ５４１は、エンコーダから出力されたビットストリーム５５１を受信し、ビットストリーム５５１に対する適合性試験プロセスを管理することができる。特定の例では、ＨＳＳ５４１は、コード化されたピクチャがＨＲＤ５００を移動するレートを制御し、ビットストリーム５５１が不適合なデータを含まないことを検証することができる。

【0098】

ＨＳＳ５４１は、所定のレートでビットストリーム５５１をＣＰＢ５４３に転送することができる。ＨＲＤ５００は、復号ユニット（ＤＵ）５５３でデータを管理することができる。ＤＵ５５３は、ＡＵまたはＡＵのサブセット、および関連付けられた非ビデオコード化レイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットである。具体的には、ＡＵは、出力時間に関連付けられた１つまたは複数のピクチャを含む。例えば、ＡＵは、単一のレイヤビットストリームに単一のピクチャを含み得、マルチレイヤビットストリームにレイヤごとのピクチャを含み得る。ＡＵの各ピクチャは、対応するＶＣＬ ＮＡＬユニットに各々含まれるスライスに分割され得る。したがって、ＤＵ５５３は、１つもしくは複数のピクチャ、ピクチャの１つもしくは複数のスライス、またはそれらの組み合わせを含み得る。また、ＡＵ、ピクチャ、および／またはスライスを復号するために使用されるパラメータは、非ＶＣＬ ＮＡＬユニットに含まれ得る。このように、ＤＵ５５３は、ＤＵ５５３内のＶＣＬ ＮＡＬユニットの復号をサポートするために必要なデータを含む非ＶＣＬ ＮＡＬユニットを含む。ＣＰＢ５４３は、ＨＲＤ５００における先入れ先出しバッファである。ＣＰＢ５４３は、復号順序にビデオデータを含むＤＵ５５３を含む。ＣＰＢ５４３は、ビットストリーム適合性検証中に使用するためのビデオデータを記憶する。

【0099】

ＣＰＢ５４３は、ＤＵ５５３を復号プロセスコンポーネント５４５に転送する。復号プロセスコンポーネント５４５は、ＶＶＣ標準に準拠したコンポーネントである。例えば、復号プロセスコンポーネント５４５は、エンドユーザによって使用されるデコーダ４００をエミュレートすることができる。復号プロセスコンポーネント５４５は、例示的なエンドユーザデコーダによって達成され得るレートでＤＵ５５３を復号する。復号プロセスコンポーネント５４５が、ＣＰＢ５４３のオーバーフローを防止するのに十分な速さでＤＵ５５３を復号することができない場合、ビットストリーム５５１は、標準に準拠せず、再符号化されるべきである。

【0100】

復号プロセスコンポーネント５４５は、ＤＵ５５３を復号し、復号されたＤＵ５５５を作成する。復号されたＤＵ５５５は、復号されたピクチャを含む。復号されたＤＵ５５５は、ＤＰＢ５４７に転送される。ＤＰＢ５４７は、復号されたピクチャバッファコンポーネント２２３、３２３、および／または４２３と実質的に同様であってもよい。インター予測をサポートするために、復号されたＤＵ５５５から取得された参照ピクチャ５５６として使用するためにマークされたピクチャは、さらなる復号をサポートするために復号プロセスコンポーネント５４５に戻される。ＤＰＢ５４７は、復号されたビデオシーケンスを一連のピクチャ５５７として出力する。ピクチャ５５７は、エンコーダによってビットストリーム５５１に符号化されたピクチャを概してミラーリングする再構成されたピクチャである。

【0101】

ピクチャ５５７は、出力クロッピングコンポーネント５４９に転送される。出力クロッピングコンポーネント５４９は、適合性クロッピングウィンドウをピクチャ５５７に適用するように構成される。これにより、出力トリミングピクチャ５５９が得られる。出力トリミングピクチャ５５９は、完全に再構成されたピクチャである。したがって、出力トリミングピクチャ５５９は、エンドユーザがビットストリーム５５１を復号するときに見るであろうものを模倣する。このように、エンコーダは、出力トリミングピクチャ５５９をレビューして、符号化が満足のいくものであることを保証することができる。

【0102】

ＨＲＤ５００は、ビットストリーム５５１内のＨＲＤパラメータに基づいて初期化される。例えば、ＨＲＤ５００は、ＶＰＳ、ＳＰＳ、および／またはＳＥＩメッセージからＨＲＤパラメータを読み取ることができる。次いで、ＨＲＤ５００は、そのようなＨＲＤパラメータ内の情報に基づいてビットストリーム５５１に対して適合性試験動作を実行することができる。具体例として、ＨＲＤ５００は、ＨＲＤパラメータから１つまたは複数のＣＰＢ配信スケジュール５６１を決定し得る。配信スケジュールは、ＣＰＢおよび／またはＤＰＢなどのメモリ場所との間のビデオデータの配信のタイミングを指定する。したがって、ＣＰＢ配信スケジュール５６１は、ＣＰＢ５４３との間のＡＵ、ＤＵ５５３、および／またはピクチャの配信のタイミングを指定する。例えば、ＣＰＢ配信スケジュール５６１は、ＣＰＢ５４３のビットレートおよびバッファサイズを記述することができ、そのようなビットレートおよびバッファサイズは、デコーダの特定のクラスおよび／またはネットワーク条件に対応する。したがって、ＣＰＢ配信スケジュール５６１は、追い出しの前にＣＰＢ５４３にデータがどれだけ長く残ることができるかを示すことができる。適合性試験中にＨＲＤ５００においてＣＰＢ配信スケジュール５６１を維持できないことは、ＣＰＢ配信スケジュール５６１に対応するデコーダが対応するビットストリームを復号できないことを示す。ＨＲＤ５００は、ＣＰＢ配信スケジュール５６１と同様のＤＰＢ５４７のＤＰＢ配信スケジュールを使用することができることに留意されたい。

【0103】

ビデオは、さまざまなレベルのハードウェア能力を有するデコーダによって使用するために、およびさまざまなネットワーク条件のために、異なるレイヤおよび／またはＯＬＳにコード化され得る。ＣＰＢ配信スケジュール５６１は、これらの問題を反映するように選択される。したがって、上位レイヤサブビットストリームは、最適なハードウェアおよびネットワーク条件に指定され、したがって、上位レイヤは、ＣＰＢ５４３内の大量のメモリおよびＤＰＢ５４７に向かうＤＵ５５３の転送のための短い遅延を使用する１つまたは複数のＣＰＢ配信スケジュール５６１を受信し得る。同様に、下位レイヤサブビットストリームは、限られたデコーダハードウェア能力および／または劣悪なネットワーク条件に対して指定される。したがって、下位レイヤは、ＣＰＢ５４３内の少量のメモリおよびＤＰＢ５４７に向かうＤＵ５５３の転送のためのより長い遅延を使用する１つまたは複数のＣＰＢ配信スケジュール５６１を受信し得る。次いで、ＯＬＳ、レイヤ、サブレイヤ、またはそれらの組み合わせを、対応する配信スケジュール５６１に従って試験して、結果として得られるサブビットストリームが、サブビットストリームに対して期待される条件下で正しく復号され得ることを保証することができる。ＣＰＢ配信スケジュール５６１は、各々が、スケジュールインデックス（ＳｃＩｄｘ）５６３に関連付けられている。ＳｃＩｄｘ５６３は、配信スケジュールを識別するインデックスである。したがって、ビットストリーム５５１内のＨＲＤパラメータは、ＳｃＩｄｘ５６３によってＣＰＢ配信スケジュール５６１を示し得、ならびにＨＲＤ５００がＣＰＢ配信スケジュール５６１を決定し、ＣＰＢ配信スケジュール５６１を対応するＯＬＳ、レイヤ、および／またはサブレイヤに相関させるのに十分なデータを含み得る。

【0104】

図６は、レイヤ間予測６２１のために構成された例示的なマルチレイヤビデオシーケンス６００を示す概略図である。マルチレイヤビデオシーケンス６００は、例えば、方法１００に従って、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって符号化され、コーデックシステム２００および／またはデコーダ４００などのデコーダによって復号され得る。さらに、マルチレイヤビデオシーケンス６００は、ＨＲＤ５００などのＨＲＤによって標準適合性についてチェックされ得る。マルチレイヤビデオシーケンス６００は、コード化されたビデオシーケンス内のレイヤの例示的なアプリケーションを示すために含まれる。マルチレイヤビデオシーケンス６００は、レイヤＮ ６３１およびレイヤＮ＋１ ６３２などの複数のレイヤを使用する任意のビデオシーケンスである。

【0105】

一例では、マルチレイヤビデオシーケンス６００は、レイヤ間予測６２１を使用し得る。レイヤ間予測６２１は、ピクチャ６１１、６１２、６１３、および６１４と異なるレイヤのピクチャ６１５、６１６、６１７、および６１８との間に適用される。示されている例では、ピクチャ６１１、６１２、６１３、および６１４はレイヤＮ＋１ ６３２の一部であり、ピクチャ６１５、６１６、６１７、および６１８はレイヤＮ ６３１の一部である。レイヤＮ ６３１および／またはレイヤＮ＋１ ６３２などのレイヤは、すべて、同様のサイズ、品質、解像度、信号対雑音比、能力などの特性の同様の値に関連付けられたピクチャのグループである。レイヤは、形式的に、ＶＣＬ ＮＡＬユニットおよび関連付けられた非ＶＣＬ ＮＡＬユニットのセットとして定義され得る。ＶＣＬ ＮＡＬユニットは、ピクチャのコード化されたスライスなどのビデオデータを含むようにコード化されたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオデータの復号、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。

【0106】

示されている例では、レイヤＮ＋１ ６３２は、レイヤＮ ６３１よりも大きい画像サイズに関連付けられている。したがって、この例では、レイヤＮ＋１ ６３２のピクチャ６１１、６１２、６１３、および６１４のピクチャサイズは、レイヤＮ ６３１のピクチャ６１５、６１６、６１７、および６１８のピクチャサイズよりも大きい（例えば、より大きな高さおよび幅、したがって、より多くのサンプル）。しかしながら、そのようなピクチャは、他の特性によって、レイヤＮ＋１ ６３２とレイヤＮ ６３１との間で分離され得る。レイヤＮ＋１ ６３２およびレイヤＮ ６３１の２つのレイヤのみが示されているが、ピクチャのセットは、関連付けられた特性に基づいて、任意の数のレイヤに分離され得る。レイヤＮ＋１ ６３２およびレイヤＮ ６３１はまた、レイヤＩＤによって示され得る。レイヤＩＤは、ピクチャに関連付けられたデータの項目であり、ピクチャが指示されたレイヤの一部であることを示す。したがって、各ピクチャ６１１～６１８は、どのレイヤＮ＋１ ６３２またはレイヤＮ ６３１が対応するピクチャを含むかを示すために、対応するレイヤＩＤに関連付けられ得る。例えば、レイヤＩＤは、（例えば、レイヤ内のピクチャのスライスおよび／またはパラメータを含む）ＮＡＬユニットを含むレイヤの識別子を指定するシンタックス要素であるＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を含み得る。レイヤＮ ６３１のような、低品質／ビットストリームサイズに関連付けられたレイヤは、一般に、下位レイヤＩＤを割り当てられ、下位レイヤと呼ばれる。さらに、レイヤＮ＋１ ６３２のような、高品質／ビットストリームサイズに関連付けられたレイヤは、一般に、上位レイヤＩＤを割り当てられ、上位レイヤと呼ばれる。

【0107】

異なるレイヤ６３１～６３２内のピクチャ６１１～６１８は、代替形態で表示されるように構成される。このように、異なるレイヤ６３１～６３２のピクチャは、ピクチャが同じＡＵに含まれる限り、時間ＩＤ６２２を共有し得る。時間ＩＤ６２２は、データがビデオシーケンス内の時間的場所に対応することを示すデータ要素である。ＡＵは、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関するＮＡＬユニットのセットである。例えば、ＡＵは、ピクチャ６１１およびピクチャ６１５が同じ時間ＩＤ６２２に関連付けられている場合、そのようなピクチャなどの異なるレイヤ内の１つまたは複数のピクチャを含み得る。具体例として、デコーダは、より小さいピクチャが望まれる場合、現在の表示時間においてピクチャ６１５を復号および表示してもよく、または、デコーダは、より大きいピクチャが望まれる場合、現在の表示時間においてピクチャ６１１を復号および表示してもよい。このように、上位レイヤＮ＋１ ６３２におけるピクチャ６１１～６１４は、（ピクチャサイズの違いにかかわらず）下位レイヤＮ ６３１における対応するピクチャ６１５～６１８と実質的に同じ画像データを含む。具体的には、ピクチャ６１１はピクチャ６１５と実質的に同じ画像データを含み、ピクチャ６１２はピクチャ６１６と実質的に同じ画像データを含む、などである。

【0108】

ピクチャ６１１～６１８は、同じレイヤＮ ６３１またはＮ＋１ ６３２内の他のピクチャ６１１～６１８を参照することによってコード化され得る。同じレイヤ内の別のピクチャを参照してピクチャをコード化すると、インター予測６２３が得られる。インター予測６２３は、実線矢印で示される。例えば、ピクチャ６１３は、レイヤＮ＋１ ６３２内のピクチャ６１１、６１２、および／または６１４のうちの１つまたは２つを参照として使用するインター予測６２３を使用することによってコード化され得、１つのピクチャは、一方向インター予測のために参照され、および／または２つのピクチャは、双方向インター予測のために参照される。さらに、ピクチャ６１７は、レイヤＮ ５３１内のピクチャ６１５、６１６、および／または６１８のうちの１つまたは２つを参照として使用するインター予測６２３を使用することによってコード化され得、１つのピクチャは、一方向インター予測のために参照され、および／または２つのピクチャは、双方向インター予測のために参照される。インター予測６２３を行う際に、あるピクチャが同じレイヤ内の別のピクチャの参照として使用される場合、そのピクチャは参照ピクチャと呼ばれ得る。例えば、ピクチャ６１２は、インター予測６２３に従ってピクチャ６１３をコード化するために使用される参照ピクチャであり得る。インター予測６２３はまた、マルチレイヤコンテキストにおけるイントラレイヤ予測とも呼ばれ得る。このように、インター予測６２３は、参照ピクチャと現在のピクチャとが同じレイヤ内にある現在のピクチャとは異なる参照ピクチャ内の指示されたサンプルを参照することによって、現在のピクチャのサンプルをコード化するメカニズムである。

【0109】

ピクチャ６１１～６１８はまた、異なるレイヤ内の他のピクチャ６１１～６１８を参照することによってコード化され得る。このプロセスはレイヤ間予測６２１として知られており、破線矢印で示される。レイヤ間予測６２１は、現在のピクチャと参照ピクチャとが異なるレイヤ内にあり、したがって、異なるレイヤＩＤを有する参照ピクチャ内の指示されたサンプルを参照することによって、現在のピクチャのサンプルをコード化するメカニズムである。例えば、下位レイヤＮ ６３１内のピクチャを参照ピクチャとして使用して、上位レイヤＮ＋１ ６３２の対応するピクチャをコード化することができる。具体例として、ピクチャ６１１は、レイヤ間予測６２１に従ってピクチャ６１５を参照することによってコード化され得る。そのような場合、ピクチャ６１５がレイヤ間参照ピクチャとして使用される。レイヤ間参照ピクチャは、レイヤ間予測６２１に使用される参照ピクチャである。ほとんどの場合、レイヤ間予測６２１は、ピクチャ６１１などの現在のピクチャが、同じＡＵに含まれ、ピクチャ６１５などの下位レイヤにあるレイヤ間参照ピクチャのみを使用できるように制約される。複数のレイヤ（例えば、２を超える）が利用可能である場合、レイヤ間予測６２１は、現在のピクチャよりも低いレベルにある複数のレイヤ間参照ピクチャに基づいて、現在のピクチャを符号化／復号することができる。

【0110】

ビデオエンコーダは、マルチレイヤビデオシーケンス６００を使用して、インター予測６２３およびレイヤ間予測６２１の多くの異なる組み合わせおよび／または順列を介してピクチャ６１１～６１８を符号化することができる。例えば、ピクチャ６１５は、イントラ予測に従ってコード化され得る。次いで、ピクチャ６１６～６１８は、ピクチャ６１５を参照ピクチャとして使用することによって、インター予測６２３に従ってコード化され得る。さらに、ピクチャ６１１は、ピクチャ６１５をレイヤ間参照ピクチャとして使用することによって、レイヤ間予測６２１に従ってコード化され得る。次いで、ピクチャ６１２～６１４は、ピクチャ６１１を参照ピクチャとして使用することによって、インター予測６２３に従ってコード化され得る。このように、参照ピクチャは、異なる符号化メカニズムのための単一のレイヤ参照ピクチャおよびレイヤ間参照ピクチャの両方として機能し得る。下位レイヤＮ ６３１のピクチャに基づいて上位レイヤＮ＋１ ６３２ピクチャをコード化することにより、上位レイヤＮ＋１ ６３２は、インター予測６２３およびレイヤ間予測６２１よりもはるかに低いコード化効率を有するイントラ予測を使用することを回避することができる。このように、イントラ予測の劣悪なコード化効率は、最小／最低品質のピクチャに制限され、したがって、最小量のビデオデータをコード化することに制限され得る。参照ピクチャおよび／またはレイヤ間参照ピクチャとして使用されるピクチャは、参照ピクチャリスト構造に含まれる参照ピクチャリストのエントリで示され得る。

【0111】

そのような動作を実行するために、レイヤＮ ６３１およびレイヤＮ＋１ ６３２などのレイヤは、１つまたは複数のＯＬＳ６２５および６２６に含まれ得る。具体的には、ピクチャ６１１～６１８はビットストリーム６００内のレイヤ６３１～６３２として符号化され、次いで、ピクチャの各レイヤ６３１～６３２はＯＬＳ６２５および６２６のうち１つまたは複数に割り当てられる。次いで、デコーダにおける能力および／またはネットワーク条件に応じて、ＯＬＳ６２５および／または６２６を選択することができ、対応するレイヤ６３１および／または６３２をデコーダに送信することができる。ＯＬＳ６２５は、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、出力（例えば、ディスプレイに）のために指定されるレイヤである。例えば、レイヤＮ ６３１は、レイヤ間予測６２１をサポートするためだけに含まれてもよく、決して出力されなくてもよい。そのような場合、レイヤＮ＋１ ６３２は、レイヤＮ ６３１に基づいて復号され、出力される。そのような場合、ＯＬＳ６２５は、出力レイヤとして、レイヤＮ＋１ ６３２を含む。ＯＬＳが出力レイヤのみを含む場合、ＯＬＳは、０番目のＯＬＳ６２６と呼ばれる。０番目のＯＬＳ６２６は、最下位レイヤ（最下位レイヤ識別子を有するレイヤ）のみを含み、したがって、出力レイヤのみを含むＯＬＳである。他の場合には、ＯＬＳ６２５は、異なる組み合わせで多くのレイヤを含み得る。例えば、ＯＬＳ６２５内の出力レイヤは、１つ、２つ、または多数の下位レイヤに基づくレイヤ間予測６２１に従ってコード化され得る。さらに、ＯＬＳ６２５は、２つ以上の出力レイヤを含み得る。したがって、ＯＬＳ６２５は、１つまたは複数の出力レイヤと、出力レイヤを再構成するのに必要な任意の支持レイヤとを含み得る。２つのＯＬＳ６２５および６２６のみが示されているが、マルチレイヤビデオシーケンス６００は、各々がレイヤの異なる組み合わせを使用する多くの異なるＯＬＳ６２５および／または６２６を使用することによってコード化され得る。ＯＬＳ６２５および６２６は、各々が、対応するＯＬＳ６２５および６２６を一意に識別するインデックスであるＯＬＳインデックス６２９に関連付けられている。

【0112】

ＨＲＤ５００における標準適合性についてのマルチレイヤビデオシーケンス６００のチェックは、レイヤ６３１～６３２ならびにＯＬＳ６２５および６２６の数に応じて複雑になる場合がある。ＨＲＤ５００は、試験のためにマルチレイヤビデオシーケンス６００を動作点６２７のシーケンスに分け得る。ＯＬＳ６２５および／または６２６は、ＯＬＳインデックス６２９によって識別される。動作点６２７は、ＯＬＳ６２５／６２６の時間サブセットである。動作点６２７は、対応するＯＬＳ６２５／６２６のＯＬＳインデックス６２９および最高時間ＩＤ６２２の両方によって識別可能である。具体例として、第１の動作点６２７は、時間ＩＤが０から時間ＩＤが２００までの第１のＯＬＳ６２５内のすべてのピクチャを含むことができ、第２の動作点６２７は、時間ＩＤが２０１から時間ＩＤが４００までの第１のＯＬＳ６２５内のすべてのピクチャを含むことができる、などである。そのような場合、第１の動作点６２７は、第１のＯＬＳ６２５のＯＬＳインデックス６２９および２００の時間ＩＤによって記述される。さらに、第２の動作点６２７は、第１のＯＬＳ６２５のＯＬＳインデックス６２９および４００の時間ＩＤで記述される。指定された瞬間に試験のために選択された動作点６２７は、被試験ＯＰ（ｔａｒｇｅｔＯｐ）と呼ばれる。したがって、ｔａｒｇｅｔＯｐは、ＨＲＤ５００での適合性試験のために選択される動作点６２７である。

【0113】

図７は、時間スケーラビリティのために構成された例示的なマルチレイヤビデオシーケンス７００を示す概略図である。マルチレイヤビデオシーケンス７００は、例えば、方法１００に従って、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって符号化され、コーデックシステム２００および／またはデコーダ４００などのデコーダによって復号され得る。さらに、マルチレイヤビデオシーケンス７００は、ＨＲＤ５００などのＨＲＤによって標準適合性についてチェックされ得る。マルチレイヤビデオシーケンス７００は、コード化されたビデオシーケンス内のレイヤの別の例示的なアプリケーションを示すために含まれる。例えば、マルチレイヤビデオシーケンス７００は、別個の実施形態として採用されてもよく、またはマルチレイヤビデオシーケンス６００に関して説明された技術と組み合わされてもよい。

【0114】

マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、および７３０を含む。サブレイヤは、特定の時間識別子値を有するＶＣＬ ＮＡＬユニット（例えば、ピクチャ）および関連付けられた非ＶＣＬ ＮＡＬユニット（例えば、支持パラメータ）を含む時間スケーラブルビットストリームの時間スケーラブルレイヤである。例えば、レイヤＮ ６３１および／またはレイヤＮ＋１ ６３２などのレイヤは、時間スケーラビリティをサポートするためにサブレイヤ７１０、７２０、および７３０にさらに分割され得る。サブレイヤ７１０はベースレイヤと呼ばれる場合があり、サブレイヤ７２０および７３０は拡張レイヤと呼ばれる場合がある。図示のように、サブレイヤ７１０は、毎秒３０フレームなどの第１のフレームレートのピクチャ７１１を含む。サブレイヤ７１０がベース／最低フレームレートを含むので、サブレイヤ７１０はベースレイヤである。サブレイヤ７２０は、サブレイヤ７１０のピクチャ７１１から時間的にオフセットされたピクチャ７２１を含む。その結果、サブレイヤ７１０とサブレイヤ７２０とを組み合わせることができ、サブレイヤ７１０単独のフレームレートよりも集合的に高いフレームレートが得られる。例えば、サブレイヤ７１０および７２０は、毎秒６０フレームの合成フレームレートを有し得る。これにより、サブレイヤ７２０は、サブレイヤ７１０のフレームレートを向上させる。さらに、サブレイヤ７３０は、サブレイヤ７２０および７１０のピクチャ７２１および７１１からも時間的にオフセットされたピクチャ７３１を含む。このように、サブレイヤ７３０をサブレイヤ７２０および７１０と組み合わせて、サブレイヤ７１０をさらに強化することができる。例えば、サブレイヤ７１０、７２０、および７３０は、毎秒９０フレームの合成フレームレートを有し得る。

【0115】

サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および／または７３０を組み合わせることによって、動的に作成することができる。サブレイヤ表現７４０は、特定のサブレイヤおよび下位のサブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。示されている例では、サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および７３０の結合ピクチャ７１１、７２１、および７３１であるピクチャ７４１を含む。したがって、マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、および／または７３０の所望のセットを含むサブレイヤ表現７４０を選択することによって、所望のフレームレートに時間的にスケーリングすることができる。サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および／または７３０をレイヤとして含むＯＬＳを使用することによって、作成され得る。そのような場合、サブレイヤ表現７４０が、出力レイヤとして選択される。このように、時間スケーラビリティは、マルチレイヤメカニズムを使用して達成することができるいくつかのメカニズムのうちの１つである。

【0116】

図８は、例示的なビットストリーム８００を示す概略図である。例えば、ビットストリーム８００は、方法１００に従って、コーデックシステム２００および／またはデコーダ４００によって復号するために、コーデックシステム２００および／またはエンコーダ３００によって生成され得る。さらに、ビットストリーム８００は、マルチレイヤビデオシーケンス６００および／または７００を含み得る。加えて、ビットストリーム８００は、ＨＲＤ５００などのＨＲＤの動作を制御するためのさまざまなパラメータを含み得る。そのようなパラメータに基づいて、ＨＲＤは、復号のためにデコーダに向けて送信する前に、標準に適合しているかどうかについてビットストリーム８００をチェックすることができる。

【0117】

ビットストリーム８００は、ＶＰＳ８１１と、１つまたは複数のＳＰＳ８１３と、複数のピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＰＰＳ）８１５と、複数のスライスヘッダ８１７と、画像データ８２０と、ＳＥＩメッセージ８１９とを含む。ＶＰＳ８１１は、ビットストリーム８００全体に関するデータを含む。例えば、ＶＰＳ８１１は、ビットストリーム８００で使用されるデータ関連ＯＬＳ、レイヤ、および／またはサブレイヤを含み得る。ＳＰＳ８１３は、ビットストリーム８００に含まれるコード化されたビデオシーケンス内のすべてのピクチャに共通のシーケンスデータを含む。例えば、各レイヤは、１つまたは複数のコード化されたビデオシーケンスを含み得、各コード化されたビデオシーケンスは、対応するパラメータについてＳＰＳ８１３を参照し得る。ＳＰＳ８１３内のパラメータは、ピクチャサイジング、ビット深度、コード化ツールパラメータ、ビットレート制限などを含むことができる。各シーケンスはＳＰＳ８１３を指すが、いくつかの例では、単一のＳＰＳ８１３は、複数のシーケンスのデータを含むことができることに留意されたい。ＰＰＳ８１５は、ピクチャ全体に適用されるパラメータを含む。したがって、ビデオシーケンスにおける各ピクチャは、ＰＰＳ８１５を称し得る。各ピクチャはＰＰＳ８１５を指すが、いくつかの例では、単一のＰＰＳ８１５は、複数のピクチャのデータを含むことができることに留意されたい。例えば、複数の類似したピクチャが、類似したパラメータに従ってコード化され得る。そのような場合、単一のＰＰＳ８１５は、そのような類似ピクチャのためのデータを含み得る。ＰＰＳ８１５は、対応するピクチャ内のスライスに利用可能なコード化ツール、量子化パラメータ、オフセットなどを示し得る。

【0118】

スライスヘッダ８１７は、ピクチャ内の各スライスに固有のパラメータを含む。したがって、ビデオシーケンス内のスライスごとに１つのスライスヘッダ８１７が存在し得る。スライスヘッダ８１７は、スライスタイプ情報、ＰＯＣ、参照ピクチャリスト、予測重み、タイルエントリポイント、デブロッキングパラメータなどを含み得る。いくつかの例では、ビットストリーム８００はまた、単一のピクチャ内のすべてのスライスに適用されるパラメータを含むシンタックス構造である、ピクチャヘッダも含み得ることに留意されたい。このため、ピクチャヘッダおよびスライスヘッダ８１７は、いくつかのコンテキストにおいて交換可能に使用され得る。例えば、特定のパラメータは、そのようなパラメータがピクチャ内のすべてのスライスに共通であるかどうかに応じて、スライスヘッダ８１７とピクチャヘッダとの間で移動され得る。

【0119】

画像データ８２０は、インター予測および／またはイントラ予測に従って符号化されたビデオデータ、ならびに対応する変換および量子化された残差データを含む。例えば、画像データ８２０は、ＡＵ８２１、ＤＵ８２２、および／またはピクチャ８２３を含み得る。ＡＵ８２１は、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関するＮＡＬユニットのセットである。ＤＵ８２２は、ＡＵまたはＡＵのサブセット、および関連付けられた非ＶＣＬ ＮＡＬユニットである。ピクチャ８２３は、フレームまたはそのフィールドを生成する輝度サンプルのアレイおよび／または彩度サンプルのアレイである。平易な言語では、ＡＵ８２１は、ビデオシーケンス内の指定された瞬間に表示され得るさまざまなビデオデータ、ならびに支持シンタックスデータを含む。したがって、ＡＵ８２１は、単一のレイヤビットストリーム内の単一のピクチャ８２３、またはマルチレイヤビットストリーム内の同じ瞬間にすべて関連付けられている複数のレイヤからの複数のピクチャを含み得る。一方、ピクチャ８２３は、表示のために出力され得る、または出力のために他のピクチャ８２３のコード化をサポートするために使用され得るコード化された画像である。ＤＵ８２２は、１つまたは複数のピクチャ８２３と、復号に必要な任意の支持シンタックスデータとを含み得る。例えば、ＤＵ８２２およびＡＵ８２１は、単純なビットストリーム（例えば、ＡＵが単一のピクチャを含む場合）において交換可能に使用され得る。しかしながら、より複雑なマルチレイヤビットストリームでは、ＤＵ８２２は、ＡＵ８２１からのビデオデータの一部のみを含み得る。例えば、ＡＵ８２１は、ピクチャ８２３のうちのいくつかが異なるＯＬＳに関連付けられているいくつかのレイヤおよび／またはサブレイヤにおいてピクチャ８２３を含み得る。そのような場合、ＤＵ８２２は、指定されたＯＬＳおよび／または指定されたレイヤ／サブレイヤからのピクチャ８２３のみを含み得る。

【0120】

ピクチャ８２３は、１つまたは複数のスライス８２５を含む。スライス８２５は、整数個の完全なタイルまたは整数個のピクチャ８２３の連続する完全なコード化ツリーユニット（ＣＴＵ）行（例えば、タイル内）として定義されてもよく、タイルまたはＣＴＵ行は、単一のＮＡＬユニット８２９に排他的に含まれる。したがって、スライス８２５はまた、単一のＮＡＬユニット８２９に含まれる。スライス８２５は、ＣＴＵおよび／またはコード化ツリーブロック（ＣＴＢ）にさらに分割される。ＣＴＵは、コード化ツリーによって分割され得る所定のサイズのサンプルのグループである。ＣＴＢは、ＣＴＵのサブセットであり、ＣＴＵの輝度成分または彩度成分を含む。ＣＴＵ／ＣＴＢは、コード化ツリーに基づいてコード化ブロックにさらに分割される。次いで、コード化ブロックは、予測メカニズムに従って符号化／復号され得る。

【0121】

ビットストリーム８００は、ＮＡＬユニット８２９のシーケンスである。ＮＡＬユニット８２９は、ビデオデータおよび／または支持シンタックスのためのコンテナである。ＮＡＬユニット８２９は、ＶＣＬ ＮＡＬユニットまたは非ＶＣＬ ＮＡＬユニットであり得る。ＶＣＬ ＮＡＬユニットは、コード化されたスライス８２５および関連付けられたスライスヘッダ８１７などのビデオデータを含むようにコード化されたＮＡＬユニット８２９である。非ＶＣＬ ＮＡＬユニットは、ビデオデータの復号、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニット８２９である。例えば、非ＶＣＬ ＮＡＬユニットは、ＶＰＳ８１１、ＳＰＳ８１３、ＰＰＳ８１５、ＳＥＩメッセージ８１９、または他の支持シンタックスを含み得る。

【0122】

ＳＥＩメッセージ８１９は、復号されたピクチャ内のサンプルの値を決定するために復号プロセスによって必要とされない情報を伝達する指定されたセマンティクスを有するシンタックス構造である。例えば、ＳＥＩメッセージ８１９は、ＨＲＤプロセスをサポートするためのデータ、またはデコーダにおけるビットストリーム８００の復号に直接関連しない他の支持データを含み得る。ビットストリーム８００で使用されるＳＥＩメッセージ８１９は、スケーラブルネスティングＳＥＩメッセージおよび／またはスケーラブルネスティングされていないＳＥＩメッセージを含み得る。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳまたは１つもしくは複数のレイヤに対応する複数のＳＥＩメッセージを含むメッセージである。スケーラブルネスティングされたＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージである。スケーラブルネスティングされていないＳＥＩメッセージは、ネストされておらず、したがって単一のＳＥＩメッセージを含むメッセージである。ＳＥＩメッセージ８１９は、ＣＰＢを管理するためにＨＲＤを初期化するためのＨＲＤパラメータを含むＢＰ ＳＥＩメッセージを含み得る。ＳＥＩメッセージ８１９はまた、ＣＰＢおよび／またはＤＰＢにおけるＡＵ８２１のための配信情報を管理するためのＨＲＤパラメータを含むＰＴ ＳＥＩメッセージを含み得る。ＳＥＩメッセージ８１９はまた、ＣＰＢおよび／またはＤＰＢにおけるＤＵ８２２のための配信情報を管理するためのＨＲＤパラメータを含むＤＵＩ ＳＥＩメッセージを含み得る。ＢＰ ＳＥＩメッセージ、ＰＴ ＳＥＩメッセージ、および／またはＤＵＩ ＳＥＩメッセージに含まれるパラメータを使用して、ＨＲＤにおけるＣＰＢ配信スケジュールを決定し得る。例えば、スケーラブルネスティングＳＥＩメッセージは、ＢＰ ＳＥＩメッセージのセット、ＰＴ ＳＥＩメッセージのセット、またはＤＵＩ ＳＥＩメッセージのセットを含み得る。

【0123】

上述したように、ビデオストリームは、ＯＬＳ６２５、レイヤＮ ６３１、レイヤＮ＋１ ６３２、サブレイヤ７１０、サブレイヤ７２０、および／またはサブレイヤ７３０などの多くのＯＬＳおよび多くのレイヤを含み得る。さらに、いくつかのレイヤが、複数のＯＬＳに含まれ得る。したがって、マルチレイヤビデオシーケンス６００および／または７００などのマルチレイヤビデオシーケンスは、非常に複雑になる場合がある。例えば、スケーラブルネスティングＳＥＩメッセージは、多くのＯＬＳ、レイヤ、および／またはサブレイヤに適用されるスケーラブルネスティングされたＳＥＩメッセージを含み得る。デコーダがターゲットＯＬＳを要求すると、エンコーダ／ＨＲＤは、ビットストリーム８００に対してサブビットストリーム抽出プロセスを実行することができる。エンコーダ／ＨＲＤは、例えば、ＶＰＳ８１１、ＳＰＳ８１３、ＰＰＳ８１５、スライスヘッダ８１７、ＳＥＩメッセージ８１９などから、ターゲットＯＬＳを形成する画像データ８２０および支持パラメータを抽出する。そのような抽出は、ＮＡＬユニット８２９に対してＮＡＬユニット８２９ベースで実行される。その結果、ターゲットＯＬＳを復号するのに十分な情報を含むビットストリーム８００のサブビットストリームが得られる。抽出されない情報は、要求されたターゲットＯＬＳの一部ではなく、デコーダに送信されない。スケーラブルネスティングＳＥＩメッセージは、多くのレイヤ、サブレイヤ、および／またはＯＬＳに関連するデータを含み得る。したがって、いくつかのビデオコード化システムは、ターゲットＯＬＳが標準適合性についてチェックされ、デコーダで適切に復号されることを保証するために、抽出されたサブビットストリーム内にすべてのスケーラブルネスティングＳＥＩメッセージを含み得る。次いで、ＨＲＤは、デコーダに送信する前に適合性試験のセットを実行する。この手法は過大であり、したがって非効率的であり得る。例えば、スケーラブルネスティングＳＥＩメッセージのうちのいくつかは、ターゲットＯＬＳとは完全に無関係であり得る。これらの無関係なスケーラブルネスティングＳＥＩメッセージは、抽出されたサブビットストリーム内に留まり、デコーダへ送信される。これは、いかなる追加の機能も提供することなく、最終サブビットストリームのサイズを増加させることができる。

【0124】

本開示は、マルチレイヤビットストリーム６００および／または７００などのマルチレイヤビットストリームを符号化するビットストリーム８００から抽出されたサブビットストリームのサイズを低減するためのメカニズムを含む。サブビットストリーム抽出中、スケーラブルネスティングＳＥＩメッセージは、ビットストリームから除去するために考慮され得る。例えば、スケーラブルネスティングＳＥＩメッセージは、ＯＬＳおよび／またはレイヤに関連し得る。スケーラブルネスティングＳＥＩメッセージが指定されたＯＬＳに関連する場合、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージ（例えば、ＳＥＩメッセージ８１９）がチェックされる。スケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳ内のいかなるレイヤにも関連しない場合、スケーラブルネスティングＳＥＩメッセージ全体をサブビットストリームから除去することができる。これにより、デコーダに送信されるサブビットストリームのサイズが低減される。したがって、本例は、コード化効率を高め、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソースの使用を低減する。

【0125】

サブビットストリームは、ビットストリーム８００の一種であることに留意されたい。具体的には、サブビットストリームは、より大きなビットストリーム８００から抽出されたビットストリーム８００である。したがって、ビットストリーム８００という用語は、コンテキストに応じて、最初に符号化されたビットストリーム８００、抽出されたサブビットストリーム、またはその両方を指し得る。

【0126】

例えば、ＶＰＳ８１１は、ＯＬＳの総数（ＴｏｔａｌＮｕｍＯｌｓｓ）８３３を含み得る。ＴｏｔａｌＮｕｍＯｌｓｓ８３３は、ＶＰＳ８１１で指定されたＯＬＳの総数を指定するシンタックス要素である。これは、抽出されるターゲットＯＬＳを含むビットストリーム８００内のすべてのＯＬＳを、特定のユーザ要求に関連しない可能性がある任意の他のＯＬＳ（例えば、異なる画面解像度、フレームレートなどに関連する他のＯＬＳ）と共に含むことができる。

【0127】

さらに、ＳＥＩメッセージ８１９は、スケーラブルネスティングＯＬＳフラグ８３１を含み得る。スケーラブルネスティングＯＬＳフラグ８３１は、スケーラブルネスティングされたＳＥＩメッセージが、特定のＯＬＳまたは特定のレイヤに適用されるかを指定するフラグである。スケーラブルネスティングＯＬＳフラグ８３１は、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳに適用されることを指定するために１に等しく設定され、またはスケーラブルネスティングされたＳＥＩメッセージが特定のレイヤに適用されることを指定するために０に等しく設定され得る。ＳＥＩメッセージ８１９はまた、ＯＬＳの数から１を引いたもの（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）８３５およびＯＬＳインデックス差分から１を引いた数（ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１）８３７などの他のシンタックス要素を含み得る。ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１ ８３５は、スケーラブルネスティングＳＥＩメッセージ内の対応するスケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定するシンタックス要素である。ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１ ８３５の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ８３３から１を引いた数の値（両端を含む）の範囲内に制約される。ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１ ８３７は、スケーラブルネスティングＯＬＳフラグ８３１が１に等しい場合に、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定するネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）の変数を導出するために採用可能な値を含む。ｉ番目のＯＬＳに対するｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１ ８３７の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ８３３から２を引いた数（両端を含む）の範囲内に制約される。値を表すために使用されるビットの数を低減するために、マイナスパラダイムを使用できることに留意されたい。例えば、ｍｉｎｕｓ１シンタックス要素の真値は、１を加算することによって決定することができる。

【0128】

前述のデータを使用して、適合性試験および／または送信の前に、スケーラブルネスティングＳＥＩメッセージをサブビットストリーム内に含める、またはスケーラブルネスティングＳＥＩメッセージを除去するかを決定し得る。具体的には、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグ８３１が、スケーラブルネスティングＳＥＩメッセージが１つまたは複数の特定のＯＬＳに適用されることを示すように設定されている場合、例えば、スケーラブルネスティングＯＬＳフラグが、１に設定されている場合に、サブビットストリームから除去されたかどうかをチェックされ得る。次いで、エンコーダ／ＨＲＤは、スケーラブルネスティングＳＥＩメッセージをチェックして、含まれるスケーラブルネスティングされたＳＥＩメッセージのいずれかがターゲットＯＬＳ内の任意のレイヤに関連するかどうかを決定する。スケーラブルネスティングＳＥＩメッセージもスケーラブルネスティングされたＳＥＩメッセージのいずれもターゲットＯＬＳを参照しない場合、スケーラブルネスティングＳＥＩメッセージをサブビットストリームから除去することができる。例えば、エンコーダ／ＨＲＤは、ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１ ８３５の値をチェックして、スケーラブルネスティングＳＥＩメッセージに関連付けられているＯＬＳの数を決定し得る。次いで、エンコーダは、ターゲットＯＬＳとの関連性について０とｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１ ８３５との間の各ＯＬＳをチェックし得る。各現在のＯＬＳについて、エンコーダ／ＨＲＤは、ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１ ８３７の値をチェックして、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］の値を導出して、スケーラブルネスティングされたＳＥＩメッセージが適用される現在の（ｉ番目の）ＯＬＳのＯＬＳインデックスを決定し得る。ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１ ８３７から導出されるＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］の値が、ターゲットＯＬＳに関連付けられたターゲットＯＬＳインデックス（ｔａｒｇｅｔＯｌｓＩｄｘ）に等しくない場合、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージのいずれもターゲットＯＬＳに適用されない。そのような場合、ＨＲＤ適合性試験または復号に悪影響を与えることなく、抽出されたサブビットストリームからスケーラブルネスティングＳＥＩメッセージを除去することができる。このメカニズムは、ビットストリーム８００からのサブビットストリーム抽出中にいくつかのＳＥＩメッセージ８１９を除去することを可能にする。これにより、結果として得られるサブビットストリームのコード化効率が向上し、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソースの使用量が低減する。さらに、無関係なＳＥＩメッセージ８１９を除去することにより、ＨＲＤ適合性試験プロセスの複雑度を減少させ得、これにより、エンコーダおよび／またはＨＲＤにおけるプロセッサおよび／またはメモリリソースの使用量が低減する。

【0129】

ここで、前述の情報を以下でより詳細に説明する。レイヤ化されたビデオコード化はまた、スケーラブルビデオコード化またはスケーラビリティを有するビデオコード化とも呼ばれる。ビデオコード化におけるスケーラビリティは、マルチレイヤコード化技術を使用することによってサポートされ得る。マルチレイヤビットストリームは、ベースレイヤ（ｂａｓｅ ｌａｙｅｒ、ＢＬ）および１つまたは複数の拡張レイヤ（ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ、ＥＬ）を備える。スケーラビリティの例は、空間スケーラビリティ、品質／信号対雑音比（ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ、ＳＮＲ）スケーラビリティ、マルチビュースケーラビリティ、フレームレートスケーラビリティなどを含む。マルチレイヤコード化技術が使用される場合、ピクチャまたはその一部は、参照ピクチャを使用せずにコード化されてもよく（イントラ予測）、同じレイヤ内の参照ピクチャを参照することによってコード化されてもよく（インター予測）、および／または他のレイヤ内の参照ピクチャを参照することによってコード化されてもよい（レイヤ間予測）。現在のピクチャのレイヤ間予測に使用される参照ピクチャは、レイヤ間参照ピクチャ（ｉｎｔｅｒ－ｌａｙｅｒ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ、ＩＬＲＰ）と呼ばれる。図６は、異なるレイヤのピクチャが異なる解像度を有する空間スケーラビリティのためのマルチレイヤコード化の例を示す。

【0130】

いくつかのビデオコード化ファミリーは、単一レイヤコード化のためのプロファイルから分離されたプロファイルにおけるスケーラビリティの支持を提供する。スケーラブルビデオコード化（ＳＶＣ）は、空間、時間、および品質のスケーラビリティの支持を提供する高度なビデオコード化（ＡＶＣ）のスケーラブル拡張である。ＳＶＣの場合、下位レイヤからのコロケートブロックを使用してＥＬ ＭＢが予測されるかどうかを示すために、ＥＬピクチャ内の各マクロブロック（ＭＢ）においてフラグがシグナリングされる。コロケートブロックからの予測は、テクスチャ、動きベクトル、および／またはコード化モードを含み得る。ＳＶＣの実装は、それらの設計において修正されていないＡＶＣ実装を直接再利用しない場合がある。ＳＶＣ ＥＬマクロブロックシンタックスおよび復号プロセスは、ＡＶＣシンタックスおよび復号プロセスとは異なる。

【0131】

スケーラブルＨＥＶＣ（ＳＨＶＣ）は、空間および品質のスケーラビリティの支持を提供するＨＥＶＣの拡張である。マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）は、マルチビュースケーラビリティの支持を提供するＨＥＶＣの拡張である。３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）は、ＭＶ－ＨＥＶＣよりも高度で効率的な３Ｄビデオコード化の支持を提供するＨＥＶＣの拡張である。時間スケーラビリティは、単一レイヤＨＥＶＣコーデックの不可欠な部分として含まれ得る。ＨＥＶＣのマルチレイヤ拡張では、レイヤ間予測に使用される復号されたピクチャは、同じＡＵのみから来て、ロングターム参照ピクチャ（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ、ＬＴＲＰ）として扱われる。そのようなピクチャには、現在のレイヤ内の他の時間参照ピクチャと共に、参照ピクチャリスト内の参照インデックスが割り当てられる。レイヤ間予測（Ｉｎｔｅｒ－ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ、ＩＬＰ）は、参照ピクチャリスト内のレイヤ間参照ピクチャを参照するための参照インデックスの値を設定することにより、予測ユニット（ＰＵ）レベルで達成される。空間スケーラビリティは、ＩＬＲＰが符号化または復号されている現在のピクチャとは異なる空間解像度を有する場合、参照ピクチャまたはその一部をリサンプルする。参照ピクチャのリサンプリングは、ピクチャレベルまたはコード化ブロックレベルのいずれかで実現され得る。

【0132】

ＶＶＣはまた、レイヤ化されたビデオコード化を支持し得る。ＶＶＣビットストリームは、複数のレイヤを含み得る。レイヤは、すべて互いに独立していてもよい。例えば、レイヤ間予測を使用せずに、各レイヤをコード化し得る。この場合、レイヤはまた、サイマルキャストレイヤとも呼ばれる。場合によっては、レイヤの一部は、ＩＬＰを使用してコード化される。ＶＰＳ内のフラグは、レイヤがサイマルキャストレイヤであるか、またはいくつかのレイヤがＩＬＰを使用するか、を示し得る。いくつかのレイヤがＩＬＰを使用する場合、レイヤ間のレイヤ依存関係はまた、ＶＰＳでシグナリングされる。ＳＨＶＣおよびＭＶ－ＨＥＶＣとは異なり、ＶＶＣは、ＯＬＳを指定しない場合がある。ＯＬＳは、指定されたレイヤのセットを含み、レイヤのセット内の１つまたは複数のレイヤが出力レイヤであるように指定される。出力レイヤは、出力されるＯＬＳのレイヤである。ＶＶＣのいくつかの実装形態では、レイヤがサイマルキャストレイヤである場合、復号および出力のために１つのレイヤのみが選択され得る。ＶＶＣのいくつかの実装形態では、任意のレイヤがＩＬＰを使用するとき、すべてのレイヤを含むビットストリーム全体が復号されるように指定される。さらに、レイヤのうち、特定のレイヤを出力レイヤと指定する。出力レイヤは、最高レイヤのみ、すべてのレイヤ、または最高レイヤに示された下位レイヤのセットを加えたものであると示され得る。

【0133】

ビデオコード化標準は、指定されたＨＲＤ適合性試験によって、ビットストリームの適合性を検証するためのＨＲＤを指定し得る。ＳＨＶＣおよびＭＶ－ＨＥＶＣでは、ビットストリームの適合性をチェックするために、３セットのビットストリーム適合性試験が使用される。ビットストリームは、ビットストリーム全体と呼ばれ、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍと表記される。ビットストリーム適合性試験の第１のセットは、ビットストリーム全体および対応する時間サブセットの適合性を試験するためのものである。そのような試験は、ビットストリーム全体に存在するＶＣＬ ＮＡＬユニットのすべてのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を含むアクティブＶＰＳによって指定されるレイヤセットがあるかどうかにかかわらず採用される。したがって、１つまたは複数のレイヤが出力セットに含まれていない場合でも、ビットストリーム全体が常に適合性についてチェックされる。ビットストリーム適合性試験の第２のセットは、アクティブＶＰＳおよび関連付けられた時間サブセットによって指定されたレイヤセットの適合性を試験するために使用される。これらすべての試験について、ベースレイヤピクチャ（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しいピクチャ）のみが復号されて出力される。復号プロセスが呼び出されたとき、他のピクチャはデコーダによって無視される。ビットストリーム適合性試験の第３のセットは、ＯＬＳおよびビットストリーム分割に基づいて、アクティブＶＰＳのＶＰＳ拡張部および関連付けられた時間サブセットによって指定されたＯＬＳの適合性を試験するために使用される。ビットストリーム分割は、マルチレイヤビットストリームのＯＬＳの１つまたは複数のレイヤを含む。

【0134】

前述の態様は、特定の問題を含む。例えば、第１の２セットの適合性試験は、復号されず出力されないレイヤに適用することができる。例えば、最下位レイヤ以外のレイヤは復号されず、出力されなくてもよい。実際の用途では、デコーダは、復号されるデータのみを受信し得る。このように、第１の２セットの適合性試験を使用することは、両方ともコーデック設計を複雑にし、適合性試験を支持するために使用されるシーケンスレベルおよびピクチャレベルの両方のパラメータを搬送するためにビットを浪費し得る。適合性試験の第３のセットは、ビットストリーム分割を含む。そのような分割は、マルチレイヤビットストリームのＯＬＳの１つまたは複数のレイヤに関連し得る。適合性試験が常にレイヤごとに別々に動作する場合、ＨＲＤは、大幅に簡略化され得る。

【0135】

シーケンスレベルのＨＲＤパラメータのシグナリングは、複雑であり得る。例えば、シーケンスレベルのＨＲＤパラメータは、ＳＰＳおよびＶＰＳの両方などの複数の場所でシグナリングされ得る。さらに、シーケンスレベルのＨＲＤパラメータシグナリングは、冗長性を含み得る。例えば、ビットストリーム全体について一般に同じであり得る情報は、各ＯＬＳの各レイヤで繰り返され得る。加えて、例示的なＨＲＤスキームでは、レイヤごとに異なる配信スケジュールを選択することができる。そのような配信スケジュールは、動作点がＯＬＳまたはＯＬＳの時間サブセットである動作点ごとにレイヤごとにシグナリングされたスケジュールのリストから選択され得る。そのようなシステムは、複雑である。さらに、例示的なＨＲＤスキームは、不完全なＡＵがバッファリング期間ＳＥＩメッセージに関連付けられることを可能にする。不完全なＡＵは、ＣＶＳに存在するすべてのレイヤのピクチャを有さないＡＵである。しかしながら、そのようなＡＵでのＨＲＤ初期化は、問題となり得る。例えば、不完全なＡＵに存在しないレイヤアクセスユニットを有するレイヤのために、ＨＲＤが適切に初期化されない場合があり得る。加えて、レイヤビットストリームを導出するための逆多重化プロセスは、ターゲットレイヤに適用されないネストされたＳＥＩメッセージを十分かつ効率的に除去しない場合があり得る。ビットストリーム分割が１つのレイヤのみを含む場合、レイヤビットストリームが生じる。さらに、ビットストリーム全体に対して、スケーラブルネスティングされていないバッファリング期間、ピクチャタイミング、および復号ユニット情報ＳＥＩメッセージの適用ＯＬＳを指定し得る。しかしながら、スケーラブルネスティングされていないバッファリング期間は、代わりに、０番目のＯＬＳに適用可能であるべきである。

【0136】

さらに、いくつかのＶＶＣ実装形態は、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいときに、ＨＤＲパラメータを推測することができない場合がある。そのような推論は、適切なＨＲＤ動作を可能にし得る。また、ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１およびｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値と等しい必要があり得る。しかしながら、バッファリング期間およびピクチャタイミングＳＥＩメッセージは、ネストされ得、複数のＯＬＳおよび複数のＯＬＳの各々の複数のレイヤに適用可能であり得る。そのようなコンテキストでは、関与するレイヤは、複数のＳＰＳを指し得る。したがって、システムは、どのＳＰＳが各レイヤに対応するＳＰＳであるかを追跡することが困難であり得る。したがって、これら２つのシンタックス要素の値は、代わりに、ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値に基づいて制約されるべきである。さらに、異なるレイヤは異なる数のサブレイヤを有し得るので、これら２つのシンタックス要素の値は、すべてのバッファリング期間およびピクチャタイミングＳＥＩメッセージにおいて、常に特定の値に等しいとは限らない。

【0137】

また、ＳＨＶＣ／ＭＶ－ＨＥＶＣおよびＶＶＣの両方におけるＨＲＤ設計には、以下の問題が伴う。サブビットストリーム抽出プロセスは、ターゲットＯＬＳに必要とされないネストされたＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットを除去しなくてもよい。

【0138】

一般に、本開示は、マルチレイヤビデオビットストリームにおける出力レイヤセットのためのＳＥＩメッセージのスケーラブルネスティングのための手法を記載する。技術の説明は、ＶＶＣに基づく。しかしながら、技術はまた、他のビデオコーデック仕様に基づく、レイヤ化されたビデオコード化にも適用される。

【0139】

上記の問題のうち１つまたは複数は、以下のように解決することができる。具体的には、本開示は、ＳＨＶＣおよびＭＶ－ＨＥＶＣと比較してはるかに単純なＨＲＤ動作でＨＲＤパラメータの効率的なシグナリングを可能にするＨＲＤ設計および関連する態様のための方法を含む。以下に説明する解決策の各々は、上記の問題に対応する。例えば、３セットの適合性試験を必要とする代わりに、本開示は、ＶＰＳによって指定されたＯＬＳの適合性を試験するために１セットの適合性試験のみを使用し得る。さらに、ビットストリーム分割に基づく設計の代わりに、開示されたＨＲＤメカニズムは常に、ＯＬＳのレイヤごとに別々に動作し得る。さらに、すべてのＯＬＳのすべてのレイヤおよびサブレイヤについてグローバルであるシーケンスレベルのＨＲＤパラメータは、例えば、ＶＰＳにおいて一度だけシグナリングされ得る。加えて、単一の数の配信スケジュールは、すべてのＯＬＳのすべてのレイヤおよびサブレイヤに対してシグナリングされ得る。同じ配信スケジュールインデックスはまた、ＯＬＳのすべてのレイヤに適用され得る。加えて、不完全なＡＵは、バッファリング期間ＳＥＩメッセージに関連付けられない場合がある。不完全なＡＵは、ＣＶＳに存在するすべてのレイヤのピクチャを含まないＡＵである。これにより、ＯＬＳのすべてのレイヤについてＨＲＤを常に適切に初期化できることが保証される。また、ＯＬＳにおいてターゲットレイヤに適用されないネストされたＳＥＩメッセージを効率的に除去するためのメカニズムが開示される。これは、レイヤビットストリームを導出するための逆多重化プロセスを支持する。加えて、スケーラブルネスティングされていないバッファリング期間、ピクチャタイミング、および復号ユニット情報ＳＥＩメッセージの適用ＯＬＳを、０番目のＯＬＳに指定し得る。さらに、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいときにＨＤＲパラメータを推測することができ、これにより、適切なＨＲＤ動作が可能になる。ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１およびｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内である必要があり得る。このようにして、そのようなパラメータは、すべてのバッファリング期間およびピクチャタイミングＳＥＩメッセージについて特定の値である必要はない。また、サブビットストリーム抽出プロセスは、ターゲットＯＬＳに適用されないネストされたＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットを除去してもよい。

【0140】

前述のメカニズムの例示的な実装形態は、以下の通りである。出力レイヤは、出力される出力レイヤセットのレイヤである。ＯＬＳは、指定されたレイヤのセットを含むレイヤのセットであり、レイヤのセット内の１つまたは複数のレイヤが出力レイヤであるように指定される。ＯＬＳレイヤインデックスは、ＯＬＳにおけるレイヤのリストに対する、ＯＬＳにおけるレイヤのインデックスである。サブビットストリーム抽出プロセスは、ターゲットＯＬＳインデックスおよびターゲット最高ＴｅｍｐｏｒａｌＩｄによって決定される、ターゲットセットに属さないビットストリーム内のＮＡＬユニットをビットストリームから除去する指定されたプロセスであり、出力サブビットストリームは、ターゲットセットに属するビットストリーム内のＮＡＬユニットを含む。

【0141】

例示的なビデオパラメータセットシンタックスは、以下の通りである。

【表1】

【0142】

例示的なシーケンスパラメータセットＲＢＳＰシンタックスは、以下の通りである。

【表2】

【0143】

例示的なＤＰＢパラメータシンタックスは、以下の通りである。

【表3】

【0144】

例示的な一般ＨＲＤパラメータシンタックスは、以下の通りである。

【表4】

【0145】

例示的なビデオパラメータセットＲＢＳＰセマンティクスは、以下の通りである。ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは１に等しく設定されて、各出力レイヤセットが１つのレイヤのみを含み、ビットストリーム内の各レイヤ自体が、単一の含まれるレイヤが唯一の出力レイヤである出力レイヤセットであることを指定する。ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、出力レイヤセットが２つ以上のレイヤを含み得ることを指定するために０に等しく設定される。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は、１に等しいと推測される。そうでなければ、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は、０に等しいと推測される。

【0146】

ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは０に等しく設定され、ＶＰＳによって指定されたＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定し、ｉ番目のＯＬＳは、０～ｉ（両端を含む）のレイヤインデックスを有するレイヤを含み、各ＯＬＳに対して、ＯＬＳの最高レイヤのみが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは１に等しく設定され、ＶＰＳによって指定されたＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定し、ｉ番目のＯＬＳは、０～ｉ（両端を含む）のレイヤインデックスを有するレイヤを含み、各ＯＬＳに対して、ＯＬＳのすべてのレイヤが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは２に等しく設定され、ＶＰＳによって指定されたＯＬＳの総数が明示的にシグナリングされることを指定し、各ＯＬＳに対して、ＯＬＳ内の最高レイヤおよび下位レイヤの明示的にシグナリングされたセットが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は、０～２（両端を含む）の範囲内とする。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値３は、予約されている。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は、２に等しいと推測される。ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１に１を加えた数は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合に、ＶＰＳによって指定されるＯＬＳの総数を指定する。

【0147】

ＶＰＳによって指定されたＯＬＳの総数を指定する変数ＴｏｔａｌＮｕｍＯｌｓｓは、以下のように導出される。

【数1】

【0148】

ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合に、ｊ番目のレイヤ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｊ］に等しいレイヤ）がｉ番目のＯＬＳに含まれるかを指定する。ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、ｊ番目のレイヤがｉ番目のＯＬＳに含まれることを指定するために、１に等しく設定される。ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、０に等しく設定されて、ｊ番目のレイヤがｉ番目のＯＬＳに含まれないことを指定する。

【0149】

ｉ番目のＯＬＳのレイヤ数を指定する変数ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］と、ｉ番目のＯＬＳのｊ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する変数ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］とは、以下のように導出される。

【数2】

【0150】

ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］に等しいレイヤのＯＬＳレイヤインデックスを指定する変数ＯｌｓＬａｙｅＩｄｘ［ｉ］［ｊ］は、以下のように導出される。

【数3】

【0151】

各ＯＬＳの最下レイヤは、独立したレイヤとする。言い換えれば、０～ＴｏｔａｌＮｕｍＯｌｓｓ－１（両端を含む）の範囲内の各ｉについて、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［０］］］の値は、１に等しいものとする。各レイヤは、ＶＰＳによって指定された少なくとも１つのＯＬＳに含まれるものとする。言い換えれば、０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１（両端を含む）の範囲内のｋについてｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｋ］のうちの１つに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値ｎｕｈＬａｙｅｒＩｄを有する各レイヤについて、ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］の値がｎｕｈＬａｙｅｒＩｄに等しくなるように、ｉおよびｊの値の少なくとも１つの対が存在するものとし、ｉは０～ＴｏｔａｌＮｕｍＯｌｓｓ－１（両端を含む）の範囲内にあり、ｊはＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］－１（両端を含む）の範囲内にある。ＯＬＳにおける任意のレイヤは、ＯＬＳの出力レイヤまたはＯＬＳの出力レイヤの（直接的または間接的な）参照レイヤであるものとする。

【0152】

ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合に、ｉ番目のＯＬＳにおけるｊ番目のレイヤを出力するかを指定する。１に等しいｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、ｉ番目のＯＬＳにおけるｊ番目のレイヤを出力するかを指定する。ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、０に等しく設定されて、ｉ番目のＯＬＳにおけるｊ番目のレイヤを出力しないことを指定する。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値は、１に等しいと推測される。変数ＯｕｔｐｕｔＬａｙｅｒＦｌａｇ［ｉ］［ｊ］は、値１がｉ番目のＯＬＳにおけるｊ番目のレイヤを出力することを指定し、値０がｉ番目のＯＬＳにおけるｊ番目のレイヤを出力しないことを指定するものであり、以下のように導出される。

【数4】

０番目のＯＬＳは、最下位レイヤ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］と等しいレイヤ）のみを含み、０番目のＯＬＳについては、含まれるレイヤのみが出力される。

【0153】

ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、０に等しく設定されて、ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素がＶＰＳ ＲＢＳＰシンタックス構造に存在しないことを指定する。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、１に等しく設定されて、ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素がＶＰＳ ＲＢＳＰシンタックス構造に存在することを指定する。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇは、任意の値を有し得る。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇの存在および値は、指定されたプロファイルへのデコーダの適合性に影響しない。デコーダは、すべてのｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素を無視するものとする。

【0154】

例示的なＤＰＢパラメータセマンティクスは、以下の通りである。ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報、ならびに任意に、最大ピクチャ並べ替え番号および最大待ち時間（ｍａｘｉｍｕｍ ｐｉｃｔｕｒｅ ｒｅｏｒｄｅｒ ｎｕｍｂｅｒ ａｎｄ ｍａｘｉｍｕｍ ｌａｔｅｎｃｙ、ＭＲＭＬ）情報を提供する。各ＳＰＳは、１、またはｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を含む。ＳＰＳにおける第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報およびＭＲＭＬ情報の両方を含む。存在する場合、ＳＰＳにおける第２のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報のみを含む。ＳＰＳにおける第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造におけるＭＲＭＬ情報は、レイヤがＯＬＳにおける出力レイヤであるかにかかわらず、ＳＰＳを参照するレイヤに適用される。ＳＰＳにおける第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造におけるＤＰＢサイズ情報は、レイヤがＯＬＳの出力レイヤである場合、ＳＰＳを参照するレイヤに適用される。存在する場合、ＳＰＳにおける第２のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に含まれるＤＰＢサイズ情報は、そのレイヤがＯＬＳの非出力レイヤである場合にＳＰＳを参照するレイヤに適用される。ＳＰＳが１つのｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のみを含む場合、非出力レイヤとしてのレイヤのＤＰＢサイズ情報は、出力レイヤとしてのレイヤのＤＰＢサイズ情報と同じであると推測される。

【0155】

例示的な一般ＨＲＤパラメータセマンティクスは、以下の通りである。ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＨＲＤ動作で使用されるＨＲＤパラメータを提供する。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、１に等しく設定されて、ｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、０～ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］（両端を含む）の範囲内のＴｅｍｐｏｒａｌＩｄを有するサブレイヤ表現のＨＲＤパラメータを含むことが指定される。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、０に等しく設定されて、ｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］のみに等しいＴｅｍｐｏｒａｌＩｄを有するサブレイヤ表現のＨＲＤパラメータを含むことが指定される。ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、０に等しいと推測される。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合、０～ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］－１（両端を含む）の範囲内のＴｅｍｐｏｒａｌＩｄを有するサブレイヤ表現のＨＲＤパラメータは、ＴｅｍｐｏｒａｌＩｄがｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］に等しいサブレイヤ表現のＨＲＤパラメータと同じであると推測される。これらは、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ［ｉ］シンタックス要素から始まって、ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造内の条件ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の直下のｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ｉ）シンタックス構造までのＨＲＤパラメータを含む。ｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に１を加えた数は、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に存在するｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の数を指定する。ｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の値は、０～６３（両端を含む）の範囲内とする。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１に１を加えた数は、ＣＶＳのビットストリーム内の代替ＣＰＢ仕様の数を指定する。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、０～３１（両端を含む）の範囲内とする。ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、ＨＲＤパラメータがｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に含まれる最高サブレイヤ表現のＴｅｍｐｏｒａｌＩｄを指定する。ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は、０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１（両端を含む）の範囲内とする。ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は、０に等しいと推測される。ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［ｉ］［ｊ］は、ｉ番目のＯＬＳにおけるｊ番目のレイヤに適用されるｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のインデックスを指定する。ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［［ｉ］［ｊ］の値は、０～ｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１（両端を含む）の範囲内とする。存在しない場合、ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［［０］［０］の値は、０に等しいと推測される。

【0156】

例示的なサブビットストリーム抽出プロセスは、以下の通りである。このプロセスへの入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲット最高ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔである。このプロセスの出力は、サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。入力ビットストリームのビットストリーム適合性の要件は、ビットストリーム、ＶＰＳによって指定されたＯＬＳのリストに対するインデックスに等しいｔａｒｇｅｔＯｌｓＩｄｘ、および０～６（両端を含む）の範囲内の任意の値に等しいｔＩｄＴａｒｇｅｔを入力としてこの節で指定されたプロセスの出力であり、且つ、以下の条件を満たす任意の出力サブビットストリームが適合ビットストリームであるとすることである。出力サブビットストリームは、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］内のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の各々に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する少なくとも１つのＶＣＬ ＮＡＬユニットを含むべきである。出力サブビットストリームは、ＴｅｍｐｏｒａｌＩｄがｔＩｄＴａｒｇｅｔに等しい少なくとも１つのＶＣＬ ＮＡＬユニットを含むべきである。適合ビットストリームは、０に等しいＴｅｍｐｏｒａｌＩｄを有する１つまたは複数のコード化されたスライスＮＡＬユニットを含むが、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコード化されたスライスＮＡＬユニットを含む必要はない。

【0157】

出力サブビットストリームＯｕｔＢｉｔｓｔｒｅａｍは、以下のように導出される。ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一に設定される。ｔＩｄＴａｒｇｅｔより大きいＴｅｍｐｏｒａｌＩｄを有するすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。リストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］に含まれていないｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］がｔａｒｇｅｔＯｌｓＩｄｘに等しくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しく、０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１（両端を含む）の範囲内にｉの値が存在しないスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ｔａｒｇｅｔＯｌｓＩｄｘがゼロより大きい場合、ｏｕｔＢｉｔｓｔｒｅａｍから、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しい、スケーラブルネスティングされていないＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットを除去する。

【0158】

例示的なＨＲＤの一般的な態様は、以下の通りである。このセクションは、ＨＲＤと、ビットストリームおよびデコーダの適合性をチェックするためのその使用とを指定する。ビットストリーム適合性試験のセットは、ビットストリーム全体と呼ばれ、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍとして示される、ビットストリームの適合性をチェックするために使用される。ビットストリーム適合性試験のセットは、ＶＰＳおよび各ＯＬＳの時間サブセットによって指定された各ＯＬＳの適合性を試験するためのものである。各試験について、以下の順序付きステップが列挙された順序で適用される。

【0159】

ｔａｒｇｅｔＯｐとして示される試験中の動作点は、ＯＬＳインデックスｏｐＯｌｓＩｄｘおよび最高ＴｅｍｐｏｒａｌＩｄ値ｏｐＴｉｄを有するターゲットＯＬＳを選択することによって選択される。ｏｐＯｌｓＩｄｘの値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－１（両端を含む）の範囲内である。ｏｐＴｉｄの値は、０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１（両端を含む）の範囲内である。ｏｐＯｌｓＩｄｘおよびｏｐＴｉｄの値は、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍ、ｏｐＯｌｓＩｄｘ、およびｏｐＴｉｄを入力として、サブビットストリーム抽出プロセスを呼び出すことによって出力されたサブビットストリームＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅが、以下の条件を満たすようにする。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ内のＬａｙｅｒＩｄＩｎＯｌｓ［ｏｐＯｌｓＩｄｘ］内のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の各々に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する少なくとも１つのＶＣＬ ＮＡＬユニットが存在する。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅには、ＴｅｍｐｏｒａｌＩｄがｏｐＴｉｄに等しい少なくとも１つのＶＣＬ ＮＡＬユニットが存在する。

【0160】

ＴａｒｇｅｔＯｌｓＩｄｘおよびＨｔｉｄの値は、それぞれ、ｔａｒｇｅｔＯｐのｏｐＯｌｓＩｄｘおよびｏｐＴｉｄに等しく設定される。ＳｃＩｄｘの値を選択する。選択されたＳｃＩｄｘは、０～ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１（両端を含む）の範囲内とする。ＴａｒｇｅｔＯｌｓＩｄｘに適用可能なバッファリング期間ＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在する、または本明細書で指定されていない外部メカニズムを介して利用可能）に関連付けられたＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ内のアクセスユニットは、ＨＲＤ初期化点として選択され、ターゲットＯＬＳ内のレイヤごとにアクセスユニット０と呼ばれる。

【0161】

後続のステップは、ターゲットＯＬＳ内のＯＬＳレイヤインデックスＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘを有する各レイヤに適用される。ターゲットＯＬＳ内にレイヤが１つしかない場合、試験下のレイヤビットストリームＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅと同一に設定される。そうでなければ、ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ、ＴａｒｇｅｔＯｌｓＩｄｘ、およびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘを入力としてレイヤビットストリームを導出するための逆多重化プロセスを呼び出すことによって導出され、出力は、ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに割り当てられる。

【0162】

ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに適用可能なｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造およびｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、以下のように選択される。ＶＰＳにおける（またはユーザ入力などの外部メカニズムを介して提供される）ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［ＴａｒｇｅｔＯｌｓＩｄｘ］［ＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選択される。選択されたｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造において、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、条件ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の直後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（Ｈｔｉｄ）シンタックス構造が選択され、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しく設定される。そうでなければ（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである）、条件ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）（変数ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しく設定される場合）または条件ｉｆ（ｇｅｎｅｒａｌ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）（変数ＮａｌＨｒｄＭｏｄｅＦｌａｇが１に等しく設定される場合）のいずれかの直後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（Ｈｔｉｄ）シンタックス構造が選択される。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームであり、ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しい場合、フィラーデータＮＡＬユニットを除くすべての非ＶＣＬ ＮＡＬユニット、ならびに存在する場合、ＮＡＬユニットストリームからバイトストリームを形成するすべてのｌｅａｄｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓ、ｚｅｒｏ＿ｂｙｔｅ、ｓｔａｒｔ＿ｃｏｄｅ＿ｐｒｅｆｉｘ＿ｏｎｅ＿３ｂｙｔｅｓ、およびｔｒａｉｌｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓのシンタックス要素は、ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍから破棄され、残りのビットストリームは、ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに割り当てられる。

【0163】

ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合、ＣＰＢは、アクセスユニットレベル（この場合、変数ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは０に等しく設定される）または復号ユニットレベル（この場合、変数ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは１に等しく設定される）のいずれかで動作するようにスケジュールされる。そうでなければ、ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは０に等しく設定され、ＣＰＢはアクセスユニットレベルで動作するようにスケジュールされる。アクセスユニット０から始まるＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍにおける各アクセスユニットについて、アクセスユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用されるバッファリング期間ＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在する、または外部メカニズムを介して利用可能）が選択され、アクセスユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用されるピクチャタイミングＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在する、または外部メカニズムを介して利用可能）が選択され、ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇが１に等しく、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０に等しいとき、アクセスユニット内の復号ユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用される復号ユニット情報ＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在する、または外部メカニズムを介して利用可能）が選択される。

【0164】

各適合性試験は、上記の各ステップにおける１つのオプションの組み合わせを含む。ステップに２つ以上のオプションが存在する場合、任意の特定の適合性試験について、１つのオプションのみが選択される。すべてのステップのすべての可能な組み合わせは、適合性試験のセット全体を形成する。試験下の各動作点について、実行されるビットストリーム適合性試験の数はｎ０＊ｎ１＊ｎ２＊ｎ３に等しく、ｎ０、ｎ１、ｎ２、およびｎ３の値は以下のように指定される。ｎ１は、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１に等しい。ｎ１は、バッファリング期間ＳＥＩメッセージに関連付けられたＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ内のアクセスユニットの数である。ｎ２は、以下のように導出される。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、ｎ０は１に等しい。そうでなければ（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである）、ｎ０は２に等しい。ｎ３は、以下のように導出される。ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合、ｎ３は１に等しい。そうでなければ、ｎ３は２に等しい。

【0165】

ＨＲＤは、ビットストリームデマルチプレクサ（任意選択で存在する）、各レイヤのコード化ピクチャバッファ（ＣＰＢ）、各レイヤの瞬時復号プロセス、各レイヤのサブＤＰＢを含む復号されたピクチャバッファ（ＤＰＢ）、および出力クロッピングを含む。

【0166】

一例では、ＨＲＤは以下のように動作する。ＨＲＤは復号ユニット０で初期化され、ＤＰＢの各ＣＰＢおよび各サブＤＰＢは、空に設定される。各サブＤＰＢのサブＤＰＢフルネスは、０に等しく設定される。初期化後、ＨＲＤは、後続のバッファリング期間ＳＥＩメッセージによって再び初期化されない。指定された到着スケジュールに従って各ＣＰＢに流入する復号ユニットに関連付けられたデータは、ＨＳＳによって配信される。復号ユニットのＣＰＢ除去時の瞬時復号プロセスにより、各復号ユニットに関連付けられたデータが瞬時に除去されて復号される。各復号されたピクチャは、ＤＰＢに配置される。復号されたピクチャは、インター予測参照に必要とされなくなり、かつ出力に必要とされなくなると、ＤＰＢから除去される。

【0167】

一例では、レイヤビットストリームを導出するための逆多重化プロセスは、以下の通りである。このプロセスへの入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲットＯＬＳレイヤインデックスｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘである。このプロセスの出力は、レイヤビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。出力レイヤビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、以下の通りである。ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一に設定される。ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］に等しくないｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］がｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに等しくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しく、それぞれ、０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１（両端を含む）、および０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］（両端を含む）の範囲内にｉおよびｊの値が存在しないスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］がｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘよりも小さくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しく、それぞれ、０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１（両端を含む）、および０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］（両端を含む）の範囲内にｉおよびｊの値が存在するスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］がＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］に等しくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが０に等しく、０～ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１（両端を含む）の範囲内にｉの値が存在しないスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］がＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］よりも小さくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが０に等しく、０～ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１（両端を含む）の範囲内にｉのうちの少なくとも１つの値が存在するスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。

【0168】

例示的なバッファリング期間ＳＥＩメッセージシンタックスは、以下の通りである。

【表5】

【0169】

例示的なスケーラブルネスティングＳＥＩメッセージシンタックスは、以下の通りである。

【表6】

【0170】

例示的な一般ＳＥＩペイロードセマンティクスは、以下の通りである。以下は、スケーラブルネスティングされていないＳＥＩメッセージの（ＯＬＳのコンテキストで、または一般に）適用可能なレイヤに適用される。スケーラブルネスティングされていないＳＥＩメッセージの場合、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号単位情報）に等しいとき、スケーラブルネスティングされていないＳＥＩメッセージは、０番目のＯＬＳのコンテキストにおける最下位レイヤにのみ適用される。スケーラブルネスティングされていないＳＥＩメッセージの場合、ｐａｙｌｏａｄＴｙｐｅがＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔの中の任意の値に等しいとき、スケーラブルネスティングされていないＳＥＩメッセージは、ＶＣＬ ＮＡＬユニットが、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤにのみ適用される。

【0171】

例示的なバッファリング期間ＳＥＩメッセージセマンティクスは、以下の通りである。バッファリング期間ＳＥＩメッセージは、復号順序で関連付けられたアクセスユニットの位置でＨＲＤを初期化するための初期ＣＰＢ除去遅延および初期ＣＰＢ除去遅延オフセット情報を提供する。バッファリング期間ＳＥＩメッセージが存在するとき、ピクチャは、０に等しいＴｅｍｐｏｒａｌＩｄを有し、ＲＡＳＬまたはランダムアクセス復号可能先行（ｒａｎｄｏｍ ａｃｃｅｓｓ ｄｅｃｏｄａｂｌｅ ｌｅａｄｉｎｇ、ＲＡＤＬ）ピクチャではない場合、ｎｏｔＤｉｓｃａｒｄａｂｌｅＰｉｃピクチャであると言われる。現在のピクチャが復号順序でビットストリーム内の第１のピクチャではない場合、ｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＰｉｃを、ＲＡＳＬまたはＲＡＤＬピクチャではない０に等しいＴｅｍｐｏｒａｌＩｄを有する復号順序で先行するピクチャとする。

【0172】

バッファリング期間ＳＥＩメッセージの存在は、以下のように指定される。ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しい、またはＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しい場合、以下がＣＶＳ内の各アクセスユニットに適用される。アクセスユニットがＩＲＡＰまたはＧｒａｄｕａｌ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ（ＧＤＲ）アクセスユニットである場合、動作点に適用可能なバッファリング期間ＳＥＩメッセージが、アクセスユニットに関連付けられるものとする。そうでなければ、アクセスユニットがｎｏｔＤｉｓｃａｒｄａｂｌｅＰｉｃを含む場合、動作点に適用可能なバッファリング期間ＳＥＩメッセージは、アクセスユニットに関連付けられても関連付けられなくてもよい。そうでなければ、アクセスユニットは、動作点に適用可能なバッファリング期間ＳＥＩメッセージと関連付けられてはならないものとする。そうでなければ（ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇおよびＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが両方とも０に等しい）、ＣＶＳ内のアクセスユニットは、バッファリング期間ＳＥＩメッセージと関連付けられないものとする。いくつかのアプリケーションでは、バッファリング期間ＳＥＩメッセージが頻繁に存在することが望ましい場合がある（例えば、ＩＲＡＰピクチャもしくは非ＩＲＡＰピクチャにおけるランダムアクセスのため、またはビットストリームスプライシングのため）。アクセスユニット内のピクチャがバッファリング期間ＳＥＩメッセージと関連付けられる場合、アクセスユニットは、ＣＶＳ内に存在する各レイヤ内のピクチャを有するものとし、アクセスユニット内の各ピクチャは、バッファリング期間ＳＥＩメッセージを有するものとする。

【0173】

ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた数は、バッファリング期間ＳＥＩメッセージにおいてＣＰＢ除去遅延およびＣＢＰ除去オフセットが示される時間サブレイヤの最大数を指定する。ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１（両端を含む）の範囲内とする。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１に１を加えた数は、ｂｐ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合には、ｉ番目の時間サブレイヤのシンタックス要素ペアｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］［ｊ］およびｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］［ｊ］の数を指定し、ｂｐ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合には、ｉ番目の時間サブレイヤのシンタックス要素ペアｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］［ｊ］およびｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］［ｊ］の数を指定する。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、０～３１（両端を含む）の範囲内とする。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値と等しいものとする。

【0174】

例示的なピクチャタイミングＳＥＩメッセージセマンティクスは、以下の通りである。ピクチャタイミングＳＥＩメッセージは、ＳＥＩメッセージに関連付けられたアクセスユニットのＣＰＢ除去遅延およびＤＰＢ出力遅延情報を提供する。現在のアクセスユニットに適用可能なバッファリング期間ＳＥＩメッセージのｂｐ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇまたはｂｐ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合、変数ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇは、１に等しく設定される。そうでなければ、ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇは、０に等しく設定される。ピクチャタイミングＳＥＩメッセージの存在は、以下のように指定される。ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが１に等しい場合、ピクチャタイミングＳＥＩメッセージが現在のアクセスユニットに関連付けられるものとする。そうでなければ（ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが０に等しい）、現在のアクセスユニットに関連付けられたピクチャタイミングＳＥＩメッセージが存在しないものとする。ピクチャタイミングＳＥＩメッセージシンタックスにおけるＴｅｍｐｏｒａｌＩｄは、ピクチャタイミングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄである。ｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた数は、ピクチャタイミングＳＥＩメッセージにＣＰＢ除去遅延情報が含まれる最高サブレイヤ表現のＴｅｍｐｏｒａｌＩｄを指定する。ｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１（両端を含む）の範囲内とする。

【0175】

例示的なスケーラブルネスティングＳＥＩメッセージセマンティクスは、以下の通りである。スケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージを、特定のＯＬＳのコンテキストにおける特定のレイヤに、またはＯＬＳのコンテキストにはない特定のレイヤに関連付けるためのメカニズムを提供する。スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のＳＥＩメッセージを含む。スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージはまた、スケーラブルネスティングされたＳＥＩメッセージとも呼ばれる。ビットストリーム適合性の要件は、スケーラブルネスティングＳＥＩメッセージ内にＳＥＩメッセージを含める場合に以下の制限を適用することである。１３２（復号されたピクチャハッシュ）または１３３（スケーラブルネスティング）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないものとする。スケーラブルネスティングＳＥＩメッセージが、バッファリング期間、ピクチャタイミング、または復号ユニット情報ＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージは、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しくない任意の他のＳＥＩメッセージを含まないものとする。

【0176】

ビットストリーム適合性の要件は、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値に以下の制限を適用することである。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、１３０（復号ユニット情報）、１４５（従属ＲＡＰ指示）、または１６８（フレームフィールド情報）に等しいＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。スケーラブルネスティングＳＥＩメッセージが、１３２（復号されたピクチャハッシュ）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。

【0177】

ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳのコンテキストにおける特定のレイヤに適用されることを指定するために、１に設定される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスティングされたＳＥＩメッセージが、一般に、特定のレイヤに適用される（ＯＬＳのコンテキストにはない）ことを指定するために、０に設定される。ビットストリーム適合性の要件は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値に以下の制限を適用することである。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しいＳＥＩメッセージを含む場合、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は、１に等しいものとする。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅがＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔ内の値に等しいＳＥＩメッセージを含む場合、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は、０に等しいものとする。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１に１を加えた数は、スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－１（両端を含む）の範囲内とする。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合に、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓから２を引いた数（両端を含む）の範囲内とする。変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出される。

【数5】

【0178】

ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］に１を加えた数は、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストにおいて、スケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－１（両端を含む）の範囲内とする。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合に、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストにおいて、スケーラブルネスティングされたＳＥＩメッセージが適用されるｊ番目のレイヤのＯＬＳレイヤインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｎｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］から２を引いた数（両端を含む）の範囲内とする。変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］は、以下のように導出される。

【数6】

【0179】

０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１（両端を含む）の範囲内のｉについてのＬａｙｅｒＩｄＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］［ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［０］］のすべての値のうちの最低値は、現在のＳＥＩ ＮＡＬユニット（スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニット）のｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいものとする。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスティングされたＳＥＩメッセージが、一般に、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されることを指定するために、１に設定される。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスティングされたＳＥＩメッセージが、一般に、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されても適用されなくてもよいことを指定するために、０に設定される。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた数は、スケーラブルネスティングされたＳＥＩメッセージが一般に適用されるレイヤの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ーＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］（両端を含む）の範囲内とし、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスティングされたＳＥＩメッセージが一般に適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］の値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄより大きいものとし、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスティングされたＳＥＩメッセージが一般に適用されるレイヤの数を指定する変数ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓと、スケーラブルネスティングされたＳＥＩメッセージが一般に適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定する、０～ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓー１（両端を含む）の範囲内のｉについてのリストＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、以下のように導出され、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。

【数7】

【0180】

ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１に１を加えた数は、スケーラブルネスティングされたＳＥＩメッセージの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１の値は、０～６３（両端を含む）の範囲内とする。ｎｅｓｔｉｎｇ＿ｚｅｒｏ＿ｂｉｔは、０に等しいものとする。

【0181】

図９は、例示的なビデオコード化装置９００を示す概略図である。ビデオコード化装置９００は、本明細書に記載の開示された例／実施形態を実装するのに好適である。ビデオコード化装置９００は、ネットワークを介して上流および／または下流でデータを通信するための送信機および／または受信機を含む、下流ポート９２０、上流ポート９５０、および／またはトランシーバユニット（Ｔｘ／Ｒｘ）９１０を備える。ビデオコード化装置９００はまた、データを処理するための論理ユニットおよび／または中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）を含むプロセッサ９３０と、データを記憶するためのメモリ９３２とを含む。ビデオコード化装置９００はまた、電気、光、または無線通信ネットワークを介したデータの通信のために、上流ポート９５０および／または下流ポート９２０に結合された、電気、光－電気（ＯＥ）コンポーネント、電気－光（ＥＯ）コンポーネント、および／または無線通信コンポーネントを備え得る。ビデオコード化装置９００はまた、ユーザとの間でデータを通信するための入力および／または出力（Ｉ／Ｏ）装置９６０を含み得る。Ｉ／Ｏ装置９６０は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力装置を含み得る。Ｉ／Ｏ装置９６０はまた、キーボード、マウス、トラックボールなどの入力装置、および／またはそのような出力装置と対話するための対応するインターフェースを含み得る。

【0182】

プロセッサ９３０は、ハードウェアおよびソフトウェアにより実装される。プロセッサ９３０は、１つまたは複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、およびデジタルシグナルプロセッサ（ＤＳＰ）として実装され得る。プロセッサ９３０は、下流ポート９２０、Ｔｘ／Ｒｘ９１０、上流ポート９５０、およびメモリ９３２と通信する。プロセッサ９３０は、コード化モジュール９１４を備える。コード化モジュール９１４は、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００を使用し得る方法１００、１０００、および１１００など、本明細書に記載された開示された実施形態を実装する。コード化モジュール９１４はまた、本明細書に記載された任意の他の方法／メカニズムを実装し得る。さらに、コード化モジュール９１４は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはＨＲＤ５００を実装し得る。例えば、コード化モジュール９１４は、ＨＲＤを実装するために使用され得る。さらに、ＨＲＤ適合性チェックプロセスを支持するために、コード化モジュール９１４を使用して、パラメータをビットストリームに符号化することができる。したがって、コード化モジュール９１４は、上述した問題のうち１つまたは複数に対処するためのメカニズムを実行するように構成され得る。したがって、コード化モジュール９１４は、ビデオデータをコード化するときに、ビデオコード化装置９００に追加の機能性および／またはコード化効率を提供させる。このように、コード化モジュール９１４は、ビデオコード化装置９００の機能性を改善し、ビデオコード化技術に特有の問題に対処する。さらに、コード化モジュール９１４は、ビデオコード化装置９００を異なる状態に変換する。あるいは、コード化モジュール９１４は、（例えば、非一時的媒体に記憶されたコンピュータプログラム製品として）メモリ９３２に記憶され、プロセッサ９３０によって実行される命令として実装することができる。

【0183】

メモリ９３２は、ディスク、テープドライブ、ソリッドステートドライブ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、三元連想メモリ（ＴＣＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）などの１つまたは複数のメモリタイプを含む。メモリ９３２は、オーバーフローデータ記憶装置として使用され、そのようなプログラムが実行のために選択されたときにプログラムを記憶し、プログラム実行中に読み出される命令およびデータを記憶することができる。

【0184】

図１０は、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、スケーラブルネスティングＳＥＩメッセージを除去することによって、ビデオシーケンスをビットストリームへ符号化する例示的な方法１０００のフローチャートである。方法１０００は、方法１００を実行するときに、コーデックシステム２００、エンコーダ３００、および／またはビデオコード化装置９００などのエンコーダによって使用され得る。さらに、方法１０００は、ＨＲＤ５００上で動作し得、したがって、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００に対して適合性試験を実行することができる。

【0185】

方法１０００は、エンコーダがビデオシーケンスを受信し、例えば、ユーザ入力に基づいて、そのビデオシーケンスをマルチレイヤビットストリームに符号化することを決定したときに開始することができる。ステップ１００１において、エンコーダは、レイヤ６３１、レイヤ６３２、サブレイヤ７１０、サブレイヤ７２０、および／またはサブレイヤ７３０を含むＯＬＳ６２５などの１つまたは複数のＯＬＳを含むビットストリームを符号化する。ステップ１００３において、エンコーダおよび／またはＨＲＤは、ＯＬＳからターゲットＯＬＳを抽出するためにサブビットストリーム抽出プロセスを実行することができる。

【0186】

ステップ１００５において、エンコーダ／ＨＲＤは、ビットストリームからＳＥＩ ＮＡＬユニットを除去することができる。具体的には、ＳＥＩ ＮＡＬユニットは、スケーラブルネスティングＳＥＩメッセージを含む。例えば、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、およびスケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージは除去される。具体例では、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、（例えば、特定のレイヤではなく）特定のＯＬＳに適用され得る。したがって、エンコーダ／ＨＲＤは、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングＳＥＩメッセージが１つまたは複数の特定のＯＬＳに適用されることを示すように設定されている場合、スケーラブルネスティングＳＥＩメッセージが、サブビットストリームから除去されたかをチェックし得る。

【0187】

次いで、エンコーダ／ＨＲＤは、スケーラブルネスティングＳＥＩメッセージをチェックして、含まれるスケーラブルネスティングされたＳＥＩメッセージのいずれかがターゲットＯＬＳ内の任意のレイヤに関連するかどうかを決定し得る。スケーラブルネスティングＳＥＩメッセージもスケーラブルネスティングされたＳＥＩメッセージのいずれもターゲットＯＬＳを参照しない場合、スケーラブルネスティングＳＥＩメッセージをサブビットストリームから除去することができる。具体例では、スケーラブルネスティングＳＥＩメッセージに、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］が、ターゲットＯＬＳに関連付けられたｔａｒｇｅｔＯｌｓＩｄｘと等しくなるような、０～スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１（両端を含む）までの範囲内のインデックス（ｉ）値が含まれていない場合、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージは、ターゲットＯＬＳを参照しない。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１は、スケーラブルネスティングＳＥＩメッセージが適用されるＯＬＳの数を指定し得る。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１は、０～ＴｏｔａｌＮｕｍＯｌｓｓから１を引いた数（ＴｏｔａｌＮｕｍＯｌｓｓ－１）の値（両端を含む）の範囲内に制約され得る。したがって、エンコーダ／ＨＲＤは、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値をチェックして、スケーラブルネスティングＳＥＩメッセージに関連付けられているＯＬＳの数を決定し得る。次いで、エンコーダは、ターゲットＯＬＳとの関連性について０とスケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１との間の各ＯＬＳをチェックし得る。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０～ＯＬＳの総数から１を引いた数（ＴｏｔａｌＮｕｍＯｌｓｓ－１）（両端を含む）の範囲内に制約され得る。ＴｏｔａｌＮｕｍＯｌｓｓ－１は、ビットストリーム／サブビットストリーム内のＯＬＳを指定するＶＰＳに含まれ得る。ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定し得る。各現在のＯＬＳについて、エンコーダ／ＨＲＤは、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１の値をチェックして、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］の値を導出して、スケーラブルネスティングされたＳＥＩメッセージが適用される現在の／ｉ番目のＯＬＳのＯＬＳインデックスを決定し得る。ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１から導出されるＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］の値が、ターゲットＯＬＳに関連付けられたｔａｒｇｅｔＯｌｓＩｄｘに等しくない場合、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージのいずれもターゲットＯＬＳに適用されない。そのような場合、ＨＲＤ適合性試験または復号に悪影響を与えることなく、抽出されたサブビットストリームからスケーラブルネスティングＳＥＩメッセージを除去することができる。ｔａｒｇｅｔＯｌｓＩｄｘは、例えば、デコーダによって要求されるように、ターゲットＯＬＳのＯＬＳインデックスを識別することができることに留意されたい。

【0188】

ステップ１００７において、エンコーダ／ＨＲＤは、例えば、ターゲットＯＬＳに関連付けられ、抽出されたサブビットストリームに含まれる／抽出されたサブビットストリームから除去されないＳＥＩメッセージに基づいて、ターゲットＯＬＳに対してビットストリーム適合性試験のセットを実行する。ステップ１００９において、エンコーダは、デコーダに向けて通信するためにビットストリームを記憶する。前述のメカニズムは、ターゲットＯＬＳ内の任意のレイヤに関連するスケーラブルネスティングされたＳＥＩメッセージを含まないスケーラブルネスティングＳＥＩメッセージをサブビットストリームから除去する。これにより、デコーダに送信されるサブビットストリームのサイズが低減される。したがって、本例は、コード化効率を高め、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソースの使用を低減する。

【0189】

図１１は、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、スケーラブルネスティングＳＥＩメッセージが除去されるビットストリームからビデオシーケンスを復号する例示的な方法１１００のフローチャートである。残りのＳＥＩメッセージは、ＨＲＤ５００などのＨＲＤによるビットストリーム適合性試験に使用できる。方法１１００は、方法１００を実行するときに、コーデックシステム２００、デコーダ４００、および／またはビデオコード化装置９００などのデコーダによって使用され得る。さらに、方法１１００は、マルチレイヤビデオシーケンス６００および／またはマルチレイヤビデオシーケンス７００を含むビットストリーム８００などのビットストリーム上で動作し得る。

【0190】

方法１１００は、デコーダが、例えば、方法１０００の結果として、マルチレイヤビデオシーケンスを表すコード化されたデータのビットストリームを受信し始めるときに開始し得る。ステップ１１０１において、デコーダは、ターゲットＯＬＳを含むビットストリームを受信し得る。ターゲットＯＬＳは、レイヤ６３１、レイヤ６３２、サブレイヤ７１０、サブレイヤ７２０、および／またはサブレイヤ７３０を含むＯＬＳ６２５などのＯＬＳであり得る。さらに、ターゲットＯＬＳは、デコーダによって要求され得る。スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、およびスケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、サブビットストリーム抽出プロセスの一部としてデコーダで受信される前に、スケーラブルネスティングＳＥＩメッセージを含むスケーラブルネスティングＳＥＩ ＮＡＬユニットがビットストリームから除去されている。サブビットストリーム抽出プロセスは、エンコーダ上のＨＲＤによって実行され得る。例えば、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングＯＬＳフラグが１に設定されている場合に、（例えば、レイヤではなく）特定のＯＬＳに適用される。したがって、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングＳＥＩメッセージが１つまたは複数の特定のＯＬＳに適用されることを示すように設定されている場合、スケーラブルネスティングＳＥＩメッセージが、サブビットストリームから除去され得る。

【0191】

さらに、スケーラブルネスティングＳＥＩメッセージもスケーラブルネスティングされたＳＥＩメッセージのいずれもターゲットＯＬＳを参照しない場合、スケーラブルネスティングＳＥＩメッセージをサブビットストリームから除去することができる。具体例では、スケーラブルネスティングＳＥＩメッセージに、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］が、ターゲットＯＬＳに関連付けられたｔａｒｇｅｔＯｌｓＩｄｘと等しくなるような、０～スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１（両端を含む）までの範囲内のインデックス（ｉ）値が含まれていない場合、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージは、ターゲットＯＬＳを参照しない。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１は、スケーラブルネスティングＳＥＩメッセージが適用されるＯＬＳの数を指定し得る。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１は、０～ＴｏｔａｌＮｕｍＯｌｓｓから１を引いた数（ＴｏｔａｌＮｕｍＯｌｓｓ－１）の値（両端を含む）の範囲内に制約され得る。したがって、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、スケーラブルネスティングＳＥＩメッセージに関連付けられているＯＬＳの数を示し得る。ターゲットＯＬＳとの関連性について０とスケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１との間の各ＯＬＳをチェックし得る。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－１（両端を含む）の範囲内に制約され得る。ＴｏｔａｌＮｕｍＯｌｓｓ－１は、ビットストリーム／サブビットストリーム内のＯＬＳを指定するＶＰＳに含まれ得る。ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定し得る。各現在のＯＬＳについて、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１の値がチェックされ得、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］の値を導出して、スケーラブルネスティングされたＳＥＩメッセージが適用される現在の／ｉ番目のＯＬＳのＯＬＳインデックスを決定し得る。ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１から導出されるＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］の値が、ターゲットＯＬＳに関連付けられたｔａｒｇｅｔＯｌｓＩｄｘに等しくない場合、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージのいずれもターゲットＯＬＳに適用されない。そのような場合、スケーラブルネスティングＳＥＩメッセージは、デコーダで受信される前に、抽出されたサブビットストリームから除去される。ｔａｒｇｅｔＯｌｓＩｄｘは、例えば、デコーダによって要求されるように、ターゲットＯＬＳのＯＬＳインデックスを識別することができることに留意されたい。

【0192】

ステップ１１０３において、デコーダは、ターゲットＯＬＳからのピクチャを復号し得る。デコーダはまた、ステップ１１０７において、復号されたビデオシーケンスの一部として表示するためにピクチャを転送し得る。

【0193】

図１２は、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、スケーラブルネスティングＳＥＩメッセージを除去することによって、ビデオシーケンスをビットストリームへ符号化する例示的なシステム１２００の概略図である。システム１２００は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはビデオコード化装置９００などのエンコーダおよびデコーダによって実装され得る。さらに、システム１２００は、ＨＲＤ５００を使用して、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００に対して適合性試験を実行することができる。加えて、システム１２００は、方法１００、１０００、および／または１１００を実装するときに使用され得る。

【0194】

システム１２００は、ビデオエンコーダ１２０２を含む。ビデオエンコーダ１２０２は、１つまたは複数のＯＬＳを備えるビットストリームを符号化するための符号化モジュール１２０３を備える。ビデオエンコーダ１２０２は、ＯＬＳからターゲットＯＬＳを抽出するためにサブビットストリーム抽出プロセスを実行するためのＨＲＤモジュール１２０５をさらに備える。ＨＲＤモジュール１２０５はさらに、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、およびスケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットを、ビットストリームから除去するためのものである。ＨＲＤモジュール１２０５はさらに、ターゲットＯＬＳに対してビットストリーム適合性試験のセットを実行するためのものである。ビデオエンコーダ１２０２はさらに、デコーダに向けて通信するためにビットストリームを記憶するための記憶モジュール１２０６を備える。ビデオエンコーダ１２０２はさらに、ビットストリームをビデオデコーダ１２１０に向けて送信するための送信モジュール１２０７を備える。ビデオエンコーダ１２０２はさらに、方法１０００のステップのうちのいずれかを実行するように構成され得る。

【0195】

システム１２００はまた、ビデオデコーダ１２１０を含む。ビデオデコーダ１２１０は、ターゲットＯＬＳを備えるビットストリームを受信する受信モジュール１２１１を含み、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージがターゲットＯＬＳを参照しない場合、およびスケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、スケーラブルネスティングＳＥＩメッセージを含むスケーラブルネスティングＳＥＩ ＮＡＬユニットは、サブビットストリーム抽出プロセスの一部としてビットストリームから除去される。ビデオデコーダ１２１０はさらに、ターゲットＯＬＳからのピクチャを復号するための復号モジュール１２１３を備える。ビデオデコーダ１２１０はさらに、復号されたビデオシーケンスの一部として表示するためにピクチャを転送するための転送モジュール１２１５を備える。ビデオデコーダ１２１０はさらに、方法１１００のステップのうちのいずれかを実行するように構成され得る。

【0196】

第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または別の媒体を除いて、介在するコンポーネントがない場合、第１のコンポーネントは第２のコンポーネントに直接結合される。第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または別の媒体以外の介在するコンポーネントがある場合、第１のコンポーネントは第２のコンポーネントに間接的に結合される。「結合された」という用語およびその変形は、直接結合されたものおよび間接的に結合されたものの両方を含む。「約」という用語の使用は、特に明記しない限り、後続の数の±１０％を含む範囲を意味する。

【0197】

本明細書に記載の例示的な方法のステップは、必ずしも記載された順序で実行される必要はなく、そのような方法のステップの順序は、単なる例示であると理解されるべきであることも理解されたい。同様に、本開示のさまざまな実施形態と一致する方法では、そのような方法に追加のステップを含めることができ、特定のステップを省略または組み合わせることができる。

【0198】

本開示ではいくつかの実施形態が提供されたが、開示されたシステムおよび方法は、本開示の趣旨または範囲から逸脱することなく、多くの他の特定の形態で具現化され得ることが理解されよう。本実施例は、例示的であり、限定的ではないと考えられるべきであり、その意図は本明細書に与えられた詳細に限定されるべきではない。例えば、さまざまな要素またはコンポーネントは、別のシステムに組み合わされ、もしくは統合されてもよく、または特定の特徴は、省略され、もしくは実装されなくてもよい。

【0199】

加えて、本開示の範囲から逸脱することなく、さまざまな実施形態において個別のまたは別個のものとして説明および図示された技術、システム、サブシステム、および方法は、他のシステム、コンポーネント、技術、または方法と組み合わされても、または統合されてもよい。変更、置換、および変更の他の例は、当業者によって確認可能であり、本明細書に開示された趣旨および範囲から逸脱することなく行うことができる。
［他の考えられる項目］
［項目１］
デコーダによって実装される方法であって、前記方法は、
前記デコーダの受信機により、ターゲット出力レイヤセット（ＯＬＳ）を備えるビットストリームを受信する段階であって、スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージが前記ターゲットＯＬＳを参照しない場合、および前記スケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、前記スケーラブルネスティングＳＥＩメッセージを含むスケーラブルネスティングＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、サブビットストリーム抽出プロセスの一部として前記ビットストリームから除去される、受信する段階と、
前記プロセッサによって、前記ターゲットＯＬＳからのピクチャを復号する段階と
を備える、方法。
［項目２］
前記サブビットストリーム抽出プロセスは、エンコーダ上の仮想参照デコーダ（ＨＲＤ）によって実行される、項目１に記載の方法。
［項目３］
前記スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、特定のＯＬＳに適用される、項目１～２のいずれか一項に記載の方法。
［項目４］
前記スケーラブルネスティングＳＥＩメッセージに、ｉ番目のネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）が、前記ターゲットＯＬＳに関連付けられたターゲットＯＬＳインデックス（ｔａｒｇｅｔＯｌｓＩｄｘ）と等しくなるような、０～ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）（両端を含む）までの範囲のインデックス（ｉ）値が含まれていない場合、スケーラブルネスティングされたＳＥＩメッセージは、前記ターゲットＯＬＳを参照しない、項目１～３のいずれか一項に記載の方法。
［項目５］
前記スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１は、前記スケーラブルネスティングＳＥＩメッセージが適用されるＯＬＳの数を指定し、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０～ＯＬＳの総数から１を引いた数（ＴｏｔａｌＮｕｍＯｌｓｓ－１）（両端を含む）までの範囲に制約される、項目１～４のいずれか一項に記載の方法。
［項目６］
前記ｔａｒｇｅｔＯｌｓＩｄｘは、前記ターゲットＯＬＳのＯＬＳインデックスを識別する、項目１～５のいずれか一項に記載の方法。
［項目７］
前記ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、前記スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する、項目１～６のいずれか一項に記載の方法。
［項目８］
エンコーダによって実装される方法であって、前記方法は、
前記エンコーダのプロセッサによって、１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームを符号化する段階と、
前記プロセッサ上で動作する仮想参照デコーダ（ＨＲＤ）によって、前記ＯＬＳからターゲットＯＬＳを抽出するためにサブビットストリーム抽出プロセスを実行する段階と、
スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージが前記ターゲットＯＬＳを参照しない場合、および前記スケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、前記プロセッサ上で動作する前記ＨＲＤによって、前記スケーラブルネスティングＳＥＩメッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットを、前記ビットストリームから除去する段階と、
前記プロセッサ上で動作する前記ＨＲＤによって、前記ターゲットＯＬＳ上でビットストリーム適合性試験のセットを実行する段階と
を備える、方法。
［項目９］
前記スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、前記特定のＯＬＳに適用される、項目８に記載の方法。
［項目１０］
前記スケーラブルネスティングＳＥＩメッセージに、ｉ番目のネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）が、前記ターゲットＯＬＳに関連付けられたターゲットＯＬＳインデックス（ｔａｒｇｅｔＯｌｓＩｄｘ）と等しくなるような、０～ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）（両端を含む）までの範囲のインデックス（ｉ）値が含まれていない場合、スケーラブルネスティングされたＳＥＩメッセージは、前記ターゲットＯＬＳを参照しない、項目８～９のいずれか一項に記載の方法。
［項目１１］
前記スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１は、前記スケーラブルネスティングＳＥＩメッセージが適用されるＯＬＳの数を指定する、項目８～１０のいずれか一項に記載の方法。
［項目１２］
スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０～ＯＬＳの総数から１を引いた数（ＴｏｔａｌＮｕｍＯｌｓｓ－１）（両端を含む）までの範囲に制約される、項目８～１１のいずれか一項に記載の方法。
［項目１３］
前記ｔａｒｇｅｔＯｌｓＩｄｘは、前記ターゲットＯＬＳのＯＬＳインデックスを識別する、項目８～１２のいずれか一項に記載の方法。
［項目１４］
前記ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、前記スケーラブルネスティングＯＬＳフラグが１に設定されている場合に、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する、項目８～１３のいずれか一項に記載の方法。
［項目１５］
ビデオコード化装置であって、
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを備え、前記プロセッサ、前記受信機、前記メモリ、および前記送信機は、項目１～１４のいずれか一項に記載の方法を実行するように構成される、ビデオコード化装置。
［項目１６］
ビデオコード化装置による使用のためのコンピュータプログラム製品を含む非一時的コンピュータ可読媒体であって、プロセッサによって実行されると、前記ビデオコード化装置に項目１～１４のいずれか一項に記載の方法を実行させるように、前記コンピュータプログラム製品は、前記非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体。
［項目１７］
デコーダであって、
ターゲット出力レイヤセット（ＯＬＳ）を備えるビットストリームを受信する受信手段であって、スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージが前記ターゲットＯＬＳを参照しない場合、および前記スケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、前記スケーラブルネスティングＳＥＩメッセージを含むスケーラブルネスティングＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、サブビットストリーム抽出プロセスの一部として前記ビットストリームから除去される、受信手段と、
前記ターゲットＯＬＳからのピクチャを復号する復号手段と、
復号されたビデオシーケンスの一部として表示するために前記ピクチャを転送する転送手段と
を備える、デコーダ。
［項目１８］
前記デコーダは、項目１～７のいずれか一項に記載の方法を実行するようにさらに構成される、項目１７に記載のデコーダ。
［項目１９］
エンコーダであって、
１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームを符号化する符号化手段と、
仮想参照デコーダ（ＨＲＤ）手段であって、
前記ＯＬＳからターゲットＯＬＳを抽出するためにサブビットストリーム抽出プロセスを実行することと、
スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージ内のスケーラブルネスティングされたＳＥＩメッセージが前記ターゲットＯＬＳを参照しない場合、および前記スケーラブルネスティングＳＥＩメッセージが特定のＯＬＳに適用される場合、前記スケーラブルネスティングＳＥＩメッセージを含むＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットを、前記ビットストリームから除去することと、
前記ターゲットＯＬＳ上でビットストリーム適合性試験のセットを実行することと
を行うためのＨＲＤ手段と、
デコーダに向けて通信するための前記ビットストリームを記憶する記憶手段と
を備える、エンコーダ。
［項目２０］
前記エンコーダは、項目８～１４のいずれか一項に記載の方法を実行するようにさらに構成される、項目１９に記載のエンコーダ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【外国語明細書】