知財求人 - 知財ポータルサイト「IP Force」
▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
特開2024-99515ビデオコーディングにおけるサブレイヤのためのエラー軽減
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024099515
(43)【公開日】2024-07-25
(54)【発明の名称】ビデオコーディングにおけるサブレイヤのためのエラー軽減
(51)【国際特許分類】
H04N 19/70 20140101AFI20240718BHJP
H04N 19/31 20140101ALI20240718BHJP
【ＦＩ】
H04N19/70
H04N19/31
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024039214
(22)【出願日】2024-03-13
(62)【分割の表示】P 2022518742の分割
【原出願日】2020-09-08
(31)【優先権主張番号】62/905,244
(32)【優先日】2019-09-24
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】ワン、イエ－クイ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA03
5C159MA04
5C159MA17
5C159MA33
5C159MC11
5C159ME11
5C159PP04
5C159RB09
5C159RC12
5C159UA02
5C159UA05
(57)【要約】 （修正有）
【課題】仮想リファレンスデコーダ（ＨＲＤ）のパラメータ変更に関する装置及び方法を提供する。
【解決手段】ビットストリームを記憶するための方法は、ビデオパラメータセット（ＶＰＳ）８１１と１または複数のサブレイヤとを含むビットストリーム８００を符号化することを含む。バッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）８３１を含むＢＰ補助強化情報（ＳＥＩ）メッセージ８１９もビットストリームに符号化される。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１は、０からＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定される。仮想リファレンスデコーダは、ＢＰ ＳＥＩメッセージに基づいて初期化される。ビットストリーム適合性試験のセットが、サブレイヤに対して実行される。ビットストリームは、デコーダへの通信のために記憶される。
【選択図】図８
【解決手段】ビットストリームを記憶するための方法は、ビデオパラメータセット（ＶＰＳ）８１１と１または複数のサブレイヤとを含むビットストリーム８００を符号化することを含む。バッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）８３１を含むＢＰ補助強化情報（ＳＥＩ）メッセージ８１９もビットストリームに符号化される。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１は、０からＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定される。仮想リファレンスデコーダは、ＢＰ ＳＥＩメッセージに基づいて初期化される。ビットストリーム適合性試験のセットが、サブレイヤに対して実行される。ビットストリームは、デコーダへの通信のために記憶される。
【選択図】図８
【特許請求の範囲】
【請求項1】
ビットストリームを記憶するための装置であって、
１または複数の記憶媒体および受信機
を備え、
前記受信機が前記ビットストリームを受信するように構成され、
前記ビットストリームが、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から前記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含み、
前記１または複数の記憶媒体が、前記ビットストリームを記憶するように構成される、
装置。
１または複数の記憶媒体および受信機
を備え、
前記受信機が前記ビットストリームを受信するように構成され、
前記ビットストリームが、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から前記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含み、
前記１または複数の記憶媒体が、前記ビットストリームを記憶するように構成される、
装置。
【請求項2】
前記ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、バッファリング期間補助強化情報（ＳＥＩ）メッセージに含まれ、前記ＢＰ ＳＥＩメッセージが、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって指定される時間サブレイヤの最大数に関連付けられたパラメータを含む、請求項１に記載の装置。
【請求項3】
前記ＢＰ ＳＥＩメッセージ中の前記パラメータが、初期コード化ピクチャバッファ（ＣＰＢ）除去遅延と初期ＣＰＢ除去オフセットとを含む、請求項２に記載の装置。
【請求項4】
前記ＶＰＳ中で示されるサブレイヤの前記最大数が、ＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）に含まれる、請求項１～３のいずれか一項に記載の装置。
【請求項5】
前記ＢＰ ＳＥＩメッセージが、復号順序において、関連するアクセスユニット（ＡＵ）の位置における仮想リファレンスデコーダ（ＨＲＤ）の初期化のためのものである、請求項１～４のいずれか一項に記載の装置。
【請求項6】
前記ビットストリームが、時間スケーラブルビットストリームであり、前記１または複数のサブレイヤが、前記ビットストリームの時間スケーラブルレイヤであり、各サブレイヤが、ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットと、テンポラル識別子（ＴｅｍｐｏｒａｌＩｄ）変数の値が同じである関連する非ＶＣＬ ＮＡＬユニットとを含む、請求項１～５のいずれか一項に記載の装置。
【請求項7】
ビットストリームを記憶するための方法であって、
受信機を通して前記ビットストリームを受信する段階と、
１または複数の記憶媒体に前記ビットストリームを記憶する段階と、
を備え、
前記ビットストリームが、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から前記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含む、
方法。
受信機を通して前記ビットストリームを受信する段階と、
１または複数の記憶媒体に前記ビットストリームを記憶する段階と、
を備え、
前記ビットストリームが、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から前記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含む、
方法。
【請求項8】
前記ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、バッファリング期間補助強化情報（ＳＥＩ）メッセージに含まれ、前記ＢＰ ＳＥＩメッセージが、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって指定される時間サブレイヤの最大数に関連付けられたパラメータを含む、請求項７に記載の方法。
【請求項9】
前記ＢＰ ＳＥＩメッセージ中の前記パラメータが、初期コード化ピクチャバッファ（ＣＰＢ）除去遅延と初期ＣＰＢ除去オフセットとを含む、請求項７または８に記載の方法。
【請求項10】
前記ＶＰＳ中で示されるサブレイヤの前記最大数が、ＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）に含まれる、請求項７～９のいずれか一項に記載の方法。
【請求項11】
前記ビットストリームが、時間スケーラブルビットストリームであり、前記１または複数のサブレイヤが、前記ビットストリームの時間スケーラブルレイヤであり、各サブレイヤが、ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットと、テンポラル識別子（ＴｅｍｐｏｒａｌＩｄ）変数の値が同じである関連する非ＶＣＬ ＮＡＬユニットとを含む、請求項７～１０のいずれか一項に記載の方法。
【請求項12】
ビットストリームを送信するためのデバイスであって、前記デバイスが、
前記ビットストリームを記憶するように構成された少なくとも１つの記憶媒体であって、前記ビットストリームが、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から前記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含む、少なくとも１つの記憶媒体と、
前記少なくとも１つの記憶媒体の１つから１または複数のビットストリームを取得するように構成される少なくとも１つのプロセッサと、
前記１または複数のビットストリームを別のデバイスへ送信するように構成された送信機と、
を備える、
デバイス。
前記ビットストリームを記憶するように構成された少なくとも１つの記憶媒体であって、前記ビットストリームが、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から前記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含む、少なくとも１つの記憶媒体と、
前記少なくとも１つの記憶媒体の１つから１または複数のビットストリームを取得するように構成される少なくとも１つのプロセッサと、
前記１または複数のビットストリームを別のデバイスへ送信するように構成された送信機と、
を備える、
デバイス。
【請求項13】
ビットストリームを送信する方法であって、前記方法が、
少なくとも１つの記憶媒体から前記ビットストリームを取得する段階であって、前記少なくとも１つの記憶媒体が少なくとも１つのビットストリームを記憶しており、前記ビットストリームが、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から前記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含む、取得する段階と、
前記ビットストリームを別のデバイスへ送信する段階と、
を備える、
方法。
少なくとも１つの記憶媒体から前記ビットストリームを取得する段階であって、前記少なくとも１つの記憶媒体が少なくとも１つのビットストリームを記憶しており、前記ビットストリームが、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から前記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含む、取得する段階と、
前記ビットストリームを別のデバイスへ送信する段階と、
を備える、
方法。
【請求項14】
ビットストリームを処理するシステムであって、
符号化デバイスと、１または複数の記憶デバイスと、復号デバイスと、
を備え、
前記符号化デバイスが、ビデオ信号を取得し、前記ビデオ信号を符号化して前記ビットストリームを取得するように構成され、
前記ビットストリームが、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から前記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含み、
前記復号デバイスが、前記ビットストリームを復号するために使用される、
システム。
符号化デバイスと、１または複数の記憶デバイスと、復号デバイスと、
を備え、
前記符号化デバイスが、ビデオ信号を取得し、前記ビデオ信号を符号化して前記ビットストリームを取得するように構成され、
前記ビットストリームが、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から前記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含み、
前記復号デバイスが、前記ビットストリームを復号するために使用される、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本特許出願は、参照により本明細書に組み込まれる、Ｙｅ－Ｋｕｉ Ｗａｎｇによって２０１９年９月２４日に出願された「Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（ＨＲＤ）ｆｏｒ Ｍｕｌｔｉ－Ｌａｙｅｒ Ｖｉｄｅｏ Ｂｉｔｓｔｒｅａｍｓ」と題する米国仮特許出願第６２／９０５，２４４号の利益を主張する。
本特許出願は、参照により本明細書に組み込まれる、Ｙｅ－Ｋｕｉ Ｗａｎｇによって２０１９年９月２４日に出願された「Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（ＨＲＤ）ｆｏｒ Ｍｕｌｔｉ－Ｌａｙｅｒ Ｖｉｄｅｏ Ｂｉｔｓｔｒｅａｍｓ」と題する米国仮特許出願第６２／９０５，２４４号の利益を主張する。
【0002】
本開示は、概してビデオコーディングに関し、詳細には、マルチレイヤビットストリームの効率的な符号化および／または適合性試験をサポートするための仮想リファレンスデコーダ（ＨＲＤ）パラメータ変更に関する。
【背景技術】
【0003】
比較的短いビデオであっても、その描写に必要なビデオデータ量は膨大なものとなり、帯域の限られた通信ネットワークでデータのストリーミングなどの通信を行う場合には、困難が伴う場合がある。そのため、現代の通信ネットワークでは、ビデオデータを圧縮して通信するのが一般的である。また、ビデオがストレージデバイスに記憶されるとき、メモリリソースに制限があるため、ビデオのサイズが問題になる可能性がある。ビデオ圧縮デバイスは、多くの場合、送信または記憶の前に、ソースにおいてソフトウェアおよび／またはハードウェアを使用してビデオデータをコーディングし、それによってデジタルビデオ画像を表現するために必要とされるデータの量を減少させる。圧縮後、圧縮されたデータは、配信先でビデオ復元デバイスによって受信され、ビデオデータが復号される。ネットワークリソースが限られ、ビデオの高画質化がますます求められる中、画質をほとんどまたは全く犠牲にすることなく圧縮比を向上させる圧縮復元技術の向上が望まれている。
【発明の概要】
【0004】
一実施形態では、本開示は、デコーダによって実装される方法を含み、方法は、デコーダの受信機によって、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０からＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含むビットストリームを受信することと、デコーダのプロセッサによって、１または複数のサブレイヤからピクチャを復号することと、を含む。
【0005】
ビデオコーディングシステムは、ビットストリームがデコーダによって復号可能であることを保証するために種々の適合性試験を採用している。例えば、適合性検査には、適合性についてビットストリーム全体を試験することと、次いで適合性についてビットストリームの各レイヤを試験することと、最後に適合性について潜在的な復号可能出力を検査することと、が含まれ得る。適合性検査を実装するために、対応するパラメータがビットストリームに含まれる。仮想リファレンスデコーダ（ＨＲＤ）は、パラメータを読み出し、試験を実行することができる。ビデオは、多くのレイヤおよび多くの異なる出力レイヤセット（ＯＬＳ）を含み得る。要求に応じて、エンコーダは、選択されたＯＬＳの１または複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポートされ得るＯＬＳから最良のレイヤ（複数可）を送信することができる。問題は、ビデオ中の各ビデオシーケンスに関連するシンタックス要素を含めるためのシーケンスパラメータセット（ＳＰＳ）の使用量に関する。ビデオコーディングシステムは、レイヤおよび／またはサブレイヤにおいてビデオをコーディングし得る。ビデオシーケンスは、異なるレイヤおよび／またはサブレイヤにおいて異なるように動作し得る。したがって、異なるレイヤは、異なるＳＰＳを参照し得る。ＢＰ ＳＥＩメッセージは、規格への適合性について検査されるレイヤ／サブレイヤを示し得る。一部のビデオコーディングシステムは、ＢＰ ＳＥＩメッセージがＳＰＳ中で示されるレイヤ／サブレイヤに適用されることを示す場合がある。これは、異なるレイヤが異なるＳＰＳを参照した場合、かかるＳＰＳに矛盾する情報が含まれる可能性があり、予期せぬエラーが発生するという問題がある。開示される例は、ビデオシーケンスにおいて複数のレイヤが採用される際の適合性検査に関連するエラーに対処するためのメカニズムを含む。具体的には、ＢＰ ＳＥＩメッセージは、ＶＰＳにおいて記述される任意の数のレイヤ／サブレイヤが適合性について検査され得ることを示すように修正される。例えば、ＢＰ ＳＥＩメッセージは、ＢＰ ＳＥＩメッセージ中のデータに関連するレイヤ／サブレイヤの数を示すｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素を含み得る。一方、ＶＰＳにおけるＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素は、ビデオ全体におけるサブレイヤの数を示す。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素の値までの任意の値に設定され得る。このようにして、ビデオ内の任意の数のレイヤ／サブレイヤの適合性を検査することができ、ＳＰＳの不整合に関連するレイヤベースのシーケンスの問題を回避することができる。したがって、本開示は、レイヤベースのコーディングエラーを回避し、それにより、エンコーダおよび／またはデコーダの機能を向上させる。さらに、本例はコーディング効率を増加させ得るレイヤベースコーディングをサポートする。したがって、本例は、エンコーダおよび／またはデコーダにおけるプロセッサ、メモリ、および／またはネットワークリソース使用量の削減をサポートする。
【0006】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、バッファリング期間補助強化情報（ＳＥＩ）メッセージに含まれ、ＢＰ ＳＥＩメッセージが、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって指定される時間サブレイヤの最大数に関連付けられたパラメータを含むことを提供する。
【0007】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＢＰ ＳＥＩメッセージ中のパラメータが、初期コード化ピクチャバッファ（ＣＰＢ）除去遅延と初期ＣＰＢ除去オフセットとを含むことを提供する。
【0008】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＶＰＳ中で示されるサブレイヤの最大数が、ＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）に含まれることを提供する。
【0009】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、ＶＰＳに含まれることを提供する。
【0010】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＢＰ ＳＥＩメッセージが、復号順序において、関連するアクセスユニット（ＡＵ）の位置における仮想リファレンスデコーダ（ＨＲＤ）の初期化のためのものであることを提供する。
【0011】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ビットストリームが、時間スケーラブルビットストリームであり、１または複数のサブレイヤが、ビットストリームの時間スケーラブルレイヤであり、各サブレイヤが、ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットと、テンポラル識別子（ＴｅｍｐｏｒａｌＩｄ）変数の値が同じである関連する非ＶＣＬ ＮＡＬユニットとを含むことを提供する。
【0012】
一実施形態では、本開示は、エンコーダによって実装される方法を含み、方法は、エンコーダのプロセッサによって、ＶＰＳと１または複数のサブレイヤとを含むビットストリームを符号化することと、プロセッサによって、０からＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１を含むＢＰ ＳＥＩメッセージをビットストリームに符号化することと、プロセッサによって、ＢＰ ＳＥＩメッセージに基づいてＨＲＤを初期化することと、プロセッサによって、ＨＲＤを用いて、サブレイヤに対してビットストリーム適合性試験のセットを実行することと、を含む。
【0013】
ビデオコーディングシステムは、ビットストリームがデコーダによって復号可能であることを保証するために種々の適合性試験を採用している。例えば、適合性検査には、適合性についてビットストリーム全体を試験することと、次いで適合性についてビットストリームの各レイヤを試験することと、最後に適合性について潜在的な復号可能出力を検査することと、が含まれ得る。適合性検査を実装するために、対応するパラメータがビットストリームに含まれる。ＨＲＤは、パラメータを読み出し、試験を実行することができる。ビデオは、多くのレイヤおよび多くの異なるＯＬＳを含み得る。要求に応じて、エンコーダは、選択されたＯＬＳの１または複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポートされ得るＯＬＳから最良のレイヤ（複数可）を送信することができる。問題は、ビデオ中の各ビデオシーケンスに関連するシンタックス要素を含めるためのＳＰＳの使用量に関する。ビデオコーディングシステムは、レイヤおよび／またはサブレイヤにおいてビデオをコーディングし得る。ビデオシーケンスは、異なるレイヤおよび／またはサブレイヤにおいて異なるように動作し得る。したがって、異なるレイヤは、異なるＳＰＳを参照し得る。ＢＰ ＳＥＩメッセージは、規格への適合性について検査されるレイヤ／サブレイヤを示し得る。一部のビデオコーディングシステムは、ＢＰ ＳＥＩメッセージがＳＰＳ中で示されるレイヤ／サブレイヤに適用されることを示す場合がある。これは、異なるレイヤが異なるＳＰＳを参照した場合、かかるＳＰＳに矛盾する情報が含まれる可能性があり、予期せぬエラーが発生するという問題がある。開示される例は、ビデオシーケンスにおいて複数のレイヤが採用される際の適合性検査に関連するエラーに対処するためのメカニズムを含む。具体的には、ＢＰ ＳＥＩメッセージは、ＶＰＳにおいて記述される任意の数のレイヤ／サブレイヤが適合性について検査され得ることを示すように修正される。例えば、ＢＰ ＳＥＩメッセージは、ＢＰ ＳＥＩメッセージ中のデータに関連するレイヤ／サブレイヤの数を示すｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素を含み得る。一方、ＶＰＳにおけるｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、ビデオ全体におけるサブレイヤの数を示す。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素の値までの任意の値に設定され得る。このようにして、ビデオ内の任意の数のレイヤ／サブレイヤの適合性を検査することができ、ＳＰＳの不整合に関連するレイヤベースのシーケンスの問題を回避することができる。したがって、本開示は、レイヤベースのコーディングエラーを回避し、それにより、エンコーダおよび／またはデコーダの機能を向上させる。さらに、本例はコーディング効率を増加させ得るレイヤベースコーディングをサポートする。したがって、本例は、エンコーダおよび／またはデコーダにおけるプロセッサ、メモリ、および／またはネットワークリソース使用量の削減をサポートする。
【0014】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＢＰ ＳＥＩメッセージが、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって指定される時間サブレイヤの最大数に関連付けられたパラメータを含むことを提供する。
【0015】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＢＰ ＳＥＩメッセージ中のパラメータが、初期ＣＰＢ除去遅延と初期ＣＰＢ除去オフセットとを含むことを提供する。
【0016】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＶＰＳ中で示されるサブレイヤの最大数が、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１に含まれることを提供する。
【0017】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、ＶＰＳに含まれることを提供する。
【0018】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ＨＲＤが、ＢＰ ＳＥＩメッセージに基づいて、復号順序において、関連するＡＵの位置において初期化されることを提供する。
【0019】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、ビットストリームが、時間スケーラブルビットストリームであり、１または複数のサブレイヤが、ビットストリームの時間スケーラブルレイヤであり、各サブレイヤが、ＶＣＬ ＮＡＬユニットと、ＴｅｍｐｏｒａｌＩｄ変数の値が同じである関連する非ＶＣＬ ＮＡＬユニットとを含むことを提供する。
【0020】
一実施形態では、本開示は、プロセッサと、プロセッサに結合された受信機と、プロセッサに結合されたメモリと、プロセッサに結合された送信機とを含むビデオコーディングデバイスを含み、プロセッサ、受信機、メモリ、および送信機は、前述の態様のいずれかの方法を実行するように構成される。
【0021】
一実施形態では、本開示は、ビデオコーディングデバイスによる使用のためのコンピュータプログラム製品を備える非一時的コンピュータ可読媒体を含み、コンピュータプログラム製品は、プロセッサによって実行されたときにビデオコーディングデバイスに前述の態様のいずれかの方法を実行させるように、非一時的コンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を含む。
【0022】
一実施形態では、本開示は、デコーダを含み、デコーダは、ＶＰＳと、１または複数のサブレイヤと、０からＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１とを含むビットストリームを受信するための受信手段と、１または複数のサブレイヤからピクチャを復号するための復号手段と、復号済みビデオシーケンスの一部として表示するためにピクチャを転送するための転送手段と、を備える。
【0023】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、デコーダが、前述の態様のいずれかの方法を実行するようにさらに構成されることを提供する。
【0024】
一実施形態では、本開示は、エンコーダを含み、エンコーダは、ＶＰＳと１または複数のサブレイヤとを含むビットストリームを符号化することと、０からＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１を含むＢＰ ＳＥＩメッセージをビットストリームに符号化することと、を行うための符号化手段と、ＢＰ ＳＥＩメッセージに基づいてＨＲＤを初期化するための初期化手段と、サブレイヤに対してビットストリーム適合性試験のセットを実行するためのＨＲＤ手段と、デコーダへの通信のためにビットストリームを記憶するための記憶手段と、を備える。
【0025】
所望により、前述の態様のいずれかにおいて、態様の別の実装形態は、エンコーダが、前述の態様のいずれかの方法を実行するようにさらに構成されることを提供する。
【0026】
明確にするために、前述の実施形態のうちのいずれか１つは、本開示の範囲内の新しい実施形態を作成するために、他の前述の実施形態のうちのいずれか１または複数と組み合わせてもよい。
【0027】
これらおよび他の特徴は、添付の図面および特許請求の範囲と併せて以下の詳細な説明からより明確に理解されるであろう。
【図面の簡単な説明】
【0028】
本開示のより完全な理解のために、同様の参照番号が同様の部分を表す添付の図面および詳細な説明に関連して、以下の簡単な説明が参照される。
【0029】
【図1】ビデオ信号をコーディングする例示的な方法のフローチャートである。
【0030】
【図2】ビデオコーディングのための例示的なコーディングおよび復号（コーデック）システムの概略図である。
【0031】
【図3】例示的なビデオエンコーダを示す概略図である。
【0032】
【図4】例示的なビデオデコーダを示す概略図である。
【0033】
【図5】例示的な仮想リファレンスデコーダ（ＨＲＤ）を示す概略図である。
【0034】
【図6】インターレイヤ予測のために構成された例示的なマルチレイヤビデオシーケンスを示す概略図である。
【0035】
【図7】時間スケーラビリティのために構成された例示的なマルチレイヤビデオシーケンスを示す概略図である。
【0036】
【図8】例示的なビットストリームを示す概略図である。
【0037】
【図9】例示的なビデオコーディングデバイスの概略図である。
【0038】
【図10】ＨＲＤによるビットストリーム適合性試験のための最大サブレイヤを直接参照するＢＰ ＳＥＩメッセージを含めることによってビデオシーケンスをビットストリームに符号化する例示的な方法のフローチャートである。
【0039】
【図11】ＨＲＤによるビットストリーム適合性試験のための最大サブレイヤを直接参照するＢＰ ＳＥＩメッセージを含むビットストリームからビデオシーケンスを復号する例示的な方法のフローチャートである。
【0040】
【図12】ＨＲＤによるビットストリーム適合性試験のための最大サブレイヤを直接参照するＢＰ ＳＥＩメッセージを含むビットストリーム中のビデオシーケンスをコーディングするための例示的なシステムの概略図である。
【発明を実施するための形態】
【0041】
１または複数の実施形態の例示的な実装形態が以下に提供されるが、開示されるシステムおよび／または方法は、現在知られているかまたは存在しているかにかかわらず、任意の数の技術を使用して実装され得ることを最初に理解されたい。本開示は、本明細書で図示および説明される例示的な設計および実装形態を含む、以下に示される例示的な実装形態、図面、および技術に決して限定されるべきではなく、添付の特許請求の範囲内で、それらの均等物の全範囲とともに修正され得る。
【0042】
以下の用語は、本明細書において反対の文脈で使用されない限り、以下のように定義される。具体的には、以下の定義は、本開示にさらなる明確性を提供することを意図する。しかしながら、用語は、異なる文脈において異なるように説明される場合がある。したがって、以下の定義は、補足として考慮されるべきであり、本明細書においてかかる用語について提供される説明の任意の他の定義を限定すると考慮されるべきではない。
【0043】
ビットストリームは、エンコーダとデコーダとの間の送信のために圧縮されたビデオデータを含むビットのシーケンスである。エンコーダは、ビデオデータをビットストリームに圧縮するために符号化プロセスを採用するように構成されたデバイスである。デコーダは、表示のためにビットストリームからビデオデータを再構成するために復号プロセスを採用するように構成されたデバイスである。ピクチャは、フレームまたはそのフィールドを作成する輝度サンプルのアレイおよび／または彩度サンプルのアレイである。符号化または復号されているピクチャは、説明を明確にするために、カレントピクチャと称されることがある。ネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、ローバイトシーケンスペイロード（ＲＢＳＰ）の形式のデータと、データのタイプの指示と、エミュレーション防止バイトとを含むシンタックス構造であり、これらは所望に応じて散在される。ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットは、ピクチャのコード化スライスなど、ビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオデータの復号、適合性検査の実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。アクセスユニット（ＡＵ）は、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関連するＮＡＬユニットのセットである。復号ユニット（ＤＵ）は、ＡＵまたはＡＵのサブセットおよび関連する非ＶＣＬ ＮＡＬユニットである。例えば、ＡＵは、ＶＣＬ ＮＡＬユニットと、ＡＵ中のＶＣＬ ＮＡＬユニットに関連する任意の非ＶＣＬ ＮＡＬユニットとを含む。さらに、ＤＵは、ＡＵからのＶＣＬ ＮＡＬユニットのセットまたはそのサブセット、ならびにＤＵ中のＶＣＬ ＮＡＬユニットに関連する任意の非ＶＣＬ ＮＡＬユニットを含む。レイヤは、指定された特性（例えば、共通の解像度、フレームレート、画像サイズなど）を共有するＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットとのセットである。復号順序は、シンタックス要素が復号プロセスによって処理される順序である。ビデオパラメータセット（ＶＰＳ）は、ビデオ全体に関連するパラメータを含むデータユニットである。
【0044】
時間スケーラブルビットストリームは、種々の時間解像度／フレームレートを提供する複数のレイヤにおいてコーディングされるビットストリームである（例えば、各レイヤは、異なるフレームレートをサポートするようにコーディングされる）。サブレイヤは、特定のテンポラル識別子値を有するＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットとを含む時間スケーラブルビットストリームの時間スケーラブルレイヤである。例えば、時間サブレイヤは、指定されたフレームレートに関連付けられたビデオデータを含むレイヤである。サブレイヤ表現は、特定のサブレイヤおよび下位サブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。したがって、１または複数の時間サブレイヤを組み合わせて、指定されたフレームレートを有するビデオシーケンスをもたらすように復号され得るサブレイヤ表現を達成することができる。出力レイヤセット（ＯＬＳ）は、１または複数のレイヤが出力レイヤ（複数可）として指定されるレイヤのセットである。出力レイヤは、（例えば、ディスプレイへの）出力のために指定されるレイヤである。ＯＬＳインデックスは、対応するＯＬＳを一意に識別するインデックスである。第０（０番目）のＯＬＳは、最下位レイヤ（最下位レイヤ識別子を有するレイヤ）のみを含むＯＬＳであり、出力レイヤのみを含むＯＬＳである。テンポラル識別子（ＩＤ）は、データがビデオシーケンス内の時間位置に対応することを示すデータ要素である。サブビットストリーム抽出プロセスは、ターゲットＯＬＳインデックスおよびターゲット最上位テンポラルＩＤによって決定されるターゲットセットに属さないＮＡＬユニットをビットストリームから除去するプロセスである。サブビットストリーム抽出プロセスは、ターゲットセットの一部であるビットストリームからのＮＡＬユニットを含む出力サブビットストリームをもたらす。
【0045】
ＨＲＤは、エンコーダ上で動作するデコーダモデルであり、符号化プロセスによって生成されるビットストリームの変動を検査して、指定された制約との適合性を検証する。ビットストリーム適合性試験は、符号化されたビットストリームが汎用ビデオコーディング（ＶＶＣ）などの規格に準拠するかどうかを判定するための試験である。ＨＲＤパラメータは、ＨＲＤの動作条件を初期化および／または定義するシンタックス要素である。ＨＲＤパラメータは、ＨＲＤパラメータシンタックス構造に含めることができる。シンタックス構造は、複数の異なるパラメータを含むように構成されたデータオブジェクトである。シンタックス要素は、同じタイプの１または複数のパラメータを含むデータオブジェクトである。したがって、シンタックス構造は複数のシンタックス要素を含み得る。シーケンスレベルＨＲＤパラメータは、コード化ビデオシーケンス全体に適用されるＨＲＤパラメータである。最大ＨＲＤテンポラルＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）は、ＨＲＤパラメータがＯＬＳ ＨＲＤパラメータのｉ番目のセットに含まれる最上位サブレイヤ表現のテンポラルＩＤを指定する。一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造は、シーケンスレベルＨＲＤパラメータを含むシンタックス構造である。オペレーションポイント（ＯＰ）は、ＯＬＳインデックスおよび最上位テンポラルＩＤによって識別されるＯＬＳの時間サブセットである。試験対象ＯＰ（ｔａｒｇｅｔＯｐ）は、ＨＲＤにおいて適合性試験のために選択されるＯＰである。ターゲットＯＬＳは、ビットストリームからの抽出のために選択されるＯＬＳである。復号ユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、対応するＨＲＤパラメータがＤＵレベルで動作するか、ＡＵレベルで動作するかを示すフラグである。コード化ピクチャバッファ（ＣＰＢ）は、ビットストリーム適合性検証中に使用するためのコード化ピクチャを復号順序で含む、ＨＲＤ中の先入れ先出しバッファである。復号済みピクチャバッファ（ＤＰＢ）は、参照、出力並べ替え、および／または出力遅延のために復号済みピクチャを保持するためのバッファである。
【0046】
補助強化情報（ＳＥＩ）メッセージは、復号済みピクチャ中のサンプルの値を決定するために復号プロセスによって必要とされない情報を伝達する、指定されたセマンティクスを有するシンタックス構造である。スケーラブルネスティングＳＥＩメッセージは、１または複数のＯＬＳまたは１または複数のレイヤに対応する複数のＳＥＩメッセージを含むメッセージである。非スケーラブルネスト化ＳＥＩメッセージは、ネスト化されていないメッセージであり、したがって、単一のＳＥＩメッセージを含んでいる。バッファリング期間（ＢＰ）ＳＥＩメッセージは、ＣＰＢを管理するためにＨＲＤを初期化するためのＨＲＤパラメータを含むＳＥＩメッセージである。ピクチャタイミング（ＰＴ）ＳＥＩメッセージは、ＣＰＢおよび／またはＤＰＢにおけるＡＵのための配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。復号ユニット情報（ＤＵＩ）ＳＥＩメッセージは、ＣＰＢおよび／またはＤＰＢにおけるＤＵのための配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。
【0047】
ＣＰＢ除去遅延は、対応する現在のＡＵが除去されてＤＰＢに出力される前にＣＰＢに留まり得る期間である。初期ＣＰＢ除去遅延は、ビットストリーム、ＯＬＳ、および／またはレイヤ中の各ピクチャ、ＡＵ、および／またはＤＵについてのデフォルトＣＰＢ除去遅延である。ＣＰＢ除去オフセットは、ＣＰＢ中の対応するＡＵの境界を決定するために使用されるＣＰＢ中のロケーションである。初期ＣＰＢ除去オフセットは、ビットストリーム、ＯＬＳ、および／またはレイヤ中の各ピクチャ、ＡＵ、および／またはＤＵに関連するデフォルトＣＰＢ除去オフセットである。復号済みピクチャバッファ（ＤＰＢ）出力遅延情報は、対応するＡＵが出力前にＤＰＢに留まり得る期間である。ＣＰＢ除去遅延情報は、ＣＰＢからの対応するＤＵの除去に関する情報である。配信スケジュールは、ＣＰＢおよび／またはＤＰＢなどのメモリロケーションへのおよび／またはメモリロケーションからのビデオデータの配信のためのタイミングを指定する。ＶＰＳレイヤＩＤ（ｖｐｓ＿ｌａｙｅｒ＿ｉｄ）は、ＶＰＳ中で示されるｉ番目のレイヤのレイヤＩＤを示すシンタックス要素である。出力レイヤセットの数マイナスワン（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）は、ＶＰＳによって指定されるＯＬＳの総数を指定するシンタックス要素である。ＨＲＤコード化ピクチャバッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）は、代替ＣＰＢ配信スケジュールの数を指定するシンタックス要素である。サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、ＯＬＳ ＨＲＤパラメータのセットが指定されたサブレイヤ表現のためのＨＲＤパラメータを含むかどうかを指定するシンタックス要素である。スケジュールインデックス（ＳｃＩｄｘ）は、配信スケジュールを識別するインデックスである。ＢＰ ＣＰＢカウントマイナス１（ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）は、初期ＣＰＢ除去遅延およびオフセットペアの数、したがって時間サブレイヤに利用可能な配信スケジュールの数を指定するシンタックス要素である。ＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）は、ＮＡＬユニットを含むレイヤの識別子を指定するシンタックス要素である。固定ピクチャレート一般フラグ（ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ）シンタックス要素は、出力順序において連続するピクチャのＨＲＤ出力時間の間の時間距離が制約されるかどうかを指定するシンタックス要素である。サブレイヤＨＲＤパラメータ（ｓｕｂｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造は、対応するサブレイヤのためのＨＲＤパラメータを含むシンタックス構造である。一般ＶＣＬ ＨＲＤパラメータ存在フラグ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、一般ＨＲＤパラメータシンタックス構造中にＶＣＬ ＨＲＤパラメータが存在するかどうかを指定するフラグである。ＢＰ最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素は、ＣＰＢ除去遅延およびＣＰＢ除去オフセットがＢＰ ＳＥＩメッセージ中で示される時間サブレイヤの最大数を指定するシンタックス要素である。ＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素は、ＶＰＳによって指定されたレイヤ中に存在し得る時間サブレイヤの最大数を指定するシンタックス要素である。スケーラブルネスティングＯＬＳフラグは、スケーラブルネスト化ＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するフラグである。ＯＬＳのスケーラブルネスティング数マイナスワン（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）は、スケーラブルネスト化ＳＥＩメッセージが適用されるＯＬＳの数を指定するシンタックス要素である。ネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ）は、スケーラブルネスト化ＳＥＩメッセージが適用されるＯＬＳのＯＬＳインデックスを指定するシンタックス要素である。ターゲットＯＬＳインデックス（ｔａｒｇｅｔＯｌｓＩｄｘ）は、復号対象のＯＬＳのＯＬＳインデックスを識別する変数である。ＯＬＳの総数マイナスワン（ＴｏｔａｌＮｕｍＯｌｓｓ－１）は、ＶＰＳで指定されたＯＬＳの総数を指定するシンタックス要素である。
【0048】
本明細書では、アクセスユニット（ＡＵ）、コーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、コード化レイヤビデオシーケンス（ＣＬＶＳ）、コード化レイヤビデオシーケンススタート（ＣＬＶＳＳ）、コード化ビデオシーケンス（ＣＶＳ）、コード化ビデオシーケンススタート（ＣＶＳＳ）、ジョイントビデオエキスパートチーム（ＪＶＥＴ）、仮想リファレンスデコーダ（ＨＲＤ）、動き制約タイルセット（ＭＣＴＳ）、最大転送ユニット（ＭＴＵ）、ネットワーク抽象化レイヤ（ＮＡＬ）、出力レイヤセット（ＯＬＳ）、ピクチャ順序カウント（ＰＯＣ）、ランダムアクセスポイント（ＲＡＰ）、ローバイトシーケンスペイロード（ＲＢＳＰ）、シーケンスパラメータセット（ＳＰＳ）、ビデオパラメータセット（ＶＰＳ）、汎用ビデオコーディング（ＶＶＣ）の略語が使用される。
【0049】
データの損失を最小限に抑えてビデオファイルのサイズを縮小するために、多くのビデオ圧縮技術を採用することができる。例えば、ビデオ圧縮技術は、空間（例えば、イントラピクチャ）予測および／または時間（例えば、インターピクチャ）予測を実行してビデオシーケンス中のデータ冗長性を低減または除去することを含み得る。ブロックベースのビデオコーディングの場合、ビデオスライス（例えば、ビデオピクチャまたはビデオピクチャの一部分）は、ビデオブロックに分割され得、これは、ツリーブロック、コーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、および／またはコーディングノードと称されることもある。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用してコーディングされる。ピクチャのインターコード化単方向予測（Ｐ）スライスまたは双方向予測（Ｂ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を採用することによってコーディングされ得る。ピクチャはフレームおよび／または画像と称されることがあり、参照ピクチャは参照フレームおよび／または参照画像と称されることがある。空間予測または時間予測は、画像ブロックを表す予測ブロックをもたらす。残差データは、元の画像ブロックと予測ブロックとの間のピクセル差分を表す。したがって、インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され得る。これらは、残差変換係数をもたらし、残差変換係数は、量子化することができる。量子化変換係数は、最初に２次元アレイに配列され得る。量子化変換係数は、変換係数の１次元ベクトルを生成するためにスキャンされ得る。エントロピーコーディングを適用して、さらに多くの圧縮を達成することができる。かかるビデオ圧縮技術は、以下でより詳細に説明される。
【0050】
符号化されたビデオが正確に復号され得ることを保証するために、ビデオは、対応するビデオコーディング規格に従って符号化および復号される。ビデオコーディング規格には、国際電気通信連合（ＩＴＵ）標準化部門（ＩＴＵ－Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）モーションピクチャエキスパーツグループ（ＭＰＥＧ）－１ Ｐａｒｔ２、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｐａｒｔ２、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ２、ＩＴＵ－Ｔ Ｈ．２６４またはＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ１０としても知られるアドバンストビデオコーディング（ＡＶＣ）、およびＩＴＵ－Ｔ Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られる高効率ビデオコーディング（ＨＥＶＣ）が含まれる。ＡＶＣには、スケーラブルビデオコーディング（ＳＶＣ）、マルチビュービデオコーディング（ＭＶＣ）およびマルチビュービデオコーディングプラス深さ（ＭＶＣ＋Ｄ）、ならびに３次元（３Ｄ）ＡＶＣ（３Ｄ－ＡＶＣ）などの拡張機能が含まれる。ＨＥＶＣには、スケーラブルＨＥＶＣ（ＳＨＶＣ）、マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）、および３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張機能が含まれる。ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣのジョイントビデオエキスパートチーム（ＪＶＥＴ）は、汎用ビデオコーディング（ＶＶＣ）と称されるビデオコーディング規格の開発を開始している。ＶＶＣは、ＪＶＥＴ－Ｏ２００１－ｖ１４を含むワーキングドラフト（ＷＤ）に含まれる。
【0051】
ビデオコーディングシステムは、ビットストリームがデコーダによって復号可能であることを保証するために種々の適合性試験を採用している。例えば、適合性検査には、適合性についてビットストリーム全体を試験することと、次いで適合性についてビットストリームの各レイヤを試験することと、最後に適合性について潜在的な復号可能出力を検査することと、が含まれ得る。適合性検査を実装するために、対応するパラメータがビットストリームに含まれる。仮想リファレンスデコーダ（ＨＲＤ）は、パラメータを読み出し、試験を実行することができる。ビデオは、多くのレイヤおよび多くの異なる出力レイヤセット（ＯＬＳ）を含み得る。要求に応じて、エンコーダは、選択されたＯＬＳの１または複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポートされ得るＯＬＳから最良のレイヤ（複数可）を送信することができる。この手法の第１の問題は、膨大の数のレイヤが試験されるものの、実際にはデコーダに送信されないことである。しかしながら、かかる試験をサポートするためのパラメータがビットストリーム中に依然として含まれ、ビットストリームサイズを不必要に増加させる場合がある。
【0052】
第１の例では、各ＯＬＳのみにビットストリーム適合性試験を適用するためのメカニズムが本明細書で開示される。このように、対応するＯＬＳを試験する際に、ビットストリーム全体、各レイヤ、および復号可能な出力がまとめて試験される。したがって、適合性試験の数が低減され、それによりエンコーダにおけるプロセッサおよびメモリリソースの使用量が削減される。さらに、適合性試験の数を減らすことで、ビットストリームに含まれる関連するパラメータの数を減らすことができる。これは、ビットストリームサイズを減少させ、それにより、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソース利用量が削減される。
【0053】
第２の問題は、一部のビデオコーディングシステムにおいてＨＲＤ適合性試験のために使用されるＨＲＤパラメータシグナリングプロセスが、マルチレイヤのコンテキストにおいて複雑になり得ることである。例えば、ＨＲＤパラメータのセットは、各ＯＬＳ中の各レイヤについてシグナリングされ得る。かかるＨＲＤパラメータは、パラメータの意図された範囲に応じてビットストリーム中の異なるロケーションにおいてシグナリングされ得る。このため、より多くのレイヤおよび／またはＯＬＳが追加されるにつれ、方式がより複雑になる。さらに、異なるレイヤおよび／またはＯＬＳのためのＨＲＤパラメータは、冗長な情報を含み得る。
【0054】
第２の例では、ＯＬＳおよび対応するレイヤのためのＨＲＤパラメータのグローバルセットをシグナリングするためのメカニズムが本明細書で開示される。例えば、全てのＯＬＳおよびＯＬＳ中に含まれる全てのレイヤに適用される全てのシーケンスレベルＨＲＤパラメータは、ビデオパラメータセット（ＶＰＳ）中でシグナリングされる。ＶＰＳはビットストリーム中で１回シグナリングされるため、シーケンスレベルＨＲＤパラメータは１回シグナリングされる。さらに、シーケンスレベルＨＲＤパラメータは、全てのＯＬＳについて同じであるように制約され得る。このようにして、冗長なシグナリングが低減され、コーディング効率が向上する。また、この手法は、ＨＲＤプロセスを単純化する。結果として、プロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用量が、エンコーダおよびデコーダの両方において削減される。
【0055】
第３の問題は、ビデオコーディングシステムがビットストリームに対して適合性検査を実行するときに発生し得る。ビデオは、複数のレイヤおよび／またはサブレイヤにコーディングされ得、それらは次いでＯＬＳに編成され得る。各ＯＬＳの各レイヤおよび／またはサブレイヤは、配信スケジュールに従って適合性について検査される。各配信スケジュールは、異なる送信帯域幅およびシステム能力を考慮して、異なるコード化ピクチャバッファ（ＣＰＢ）サイズおよびＣＰＢ遅延に関連付けられる。一部のビデオコーディングシステムは、各サブレイヤが任意の数の配信スケジュールを定義することを可能にする。これは、適合性検査をサポートするための大量のシグナリングをもたらし、それにより、ビットストリームのためのコーディング効率が低減する可能性がある。
【0056】
第３の例では、複数のレイヤを含むビデオのコーディング効率を高めるためのメカニズムが本明細書で開示される。具体的には、全てのレイヤおよび／またはサブレイヤは、同じ数のＣＰＢ配信スケジュールを含むように制約される。例えば、エンコーダは、任意の１つのレイヤのために使用されるＣＰＢ配信スケジュールの最大数を決定し、全てのレイヤのためのＣＰＢ配信スケジュールの数を最大数に設定することができる。配信スケジュールの数は、次いで、例えば、ＶＰＳ中のＨＲＤパラメータの一部として、１回シグナリングされ得る。これにより、レイヤ／サブレイヤごとに複数のスケジュールをシグナリングする必要がなくなる。一部の例では、ＯＬＳ中の全てのレイヤ／サブレイヤはまた、同じ配信スケジュールインデックスを共有することができる。これらの変更は、適合性検査に関連するデータをシグナリングするために使用されるデータの量を削減する。これは、ビットストリームサイズを減少させ、それにより、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソース利用量が削減される。
【0057】
第４の問題は、ビデオが複数のレイヤおよび／またはサブレイヤにコーディングされ、次いでそれらがＯＬＳに編成されるときに発生し得る。ＯＬＳは、出力レイヤのみを含む第０（０番目）のＯＬＳを含み得る。規格への適合性についてビットストリームのレイヤを試験するために使用されるレイヤ／ＯＬＳ固有のパラメータをＨＲＤに通知するために、補助強化情報情報（ＳＥＩ）メッセージがビットストリームに含まれ得る。具体的には、ＯＬＳがビットストリーム中に含まれる場合、スケーラブルネスティングＳＥＩメッセージが採用される。スケーラブルネスティングＳＥＩメッセージは、１または複数のＯＬＳおよび／またはＯＬＳの１または複数のレイヤに適用されるネスト化ＳＥＩメッセージのグループを含む。ネスト化ＳＥＩメッセージは各々、対応するＯＬＳおよび／またはレイヤとの関連付けを示すためのインジケータを含み得る。ネスト化ＳＥＩメッセージは、複数のレイヤとともに使用するために構成されており、単一のレイヤを含む０番目のＯＬＳに適用される際に、無関係な情報を含む場合がある。
【0058】
第４の例では、０番目のＯＬＳを含むビデオのコーディング効率を高めるためのメカニズムが本明細書で開示される。非スケーラブルネスト化ＳＥＩメッセージは、０番目のＯＬＳのために採用される。非スケーラブルネスト化ＳＥＩメッセージは、０番目のＯＬＳのみに、したがって０番目のＯＬＳに含まれる出力レイヤのみに適用されるように制約される。このようにして、ネスティングの関係性、レイヤ指示などの無関係な情報を、ＳＥＩメッセージから省略することができる。非スケーラブルネスト化ＳＥＩメッセージは、バッファリング期間（ＢＰ）ＳＥＩメッセージ、ピクチャタイミング（ＰＴ）ＳＥＩメッセージ、復号ユニット（ＤＵ）ＳＥＩメッセージ、またはそれらの組み合わせとして使用され得る。これらの変更は、０番目のＯＬＳに関する適合性検査関連情報をシグナリングするために使用されるデータの量を削減する。これは、ビットストリームサイズを減少させ、それにより、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソース利用量が削減される。
【0059】
第５の問題はまた、ビデオが複数のレイヤおよび／またはサブレイヤに分離されるときに発生し得る。エンコーダは、これらのレイヤをビットストリームに符号化し得る。さらに、エンコーダは、規格との適合性についてビットストリームを検査するために、ＨＲＤを採用して適合性試験を実行し得る。エンコーダは、かかる適合性試験をサポートするために、レイヤ固有ＨＲＤパラメータをビットストリームに含めるように構成され得る。レイヤ固有ＨＲＤパラメータは、一部のビデオコーディングシステムではレイヤごとに符号化され得る。場合によっては、レイヤ固有ＨＲＤパラメータはレイヤごとに同じであり、その結果、情報が冗長となり、ビデオ符号化のサイズを不必要に増加させる。
【0060】
第５の例では、複数のレイヤを採用するビデオのためのＨＲＤパラメータ冗長性を低減するためのメカニズムが本明細書で開示される。エンコーダは、最上位レイヤのＨＲＤパラメータを符号化することができる。エンコーダはまた、サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を符号化することができる。ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを０に設定して、は、全ての下位レイヤが最上位レイヤと同じＨＲＤパラメータを使用すべきであることを示すことができる。このコンテキストでは、最上位レイヤは最大のレイヤ識別子（ＩＤ）を有しており、下位レイヤは最上位レイヤのレイヤＩＤよりも小さいレイヤＩＤを有する任意のレイヤである。このようにして、下位レイヤのためのＨＲＤパラメータを、ビットストリームから省略することができる。これは、ビットストリームサイズを減少させ、それにより、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソース利用量が削減される。
【0061】
第６の問題は、ビデオ中の各ビデオシーケンスに関連するシンタックス要素を含めるためのシーケンスパラメータセット（ＳＰＳ）の使用量に関する。ビデオコーディングシステムは、レイヤおよび／またはサブレイヤにおいてビデオをコーディングし得る。ビデオシーケンスは、異なるレイヤおよび／またはサブレイヤにおいて異なるように動作し得る。したがって、異なるレイヤは、異なるＳＰＳを参照し得る。ＢＰ ＳＥＩメッセージは、規格への適合性について検査されるレイヤ／サブレイヤを示し得る。一部のビデオコーディングシステムは、ＢＰ ＳＥＩメッセージがＳＰＳ中で示されるレイヤ／サブレイヤに適用されることを示す場合がある。これは、異なるレイヤが異なるＳＰＳを参照した場合、かかるＳＰＳに矛盾する情報が含まれる可能性があり、予期せぬエラーが発生するという問題がある。
【0062】
第６の例では、ビデオシーケンスにおいて複数のレイヤが採用される際の適合性検査に関連するエラーに対処するためのメカニズムが本明細書で開示される。具体的には、ＢＰ ＳＥＩメッセージは、ＶＰＳにおいて記述される任意の数のレイヤ／サブレイヤが適合性について検査され得ることを示すように修正される。例えば、ＢＰ ＳＥＩメッセージは、ＢＰ ＳＥＩメッセージ中のデータに関連するレイヤ／サブレイヤの数を示すＢＰ最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素を含み得る。一方、ＶＰＳにおけるＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素は、ビデオ全体におけるサブレイヤの数を示す。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素の値までの任意の値に設定され得る。このようにして、ビデオ内の任意の数のレイヤ／サブレイヤの適合性を検査することができ、ＳＰＳの不整合に関連するレイヤベースのシーケンスの問題を回避することができる。したがって、本開示は、レイヤベースのコーディングエラーを回避し、それにより、エンコーダおよび／またはデコーダの機能を向上させる。さらに、本例はコーディング効率を増加させ得るレイヤベースコーディングをサポートする。したがって、本例は、エンコーダおよび／またはデコーダにおけるプロセッサ、メモリ、および／またはネットワークリソース使用量の削減をサポートする。
【0063】
第７の問題は、ＯＬＳに含まれるレイヤに関する。各ＯＬＳは、デコーダで表示されるように構成された少なくとも１つの出力レイヤを含む。エンコーダにおけるＨＲＤは、規格との適合性について各ＯＬＳを検査することができる。適合するＯＬＳは、常に、適合するデコーダにおいて復号し、表示することができる。ＨＲＤプロセスは、ＳＥＩメッセージによって部分的に管理され得る。例えば、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスト化ＳＥＩメッセージを含み得る。各スケーラブルネスト化ＳＥＩメッセージは、対応するレイヤに関連するデータを含み得る。適合性検査を実行する際、ＨＲＤは、ターゲットＯＬＳに対してビットストリーム抽出プロセスを実行し得る。ＯＬＳ内のレイヤに関連しないデータは、概して、適合性試験の前（例えば、送信前）に除去され、各ＯＬＳを別々に検査し得る。一部のビデオコーディングシステムは、サブビットストリーム抽出プロセス中にスケーラブルネスティングＳＥＩメッセージを除去しない。なぜなら、かかるメッセージは複数のレイヤに関連するからである。このため、スケーラブルネスティングＳＥＩメッセージがターゲットＯＬＳ（抽出されているＯＬＳ）中のいずれのレイヤにも関連しない場合であっても、サブビットストリーム抽出後に、ビットストリーム中に留まるスケーラブルネスティングＳＥＩメッセージが生じる場合がある。これは、最終ビットストリームのサイズを増加させ得るが、いかなる追加の機能も提供することはない。
【0064】
第７の例では、マルチレイヤビットストリームのサイズを低減するためのメカニズムが本明細書で開示される。サブビットストリーム抽出中に、スケーラブルネスティングＳＥＩメッセージは、ビットストリームからの除去を考慮することができる。スケーラブルネスティングＳＥＩメッセージが１または複数のＯＬＳに関連する場合、スケーラブルネスティングＳＥＩメッセージ中のスケーラブルネスト化ＳＥＩメッセージが検査される。スケーラブルネスト化ＳＥＩメッセージがターゲットＯＬＳ中のいずれのレイヤにも関連しない場合、スケーラブルネスティングＳＥＩメッセージ全体がビットストリームから除去され得る。この結果、デコーダに送られるビットストリームのサイズが小さくなる。したがって、本例は、コーディング効率を高め、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソースの使用量を削減する。
【0065】
図１は、ビデオ信号をコーディングする例示的な動作方法１００のフローチャートである。具体的には、ビデオ信号はエンコーダで符号化される。符号化プロセスは、ビデオファイルサイズを低減するために種々のメカニズムを採用することによってビデオ信号を圧縮する。ファイルサイズを小さくすることで、関連する帯域幅オーバーヘッドを低減しながら、圧縮されたビデオファイルをユーザに向けて送信することができる。デコーダは、圧縮されたビデオファイルを復号して、エンドユーザに表示するための元のビデオ信号を再構成する。復号プロセスは概して、符号化プロセスをミラーリングして、デコーダがビデオ信号を一貫して再構成することを可能にする。
【0066】
ステップ１０１において、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号は、メモリに記憶された非圧縮ビデオファイルであってもよい。別の例として、ビデオファイルは、ビデオカメラなどのビデオキャプチャデバイスによって取り込まれ、ビデオのライブストリーミングをサポートするために符号化されてもよい。ビデオファイルは、オーディオ成分とビデオ成分の両方を含み得る。ビデオ成分には一連の画像フレームが含まれており、これは、連続して見ることで、動きの視覚的な印象を与える。フレームには、本明細書では輝度成分（または輝度サンプル）と称される光と、彩度成分（または色サンプル）と称される色とで表されるピクセルが含まれる。一部の例では、フレームはまた、３次元ビューをサポートするための深度値を含み得る。
【0067】
ステップ１０３において、ビデオはブロックに分割される。分割には、各フレーム内のピクセルを圧縮のために正方形および／または長方形のブロックに細分化することが含まれる。例えば、高効率ビデオコーディング（ＨＥＶＣ）（Ｈ．２６５およびＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られている）では、フレームは最初に、あらかじめ定義されたサイズ（例えば、６４ピクセル×６４ピクセル）のブロックであるコーディングツリーユニット（ＣＴＵ）に分割することができる。ＣＴＵは、輝度サンプルと彩度サンプルとの両方を含む。コーディングツリーを採用して、ＣＴＵをブロックに分割し、次いで、さらなる符号化をサポートする構成が達成されるまで、ブロックを再帰的に細分化することができる。例えば、フレームの輝度成分は、個々のブロックが比較的均一な明度値を含むまで細分化されてもよい。さらに、フレームの彩度成分は、個々のブロックが比較的均一な色値を含むまで細分化されてもよい。このように、分割メカニズムは、ビデオフレームのコンテンツに応じて変化する。
【0068】
ステップ１０５では、ステップ１０３で分割された画像ブロックを圧縮するために種々の圧縮メカニズムが採用される。例えば、インター予測および／またはイントラ予測が採用されてもよい。インター予測は、共通シーン中のオブジェクトが連続フレーム中に現れる傾向があるという事実を利用するように設計される。これにより、参照フレーム内のオブジェクトを示すブロックを隣接フレーム間で重複して記述する必要がなくなる。具体的には、テーブルなどのオブジェクトは、複数のフレームにわたって一定の位置に留まることができる。したがって、テーブルを一度記述すれば、隣接するフレームは参照フレームを参照することができる。パターンマッチングメカニズムを採用して、複数のフレームにわたってオブジェクトをマッチングすることができる。さらに、移動するオブジェクトは、例えばオブジェクトの移動またはカメラの移動に起因して、複数のフレームにわたって表現することができる。特定の例として、ビデオは、複数のフレームにわたってスクリーンを横切って移動する自動車を示すことができる。動きベクトルを採用して、かかる移動を記述することができる。動きベクトルは、フレーム内のオブジェクトの座標から基準フレーム内のオブジェクトの座標へのオフセットを提供する２次元ベクトルである。このように、インター予測は、現在のフレーム中の画像ブロックを、参照フレーム中の対応するブロックからのオフセットを示す動きベクトルのセットとして符号化することができる。
【0069】
イントラ予測は、共通フレーム内のブロックを符号化する。イントラ予測は、輝度成分および彩度成分がフレーム内でクラスタ化する傾向があるという事実を利用する。例えば、ツリーの一部分における緑のパッチは、同様の緑のパッチに隣接して配置される傾向がある。イントラ予測は、複数の方向予測モード（例えば、ＨＥＶＣでは３３方向）と、平面モードと、直接カレント（ＤＣ）モードとを採用している。方向モードは、現在のブロックが該当方向の隣接ブロックのサンプルと類似／同一であることを示す。平面モードは、行／列（例えば、平面）に沿った一連のブロックが、行の縁部における隣接ブロックに基づいて補間され得ることを示す。平面モードは、実際に、値を変化させる際に比較的一定の傾きを採用することによって、行／列にわたる光／色の遷移を滑らかにする。ＤＣモードは、境界平滑化のために採用され、ブロックが、方向予測モードの角度方向に関連付けられた全ての隣接ブロックのサンプルに関連付けられた平均値と類似／同一であることを示す。このように、イントラ予測ブロックは、実際の値の代わりに種々の関係予測モード値として画像ブロックを表すことができる。さらに、インター予測ブロックは、実際の値の代わりに動きベクトル値として画像ブロックを表すことができる。いずれの場合も、予測ブロックは、場合によっては、画像ブロックを正確に表さないことがある。差分は、残差ブロックに記憶される。ファイルをさらに圧縮するために、残差ブロックに変換を適用することもできる。
【0070】
ステップ１０７において、種々のフィルタリング技術を適用することができる。ＨＥＶＣでは、フィルタは、ループ内フィルタリング方式に従って適用される。上記で説明したブロックベースの予測では、デコーダにおいてブロック状画像の作成が生じ得る。さらに、ブロックベースの予測方式は、ブロックを符号化し、次いで、参照ブロックとして後で使用するために符号化されたブロックを再構築することができる。ループ内フィルタリング方式は、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、およびサンプル適応オフセット（ＳＡＯ）フィルタをブロック／フレームに反復的に適用する。これらのフィルタは、符号化されたファイルが正確に再構成され得るように、かかるブロッキングアーチファクトを軽減する。さらに、これらのフィルタは、再構築された参照ブロックにおけるアーチファクトを軽減し、それにより、アーチファクトは、再構築された参照ブロックに基づいて符号化される後続のブロックにおいて追加のアーチファクトを生成する可能性が低くなる。
【0071】
ビデオ信号が分割され、圧縮され、フィルタリングされると、ステップ１０９において、得られたデータがビットストリームにおいて符号化される。ビットストリームには、上述のデータの他、デコーダにおいて適切なビデオ信号の再構成をサポートするために所望される任意のシグナリングデータが含まれる。例えば、かかるデータには、パーティションデータと、予測データと、残差ブロックと、デコーダにコーディング命令を与える種々のフラグとが含まれてもよい。ビットストリームは、要求時にデコーダに向けて送信するためにメモリに記憶することができる。ビットストリームはまた、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストされ得る。ビットストリームの作成は反復プロセスである。したがって、ステップ１０１、１０３、１０５、１０７、および１０９は、多くのフレームおよびブロックにわたって連続的におよび／または同時に行われ得る。図１に示される順序は、説明を明確にし、容易にするために提示されており、ビデオコーディングプロセスを特定の順序に限定することを意図するものではない。
【0072】
デコーダは、ビットストリームを受信し、ステップ１１１において復号プロセスを開始する。具体的には、デコーダは、エントロピー復号方式を採用して、ビットストリームを対応するシンタックスおよびビデオデータに変換する。デコーダは、ステップ１１１において、ビットストリームからのシンタックスデータを採用して、フレームのパーティションを決定する。この分割は、ステップ１０３におけるブロック分割の結果と一致するべきである。次に、ステップ１１１で採用されるエントロピー符号化／復号について説明する。エンコーダは、圧縮プロセス中に多くの選択を行い、例えば、入力画像（複数可）における値の空間的配置に基づいて複数の可能な選択からブロック分割方式を選択する。正確な選択をシグナリングするには、多数のビンを採用する場合がある。本明細書で使用される場合、ビンは、変数として扱われるバイナリ値（例えば、コンテキストに応じて変化し得るビット値）である。エントロピーコーディングにより、エンコーダが、特定のケースに対して明らかに実行可能でない任意のオプションを破棄し、許容可能なオプションのセットを残すことが可能になる。次いで、各許容可能なオプションにはコードワードが割り当てられる。コードワードの長さは、許容可能なオプションの数に基づく（例えば、２つのオプションに対して１つのビン、３～４つのオプションに対して２つのビンなど）。次いで、エンコーダは、選択されたオプションに対するコードワードを符号化する。この方式は、コードワードのサイズを低減するものであり、全ての可能なオプションの潜在的に大きなセットからの選択を一意的に示すのではなく、許容可能なオプションの小さなサブセットからの選択を一意的に示すためにコードワードが所望の大きさとなる。次いで、デコーダは、エンコーダと同様の方法で許容可能なオプションのセットを決定することによって選択を復号する。許容可能なオプションのセットを決定することによって、デコーダは、コードワードを読み出し、エンコーダによって行われた選択を決定することができる。
【0073】
ステップ１１３において、デコーダはブロック復号を実行する。具体的には、デコーダは、残差ブロックを生成するために逆変換を採用する。次いで、デコーダは、残差ブロックおよび対応する予測ブロックを採用して、分割に従って画像ブロックを再構成する。予測ブロックは、ステップ１０５においてエンコーダで生成されたイントラ予測ブロックとインター予測ブロックとの両方を含み得る。次いで、再構成された画像ブロックは、ステップ１１１で決定された分割データに従って、再構成されたビデオ信号のフレームに配置される。ステップ１１３のシンタックスはまた、上記で説明したように、エントロピーコーディングを介してビットストリーム中でシグナリングされ得る。
【0074】
ステップ１１５において、エンコーダにおけるステップ１０７と同様の方法で、再構成されたビデオ信号のフレームに対してフィルタリングが実行される。例えば、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、およびＳＡＯフィルタをフレームに適用して、ブロッキングアーチファクトが除去されてもよい。フレームがフィルタリングされると、ビデオ信号は、エンドユーザによる視聴のために、ステップ１１７においてディスプレイに出力され得る。
【0075】
図２は、ビデオコーディングのための例示的なコーディングおよび復号（コーデック）システム２００の概略図である。具体的には、コーデックシステム２００は、動作方法１００の実装形態をサポートする機能を提供する。コーデックシステム２００は、エンコーダおよびデコーダの両方で採用されるコンポーネントを示すように一般化されている。コーデックシステム２００は、動作方法１００のステップ１０１および１０３に関して説明したように、ビデオ信号を受信して分割し、その結果、分割ビデオ信号２０１が得られる。コーデックシステム２００は次いで、方法１００のステップ１０５、１０７、および１０９に関して説明したように、エンコーダとして動作する場合に、分割ビデオ信号２０１をコード化ビットストリームに圧縮する。デコーダとして動作する場合、コーデックシステム２００は、動作方法１００のステップ１１１、１１３、１１５、および１１７に関して説明したように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム２００には、汎用コーダ制御コンポーネント２１１と、変換スケーリングおよび量子化コンポーネント２１３と、イントラピクチャ推定コンポーネント２１５と、イントラピクチャ予測コンポーネント２１７と、動き補償コンポーネント２１９と、動き推定コンポーネント２２１と、スケーリングおよび逆変換コンポーネント２２９と、フィルタ制御分析コンポーネント２２７と、ループ内フィルタコンポーネント２２５と、復号済みピクチャバッファコンポーネント２２３と、ヘッダフォーマッティングおよびコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）コンポーネント２３１と、が含まれる。かかるコンポーネントは、図示のように結合される。図２において、黒線は符号化／復号されるデータの移動を示し、破線は他のコンポーネントの動作を制御する制御データの移動を示している。コーデックシステム２００のコンポーネントは全て、エンコーダ内に存在し得る。デコーダは、コーデックシステム２００のコンポーネントのサブセットを含み得る。例えば、デコーダは、イントラピクチャ予測コンポーネント２１７と、動き補償コンポーネント２１９と、スケーリングおよび逆変換コンポーネント２２９と、ループ内フィルタコンポーネント２２５と、復号済みピクチャバッファコンポーネント２２３とを含んでもよい。以下、これらについて説明する。
【0076】
分割ビデオ信号２０１は、コーディングツリーによってピクセルのブロックに分割された取り込まれたビデオシーケンスである。コーディングツリーは、種々の分割モードを採用して、ピクセルのブロックをより小さいピクセルのブロックに細分化する。次いで、これらのブロックは、より小さいブロックにさらに細分化することができる。ブロックは、コーディングツリー上のノードと称され得る。より大きな親ノードは、より小さな子ノードに分割される。ノードが細分化される回数は、ノード／コーディングツリーの深度と称される。分割されたブロックは、場合によってはコーディングユニット（ＣＵ）に含まれ得る。例えば、ＣＵは、ＣＵのための対応するシンタックス命令とともに、輝度ブロック、赤色差彩度（Ｃｒ）ブロック（複数可）、および青色差彩度（Ｃｂ）ブロック（複数可）を含むＣＴＵの下位部分であってもよい。分割モードは、二分木（ＢＴ）、三分木（ＴＴ）、および四分木（ＱＴ）を含み得、これらは、採用される分割モードに応じて種々の形状の２つ、３つ、または４つの子ノードにノードをそれぞれ分割するために採用される。分割ビデオ信号２０１は、圧縮のために、汎用コーダ制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、フィルタ制御分析コンポーネント２２７、および動き推定コンポーネント２２１に転送される。
【0077】
汎用コーダ制御コンポーネント２１１は、アプリケーション制約に従ってビデオシーケンスの画像をビットストリームにコーディングすることに関連する決定を行うように構成される。例えば、汎用コーダ制御コンポーネント２１１は、再構成品質に対するビットレート／ビットストリームサイズの最適化を管理する。かかる決定は、記憶空間／帯域幅利用可能性および画像解像度の要求に基づいて行うことができる。汎用コーダ制御コンポーネント２１１はまた、バッファのアンダーランおよびオーバーランの問題を軽減するために、送信速度を考慮してバッファ利用量を管理する。これらの問題を管理するために、汎用コーダ制御コンポーネント２１１は、他のコンポーネントによる分割、予測、およびフィルタリングを管理する。例えば、汎用コーダ制御コンポーネント２１１は、解像度を増加させ、帯域幅使用量を増加させるために圧縮複雑度を動的に増加させるか、または解像度および帯域幅使用量を減少させるために圧縮複雑度を減少させてもよい。したがって、汎用コーダ制御コンポーネント２１１は、コーデックシステム２００の他のコンポーネントを制御して、ビデオ信号の再構成品質とビットレートの関係とのバランスをとる。汎用コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを作成する。制御データはまた、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送され、ビットストリーム中で符号化されて、デコーダにおける復号のためのパラメータをシグナリングする。
【0078】
分割ビデオ信号２０１はまた、インター予測のために動き推定コンポーネント２２１および動き補償コンポーネント２１９に送られる。分割ビデオ信号２０１のフレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定コンポーネント２２１および動き補償コンポーネント２１９は、時間予測を提供するために、１または複数の参照フレーム中の１または複数のブロックに対して受信されたビデオブロックのインター予測コーディングを実行する。コーデックシステム２００は、例えば、複数のコーディングパスを実行して、ビデオデータの各ブロックについて適切なコーディングモードを選択してもよい。
【0079】
動き推定コンポーネント２２１および動き補償コンポーネント２１９は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定コンポーネント２２１によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、予測ブロックに対するコード化オブジェクトの変位を示してもよい。予測ブロックは、ピクセル差分に関して、コーディングされるブロックに厳密に一致することが判明したブロックである。予測ブロックは参照ブロックと称されることもある。かかるピクセル差分は、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、または他の差分メトリックによって決定され得る。ＨＥＶＣは、ＣＴＵと、コーディングツリーブロック（ＣＴＢ）と、ＣＵとを含む複数のコード化オブジェクトとを採用する。例えば、ＣＴＵはＣＴＢに分割されてもよく、次いで、ＣＴＢは、ＣＵ中に含めるためにＣＢに分割されてもよい。ＣＵは、予測データを含む予測ユニット（ＰＵ）および／またはＣＵのための変換された残差データを含む変換ユニット（ＴＵ）として符号化され得る。動き推定コンポーネント２２１は、レート歪み最適化プロセスの一部としてレート歪み分析を使用することによって、動きベクトル、ＰＵ、およびＴＵを生成する。例えば、動き推定コンポーネント２２１は、現在のブロック／フレームに関する複数の参照ブロック、複数の動きベクトルなどを決定してもよく、最良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択してもよい。最良のレート歪み特性により、ビデオ再構成の品質（例えば、圧縮によるデータ損失の量）とコーディング効率（例えば、最終的な符号化のサイズ）との両方のバランスがとられる。
【0080】
一部の例では、コーデックシステム２００は、復号済みピクチャバッファコンポーネント２２３に記憶された参照ピクチャのサブ整数ピクセル位置についての値を計算し得る。例えば、ビデオコーデックシステム２００は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間してもよい。したがって、動き推定コンポーネント２２１は、全ピクセル位置と分数ピクセル位置とに対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。動き推定コンポーネント２２１は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵの動きベクトルを計算する。動き推定コンポーネント２２１は、計算された動きベクトルを動きデータとして、符号化のためにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に出力し、動きを、動き補償コンポーネント２１９に出力する。
【0081】
動き補償コンポーネント２１９によって実行される動き補償は、動き推定コンポーネント２２１によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴い得る。この場合も、動き推定コンポーネント２２１および動き補償コンポーネント２１９は、一部の例では機能的に統合され得る。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償コンポーネント２１９は、動きベクトルが指す予測ブロックの位置を特定し得る。次いで、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックが形成される。概して、動き推定コンポーネント２２１は、輝度成分に対して動き推定を実行し、動き補償コンポーネント２１９は、彩度成分と輝度成分の両方について、輝度成分に基づいて計算された動きベクトルを使用する。予測ブロックおよび残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。
【0082】
分割ビデオ信号２０１はまた、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７に送られる。動き推定コンポーネント２２１および動き補償コンポーネント２１９と同様に、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、高度に統合され得るが、概念的な目的のために別々に示されている。イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、上記で説明したように、フレーム間で動き推定コンポーネント２２１および動き補償コンポーネント２１９によって実行されるインター予測の代替として、現在のフレーム中のブロックに対して現在のブロックをイントラ予測する。特に、イントラピクチャ推定コンポーネント２１５は、現在のブロックを符号化するために使用されるイントラ予測モードを決定する。一部の例では、イントラピクチャ推定コンポーネント２１５は、複数の試験済みのイントラ予測モードから、現在のブロックを符号化するために適切なイントラ予測モードを選択する。選択されたイントラ予測モードは、次いで、符号化のためにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。
【0083】
例えば、イントラピクチャ推定コンポーネント２１５は、種々の試験済みのイントラ予測モードについてレート歪み分析を使用してレート歪み値を計算し、試験されたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（またはエラー）の量、ならびに符号化ブロックを生成するために使用されるビットレート（例えば、ビット数）を決定する。イントラピクチャ推定コンポーネント２１５は、種々の符号化ブロックについて歪みおよびレートから比率を計算し、どのイントラ予測モードがブロックについて最良のレート歪み値を示すかを判定する。加えて、イントラピクチャ推定コンポーネント２１５は、レート歪み最適化（ＲＤＯ）に基づく深度モデリングモード（ＤＭＭ）を使用して深度マップの深度ブロックをコーディングするように構成されてもよい。
【0084】
イントラピクチャ予測コンポーネント２１７は、エンコーダ上で実装される場合、イントラピクチャ推定コンポーネント２１５によって決定された選択されたイントラ予測モードに基づいて予測ブロックから残差ブロックを生成することができ、またはデコーダ上で実装される場合、ビットストリームから残差ブロックを読み出すことができる。残差ブロックには、行列として表される、予測ブロックと元のブロックとの間の値の差が含まれる。残差ブロックは、次いで、変換スケーリングおよび量子化コンポーネント２１３に転送される。イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、輝度成分と彩度成分との両方に対して動作し得る。
【0085】
変換スケーリングおよび量子化コンポーネント２１３は、残差ブロックをさらに圧縮するように構成される。変換スケーリングおよび量子化コンポーネント２１３は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、または概念的に同様の変換などの変換を残差ブロックに適用して、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換を使用することもできる。この変換により、残差情報をピクセル値領域から周波数領域などの変換領域に変換することができる。変換スケーリングおよび量子化コンポーネント２１３はまた、例えば周波数に基づいて、変換された残差情報をスケーリングするように構成される。かかるスケーリングは、異なる周波数情報が異なる粒度で量子化されるように残差情報にスケールファクタを適用するものであり、再構成されたビデオの最終的な視覚的品質に影響を及ぼす可能性がある。変換スケーリングおよび量子化コンポーネント２１３はまた、変換係数を量子化してビットレートをさらに低減するように構成される。量子化プロセスにより、係数の一部または全部に関連するビット深度を低減させることができる。量子化の程度は、量子化パラメータを調整することによって修正され得る。一部の例では、変換スケーリングおよび量子化コンポーネント２１３は、次いで、量子化変換係数を含む行列のスキャンを実行し得る。量子化変換係数は、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送され、ビットストリーム中で符号化される。
【0086】
スケーリングおよび逆変換コンポーネント２２９は、変換スケーリングおよび量子化コンポーネント２１３の逆演算を適用して、動き推定をサポートする。スケーリングおよび逆変換コンポーネント２２９は、逆スケーリング、変換、および／または量子化を適用して、例えば、別の現在のブロックのための予測ブロックになり得る参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き推定コンポーネント２２１および／または動き補償コンポーネント２１９は、後のブロック／フレームの動き推定において使用するために、残差ブロックを対応する予測ブロックに加算することによって、参照ブロックを計算することができる。再構成された参照ブロックにフィルタを適用して、スケーリング、量子化、および変換中に生成されるアーチファクトが軽減される。かかるアーチファクトがあると、別様で、後続のブロックが予測される際に不正確な予測を引き起こす（かつ、追加のアーチファクトを生成する）可能性がある。
【0087】
フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５は、残差ブロックおよび／または再構成画像ブロックにフィルタを適用する。例えば、スケーリングおよび逆変換コンポーネント２２９からの変換された残差ブロックは、イントラピクチャ予測コンポーネント２１７および／または動き補償コンポーネント２１９からの対応する予測ブロックと組み合わせて、元の画像ブロックを再構成することができる。次いで、フィルタは、再構成された画像ブロックに適用され得る。一部の例では、フィルタは、代わりに残差ブロックに適用され得る。図２の他のコンポーネントと同様に、フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５は、高度に統合され、一緒に実装され得るが、概念的な目的のために別々に示されている。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用されており、かかるフィルタがどのように適用されるかを調整するための複数のパラメータを含む。フィルタ制御分析コンポーネント２２７は、再構成された参照ブロックを分析して、かかるフィルタが適用されるべき場所を決定し、対応するパラメータを設定する。かかるデータは、符号化のためのフィルタ制御データとしてヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。ループ内フィルタコンポーネント２２５は、フィルタ制御データに基づいてかかるフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、および適応ループフィルタを含み得る。かかるフィルタは、例に応じて、空間／ピクセル領域において（例えば、再構成されたピクセルブロック上で）、または周波数領域において適用されてもよい。
【0088】
エンコーダとして動作する場合、フィルタリングされた再構成画像ブロック、残差ブロック、および／または予測ブロックは、上記で説明した動き推定において後で使用するために、復号済みピクチャバッファコンポーネント２２３に記憶される。デコーダとして動作する場合、復号済みピクチャバッファコンポーネント２２３は、再構成されフィルタリングされたブロックを記憶し、出力ビデオ信号の一部としてディスプレイに転送する。復号済みピクチャバッファコンポーネント２２３は、予測ブロック、残差ブロック、および／または再構築された画像ブロックを記憶することが可能な任意のメモリデバイスであり得る。
【0089】
ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、コーデックシステム２００の種々のコンポーネントからデータを受信し、デコーダに向けて送信するために、かかるデータをコード化ビットストリームに符号化する。具体的には、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、種々のヘッダを生成して、一般制御データおよびフィルタ制御データなどの制御データを符号化する。さらに、イントラ予測および動きデータを含む予測データ、ならびに量子化変換係数データの形態の残差データは全て、ビットストリームにおいて符号化される。最終的なビットストリームは、元の分割ビデオ信号２０１を再構成するためにデコーダによって所望される全ての情報を含む。かかる情報はまた、イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも称される）、種々のブロックのための符号化コンテキストの定義、最確イントラ予測モードの指示、パーティション情報の指示などを含み得る。かかるデータは、エントロピーコーディングを採用することによって符号化され得る。例えば、情報は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、ＣＡＢＡＣ、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率区間区分エントロピー（ＰＩＰＥ）コーディング、または別のエントロピーコーディング技術を採用することによって符号化されてもよい。エントロピーコーディングに続いて、コード化ビットストリームは、別のデバイス（例えば、ビデオデコーダ）に送信されるか、または後の送信もしくは取り出しのためにアーカイブされ得る。
【0090】
図３は、例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００を採用して、コーデックシステム２００の符号化機能を実装し、かつ／または動作方法１００のステップ１０１、１０３、１０５、１０７、および／もしくは１０９を実装することができる。エンコーダ３００は、入力ビデオ信号を分割し、それにより、分割ビデオ信号２０１と実質的に同様の分割ビデオ信号３０１をもたらす。次いで、分割ビデオ信号３０１は、エンコーダ３００のコンポーネントによって圧縮され、ビットストリームに符号化される。
【0091】
具体的には、分割ビデオ信号３０１は、イントラ予測のためにイントラピクチャ予測コンポーネント３１７に転送される。イントラピクチャ予測コンポーネント３１７は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７と実質的に同様であり得る。分割ビデオ信号３０１はまた、復号済みピクチャバッファコンポーネント３２３内の参照ブロックに基づくインター予測のために動き補償コンポーネント３２１に転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１および動き補償コンポーネント２１９と実質的に同様であり得る。イントラピクチャ予測コンポーネント３１７および動き補償コンポーネント３２１からの予測ブロックおよび残差ブロックは、残差ブロックの変換および量子化のために変換および量子化コンポーネント３１３に転送される。変換および量子化コンポーネント３１３は、変換スケーリングおよび量子化コンポーネント２１３と実質的に同様であり得る。変換および量子化された残差ブロックおよび対応する予測ブロックは、（関連する制御データとともに）ビットストリームにコーディングするためにエントロピーコーディングコンポーネント３３１に転送される。エントロピーコーディングコンポーネント３３１は、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１と実質的に同様であり得る。
【0092】
変換および量子化された残差ブロックおよび／または対応する予測ブロックはまた、動き補償コンポーネント３２１による使用のために参照ブロックに再構成するために、変換および量子化コンポーネント３１３から逆変換および量子化コンポーネント３２９に転送される。逆変換および量子化コンポーネント３２９は、スケーリングおよび逆変換コンポーネント２２９と実質的に同様であり得る。例に応じて、ループ内フィルタコンポーネント３２５中のループ内フィルタも、残差ブロックおよび／または再構成された参照ブロックに適用される。ループ内フィルタコンポーネント３２５は、フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５と実質的に同様であり得る。ループ内フィルタコンポーネント３２５は、ループ内フィルタコンポーネント２２５に関して説明したような複数のフィルタを含み得る。次いで、フィルタリングされたブロックは、動き補償コンポーネント３２１によって参照ブロックとして使用するために、復号済みピクチャバッファコンポーネント３２３に記憶される。復号済みピクチャバッファコンポーネント３２３は、復号済みピクチャバッファコンポーネント２２３と実質的に同様であり得る。
【0093】
図４は、例示的なビデオデコーダ４００を示すブロック図である。ビデオデコーダ４００を採用して、コーデックシステム２００の復号機能を実装し、かつ／または動作方法１００のステップ１１１、１１３、１１５、および／もしくは１１７を実装することができる。デコーダ４００は、例えばエンコーダ３００からビットストリームを受信し、エンドユーザに表示するためにビットストリームに基づいて再構成された出力ビデオ信号を生成する。
【0094】
ビットストリームは、エントロピー復号コンポーネント４３３によって受信される。エントロピー復号コンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディング、または他のエントロピーコーディング技術などのエントロピー復号方式を実装するように構成される。例えば、エントロピー復号コンポーネント４３３は、ビットストリーム中のコードワードとして符号化された追加のデータを解釈するためのコンテキストを与えるためにヘッダ情報を採用してもよい。復号済み情報には、一般制御データ、フィルタ制御データ、パーティション情報、動きデータ、予測データ、および残差ブロックからの量子化変換係数など、ビデオ信号を復号するための任意の所望の情報が含まれる。量子化変換係数は、残差ブロックへの再構成のために逆変換および量子化コンポーネント４２９に転送される。逆変換および量子化コンポーネント４２９は、逆変換および量子化コンポーネント３２９と同様であり得る。
【0095】
再構成された残差ブロックおよび／または予測ブロックは、イントラ予測動作に基づいて画像ブロックに再構成するために、イントラピクチャ予測コンポーネント４１７に転送される。イントラピクチャ予測コンポーネント４１７は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７と同様であり得る。具体的には、イントラピクチャ予測コンポーネント４１７は、予測モードを採用してフレーム内の参照ブロックの位置を特定し、その結果に残差ブロックを適用してイントラ予測された画像ブロックを再構成する。再構成されたイントラ予測画像ブロックおよび／または残差ブロックならびに対応するインター予測データは、ループ内フィルタコンポーネント４２５を介して復号済みピクチャバッファコンポーネント４２３に転送され、これらはそれぞれ、復号済みピクチャバッファコンポーネント２２３およびループ内フィルタコンポーネント２２５と実質的に同様であり得る。ループ内フィルタコンポーネント４２５は、再構成された画像ブロック、残差ブロック、および／または予測ブロックをフィルタリングし、かかる情報は、復号済みピクチャバッファコンポーネント４２３に記憶される。復号済みピクチャバッファコンポーネント４２３からの再構成された画像ブロックは、インター予測のために動き補償コンポーネント４２１に転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１および／または動き補償コンポーネント２１９と実質的に同様であり得る。具体的には、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを採用して予測ブロックを生成し、その結果に残差ブロックを適用して画像ブロックを再構成する。結果として得られる再構成ブロックはまた、ループ内フィルタコンポーネント４２５を介して復号済みピクチャバッファコンポーネント４２３に転送され得る。復号済みピクチャバッファコンポーネント４２３は、追加の再構成画像ブロックを記憶し続け、これは、パーティション情報を介してフレームに再構成され得る。かかるフレームはまた、シーケンス内に配置することができる。シーケンスは、再構成された出力ビデオ信号としてディスプレイに向けて出力される。
【0096】
図５は、例示的なＨＲＤ５００を示す概略図である。ＨＲＤ５００は、コーデックシステム２００および／またはエンコーダ３００などのエンコーダにおいて採用され得る。ＨＲＤ５００は、ビットストリームがデコーダ、例えばデコーダ４００に転送される前に、方法１００のステップ１０９において作成されたビットストリームを検査することができる。一部の例では、ビットストリームは、ビットストリームが符号化される際に、ＨＲＤ５００を通して連続的に転送され得る。ビットストリームの一部分が関連する制約に適合しない場合、ＨＲＤ５００は、かかる失敗をエンコーダに示して、エンコーダに異なるメカニズムでビットストリームの対応するセクションを再符号化させることができる。
【0097】
ＨＲＤ５００は、仮想ストリームスケジューラ（ＨＳＳ）５４１を含む。ＨＳＳ５４１は、仮想配信メカニズムを実行するように構成されたコンポーネントである。仮想配信メカニズムは、ＨＲＤ５００に入力されるビットストリーム５５１のタイミングおよびデータフローに関するビットストリームまたはデコーダの適合性を検査するために使用される。例えば、ＨＳＳ５４１は、エンコーダから出力されたビットストリーム５５１を受信し、ビットストリーム５５１に対する適合性試験プロセスを管理してもよい。特定の例では、ＨＳＳ５４１は、コード化ピクチャがＨＲＤ５００を通って移動するレートを制御し、ビットストリーム５５１が不適合データを含まないことを検証することができる。
【0098】
ＨＳＳ５４１は、ビットストリーム５５１を所定のレートでＣＰＢ５４３に転送することができる。ＨＲＤ５００は、復号ユニット（ＤＵ）５５３においてデータを管理することができる。ＤＵ５５３は、ＡＵまたはＡＵのサブセットおよび関連する非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットである。具体的には、ＡＵは、出力時間に関連付けられた１または複数のピクチャを含む。例えば、ＡＵは、シングルレイヤビットストリーム中に単一のピクチャを含んでもよく、マルチレイヤビットストリーム中にレイヤごとのピクチャを含んでもよい。ＡＵの各ピクチャは、対応するＶＣＬ ＮＡＬユニット中に各々含まれるスライスに分割され得る。したがって、ＤＵ５５３は、１または複数のピクチャ、ピクチャの１または複数のスライス、またはそれらの組み合わせを含み得る。また、ＡＵ、ピクチャ、および／またはスライスを復号するために使用されるパラメータは、非ＶＣＬ ＮＡＬユニット中に含まれ得る。したがって、ＤＵ５５３は、ＤＵ５５３中のＶＣＬ ＮＡＬユニットを復号することをサポートするために必要とされるデータを含む非ＶＣＬ ＮＡＬユニットを含む。ＣＰＢ５４３は、ＨＲＤ５００における先入れ先出しバッファである。ＣＰＢ５４３は、復号順序でビデオデータを含むＤＵ５５３を含む。ＣＰＢ５４３は、ビットストリーム適合性検証中に使用するためにビデオデータを記憶する。
【0099】
ＣＰＢ５４３は、ＤＵ５５３を復号プロセスコンポーネント５４５に転送する。復号プロセスコンポーネント５４５は、ＶＶＣ規格に適合したコンポーネントである。例えば、復号プロセスコンポーネント５４５は、エンドユーザによって採用されるデコーダ４００をエミュレートしてもよい。復号プロセスコンポーネント５４５は、例示的なエンドユーザデコーダによって達成され得るレートでＤＵ５５３を復号する。復号プロセスコンポーネント５４５が、ＣＰＢ５４３のオーバーフローを防止するのに十分な速さでＤＵ５５３を復号できない場合、ビットストリーム５５１は規格に適合せず、再符号化する必要がある。
【0100】
復号プロセスコンポーネント５４５はＤＵ５５３を復号して、復号済みＤＵ５５５を生成する。復号済みＤＵ５５５は、復号済みピクチャを含む。復号済みＤＵ５５５は、ＤＰＢ５４７に転送される。ＤＰＢ５４７は、復号済みピクチャバッファコンポーネント２２３、３２３、および／または４２３と実質的に同様であり得る。インター予測をサポートするために、復号済みＤＵ５５５から取得される参照ピクチャ５５６として使用するためにマーキングされたピクチャは、復号プロセスコンポーネント５４５に戻され、さらなる復号をサポートする。ＤＰＢ５４７は、復号済みビデオシーケンスを一連のピクチャ５５７として出力する。ピクチャ５５７は、エンコーダによってビットストリーム５５１に符号化されたピクチャを概ねミラーリングする再構成ピクチャである。
【0101】
ピクチャ５５７は、出力クロッピングコンポーネント５４９に転送される。出力クロッピングコンポーネント５４９は、適合性クロッピングウィンドウをピクチャ５５７に適用するように構成される。これにより、出力クロッピングピクチャ５５９が得られる。出力クロッピングピクチャ５５９は、完全に再構成されたピクチャである。したがって、出力クロッピングピクチャ５５９は、ビットストリーム５５１を復号する際にエンドユーザが見るであろうものを模倣している。したがって、エンコーダは、出力クロッピングピクチャ５５９をレビューして、符号化が満足できるものであることを確認することができる。
【0102】
ＨＲＤ５００は、ビットストリーム５５１内のＨＲＤパラメータに基づいて初期化される。例えば、ＨＲＤ５００は、ＶＰＳ、ＳＰＳ、および／またはＳＥＩメッセージからＨＲＤパラメータを読み出すことができる。ＨＲＤ５００は、次いで、かかるＨＲＤパラメータ内の情報に基づいて、ビットストリーム５５１に対して適合性試験動作を実行することができる。特定の例として、ＨＲＤ５００は、ＨＲＤパラメータから１または複数のＣＰＢ配信スケジュール５６１を決定することができる。配信スケジュールは、ＣＰＢおよび／またはＤＰＢなどのメモリロケーションへのおよび／またはメモリロケーションからのビデオデータの配信のためのタイミングを指定する。したがって、ＣＰＢ配信スケジュール５６１は、ＣＰＢ５４３への／ＣＰＢ５４３からのＡＵ、ＤＵ５５３、および／またはピクチャの配信のタイミングを指定する。例えば、ＣＰＢ配信スケジュール５６１は、ＣＰＢ５４３のビットレートおよびバッファサイズを記述してもよく、かかるビットレートおよびバッファサイズは、特定のクラスのデコーダおよび／またはネットワーク条件に対応する。したがって、ＣＰＢ配信スケジュール５６１は、データが立ち退く前に、ＣＰＢ５４３にどれだけを留まることができるかを示すことができる。適合性試験中にＨＲＤ５００においてＣＰＢ配信スケジュール５６１を維持できないことは、ＣＰＢ配信スケジュール５６１に対応するデコーダが対応するビットストリームを復号できないことを示すものである。ＨＲＤ５００は、ＣＰＢ配信スケジュール５６１と同様のＤＰＢ配信スケジュールをＤＰＢ５４７に採用し得ることに留意されたい。
【0103】
ビデオは、種々のレベルのハードウェア能力を有するデコーダによって使用するために、ならびに種々のネットワーク条件のために、異なるレイヤおよび／またはＯＬＳにコーディングされ得る。ＣＰＢ配信スケジュール５６１は、これらの問題を反映するように選択される。したがって、上位レイヤサブビットストリームは、最適なハードウェアおよびネットワーク条件の場合に指定され、それにより、上位レイヤは、ＣＰＢ５４３中の大量のメモリと、ＤＰＢ５４７に向かうＤＵ５５３の転送のための短い遅延とを採用する１または複数のＣＰＢ配信スケジュール５６１を受信することができる。同様に、下位レイヤサブビットストリームは、制限されたデコーダハードウェア能力および／または劣悪なネットワーク条件の場合に指定される。したがって、下位レイヤは、ＣＰＢ５４３中の少量のメモリと、ＤＰＢ５４７に向かうＤＵ５５３の転送のためのより長い遅延とを採用する１または複数のＣＰＢ配信スケジュール５６１を受信することができる。次いで、ＯＬＳ、レイヤ、サブレイヤ、またはそれらの組み合わせを対応する配信スケジュール５６１に従って試験して、得られたサブビットストリームがサブビットストリームに対して予想される条件下で正しく復号され得ることを保証することができる。ＣＰＢ配信スケジュール５６１はそれぞれ、スケジュールインデックス（ＳｃＩｄｘ）５６３と関連付けられる。ＳｃＩｄｘ５６３は、配信スケジュールを識別するインデックスである。したがって、ビットストリーム５５１内のＨＲＤパラメータは、ＣＰＢ配信スケジュール５６１をＳｃＩｄｘ５６３によって示すことができ、ＨＲＤ５００がＣＰＢ配信スケジュール５６１を決定し、ＣＰＢ配信スケジュール５６１を対応するＯＬＳ、レイヤ、および／またはサブレイヤに相関させることを可能にするのに十分なデータを含み得る。
【0104】
図６は、インターレイヤ予測６２１のために構成された例示的なマルチレイヤビデオシーケンス６００を示す概略図である。マルチレイヤビデオシーケンス６００は、例えば方法１００に従って、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって符号化され、コーデックシステム２００および／またはデコーダ４００などのデコーダによって復号されてもよい。さらに、マルチレイヤビデオシーケンス６００は、ＨＲＤ５００などのＨＲＤによって規格適合性について検査されてもよい。マルチレイヤビデオシーケンス６００は、コード化ビデオシーケンス中のレイヤのための例示的なアプリケーションを示すために含まれる。マルチレイヤビデオシーケンス６００は、レイヤＮ ６３１およびレイヤＮ＋１ ６３２などの複数のレイヤを採用する任意のビデオシーケンスである。
【0105】
一例では、マルチレイヤビデオシーケンス６００は、インターレイヤ予測６２１を採用してもよい。インターレイヤ予測６２１は、異なるレイヤ中のピクチャ６１１、６１２、６１３、および６１４とピクチャ６１５、６１６、６１７、および６１８との間で適用される。図示の例では、ピクチャ６１１、６１２、６１３、および６１４はレイヤＮ＋１ ６３２の一部であり、ピクチャ６１５、６１６、６１７、および６１８はレイヤＮ ６３１の一部である。レイヤＮ ６３１および／またはレイヤＮ＋１ ６３２などのレイヤは、同様のサイズ、品質、解像度、信号対雑音比、能力などの特性の同様の値に全て関連付けられたピクチャのグループである。レイヤは、ＶＣＬ ＮＡＬユニットおよび関連する非ＶＣＬ ＮＡＬユニットのセットとして形式的に定義され得る。ＶＣＬ ＮＡＬユニットは、ピクチャのコード化スライスなど、ビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオデータの復号、適合性検査の実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。
【0106】
図示の例では、レイヤＮ＋１ ６３２はレイヤＮ ６３１よりも大きい画像サイズに関連付けられている。したがって、この例では、レイヤＮ＋１ ６３２中のピクチャ６１１、６１２、６１３、および６１４は、レイヤＮ ６３１中のピクチャ６１５、６１６、６１７、および６１８よりも大きいピクチャサイズ（例えば、より大きな高さおよび幅、したがって、より多くのサンプル）を有する。しかしながら、かかるピクチャは、他の特性によってレイヤＮ＋１ ６３２とレイヤＮ ６３１との間で分離され得る。２つのレイヤ、レイヤＮ＋１ ６３２およびレイヤＮ ６３１のみが示されているが、ピクチャのセットは、関連する特性に基づいて任意の数のレイヤに分離され得る。レイヤＮ＋１ ６３２およびレイヤＮ ６３１はまた、レイヤＩＤによって示され得る。レイヤＩＤは、ピクチャに関連付けられたデータのアイテムであり、ピクチャが示されたレイヤの一部であることを示している。したがって、各ピクチャ６１１～６１８は、対応するレイヤＩＤに関連付けられて、どのレイヤＮ＋１ ６３２またはレイヤＮ ６３１が対応するピクチャを含むかを示すことができる。例えば、レイヤＩＤは、ＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を含んでもよく、これは、ＮＡＬユニットを含む（例えば、レイヤ中のピクチャのスライスおよび／またはパラメータを含む）レイヤの識別子を指定するシンタックス要素である。レイヤＮ ６３１など、より低い品質／ビットストリームサイズに関連付けられたレイヤは、概して、下位レイヤＩＤが割り当てられ、下位レイヤと称される。さらに、レイヤＮ＋１ ６３２など、より高い品質／ビットストリームサイズに関連するレイヤは、概して、上位レイヤＩＤが割り当てられ、上位レイヤと称される。
【0107】
異なるレイヤ６３１～６３２におけるピクチャ６１１～６１８は、択一的に表示されるように構成される。したがって、異なるレイヤ６３１～６３２中のピクチャは、それらのピクチャが同じＡＵ中に含まれる限り、テンポラルＩＤ６２２を共有することができる。テンポラルＩＤ６２２は、データがビデオシーケンス内の時間位置に対応することを示すデータ要素である。ＡＵは、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関連するＮＡＬユニットのセットである。例えば、ＡＵは、かかるピクチャが同じテンポラルＩＤ６２２に関連付けられるとき、ピクチャ６１１およびピクチャ６１５など、異なるレイヤ中の１または複数のピクチャを含んでもよい。特定の例として、デコーダは、より小さいピクチャが所望される場合、現在の表示時間においてピクチャ６１５を復号および表示することができ、またはデコーダは、より大きいピクチャが所望される場合、現在の表示時間においてピクチャ６１１を復号および表示することができる。したがって、上位レイヤＮ＋１ ６３２におけるピクチャ６１１～６１４は、（ピクチャサイズの違いにもかかわらず）下位レイヤＮ ６３１における対応するピクチャ６１５～６１８と実質的に同じ画像データを含む。具体的には、ピクチャ６１１はピクチャ６１５と実質的に同じ画像データを含み、ピクチャ６１２はピクチャ６１６と実質的に同じ画像データを含み、以下同様である。
【0108】
ピクチャ６１１～６１８は、同じレイヤＮ ６３１またはレイヤＮ＋１ ６３２中の他のピクチャ６１１～６１８を参照することによってコーディングされ得る。同じレイヤ中の別のピクチャを参照してピクチャをコーディングすることで、インター予測６２３が得られる。インター予測６２３は、実線矢印によって示されている。例えば、ピクチャ６１３は、レイヤＮ＋１ ６３２中のピクチャ６１１、６１２、および／または６１４のうちの１つまたは２つを参照として使用するインター予測６２３を採用することによってコーディングされてもよく、ここで、１つのピクチャは単方向インター予測のために参照され、かつ／または２つのピクチャは双方向インター予測のために参照される。さらに、ピクチャ６１７は、レイヤＮ ５３１中のピクチャ６１５、６１６、および／または６１８のうちの１つまたは２つを参照として使用するインター予測６２３を採用することによってコーディングされてもよく、ここで、１つのピクチャは、単方向インター予測のために参照され、かつ／または２つのピクチャは、双方向インター予測のために参照される。ピクチャが、インター予測６２３を実行する際に同じレイヤ中の別のピクチャのための参照として使用される場合、ピクチャは参照ピクチャと称されることがある。例えば、ピクチャ６１２は、インター予測６２３に従ってピクチャ６１３をコーディングするために使用される参照ピクチャであってもよい。インター予測６２３は、マルチレイヤコンテキストにおいてイントラレイヤ予測と称されることもある。したがって、インター予測６２３は、参照ピクチャとカレントピクチャとが同じレイヤ中にある場合に、カレントピクチャとは異なる参照ピクチャ中の示されたサンプルを参照することによってカレントピクチャのサンプルをコーディングするメカニズムである。
【0109】
ピクチャ６１１～６１８はまた、異なるレイヤ中の他のピクチャ６１１～６１８を参照することによってコーディングされ得る。このプロセスは、インターレイヤ予測６２１として知られており、破線矢印によって示されている。インターレイヤ予測６２１は、カレントピクチャと参照ピクチャとが異なるレイヤ中にあり、それにより異なるレイヤＩＤを有する場合に、参照ピクチャ中の示されたサンプルを参照することによってカレントピクチャのサンプルをコーディングするメカニズムである。例えば、下位レイヤＮ ６３１中のピクチャは、上位レイヤＮ＋１ ６３２における対応するピクチャをコーディングするための参照ピクチャとして使用されてもよい。特定の例として、ピクチャ６１１は、インターレイヤ予測６２１に従ってピクチャ６１５を参照することによってコーディングされ得る。かかる場合、ピクチャ６１５はインターレイヤ参照ピクチャとして使用される。インターレイヤ参照ピクチャは、インターレイヤ予測６２１に使用される参照ピクチャである。ほとんどの場合、インターレイヤ予測６２１は、ピクチャ６１１などのカレントピクチャが、同じＡＵに含まれ、ピクチャ６１５などの下位レイヤにあるインターレイヤ参照ピクチャ（複数可）のみを使用できるように制約される。複数のレイヤ（例えば、３つ以上）が利用可能であるとき、インターレイヤ予測６２１は、カレントピクチャよりも低いレベルの複数のインターレイヤ参照ピクチャ（複数可）に基づいてカレントピクチャを符号化／復号することができる。
【0110】
ビデオエンコーダは、マルチレイヤビデオシーケンス６００を採用して、インター予測６２３およびインターレイヤ予測６２１の多くの異なる組み合わせおよび／または置換を介してピクチャ６１１～６１８を符号化することができる。例えば、ピクチャ６１５は、イントラ予測に従ってコーディングされてもよい。ピクチャ６１６～６１８は、次いで、ピクチャ６１５を参照ピクチャとして使用することによって、インター予測６２３に従ってコーディングされ得る。さらに、ピクチャ６１１は、ピクチャ６１５をインターレイヤ参照ピクチャとして使用することによって、インターレイヤ予測６２１に従ってコーディングされ得る。ピクチャ６１２～６１４は、次いで、ピクチャ６１１を参照ピクチャとして使用することによって、インター予測６２３に従ってコーディングされ得る。したがって、参照ピクチャは、異なるコーディングメカニズムのためのシングルレイヤ参照ピクチャとインターレイヤ参照ピクチャとの両方として機能し得る。下位レイヤＮ ６３１ピクチャに基づいて上位レイヤＮ＋１ ６３２ピクチャをコーディングすることによって、上位レイヤＮ＋１ ６３２は、インター予測６２３およびインターレイヤ予測６２１よりもコーディング効率が極めて低いイントラ予測を採用することを回避することができる。したがって、イントラ予測の低いコーディング効率は、最小／最低品質のピクチャに限定され得、それにより、最小量のビデオデータをコーディングすることに限定することができる。参照ピクチャおよび／またはインターレイヤ参照ピクチャとして使用されるピクチャは、参照ピクチャリスト構造に含まれる参照ピクチャリスト（複数可）のエントリ中で示され得る。
【0111】
かかる動作を実行するために、レイヤＮ ６３１およびレイヤＮ＋１ ６３２などのレイヤが、１または複数のＯＬＳ６２５および６２６に含まれ得る。具体的には、ピクチャ６１１～６１８は、ビットストリーム６００においてレイヤ６３１～６３２として符号化され、次いで、ピクチャの各レイヤ６３１～６３２は、ＯＬＳ６２５および６２６のうち１または複数に割り当てられる。次いで、ＯＬＳ６２５および／または６２６を選択することができ、デコーダにおける能力および／またはネットワーク条件に応じて、対応するレイヤ６３１および／または６３２をデコーダに送信することができる。ＯＬＳ６２５は、１または複数のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、（例えば、ディスプレイへの）出力のために指定されるレイヤである。例えば、レイヤＮ ６３１は、インターレイヤ予測６２１をサポートするためだけに含まれてもよく、決して出力されなくてもよい。かかる場合、レイヤＮ＋１ ６３２は、レイヤＮ ６３１に基づいて復号され、出力される。かかる場合、ＯＬＳ６２５は、出力レイヤとしてレイヤＮ＋１ ６３２を含む。ＯＬＳが出力レイヤのみを含む場合、そのＯＬＳは０番目のＯＬＳ６２６と称される。０番目のＯＬＳ６２６は、最下位レイヤ（最下位レイヤ識別子を有するレイヤ）のみを含むＯＬＳであり、出力レイヤのみを含むＯＬＳである。他の場合には、ＯＬＳ６２５は、異なる組み合わせで多くのレイヤを含み得る。例えば、ＯＬＳ６２５中の出力レイヤは、１つ、２つ、または多くの下位レイヤに基づくインターレイヤ予測６２１に従ってコーディングされてもよい。さらに、ＯＬＳ６２５は、２つ以上の出力レイヤを含み得る。したがって、ＯＬＳ６２５は、１または複数の出力レイヤと、出力レイヤを再構成するのに必要な任意のサポートレイヤとを含み得る。２つのＯＬＳ６２５および６２６のみが示されているが、マルチレイヤビデオシーケンス６００は、各々がレイヤの異なる組み合わせを採用する多くの異なるＯＬＳ６２５および／または６２６を採用することによってコーディングされてもよい。ＯＬＳ６２５および６２６はそれぞれ、対応するＯＬＳ６２５および６２６を一意に識別するインデックスであるＯＬＳインデックス６２９に関連付けられる。
【0112】
ＨＲＤ５００において規格適合性についてマルチレイヤビデオシーケンス６００を検査することは、レイヤ６３１～６３２ならびにＯＬＳ６２５および６２６の数に応じて複雑になり得る。ＨＲＤ５００は、試験用にマルチレイヤビデオシーケンス６００をオペレーションポイント６２７のシーケンスに分離することができる。ＯＬＳ６２５および／または６２６は、ＯＬＳインデックス６２９によって識別される。オペレーションポイント６２７は、ＯＬＳ６２５／６２６の時間的サブセットである。オペレーションポイント６２７は、対応するＯＬＳ６２５／６２６のＯＬＳインデックス６２９ならびに最上位テンポラルＩＤ６２２の両方によって識別することができる。特定の例として、第１のオペレーションポイント６２７は、テンポラルＩＤ０からテンポラルＩＤ２００までの第１のＯＬＳ６２５内の全てのピクチャを含むことができ、第２のオペレーションポイント６２７は、テンポラルＩＤ２０１からテンポラルＩＤ４００までの第１のＯＬＳ６２５内の全てのピクチャを含むことができ、以下同様である。かかる場合、第１のオペレーションポイント６２７は、第１のＯＬＳ６２５のＯＬＳインデックス６２９およびテンポラルＩＤ２００によって記述される。さらに、第２のオペレーションポイント６２７は、第１のＯＬＳ６２５のＯＬＳインデックス６２９およびテンポラルＩＤ４００によって記述される。指定された瞬間に試験するために選択されたオペレーションポイント６２７は、試験対象ＯＰ（ｔａｒｇｅｔＯｐ）と称される。したがって、ｔａｒｇｅｔＯｐは、ＨＲＤ５００において適合性試験のために選択されるオペレーションポイント６２７である。
【0113】
図７は、時間スケーラビリティのために構成された例示的なマルチレイヤビデオシーケンス７００を示す概略図である。マルチレイヤビデオシーケンス７００は、例えば方法１００に従って、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによって符号化され、コーデックシステム２００および／またはデコーダ４００などのデコーダによって復号されてもよい。さらに、マルチレイヤビデオシーケンス７００は、ＨＲＤ５００などのＨＲＤによって規格適合性について検査されてもよい。マルチレイヤビデオシーケンス７００は、コード化ビデオシーケンス中のレイヤのための別の例示的な適用を示すために含まれる。例えば、マルチレイヤビデオシーケンス７００は、別個の実施形態として採用されてもよく、またはマルチレイヤビデオシーケンス６００に関して説明した技術と組み合わされてもよい。
【0114】
マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、および７３０を含む。サブレイヤは、特定のテンポラル識別子値を有するＶＣＬ ＮＡＬユニット（例えば、ピクチャ）と、関連する非ＶＣＬ ＮＡＬユニット（例えば、サポートパラメータ）とを含む時間スケーラブルビットストリームの時間スケーラブルレイヤである。例えば、レイヤＮ ６３１および／またはレイヤＮ＋１ ６３２などのレイヤは、サブレイヤ７１０、７２０、および７３０にさらに分割されて、時間スケーラビリティをサポートしてもよい。サブレイヤ７１０はベースレイヤと称されることがあり、サブレイヤ７２０および７３０はエンハンスメントレイヤと称されることがある。図示のように、サブレイヤ７１０は、毎秒３０フレームなどの第１のフレームレートでピクチャ７１１を含む。サブレイヤ７１０はベース／最低フレームレートを含むので、サブレイヤ７１０はベースレイヤである。サブレイヤ７２０は、サブレイヤ７１０のピクチャ７１１から時間的にオフセットされたピクチャ７２１を含む。その結果、サブレイヤ７１０とサブレイヤ７２０とを組み合わせることができ、その結果、サブレイヤ７１０単独のフレームレートよりも全体として高いフレームレートが得られる。例えば、サブレイヤ７１０および７２０は、毎秒６０フレームの結合フレームレートを有してもよい。したがって、サブレイヤ７２０は、サブレイヤ７１０のフレームレートを向上させる。さらに、サブレイヤ７３０は、やはりサブレイヤ７２０および７１０のピクチャ７２１および７１１から時間的にオフセットされたピクチャ７３１を含む。したがって、サブレイヤ７３０をサブレイヤ７２０および７１０と組み合わせて、サブレイヤ７１０をさらに向上させることができる。例えば、サブレイヤ７１０、７２０、および７３０は、毎秒９０フレームの結合フレームレートを有してもよい。
【0115】
サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および／または７３０を組み合わせることによって動的に作成することができる。サブレイヤ表現７４０は、特定のサブレイヤおよび下位サブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。図示の例では、サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および７３０の合成ピクチャ７１１、７２１、および７３１であるピクチャ７４１を含む。したがって、マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、および／または７３０の所望のセットを含むサブレイヤ表現７４０を選択することによって、所望のフレームレートに時間的にスケーリングすることができる。サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および／または７３０をレイヤとして含むＯＬＳを採用することによって作成され得る。かかる場合、サブレイヤ表現７４０が出力レイヤとして選択される。したがって、時間スケーラビリティは、マルチレイヤメカニズムを使用して達成され得る複数のメカニズムのうちの１つである。
【0116】
図８は、例示的なビットストリーム８００を示す概略図である。例えば、ビットストリーム８００は、方法１００に従ってコーデックシステム２００および／またはデコーダ４００によって復号するために、コーデックシステム２００および／またはエンコーダ３００によって生成されてもよい。さらに、ビットストリーム８００は、マルチレイヤビデオシーケンス６００および／または７００を含み得る。さらに、ビットストリーム８００は、ＨＲＤ５００などのＨＲＤの動作を制御するための種々のパラメータを含み得る。かかるパラメータに基づいて、ＨＲＤは、復号のためにデコーダに向けて送信する前に、規格との適合性についてビットストリーム８００を検査することができる。
【0117】
ビットストリーム８００は、ＶＰＳ８１１、１または複数のＳＰＳ８１３、複数のピクチャパラメータセット（ＰＰＳ）８１５、複数のスライスヘッダ８１７、画像データ８２０、およびＢＰ ＳＥＩメッセージ８１９を含む。ＶＰＳ８１１は、ビットストリーム８００全体に関連するデータを含む。例えば、ＶＰＳ８１１は、ビットストリーム８００において使用されるデータ関連ＯＬＳ、レイヤ、および／またはサブレイヤを含んでもよい。ＳＰＳ８１３は、ビットストリーム８００に含まれるコード化ビデオシーケンス内の全てのピクチャに共通のシーケンスデータを含む。例えば、各レイヤは、１または複数のコード化ビデオシーケンスを含んでもよく、各コード化ビデオシーケンスは、対応するパラメータのためにＳＰＳ８１３を参照してもよい。ＳＰＳ８１３中のパラメータは、ピクチャサイジング、ビット深度、コーディングツールパラメータ、ビットレート制限などを含み得る。各シーケンスはＳＰＳ８１３を参照するが、一部の例では、単一のＳＰＳ８１３が複数のシーケンスのためのデータを含み得ることに留意されたい。ＰＰＳ８１５は、ピクチャ全体に適用されるパラメータを含む。したがって、ビデオシーケンス中の各ピクチャはＰＰＳ８１５を参照し得る。各ピクチャはＰＰＳ８１５を参照するが、一部の例では、単一のＰＰＳ８１５が複数のピクチャのためのデータを含み得ることに留意されたい。例えば、複数の同様のピクチャは、同様のパラメータに従ってコーディングされてもよい。かかる場合、単一のＰＰＳ８１５は、かかる類似ピクチャのためのデータを含み得る。ＰＰＳ８１５は、対応するピクチャ中のスライスに利用可能なコーディングツール、量子化パラメータ、オフセットなどを示すことができる。
【0118】
スライスヘッダ８１７は、ピクチャ内の各スライスに固有のパラメータを含む。したがって、ビデオシーケンス中のスライスごとに１つのスライスヘッダ８１７が存在し得る。スライスヘッダ８１７は、スライスタイプ情報、ＰＯＣ、参照ピクチャリスト、予測重み、タイルエントリポイント、デブロッキングパラメータなどを含み得る。一部の例では、ビットストリーム８００はまた、単一のピクチャ中の全てのスライスに適用されるパラメータを含むシンタックス構造であるピクチャヘッダを含み得ることに留意されたい。この理由から、ピクチャヘッダおよびスライスヘッダ８１７は、一部の状況では交換可能に使用され得る。例えば、一部のパラメータは、かかるパラメータがピクチャ中の全てのスライスに共通であるかどうかに応じて、スライスヘッダ８１７とピクチャヘッダとの間で移動されてもよい。
【0119】
画像データ８２０は、インター予測および／またはイントラ予測に従って符号化されたビデオデータ、ならびに対応する変換および量子化された残差データを含む。例えば、画像データ８２０は、ＡＵ８２１、ＤＵ８２２、および／またはピクチャ８２３を含んでもよい。ＡＵ８２１は、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関連するＮＡＬユニットのセットである。ＤＵ８２２は、ＡＵまたはＡＵのサブセットおよび関連する非ＶＣＬ ＮＡＬユニットである。ピクチャ８２３は、フレームまたはそのフィールドを作成する輝度サンプルのアレイおよび／または彩度サンプルのアレイである。平易な言葉では、ＡＵ８２１は、ビデオシーケンス中の指定された瞬間に表示され得る種々のビデオデータ、ならびにサポートシンタックスデータを含む。したがって、ＡＵ８２１は、単一レイヤビットストリーム中の単一ピクチャ８２３、またはマルチレイヤビットストリーム中の同じ瞬間に全て関連付けられた複数のレイヤからの複数ピクチャを含み得る。一方、ピクチャ８２３は、表示のために出力され得るか、または出力のための他のピクチャ（複数可）８２３のコーディングをサポートするために使用され得る、コード化された画像である。ＤＵ８２２は、１または複数のピクチャ８２３と、復号のために必要とされる任意のサポートシンタックスデータとを含み得る。例えば、ＤＵ８２２およびＡＵ８２１は、（例えば、ＡＵが単一のピクチャを含む場合に）単純なビットストリーム中で交換可能に使用されてもよい。しかしながら、より複雑なマルチレイヤビットストリームでは、ＤＵ８２２は、ＡＵ８２１からのビデオデータの一部分のみを含み得る。例えば、ＡＵ８２１は、複数のレイヤおよび／またはサブレイヤにおいてピクチャ８２３を含んでもよく、ここで、ピクチャ８２３のうちの一部は、異なるＯＬＳに関連付けられる。かかる場合、ＤＵ８２２は、指定されたＯＬＳおよび／または指定されたレイヤ／サブレイヤからのピクチャ（複数可）８２３のみを含み得る。
【0120】
ピクチャ８２３は、１または複数のスライス８２５を含む。スライス８２５は、ピクチャ８２３の（例えば、タイル内の）整数個の完全なタイル、または整数個の連続する完全なコーディングツリーユニット（ＣＴＵ）行として定義することができ、ここで、タイルまたはＣＴＵ行は、単一のＮＡＬユニット８２９中に排他的に含まれる。したがって、スライス８２５は、単一のＮＡＬユニット８２９にも含まれる。スライス８２５は、ＣＴＵおよび／またはコーディングツリーブロック（ＣＴＢ）にさらに分割される。ＣＴＵは、コーディングツリーによって分割され得る、あらかじめ定義されたサイズのサンプルのグループである。ＣＴＢは、ＣＴＵのサブセットであり、ＣＴＵの輝度成分または彩度成分を含む。ＣＴＵ／ＣＴＢは、コーディングツリーに基づいてコーディングブロックにさらに分割される。コーディングブロックはその後、予測メカニズムに従って符号化／復号され得る。
【0121】
ビットストリーム８００は、ＮＡＬユニット８２９のシーケンスである。ＮＡＬユニット８２９は、ビデオデータおよび／またはサポートシンタックスのためのコンテナである。ＮＡＬユニット８２９は、ＶＣＬ ＮＡＬユニットまたは非ＶＣＬ ＮＡＬユニットであり得る。ＶＣＬ ＮＡＬユニットは、コード化スライス８２５および関連するスライスヘッダ８１７などのビデオデータを含むようにコーディングされたＮＡＬユニット８２９である。非ＶＣＬ ＮＡＬユニットは、ビデオデータの復号、適合性検査の実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニット８２９である。例えば、非ＶＣＬ ＮＡＬユニットは、ＶＰＳ８１１、ＳＰＳ８１３、ＰＰＳ８１５、ＢＰ ＳＥＩメッセージ８１９、または他のサポートシンタックスを含んでもよい。
【0122】
ＳＥＩメッセージは、復号済みピクチャ中のサンプルの値を決定するために復号プロセスによって必要とされない情報を伝達する、指定されたセマンティクスを有するシンタックス構造である。例えば、ＳＥＩメッセージは、ＨＲＤプロセスをサポートするためのデータ、またはデコーダにおいてビットストリーム８００を復号することに直接関連しない他のサポートデータを含んでもよい。ビットストリーム８００において使用されるＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージおよび／または非スケーラブルネスト化ＳＥＩメッセージを含み得る。スケーラブルネスティングＳＥＩメッセージは、１または複数のＯＬＳまたは１または複数のレイヤに対応する複数のＳＥＩメッセージを含むメッセージである。非スケーラブルネスト化ＳＥＩメッセージは、ネスト化されていないメッセージであり、したがって、単一のＳＥＩメッセージを含んでいる。ＢＰ ＳＥＩメッセージ８１９は、ＣＰＢを管理するためにＨＲＤを初期化するためのＨＲＤパラメータを含むＳＥＩメッセージである。ＳＥＩメッセージはまた、ＣＰＢおよび／またはＤＰＢにおけるＡＵ８２１のための配信情報を管理するためのＨＲＤパラメータを含むＰＴ ＳＥＩメッセージを含み得る。ＳＥＩメッセージはまた、ＣＰＢおよび／またはＤＰＢにおいてＤＵ８２２についての配信情報を管理するためのＨＲＤパラメータを含むＤＵＩ ＳＥＩメッセージを含み得る。
【0123】
ＢＰ ＳＥＩメッセージ８１９は、ＣＰＢ配信スケジュール５６１などのＣＰＢ配信スケジュールを記述するデータを含み得、ＣＰＢ配信スケジュール５６１は、ビットストリーム８００に対して適合性試験を実行する際に採用され得る。配信スケジュールは、配信スケジュールのタイミング（例えば、データを除去する頻度）を記述し、転送されるデータの量（例えば、各発生において除去するデータの量）を記述するペアの値によって記述することができる。ＢＰ ＳＥＩメッセージ８１９は、適合性検査の開始点となるべきＡＵまたはＤＵ（例えば、ＡＵ８２１またはＤＵ８２２）と、各データユニットのために使用されるデフォルトスケジュールを示すデータペアとを示している。特定の例では、ＢＰ ＳＥＩメッセージ８１９は、初期ＣＰＢ除去遅延８３５と初期ＣＰＢ除去オフセット８３７とを含み得る。初期ＣＰＢ除去遅延８３５は、ビットストリーム、ＯＬＳ、および／またはレイヤ中の各ピクチャ、ＡＵ、および／またはＤＵについてのデフォルトＣＰＢ除去遅延である。初期ＣＰＢ除去オフセット８３７は、ビットストリーム、ＯＬＳ、および／またはレイヤ中の各ピクチャ、ＡＵ、および／またはＤＵに関連するデフォルトＣＰＢ除去オフセットである。初期ＣＰＢ除去遅延８３５と初期ＣＰＢ除去オフセット８３７とのペアを採用することによって、ＨＲＤは、適合性試験中にＣＰＢからデータユニット（ＡＵまたはＤＵ）を除去するときに使用されるＣＰＢ配信スケジュールを決定することができる。
【0124】
上述のように、ビデオストリームは、ＯＬＳ６２５、レイヤＮ ６３１、レイヤＮ＋１ ６３２、サブレイヤ７１０、サブレイヤ７２０、および／またはサブレイヤ７３０など、多くのＯＬＳおよび多くのレイヤを含み得る。さらに、一部のレイヤは、複数のＯＬＳに含まれ得る。したがって、マルチレイヤビデオシーケンス６００および／または７００などのマルチレイヤビデオシーケンスは、極めて複雑になり得る。その結果、ＨＲＤにおけるビットストリーム適合性検査プロセスが複雑になる可能性がある。一部のビデオコーディングシステムは、ＢＰ ＳＥＩメッセージ８１９をＳＰＳ８１３に相関させ得る。例えば、かかるシステムは、ＢＰ ＳＥＩメッセージ８１９がＳＰＳ８１３によって記述されたレイヤ／サブレイヤに適用されることを示してもよい。しかしながら、ビットストリーム８００は、多くの異なるＳＰＳ８１３を含み得る。例えば、異なるレイヤは、異なってコーディングされる場合があり、したがって、ビットストリーム８００中の異なる相対的なポイントにおいて異なるＳＰＳ８１３を採用する場合がある。これは、異なるレイヤが異なるＳＰＳ８１３を参照した場合、かかるＳＰＳ８１３が矛盾する情報を含み得るので、問題を引き起こす場合がある。例えば、システムは、どのレイヤがＢＰ ＳＥＩメッセージ８１９に関連付けられるかを最初に判定しなければ、どのＳＰＳ８１３がＢＰ ＳＥＩメッセージ８１９に関連付けられるかを判定することが不可能である場合がある。さらに、システムは、どのＳＰＳ８１３がＢＰ ＳＥＩメッセージ８１９に関連付けられるかを最初に判定しなければ、どのレイヤがＢＰ ＳＥＩメッセージ８１９に関連付けられるかを判定することが不可能である場合がある。かかるシステムは、この問題を解決することができず、予期しないエラーを返す可能性がある。例えば、かかるシステムは、一部のシナリオではＨＲＤを適切に初期化することができない場合がある。
【0125】
本開示は、ビデオシーケンスにおいて複数のレイヤが採用される際の適合性検査に関連するエラーに対処するためのメカニズムを含む。具体的には、ＢＰ ＳＥＩメッセージ８１９は、ＶＰＳ８１１において記述される任意の数のレイヤ／サブレイヤが適合性について検査され得ることを示すように修正される。例えば、ＢＰ ＳＥＩメッセージ８１９は、ＢＰ最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）８３１シンタックス要素を含むように修正されてもよい。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１ ８３１は、初期ＣＰＢ除去遅延８３５および初期ＣＰＢ除去オフセット８３７がＢＰ ＳＥＩメッセージ８１９中で示される時間サブレイヤの最大数を指定するシンタックス要素である。したがって、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１ ８３１は、ＢＰ ＳＥＩメッセージ８１９中のデータに関連付けられるレイヤ／サブレイヤの数を示している。ＨＲＤは、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１ ８３１の値を採用して、ＢＰ ＳＥＩメッセージ８１９に関連付けられたレイヤ／サブレイヤの正しいセットを決定することができる。ＨＲＤは、次いで、初期ＣＰＢ除去遅延８３５および初期ＣＰＢ除去オフセット８３７を使用して、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１ ８３１によって示されるレイヤ／サブレイヤに対して適合性検査を適切に実行するためのＣＰＢ配信スケジュールを決定することができる。
【0126】
さらに、ＶＰＳ８１１は、ＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）８３３シンタックス要素を含み得る。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１ ８３３は、ＶＰＳ８１１によって指定されたレイヤ中に存在し得る時間サブレイヤの最大数を指定するシンタックス要素である。したがって、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１ ８３３は、ビデオ全体におけるサブレイヤの数を示し得る。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１ ８３１は、０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１ ８３３の値までの任意の値に設定され得る。このようにして、ビデオ内の任意の数のレイヤ／サブレイヤの適合性を検査することができ、ＳＰＳ８１３の不整合に関連するレイヤベースのシーケンスの問題を回避することができる。したがって、本開示は、レイヤベースのコーディングエラーを回避し、それにより、エンコーダおよび／またはデコーダの機能を向上させる。さらに、本例はコーディング効率を増加させ得るレイヤベースコーディングをサポートする。したがって、本例は、エンコーダおよび／またはデコーダにおけるプロセッサ、メモリ、および／またはネットワークリソース使用量の削減をサポートする。
【0127】
ここで、前述の情報を以下でより詳細に説明する。階層化ビデオコーディングは、スケーラブルビデオコーディングまたはスケーラビリティを有するビデオコーディングとも称される。ビデオコーディングにおけるスケーラビリティは、マルチレイヤコーディング技術を使用することによってサポートされ得る。マルチレイヤビットストリームは、ベースレイヤ（ＢＬ）と１または複数のエンハンスメントレイヤ（ＥＬ）とを含む。スケーラビリティの例として、空間スケーラビリティ、品質／信号対雑音比（ＳＮＲ）スケーラビリティ、マルチビュースケーラビリティ、フレームレートスケーラビリティなどが挙げられる。マルチレイヤコーディング技術が使用される場合、ピクチャまたはその一部は、参照ピクチャを使用せずにコーディングされてもよく（イントラ予測）、同じレイヤ中にある参照ピクチャを参照することによってコーディングされてもよく（インター予測）、かつ／または他のレイヤ（複数可）中にある参照ピクチャを参照することによってコーディングされてもよい（インターレイヤ予測）。カレントピクチャのインターレイヤ予測に使用される参照ピクチャを、インターレイヤ参照ピクチャ（ＩＬＲＰ）と言う。図６は、異なるレイヤ中のピクチャが異なる解像度を有する空間スケーラビリティのためのマルチレイヤコーディングの一例を示している。
【0128】
一部のビデオコーディングファミリは、単一レイヤコーディングのためのプロファイル（複数可）から分離されたプロファイル（複数可）におけるスケーラビリティのサポートを提供する。スケーラブルビデオコーディング（ＳＶＣ）は、空間スケーラビリティ、時間スケーラビリティ、および品質スケーラビリティに対するサポートを提供する高度ビデオコーディング（ＡＶＣ）のスケーラブル拡張機能である。ＳＶＣの場合、ＥＬ ＭＢが下位レイヤからのコロケートブロックを使用して予測されるかどうかを示すために、ＥＬピクチャ中の各マクロブロック（ＭＢ）中でフラグがシグナリングされる。コロケートされたブロックからの予測は、テクスチャ、動きベクトル、および／またはコーディングモードを含み得る。ＳＶＣの実装形態は、それらの設計において、修正されていないＡＶＣ実装形態を直接再使用しない場合がある。ＳＶＣ ＥＬマクロブロックシンタックスおよび復号プロセスは、ＡＶＣシンタックスおよび復号プロセスとは異なる。
【0129】
スケーラブルＨＥＶＣ（ＳＨＶＣ）は、空間スケーラビリティおよび品質スケーラビリティのサポートを提供するＨＥＶＣの拡張機能である。マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）は、マルチビュースケーラビリティのサポートを提供するＨＥＶＣの拡張機能である。３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）は、ＭＶ－ＨＥＶＣより高度で効率的な３Ｄビデオコーディングのためのサポートを提供するＨＥＶＣの拡張機能である。時間スケーラビリティは、シングルレイヤＨＥＶＣコーデックの一体部分として含まれ得る。ＨＥＶＣのマルチレイヤ拡張機能では、インターレイヤ予測のために使用される復号済みピクチャは、同じＡＵからのみ取得され、長期参照ピクチャ（ＬＴＲＰ）として扱われる。かかるピクチャは、現在のレイヤ中の他の時間参照ピクチャとともに、参照ピクチャリスト（複数可）中の参照インデックスを割り当てられる。インターレイヤ予測（ＩＬＰ）は、参照ピクチャリスト（複数可）中のインターレイヤ参照ピクチャ（複数可）を参照するように参照インデックスの値を設定することによって、予測ユニット（ＰＵ）レベルで達成される。空間スケーラビリティは、ＩＬＲＰが符号化または復号されているカレントピクチャとは異なる空間解像度を有するときに、参照ピクチャまたはその一部をリサンプリングする。参照ピクチャのリサンプリングは、ピクチャレベルまたはコーディングブロックレベルのいずれかで実現することができる。
【0130】
ＶＶＣはまた、階層化ビデオコーディングをサポートし得る。ＶＶＣビットストリームは、複数のレイヤを含み得る。レイヤは全て互いに独立していてもよい。例えば、各レイヤは、インターレイヤ予測を使用せずにコーディングされてもよい。この場合、レイヤはサイマルキャストレイヤとも称される。場合によっては、レイヤのうちの一部は、ＩＬＰを使用してコーディングされる。ＶＰＳ中のフラグは、レイヤがサイマルキャストレイヤであるかどうか、または一部のレイヤがＩＬＰを使用するかどうかを示すことができる。一部のレイヤがＩＬＰを使用する場合、レイヤ間のレイヤ依存関係もＶＰＳ中でシグナリングされる。ＳＨＶＣおよびＭＶ－ＨＥＶＣとは異なり、ＶＶＣはＯＬＳを指定しない場合がある。ＯＬＳは、指定されたレイヤのセットを含み、レイヤのセット内の１または複数のレイヤは、出力レイヤであると指定される。出力レイヤは、出力されるＯＬＳのレイヤである。ＶＶＣの一部の実装形態では、レイヤがサイマルキャストレイヤである場合、１つのレイヤのみが復号および出力のために選択され得る。ＶＶＣの一部の実装形態では、全てのレイヤを含むビットストリーム全体が、いずれかのレイヤがＩＬＰを使用する場合に復号されるように指定される。さらに、レイヤのうちの特定のレイヤが出力レイヤとして指定される。出力レイヤは、最上位レイヤのみ、全てのレイヤ、または最上位レイヤと示された下位レイヤとのセットとして示され得る。
【0131】
ビデオコーディング規格は、指定されたＨＲＤ適合性試験を通してビットストリームの適合性を検証するためのＨＲＤを指定することができる。ＳＨＶＣおよびＭＶ－ＨＥＶＣでは、ビットストリームの適合性を検査するために、ビットストリーム適合性試験の３つのセットが採用される。ビットストリームは、ビットストリーム全体と称され、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍとして示される。ビットストリーム適合性試験の第１のセットは、ビットストリーム全体および対応する時間サブセットの適合性を試験するためのものである。かかる試験は、ビットストリーム全体中に存在するＶＣＬ ＮＡＬユニットの全てのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を含むアクティブＶＰＳによって指定されたレイヤセットがあるかどうかにかかわらず採用される。したがって、１または複数のレイヤが出力セットに含まれない場合でも、ビットストリーム全体が適合性について常に検査される。ビットストリーム適合性試験の第２のセットは、アクティブＶＰＳおよび関連する時間サブセットによって指定されたレイヤセットの適合性を試験するために採用される。全てのこれらの試験について、ベースレイヤピクチャ（例えば、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャ）のみが復号され、出力される。他のピクチャは、復号プロセスが呼び出されたときにデコーダによって無視される。ビットストリーム適合性試験の第３のセットは、ＯＬＳおよびビットストリームパーティションに基づいて、アクティブＶＰＳのＶＰＳ拡張部分によって指定されたＯＬＳおよび関連する時間サブセットの適合性を試験するために採用される。ビットストリームパーティションは、マルチレイヤビットストリームのＯＬＳの１または複数のレイヤを含む。
【0132】
前述の態様は、特定の問題を含んでいる。例えば、適合性試験の第１の２つのセットは、復号されず、出力されないレイヤに適用される場合がある。例えば、最下位レイヤ以外のレイヤは復号されず、出力されない場合がある。実際のアプリケーションでは、デコーダは復号されるデータのみを受信する場合がある。したがって、適合性試験の第１の２つのセットを採用することで、コーデック設計が複雑となり、適合性試験をサポートするために使用されるシーケンスレベルパラメータとピクチャレベルパラメータの両方を搬送するためのビットが無駄になる可能性がある。適合性試験の第３のセットは、ビットストリームパーティションを伴う。かかるパーティションは、マルチレイヤビットストリームのＯＬＳの１または複数のレイヤに関連し得る。その代わりに、適合性試験が常にレイヤごとに別々に動作する場合、ＨＲＤは大幅に簡略化される可能性がある。
【0133】
シーケンスレベルＨＲＤパラメータのシグナリングは、複雑であり得る。例えば、シーケンスレベルＨＲＤパラメータは、ＳＰＳ中とＶＰＳ中との両方など、複数の場所でシグナリングされる場合がある。さらに、シーケンスレベルＨＲＤパラメータシグナリングは、冗長性を含み得る。例えば、ビットストリーム全体について概して同じであり得る情報は、各ＯＬＳの各レイヤにおいて繰り返される場合がある。さらに、例示的なＨＲＤ方式は、異なる配信スケジュールがレイヤごとに選択されることを可能にする。かかる配信スケジュールは、オペレーションポイントがＯＬＳまたはＯＬＳの時間サブセットである場合、各オペレーションポイントのための各レイヤについてシグナリングされたスケジュールのリストから選択され得る。かかるシステムは複雑である。さらに、例示的なＨＲＤ方式では、不完全なＡＵがバッファリング期間ＳＥＩメッセージに関連付けられることが可能になる。不完全なＡＵは、ＣＶＳ中に存在する全てのレイヤについてのピクチャを有しないＡＵである。しかしながら、かかるＡＵにおけるＨＲＤ初期化は問題を有する場合がある。例えば、ＨＲＤは、不完全なＡＵ中に存在しないレイヤアクセスユニットを有するレイヤについて適切に初期化されないことがある。加えて、レイヤビットストリームを導出するための逆多重化プロセスは、ターゲットレイヤに適用されないネスト化ＳＥＩメッセージを十分に効率的に除去しないことがある。レイヤビットストリームは、ビットストリームパーティションが１つのレイヤのみを含むときに発生する。さらに、非スケーラブルネスト化バッファリング期間、ピクチャタイミング、および復号ユニット情報ＳＥＩメッセージの適用可能なＯＬＳは、ビットストリーム全体に対して指定され得る。しかしながら、非スケーラブルネスト化バッファリング期間は、代わりに０番目のＯＬＳに適用する必要がある。
【0134】
さらに、一部のＶＶＣ実装形態は、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合、ＨＤＲパラメータを推論することに失敗する場合がある。かかる推論は、適切なＨＲＤ動作を可能にし得る。加えて、ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１およびｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値と等しいことが要求され得る。しかしながら、バッファリング期間およびピクチャタイミングＳＥＩメッセージは、ネスト化することができ、複数のＯＬＳおよび複数のＯＬＳの各々の複数のレイヤに適用することができる。かかるコンテキストでは、関与するレイヤは、複数のＳＰＳを参照し得る。したがって、システムは、どのＳＰＳが各レイヤに対応するＳＰＳであるかを追跡することが困難になり得る。したがって、これらの２つのシンタックス要素の値は、代わりにｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値に基づいて制約を受ける必要がある。さらに、異なるレイヤは異なる数のサブレイヤを有し得るので、これらの２つのシンタックス要素の値は、全てのバッファリング期間およびピクチャタイミングＳＥＩメッセージにおいて特定の値に常に等しいとは限らない。
【0135】
また、以下の問題が、ＳＨＶＣ／ＭＶ－ＨＥＶＣとＶＶＣの両方におけるＨＲＤ設計に関連付けられる。サブビットストリーム抽出プロセスは、ターゲットＯＬＳのために必要とされないネスト化ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットを除去しない場合がある。
【0136】
概して、本開示は、マルチレイヤビデオビットストリーム中の出力レイヤセットのためのＳＥＩメッセージのスケーラブルネスティングのための手法について説明する。本技術の説明は、ＶＶＣに基づいている。しかしながら、本技術は、他のビデオコーデック仕様に基づく階層化ビデオコーディングにも適用される。
【0137】
上述の問題のうち１または複数は、以下のように解決することができる。具体的には、本開示は、ＳＨＶＣおよびＭＶ－ＨＥＶＣと比較してはるかに単純なＨＲＤ動作を用いてＨＲＤパラメータの効率的なシグナリングを可能にする、ＨＲＤ設計のための方法および関連する態様を含む。以下に説明する解決策の各々は、上述の問題に対応する。例えば、３セットの適合性試験を必要とする代わりに、本開示は、ＶＰＳによって指定されたＯＬＳの適合性を試験するための１セットの適合性試験のみを採用することができる。さらに、ビットストリームパーティションに基づく設計の代わりに、開示されるＨＲＤメカニズムは、ＯＬＳのレイヤごとに常に別々に動作することができる。さらに、全てのＯＬＳの全てのレイヤおよびサブレイヤに対してグローバルであるシーケンスレベルＨＲＤパラメータは、例えば、ＶＰＳ中で１回のみシグナリングされ得る。さらに、単一の数の配信スケジュールが、全てのＯＬＳの全てのレイヤおよびサブレイヤに対してシグナリングされ得る。ＯＬＳ内の全てのレイヤに同じ配信スケジュールインデックスを適用することもできる。さらに、不完全なＡＵは、バッファリング期間ＳＥＩメッセージに関連付けられなくてもよい。不完全なＡＵは、ＣＶＳ中に存在する全てのレイヤについてのピクチャを含まないＡＵである。これにより、ＨＲＤがＯＬＳ中の全てのレイヤについて常に適切に初期化され得ることが保証される。また、ＯＬＳ中のターゲットレイヤに適用されないネスト化ＳＥＩメッセージを効率的に除去するためのメカニズムが開示される。これは、レイヤビットストリームを導出するための逆多重化プロセスをサポートする。加えて、非スケーラブルネスト化バッファリング期間、ピクチャタイミング、および復号ユニット情報ＳＥＩメッセージの適用可能なＯＬＳは、０番目のＯＬＳであると指定され得る。さらに、ＨＤＲパラメータは、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合に推論され得、それにより、適切なＨＲＤ動作が可能となり得る。ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１およびｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にあることが必要とされ得る。このように、かかるパラメータは、全てのバッファリング期間およびピクチャタイミングＳＥＩメッセージについて特定の値である必要はない。また、サブビットストリーム抽出プロセスは、ターゲットＯＬＳに適用されないネスト化ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットを除去することができる。
【0138】
前述のメカニズムの例示的な実装形態は、以下の通りである。出力レイヤは、出力される出力レイヤセットのレイヤである。ＯＬＳは、指定されたレイヤのセットを含むレイヤのセットであり、レイヤのセット内の１または複数のレイヤは、出力レイヤであると指定される。ＯＬＳレイヤインデックスは、ＯＬＳ内のレイヤの、ＯＬＳ内のレイヤのリストに対するインデックスである。サブビットストリーム抽出プロセスは、ターゲットＯＬＳインデックスおよびターゲット最上位ＴｅｍｐｏｒａｌＩｄによって決定される、ターゲットセットに属さないビットストリーム中のＮＡＬユニットがビットストリームから除去される指定されたプロセスであり、出力サブビットストリームは、ターゲットセットに属するビットストリーム中のＮＡＬユニットを含む。
【0139】
例示的なビデオパラメータセットシンタックスは、以下の通りである。
【表1】
【0140】
例示的なシーケンスパラメータセットＲＢＳＰシンタックスは、以下の通りである。
【表2】
【0141】
例示的なＤＰＢパラメータシンタックスは、以下の通りである。
【表3】
【0142】
例示的な一般ＨＲＤパラメータシンタックスは、以下の通りである。
【表4】
【0143】
例示的なビデオパラメータセットＲＢＳＰセマンティクスは、以下の通りである。ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、各出力レイヤセットが１つのレイヤのみを含み、ビットストリーム中の各レイヤ自体が出力レイヤセットであり、単一の含まれるレイヤが唯一の出力レイヤであることを指定するために、１に等しく設定される。ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、出力レイヤセットが２つ以上のレイヤを含み得ることを指定するために、０に等しく設定される。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は１に等しいと推論される。そうでない場合、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は０に等しいと推論される。
【0144】
ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定するために、０に等しく設定され、ｉ番目のＯＬＳは、両端値を含む０からｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、ＯＬＳ中の最上位レイヤのみが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定するために、１に等しく設定され、ｉ番目のＯＬＳは、両端値を含む０からｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、ＯＬＳ中の全てのレイヤが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって指定されたＯＬＳの総数が明示的にシグナリングされることを指定するために、２に等しく設定され、各ＯＬＳについて、ＯＬＳ中の最上位レイヤおよび明示的にシグナリングされた下位レイヤのセットが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は、両端値を含む０～２の範囲内にあるものとする。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値３は予約されている。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は２に等しいと推論される。ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１プラス１は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合にＶＰＳによって指定されるＯＬＳの総数を指定する。
【0145】
ＶＰＳによって指定されるＯＬＳの総数を指定する変数ＴｏｔａｌＮｕｍＯｌｓｓは、以下のように導出される。
【数1】
【0146】
ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合、ｊ番目のレイヤ（ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｊ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤ）がｉ番目のＯＬＳに含まれるかどうかを指定する。ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、ｊ番目のレイヤがｉ番目のＯＬＳに含まれることを指定するために、１に等しく設定される。ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、ｊ番目のレイヤがｉ番目のＯＬＳに含まれないことを指定するために、０に等しく設定される。
【0147】
ｉ番目のＯＬＳにおけるレイヤの数を指定する変数ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］と、ｉ番目のＯＬＳにおけるｊ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する変数ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］とは、以下のように導出される。
【数2】
【0148】
ＯｌｓＬａｙｅＩｄｘ［ｉ］［ｊ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤのＯＬＳレイヤインデックスを指定する変数ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］は、以下のように導出される。
【数3】
【0149】
各ＯＬＳにおける最下位レイヤは、独立したレイヤとする。換言すれば、両端値を含む０～ＴｏｔａｌＮｕｍＯｌｓｓ－１の範囲内の各ｉについて、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［０］］］の値は、１に等しいものとする。各レイヤは、ＶＰＳによって指定された少なくとも１つのＯＬＳに含まれるものとする。換言すれば、両端値を含む０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内のｋについてｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｋ］のうちの１つに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ ｎｕｈＬａｙｅｒＩｄの特定の値を有する各レイヤについて、ｉは両端値を含む０～ＴｏｔａｌＮｕｍＯｌｓｓ－１の範囲内にあり、ｊは両端値を含むＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］－１の範囲内にあり、ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］の値がｎｕｈＬａｙｅｒＩｄに等しいようなｉおよびｊの値の少なくとも１つのペアが存在するものとする。ＯＬＳ内の任意のレイヤは、ＯＬＳの出力レイヤ、またはＯＬＳの出力レイヤの（直接または間接）参照レイヤであるものとする。
【0150】
ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合、ｉ番目のＯＬＳにおけるｊ番目のレイヤが出力されるかどうかを指定する。１に等しいｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、ｉ番目のＯＬＳにおけるｊ番目のレイヤが出力されることを指定する。ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、ｉ番目のＯＬＳにおけるｊ番目のレイヤが出力されないことを指定するために、０に等しく設定される。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値は１に等しいと推論される。値１が、ｉ番目のＯＬＳにおけるｊ番目のレイヤが出力されることを指定し、値０が、ｉ番目のＯＬＳにおけるｊ番目のレイヤが出力されないことを指定する変数ＯｕｔｐｕｔＬａｙｅｒＦｌａｇ［ｉ］［ｊ］は、以下のように導出される。
０番目のＯＬＳは、最下位レイヤ（ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤ）のみを含み、０番目のＯＬＳについては、含まれるレイヤのみが出力される。
【数4】
【0151】
ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、ＶＰＳ ＲＢＳＰシンタックス構造中にｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素が存在しないことを指定するために、０に等しく設定される。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、ＶＰＳ ＲＢＳＰシンタックス構造中にｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素が存在することを指定するために、１に等しく設定される。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇは、任意の値を有し得る。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇの存在および値は、指定されたプロファイルに対するデコーダの適合性に影響を及ぼさない。デコーダは、全てのｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素を無視するものとする。
【0152】
例示的なＤＰＢパラメータセマンティクスは、以下の通りである。ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報と、所望により、最大ピクチャ並べ替え数および最大レイテンシ（ＭＲＭＬ）情報とを提供する。各ＳＰＳは、１つまたはｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を含む。ＳＰＳ中の第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報とＭＲＭＬ情報との両方を含む。存在する場合、ＳＰＳ中の第２のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報のみを含む。ＳＰＳ内の第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造内のＭＲＭＬ情報は、レイヤがＯＬＳ内の出力レイヤであるかどうかにかかわらず、ＳＰＳを参照するレイヤに適用される。ＳＰＳ内の第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造内のＤＰＢサイズ情報は、レイヤがＯＬＳの出力レイヤであるとき、ＳＰＳを参照するレイヤに適用される。ＳＰＳ中の第２のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中に含まれるＤＰＢサイズ情報は、存在する場合、レイヤがＯＬＳの非出力レイヤであるとき、ＳＰＳを参照するレイヤに適用される。ＳＰＳが１つのｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のみを含むとき、非出力レイヤとしてのレイヤについてのＤＰＢサイズ情報は、出力レイヤとしてのレイヤについてのＤＰＢサイズ情報と同じであると推論される。
【0153】
例示的な一般ＨＲＤパラメータセマンティクスは、以下の通りである。ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＨＲＤ動作において使用されるＨＲＤパラメータを提供する。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、両端値を含む０～ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の範囲内のＴｅｍｐｏｒａｌＩｄを有するサブレイヤ表現のためのＨＲＤパラメータを含むことを指定するために、１に等しく設定される。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］のみに等しいＴｅｍｐｏｒａｌＩｄを有するサブレイヤ表現のためのＨＲＤパラメータを含むことを指定するために、０に等しく設定される。ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０に等しいと推論される。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合、両端値を含む０～ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］－１の範囲内のＴｅｍｐｏｒａｌＩｄを有するサブレイヤ表現のためのＨＲＤパラメータは、ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］に等しいＴｅｍｐｏｒａｌＩｄを有するサブレイヤ表現のためのＨＲＤパラメータと同じであると推論される。これらは、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ［ｉ］シンタックス要素から、ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造における条件ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）のすぐ下のｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ｉ）シンタックス構造までのＨＲＤパラメータを含む。ｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１プラス１は、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中に存在するｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の数を指定する。ｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の値は、両端値を含む０～６３の範囲内にあるものとする。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１プラス１は、ＣＶＳのビットストリーム中の代替ＣＰＢ仕様の数を指定する。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、両端値を含む０～３１の範囲内にあるものとする。ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、ＨＲＤパラメータがｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に含まれる最上位サブレイヤ表現のＴｅｍｐｏｒａｌＩｄを指定する。ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は、両端値を含む０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にあるものとする。ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は０に等しいと推論される。ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［ｉ］［ｊ］は、ｉ番目のＯＬＳ中のｊ番目のレイヤに適用されるｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のインデックスを指定する。ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［［ｉ］［ｊ］の値は、両端値を含む０～ｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の範囲内にあるものとする。存在しない場合、ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［［０］［０］の値は０に等しいと推論される。
【0154】
例示的なサブビットストリーム抽出プロセスは、以下の通りである。このプロセスへの入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲット最上位ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔである。このプロセスの出力は、サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。入力として、ビットストリーム、ＶＰＳによって指定されるＯＬＳのリストへのインデックスに等しいｔａｒｇｅｔＯｌｓＩｄｘ、および両端値を含む０～６の範囲内の任意の値に等しいｔＩｄＴａｒｇｅｔを用いてこの節で指定されるプロセスの出力であり、以下の条件を満たす任意の出力サブビットストリームが適合ビットストリームであることが、入力ビットストリームに対するビットストリーム適合性の要件である。出力サブビットストリームは、ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］におけるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の各々に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する少なくとも１つのＶＣＬ ＮＡＬユニットを含む必要がある。出力サブビットストリームは、ｔＩｄＴａｒｇｅｔに等しいＴｅｍｐｏｒａｌＩｄを有する少なくとも１つのＶＣＬ ＮＡＬユニットを含む必要がある。適合ビットストリームは、０に等しいＴｅｍｐｏｒａｌＩｄを有する１または複数のコード化スライスＮＡＬユニットを含むが、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するコード化スライスＮＡＬユニットを含む必要はない。
【0155】
出力サブビットストリームＯｕｔＢｉｔｓｔｒｅａｍは、以下のように導出される。ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一に設定される。ｔＩｄＴａｒｇｅｔよりも大きいＴｅｍｐｏｒａｌＩｄを有する全てのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ｏｕｔＢｉｔｓｔｒｅａｍから、リストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］に含まれないｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する全てのＮＡＬユニットを除去する。ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］がｔａｒｇｅｔＯｌｓＩｄｘに等しくなるように、１に等しいｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇを有し、両端値を含む０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の範囲内にｉの値がないスケーラブルネスティングＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ｔａｒｇｅｔＯｌｓＩｄｘが０より大きい場合、０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しいｐａｙｌｏａｄＴｙｐｅを有する非スケーラブルネスト化ＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。
【0156】
例示的なＨＲＤの一般的な態様は、以下の通りである。このセクションは、ビットストリームおよびデコーダ適合性を検査するためのＨＲＤおよびその使用法を指定する。ビットストリーム適合性試験のセットは、ビットストリーム全体と称されるビットストリームの適合性を検査するために採用され、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍとして示される。ビットストリーム適合性試験のセットは、ＶＰＳによって指定された各ＯＬＳおよび各ＯＬＳの時間サブセットの適合性を試験するためのものである。各試験について、以下の順序付けられたステップが列挙された順序で適用される。
【0157】
ｔａｒｇｅｔＯｐとして示される試験対象オペレーションポイントは、ＯＬＳインデックスｏｐＯｌｓＩｄｘおよび最上位ＴｅｍｐｏｒａｌＩｄ値ｏｐＴｉｄを有するターゲットＯＬＳを選択することによって選択される。ｏｐＯｌｓＩｄｘの値は、両端値を含む０～ＴｏｔａｌＮｕｍＯｌｓｓ－１の範囲内にある。ｏｐＴｉｄの値は、両端値を含む０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にある。ｏｐＯｌｓＩｄｘおよびｏｐＴｉｄの値は、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍ、ｏｐＯｌｓＩｄｘ、およびｏｐＴｉｄを入力としてサブビットストリーム抽出プロセスを呼び出すことによる出力であるサブビットストリームＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅが、以下の条件を満たすような値である。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ内のＬａｙｅｒＩｄＩｎＯｌｓ［ｏｐＯｌｓＩｄｘ］におけるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の各々に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する少なくとも１つのＶＣＬ ＮＡＬユニットが存在する。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中にｏｐＴｉｄに等しいＴｅｍｐｏｒａｌＩｄを有する少なくとも１つのＶＣＬ ＮＡＬユニットが存在する。
【0158】
ＴａｒｇｅｔＯｌｓＩｄｘおよびＨｔｉｄの値は、それぞれ、ｔａｒｇｅｔＯｐのｏｐＯｌｓＩｄｘおよびｏｐＴｉｄに等しく設定される。ＳｃＩｄｘの値が選択される。選択されたＳｃＩｄｘは、両端値を含む０～ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の範囲内にあるものとする。ＴａｒｇｅｔＯｌｓＩｄｘに適用可能なバッファリング期間ＳＥＩメッセージに関連付けられたＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ内のアクセスユニット（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか、または本明細書で指定されていない外部メカニズムを通じて利用可能）は、ＨＲＤ初期化点として選択され、ターゲットＯＬＳ内のレイヤごとにアクセスユニット０と称される。
【0159】
後続のステップは、ターゲットＯＬＳ内のＯＬＳレイヤインデックスＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘを有する各レイヤに適用される。ターゲットＯＬＳ中に１つのレイヤのみが存在する場合、試験対象レイヤビットストリームＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅと同一に設定される。そうでない場合、ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍは、入力としてＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ、ＴａｒｇｅｔＯｌｓＩｄｘ、およびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘを有するレイヤビットストリームを導出するための逆多重化プロセスを呼び出すことによって導出され、出力はＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに割り当てられる。
【0160】
ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに適用可能なｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造およびｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、以下のように選択される。ＶＰＳ内の（またはユーザ入力などの外部メカニズムを通じて提供される）ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［ＴａｒｇｅｔＯｌｓＩｄｘ］［ＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選択される。選択されたｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造内で、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、条件ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の直後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（Ｈｔｉｄ）シンタックス構造が選択され、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しく設定される。そうでない場合（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである場合）、条件ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは０に等しく設定される）または条件ｉｆ（ｇｅｎｅｒａｌ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは１に等しく設定される）のいずれかの直後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（Ｈｔｉｄ）シンタックス構造が選択される。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームであり、ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しい場合、フィラーデータＮＡＬユニットを除く全ての非ＶＣＬ ＮＡＬユニット、ならびにＮＡＬユニットストリームからバイトストリームを形成する全てのｌｅａｄｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓ、ｚｅｒｏ＿ｂｙｔｅ、ｓｔａｒｔ＿ｃｏｄｅ＿ｐｒｅｆｉｘ＿ｏｎｅ＿３ｂｙｔｅｓ、およびｔｒａｉｌｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓシンタックス要素は、存在する場合、ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍから廃棄され、残りのビットストリームはＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに割り当てられる。
【0161】
ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合、ＣＰＢは、アクセスユニットレベル（この場合、変数ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは０に等しく設定される）または復号ユニットレベル（この場合、変数ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは１に等しく設定される）のいずれかで動作するようにスケジュールされる。そうでない場合、ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは０に等しく設定され、ＣＰＢはアクセスユニットレベルで動作するようにスケジュールされる。アクセスユニット０から開始するＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍ内の各アクセスユニットについて、アクセスユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用されるバッファリング期間ＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか、外部メカニズムを介して利用可能）が選択され、アクセスユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用されるピクチャタイミングＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか、外部メカニズムを介して利用可能）が選択され、ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇが１に等しく、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０に等しい場合、アクセスユニットにおける復号ユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用される復号ユニット情報ＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか、外部メカニズムを介して利用可能）が選択される。
【0162】
各適合性試験は、上記ステップの各々における１つのオプションの組み合わせを含む。１つのステップに対して２つ以上のオプションが存在する場合、任意の特定の適合性試験に対して、１つのオプションのみが選択される。全てのステップの全ての可能な組み合わせが、適合性試験のセット全体を形成する。試験対象の各オペレーションポイントについて、実行されるビットストリーム適合性試験の数は、ｎ０＊ｎ１＊ｎ２＊ｎ３に等しく、ここで、ｎ０、ｎ１、ｎ２、およびｎ３の値は、次のように指定される。ｎ１は、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１に等しい。ｎ１は、バッファリング期間ＳＥＩメッセージに関連するＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中のアクセスユニットの数である。ｎ２は、次のように導出される。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、ｎ０は１に等しい。そうでない場合（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである場合）、ｎ０は２に等しい。ｎ３は次のように導出される。ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合、ｎ３は１に等しい。そうでない場合、ｎ３は２に等しい。
【0163】
ＨＲＤは、ビットストリームデマルチプレクサ（所望により存在する）と、レイヤごとのコード化ピクチャバッファ（ＣＰＢ）と、レイヤごとの瞬時復号プロセスと、レイヤごとのサブＤＰＢを含む復号済みピクチャバッファ（ＤＰＢ）と、出力クロッピングとを含む。
【0164】
一例では、ＨＲＤは以下のように動作する。ＨＲＤは復号ユニット０において初期化され、ＤＰＢの各ＣＰＢおよび各サブＤＰＢは空に設定される。各サブＤＰＢのためのサブＤＰＢフルネスは、０に等しく設定される。初期化後、ＨＲＤは、後続のバッファリング期間ＳＥＩメッセージによって再び初期化されない。指定された到着スケジュールに従って各ＣＰＢに流れ込む復号ユニットに関連するデータは、ＨＳＳによって配信される。各復号ユニットに関連付けられたデータは、復号ユニットのＣＰＢ除去時間における瞬時復号プロセスによって除去され、瞬時に復号される。各復号済みピクチャは、ＤＰＢに配置される。復号済みピクチャは、インター予測参照のために不要となり、出力のために不要となった時点で、ＤＰＢから除去される。
【0165】
一例では、レイヤビットストリームを導出するための逆多重化プロセスは、以下の通りである。このプロセスへの入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲットＯＬＳレイヤインデックスｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘである。このプロセスの出力は、レイヤビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。出力レイヤビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、以下のように導出される。ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一に設定される。ＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］に等しくないｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する全てのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］がｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに等しくなるように、１に等しいｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇを有し、ｉおよびｊの値がそれぞれ、両端値を含む０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｍｉｎｕｓ１、および両端値を含む０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］の範囲内にないスケーラブルネスティングＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］がｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘよりも小さくなるように、１に等しいｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇを有し、ｉおよびｊの値がそれぞれ、両端値を含む０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｍｉｎｕｓ１、および両端値を含む０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］の範囲内にあるスケーラブルネスティングＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］がＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］に等しくなるように、０に等しいｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇを有し、ｉの値が両端値を含む０～ＬａｙｅｒＩｄＩｎＯｌｓ－１の範囲内にないスケーラブルネスティングＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］がＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］よりも小さくなるように、０に等しいｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇを有し、ｉの少なくとも１つの値が両端値を含む０～ＬａｙｅｒＩｄＩｎＯｌｓ－１の範囲内にあるスケーラブルネスティングＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。
【0166】
例示的なバッファリング期間ＳＥＩメッセージシンタックスは、以下の通りである。
【表5】
【0167】
例示的なスケーラブルネスティングＳＥＩメッセージシンタックスは、以下の通りである。
【表6】
【0168】
例示的な一般的なＳＥＩペイロードセマンティクスは、以下の通りである。以下は、非スケーラブルネスト化ＳＥＩメッセージの適用可能なレイヤ（ＯＬＳのコンテキストにおいて、または概して）に適用される。非スケーラブルネスト化ＳＥＩメッセージの場合、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しい場合、非スケーラブルネスト化ＳＥＩメッセージは、０番目のＯＬＳのコンテキストにおける最下位レイヤのみに適用される。非スケーラブルネスト化ＳＥＩメッセージについて、ｐａｙｌｏａｄＴｙｐｅがＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔの中の任意の値に等しい場合、非スケーラブルネスト化ＳＥＩメッセージは、ＶＣＬ ＮＡＬユニットがＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤにのみ適用される。
【0169】
例示的なバッファリング期間ＳＥＩメッセージセマンティクスは、以下の通りである。バッファリング期間ＳＥＩメッセージは、復号順序における関連するアクセスユニットの位置におけるＨＲＤの初期化のための初期ＣＰＢ除去遅延および初期ＣＰＢ除去遅延オフセット情報を提供する。バッファリング期間ＳＥＩメッセージが存在する場合、０に等しいＴｅｍｐｏｒａｌＩｄを有し、ＲＡＳＬまたはランダムアクセス復号可能リーディング（ＲＡＤＬ）ピクチャではないピクチャは、ｎｏｔＤｉｓｃａｒｄａｂｌｅＰｉｃピクチャであると言われる。カレントピクチャが復号順序でビットストリーム内の第１のピクチャでない場合、ＲＡＳＬまたはＲＡＤＬピクチャではない、０に等しいＴｅｍｐｏｒａｌＩｄを有する復号順序で先行するピクチャをｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＰｉｃとする。
【0170】
バッファリング期間ＳＥＩメッセージの存在は、以下のように指定される。ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しいかまたはＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しい場合、ＣＶＳ内の各アクセスユニットに対して以下が適用される。アクセスユニットがＩＲＡＰまたはＧｒａｄｕａｌ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ（ＧＤＲ）アクセスユニットである場合、オペレーションポイントに適用可能なバッファリング期間ＳＥＩメッセージは、アクセスユニットに関連付けられるものとする。そうでない場合、アクセスユニットがｎｏｔＤｉｓｃａｒｄａｂｌｅＰｉｃを含む場合、オペレーションポイントに適用可能なバッファリング期間ＳＥＩメッセージは、アクセスユニットに関連付けられてもよく、関連付けられなくてもよい。そうでない場合、アクセスユニットは、オペレーションポイントに適用可能なバッファリング期間ＳＥＩメッセージに関連付けられないものとする。そうでない場合（ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇおよびＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇの両方が０に等しい場合）、ＣＶＳ内のアクセスユニットは、バッファリング期間ＳＥＩメッセージに関連付けられないものとする。一部のアプリケーションでは、バッファリング期間ＳＥＩメッセージが頻繁に存在することが望ましい場合がある（例えば、ＩＲＡＰピクチャもしくは非ＩＲＡＰピクチャにおけるランダムアクセスの場合、またはビットストリームスプライシングの場合）。アクセスユニット中のピクチャがバッファリング期間ＳＥＩメッセージと関連付けられる場合、アクセスユニットは、ＣＶＳ中に存在するレイヤの各々中にピクチャを有するものとし、アクセスユニット中の各ピクチャは、バッファリング期間ＳＥＩメッセージを有するものとする。
【0171】
ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１プラス１は、ＣＰＢ除去遅延およびＣＢＰ除去オフセットがバッファリング期間ＳＥＩメッセージ中で示される時間サブレイヤの最大数を指定する。ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端値を含む０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にあるものとする。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１プラス１は、ｂｐ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合のｉ番目の時間サブレイヤのシンタックス要素ペアｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］［ｊ］およびｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］［ｊ］の数を指定し、ｂｐ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合のｉ番目の時間サブレイヤのシンタックス要素ペアｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］［ｊ］およびｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］［ｊ］の数を指定する。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、両端値を含む０～３１の範囲内にあるものとする。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値に等しいものとする。
【0172】
例示的なピクチャタイミングＳＥＩメッセージセマンティクスは、以下の通りである。ピクチャタイミングＳＥＩメッセージは、ＳＥＩメッセージに関連付けられたアクセスユニットに関するＣＰＢ除去遅延およびＤＰＢ出力遅延情報を提供する。現在のアクセスユニットに適用可能なバッファリング期間ＳＥＩメッセージのｂｐ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇまたはｂｐ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合、変数ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇは１に等しく設定される。そうでない場合、ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇは０に等しく設定される。ピクチャタイミングＳＥＩメッセージの存在は、以下のように指定される。ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが１に等しい場合、ピクチャタイミングＳＥＩメッセージは、現在のアクセスユニットに関連付けられるものとする。そうでない場合（ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが０に等しい場合）、現在のアクセスユニットに関連付けられたピクチャタイミングＳＥＩメッセージは存在しないものとする。ピクチャタイミングＳＥＩメッセージシンタックス中のＴｅｍｐｏｒａｌＩｄは、ピクチャタイミングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄである。ｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１プラス１は、ＣＰＢ除去遅延情報がピクチャタイミングＳＥＩメッセージに含まれる最上位サブレイヤ表現のＴｅｍｐｏｒａｌＩｄを指定する。ｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端値を含む０～ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にあるものとする。
【0173】
例示的なスケーラブルネスティングＳＥＩメッセージセマンティクスは、以下の通りである。スケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージを、特定のＯＬＳのコンテキストにおける特定のレイヤと、またはＯＬＳのコンテキストではない特定のレイヤと関連付けるためのメカニズムを提供する。スケーラブルネスティングＳＥＩメッセージは、１または複数のＳＥＩメッセージを含む。スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージは、スケーラブルネスト化ＳＥＩメッセージとも称される。スケーラブルネスティングＳＥＩメッセージにＳＥＩメッセージを含める場合は、ビットストリーム適合性の要件として以下の制限が適用される。１３２（復号済みピクチャハッシュ）または１３３（スケーラブルネスティング）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないものとする。スケーラブルネスティングＳＥＩメッセージがバッファリング期間、ピクチャタイミング、または復号ユニット情報ＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージは、０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しくないｐａｙｌｏａｄＴｙｐｅを有する他のＳＥＩメッセージを含まないものとする。
【0174】
スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値に、以下の制限が適用されることがビットストリーム適合性の要件である。スケーラブルネスティングＳＥＩメッセージが、０（バッファリング期間）、１（ピクチャタイミング）、１３０（復号ユニット情報）、１４５（従属ＲＡＰ指示）、または１６８（フレームフィールド情報）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。スケーラブルネスティングＳＥＩメッセージが、１３２（復号済みピクチャハッシュ）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含むとき、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。
【0175】
ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスト化ＳＥＩメッセージが特定のＯＬＳのコンテキストにおいて特定のレイヤに適用されることを指定するために、１に設定される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスト化ＳＥＩメッセージが概して（ＯＬＳのコンテキストではなく）特定のレイヤに適用されることを指定するために、０に設定される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値に以下の制限が適用されることがビットストリーム適合性の要件である。スケーラブルネスティングＳＥＩメッセージが、０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含む場合、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は１に等しいものとする。スケーラブルネスティングＳＥＩメッセージが、ＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔにおける値に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含む場合、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は０に等しいものとする。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１プラス１は、スケーラブルネスト化ＳＥＩメッセージが適用されるＯＬＳの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、両端値を含む０～ＴｏｔａｌＮｕｍＯｌｓｓ－１の範囲内にあるものとする。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合にスケーラブルネスト化ＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含む０～ＴｏｔａｌＮｕｍＯｌｓｓ－２の範囲内にあるものとする。変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出される。
【数5】
【0176】
ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］プラス１は、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストにおいてスケーラブルネスト化ＳＥＩメッセージが適用されるレイヤの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含む０～ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－１の範囲内にあるものとする。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストにおいてスケーラブルネスト化ＳＥＩメッセージが適用されるｊ番目のレイヤのＯＬＳレイヤインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含む０～ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｎｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－２の範囲内にあるものとする。変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］は、以下のように導出される。
【数6】
【0177】
両端値を含む０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の範囲内のｉについてのＬａｙｅｒＩｄＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］［ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［０］］の全ての値のうちの最低値は、現在のＳＥＩ ＮＡＬユニット（スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニット）のｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいものとする。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスト化ＳＥＩメッセージが、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する全てのレイヤに概して適用されることを指定するために、１に設定される。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスト化ＳＥＩメッセージが、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する全てのレイヤに概して適用されてもされなくてもよいことを指定するために、０に設定される。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１プラス１は、スケーラブルネスト化ＳＥＩメッセージが概して適用されるレイヤの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端値を含む０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］の範囲内にあるものとし、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合にスケーラブルネスト化ＳＥＩメッセージが概して適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］の値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいものとし、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスト化ＳＥＩメッセージが概して適用されるレイヤ（複数可）の数を指定する変数ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ、およびスケーラブルネスト化ＳＥＩメッセージが概して適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定する、両端値を含む０～ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１までの範囲内のｉに対するリストＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、以下のように導出され、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。
【数7】
【0178】
ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１プラス１は、スケーラブルネスト化ＳＥＩメッセージの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１の値は、両端値を含む０～６３の範囲内にあるものとする。ｎｅｓｔｉｎｇ＿０＿ｂｉｔは０に等しいものとする。
【0179】
図９は、例示的なビデオコーディングデバイス９００の概略図である。ビデオコーディングデバイス９００は、本明細書に記載される開示された例／実施形態を実装するのに適している。ビデオコーディングデバイス９００は、ダウンストリームポート９２０、アップストリームポート９５０、および／またはトランシーバユニット（Ｔｘ／Ｒｘ）９１０を含み、トランシーバユニット（Ｔｘ／Ｒｘ）９１０は、ネットワークを介してアップストリームおよび／またはダウンストリームでデータを通信するための送信機および／または受信機を含む。ビデオコーディングデバイス９００はまた、データを処理するための論理ユニットおよび／または中央処理ユニット（ＣＰＵ）を含むプロセッサ９３０と、データを記憶するためのメモリ９３２とを含む。ビデオコーディングデバイス９００はまた、電気、光、または無線通信ネットワークを介したデータの通信のためにアップストリームポート９５０および／またはダウンストリームポート９２０に結合された電気、光－電気（ＯＥ）コンポーネント、電気－光（ＥＯ）コンポーネント、および／または無線通信コンポーネントを含み得る。ビデオコーディングデバイス９００はまた、ユーザとの間でデータを通信するための入力および／または出力（Ｉ／Ｏ）デバイス９６０を含み得る。Ｉ／Ｏデバイス９６０は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力デバイスを含み得る。Ｉ／Ｏデバイス９６０はまた、キーボード、マウス、トラックボールなどの入力デバイス、および／またはかかる出力デバイスと対話するための対応するインターフェースを含み得る。
【0180】
プロセッサ９３０は、ハードウェアおよびソフトウェアによって実装される。プロセッサ９３０は、１または複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、およびデジタル信号プロセッサ（ＤＳＰ）として実装され得る。プロセッサ９３０は、ダウンストリームポート９２０、Ｔｘ／Ｒｘ９１０、アップストリームポート９５０、およびメモリ９３２と通信する。プロセッサ９３０は、コーディングモジュール９１４を含む。コーディングモジュール９１４は、本明細書で説明する開示される実施形態、例えば方法１００、１０００、および１１００を実装し、これらは、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００を採用することができる。コーディングモジュール９１４はまた、本明細書で説明される任意の他の方法／メカニズムを実装し得る。さらに、コーディングモジュール９１４は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはＨＲＤ５００を実装することができる。例えば、コーディングモジュール９１４は、ＨＲＤを実装するために採用されてもよい。さらに、コーディングモジュール９１４は、ＨＲＤ適合性検査プロセスをサポートするためにパラメータをビットストリームに符号化するために採用されてもよい。したがって、コーディングモジュール９１４は、上述の問題のうち１または複数に対処するためのメカニズムを実行するように構成され得る。したがって、コーディングモジュール９１４は、ビデオコーディングデバイス９００に、ビデオデータをコーディングするときに追加の機能および／またはコーディング効率を提供させる。したがって、コーディングモジュール９１４は、ビデオコーディングデバイス９００の機能を改善するとともに、ビデオコーディング技術に特有の問題に対処する。さらに、コーディングモジュール９１４は、ビデオコーディングデバイス９００の異なる状態への変換をもたらす。代替的に、コーディングモジュール９１４は、メモリ９３２に記憶され、プロセッサ９３０によって実行される命令として（例えば、非一時的媒体に記憶されたコンピュータプログラム製品として）実装され得る。
【0181】
メモリ９３２は、ディスク、テープドライブ、ソリッドステートドライブ、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ターナリ連想メモリ（ＴＣＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）などの１または複数のメモリタイプを含む。メモリ９３２は、プログラムが実行のために選択されたときにかかるプログラムを記憶し、プログラム実行中に読み出される命令およびデータを記憶するために、オーバーフローデータストレージデバイスとして使用され得る。
【0182】
図１０は、ＨＲＤによるビットストリーム適合性試験のための最大サブレイヤを直接参照するＢＰ ＳＥＩメッセージを含めることによってビデオシーケンスをビットストリームに符号化する例示的な方法１０００のフローチャートである。方法１０００は、方法１００を実行する際に、コーデックシステム２００、エンコーダ３００、および／またはビデオコーディングデバイス９００などのエンコーダによって採用され得る。さらに、方法１０００は、ＨＲＤ５００に対して動作することができ、それにより、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００に対して適合性試験を実行することができる。
【0183】
方法１０００は、エンコーダがビデオシーケンスを受信し、例えばユーザ入力に基づいて、そのビデオシーケンスをマルチレイヤビットストリームに符号化することを決定するときに開始し得る。ステップ１００１において、エンコーダはビットストリームを符号化することができる。例えば、ビットストリームは、サブレイヤ７１０、７２０、および／または７３０など、１または複数のサブレイヤに編成されたピクチャを含んでもよい。例えば、ビットストリームは、マルチレイヤビデオシーケンス７００などのマルチレイヤビデオシーケンスから符号化された時間スケーラブルビットストリームであってもよい。かかる場合、ビットストリーム中のサブレイヤは、時間スケーラブルレイヤ／サブレイヤと称される。各サブレイヤは、ＶＣＬ ＮＡＬユニット（例えば、ピクチャスライス）と、ＴｅｍｐｏｒａｌＩｄ変数の同じ値を有する関連する非ＶＣＬ ＮＡＬユニット（例えば、パラメータ）とを含むデータのセットである。
【0184】
エンコーダはまた、ＶＰＳ８１１などのＶＰＳをビットストリームに符号化することができる。ＶＰＳは、ビットストリーム全体に関連するデータを含み得る。例えば、ＶＰＳは、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素を含んでもよい。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、レイヤ、ＯＬＳ、および／またはビットストリームのためのＶＰＳによって指定されるサブレイヤの最大数を示し得る。エンコーダは、ＢＰ ＳＥＩメッセージをビットストリームに符号化することもできる。ＢＰ ＳＥＩメッセージは、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素を含む。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、初期ＣＰＢ除去遅延および初期ＣＰＢ除去オフセットがＢＰ ＳＥＩメッセージ中で示される時間サブレイヤの最大数を指定するシンタックス要素である。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、両端値を含む０からＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定され得る。例えば、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素の値は、両端値を含む０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１までの任意の値に設定されてもよい。このようにして、ＢＰ ＳＥＩメッセージは、ＶＰＳによって指定されるようなビットストリーム中の任意の数のサブレイヤに関連付けられ得る。
【0185】
ＢＰ ＳＥＩメッセージはまた、それぞれｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙおよびｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔとして示され得る、初期ＣＰＢ除去遅延と初期ＣＰＢ除去オフセットとの１または複数のペアを含む。これらの値は、ＢＰ ＳＥＩメッセージに含まれるパラメータであり、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって指定される時間サブレイヤの最大数に関連付けられる。
【0186】
ステップ１００３において、エンコーダは、ＢＰ ＳＥＩメッセージに基づいてＨＲＤを初期化することができる。例えば、ＨＲＤは、ＢＰ ＳＥＩメッセージ中のｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の値によって示されるレイヤ／サブレイヤごとの復号順序で、関連するＡＵまたはＤＵの位置にあってもよい。例えば、ＨＲＤは、関連する初期ＣＰＢ除去遅延および初期ＣＰＢ除去オフセットのペアの値に基づいて、かかるレイヤ／サブレイヤごとのＣＰＢ配信スケジュールを決定することができる。
【0187】
ステップ１００５において、ＨＲＤは、対応するＣＰＢ配信スケジュールに基づいてサブレイヤに対してビットストリーム適合性試験のセットを実行することができる。次いで、ステップ１００７において、ビットストリームは、デコーダへの通信のために記憶され得る。
【0188】
図１１は、ＨＲＤ５００などのＨＲＤによるビットストリーム適合性試験のための最大サブレイヤを直接参照するＢＰ ＳＥＩメッセージを含むビットストリームからビデオシーケンスを復号する例示的な方法１１００のフローチャートである。方法１１００は、方法１００を実行する際に、コーデックシステム２００、デコーダ４００、および／またはビデオコーディングデバイス９００などのデコーダによって採用され得る。さらに、方法１１００は、マルチレイヤビデオシーケンス６００および／またはマルチレイヤビデオシーケンス７００を含む、ビットストリーム８００などのビットストリームに対して動作し得る。
【0189】
方法１１００は、デコーダが、例えば方法１０００の結果として、マルチレイヤビデオシーケンスを表すコード化データのビットストリームを受信し始めるときに開始し得る。ステップ１１０１において、デコーダは、１または複数のサブレイヤを含むビットストリームを受信する。例えば、ビットストリームは、サブレイヤ７１０、７２０、および／または７３０など、１または複数のサブレイヤに編成されたピクチャを含んでもよい。例えば、ビットストリームは、マルチレイヤビデオシーケンス７００など、コード化マルチレイヤビデオシーケンスを含む時間スケーラブルビットストリームであってもよい。かかる場合、ビットストリーム中のサブレイヤは、時間スケーラブルレイヤ／サブレイヤと称される。各サブレイヤは、ＶＣＬ ＮＡＬユニット（例えば、ピクチャスライス）と、ＴｅｍｐｏｒａｌＩｄ変数の同じ値を有する関連する非ＶＣＬ ＮＡＬユニット（例えば、パラメータ）とを含むデータのセットである。
【0190】
ビットストリームはまた、ＶＰＳ８１１などのＶＰＳを含む。ＶＰＳは、ビットストリーム全体に関連するデータを含み得る。例えば、ＶＰＳは、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素を含んでもよい。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、レイヤ、ＯＬＳ、および／またはビットストリームのためのＶＰＳによって指定されるサブレイヤの最大数を示し得る。ビットストリームはまた、ＢＰ ＳＥＩメッセージを含む。ＢＰ ＳＥＩメッセージは、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素を含む。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、初期ＣＰＢ除去遅延および初期ＣＰＢ除去オフセットがＢＰ ＳＥＩメッセージ中で示される時間サブレイヤの最大数を指定するシンタックス要素である。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、両端値を含む０からＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定され得る。例えば、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素の値は、両端値を含む０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１までの任意の値に設定されてもよい。このようにして、ＢＰ ＳＥＩメッセージは、ＶＰＳによって指定されるようなビットストリーム中の任意の数のサブレイヤに関連付けられ得る。
【0191】
ＢＰ ＳＥＩメッセージはまた、それぞれｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙおよびｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔとして示され得る、初期ＣＰＢ除去遅延と初期ＣＰＢ除去オフセットとの１または複数のペアを含む。これらの値は、ＢＰ ＳＥＩメッセージに含まれるパラメータであり、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって指定される時間サブレイヤの最大数に関連付けられる。ＢＰ ＳＥＩメッセージおよび関連するデータは、ＨＲＤにおけるビットストリーム規格適合性試験プロセス中に、復号順序において、関連するＡＵまたはＤＵの位置におけるＨＲＤの初期化のために採用される。
【0192】
ステップ１１０３において、デコーダは、１または複数のサブレイヤからピクチャを復号することができる。例えば、デコーダは、サブレイヤのうち１または複数を復号し、ユーザに提示するために、かかるサブレイヤをサブレイヤ表現７４０などのサブレイヤ表現に組み合わせることができる。ステップ１１０７において、デコーダは、復号済みビデオシーケンスの一部として表示するために復号済みピクチャを転送することができる。
【0193】
図１２は、ＨＲＤによるビットストリーム適合性試験のための最大サブレイヤを直接参照するＢＰ ＳＥＩメッセージを含むビットストリーム中のビデオシーケンスをコーディングするための例示的なシステム１２００の概略図である。システム１２００は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはビデオコーディングデバイス９００などのエンコーダおよびデコーダによって実装され得る。さらに、システム１２００は、ＨＲＤ５００を採用して、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００に対して適合性試験を実行することができる。加えて、システム１２００は、方法１００、１０００、および／または１１００を実装するときに採用され得る。
【0194】
システム１２００は、ビデオエンコーダ１２０２を含む。ビデオエンコーダ１２０２は、ＶＰＳおよび１または複数のサブレイヤを含むビットストリームを符号化するための符号化モジュール１２０３を含む。符号化モジュール１２０３はさらに、０からＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素を含むＢＰ ＳＥＩメッセージをビットストリームに符号化するためのものである。ビデオエンコーダ１２０２は、ＢＰ ＳＥＩメッセージに基づいてＨＲＤを初期化するための初期化モジュール１２０４をさらに含む。ビデオエンコーダ１２０２は、サブレイヤに対してビットストリーム適合性試験のセットを実行するためのＨＲＤモジュール１２０５をさらに含む。ビデオエンコーダ１２０２は、デコーダへの通信のためにビットストリームを記憶するための記憶モジュール１２０６をさらに含む。ビデオエンコーダ１２０２は、ビットストリームをビデオデコーダ１２１０に向けて送信するための送信モジュール１２０７をさらに含む。ビデオエンコーダ１２０２は、方法１０００のステップのいずれかを実行するようにさらに構成され得る。
【0195】
システム１２００はまた、ビデオデコーダ１２１０を含む。ビデオデコーダ１２１０は、ＶＰＳと、１または複数のサブレイヤと、０からＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素と、を含むビットストリームを受信するための受信モジュール１２１１を含む。ビデオデコーダ１２１０は、１または複数のサブレイヤからピクチャを復号するための復号モジュール１２１３をさらに含む。ビデオデコーダ１２１０は、復号済みビデオシーケンスの一部として表示するためにピクチャを転送するための転送モジュール１２１５をさらに含む。ビデオデコーダ１２１０は、方法１１００のステップのいずれかを実行するようにさらに構成され得る。
【0196】
第１の構成要素と第２の構成要素との間に線、トレース、または別の媒体を除いて、介在するコンポーネントがない場合、第１の構成要素は第２の構成要素に直接結合される。第１の構成要素と第２の構成要素との間に線、トレース、または別の媒体以外の介在コンポーネントが存在する場合、第１の構成要素は第２の構成要素に間接結合される。「結合された」およびその変形は、直接結合されたものおよび間接結合されたものの両方を含む。用語「約」の使用は、特に明記しない限り、その後の数の±１０％を含む範囲を意味する。
【0197】
本明細書に記載される例示的な方法のステップは、必ずしも記載された順序で実行される必要はなく、かかる方法のステップの順序は単なる例示であると理解されるべきであることも理解されるべきである。同様に、本開示の種々の実施形態と一致する方法において、追加のステップがかかる方法に含まれてもよく、特定のステップが省略または組み合わされてもよい。
【0198】
本開示において複数の実施形態が提供されているが、開示されたシステムおよび方法は、本開示の精神または範囲から逸脱することなく、多くの他の特定の形態で具現化され得ることが理解され得る。本実施例は、例示的であって限定的ではないと見なされるべきであり、本発明は、本明細書に与えられた詳細に限定されるべきではない。例えば、種々の要素または構成要素は、別のシステムにおいて組み合わされるか、もしくは統合されてもよく、または特定の特徴が省略されるか、もしくは実装されなくてもよい。
【0199】
加えて、離散的または別個のものとして種々の実施形態において説明および図示される技術、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、コンポーネント、技術、または方法と組み合わせられるか、または統合され得る。変更、置換、および代替の他の例は、当業者によって確認可能であり、本明細書に開示される精神および範囲から逸脱することなく行われ得る。
［他の考えられる項目］
［項目１］
デコーダによって実装される方法であって、上記方法が、
上記デコーダの受信機によって、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から上記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含むビットストリームを受信する段階と、
上記デコーダのプロセッサによって、上記１または複数のサブレイヤからピクチャを復号する段階と、
を備える、方法。
［項目２］
上記ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、バッファリング期間補助強化情報（ＳＥＩ）メッセージに含まれ、上記ＢＰ ＳＥＩメッセージが、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって指定される時間サブレイヤの最大数に関連付けられたパラメータを含む、項目１に記載の方法。
［項目３］
上記ＢＰ ＳＥＩメッセージ中の上記パラメータが、初期コード化ピクチャバッファ（ＣＰＢ）除去遅延と初期ＣＰＢ除去オフセットとを含む、項目１または２に記載の方法。
［項目４］
上記ＶＰＳ中で示されるサブレイヤの上記最大数が、ＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）に含まれる、項目１～３のいずれか一項に記載の方法。
［項目５］
上記ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、上記ＶＰＳに含まれる、項目１～４のいずれか一項に記載の方法。
［項目６］
上記ＢＰ ＳＥＩメッセージが、復号順序において、関連するアクセスユニット（ＡＵ）の位置における仮想リファレンスデコーダ（ＨＲＤ）の初期化のためのものである、項目１～５のいずれか一項に記載の方法。
［項目７］
上記ビットストリームが、時間スケーラブルビットストリームであり、上記１または複数のサブレイヤが、上記ビットストリームの時間スケーラブルレイヤであり、各サブレイヤが、ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットと、テンポラル識別子（ＴｅｍｐｏｒａｌＩｄ）変数の値が同じである関連する非ＶＣＬ ＮＡＬユニットとを含む、項目１～６のいずれか一項に記載の方法。
［項目８］
エンコーダによって実装される方法であって、上記方法が、
上記エンコーダのプロセッサによって、ビデオパラメータセット（ＶＰＳ）と１または複数のサブレイヤとを含むビットストリームを符号化する段階と、
上記プロセッサによって、０から上記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）を含むＢＰ補助強化情報（ＳＥＩ）メッセージを上記ビットストリームに符号化する段階と、
上記プロセッサによって、上記ＢＰ ＳＥＩメッセージに基づいて仮想リファレンスデコーダ（ＨＲＤ）を初期化する段階と、
上記プロセッサによって、上記ＨＲＤを用いて、上記サブレイヤに対してビットストリーム適合性試験のセットを実行する段階と、
を備える、方法。
［項目９］
上記ＢＰ ＳＥＩメッセージが、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって指定される時間サブレイヤの最大数に関連付けられたパラメータを含む、項目８に記載の方法。
［項目１０］
上記ＢＰ ＳＥＩメッセージ中の上記パラメータが、初期コード化ピクチャバッファ（ＣＰＢ）除去遅延と初期ＣＰＢ除去オフセットとを含む、項目８または９に記載の方法。
［項目１１］
上記ＶＰＳ中で示されるサブレイヤの上記最大数が、ＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）に含まれる、項目８～１０のいずれか一項に記載の方法。
［項目１２］
上記ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、上記ＶＰＳに含まれる、項目８～１１のいずれか一項に記載の方法。
［項目１３］
上記ＨＲＤが、上記ＢＰ ＳＥＩメッセージに基づいて、復号順序において、関連するアクセスユニット（ＡＵ）の位置において初期化される、項目８～１２のいずれか一項に記載の方法。
［項目１４］
上記ビットストリームが、時間スケーラブルビットストリームであり、上記１または複数のサブレイヤが、上記ビットストリームの時間スケーラブルレイヤであり、各サブレイヤが、ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットと、テンポラル識別子（ＴｅｍｐｏｒａｌＩｄ）変数の値が同じである関連する非ＶＣＬ ＮＡＬユニットとを含む、項目８～１３のいずれか一項に記載の方法。
［項目１５］
プロセッサと、上記プロセッサに結合された受信機と、上記プロセッサに結合されたメモリと、上記プロセッサに結合された送信機と、を備え、上記プロセッサ、受信機、メモリ、および送信機が、項目１～１４のいずれか一項に記載の方法を実行するように構成されている、
ビデオコーディングデバイス。
［項目１６］
ビデオコーディングデバイスによる使用のためのコンピュータプログラム製品を備える非一時的コンピュータ可読媒体であって、上記コンピュータプログラム製品が、プロセッサによって実行されたときに上記ビデオコーディングデバイスに項目１～１４のいずれか一項に記載の方法を実行させるように、上記非一時的コンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を有する、非一時的コンピュータ可読媒体。
［項目１７］
デコーダであって、
ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から上記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含むビットストリームを受信するための受信手段と、
上記１または複数のサブレイヤからピクチャを復号するための復号手段と、
復号済みビデオシーケンスの一部として表示するために上記ピクチャを転送するための転送手段と、
を備える、デコーダ。
［項目１８］
上記デコーダが、項目１～７のいずれか一項に記載の方法を実行するようにさらに構成されている、項目１７に記載のデコーダ。
［項目１９］
エンコーダであって、
符号化手段であって、
ビデオパラメータセット（ＶＰＳ）と１または複数のサブレイヤとを含むビットストリームを符号化することと、
０から上記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）を含むＢＰ補助強化情報（ＳＥＩ）メッセージを上記ビットストリームに符号化することと、
を行うための符号化手段と、
上記ＢＰ ＳＥＩメッセージに基づいて仮想リファレンスデコーダ（ＨＲＤ）を初期化するための初期化手段と、
上記サブレイヤに対してビットストリーム適合性試験のセットを実行するためのＨＲＤ手段と、
デコーダへの通信のために上記ビットストリームを記憶するための記憶手段と、
を備える、エンコーダ。
［項目２０］
上記エンコーダが、項目８～１４のいずれか一項に記載の方法を実行するようにさらに構成されている、項目１９に記載のエンコーダ。
［他の考えられる項目］
［項目１］
デコーダによって実装される方法であって、上記方法が、
上記デコーダの受信機によって、ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から上記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含むビットストリームを受信する段階と、
上記デコーダのプロセッサによって、上記１または複数のサブレイヤからピクチャを復号する段階と、
を備える、方法。
［項目２］
上記ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、バッファリング期間補助強化情報（ＳＥＩ）メッセージに含まれ、上記ＢＰ ＳＥＩメッセージが、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって指定される時間サブレイヤの最大数に関連付けられたパラメータを含む、項目１に記載の方法。
［項目３］
上記ＢＰ ＳＥＩメッセージ中の上記パラメータが、初期コード化ピクチャバッファ（ＣＰＢ）除去遅延と初期ＣＰＢ除去オフセットとを含む、項目１または２に記載の方法。
［項目４］
上記ＶＰＳ中で示されるサブレイヤの上記最大数が、ＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）に含まれる、項目１～３のいずれか一項に記載の方法。
［項目５］
上記ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、上記ＶＰＳに含まれる、項目１～４のいずれか一項に記載の方法。
［項目６］
上記ＢＰ ＳＥＩメッセージが、復号順序において、関連するアクセスユニット（ＡＵ）の位置における仮想リファレンスデコーダ（ＨＲＤ）の初期化のためのものである、項目１～５のいずれか一項に記載の方法。
［項目７］
上記ビットストリームが、時間スケーラブルビットストリームであり、上記１または複数のサブレイヤが、上記ビットストリームの時間スケーラブルレイヤであり、各サブレイヤが、ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットと、テンポラル識別子（ＴｅｍｐｏｒａｌＩｄ）変数の値が同じである関連する非ＶＣＬ ＮＡＬユニットとを含む、項目１～６のいずれか一項に記載の方法。
［項目８］
エンコーダによって実装される方法であって、上記方法が、
上記エンコーダのプロセッサによって、ビデオパラメータセット（ＶＰＳ）と１または複数のサブレイヤとを含むビットストリームを符号化する段階と、
上記プロセッサによって、０から上記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）を含むＢＰ補助強化情報（ＳＥＩ）メッセージを上記ビットストリームに符号化する段階と、
上記プロセッサによって、上記ＢＰ ＳＥＩメッセージに基づいて仮想リファレンスデコーダ（ＨＲＤ）を初期化する段階と、
上記プロセッサによって、上記ＨＲＤを用いて、上記サブレイヤに対してビットストリーム適合性試験のセットを実行する段階と、
を備える、方法。
［項目９］
上記ＢＰ ＳＥＩメッセージが、ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１によって指定される時間サブレイヤの最大数に関連付けられたパラメータを含む、項目８に記載の方法。
［項目１０］
上記ＢＰ ＳＥＩメッセージ中の上記パラメータが、初期コード化ピクチャバッファ（ＣＰＢ）除去遅延と初期ＣＰＢ除去オフセットとを含む、項目８または９に記載の方法。
［項目１１］
上記ＶＰＳ中で示されるサブレイヤの上記最大数が、ＶＰＳ最大サブレイヤマイナスワン（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）に含まれる、項目８～１０のいずれか一項に記載の方法。
［項目１２］
上記ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が、上記ＶＰＳに含まれる、項目８～１１のいずれか一項に記載の方法。
［項目１３］
上記ＨＲＤが、上記ＢＰ ＳＥＩメッセージに基づいて、復号順序において、関連するアクセスユニット（ＡＵ）の位置において初期化される、項目８～１２のいずれか一項に記載の方法。
［項目１４］
上記ビットストリームが、時間スケーラブルビットストリームであり、上記１または複数のサブレイヤが、上記ビットストリームの時間スケーラブルレイヤであり、各サブレイヤが、ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットと、テンポラル識別子（ＴｅｍｐｏｒａｌＩｄ）変数の値が同じである関連する非ＶＣＬ ＮＡＬユニットとを含む、項目８～１３のいずれか一項に記載の方法。
［項目１５］
プロセッサと、上記プロセッサに結合された受信機と、上記プロセッサに結合されたメモリと、上記プロセッサに結合された送信機と、を備え、上記プロセッサ、受信機、メモリ、および送信機が、項目１～１４のいずれか一項に記載の方法を実行するように構成されている、
ビデオコーディングデバイス。
［項目１６］
ビデオコーディングデバイスによる使用のためのコンピュータプログラム製品を備える非一時的コンピュータ可読媒体であって、上記コンピュータプログラム製品が、プロセッサによって実行されたときに上記ビデオコーディングデバイスに項目１～１４のいずれか一項に記載の方法を実行させるように、上記非一時的コンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を有する、非一時的コンピュータ可読媒体。
［項目１７］
デコーダであって、
ビデオパラメータセット（ＶＰＳ）と、１または複数のサブレイヤと、０から上記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）とを含むビットストリームを受信するための受信手段と、
上記１または複数のサブレイヤからピクチャを復号するための復号手段と、
復号済みビデオシーケンスの一部として表示するために上記ピクチャを転送するための転送手段と、
を備える、デコーダ。
［項目１８］
上記デコーダが、項目１～７のいずれか一項に記載の方法を実行するようにさらに構成されている、項目１７に記載のデコーダ。
［項目１９］
エンコーダであって、
符号化手段であって、
ビデオパラメータセット（ＶＰＳ）と１または複数のサブレイヤとを含むビットストリームを符号化することと、
０から上記ＶＰＳ中で示されるサブレイヤの最大数までの範囲内の値に設定されたバッファリング期間（ＢＰ）最大サブレイヤマイナスワン（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）を含むＢＰ補助強化情報（ＳＥＩ）メッセージを上記ビットストリームに符号化することと、
を行うための符号化手段と、
上記ＢＰ ＳＥＩメッセージに基づいて仮想リファレンスデコーダ（ＨＲＤ）を初期化するための初期化手段と、
上記サブレイヤに対してビットストリーム適合性試験のセットを実行するためのＨＲＤ手段と、
デコーダへの通信のために上記ビットストリームを記憶するための記憶手段と、
を備える、エンコーダ。
［項目２０］
上記エンコーダが、項目８～１４のいずれか一項に記載の方法を実行するようにさらに構成されている、項目１９に記載のエンコーダ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【外国語明細書】