知財求人 - 知財ポータルサイト「IP Force」
▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025013832
(43)【公開日】2025-01-28
(54)【発明の名称】シーケンスレベルＨＲＤパラメータ
(51)【国際特許分類】
H04N 19/30 20140101AFI20250121BHJP
H04N 19/70 20140101ALI20250121BHJP
【ＦＩ】
H04N19/30
H04N19/70
【審査請求】有
【請求項の数】24
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024176886
(22)【出願日】2024-10-09
(62)【分割の表示】P 2022518750の分割
【原出願日】2020-09-08
(31)【優先権主張番号】62/905,244
(32)【優先日】2019-09-24
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】ワン、イエ－クイ
(57)【要約】 （修正有）
【課題】ビデオコーディングメカニズムを提供する。
【解決手段】本メカニズムは、１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリーム８００をエンコードすることを含む。ＯＬＳを指定するビデオパラメータセット（ＶＰＳ）もビットストリームにエンコードされる。ＶＰＳは、ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む。ビットストリーム適合性試験のセットがシーケンスレベルＨＲＤパラメータに基づいて実行される。ビットストリームは、デコーダに向けて通信するために記憶される。
【選択図】図８
【解決手段】本メカニズムは、１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリーム８００をエンコードすることを含む。ＯＬＳを指定するビデオパラメータセット（ＶＰＳ）もビットストリームにエンコードされる。ＶＰＳは、ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む。ビットストリーム適合性試験のセットがシーケンスレベルＨＲＤパラメータに基づいて実行される。ビットストリームは、デコーダに向けて通信するために記憶される。
【選択図】図８
【特許請求の範囲】
【請求項1】
デコーダによって実装される方法であって、
１つまたは複数の出力レイヤセット（ＯＬＳ）とビデオパラメータセット（ＶＰＳ）とを含むビットストリームを受信する段階であって、前記ＶＰＳが、前記１つまたは複数のＯＬＳを指定し、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含み、前記ＶＰＳは、サブレイヤコーディング画像バッファ（ＣＰＢ）パラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）およびＯＬＳモード指示フラグを含み、前記ＯＬＳモード指示フラグは、０に等しく設定されて、前記ＶＰＳによって指定されるＯＬＳの総数が、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定し、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳにおける最上位レイヤのみが出力され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓは、レイヤの数を指定する、受信する段階と、
前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいとき、最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ）よりも小さい時間識別子（ＴｅｍｐｏｒａｌＩｄ）を有するすべてのサブレイヤ表現のためのＨＲＤパラメータが、前記ｈｒｄ＿ｍａｘ＿ｔｉｄに等しいＴｅｍｐｏｒａｌＩｄを有する前記サブレイヤ表現のためのＨＲＤパラメータと同じであると推測する段階と、
前記ビットストリームを解析して、前記１つまたは複数のＯＬＳおよび前記ＶＰＳを取得し、前記ＶＰＳに基づいて前記１つまたは複数のＯＬＳからの画像をデコードする段階と、
を備える、方法。
１つまたは複数の出力レイヤセット（ＯＬＳ）とビデオパラメータセット（ＶＰＳ）とを含むビットストリームを受信する段階であって、前記ＶＰＳが、前記１つまたは複数のＯＬＳを指定し、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含み、前記ＶＰＳは、サブレイヤコーディング画像バッファ（ＣＰＢ）パラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）およびＯＬＳモード指示フラグを含み、前記ＯＬＳモード指示フラグは、０に等しく設定されて、前記ＶＰＳによって指定されるＯＬＳの総数が、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定し、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳにおける最上位レイヤのみが出力され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓは、レイヤの数を指定する、受信する段階と、
前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいとき、最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ）よりも小さい時間識別子（ＴｅｍｐｏｒａｌＩｄ）を有するすべてのサブレイヤ表現のためのＨＲＤパラメータが、前記ｈｒｄ＿ｍａｘ＿ｔｉｄに等しいＴｅｍｐｏｒａｌＩｄを有する前記サブレイヤ表現のためのＨＲＤパラメータと同じであると推測する段階と、
前記ビットストリームを解析して、前記１つまたは複数のＯＬＳおよび前記ＶＰＳを取得し、前記ＶＰＳに基づいて前記１つまたは複数のＯＬＳからの画像をデコードする段階と、
を備える、方法。
【請求項2】
前記シーケンスレベルＨＲＤパラメータが、一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造に含まれ、前記ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造が、ＨＲＤ動作において使用されるパラメータを提供する、請求項１に記載の方法。
【請求項3】
前記シーケンスレベルＨＲＤパラメータが、デコードユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含み、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ＨＲＤがアクセスユニット（ＡＵ）レベルまたはデコードユニット（ＤＵ）レベルで動作するようにスケジュールされるときに、１に設定され、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤが前記ＡＵレベルで動作するようにスケジュールされるときに、０に設定される、請求項１または２に記載の方法。
【請求項4】
前記シーケンスレベルＨＲＤパラメータが、デコードユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含み、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤがアクセスユニット（ＡＵ）レベルまたはデコードユニット（ＤＵ）レベルで動作するようにスケジュールされるときに、１に設定され、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤが前記ＡＵレベルで動作するようにスケジュールされるときに、０に設定される、請求項２に記載の方法。
【請求項5】
前記シーケンスレベルＨＲＤパラメータが、ＨＲＤコーディング画像バッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）を含み、前記ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１が、代替のコーディング画像バッファ（ＣＰＢ）配信スケジュールの数を指定し、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値が、両端値を含めて、０～３１までの範囲に制約される、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、両端値を含めて、０から最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）までの範囲の時間識別子（ＩＤ）を有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、１に設定され、前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］のみに等しい時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、０に設定される、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記シーケンスレベルＨＲＤパラメータは、前記サブレイヤコーディング画像バッファ（ＣＰＢ）パラメータ存在フラグ、デコードユニットＨＲＤパラメータ存在フラグ及びＨＲＤコーディング画像バッファカウントを含み、前記サブレイヤコーディング画像バッファ（ＣＰＢ）パラメータ存在フラグ、前記デコードユニットＨＲＤパラメータ存在フラグ及び前記ＨＲＤコーディング画像バッファカウントは、シーケンスの各サブレイヤについて同じ値を含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記ＯＬＳモード指示フラグは、１に等しく設定されて、前記ＶＰＳによって指定されるＯＬＳの前記総数が、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定し、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有する前記レイヤを含み、各ＯＬＳについて、前記ＯＬＳにおけるすべてのレイヤが出力される、請求項１から７のいずれか一項に記載の方法。
【請求項9】
前記ＯＬＳモード指示フラグは、２に等しく設定されて、前記ＶＰＳによって指定されるＯＬＳの前記総数が明示的にシグナリングされることを指定し、各ＯＬＳについて、前記ＯＬＳにおける最上位レイヤおよび明示的にシグナリングされる下位レイヤのセットが出力される、請求項１から７のいずれか一項に記載の方法。
【請求項10】
ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、前記ＯＬＳモード指示フラグの値は、２に等しいと推測される、請求項１から９のいずれか一項に記載の方法。
【請求項11】
エンコーダによって実装される方法であって、
１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームをエンコードする段階と、
前記１つまたは複数のＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームにエンコードする段階であって、前記ＶＰＳが、前記ＶＰＳによって指定されるすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含み、前記ＶＰＳは、サブレイヤコーディング画像バッファ（ＣＰＢ）パラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）およびＯＬＳモード指示フラグを含み、前記ＯＬＳモード指示フラグは、０に等しく設定されて、前記ＶＰＳによって指定されるＯＬＳの総数が、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定し、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳにおける最上位レイヤのみが出力され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓは、レイヤの数を指定する、エンコードする段階と、
前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいとき、最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ）よりも小さい時間識別子（ＴｅｍｐｏｒａｌＩｄ）を有するすべてのサブレイヤ表現のためのＨＲＤパラメータが、前記ｈｒｄ＿ｍａｘ＿ｔｉｄに等しいＴｅｍｐｏｒａｌＩｄを有する前記サブレイヤ表現のためのＨＲＤパラメータと同じであると推測する段階と
を備える、方法。
１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームをエンコードする段階と、
前記１つまたは複数のＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームにエンコードする段階であって、前記ＶＰＳが、前記ＶＰＳによって指定されるすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含み、前記ＶＰＳは、サブレイヤコーディング画像バッファ（ＣＰＢ）パラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）およびＯＬＳモード指示フラグを含み、前記ＯＬＳモード指示フラグは、０に等しく設定されて、前記ＶＰＳによって指定されるＯＬＳの総数が、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定し、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳにおける最上位レイヤのみが出力され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓは、レイヤの数を指定する、エンコードする段階と、
前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいとき、最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ）よりも小さい時間識別子（ＴｅｍｐｏｒａｌＩｄ）を有するすべてのサブレイヤ表現のためのＨＲＤパラメータが、前記ｈｒｄ＿ｍａｘ＿ｔｉｄに等しいＴｅｍｐｏｒａｌＩｄを有する前記サブレイヤ表現のためのＨＲＤパラメータと同じであると推測する段階と
を備える、方法。
【請求項12】
前記シーケンスレベルＨＲＤパラメータが、一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造に含まれ、前記ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造が、ＨＲＤ動作において使用されるパラメータを提供する、請求項１１に記載の方法。
【請求項13】
前記シーケンスレベルＨＲＤパラメータが、デコードユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含み、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ＨＲＤがアクセスユニット（ＡＵ）レベルまたはデコードユニット（ＤＵ）レベルで動作するようにスケジュールされるときに、１に設定され、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤが前記ＡＵレベルで動作するようにスケジュールされるときに、０に設定される、請求項１１または１２に記載の方法。
【請求項14】
前記シーケンスレベルＨＲＤパラメータが、デコードユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含み、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤがアクセスユニット（ＡＵ）レベルまたはデコードユニット（ＤＵ）レベルで動作するようにスケジュールされるときに、１に設定され、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤが前記ＡＵレベルで動作するようにスケジュールされるときに、０に設定される、請求項１１に記載の方法。
【請求項15】
前記シーケンスレベルＨＲＤパラメータが、ＨＲＤコーディング画像バッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）を含み、前記ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１が、代替のコーディング画像バッファ（ＣＰＢ）配信スケジュールの数を指定し、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値が、両端値を含めて、０～３１までの範囲に制約される、請求項１１から１４のいずれか一項に記載の方法。
【請求項16】
前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、両端値を含めて、０から最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）までの範囲の時間識別子（ＩＤ）を有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、１に設定され、前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］のみに等しい時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、０に設定される、請求項１１から１５のいずれか一項に記載の方法。
【請求項17】
前記シーケンスレベルＨＲＤパラメータは、前記サブレイヤコーディング画像バッファ（ＣＰＢ）パラメータ存在フラグ、デコードユニットＨＲＤパラメータ存在フラグ及びＨＲＤコーディング画像バッファカウントを含み、前記サブレイヤコーディング画像バッファ（ＣＰＢ）パラメータ存在フラグ、前記デコードユニットＨＲＤパラメータ存在フラグ及び前記ＨＲＤコーディング画像バッファカウントは、シーケンスの各サブレイヤについて同じ値を含む、請求項１１から１６のいずれか一項に記載の方法。
【請求項18】
前記ＯＬＳモード指示フラグは、１に等しく設定されて、前記ＶＰＳによって指定されるＯＬＳの総数が、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定し、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有する前記レイヤを含み、各ＯＬＳについて、前記ＯＬＳにおけるすべてのレイヤが出力される、請求項１１から１７のいずれか一項に記載の方法。
【請求項19】
前記ＯＬＳモード指示フラグは、２に等しく設定されて、前記ＶＰＳによって指定されるＯＬＳの総数が明示的にシグナリングされることを指定し、各ＯＬＳについて、前記ＯＬＳにおける最上位レイヤおよび明示的にシグナリングされる下位レイヤのセットが出力される、請求項１１から１８のいずれか一項に記載の方法。
【請求項20】
ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、前記ＯＬＳモード指示フラグの値は、２に等しいと推測される、請求項１１から１９のいずれか一項に記載の方法。
【請求項21】
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを備え、前記プロセッサ、受信機、メモリおよび送信機は、請求項１から１０のいずれか一項に記載の方法を実行するように構成されている、デコーダ。
【請求項22】
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを備え、前記プロセッサ、受信機、メモリおよび送信機は、請求項１１から２０のいずれか一項に記載の方法を実行するように構成されている、エンコーダ。
【請求項23】
ビデオコーディングデバイスが使用するためのコンピュータプログラムであって、前記コンピュータプログラムが、前記ビデオコーディングデバイスに請求項１から２０のいずれか一項に記載の方法を実行させるコンピュータ実行可能命令を備える、コンピュータプログラム。
【請求項24】
トランシーバユニットと、プロセッサと、メモリとを備え、前記トランシーバユニットは、ネットワークを介してビデオビットストリームを通信するように構成されており、前記メモリは、前記ビデオビットストリームを格納するように構成されており、
前記ビデオビットストリームは、１つまたは複数の出力レイヤセット（ＯＬＳ）とビデオパラメータセット（ＶＰＳ）とを含み、前記ＶＰＳが、前記１つまたは複数のＯＬＳを指定し、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含み、前記ＶＰＳは、サブレイヤコーディング画像バッファ（ＣＰＢ）パラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）およびＯＬＳモード指示フラグを含み、前記ＯＬＳモード指示フラグは、０に等しく設定されて、前記ＶＰＳによって指定されるＯＬＳの総数が、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定し、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳにおける最上位レイヤのみが出力され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓは、レイヤの数を指定し、
前記プロセッサは、前記ビデオビットストリームを解析して、
前記１つまたは複数のＯＬＳ及びＶＰＳを取得し、
前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいとき、最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ）よりも小さい時間識別子（ＴｅｍｐｏｒａｌＩｄ）を有するすべてのサブレイヤ表現のためのＨＲＤパラメータが、前記ｈｒｄ＿ｍａｘ＿ｔｉｄに等しいＴｅｍｐｏｒａｌＩｄを有する前記サブレイヤ表現のためのＨＲＤパラメータと同じであると推測し、
前記ＶＰＳに基づいて前記１つまたは複数のＯＬＳからの画像をデコードする、デバイス。
前記ビデオビットストリームは、１つまたは複数の出力レイヤセット（ＯＬＳ）とビデオパラメータセット（ＶＰＳ）とを含み、前記ＶＰＳが、前記１つまたは複数のＯＬＳを指定し、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含み、前記ＶＰＳは、サブレイヤコーディング画像バッファ（ＣＰＢ）パラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）およびＯＬＳモード指示フラグを含み、前記ＯＬＳモード指示フラグは、０に等しく設定されて、前記ＶＰＳによって指定されるＯＬＳの総数が、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを指定し、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、前記ＯＬＳにおける最上位レイヤのみが出力され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓは、レイヤの数を指定し、
前記プロセッサは、前記ビデオビットストリームを解析して、
前記１つまたは複数のＯＬＳ及びＶＰＳを取得し、
前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいとき、最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ）よりも小さい時間識別子（ＴｅｍｐｏｒａｌＩｄ）を有するすべてのサブレイヤ表現のためのＨＲＤパラメータが、前記ｈｒｄ＿ｍａｘ＿ｔｉｄに等しいＴｅｍｐｏｒａｌＩｄを有する前記サブレイヤ表現のためのＨＲＤパラメータと同じであると推測し、
前記ＶＰＳに基づいて前記１つまたは複数のＯＬＳからの画像をデコードする、デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本特許出願は、Ｙｅ－Ｋｕｉ Ｗａｎｇによって２０１９年９月２４日に出願された「Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（ＨＲＤ）ｆｏｒ Ｍｕｌｔｉ－Ｌａｙｅｒ Ｖｉｄｅｏ Ｂｉｔｓｔｒｅａｍｓ」と題する米国仮特許出願第６２／９０５，２４４号の利益を主張するものであり、参照により本明細書に組み込まれる。
本特許出願は、Ｙｅ－Ｋｕｉ Ｗａｎｇによって２０１９年９月２４日に出願された「Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（ＨＲＤ）ｆｏｒ Ｍｕｌｔｉ－Ｌａｙｅｒ Ｖｉｄｅｏ Ｂｉｔｓｔｒｅａｍｓ」と題する米国仮特許出願第６２／９０５，２４４号の利益を主張するものであり、参照により本明細書に組み込まれる。
【0002】
本開示は、一般にビデオコーディングに関し、具体的には、マルチレイヤビットストリームの効率的なエンコードおよび／または適合性試験をサポートするための仮想参照デコーダ（ＨＲＤ）パラメータ変更に関する。
【背景技術】
【0003】
比較的短いビデオであってもその描写に必要なビデオデータの量は膨大なものとなる可能性があり、このため、帯域幅容量が限られた通信ネットワークを介してデータをストリーミングまたはその他の方法で通信する場合に困難が伴う場合がある。したがって、ビデオデータは、現代の電気通信ネットワークを介して通信される前に圧縮されるのが一般的である。また、ビデオをストレージデバイスに記憶する場合、メモリのリソースが限られていることがあるため、ビデオのサイズが問題となることもある。ビデオ圧縮デバイスは、しばしば、送信または保存の前にソースにおいてソフトウェアおよび／またはハードウェアを使用して、ビデオデータをコーディングし、それによって、デジタルビデオ画像を表すために必要なデータの量を減少させる。その後、圧縮されたデータは、配信先において、ビデオデータをデコードするビデオ伸張デバイスによって受信される。ネットワークリソースが限られ、ビデオの高品質化が増々求められている中で、画質をほとんどまたは全く犠牲にすることなく圧縮率を向上させる、改善された圧縮および伸長技術が望まれている。
【発明の概要】
【0004】
一実施形態では、本開示は、デコーダによって実装される方法を含み、本方法は、デコーダの受信機によって、１つまたは複数の出力レイヤセット（ＯＬＳ）とビデオパラメータセット（ＶＰＳ）とを含むビットストリームを受信する段階であって、ＶＰＳが、ＯＬＳを指定し、ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む、段階と、デコーダのプロセッサによって、ＯＬＳから画像をデコードする段階と、を含む。
【0005】
ビデオコーディングシステムは、ビットストリームがデコーダによってデコード可能であることを保証するために様々な適合性試験を利用する。例えば、適合性チェックは、適合性についてビットストリーム全体をテストすることと、次いで適合性についてビットストリームの各レイヤをテストすることと、最後に適合性について潜在的なデコード可能出力をチェックすることと、を含み得る。適合性チェックを実装するために、対応するパラメータがビットストリームに含まれている。仮想参照デコーダ（ＨＲＤ）は、パラメータを読み取り、テストを実行することができる。ビデオは、多くのレイヤおよび多くの異なるＯＬＳを含み得る。要求に応じて、エンコーダは、選択されたＯＬＳの１つまたは複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポート可能なＯＬＳから最良のレイヤを送信することができる。このメカニズムに関する問題は、いくつかのビデオコーディングシステムにおいてＨＲＤ適合性試験に使用されるＨＲＤパラメータシグナリング処理が、マルチレイヤコンテキストにおいて複雑になる可能性があることである。例えば、ＨＲＤパラメータのセットは、各ＯＬＳのレイヤごとにシグナリングされ得る。このようなＨＲＤパラメータは、パラメータの意図された範囲に応じて、ビットストリーム内の異なるロケーションにおいてシグナリングされ得る。その結果、より多くのレイヤおよび／またはＯＬＳが追加されるにつれてスキームがより複雑になる。さらに、異なるレイヤおよび／またはＯＬＳのＨＲＤパラメータは、冗長な情報を含んでいる場合がある。ＯＬＳおよび対応するレイヤのためのシーケンスレベルＨＲＤパラメータのグローバルなセットをシグナリングするための例示的なメカニズムが開示される。例えば、すべてのＯＬＳ、およびＯＬＳに含まれるすべてのレイヤに適用されるすべてのシーケンスレベルＨＲＤパラメータが、ＶＰＳにおいてシグナリングされる。ＶＰＳはビットストリームで１回シグナリングされ、したがって、シーケンスレベルＨＲＤパラメータは１回シグナリングされる。さらに、シーケンスレベルＨＲＤパラメータは、すべてのＯＬＳで同じであるように制約されてもよい。このようにして、冗長なシグナリングが低減され、コーディング効率が向上する。また、この手法により、ＨＲＤ処理が簡略化される。その結果、プロセッサ、メモリ、および／またはネットワークのシグナリングリソースの使用量がエンコーダおよびデコーダの両方において削減される。
【0006】
任意選択で、前述の態様のいずれかにおいて、シーケンスレベルＨＲＤパラメータが、一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造に含まれ、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造が、ＨＲＤ動作において使用されるパラメータを提供する、態様の別の実装が提供される。
【0007】
任意選択で、前述の態様のいずれかにおいて、ＨＲＤ動作が、エンコーダ上で動作するＨＲＤによって実行されるビットストリーム適合性試験のセットを含む、態様の別の実装が提供される。
【0008】
任意選択で、前述の態様のいずれかにおいて、シーケンスレベルＨＲＤパラメータがデコードユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含み、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ＨＲＤがアクセスユニット（ＡＵ）レベルまたはデコードユニット（ＤＵ）レベルで動作するようにスケジュールされるときに、１に設定され、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ＨＲＤがＡＵレベルで動作するようにスケジュールされるときに、０に設定される、態様の別の実装が提供される。
【0009】
任意選択で、前述の態様のいずれかにおいて、シーケンスレベルＨＲＤパラメータがＨＲＤコーディング画像バッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）を含み、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１が代替のコーディング画像バッファ（ＣＰＢ）配信スケジュールの数を指定し、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値が、両端値を含めて、０～３１の範囲に制約される、態様の別の実装が提供される。
【0010】
任意選択で、前述の態様のいずれかにおいて、ＶＰＳがサブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をさらに含み、ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、両端値を含めて、０から最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）までの範囲の時間識別子（ＩＤ）を有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、１に設定され、ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造がｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］のみに等しい時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、０に設定される、態様の別の実装が提供される。
【0011】
任意選択で、前述の態様のいずれかにおいて、ビットストリーム中のシーケンスレベルＨＲＤパラメータの存在が、デコーダが配信スケジュールに従ってビットストリームをデコードすることが可能であることを示す、態様の別の実装が提供される。
【0012】
一実施形態では、本開示は、エンコーダによって実装される方法を含み、本方法は、エンコーダのプロセッサによって、１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームをエンコードする段階と、プロセッサによって、ＯＬＳを指定するビデオパラメータセット（ＶＰＳ）をビットストリームにエンコードする段階であって、ＶＰＳが、ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む、段階と、プロセッサによって、シーケンスレベルＨＲＤパラメータに基づいてビットストリーム適合性試験のセットを実行する段階と、を含む。
【0013】
ビデオコーディングシステムは、ビットストリームがデコーダによってデコード可能であることを保証するために様々な適合性試験を利用する。例えば、適合性チェックは、適合性についてビットストリーム全体をテストすることと、次いで適合性についてビットストリームの各レイヤをテストすることと、最後に適合性について潜在的なデコード可能出力をチェックすることと、を含み得る。適合性チェックを実装するために、対応するパラメータがビットストリームに含まれている。ＨＲＤは、パラメータを読み取り、テストを実行することができる。ビデオは、多くのレイヤおよび多くの異なるＯＬＳを含み得る。要求に応じて、エンコーダは、選択されたＯＬＳの１つまたは複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポート可能なＯＬＳから最良のレイヤを送信することができる。このメカニズムに関する問題は、いくつかのビデオコーディングシステムにおいてＨＲＤ適合性試験に使用されるＨＲＤパラメータシグナリング処理が、マルチレイヤコンテキストにおいて複雑になる可能性があることである。例えば、ＨＲＤパラメータのセットは、各ＯＬＳのレイヤごとにシグナリングされ得る。このようなＨＲＤパラメータは、パラメータの意図された範囲に応じて、ビットストリーム内の異なるロケーションにおいてシグナリングされ得る。その結果、より多くのレイヤおよび／またはＯＬＳが追加されるにつれてスキームがより複雑になる。さらに、異なるレイヤおよび／またはＯＬＳのＨＲＤパラメータは、冗長な情報を含んでいる場合がある。ＯＬＳおよび対応するレイヤのためのシーケンスレベルＨＲＤパラメータのグローバルなセットをシグナリングするための例示的なメカニズムが開示される。例えば、すべてのＯＬＳ、およびＯＬＳに含まれるすべてのレイヤに適用されるすべてのシーケンスレベルＨＲＤパラメータが、ＶＰＳにおいてシグナリングされる。ＶＰＳはビットストリームで１回シグナリングされ、したがって、シーケンスレベルＨＲＤパラメータは１回シグナリングされる。さらに、シーケンスレベルＨＲＤパラメータは、すべてのＯＬＳで同じであるように制約されてもよい。このようにして、冗長なシグナリングが低減され、コーディング効率が向上する。また、この手法により、ＨＲＤ処理が簡略化される。その結果、プロセッサ、メモリ、および／またはネットワークのシグナリングリソースの使用量がエンコーダおよびデコーダの両方において削減される。
【0014】
任意選択で、前述の態様のいずれかにおいて、シーケンスレベルＨＲＤパラメータがｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造に含まれ、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造がＨＲＤ動作において使用されるパラメータを提供する、態様の別の実装が提供される。
【0015】
任意選択で、前述の態様のいずれかにおいて、ＨＲＤ動作がビットストリーム適合性試験のセットを含み、ビットストリーム適合性試験のセットがプロセッサ上で動作するＨＲＤによって実行される、態様の別の実装が提供される。
【0016】
任意選択で、前述の態様のいずれかにおいて、シーケンスレベルＨＲＤパラメータがｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含み、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ＨＲＤがＡＵレベルまたはＤＵレベルで動作するようにスケジュールされるときに、１に設定され、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ＨＲＤがＡＵレベルで動作するようにスケジュールされるときに、０に設定される、態様の別の実装が提供される。
【0017】
任意選択で、前述の態様のいずれかにおいて、シーケンスレベルＨＲＤパラメータがｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１を含み、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１が代替のＣＰＢ配信スケジュールの数を指定し、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値が、両端値を含めて、０～３１の範囲に制約される、態様の別の実装が提供される。
【0018】
任意選択で、前述の態様のいずれかにおいて、ＶＰＳがｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをさらに含み、ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、両端値を含めて、０からｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］までの範囲の時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、１に設定され、ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造がｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］のみに等しい時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、０に設定される、態様の別の実装が提供される。
【0019】
任意選択で、前述の態様のいずれかにおいて、ビットストリーム中のシーケンスレベルＨＲＤパラメータの存在が、デコーダが配信スケジュールに従ってビットストリームをデコードすることが可能であることを示す、態様の別の実装が提供される。
【0020】
一実施形態において、本開示は、プロセッサと、プロセッサに結合された受信機と、プロセッサに結合されたメモリと、プロセッサに結合された送信機と、を備えるビデオコーディングデバイスであって、プロセッサ、受信機、メモリ、および送信機が前述の態様のいずれかの方法を実行するように構成されている、ビデオコーディングデバイスを含む。
【0021】
一実施形態では、本開示は、ビデオコーディングデバイスが使用するためのコンピュータプログラム製品を備える非一時的コンピュータ可読媒体を含み、コンピュータプログラム製品は、プロセッサによって実行された場合、ビデオコーディングデバイスに前述の態様のいずれかの方法を実行させるように、非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を備える。
【0022】
一実施形態では、本開示は、１つまたは複数のＯＬＳとＶＰＳとを含むビットストリームを受信するための受信手段であって、ＶＰＳが、ＯＬＳを指定し、ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含む、受信手段と、ＯＬＳから画像をデコードするためのデコード手段と、デコードされたビデオシーケンスの一部として表示するために画像を転送するための転送手段と、を備えるデコーダを含む。
【0023】
任意選択で、前述の態様のいずれかにおいて、デコーダが前述の態様のいずれかの方法を実行するようにさらに構成されている、態様の別の実装が提供される。
【0024】
一実施形態では、本開示は、１つまたは複数のＯＬＳを含むビットストリームをエンコードし、ＯＬＳを指定するＶＰＳをビットストリームにエンコードするためのエンコード手段であって、ＶＰＳが、ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含む、エンコード手段と、シーケンスレベルＨＲＤパラメータに基づいてビットストリーム適合性試験のセットを実行するためのＨＲＤ手段と、デコーダに向けて通信するためのビットストリームを記憶するための記憶手段と、を備えるエンコーダを含む。
【0025】
任意選択で、前述の態様のいずれかにおいて、エンコーダが前述の態様のいずれかの方法を実行するようにさらに構成されている、態様の別の実装が提供される。
【0026】
明確にするために、前述の実施形態のうちのいずれか１つは、本開示の範囲内の新しい実施形態を作成するために、他の前述の実施形態のうちのいずれか１つまたは複数と組み合わせられてもよい。
【0027】
これらおよび他の特徴は、添付の図面および特許請求の範囲と併せて以下の詳細な説明からより明確に理解されるであろう。
【図面の簡単な説明】
【0028】
本開示をより完全に理解するために、ここで、同様の参照番号が同様の部分を表す添付の図面および詳細な説明に関連して得られる以下の簡単な説明を参照されたい。
【0029】
【図1】ビデオ信号をコーディングする例示的な方法のフローチャートである。
【0030】
【図2】ビデオコーディングのための例示的なコーディングおよびデコード（コーデック）システムの概略図である。
【0031】
【図3】例示的なビデオエンコーダを示す概略図である。
【0032】
【図4】例示的なビデオデコーダを示す概略図である。
【0033】
【図5】例示的な仮想参照デコーダ（ＨＲＤ）を示す概略図である。
【0034】
【図6】インターレイヤ予測のために構成された例示的なマルチレイヤビデオシーケンスを示す概略図である。
【0035】
【図7】時間スケーラビリティのために構成された例示的なマルチレイヤビデオシーケンスを示す概略図である。
【0036】
【図8】例示的なビットストリームを示す概略図である。
【0037】
【図9】例示的なビデオコーディングデバイスの概略図である。
【0038】
【図10】すべての出力レイヤセット（ＯＬＳ）に適用されるシーケンスレベルＨＲＤパラメータを含むビットストリームにビデオシーケンスをエンコードする例示的な方法のフローチャートである。
【0039】
【図11】すべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含むビットストリームからビデオシーケンスをデコードする例示的な方法のフローチャートである。
【0040】
【図12】すべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含むビットストリームを使用してビデオシーケンスをコーディングするための例示的なシステムの概略図である。
【発明を実施するための形態】
【0041】
１つまたは複数の実施形態の例示的な実装が以下に提供されるが、開示されるシステムおよび／または方法は、現在知られているかまたは存在しているかにかかわらず、任意の数の技術を使用して実装され得ることを最初に理解されたい。本開示は、本明細書で図示および説明される例示的な設計および実装を含む、以下に示される例示的な実装、図面、および技術に決して限定されるべきではなく、添付の特許請求の範囲内で、それらの均等物の全範囲とともに修正され得る。
【0042】
以下の用語は、本明細書において反対の文脈で使用されない限り、以下のように定義される。具体的には、以下の定義は、本開示にさらなる明確性を提供することが意図されている。しかしながら、用語は、異なる文脈において異なるように説明されることがある。したがって、以下の定義は、補足として考えられるべきであり、本明細書においてこのような用語について提供される説明の任意の他の定義を限定すると考えられるべきではない。
【0043】
ビットストリームは、エンコーダとデコーダとの間で伝送するために圧縮されたビデオデータを含む一連のビットである。エンコーダは、ビデオデータをビットストリームに圧縮するためにエンコード処理を利用するように構成されたデバイスである。デコーダは、表示のためにビットストリームからビデオデータを再構成するためにデコード処理を利用するように構成されたデバイスである。画像は、フレームまたはそのフィールドを構築するルマサンプルのアレイおよび／またはクロマサンプルのアレイである。エンコードまたはデコードされている画像は、説明を明確にするために現在の画像（ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ）と呼ばれることがある。ネットワーク抽象化レイヤ（ＮＡＬ）ユニットは、未加工バイトシーケンスペイロード（ＲＢＳＰ）、データのタイプの表示、必要に応じて差し挟まれる（ｉｎｔｅｒｓｐｅｒｓｅｄ）エミュレーション防止バイトの形式のデータを含むシンタックス構造である。ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットは、画像のコーディングスライスなどの、ビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオデータのデコード、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。アクセスユニット（ＡＵ）は、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関係するＮＡＬユニットのセットである。デコードユニット（ＤＵ）は、ＡＵまたはＡＵのサブセットおよび関連付けられた非ＶＣＬ ＮＡＬユニットである。例えば、ＡＵは、ＶＣＬ ＮＡＬユニットと、ＡＵ内のＶＣＬ ＮＡＬユニットに関連付けられた任意の非ＶＣＬ ＮＡＬユニットとを含む。さらに、ＤＵは、ＡＵからのＶＣＬ ＮＡＬユニットのセットまたはそのサブセット、ならびにＤＵ内のＶＣＬ ＮＡＬユニットに関連付けられた任意の非ＶＣＬ ＮＡＬユニットを含む。レイヤは、指定された特性（例えば、共通の解像度、フレームレート、画像サイズなど）を共有するＶＣＬ ＮＡＬユニットと、関連付けられた非ＶＣＬ ＮＡＬユニットとのセットである。デコード順序は、シンタックス要素がデコード処理によって処理される順序である。ビデオパラメータセット（ＶＰＳ）は、ビデオ全体に関連するパラメータを含むデータユニットである。
【0044】
時間スケーラブルビットストリームは、様々な時間解像度／フレームレートを提供する複数のレイヤにおいてコーディングされたビットストリームである（例えば、各レイヤは、異なるフレームレートをサポートするようにコーディングされる）。サブレイヤは、特定の時間識別子値を有するＶＣＬ ＮＡＬユニットと、関連付けられた非ＶＣＬ ＮＡＬユニットとを含む時間的にスケーラブルなビットストリームの時間的にスケーラブルなレイヤである。例えば、時間サブレイヤは、指定されたフレームレートに関連付けられたビデオデータを含むレイヤである。サブレイヤ表現は、特定のサブレイヤおよび下位サブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。したがって、１つまたは複数の時間サブレイヤ組み合わせて、指定されたフレームレートを有するビデオシーケンスとなるようにデコードすることができるサブレイヤ表現を実現することができる。出力レイヤセット（ＯＬＳ）は、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、（例えば、ディスプレイに）出力するために指定されるレイヤである。ＯＬＳインデックスは、対応するＯＬＳを一意に識別するインデックスである。ゼロ番目（０番目）のＯＬＳは、最下位レイヤ（最下位レイヤ識別子を有するレイヤ）のみを含み、したがって出力レイヤのみを含むＯＬＳである。時間識別子（ＩＤ）は、データがビデオシーケンス内の時間位置に対応することを示すデータ要素である。サブビットストリーム抽出処理は、ターゲットＯＬＳインデックスおよびターゲット最高時間ＩＤによって決定されるターゲットセットに属さないＮＡＬユニットをビットストリームから除去する処理である。サブビットストリーム抽出処理により、ビットストリームからターゲットセットの一部であるＮＡＬユニットを含むサブビットストリームが出力される。
【0045】
ＨＲＤは、エンコーダ上で動作するデコーダモデルであり、エンコード処理によって生成されたビットストリームの変動性をチェックして、指定された制約との適合性を検証するものである。ビットストリーム適合性試験は、エンコードされたビットストリームがＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの規格に準拠しているかどうかを判定するためのテストである。ＨＲＤパラメータは、ＨＲＤの動作条件を初期化および／または定義するシンタックス要素である。ＨＲＤパラメータは、ＨＲＤパラメータのシンタックス構造に含めることができる。シンタックス構造は、複数の異なるパラメータを含むように構成されたデータ物体である。シンタックス要素は、同じタイプの１つまたは複数のパラメータを含むデータ物体である。したがって、シンタックス構造は、複数のシンタックス要素を含み得る。シーケンスレベルＨＲＤパラメータは、コーディングビデオシーケンス全体に適用されるＨＲＤパラメータである。最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）は、ＨＲＤパラメータがｉ番目のＯＬＳ ＨＲＤパラメータセットに含まれる最も高いサブレイヤ表現の時間ＩＤを指定する。一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造は、シーケンスレベルＨＲＤパラメータを含むシンタックス構造である。動作ポイント（ＯＰ）は、ＯＬＳの時間サブセットであり、ＯＬＳインデックスおよび最高時間ＩＤによって識別される。テスト対象ＯＰ（ｔａｒｇｅｔＯｐ）は、ＨＲＤにおいて適合性試験のために選択されるＯＰである。ターゲットＯＬＳは、ビットストリームから抽出するために選択されるＯＬＳである。デコードユニットＨＲＤパラメータ存在フラグｆｌａｇ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、対応するＨＲＤパラメータがＤＵレベルまたはＡＵレベルのどちらで動作するかを示すフラグである。コーディング画像バッファ（ＣＰＢ）は、ＨＲＤ内の先入れ先出しバッファであり、ビットストリーム適合性検証中に使用するためのコーディング画像をデコード順で含む。デコード画像バッファ（ＤＰＢ）は、参照、出力並べ替え、および／または出力遅延のためにデコード画像を保持するためのバッファである。
【0046】
補足拡張情報（ＳＥＩ）メッセージは、デコード画像のサンプルの値を決定するために、デコード処理によって必要とされない情報を伝達する、セマンティクスが指定されたシンタックス構造である。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳまたは１つもしくは複数のレイヤに対応する複数のＳＥＩメッセージを含むメッセージである。非スケーラブルネスト化ＳＥＩメッセージは、ネスティングされていないメッセージであり、したがって、単一のＳＥＩメッセージを含む。バッファリング期間（ＢＰ）ＳＥＩメッセージは、ＣＰＢを管理するためにＨＲＤを初期化するためのＨＲＤパラメータを含むＳＥＩメッセージである。画像タイミング（ＰＴ）ＳＥＩメッセージは、ＣＰＢおよび／またはＤＰＢにおけるＡＵの配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。デコードユニット情報（ＤＵＩ）ＳＥＩメッセージは、ＣＰＢおよび／またはＤＰＢにおけるＤＵのための配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。
【0047】
ＣＰＢ除去遅延は、対応する現在のＡＵが除去されてＤＰＢに出力される前にＣＰＢに留まることができる期間である。初期ＣＰＢ除去遅延は、ビットストリーム、ＯＬＳ、および／またはレイヤにおける各画像、ＡＵ、および／またはＤＵのデフォルトＣＰＢ除去遅延である。ＣＰＢ除去オフセットは、ＣＰＢにおける対応するＡＵの境界を決定するために使用されるＣＰＢ内のロケーションである。初期ＣＰＢ除去オフセットは、ビットストリーム、ＯＬＳ、および／またはレイヤにおける各画像、ＡＵ、および／またはＤＵに関連付けられたデフォルトのＣＰＢ除去オフセットである。デコード画像バッファ（ＤＰＢ）出力遅延情報は、対応するＡＵが出力前にＤＰＢに留まることができる期間である。ＣＰＢ除去遅延情報は、ＣＰＢからの対応するＤＵの除去に関連する情報である。配信スケジュールは、ＣＰＢおよび／またはＤＰＢなどのメモリロケーションへのおよび／またはメモリロケーションからのビデオデータの配信のためのタイミングを指定する。ＶＰＳレイヤＩＤ（ｖｐｓ＿ｌａｙｅｒ＿ｉｄ）は、ＶＰＳにおいて示されるｉ番目のレイヤのレイヤＩＤを示すシンタックス要素である。出力レイヤセットの数－１（ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１）は、ＶＰＳによって指定されるＯＬＳの総数を指定するシンタックス要素である。ＨＲＤコーディング画像バッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）は、代替のＣＰＢ配信スケジュールの数を指定するシンタックス要素である。サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、ＯＬＳ ＨＲＤパラメータのセットが、指定されたサブレイヤ表現のためのＨＲＤパラメータを含むかどうかを指定するシンタックス要素である。スケジュールインデックス（ＳｃＩｄｘ）は、配信スケジュールを識別するインデックスである。ＢＰ ＣＰＢ ｃｏｕｎｔ ｍｉｎｕｓ１（ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）は、初期ＣＰＢ除去遅延とオフセットのペアの数、したがって、時間サブレイヤに利用可能な配信スケジュールの数を指定するシンタックス要素である。ＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）は、ＮＡＬユニットを含むレイヤの識別子を指定するシンタックス要素である。固定画像レート一般フラグ（ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ）シンタックス要素は、出力順に連続する画像のＨＲＤ出力時間間の時間的距離を制約するかどうかを指定するシンタックス要素である。サブレイヤＨＲＤパラメータ（ｓｕｂｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造は、対応するサブレイヤのＨＲＤパラメータを含むシンタックス構造である。一般ＶＣＬ ＨＲＤパラメータ存在フラグ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、一般ＨＲＤパラメータのシンタックス構造中にＶＣＬ ＨＲＤパラメータが存在するかどうかを指定するフラグである。ＢＰ最大サブレイヤ－１（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素は、ＢＰ ＳＥＩメッセージにおいてＣＰＢ除去遅延およびＣＰＢ除去オフセットが示される時間サブレイヤの最大数を指定するシンタックス要素である。ＶＰＳ最大サブレイヤ－１（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素は、ＶＰＳによって指定されたレイヤに存在し得る時間サブレイヤの最大数を指定するシンタックス要素である。スケーラブルネスティングＯＬＳフラグは、スケーラブルネスト化ＳＥＩメッセージが特定のＯＬＳに適用されるのか、または特定のレイヤに適用されるのかを指定するフラグである。スケーラブルネスティングＯＬＳ数－１（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）は、スケーラブルネスト化ＳＥＩメッセージが適用されるＯＬＳの数を指定するシンタックス要素である。ネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ）は、スケーラブルネスト化ＳＥＩメッセージが適用されるＯＬＳのＯＬＳインデックスを指定するシンタックス要素である。ターゲットＯＬＳインデックス（ｔａｒｇｅｔＯｌｓＩｄｘ）は、デコード対象のＯＬＳのＯＬＳインデックスを識別する変数である。ＯＬＳの総数－１（ＴｏｔａｌＮｕｍＯｌｓｓ－１）は、ＶＰＳにおいて指定されるＯＬＳの総数を指定するシンタックス要素である。
【0048】
以下の頭字語、アクセスユニット（ＡＵ）、コーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、コーディングレイヤビデオシーケンス（ＣＬＶＳ）、コーディングレイヤビデオシーケンス開始（ＣＬＶＳＳ）、コーディングビデオシーケンス（ＣＶＳ）、コーディングビデオシーケンス開始（ＣＶＳＳ）、ジョイントビデオエキスパートチーム（ＪＶＥＴ）、仮想参照デコーダ（ＨＲＤ）、動き制約タイルセット（ＭＣＴＳ）、最大転送ユニット（ＭＴＵ）、ネットワーク抽象化レイヤ（ＮＡＬ）、出力レイヤセット（ＯＬＳ）、画像順序カウント（ＰＯＣ）、ランダムアクセスポイント（ＲＡＰ）、未加工バイトシーケンスペイロード（ＲＢＳＰ）、シーケンスパラメータセット（ＳＰＳ）、ビデオパラメータセット（ＶＰＳ）、汎用ビデオコーディング（ＶＶＣ）が本明細書で使用される。
【0049】
データの損失を最小限に抑えてビデオファイルのサイズを小さくするために、多くのビデオ圧縮技術を利用することができる。例えば、ビデオ圧縮技術は、ビデオシーケンス中のデータ冗長性を低減または除去するために空間的（例えば、画像内）予測および／または時間的（例えば、画像間）予測を実行することを含み得る。ブロックベースのビデオコーディングの場合、ビデオスライス（例えば、ビデオ画像またはビデオ画像の一部分）は、ツリーブロック、エコーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、および／またはコーディングノードと呼ばれることもあるビデオブロックに分割されることがある。画像のイントラコーディング（Ｉ）スライス内のビデオブロックは、同じ画像内の隣接ブロックの参照サンプルに対して空間的予測を使用してコーディングされる。画像のインターコーディング単方向予測（Ｐ）スライスまたは双方向予測（Ｂ）スライス内のビデオブロックは、同じ画像内の隣接ブロックの参照サンプルに対する空間的予測、または他の参照画像の参照サンプルに対する時間的予測を利用することによってコーディングされることがある。ピクチャは、フレームおよび／または画像と呼ばれることがあり、参照ピクチャは、参照フレームおよび／または参照画像と呼ばれることがある。空間予測または時間予測により、画像ブロックを表す予測ブロックが得られる。残差データは、元の画像ブロックと予測ブロックとの間の画素の差分を表す。したがって、インターコーディングブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトルと、コーディングブロックと予測ブロックとの間の差分を示す残差データとに従ってエンコードされる。イントラコーディングブロックは、イントラコーディングモードおよび残差データに従ってエンコードされる。さらなる圧縮のために、残差データは、画素領域から変換領域に変換されてもよい。その結果、量子化され得る残差変換係数が得られる。量子化された変換係数は、最初に２次元アレイに配列されてもよい。量子化された変換係数は、変換係数の１次元ベクトルを生成するために走査されてもよい。さらに多くの圧縮を実現するためにエントロピーコーディングが適用されてもよい。このようなビデオ圧縮技術については、以下でより詳細に説明する。
【0050】
エンコードされたビデオが正確にデコードされ得ることを保証するために、ビデオは、対応するビデオコーディング規格に従ってエンコードおよびデコードされる。ビデオコーディング規格は、国際電気通信連合（ＩＴＵ）標準化部門（ＩＴＵ－Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）－１ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６４またはＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ １０としても知られるＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、およびＩＴＵ－Ｔ Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られるＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）を含む。ＡＶＣは、Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＳＶＣ）、Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＭＶＣ）およびＭｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｐｌｕｓ Ｄｅｐｔｈ（ＭＶＣ＋Ｄ）、ならびに３次元（３Ｄ）ＡＶＣ（３Ｄ－ＡＶＣ）などの拡張を含む。ＨＥＶＣは、Ｓｃａｌａｂｌｅ ＨＥＶＣ（ＳＨＶＣ）、Ｍｕｌｔｉｖｉｅｗ ＨＥＶＣ（ＭＶ－ＨＥＶＣ）、および３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張を含む。ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣのｊｏｉｎｔ ｖｉｄｅｏ ｅｘｐｅｒｔｓ ｔｅａｍ（ＪＶＥＴ）は、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）と呼ばれるビデオコーディング規格の開発を開始した。ＶＶＣは、ＪＶＥＴ－Ｏ２００１－ｖ１４を含むＷｏｒｋｉｎｇ Ｄｒａｆｔ（ＷＤ）に含まれている。
【0051】
ビデオコーディングシステムは、ビットストリームがデコーダによってデコード可能であることを保証するために様々な適合性試験を利用する。例えば、適合性チェックは、適合性についてビットストリーム全体をテストすることと、次いで適合性についてビットストリームの各レイヤをテストすることと、最後に適合性について潜在的なデコード可能出力をチェックすることと、を含み得る。適合性チェックを実装するために、対応するパラメータがビットストリームに含まれている。仮想参照デコーダ（ＨＲＤ）は、パラメータを読み取り、テストを実行することができる。ビデオは、多くのレイヤおよび多くの異なる出力レイヤセット（ＯＬＳ）を含み得る。要求に応じて、エンコーダは、選択されたＯＬＳの１つまたは複数のレイヤを送信する。例えば、エンコーダは、現在のネットワーク帯域幅によってサポート可能なＯＬＳから最良のレイヤを送信することができる。この手法の第１の問題は、かなりの数のレイヤがテストされるが、実際にはデコーダに送信されないことである。しかしながら、このようなテストをサポートするためのパラメータは、ビットストリームに依然として含まれている場合があり、ビットストリームのサイズを不必要に増加させる。
【0052】
第１の実施例では、各ＯＬＳのみにビットストリーム適合性試験を適用するためのメカニズムが本明細書で開示される。このようにして、対応するＯＬＳをテストする場合に、ビットストリーム全体、各レイヤ、およびデコード可能な出力がまとめてテストされる。したがって、適合性試験の数が減り、それによってエンコーダでのプロセッサおよびメモリリソースの使用量が削減される。さらに、適合性試験の数を減らすことで、ビットストリームに含まれる関連付けられたパラメータの数を減らすことができる。これにより、ビットストリームサイズが小さくなり、したがって、エンコーダおよびデコーダの両方でプロセッサ、メモリ、および／またはネットワークリソースの利用率が削減される。
【0053】
第２の問題は、いくつかのビデオコーディングシステムにおいてＨＲＤ適合性試験に使用されるＨＲＤパラメータのシグナリング処理が、マルチレイヤのコンテキストにおいて複雑になる可能性があることである。例えば、ＨＲＤパラメータのセットは、各ＯＬＳのレイヤごとにシグナリングされ得る。このようなＨＲＤパラメータは、パラメータの意図された範囲に応じて、ビットストリーム内の異なるロケーションにおいてシグナリングされ得る。その結果、より多くのレイヤおよび／またはＯＬＳが追加されるにつれてスキームがより複雑になる。さらに、異なるレイヤおよび／またはＯＬＳのＨＲＤパラメータは、冗長な情報を含んでいる場合がある。
【0054】
第２の実施例では、ＯＬＳおよび対応するレイヤについてのシーケンスレベルＨＲＤパラメータのグローバルなセットをシグナリングするためのメカニズムが本明細書で開示される。例えば、すべてのＯＬＳおよびＯＬＳに含まれるすべてのレイヤに適用されるすべてのシーケンスレベルＨＲＤパラメータは、ビデオパラメータセット（ＶＰＳ）でシグナリングされる。ＶＰＳはビットストリームで１回シグナリングされ、したがって、シーケンスレベルＨＲＤパラメータは１回シグナリングされる。さらに、シーケンスレベルＨＲＤパラメータは、すべてのＯＬＳで同じであるように制約されてもよい。このようにして、冗長なシグナリングが低減され、コーディング効率が向上する。また、この手法により、ＨＲＤ処理が簡略化される。その結果、プロセッサ、メモリ、および／またはネットワークのシグナリングリソースの使用量がエンコーダおよびデコーダの両方において削減される。
【0055】
第３の問題は、ビデオコーディングシステムがビットストリームの適合性チェックを実行する場合に発生することがある。ビデオは、複数のレイヤおよび／またはサブレイヤにコーディングされてもよく、次いでそれらをＯＬＳに編成することができる。各ＯＬＳの各レイヤおよび／またはサブレイヤは、配信スケジュールに従って適合性についてチェックされる。各配信スケジュールは、異なる送信帯域幅およびシステム能力を考慮するために、異なるコーディング画像バッファ（ＣＰＢ）サイズおよびＣＰＢ遅延に関連付けられる。一部のビデオコーディングシステムは、各サブレイヤが任意の数の配信スケジュールを定義することを可能にする。これにより、適合性チェックをサポートするための大量のシグナリングが生じる可能性があり、その結果、ビットストリームのコーディング効率が低下することになる。
【0056】
第３の実施例では、複数のレイヤを含むビデオのコーディング効率を高めるためのメカニズムが本明細書で開示される。具体的には、すべてのレイヤおよび／またはサブレイヤは、同じ数のＣＰＢ配信スケジュールを含むように制約される。例えば、エンコーダは、任意の１つのレイヤにも使用されるＣＰＢ配信スケジュールの最大数を決定し、すべてのレイヤに対するＣＰＢ配信スケジュールの数をこの最大数に設定することができる。次いで、配信スケジュールの数は、例えば、ＶＰＳにおけるＨＲＤパラメータの一部として、１回シグナリングされてもよい。これにより、レイヤ／サブレイヤごとにいくつかのスケジュールをシグナリングする必要がなくなる。いくつかの例では、ＯＬＳのすべてのレイヤ／サブレイヤは、同じ配信スケジュールインデックスを共有することもできる。これらの変更により、適合性チェックに関連するデータをシグナリングするために使用されるデータの量が削減される。これにより、ビットストリームサイズが小さくなり、したがって、エンコーダおよびデコーダの両方でプロセッサ、メモリ、および／またはネットワークリソースの利用率が削減される。
【0057】
第４の問題は、ビデオが複数のレイヤおよび／またはサブレイヤにコーディングされ、次いでそれらがＯＬＳに編成される場合発生することがある。ＯＬＳは、出力レイヤのみを含むゼロ番目（０番目）のＯＬＳを含んでもよい。規格への適合性についてビットストリームの複数のレイヤをテストするために使用されるレイヤ／ＯＬＳ固有のパラメータをＨＲＤに通知するために、補足拡張情報（ＳＥＩ）メッセージがビットストリームに含まれることがある。具体的には、ＯＬＳがビットストリームに含まれる場合、スケーラブルネスティングＳＥＩメッセージが利用される。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳおよび／またはＯＬＳの１つもしくは複数のレイヤに適用されるネスティングされたＳＥＩメッセージのグループを含む。ネスティングされたＳＥＩメッセージはそれぞれ、対応するＯＬＳおよび／またはレイヤとの関連付けを示すためのインジケータを含み得る。ネスティングされたＳＥＩメッセージは、複数のレイヤで使用するために構成されており、単一のレイヤを含む０番目のＯＬＳに適用される場合、無関係な情報が含まれることがある。
【0058】
第４の実施例では、０番目のＯＬＳを含むビデオのコーディング効率を高めるためのメカニズムが本明細書で開示される。非スケーラブルネスト化ＳＥＩメッセージは、０番目のＯＬＳに利用される。非スケーラブルネスト化ＳＥＩメッセージは、０番目のＯＬＳのみに、したがって０番目のＯＬＳに含まれる出力レイヤのみに適用されるように制約される。このようにして、ネスティング関係、レイヤ指示などの無関係な情報をＳＥＩメッセージから省くことができる。非スケーラブルネスト化ＳＥＩメッセージは、バッファリング期間（ＢＰ）ＳＥＩメッセージ、画像タイミング（ＰＴ）ＳＥＩメッセージ、デコードユニット（ＤＵ）ＳＥＩメッセージ、またはそれらの組合せとして使用されてもよい。これらの変更により、０番目のＯＬＳに適合性チェック関連情報をシグナリングするために使用されるデータの量が削減される。これにより、ビットストリームサイズが小さくなり、したがって、エンコーダおよびデコーダの両方でプロセッサ、メモリ、および／またはネットワークリソースの利用率が削減される。
【0059】
第５の問題は、ビデオが複数のレイヤおよび／またはサブレイヤに分離される場合に発生することもある。エンコーダは、これらのレイヤをビットストリームにエンコードすることができる。さらに、エンコーダは、規格との適合性についてビットストリームをチェックするために適合性試験を実行するＨＲＤを利用できる。エンコーダは、このような適合性試験をサポートするために、レイヤ固有のＨＲＤパラメータをビットストリームに含めるように構成されることがある。レイヤ固有のＨＲＤパラメータは、いくつかのビデオコーディングシステムではレイヤごとにエンコードされることがある。場合によっては、レイヤ固有ＨＲＤパラメータは、レイヤごとに同じであり、その結果、ビデオエンコードのサイズを不必要に増加させる冗長な情報が生じる。
【0060】
第５の実施例では、複数のレイヤを利用するビデオについて、ＨＲＤパラメータ冗長性を低減するためのメカニズムが本明細書で開示される。エンコーダは、最上位レイヤのＨＲＤパラメータをエンコードすることができる。エンコーダは、サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をエンコードすることもできる。ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを０に設定すると、すべての下位レイヤが最上位レイヤと同じＨＲＤパラメータを使用すべきであることを示すことができる。本文脈では、最上位レイヤは、最大のレイヤ識別子（ＩＤ）を有し、下位レイヤは、最上位レイヤのレイヤＩＤよりも小さいレイヤＩＤを有する任意のレイヤである。このようにして、下位レイヤのＨＲＤパラメータをビットストリームから省くことができる。これにより、ビットストリームサイズが小さくなり、したがって、エンコーダおよびデコーダの両方でプロセッサ、メモリ、および／またはネットワークリソースの利用率が削減される。
【0061】
第６の問題は、ビデオ中の各ビデオシーケンスに関連するシンタックス要素を含むシーケンスパラメータセット（ＳＰＳ）の使用量に関する。ビデオコーディングシステムは、レイヤおよび／またはサブレイヤでビデオをコーディングすることができる。ビデオシーケンスは、異なるレイヤおよび／またはサブレイヤにおいて動作が異なる場合がある。したがって、異なるレイヤは、異なるＳＰＳを参照することがある。ＢＰ ＳＥＩメッセージは、規格への適合性がチェックされるレイヤ／サブレイヤを示すことができる。ビデオコーディングシステムによっては、ＢＰ ＳＥＩメッセージがＳＰＳで示されたレイヤ／サブレイヤに適用されることを示すことがある。これは、異なるレイヤが異なるＳＰＳを参照した場合、このようなＳＰＳが矛盾する情報を含む可能性があるため、予期しないエラーが発生するという問題を引き起こすことがある。
【0062】
第６の実施例では、ビデオシーケンスに複数のレイヤを利用した場合の適合性チェックに関係するエラーに対処するためのメカニズムが本明細書で開示される。具体的には、ＢＰ ＳＥＩメッセージは、ＶＰＳに表現される任意の数のレイヤ／サブレイヤの適合性をチェックすることができることを示すように修正される。例えば、ＢＰ ＳＥＩメッセージは、ＢＰ ＳＥＩメッセージ内のデータに関連付けられたレイヤ／サブレイヤの数を示す、ＢＰ最大サブレイヤ－１（ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素を含み得る。一方、ＶＰＳにおけるＶＰＳ最大サブレイヤ－１（ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素は、ビデオ全体におけるサブレイヤの数を示す。ｂｐ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、０からｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素の値までの任意の値に設定することができる。このようにして、ＳＰＳの不整合に関連するレイヤベースのシーケンス問題を回避しながら、ビデオ内の任意の数のレイヤ／サブレイヤの適合性をチェックすることができる。したがって、本開示は、レイヤベースのコーディングを回避し、したがって、エンコーダおよび／またはデコーダの機能性を向上させる。さらに、本実施例は、コーディング効率を向上させることができるレイヤベースのコーディングをサポートする。したがって、本実施例は、エンコーダおよび／またはデコーダにおけるプロセッサ、メモリ、および／またはネットワークリソース使用量の削減をサポートする。
【0063】
第７の問題は、ＯＬＳに含まれるレイヤに関する。各ＯＬＳは、デコーダで表示されるように構成された少なくとも１つの出力レイヤを含む。エンコーダのＨＲＤは、規格との適合性について各ＯＬＳをチェックすることができる。適合するＯＬＳは、適合するデコーダで常にデコードし表示することができる。ＨＲＤ処理は、ＳＥＩメッセージによって部分的に管理されることがある。例えば、スケーラブルなネスティングＳＥＩメッセージは、スケーラブルなネスティングされたＳＥＩメッセージを含み得る。各スケーラブルなネスティングされたＳＥＩメッセージは、対応するレイヤに関連するデータを含み得る。適合性チェックを実行する場合、ＨＲＤは、ターゲットＯＬＳに対してビットストリーム抽出処理を実行できる。ＯＬＳ内のレイヤに関連しないデータは、一般に、各ＯＬＳを別々にチェックすることができるよう、適合性試験の前に（例えば、送信前に）除去される。ビデオコーディングシステムによっては、スケーラブルなネスティングＳＥＩメッセージが複数のレイヤに関係するため、サブビットストリーム抽出処理中にそのようなメッセージを除去しないものがある。このため、スケーラブルなネスティングＳＥＩメッセージがターゲットＯＬＳ（抽出されているＯＬＳ）のいずれのレイヤにも関連しない場合でさえ、スケーラブルネスティングＳＥＩメッセージがサブビットストリーム抽出後にビットストリームに残ってしまうことがある。これにより、追加の機能性をなんら提供することなく、最終ビットストリームのサイズが大きくなる可能性がある。
【0064】
第７の実施例では、マルチレイヤビットストリームのサイズを低減するためのメカニズムが本明細書で開示される。サブビットストリーム抽出中に、スケーラブルなネスティングＳＥＩメッセージは、ビットストリームから除去するために考慮され得る。スケーラブルネスティングＳＥＩメッセージが１つまたは複数のＯＬＳに関連する場合、スケーラブルネスティングＳＥＩメッセージ中のスケーラブルなネスティングされたＳＥＩメッセージがチェックされる。スケーラブルなネスティングされたＳＥＩメッセージがターゲットＯＬＳのいずれのレイヤにも関連しない場合、スケーラブルなネスティングＳＥＩメッセージ全体をビットストリームから除去することができる。この結果、デコーダに送信されるビットストリームのサイズが小さくなる。したがって、本実施例は、コーディング効率を高め、エンコーダおよびデコーダの両方におけるプロセッサ、メモリ、および／またはネットワークリソースの使用量を削減する。
【0065】
図１は、ビデオ信号をコーディングする例示的な動作方法１００のフローチャートである。具体的には、ビデオ信号は、エンコーダでエンコードされる。エンコード処理は、ビデオファイルサイズを小さくするために様々なメカニズムを利用することによってビデオ信号を圧縮する。ファイルサイズが小さくなると、関連付けられた帯域幅オーバーヘッドを削減しながら、圧縮されたビデオファイルをユーザに向けて送信することができる。次いで、デコーダは、圧縮されたビデオファイルをデコードして、エンドユーザに表示するための元のビデオ信号を再構成する。デコード処理は一般に、デコーダがビデオ信号を整合性をもって再構成することができるようにエンコード処理をミラーリングする。
【0066】
段階１０１において、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号は、メモリに記憶された非圧縮のビデオファイルであってもよい。別の例として、ビデオファイルは、ビデオカメラなどのビデオキャプチャデバイスによってキャプチャされ、ビデオのライブストリーミングをサポートするためにエンコードされることがある。ビデオファイルは、オーディオ成分とビデオ成分の両方を含み得る。ビデオ成分は、一連の画像フレームを含み、これは、連続して見られた場合、視覚的に動きのある印象を与える。フレームは、本明細書ではルマ成分（またはルマサンプル）と呼ばれる光、およびクロマ成分（または色サンプル）と呼ばれる色に関して表される画素を含む。いくつかの例では、フレームは、３次元ビューをサポートするための深度値を含むこともできる。
【0067】
段階１０３において、ビデオはブロックに分割される。分割は、各フレーム内の画素を圧縮のために正方形および／または矩形のブロックに細分割することを含む。例えば、高効率ビデオコーディング（ＨＥＶＣ）（Ｈ．２６５およびＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られている）では、フレームは最初に、あらかじめ定義されたサイズ（例えば、６４画素×６４画素）のブロックであるコーディングツリーユニット（ＣＴＵ）に分割することが可能である。ＣＴＵは、ルマサンプルとクロマサンプルの両方を含む。コーディングツリーを利用して、ＣＴＵをブロックに分割し、次いで、さらなるエンコードをサポートする構成が実現されるまで、ブロックを再帰的に細分割することができる。例えば、フレームのルマ成分は、個々のブロックが比較的均質な照明値を含むまで細分割されてもよい。さらに、フレームのクロマ成分は、個々のブロックが比較的均一な色値を含むまで細分割されてもよい。したがって、分割メカニズムは、ビデオフレームのコンテンツに応じて変化する。
【0068】
段階１０５では、段階１０３で分割された画像ブロックを圧縮するために様々な圧縮メカニズムが利用される。例えば、インター予測および／またはイントラ予測を利用することができる。インター予測は、共通シーン内の物体が連続したフレーム中に現れる傾向があるという事実を利用するように設計されている。したがって、参照フレーム内の物体を示すブロックを隣接フレームに繰り返し表現する必要がない。具体的には、テーブルなどの物体は、複数のフレームにわたって一定の位置に留まる可能性がある。したがって、テーブルが一度表現されると、隣接するフレームは参照フレームに戻って参照することができる。パターンマッチングメカニズムを利用して、複数のフレームにわたって物体をマッチングすることができる。さらに、移動している物体は、例えば物体の移動またはカメラの移動に起因して、複数のフレームにわたって表現されることがある。特定の例として、ビデオは、複数のフレームにわたってスクリーンを横切って移動する自動車を示すことがある。動きベクトルを利用して、このような動きを表現することができる。動きベクトルは、フレーム内の物体の座標から、参照フレーム内の物体の座標へのオフセットを提供する２次元ベクトルである。したがって、インター予測は、現在のフレーム内の画像ブロックを、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルのセットとしてエンコードすることができる。
【0069】
イントラ予測は、ブロックを共通フレーム内でエンコードする。イントラ予測は、ルマ成分およびクロマ成分がフレーム内でクラスタ化する傾向があるという事実を利用する。例えば、木の一部の緑のパッチは、同様の緑のパッチに隣接して配置される傾向がある。イントラ予測は、複数の方向予測モード（例えば、ＨＥＶＣでは３３）と、平面モードと、直流（ＤＣ）モードとを利用する。方向性モードは、現在のブロックが、対応する方向の隣接ブロックのサンプルと同様／同じであることを示す。平面モードは、行／列（例えば、平面）に沿った一連のブロックが、行の端部にある隣接ブロックに基づいて補間され得ることを示す。平面モードは、値を変化させる際に比較的一定の傾きを利用することによって、行／列にわたって光／色の滑らかな遷移を事実上示す。ＤＣモードは、境界平滑化のために利用され、方向予測モードの角度方向に関連付けられたすべての隣接ブロックのサンプルに関連付けられた平均値とブロックが同様／同じであることを示す。したがって、イントラ予測ブロックは、実際の値ではなく、様々な関係予測モード値として画像ブロックを表現することができる。さらに、インター予測ブロックは、実際の値ではなく、動きベクトル値として画像ブロックを表現することができる。いずれの場合も、予測ブロックは、場合によっては、画像ブロックを正確に表さないことがある。いかなる差分も、残差ブロックに記憶される。残差ブロックに変換を適用して、ファイルをさらに圧縮することができる。
【0070】
段階１０７において、様々なフィルタリング技術を適用することができる。ＨＥＶＣでは、ループ内フィルタリングスキームに従ってフィルタが適用される。上記で説明したブロックベースの予測では、デコーダにおいてブロック状の画像が生成されることがある。さらに、ブロックベースの予測スキームは、ブロックをエンコードした後、エンコードされたブロックを、参照ブロックとして後で使用するために再構成し得る。ループ内フィルタリングスキームは、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、およびサンプル適応オフセット（ＳＡＯ）フィルタをブロック／フレームに繰り返し適用する。これらのフィルタにより、このようなブロッキングアーチファクトが軽減され、その結果、エンコードされたファイルを正確に再構成することができるようになる。さらに、これらのフィルタにより、再構成された参照ブロックのアーチファクトが軽減され、その結果、アーチファクトが、再構成された参照ブロックに基づいてエンコードされる後続のブロックに追加のアーチファクトを生成する可能性が低くなる。
【0071】
ビデオ信号が分割され、圧縮され、フィルタリングされると、段階１０９において、得られたデータがビットストリームにおいてエンコードされる。ビットストリームには、上述したデータ、および、デコーダにおける適切なビデオ信号再構成をサポートするために所望される任意のシグナリングデータが含まれる。例えば、このようなデータには、分割データ、予測データ、残差ブロック、およびデコーダにコーディング命令を提供する様々なフラグが含まれてもよい。ビットストリームは、要求に応じてデコーダに向けて送信するためにメモリに記憶されてもよい。また、ビットストリームは、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストされてもよい。ビットストリームの生成は、反復処理である。したがって、段階１０１、１０３、１０５、１０７、および１０９は、多くのフレームおよびブロックにわたって連続的におよび／または同時に行われることがある。図１に示す順序は、議論を明確にし、容易にするために提示されており、ビデオコーディング処理を特定の順序に限定することは意図されていない。
【0072】
デコーダは、ビットストリームを受信し、段階１１１においてデコード処理を開始する。具体的には、デコーダは、エントロピーデコードスキームを利用して、ビットストリームを対応するシンタックスおよびビデオデータに変換する。デコーダは、段階１１１において、ビットストリームからのシンタックスデータを利用して、フレームの分割を決定する。この分割は、段階１０３におけるブロック分割の結果と一致すべきである。次に、段階１１１で利用されるエントロピーエンコード／デコードについて説明する。エンコーダは、入力画像における値の空間的配置に基づいて、いくつかの可能な選択肢からブロック分割スキームを選択するなど、圧縮処理中に多くの選択を行う。正確な選択をシグナリングすることは、多数のビンを利用し得る。本明細書で使用される場合、ビンは、変数（例えば、文脈に応じて変化する可能性があるビット値）として扱われるバイナリ値である。エントロピーコーディングにより、エンコーダは、特定の場合について実行可能でないことが明らかであるいかなるオプションも破棄し、許容されるオプションのセットを残すことが可能になる。次いで、許容される各オプションには、コードワードが割り当てられる。コードワードの長さは、許容されるオプションの数に基づく（例えば、２つのオプションに対して１つのビン、３～４つのオプションに対して２つのビンなど）。次いで、エンコーダは、選択されたオプションのコードワードをエンコードする。このスキームは、可能なすべてのオプションの潜在的に大きなセットからの選択を一意に示すのではなく、許容されるオプションの小さなサブセットからの選択を一意に示すためにコードワードが所望されるくらいの大きさなので、コードワードのサイズを低減する。次いで、デコーダは、エンコーダと同様の方式で許容されるオプションのセットを決定することによってこの選択をデコードする。デコーダは、許容されるオプションのセットを決定することによって、コードワードを読み取り、エンコーダによって行われた選択を決定することができる。
【0073】
段階１１３において、デコーダは、ブロックのデコードを実行する。具体的には、デコーダは、逆変換を利用して、残差ブロックを生成する。次いで、デコーダは、残差ブロックおよび対応する予測ブロックを利用して、分割に従って画像ブロックを再構成する。予測ブロックは、段階１０５においてエンコーダで生成されたようなイントラ予測ブロックおよびインター予測ブロックの両方を含み得る。次いで、段階１１１で決定された分割データに従って、再構成された画像ブロックを再構成されたビデオ信号のフレームに配置する。段階１１３のシンタックスはまた、上記で説明したように、エントロピーコーディングを介してビットストリームでシグナリングされてもよい。
【0074】
段階１１５において、エンコーダにおける段階１０７と同様の方式で、再構成されたビデオ信号のフレームに対してフィルタリングが実行される。例えば、ノイズ抑制フィルタ、デブロッキングフィルタ、適応ループフィルタ、およびＳＡＯフィルタをフレームに適用して、ブロッキングアーチファクトを除去することができる。フレームがフィルタリングされると、ビデオ信号は、エンドユーザが視聴するために、段階１１７においてディスプレイに出力され得る。
【0075】
図２は、ビデオコーディングのための例示的なコーディングおよびデコード（コーデック）システム２００の概略図である。具体的には、コーデックシステム２００は、動作方法１００の実装をサポートする機能を提供する。コーデックシステム２００は、エンコーダおよびデコーダの両方で利用されるコンポーネントを示すように一般化されている。コーデックシステム２００は、動作方法１００の段階１０１および１０３に関して説明したように、ビデオ信号を受信して分割し、その結果、分割されたビデオ信号２０１が得られる。次いで、コーデックシステム２００は、方法１００の段階１０５、１０７、および１０９に関して説明したように、エンコーダとして動作する場合、分割されたビデオ信号２０１をコーディングされたビットストリームに圧縮する。デコーダとして動作する場合、コーデックシステム２００は、動作方法１００の段階１１１、１１３、１１５、および１１７に関して説明したように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム２００は、汎用コーダ制御コンポーネント２１１と、変換スケーリングおよび量子化コンポーネント２１３と、イントラ画像推定コンポーネント２１５と、イントラ画像予測コンポーネント２１７と、動き補償コンポーネント２１９と、動き推定コンポーネント２２１と、スケーリングおよび逆変換コンポーネント２２９と、フィルタ制御分析コンポーネント２２７と、ループ内フィルタコンポーネント２２５と、デコード画像バッファコンポーネント２２３と、ヘッダフォーマッティングおよびコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）コンポーネント２３１と、を含む。このようなコンポーネントは、図示するように結合されている。図２において、黒線はエンコード／デコードされるデータの移動を示し、破線は他のコンポーネントの動作を制御する制御データの移動を示す。コーデックシステム２００のコンポーネントはすべて、エンコーダ内に存在してもよい。デコーダは、コーデックシステム２００のコンポーネントのサブセットを含み得る。例えば、デコーダは、イントラ画像予測コンポーネント２１７と、動き補償コンポーネント２１９と、スケーリングおよび逆変換コンポーネント２２９と、ループ内フィルタコンポーネント２２５と、デコード画像バッファコンポーネント２２３と、を含み得る。ここで、これらのコンポーネントについて説明する。
【0076】
分割されたビデオ信号２０１は、コーディングツリーによって画素のブロックに分割されたキャプチャされたビデオシーケンスである。コーディングツリーは、様々な分割モードを利用して、画素のブロックをより小さい画素のブロックに細分割する。次いで、これらのブロックをより小さなブロックにさらに細分割することができる。ブロックは、コーディングツリー上のノードと呼ばれことがある。より大きな親ノードは、より小さな子ノードに分割される。ノードが細分割される回数は、ノード／コーディングツリーの深度と呼ばれる。分割されたブロックは、場合によってはコーディングユニット（ＣＵ）に含まれることがある。例えば、ＣＵは、ＣＵのための対応するシンタックス命令とともに、ルマブロック、赤色差クロマ（Ｃｒ）ブロック、および青色差クロマ（Ｃｂ）ブロックを含むＣＴＵの下位部分とすることができる。分割モードは、ノードを、利用される分割モードに応じて様々な形状の２つ、３つ、または４つの子ノードにそれぞれ分割するために利用される二分木（ＢＴ）、三分木（ＴＴ）、および四分木（ＱＴ）を含み得る。分割されたビデオ信号２０１は、圧縮のために、汎用コーダ制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラ画像推定コンポーネント２１５、フィルタ制御分析コンポーネント２２７、および動き推定コンポーネント２２１に転送される。
【0077】
汎用コーダ制御コンポーネント２１１は、アプリケーション制約に従ってビデオシーケンスの画像をビットストリームにコーディングすることに関連する決定を行うように構成される。例えば、汎用コーダ制御コンポーネント２１１は、再構成品質に対するビットレート／ビットストリームサイズの最適化を管理する。このような決定は、記憶空間／帯域幅利用可能性および画像解像度要求に基づいて行うことができる。汎用コーダ制御コンポーネント２１１はまた、伝送速度を考慮してバッファ利用率を管理し、バッファのアンダーランおよびオーバーランの問題を軽減する。これらの問題を管理するために、汎用コーダ制御コンポーネント２１１は、他のコンポーネントによる分割、予測、およびフィルタリングを管理する。例えば、汎用コーダ制御コンポーネント２１１は、解像度を向上させ、帯域幅使用量を増加させるために圧縮の複雑さを動的に増加させるか、または解像度および帯域幅使用量を減らすために圧縮の複雑さを減少させることができる。したがって、汎用コーダ制御コンポーネント２１１は、コーデックシステム２００の他のコンポーネントを制御して、ビデオ信号再構成品質とビットレートの関係とのバランスをとる。汎用コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを作成する。制御データはまた、デコーダでデコードするためのパラメータをシグナリングするように、ビットストリームにエンコードされるヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１へ転送される。
【0078】
分割されたビデオ信号２０１はまた、インター予測のために動き推定コンポーネント２２１および動き補償コンポーネント２１９に送信される。分割されたビデオ信号２０１のフレームまたはスライスは、複数のビデオブロックに分割されてもよい。動き推定コンポーネント２２１および動き補償コンポーネント２１９は、１つまたは複数の参照フレーム内の１つまたは複数のブロックに対して受信ビデオブロックの相対的なインター予測コーディングを実行して、時間予測を提供する。コーデックシステム２００は、例えば、ビデオデータの各ブロックについて適切なコーディングモードを選択するために、複数のコーディングパスを実行することができる。
【0079】
動き推定コンポーネント２２１および動き補償コンポーネント２１９は、高度に統合されてもよいが、概念的な目的のために別々に示されている。動き推定コンポーネント２２１によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、予測ブロックに対するコーディングされたオブジェクトの相対的な変位を示すことができる。予測ブロックは、画素差の観点から、コーディングされるブロックと密接に一致することが見出されるブロックである。予測ブロックは、参照ブロックと呼ばれることもある。このような画素差分は、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、または他の差分メトリックによって決定されてもよい。ＨＥＶＣは、ＣＴＵと、コーディングツリーブロック（ＣＴＢ）と、ＣＵとを含むいくつかのコーディングされたオブジェクトを利用する。例えば、ＣＴＵをＣＴＢに分割でき、次いで、ＣＴＢを、ＣＵに含めるためにＣＢに分割することができる。ＣＵは、予測データを含む予測ユニット（ＰＵ）および／またはＣＵに対して変換された残差データを含む変換ユニット（ＴＵ）としてエンコードされ得る。動き推定コンポーネント２２１は、レートひずみ最適化処理の一部としてレートひずみ分析を使用することによって、動きベクトル、ＰＵ、およびＴＵを生成する。例えば、動き推定コンポーネント２２１は、現在のブロック／フレームに対して複数の参照ブロック、複数の動きベクトルなどを決定することができ、最良のレートひずみ特性を有する参照ブロック、動きベクトルなどを選択することができる。最良のレートひずみ特性は、ビデオ再構成の品質（例えば、圧縮によるデータ損失の量）とコーディング効率（例えば、最終的なエンコードのサイズ）との両方のバランスをとる。
【0080】
いくつかの例では、コーデックシステム２００は、デコード画像バッファコンポーネント２２３に記憶された参照画像のサブ整数画素位置の値を計算することができる。例えば、ビデオコーデックシステム２００は、参照画像の１／４画素位置、１／８画素位置、または他の端数画素位置の値を補間することができる。したがって、動き推定コンポーネント２２１は、フル画素位置と端数画素位置に対して動き探索を実行し、端数画素精度を有する動きベクトルを出力することができる。動き推定コンポーネント２２１は、ＰＵの位置を参照画像の予測ブロックの位置と比較することによって、インターコーディングスライス中のビデオブロックのＰＵの動きベクトルを計算する。動き推定コンポーネント２２１は、計算された動きベクトルを動きデータとして、エンコードのためにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に出力し、動きを動き補償コンポーネント２１９に出力する。
【0081】
動き補償コンポーネント２１９によって実行される動き補償は、動き推定コンポーネント２２１によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴い得る。ここでも、動き推定コンポーネント２２１および動き補償コンポーネント２１９は、いくつかの例では機能的に統合されてもよい。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償コンポーネント２１９は、動きベクトルが指し示す予測ブロックの位置を特定し得る。次いで、コーディングされている現在のビデオブロックの画素値から予測ブロックの画素値を減算することによって残差ビデオブロックが形成され、画素差分値が形成される。一般に、動き推定コンポーネント２２１は、ルマ成分に対する動き推定を実行し、動き補償コンポーネント２１９は、クロマ成分とルマ成分の両方に対して、ルマ成分に基づいて計算された動きベクトルを使用する。予測ブロックおよび残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。
【0082】
分割されたビデオ信号２０１は、イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７にも送信される。動き推定コンポーネント２２１および動き補償コンポーネント２１９と同様に、イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７は、高度に統合されてもよいが、概念的な目的のために別々に示されている。イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７は、上記で説明したように、フレーム間で動き推定コンポーネント２２１および動き補償コンポーネント２１９によって実行されるインター予測の代替として、現在のフレーム内のブロックに対して現在のブロックをイントラ予測する。特に、イントラ画像推定コンポーネント２１５は、現在のブロックをエンコードするために使用するイントラ予測モードを決定する。いくつかの例では、イントラ画像推定コンポーネント２１５は、複数のテストされたイントラ予測モードから現在のブロックをエンコードするために適切なイントラ予測モードを選択する。次いで、選択されたイントラ予測モードは、エンコードのためにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。
【0083】
例えば、イントラ画像推定コンポーネント２１５は、様々なテストされたイントラ予測モードについてレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択する。レートひずみ分析は、一般に、エンコードされたブロックと、エンコードされたブロックを生成するためにエンコードされた元のエンコードされていないブロックとの間のひずみ（またはエラー）の量、ならびにエンコードされたブロックを生成するために使用されるビットレート（例えば、ビット数）を決定する。イントラ画像推定コンポーネント２１５は、様々なエンコードブロックのひずみおよびレートから比を計算し、どのイントラ予測モードがブロックに対して最良のレートひずみ値を示すかを決定する。加えて、イントラ画像推定コンポーネント２１５は、レートひずみ最適化（ＲＤＯ）に基づく深度モデリングモード（ＤＭＭ）を使用して深度マップの深度ブロックをコーディングするように構成されてもよい。
【0084】
イントラ画像予測コンポーネント２１７は、エンコーダ上で実装される場合、イントラ画像推定コンポーネント２１５によって決定された選択されたイントラ予測モードに基づいて予測ブロックから残差ブロックを生成することができ、またはデコーダ上で実装される場合、ビットストリームから残差ブロックを読み取ることができる。残差ブロックは、予測ブロックと元のブロックとの間の値の差を含み、行列として表される。次いで、残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７は、ルマ成分とクロマ成分の両方に対して動作することができる。
【0085】
変換スケーリングおよび量子化コンポーネント２１３は、残差ブロックをさらに圧縮するように構成される。変換スケーリングおよび量子化コンポーネント２１３は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換を使用することもできる。変換は、残差情報を画素値領域から周波数領域などの変換領域に変換することができる。変換スケーリングおよび量子化コンポーネント２１３はまた、例えば周波数に基づいて、変換された残差情報をスケーリングするように構成される。このようなスケーリングは、異なる周波数情報が異なる粒度で量子化されるように残差情報にスケールファクタを適用することを伴い、これにより、再構成されたビデオの最終的な視覚品質が影響を受ける可能性がある。変換スケーリングおよび量子化コンポーネント２１３はまた、ビットレートをさらに低減するために変換係数を量子化するように構成される。量子化処理は、係数の一部または全部に関連付けられたビット深度を減少させることができる。量子化の程度は、量子化パラメータを調整することによって修正することができる。いくつかの例では、変換スケーリングおよび量子化コンポーネント２１３は、次いで、量子化された変換係数を含む行列の走査を実行することができる。量子化された変換係数は、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送されて、ビットストリームにエンコードされる。
【0086】
スケーリングおよび逆変換コンポーネント２２９は、変換スケーリングおよび量子化コンポーネント２１３の逆動作を適用して、動き推定をサポートする。スケーリングおよび逆変換コンポーネント２２９は、例えば、別の現在のブロックのための予測ブロックになり得る参照ブロックとして後で使用するために、逆スケーリング、変換、および／または量子化を適用して、画素領域において残差ブロックを再構成する。動き推定コンポーネント２２１および／または動き補償コンポーネント２１９は、後のブロック／フレームの動き推定に使用するために、残差ブロックを対応する予測ブロックに追加することによって、参照ブロックを計算することができる。再構成された参照ブロックにフィルタを適用して、スケーリング、量子化、および変換中に生成されるアーチファクトを軽減する。このようなアーチファクトは、普通ならば、後続のブロックを予測する場合に不正確な予測を引き起こす（および追加のアーチファクトを生成する）ことがある。
【0087】
フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５は、残差ブロックおよび／または再構成された画像ブロックにフィルタを適用する。例えば、スケーリングおよび逆変換コンポーネント２２９からの変換された残差ブロックは、イントラ画像予測コンポーネント２１７および／または動き補償コンポーネント２１９からの対応する予測ブロックと組み合わされて、元の画像ブロックを再構成することができる。次いで、再構成された画像ブロックにフィルタを適用することができる。いくつかの例では、代わりに残差ブロックにフィルタを適用することができる。図２の他のコンポーネントと同様に、フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５は、高度に統合され、一緒に実装されてもよいが、概念的な目的のために別々に示されている。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、このようなフィルタがどのように適用されるかを調整するための複数のパラメータを含む。フィルタ制御分析コンポーネント２２７は、再構成された参照ブロックを分析して、このようなフィルタが適用される箇所を決定し、対応するパラメータを設定する。このようなデータは、エンコードのためのフィルタ制御データとしてヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。ループ内フィルタコンポーネント２２５は、フィルタ制御データに基づいてこのようなフィルタを適用する。フィルタには、デブロッキングフィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、および適応ループフィルタが含まれてもよい。このようなフィルタは、実施例に応じて、空間／画素領域で（例えば、再構成された画素ブロックに）、または周波数領域で適用されてもよい。
【0088】
エンコーダとして動作する場合、フィルタリングされた再構成された画像ブロック、残差ブロック、および／または予測ブロックは、上記で説明した動き推定に後で使用するためにデコード画像バッファコンポーネント２２３に記憶される。デコーダとして動作する場合、デコード画像バッファコンポーネント２２３は、再構成されフィルタリングされたブロックを記憶し、出力ビデオ信号の一部としてディスプレイに向けて転送する。デコード画像バッファコンポーネント２２３は、予測ブロック、残差ブロック、および／または再構成された画像ブロックを記憶することが可能な任意のメモリデバイスであってもよい。
【0089】
ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、コーデックシステム２００の様々なコンポーネントからデータを受信し、デコーダに向けて送信するために、このようなデータをコーディングされたビットストリームにエンコードする。具体的には、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、一般制御データおよびフィルタ制御データなどの制御データをエンコードするために様々なヘッダを生成する。さらに、イントラ予測および動きデータを含む予測データ、ならびに量子化された変換係数データの形態の残差データもすべて、ビットストリームにエンコードされる。最終的なビットストリームは、元の分割されたビデオ信号２０１を再構成するためにデコーダによって所望されるすべての情報を含む。このような情報には、イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）、様々なブロックのためのエンコードコンテキストの定義、最確イントラ予測モードの指示、分割情報の指示などが含まれることもある。このようなデータは、エントロピーコーディングを利用することによってエンコードすることができる。例えば、情報は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、ＣＡＢＡＣ、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）コーディング、または別のエントロピーコーディング技術を利用することによってエンコードすることができる。エントロピーコーディングに続いて、コーディングされたビットストリームは、別のデバイス（例えば、ビデオデコーダ）に送信されるか、または後で送信もしくは検索するためにアーカイブされてもよい。
【0090】
図３は、例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００は、コーデックシステム２００のエンコード機能を実装するために、ならびに／あるいは動作方法１００の段階１０１、１０３、１０５、１０７、および／または１０９を実装するために利用することができる。エンコーダ３００は、入力ビデオ信号を分割し、分割されたビデオ信号２０１と実質的に同様の分割されたビデオ信号３０１をもたらす。次いで、分割されたビデオ信号３０１は、エンコーダ３００のコンポーネントによって圧縮され、ビットストリームにエンコードされる。
【0091】
具体的には、分割されたビデオ信号３０１は、イントラ予測のためにイントラ画像予測コンポーネント３１７に転送される。イントラ画像予測コンポーネント３１７は、イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７と実質的に同様であってもよい。分割されたビデオ信号３０１はまた、デコード画像バッファコンポーネント３２３内の参照ブロックに基づいてインター予測のために動き補償コンポーネント３２１に転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１および動き補償コンポーネント２１９と実質的に同様であってもよい。イントラ画像予測コンポーネント３１７および動き補償コンポーネント３２１からの予測ブロックおよび残差ブロックは、残差ブロックの変換および量子化のために、変換および量子化コンポーネント３１３に転送される。変換および量子化コンポーネント３１３は、変換スケーリングおよび量子化コンポーネント２１３と実質的に同様であってもよい。変換され量子化された残差ブロックおよび対応する予測ブロックは（関連付けられた制御データとともに）、ビットストリームにコーディングするためにエントロピーコーディングコンポーネント３３１に転送される。エントロピーコーディングコンポーネント３３１は、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１と実質的に同様であってもよい。
【0092】
変換され量子化された残差ブロックおよび／または対応する予測ブロックはまた、動き補償コンポーネント３２１が使用するための参照ブロックに再構成するために、変換および量子化コンポーネント３１３から逆変換および量子化コンポーネント３２９に転送される。逆変換および量子化コンポーネント３２９は、スケーリングおよび逆変換コンポーネント２２９と実質的に同様であってもよい。実施例に応じて、ループ内フィルタコンポーネント３２５のループ内フィルタも、残差ブロックおよび／または再構成された参照ブロックに適用される。ループ内フィルタコンポーネント３２５は、フィルタ制御分析コンポーネント２２７およびループ内フィルタコンポーネント２２５と実質的に同様であってもよい。ループ内フィルタコンポーネント３２５は、ループ内フィルタコンポーネント２２５に関して説明したような複数のフィルタを含み得る。次いで、フィルタリングされたブロックは、動き補償コンポーネント３２１によって参照ブロックとして使用するために、デコード画像バッファコンポーネント３２３に記憶される。デコード画像バッファコンポーネント３２３は、デコード画像バッファコンポーネント２２３と実質的に同様であってもよい。
【0093】
図４は、例示的なビデオデコーダ４００を示すブロック図である。ビデオデコーダ４００は、コーデックシステム２００のデコード機能を実装するために、ならびに／あるいは動作方法１００の段階１１１、１１３、１１５、および／もしくは１１７を実装するために利用することができる。デコーダ４００は、例えばエンコーダ３００からビットストリームを受信し、エンドユーザに表示するためにビットストリームに基づいて再構成された出力ビデオ信号を生成する。
【0094】
ビットストリームは、エントロピーデコードコンポーネント４３３によって受信される。エントロピーデコードコンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディング、または他のエントロピーコーディング技術などのエントロピーデコードスキームを実装するように構成される。例えば、エントロピーデコードコンポーネント４３３は、ビットストリーム中のコードワードとしてエンコードされた追加のデータを解釈するためのコンテキストを提供するために、ヘッダ情報を利用することができる。デコードされた情報には、一般制御データ、フィルタ制御データ、分割情報、動きデータ、予測データ、および残差ブロックからの量子化された変換係数などの、ビデオ信号をデコードするための任意の所望の情報が含まれる。量子化された変換係数は、残差ブロックに再構成するために、逆変換および量子化コンポーネント４２９に転送される。逆変換および量子化コンポーネント４２９は、逆変換および量子化コンポーネント３２９と同様であってもよい。
【0095】
再構成された残差ブロックおよび／または予測ブロックは、イントラ予測動作に基づいて画像ブロックに再構成するために、イントラ画像予測コンポーネント４１７に転送される。イントラ画像予測コンポーネント４１７は、イントラ画像推定コンポーネント２１５およびイントラ画像予測コンポーネント２１７と同様であってもよい。具体的には、イントラ画像予測コンポーネント４１７は、予測モードを利用してフレーム内の参照ブロックの位置を特定し、その結果に残差ブロックを適用してイントラ予測画像ブロックを再構成する。再構成されたイントラ予測画像ブロックおよび／または残差ブロックならびに対応するインター予測データは、ループ内フィルタコンポーネント４２５を介してデコード画像バッファコンポーネント４２３に転送され、これらは、それぞれ、デコード画像バッファコンポーネント２２３およびループ内フィルタコンポーネント２２５と実質的に同様であってもよい。ループ内フィルタコンポーネント４２５は、再構成された画像ブロック、残差ブロック、および／または予測ブロックをフィルタリングし、このような情報は、デコード画像バッファコンポーネント４２３に記憶される。デコード画像バッファコンポーネント４２３からの再構成された画像ブロックは、インター予測のために動き補償コンポーネント４２１に転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１および／または動き補償コンポーネント２１９と実質的に同様であってもよい。具体的には、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを利用して予測ブロックを生成し、その結果に残差ブロックを適用して画像ブロックを再構成する。結果として得られる再構成されたブロックはまた、ループ内フィルタコンポーネント４２５を介してデコード画像バッファコンポーネント４２３に転送されてもよい。デコード画像バッファコンポーネント４２３は、分割情報を介してフレームに再構成することができる追加の再構成された画像ブロックを記憶し続ける。このようなフレームは、シーケンスに配置することもできる。シーケンスは、再構成された出力ビデオ信号としてディスプレイに向けて出力される。
【0096】
図５は、例示的なＨＲＤ５００を示す概略図である。ＨＲＤ５００は、コーデックシステム２００および／またはエンコーダ３００などのエンコーダで利用することができる。ＨＲＤ５００は、ビットストリームがデコーダ４００などのデコーダに転送される前に、方法１００の段階１０９で作成されたビットストリームをチェックすることができる。いくつかの例では、ビットストリームは、ビットストリームがエンコードされるときに、ＨＲＤ５００を通して連続的に転送されてもよい。ビットストリームの一部が、関連付けられた制約に適合しない場合、ＨＲＤ５００は、そのような失敗をエンコーダに示して、エンコーダが異なるメカニズムでビットストリームの対応するセクションを再エンコードするようにさせることができる。
【0097】
ＨＲＤ５００は、仮想ストリームスケジューラ（ＨＳＳ）５４１を含む。ＨＳＳ５４１は、仮想配信メカニズムを実行するように構成されたコンポーネントである。仮想配信メカニズムは、ＨＲＤ５００に入力されるビットストリーム５５１のタイミングおよびデータフローに関して、ビットストリームまたはデコーダの適合性をチェックするために使用される。例えば、ＨＳＳ５４１は、エンコーダから出力されたビットストリーム５５１を受信し、ビットストリーム５５１に対する適合性試験処理を管理することができる。特定の例では、ＨＳＳ５４１は、コーディングされた画像がＨＲＤ５００を通って移動するレートを制御し、ビットストリーム５５１が不適合のデータを含まないことを検証することができる。
【0098】
ＨＳＳ５４１は、ビットストリーム５５１を所定のレートでＣＰＢ５４３に転送することができる。ＨＲＤ５００は、デコードユニット（ＤＵ）５５３でデータを管理することができる。ＤＵ５５３は、ＡＵまたはＡＵのサブセット、および関連付けられた非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットである。具体的には、ＡＵは、出力時間に関連付けられた１つまたは複数の画像を含む。例えば、ＡＵは、単一レイヤビットストリームに単一の画像を含むことができ、マルチレイヤビットストリームに各レイヤの画像を含み得る。ＡＵの各画像は、対応するＶＣＬ ＮＡＬユニットにそれぞれ含まれるスライスに分割することができる。したがって、ＤＵ５５３は、１つまたは複数の画像、画像の１つまたは複数のスライス、またはそれらの組合せを含み得る。また、ＡＵ、画像、および／またはスライスをデコードするために使用されるパラメータは、非ＶＣＬ ＮＡＬユニットに含めることができる。したがって、ＤＵ５５３には、ＤＵ５５３中のＶＣＬ ＮＡＬユニットのデコードをサポートするために必要なデータを含む非ＶＣＬ ＮＡＬユニットが含まれる。ＣＰＢ５４３は、ＨＲＤ５００における先入れ先出しバッファである。ＣＰＢ５４３は、ビデオデータを含むＤＵ５５３をデコード順に含む。ＣＰＢ５４３は、ビットストリーム適合性検証中に使用するためのビデオデータを記憶する。
【0099】
ＣＰＢ５４３は、ＤＵ５５３をデコード処理コンポーネント５４５に転送する。デコード処理コンポーネント５４５は、ＶＶＣ規格に適合したコンポーネントである。例えば、デコード処理コンポーネント５４５は、エンドユーザが利用するデコーダ４００をエミュレートすることができる。デコード処理コンポーネント５４５は、例示的なエンドユーザデコーダによって実現可能なレートでＤＵ５５３をデコードする。デコード処理コンポーネント５４５が、ＣＰＢ５４３のオーバーフローを防止するのに十分な速さでＤＵ５５３をデコードすることができない場合、ビットストリーム５５１は規格に適合しておらず、再エンコードする必要がある。
【0100】
デコード処理コンポーネント５４５は、ＤＵ５５３をデコードし、デコードされたＤＵ５５５を生成する。デコードされたＤＵ５５５は、デコード画像を含む。デコードされたＤＵ５５５は、ＤＰＢ５４７に転送される。ＤＰＢ５４７は、デコード画像バッファコンポーネント２２３、３２３、および／または４２３と実質的に同様であってもよい。インター予測をサポートするために、デコードされたＤＵ５５５から得られる参照画像５５６として使用するためにマークされた画像は、さらなるデコードをサポートするためにデコード処理コンポーネント５４５に戻される。ＤＰＢ５４７は、デコードされたビデオシーケンスを一連の画像５５７として出力する。画像５５７は、エンコーダによってビットストリーム５５１にエンコードされた画像を全体的にミラーリングした再構成された画像である。
【0101】
画像５５７は、出力クロッピングコンポーネント５４９に転送される。出力クロッピングコンポーネント５４９は、適合クロッピングウィンドウを画像５５７に適用するように構成される。これにより、クロップされた出力画像５５９が得られる。クロップされた出力画像５５９は、完全に再構成された画像である。したがって、クロップされた出力画像５５９は、ビットストリーム５５１をデコードする際にエンドユーザが見ると思われるものを模倣する。このように、エンコーダは、クロップされた出力画像５５９をレビューして、エンコードが満足できるものであることを保証することができる。
【0102】
ＨＲＤ５００は、ビットストリーム５５１内のＨＲＤパラメータに基づいて初期化される。例えば、ＨＲＤ５００は、ＶＰＳ、ＳＰＳ、および／またはＳＥＩメッセージからＨＲＤパラメータを読み取ることができる。次いで、ＨＲＤ５００は、このようなＨＲＤパラメータの情報に基づいてビットストリーム５５１に対して適合性試験動作を実行できる。具体例として、ＨＲＤ５００は、ＨＲＤパラメータから１つまたは複数のＣＰＢ配信スケジュール５６１を決定することができる。配信スケジュールは、ＣＰＢおよび／またはＤＰＢなどのメモリロケーションへのおよび／またはメモリロケーションからのビデオデータの配信のためのタイミングを指定する。したがって、ＣＰＢ配信スケジュール５６１は、ＣＰＢ５４３への／からのＡＵ、ＤＵ５５３、および／または画像の配信タイミングを指定する。例えば、ＣＰＢ配信スケジュール５６１は、ＣＰＢ５４３のビットレートおよびバッファサイズを記述することができ、このようなビットレートおよびバッファサイズは、特定のクラスのデコーダおよび／またはネットワーク条件に対応する。したがって、ＣＰＢ配信スケジュール５６１は、退避前にＣＰＢ５４３にどれだけ長くデータが留まることができるかを示すことができる。適合性試験中にＨＲＤ５００においてＣＰＢ配信スケジュール５６１を維持できないということは、ＣＰＢ配信スケジュール５６１に対応するデコーダが対応するビットストリームをデコードすることができないことを示すものである。ＨＲＤ５００は、ＣＰＢ配信スケジュール５６１と同様のＤＰＢ配信スケジュールをＤＰＢ５４７に利用できることに留意されたい。
【0103】
ビデオは、様々なレベルのハードウェア能力を有するデコーダによって使用するために、ならびに様々なネットワーク条件のために、異なるレイヤおよび／またはＯＬＳにコーディングされることがある。ＣＰＢ配信スケジュール５６１は、これらの課題を反映するように選択される。したがって、上位レイヤのサブビットストリームは、最適なハードウェアおよびネットワーク条件に対して指定され、したがって、上位レイヤは、ＣＰＢ５４３内の大量のメモリと、ＤＰＢ５４７に向けたＤＵ５５３の転送のための短い遅延とを利用する１つまたは複数のＣＰＢ配信スケジュール５６１を受信することができる。同様に、下位レイヤのサブビットストリームは、制限されたデコーダハードウェア能力および／または劣悪なネットワーク条件に対して指定される。したがって、下位レイヤは、ＣＰＢ５４３内の少量のメモリと、ＤＰＢ５４７に向けたＤＵ５５３の転送のためのより長い遅延とを利用する１つまたは複数のＣＰＢ配信スケジュール５６１を受信することができる。次いで、ＯＬＳ、レイヤ、サブレイヤ、またはそれらの組合せは、対応する配信スケジュール５６１に従ってテストされて、結果として得られたサブビットストリームがサブビットストリームに対して期待される条件下で正しくデコードできることを保証することができる。ＣＰＢ配信スケジュール５６１はそれぞれ、スケジュールインデックス（ＳｃＩｄｘ）５６３と関連付けられている。ＳｃＩｄｘ５６３は、配信スケジュールを識別するインデックスである。したがって、ビットストリーム５５１内のＨＲＤパラメータは、ＣＰＢ配信スケジュール５６１をＳｃＩｄｘ５６３によって示すことができるだけでなく、ＨＲＤ５００がＣＰＢ配信スケジュール５６１を決定し、ＣＰＢ配信スケジュール５６１を対応するＯＬＳ、レイヤ、および／またはサブレイヤに相関させることを可能にするのに十分なデータを含み得る。
【0104】
図６は、レイヤ間予測６２１のために構成された例示的なマルチレイヤビデオシーケンス６００を示す概略図である。マルチレイヤビデオシーケンス６００は、例えば方法１００に従って、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによってエンコードされ、コーデックシステム２００および／またはデコーダ４００などのデコーダによってデコードされてもよい。さらに、マルチレイヤビデオシーケンス６００は、ＨＲＤ５００などのＨＲＤによって規格適合性をチェックすることができる。マルチレイヤビデオシーケンス６００は、コーディングビデオシーケンスにおけるレイヤの例示的なアプリケーションを示すために含まれている。マルチレイヤビデオシーケンス６００は、レイヤＮ６３１およびレイヤＮ＋１ ６３２などの複数のレイヤを利用する任意のビデオシーケンスである。
【0105】
一例では、マルチレイヤビデオシーケンス６００は、レイヤ間予測６２１を利用することができる。レイヤ間予測６２１は、異なるレイヤの画像６１１、６１２、６１３、および６１４と画像６１５、６１６、６１７、および６１８との間で適用される。図示する例では、画像６１１、６１２、６１３、および６１４は、レイヤＮ＋１ ６３２の一部であり、画像６１５、６１６、６１７、および６１８は、レイヤＮ６３１の一部である。レイヤＮ６３１および／またはレイヤＮ＋１ ６３２などのレイヤは、同様のサイズ、品質、解像度、信号対雑音比、能力など、同様の特性値にすべてが関連付けられた画像のグループである。レイヤは、ＶＣＬ ＮＡＬユニットおよび関連付けられた非ＶＣＬ ＮＡＬユニットのセットとして形式的に定義することができる。ＶＣＬ ＮＡＬユニットは、画像のコーディングスライスなど、ビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオデータのデコード、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。
【0106】
図示する例では、レイヤＮ＋１ ６３２はレイヤＮ６３１よりも大きい画像サイズに関連付けられている。したがって、本例では、レイヤＮ＋１ ６３２の画像６１１、６１２、６１３、および６１４は、レイヤＮ６３１の画像６１５、６１６、６１７、および６１８よりも大きな画像サイズ（例えば、より大きい高さおよび幅、したがってより多くのサンプル）を有する。しかしながら、このような画像は、他の特性によってレイヤＮ＋１ ６３２とレイヤＮ６３１との間で分離することができる。２つのレイヤ、レイヤＮ＋１ ６３２およびレイヤＮ６３１のみが示されているが、画像のセットは、関連付けられた特性に基づいて任意の数のレイヤに分離することができる。レイヤＮ＋１ ６３２およびレイヤＮ６３１は、レイヤＩＤによって表記されることもある。レイヤＩＤは、画像に関連付けられ、その画像が、示されたレイヤの一部であることを表記するデータの項目である。したがって、各画像６１１～６１８は、対応するレイヤＩＤに関連付けられて、どちらのレイヤＮ＋１ ６３２またはレイヤＮ６３１が対応する画像を含むかを示すことができる。例えば、レイヤＩＤは、ＮＡＬユニットを含む（例えば、レイヤ内の画像のスライスおよび／またはパラメータを含む）レイヤの識別子を指定するシンタックス要素であるＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を含み得る。レイヤＮ６３１などの、より低い品質／ビットストリームサイズに関連付けられたレイヤは、一般に、より低いレイヤＩＤが割り当てられ、下位レイヤと呼ばれる。さらに、レイヤＮ＋１ ６３２などの、より高い品質／ビットストリームサイズに関連付けられたレイヤは、一般に、より高いレイヤＩＤが割り当てられ、上位レイヤと呼ばれる。
【0107】
異なるレイヤ６３１～６３２の画像６１１～６１８は、代替物に表示されるように構成される。したがって、異なるレイヤ６３１～６３２の画像は、これらの画像が同じＡＵに含まれる限り、時間ＩＤ６２２を共有することができる。時間ＩＤ６２２は、データがビデオシーケンス内の時間位置に対応することを示すデータ要素である。ＡＵは、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関連するＮＡＬユニットのセットである。例えば、ＡＵは、画像６１１および画像６１５など、そのような画像が同じ時間ＩＤ６２２に関連付けられる場合、異なるレイヤに１つまたは複数の画像を含み得る。具体例として、デコーダは、より小さい画像が所望される場合、現在の表示時間に画像６１５をデコードおよび表示することができ、またはデコーダは、より大きい画像が所望される場合、現在の表示時間に画像６１１をデコードおよび表示することができる。したがって、上位レイヤＮ＋１ ６３２の画像６１１～６１４は、（画像サイズの違いにもかかわらず）下位レイヤＮ６３１の対応する画像６１５～６１８と実質的に同じ画像データを含む。具体的には、画像６１１は、画像６１５と実質的に同じ画像データを含み、画像６１２は、画像６１６と実質的に同じ画像データを含み、以下同様である。
【0108】
画像６１１～６１８は、同じレイヤＮ６３１またはＮ＋１ ６３２の他の画像６１１～６１８を参照することによってコーディングすることができる。同じレイヤの別の画像を参照して画像をコーディングすることは、結果としてインター予測６２３となる。インター予測６２３は、実線の矢印によって描かれている。例えば、画像６１３は、レイヤＮ＋１ ６３２の画像６１１、６１２、および／または６１４のうちの１つまたは２つを参照として使用するインター予測６２３を利用することによってコーディングされてもよく、１つの画像は、単方向インター予測のために参照され、および／または２つの画像は、双方向インター予測のために参照される。さらに、画像６１７は、レイヤＮ５３１の画像６１５、６１６、および／または６１８のうちの１つまたは２つを参照として使用するインター予測６２３を利用することによってコーディングされてもよく、１つの画像は、単方向インター予測のために参照され、および／または２つの画像は、双方向インター予測のために参照される。インター予測６２３を実行する場合に、画像を同じレイヤの別の画像の参照として使用するときは、その画像は、参照画像と呼ばれることがある。例えば、画像６１２は、インター予測６２３に従って画像６１３をコーディングするために使用される参照画像であってもよい。インター予測６２３は、マルチレイヤコンテキストにおいてイントラレイヤ予測と呼ばれることもある。したがって、インター予測６２３は、現在の画像とは異なる参照画像中の指示されたサンプルを参照することによって、現在の画像のサンプルをコーディングするメカニズムであり、参照画像と現在の画像とが同じレイヤにある。
【0109】
画像６１１～６１８は、異なるレイヤの他の画像６１１～６１８を参照することによってコーディングすることもできる。この処理は、レイヤ間予測６２１として知られており、破線の矢印によって描かれている。レイヤ間予測６２１は、参照画像中の指示されたサンプルを参照することによって現在の画像のサンプルをコーディングするメカニズムであり、現在の画像と参照画像とが異なるレイヤにあり、したがって異なるレイヤＩＤを有する。例えば、下位レイヤＮ６３１の画像は、上位レイヤＮ＋１ ６３２の対応する画像をコーディングするための参照画像として使用することができる。具体例として、画像６１１は、レイヤ間予測６２１に従って画像６１５を参照することによってコーディングすることができる。このような場合、画像６１５は、レイヤ間参照画像として使用される。レイヤ間参照画像は、レイヤ間予測６２１に使用される参照画像である。ほとんどの場合、レイヤ間予測６２１は、画像６１１などの現在の画像が、同じＡＵに含まれる、画像６１５などの下位レイヤにあるレイヤ間参照画像のみを使用できるように制約される。複数のレイヤ（例えば、３つ以上）が利用可能な場合、レイヤ間予測６２１は、現在の画像よりも低いレベルの複数のレイヤ間参照画像に基づいて現在の画像をエンコード／デコードすることができる。
【0110】
ビデオエンコーダは、マルチレイヤビデオシーケンス６００を利用して、インター予測６２３とレイヤ間予測６２１の多くの異なる組合せおよび／または順列を介して画像６１１～６１８をエンコードすることができる。例えば、画像６１５は、イントラ予測に従ってコーディングされてもよい。次いで、画像６１６～６１８は、画像６１５を参照画像として使用することによって、インター予測６２３に従ってコーディングすることができる。さらに、画像６１１は、画像６１５をレイヤ間参照画像として使用することによって、レイヤ間予測６２１に従ってコーディングされてもよい。次いで、画像６１２～６１４は、画像６１１を参照画像として使用することによって、インター予測６２３に従ってコーディングすることができる。したがって、参照画像は、異なるコーディングメカニズムに対して、単一レイヤ参照画像とレイヤ間参照画像の両方の役割を果たすことができる。下位レイヤＮ６３１の画像に基づいて上位レイヤＮ＋１ ６３２の画像をコーディングすることによって、上位レイヤＮ＋１ ６３２は、インター予測６２３およびレイヤ間予測６２１よりもコーディング効率がはるかに低いイントラ予測を利用することを回避することができる。したがって、イントラ予測の低いコーディング効率は、最小／最低品質の画像に限定することができ、したがって、最小量のビデオデータのコーディングに限定することができる。参照画像および／またはレイヤ間参照画像として使用される画像は、参照画像リスト構造に含まれる参照画像リストのエントリに示すことができる。
【0111】
このような動作を実行するために、レイヤＮ６３１およびレイヤＮ＋１ ６３２などのレイヤが、１つまたは複数のＯＬＳ６２５および６２６に含まれることがある。具体的には、画像６１１～６１８は、ビットストリーム６００のレイヤ６３１～６３２としてエンコードされ、次いで、画像の各レイヤ６３１～６３２がＯＬＳ６２５および６２６のうちの１つまたは複数に割り当てられる。次いで、ＯＬＳ６２５および／または６２６を選択することができ、デコーダにおける能力および／またはネットワーク条件に応じて、対応するレイヤ６３１および／または６３２をデコーダに送信することができる。ＯＬＳ６２５は、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、（例えば、ディスプレイに）出力するために指定されるレイヤである。例えば、レイヤＮ６３１は、レイヤ間予測６２１をサポートするためだけに含まれてよく、決して出力されなくてもよい。このような場合、レイヤＮ＋１ ６３２は、レイヤＮ６３１に基づいてデコードされ、出力される。このような場合、ＯＬＳ６２５は、出力レイヤとしてレイヤＮ＋１ ６３２を含む。ＯＬＳが出力レイヤのみを含む場合、そのＯＬＳは０番目のＯＬＳ６２６と呼ばれる。０番目のＯＬＳ６２６は、最下位レイヤ（最下位レイヤ識別子を有するレイヤ）のみを含むＯＬＳであり、したがって、出力レイヤのみを含むＯＬＳである。他の場合には、ＯＬＳ６２５は、異なる組合せで多くのレイヤを含むことがある。例えば、ＯＬＳ６２５の出力レイヤは、１つ、２つ、または多くの下位レイヤに基づいてレイヤ間予測６２１に従ってコーディングすることができる。さらに、ＯＬＳ６２５は、２つ以上の出力レイヤを含み得る。したがって、ＯＬＳ６２５は、１つまたは複数の出力レイヤと、出力レイヤを再構成するのに必要な任意のサポートレイヤとを含み得る。２つのＯＬＳ６２５および６２６のみが示されているが、マルチレイヤビデオシーケンス６００は、それぞれがレイヤの異なる組合せを利用する多くの異なるＯＬＳ６２５および／または６２６を利用することによってコーディングされてもよい。ＯＬＳ６２５および６２６はそれぞれ、対応するＯＬＳ６２５および６２６を一意に識別するインデックスであるＯＬＳインデックス６２９に関連付けられている。
【0112】
ＨＲＤ５００でマルチレイヤビデオシーケンス６００の規格適合性をチェックすることは、レイヤ６３１～６３２ならびにＯＬＳ６２５および６２６の数次第では複雑になる可能性がある。ＨＲＤ５００は、テストのためにマルチレイヤビデオシーケンス６００を一連の動作ポイント６２７に分離することができる。ＯＬＳ６２５および／または６２６は、ＯＬＳインデックス６２９によって識別される。動作ポイント６２７は、ＯＬＳ６２５／６２６の時間的なサブセットである。動作ポイント６２７は、対応するＯＬＳ６２５／６２６のＯＬＳインデックス６２９ならびに最高時間ＩＤ６２２の両方によって識別することができる。具体例として、第１の動作ポイント６２７は、時間ＩＤ０から時間ＩＤ２００までの第１のＯＬＳ６２５内のすべての画像を含むことができ、第２の動作ポイント６２７は、時間ＩＤ２０１から時間ＩＤ４００までの第１のＯＬＳ６２５内のすべての画像を含むことができ、以下同様である。このような場合、第１の動作ポイント６２７は、第１のＯＬＳ６２５のＯＬＳインデックス６２９と、２００の時間ＩＤによって記述される。さらに、第２の動作ポイント６２７は、第１のＯＬＳ６２５のＯＬＳインデックス６２９と、４００の時間ＩＤによって記述される。指定された瞬間にテストするために選択された動作ポイント６２７は、テスト対象ＯＰ（ｔａｒｇｅｔＯｐ）と呼ばれる。したがって、ｔａｒｇｅｔＯｐは、ＨＲＤ５００において適合性試験のために選択される動作ポイント６２７である。
【0113】
図７は、時間スケーラビリティのために構成された例示的なマルチレイヤビデオシーケンス７００を示す概略図である。マルチレイヤビデオシーケンス７００は、例えば方法１００に従って、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによってエンコードされ、コーデックシステム２００および／またはデコーダ４００などのデコーダによってデコードされ得る。さらに、マルチレイヤビデオシーケンス７００は、ＨＲＤ５００などのＨＲＤによって規格適合性をチェックすることができる。マルチレイヤビデオシーケンス７００は、コーディングビデオシーケンスにおけるレイヤのための別の例示的な適用を示すために含まれている。例えば、マルチレイヤビデオシーケンス７００は、別個の実施形態として利用されてもよく、またはマルチレイヤビデオシーケンス６００に関して説明した技術と組み合わされてもよい。
【0114】
マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、および７３０を含む。サブレイヤは、特定の時間識別子値を有するＶＣＬ ＮＡＬユニット（例えば、画像）ならびに関連付けられた非ＶＣＬ ＮＡＬユニット（例えば、サポートパラメータ）を含む時間スケーラブルビットストリームの時間スケーラブルレイヤである。例えば、レイヤＮ６３１および／またはレイヤＮ＋１ ６３２などのレイヤは、時間スケーラビリティをサポートするために、サブレイヤ７１０、７２０、および７３０にさらに分割され得る。サブレイヤ７１０は、ベースレイヤと呼ばれることがあり、サブレイヤ７２０および７３０は、エンハンスメントレイヤと呼ばれることがある。図示するように、サブレイヤ７１０は、毎秒３０フレームなどの第１のフレームレートの画像７１１を含む。サブレイヤ７１０は、ベース／最低フレームレートを含むため、サブレイヤ７１０は、ベースレイヤである。サブレイヤ７２０は、サブレイヤ７１０の画像７１１から時間的にオフセットされた画像７２１を含む。その結果、サブレイヤ７１０とサブレイヤ７２０とを組み合わせることができ、その結果、サブレイヤ７１０単独のフレームレートよりも全体として高いフレームレートが得られる。例えば、サブレイヤ７１０および７２０は、合わせて毎秒６０フレームのフレームレートを有することができる。したがって、サブレイヤ７２０は、サブレイヤ７１０のフレームレートを向上させる。さらに、サブレイヤ７３０は、やはりサブレイヤ７２０および７１０の画像７２１および７１１から時間的にオフセットされた画像７３１を含む。したがって、サブレイヤ７３０をサブレイヤ７２０および７１０と組み合わせて、サブレイヤ７１０をさらに強化することができる。例えば、サブレイヤ７１０、７２０、および７３０は、合わせて毎秒９０フレームのフレームレートを有することができる。
【0115】
サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および／または７３０を組み合わせることによって動的に作成することができる。サブレイヤ表現７４０は、特定のサブレイヤおよび下位サブレイヤのＮＡＬユニットを含むビットストリームのサブセットである。図示する例では、サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および７３０の合成画像７１１、７２１、および７３１である画像７４１を含む。したがって、マルチレイヤビデオシーケンス７００は、サブレイヤ７１０、７２０、および／または７３０の所望のセットを含むサブレイヤ表現７４０を選択することによって、所望のフレームレートに時間的にスケーリングされ得る。サブレイヤ表現７４０は、サブレイヤ７１０、７２０、および／または７３０をレイヤとして含むＯＬＳを利用することによって作成されてもよい。このような場合、サブレイヤ表現７４０が出力レイヤとして選択される。したがって、時間スケーラビリティは、マルチレイヤメカニズムを使用して実現することができるいくつかのメカニズムのうちの１つである。
【0116】
図８は、例示的なビットストリーム８００を示す概略図である。例えば、ビットストリーム８００は、方法１００に従ってコーデックシステム２００および／またはデコーダ４００によってデコードするために、コーデックシステム２００および／またはエンコーダ３００によって生成することができる。さらに、ビットストリーム８００は、マルチレイヤビデオシーケンス６００および／または７００を含み得る。さらに、ビットストリーム８００は、ＨＲＤ５００などのＨＲＤの動作を制御するための様々なパラメータを含み得る。このようなパラメータに基づいて、ＨＲＤは、デコードのためにデコーダに向けて送信する前に、規格との適合性についてビットストリーム８００をチェックすることができる。
【0117】
ビットストリーム８００は、ＶＰＳ８１１、１つまたは複数のＳＰＳ８１３、複数の画像パラメータセット（ＰＰＳ）８１５、複数のスライスヘッダ８１７、イメージデータ８２０、およびＳＥＩメッセージ８１９を含む。ＶＰＳ８１１は、ビットストリーム８００全体に関連するデータを含む。例えば、ＶＰＳ８１１は、ビットストリーム８００で使用されるＯＬＳ、レイヤ、および／またはサブレイヤに関連するデータを含み得る。ＳＰＳ８１３は、ビットストリーム８００に含まれるコーディングビデオシーケンス内のすべての画像に共通のシーケンスデータを含む。例えば、各レイヤは、１つまたは複数のコーディングビデオシーケンスを含むことができ、各コーディングビデオシーケンスは、対応するパラメータについてＳＰＳ８１３を参照することができる。ＳＰＳ８１３のパラメータは、画像サイジング、ビット深度、コーディングツールパラメータ、ビットレート制限などを含み得る。各シーケンスは、ＳＰＳ８１３を参照するが、いくつかの例では、単一のＳＰＳ８１３が複数のシーケンスに関するデータを含み得ることに留意されたい。ＰＰＳ８１５は、画像全体に適用されるパラメータを含む。したがって、ビデオシーケンス内の各画像は、ＰＰＳ８１５を参照することができる。各画像は、ＰＰＳ８１５を参照するが、いくつかの例では、単一のＰＰＳ８１５が複数の画像についてのデータを含み得ることに留意されたい。例えば、複数の同様の画像は、同様のパラメータに従ってコーディングされてもよい。このような場合、単一のＰＰＳ８１５は、このような同様の画像についてのデータを含み得る。ＰＰＳ８１５は、対応する画像のスライスに利用可能なコーディングツール、量子化パラメータ、オフセットなどを示すことができる。
【0118】
スライスヘッダ８１７は、画像内の各スライスに固有のパラメータを含む。したがって、ビデオシーケンス内のスライスごとに１つのスライスヘッダ８１７が存在する可能性がある。スライスヘッダ８１７は、スライスタイプ情報、ＰＯＣ、参照画像リスト、予測重み、タイルエントリポイント、デブロッキングパラメータなどを含み得る。いくつかの例では、ビットストリーム８００はまた、単一の画像内のすべてのスライスに適用されるパラメータを含むシンタックス構造である画像ヘッダを含み得ることに留意されたい。このため、画像ヘッダおよびスライスヘッダ８１７は、いくつかの文脈では交換可能に使用されることがある。例えば、特定のパラメータは、そのようなパラメータが画像内のすべてのスライスに共通であるかどうかに応じて、スライスヘッダ８１７と画像ヘッダとの間で移動することができる。
【0119】
イメージデータ８２０は、インター予測および／またはイントラ予測に従ってエンコードされたビデオデータ、ならびに対応する変換されたおよび量子化された残差データを含む。例えば、イメージデータ８２０は、ＡＵ８２１、ＤＵ８２２、および／または画像８２３を含み得る。ＡＵ８２１は、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関連するＮＡＬユニットのセットである。ＤＵ８２２は、ＡＵまたはＡＵのサブセット、および関連付けられた非ＶＣＬ ＮＡＬユニットである。画像８２３は、フレームまたはそのフィールドを作成するルマサンプルのアレイおよび／またはクロマサンプルのアレイである。平たく言えば、ＡＵ８２１は、ビデオシーケンス内の指定された瞬間に表示される可能性のある様々なビデオデータ、ならびにサポートするシンタックスデータを含む。したがって、ＡＵ８２１は、単一レイヤビットストリームにおける単一の画像８２３、またはマルチレイヤビットストリームにおけるすべてが同じ瞬間に関連付けられた複数のレイヤからの複数画像を含み得る。一方、画像８２３は、表示のために出力され得るか、または出力のための他の画像８２３のコーディングをサポートするために使用され得る、コーディングされた画像である。ＤＵ８２２は、１つまたは複数の画像８２３と、デコードに必要な任意のサポートするシンタックスデータとを含み得る。例えば、ＤＵ８２２およびＡＵ８２１は、（例えば、ＡＵが単一の画像を含む場合）単純なビットストリームにおいて交換可能に使用されることがある。しかしながら、より複雑なマルチレイヤビットストリームでは、ＤＵ８２２は、ＡＵ８２１からのビデオデータの一部分のみを含み得る。例えば、ＡＵ８２１は、いくつかのレイヤおよび／またはサブレイヤにおいて画像８２３を含むことができ、画像８２３のうちのいくつかが異なるＯＬＳに関連付けられている。このような場合、ＤＵ８２２は、指定されたＯＬＳおよび／または指定されたレイヤ／サブレイヤからの画像８２３のみを含み得る。
【0120】
画像８２３は、１つまたは複数のスライス８２５を含む。スライス８２５は、画像８２３の（例えば、タイル内の）整数個の完全なタイルまたは整数個の連続する完全なコーディングツリーユニット（ＣＴＵ）行として定義されてもよく、タイルまたはＣＴＵ行は、単一のＮＡＬユニット８２９に排他的に含まれる。したがって、スライス８２５は、単一のＮＡＬユニット８２９にも含まれる。スライス８２５は、ＣＴＵおよび／またはコーディングツリーブロック（ＣＴＢ）にさらに分割される。ＣＴＵは、コーディングツリーによって分割することができるあらかじめ定義されたサイズのサンプルのグループである。ＣＴＢは、ＣＴＵのサブセットであり、ＣＴＵのルマ成分またはクロマ成分を含む。ＣＴＵ／ＣＴＢは、コーディングツリーに基づいてコーディングブロックにさらに分割される。その後、コーディングブロックは、予測メカニズムに従ってエンコード／デコードされ得る。
【0121】
ビットストリーム８００は、一連のＮＡＬユニット８２９である。ＮＡＬユニット８２９は、ビデオデータおよび／またはサポートシンタックスのためのコンテナである。ＮＡＬユニット８２９は、ＶＣＬ ＮＡＬユニットまたは非ＶＣＬ ＮＡＬユニットとすることができる。ＶＣＬ ＮＡＬユニットは、コーディングされたスライス８２５および関連付けられたスライスヘッダ８１７などのビデオデータを含むようにコーディングされたＮＡＬユニット８２９である。非ＶＣＬ ＮＡＬユニットは、ビデオデータのデコード、適合性チェックの実行、もしくは他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニット８２９である。例えば、非ＶＣＬ ＮＡＬユニットは、ＶＰＳ８１１、ＳＰＳ８１３、ＰＰＳ８１５、ＳＥＩメッセージ８１９、または他のサポートシンタックスを含み得る。
【0122】
ＳＥＩメッセージ８１９は、デコード画像のサンプルの値を決定するために、デコード処理によって必要とされない情報を伝達する、セマンティクスが指定されたシンタックス構造である。例えば、ＳＥＩメッセージは、ＨＲＤ処理をサポートするためのデータ、またはデコーダにおいてビットストリーム８００をデコードすることに直接関連しない他のサポートデータを含み得る。ＳＥＩメッセージ８１９は、スケーラブルネスティングＳＥＩメッセージおよび／または非スケーラブルネスト化ＳＥＩメッセージを含み得る。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳまたは１つもしくは複数のレイヤに対応する複数のＳＥＩメッセージを含むメッセージである。非スケーラブルネスト化ＳＥＩメッセージは、ネスティングされていないメッセージであり、したがって、単一のＳＥＩメッセージを含む。ＳＥＩメッセージ８１９は、ＣＰＢを管理するためにＨＲＤを初期化するためのＨＲＤパラメータを含むＢＰ ＳＥＩメッセージを含み得る。ＳＥＩメッセージ８１９は、ＣＰＢおよび／またはＤＰＢにおいてＡＵ８２１についての配信情報を管理するためのＨＲＤパラメータを含むＰＴ ＳＥＩメッセージも含み得る。ＳＥＩメッセージ８１９は、ＣＰＢおよび／またはＤＰＢにおいてＤＵ８２２についての配信情報を管理するためのＨＲＤパラメータを含むＤＵＩ ＳＥＩメッセージも含み得る。
【0123】
ビットストリーム８００は、ＨＲＤ５００などのＨＲＤの動作条件を初期化および／または定義するシンタックス要素であるシーケンスレベルＨＲＤパラメータ８３３の整数（ｉ）個のセットを含む。いくつかの例では、一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造は、ＶＰＳ８１１によって指定されたすべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータ８３３を含み得る。シーケンスレベルＨＲＤパラメータは、コーディングビデオシーケンス全体に適用されるＨＲＤパラメータである。コーディングビデオシーケンスは、１つまたは複数の画像８２３である。一例では、エンコーダは、ビデオシーケンスをレイヤにエンコードすることができる。レイヤはそれぞれ、コーディングされたビデオシーケンスを含み得る。次いで、エンコーダは、シーケンスレベルＨＲＤパラメータ８３３をビットストリームにエンコードして、ＯＬＳ内のシーケンスに対して適合性チェックを実行するようにＨＲＤを適切に構成することができる。ＨＲＤパラメータ８３３は、デコーダが配信スケジュールに従ってビットストリームをデコードすることができることをデコーダに示すこともできる。シーケンスレベルＨＲＤパラメータ８３３は、ＶＰＳ８１１に含まれる。ＨＲＤを構成するために使用される追加のパラメータも、ＳＥＩメッセージ８１９に含まれてもよい。
【0124】
上述したように、ビデオストリームは、ＯＬＳ６２５、レイヤＮ６３１、レイヤＮ＋１ ６３２、サブレイヤ７１０、サブレイヤ７２０、および／またはサブレイヤ７３０などの、多くのＯＬＳおよび多くのレイヤを含み得る。さらに、レイヤによっては、複数のＯＬＳに含まれるものがあってもよい。そのため、マルチレイヤビデオシーケンス６００および／または７００などのマルチレイヤビデオシーケンスは、かなり複雑になることがある。いくつかのビデオコーディングシステムは、各ＯＬＳの各レイヤについてＨＲＤパラメータのセットをシグナリングすることがある。このようなＨＲＤパラメータは、関与するレイヤおよび／またはＯＬＳのタイプに応じていくつかの場所でシグナリングされることがある。その結果、より多くのレイヤおよび／またはＯＬＳが追加されるにつれてＨＲＤシグナリングスキームがより複雑になる。さらに、異なるレイヤおよび／またはＯＬＳのＨＲＤパラメータは、冗長な情報を含んでいる場合がある。
【0125】
本開示は、簡略化されたＨＲＤシグナリングのためのメカニズムを含む。具体的には、シーケンスレベルＨＲＤパラメータ８３３は、すべてのＯＬＳについて同じであるように制約することができる。シーケンスレベルＨＲＤパラメータ８３３が同じであるため、シーケンスレベルＨＲＤパラメータ８３３は、レイヤ／ＯＬＳごとにそのようなパラメータをシグナリングする代わりに、１回シグナリングされ得る。具体例として、シーケンスレベルＨＲＤパラメータ８３３は、ＶＰＳ８１１においてシグナリングされる。ＶＰＳ８１１は、ビットストリーム８００において１回シグナリングされてもよい。そのため、シーケンスレベルＨＲＤパラメータ８３３は、１回だけシグナリングされる。このようにして、ビットストリーム８００における複雑なおよび／または冗長なシグナリングが低減され、それによりコーディング効率が向上する。また、この手法により、ＨＲＤ処理が簡略化される。その結果、プロセッサ、メモリ、および／またはネットワークのシグナリングリソースの使用量がエンコーダおよびデコーダの両方において削減される。
【0126】
具体例では、ＶＰＳ８１１は、シーケンスレベルＨＲＤパラメータ８３３を含み得る。シーケンスレベルＨＲＤパラメータ８３３は、サブレイヤＣＰＢパラメータ存在フラグ８３１と、ＤＵ ＨＲＤパラメータ存在フラグ８３５と、ＨＲＤ ＣＰＢカウント８３７と、を含み得る。サブレイヤＣＰＢパラメータ存在フラグ８３１は、ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇとして表記されることがある。サブレイヤＣＰＢパラメータ存在フラグ８３１は、ＯＬＳ ＨＲＤパラメータのセットが指定されたサブレイヤ表現のためのＨＲＤパラメータを含むかどうかを指定するシンタックス要素である。したがって、サブレイヤＣＰＢパラメータ存在フラグ８３１は、シーケンスレベルＨＲＤパラメータ８３３の対応するセットが、サブレイヤ表現７４０などの１つまたは複数の対応するサブレイヤ表現に対して適合性チェックを実行する際に使用するためのＨＲＤパラメータを含むかどうかを示すことができる。
【0127】
ＤＵ ＨＲＤパラメータ存在フラグ８３５は、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇとして表記されることがある。ＤＵ ＨＲＤパラメータ存在フラグ８３５は、対応するＨＲＤパラメータがＤＵレベルで動作するか、ＡＵレベルで動作するかを示すフラグである。例えば、ＤＵは、ＡＵまたはＡＵのサブセットであってもよい。例えば、ＤＵは、単一の画像を含み得る。さらに、ＡＵは、ＯＬＳのレイヤごとのＡＵを含み得る。ビットストリーム８００が単一のレイヤを含む場合、ＡＵとＤＵは、同じである。ビットストリーム８００がマルチレイヤビットストリームを含む場合、ＡＵは、多くのＤＵを含み得る。したがって、ＤＵ ＨＲＤパラメータ存在フラグ８３５は、ＨＲＤが配信スケジュールに従ってＡＵ全体をチェックすべきかどうか、またはＨＲＤが配信スケジュールに従ってＡＵの各ＤＵをチェックすべきかどうかをＨＲＤに示すことができる。
【0128】
ＨＲＤ ＣＰＢカウント８３７は、ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１として表記されることがある。ＨＲＤ ＣＰＢカウント８３７は、サブレイヤ７１０、７２０、および／または７３０などの、対応する時間サブレイヤのために使用される初期ＣＰＢ除去遅延と初期ＣＰＢ除去オフセットとのペアの数を指定するシンタックス要素である。初期ＣＰＢ除去遅延は、ビットストリーム、ＯＬＳ、および／またはレイヤ中の画像、ＡＵ、および／またはＤＵをチェックする場合にＨＲＤのＣＰＢからデータユニットを除去するときに使用されるデフォルトの除去遅延である。初期ＣＰＢ除去オフセットは、ビットストリーム、ＯＬＳ、および／またはレイヤ中の各画像、ＡＵ、および／またはＤＵに関連付けられたデフォルトのＣＰＢ除去オフセットである。例えば、オフセットは、ＨＲＤのＣＰＢから除去されるデータユニットのサイズを示す。初期ＣＰＢ除去遅延と初期ＣＰＢ除去オフセットは、ＣＰＢ配信スケジュール５６１などの配信スケジュールを定義するペアを形成する。したがって、ＨＲＤ ＣＰＢカウント８３７は、サブレイヤ７１０、７２０、および／または７３０などの時間サブレイヤのために利用可能な配信スケジュールの数を示す。
【0129】
したがって、サブレイヤＣＰＢパラメータ存在フラグ８３１、ＤＵ ＨＲＤパラメータ存在フラグ８３５、およびＨＲＤ ＣＰＢカウント８３７は、シーケンスの各サブレイヤについて同じ値を含むように制約されてもよい。したがって、これらのシンタックス要素は、ＶＰＳ８１１において１回シグナリングすることができ、これにより、ビットストリーム８００サイズが低減し、ＨＲＤ適合性チェックの複雑さが低減する。したがって、ビットストリーム８００に関して説明したメカニズムは、エンコーダおよび／またはデコーダの機能を高めることができる。さらに、ビットストリーム８００に関して説明したメカニズムは、コーディング効率の向上をサポートし、ならびに／またはエンコーダおよび／もしくはデコーダにおけるプロセッサ、メモリ、および／もしくはネットワーク通信リソースの削減をサポートすることができる。
【0130】
ここで、前述の情報を本明細書において以下でより詳細に説明する。階層化ビデオコーディングは、スケーラブルビデオコーディングまたはスケーラビリティを有するビデオコーディングとも呼ばれる。ビデオコーディングにおけるスケーラビリティは、マルチレイヤコーディング技術を使用することによってサポートされ得る。マルチレイヤビットストリームは、ベースレイヤ（ＢＬ）と１つまたは複数のエンハンスメントレイヤ（ＥＬ）とを含む。スケーラビリティの例には、空間スケーラビリティ、品質／信号対雑音比（ＳＮＲ）スケーラビリティ、マルチビュースケーラビリティ、フレームレートスケーラビリティなどが含まれる。マルチレイヤコーディング技術を使用する場合、画像またはその一部は、参照画像を使用せずにコーディングされてもよく（イントラ予測）、同じレイヤにある参照画像を参照することによってコーディングされてもよく（インター予測）、および／または他のレイヤにある参照画像を参照することによってコーディングされてもよい（インターレイヤ予測）。現在の画像のインターレイヤ予測に使用される参照画像は、インターレイヤ参照画像（ＩＬＲＰ）と呼ばれる。図６は、異なるレイヤの画像が異なる解像度を有する空間スケーラビリティのためのマルチレイヤコーディングの一例を示す。
【0131】
いくつかのビデオコーディングファミリーは、単一レイヤコーディングのためのプロファイルから分離されたプロファイルのスケーラビリティのサポートを提供する。スケーラブルビデオコーディング（ＳＶＣ）は、空間スケーラビリティ、時間スケーラビリティ、および品質スケーラビリティのサポートを提供する高度ビデオコーディング（ＡＶＣ）のスケーラブルな拡張である。ＳＶＣの場合、ＥＬ画像の各マクロブロック（ＭＢ）に、ＥＬ ＭＢが下位レイヤからのコロケーションブロックを使用して予測されるかどうかを示すフラグがシグナリングされる。コロケーションブロックからの予測は、テクスチャ、動きベクトル、および／またはコーディングモードを含み得る。ＳＶＣの実装は、変更されていないＡＶＣの実装を設計で直接再利用することはできない。ＳＶＣ ＥＬマクロブロックのシンタックスおよびデコード処理は、ＡＶＣシンタックスおよびデコード処理とは異なる。
【0132】
スケーラブルＨＥＶＣ（ＳＨＶＣ）は、空間スケーラビリティおよび品質スケーラビリティのサポートを提供するＨＥＶＣの拡張である。マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）は、マルチビュースケーラビリティのサポートを提供するＨＥＶＣの拡張である。３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）は、ＭＶ－ＨＥＶＣよりも高度で効率的な３Ｄビデオコーディングのサポートを提供するＨＥＶＣの拡張である。時間スケーラビリティは、単一レイヤＨＥＶＣコーデックの一体部分として含まれていてもよい。ＨＥＶＣのマルチレイヤ拡張では、レイヤ間予測に使用されるデコード画像は、同じＡＵからのもののみであり、長期参照画像（ＬＴＲＰ）として扱われる。このような画像は、現在のレイヤの他の時間参照画像とともに、参照画像リストの参照インデックスが割り当てられる。レイヤ間予測（ＩＬＰ）は、参照画像リストのレイヤ間参照画像を参照するように参照インデックスの値を設定することによって、予測ユニット（ＰＵ）レベルにおいて実現される。空間スケーラビリティは、ＩＬＲＰがエンコードまたはデコードされている現在の画像とは異なる空間解像度を有する場合に、参照画像またはその一部を再サンプリングする。参照画像の再サンプリングは、画像レベルまたはコーディングブロックレベルのいずれかで実現することができる。
【0133】
ＶＶＣは、階層化ビデオコーディングをサポートすることもできる。ＶＶＣビットストリームは、複数のレイヤを含み得る。レイヤはすべて互いに独立していてもよい。例えば、各レイヤは、レイヤ間予測を使用せずにコーディングすることができる。この場合、レイヤは、サイマルキャストレイヤとも呼ばれる。場合によっては、レイヤのうちのいくつかは、ＩＬＰを使用してコーディングされる。ＶＰＳのフラグは、レイヤがサイマルキャストレイヤであるかどうか、または一部のレイヤがＩＬＰを使用するかどうかを示すことができる。一部のレイヤがＩＬＰを使用する場合、レイヤ間のレイヤ依存関係もＶＰＳでシグナリングされる。ＶＶＣは、ＳＨＶＣおよびＭＶ－ＨＥＶＣとは異なり、ＯＬＳを指定しないことがある。ＯＬＳは、指定されたレイヤのセットを含み、レイヤのセットの中の１つまたは複数のレイヤは、出力レイヤであると指定される。出力レイヤは、出力されるＯＬＳのレイヤである。ＶＶＣの一部の実装では、レイヤがサイマルキャストレイヤの場合、１つのレイヤのみがデコードおよび出力のために選択されることがある。ＶＶＣの一部の実装では、すべてのレイヤを含むビットストリーム全体は、いずれかのレイヤがＩＬＰを使用する場合にデコードされるように指定される。さらに、レイヤのうちのある特定のレイヤが出力レイヤとして指定される。出力レイヤは、最上位レイヤのみ、すべてのレイヤ、または最上位レイヤ＋指示された下位レイヤのセットであると指示されてもよい。
【0134】
ビデオコーディング規格は、指定されたＨＲＤ適合性試験を通してビットストリームの適合性を検証するためのＨＲＤを指定することができる。ＳＨＶＣおよびＭＶ－ＨＥＶＣでは、ビットストリームの適合性をチェックするために、ビットストリーム適合性試験の３つのセットが利用される。ビットストリームは、ビットストリーム全体と呼ばれ、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍと表記される。ビットストリーム適合性試験の第１のセットは、ビットストリーム全体および対応する時間サブセットの適合性をテストするためのものである。このようなテストは、ビットストリーム全体に存在するＶＣＬ ＮＡＬユニットのすべてのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を含むアクティブＶＰＳによって指定されたレイヤセットがあるかどうかにかかわらず利用される。したがって、１つまたは複数のレイヤが出力セットに含まれない場合でも、ビットストリーム全体が適合性について常にチェックされる。ビットストリーム適合性試験の第２のセットは、アクティブＶＰＳによって指定されたレイヤセットおよび関連付けられた時間サブセットの適合性をテストするために利用される。すべてのこれらのテストについて、ベースレイヤ画像（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しい画像）のみがデコードされ、出力される。他の画像は、デコード処理が呼び出されたときにデコーダによって無視される。ビットストリーム適合性試験の第３のセットは、ＯＬＳおよびビットストリーム分割に基づいて、アクティブＶＰＳのＶＰＳ拡張部分によって指定されたＯＬＳおよび関連付けられた時間サブセットの適合性をテストするために利用される。ビットストリーム分割は、マルチレイヤビットストリームのＯＬＳの１つまたは複数のレイヤを含む。
【0135】
前述の態様は、ある特定の問題を含む。例えば、適合性試験の最初の２つのセットは、デコードされず、出力されないレイヤに適用されることがある。例えば、最下位レイヤ以外のレイヤはデコードされないことがあり、出力されないことがある。実際のアプリケーションでは、デコーダは、デコードされるデータのみを受信することができる。したがって、適合性試験の最初の２つのセットを利用することは、両方ともコーデック設計を複雑にし、適合性試験をサポートするために使用されるシーケンスレベルパラメータと画像レベルパラメータの両方を搬送するためのビットが無駄になる可能性がある。適合性試験の第３のセットは、ビットストリーム分割を伴う。このような分割は、マルチレイヤビットストリームのＯＬＳの１つまたは複数のレイヤに関連することがある。代わりに、適合性試験が常にレイヤごとに別々に動作する場合、ＨＲＤは大幅に簡略化される可能性がある。
【0136】
シーケンスレベルＨＲＤパラメータのシグナリングは、複雑な場合がある。例えば、シーケンスレベルＨＲＤパラメータは、ＳＰＳとＶＰＳの両方など、複数の場所でシグナリングされることがある。さらに、シーケンスレベルＨＲＤパラメータシグナリングは、冗長性を含むことがある。例えば、ビットストリーム全体について一般に同じである可能性がある情報が、各ＯＬＳの各レイヤで繰り返される可能性がある。さらに、例示的なＨＲＤスキームは、異なる配信スケジュールをレイヤごとに選択することを可能にする。このような配信スケジュールは、動作ポイントごとに各レイヤについてシグナリングされたスケジュールのリストから選択されることがあり、動作ポイントは、ＯＬＳまたはＯＬＳの時間サブセットである。このようなシステムは複雑である。さらに、例示的なＨＲＤスキームは、不完全なＡＵをバッファリング期間ＳＥＩメッセージに関連付けることを可能にする。不完全なＡＵは、ＣＶＳに存在するすべてのレイヤについての画像がないＡＵである。しかしながら、このようなＡＵでのＨＲＤ初期化には問題がある可能性がある。例えば、ＨＲＤは、不完全なＡＵに存在しないレイヤアクセスユニットを有するレイヤについては適切に初期化されないことがある。加えて、レイヤビットストリームを導出するためのデマルチプレクス処理は、ターゲットレイヤに適用されないネスティングされたＳＥＩメッセージを十分に効率的に除去できない場合がある。レイヤビットストリームは、ビットストリーム分割に１つのレイヤのみが含まれる場合に発生する。さらに、非スケーラブルなネスト化バッファリング期間、画像タイミング、およびデコードユニット情報ＳＥＩメッセージの適用可能なＯＬＳは、ビットストリーム全体に対して指定されることがある。しかしながら、非スケーラブルネスト化バッファリング期間は、代わりに０番目のＯＬＳに適用可能であるべきである。
【0137】
さらに、ＶＶＣの実装によっては、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいとき、ＨＤＲパラメータを推測することに失敗することがある。このような推測は、適切なＨＲＤ動作を可能にする場合がある。加えて、ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１およびｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値に等しいことが必要である場合がある。しかしながら、バッファリング期間および画像タイミングＳＥＩメッセージは、ネスティングされてもよく、複数のＯＬＳおよび複数のＯＬＳのそれぞれの複数のレイヤに適用可能であってもよい。このような文脈では、関与するレイヤは、複数のＳＰＳを参照することがある。したがって、システムは、どのＳＰＳが各レイヤに対応するＳＰＳであるかを追跡することが困難である場合がある。したがって、これらの２つのシンタックス要素の値は、代わりにｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値に基づいて制約されるべきである。さらに、異なるレイヤは異なる数のサブレイヤを有し得るので、これらの２つのシンタックス要素の値は、すべてのバッファリング期間および画像タイミングＳＥＩメッセージにおいて特定の値に常に等しいとは限らない可能性がある。
【0138】
また、以下の問題が、ＳＨＶＣ／ＭＶ－ＨＥＶＣとＶＶＣの両方においてＨＲＤ設計に関連付けられる。サブビットストリーム抽出処理は、ターゲットＯＬＳに必要でないネスティングされたＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットを除去しないことがある。
【0139】
一般に、本開示は、マルチレイヤビデオビットストリームにおける出力レイヤセットのためのＳＥＩメッセージのスケーラブルなネスティングのための手法について説明する。本技術の説明は、ＶＶＣに基づいている。しかしながら、本技術は、他のビデオコーデック仕様に基づく階層化ビデオコーディングにも適用される。
【0140】
上述の問題の１つまたは複数は、以下のように解決することができる。具体的には、本開示は、ＳＨＶＣおよびＭＶ－ＨＥＶＣと比較してはるかに単純なＨＲＤ動作を用いてＨＲＤパラメータの効率的なシグナリングを可能にする、ＨＲＤ設計のための方法および関連する態様を含む。以下に説明する解決策のそれぞれは、上述の問題に対応する。例えば、３セットの適合性試験を必要とする代わりに、本開示は、ＶＰＳによって指定されたＯＬＳの適合性をテストするために１セットの適合性試験のみを利用すればよい。さらに、ビットストリーム分割に基づく設計の代わりに、開示されるＨＲＤメカニズムは、ＯＬＳのレイヤごとに常に別々に動作することができる。さらに、すべてのＯＬＳのすべてのレイヤおよびサブレイヤに対してグローバルであるシーケンスレベルＨＲＤパラメータは、例えば、ＶＰＳにおいて１回だけシグナリングされればよい。加えて、すべてのＯＬＳのすべてのレイヤおよびサブレイヤに対して単一の数の配信スケジュールがシグナリングされればよい。ＯＬＳのすべてのレイヤに同じ配信スケジュールインデックスを適用することもできる。さらに、不完全なＡＵは、バッファリング期間ＳＥＩメッセージに関連付けられなくてもよい。不完全なＡＵとは、ＣＶＳに存在するすべてのレイヤについての画像を含まないＡＵである。これにより、ＯＬＳのすべてのレイヤについて、確実にＨＲＤを常に適切に初期化することができる。また、ＯＬＳにおいてターゲットレイヤに適用されないネスティングされたＳＥＩメッセージを効率的に除去するためのメカニズムが開示される。これは、レイヤビットストリームを導出するためのデマルチプレクス処理をサポートする。加えて、非スケーラブルネスト化バッファリング期間、画像タイミング、およびデコードユニット情報ＳＥＩメッセージの適用可能なＯＬＳは、０番目のＯＬＳであると指定されてもよい。さらに、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合に、ＨＤＲパラメータを推測することができ、適切なＨＲＤ動作が可能になる可能性がある。ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１およびｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲にあることが必要であることがある。このように、このようなパラメータは、すべてのバッファリング期間および画像タイミングＳＥＩメッセージについて特定の値である必要はない。また、サブビットストリーム抽出処理は、ターゲットＯＬＳに適用されないネスティングされたＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットを除去することができる。
【0141】
前述のメカニズムの例示的な実装は、以下の通りである。出力レイヤは、出力レイヤセットのうちの出力されるレイヤである。ＯＬＳは、指定されたレイヤのセットを含むレイヤのセットであり、レイヤのセット内の１つまたは複数のレイヤが出力レイヤであると指定される。ＯＬＳレイヤインデックスは、ＯＬＳ内のレイヤの、ＯＬＳ内のレイヤのリストに対するインデックスである。サブビットストリーム抽出処理は、ターゲットＯＬＳインデックスおよびターゲット最高ＴｅｍｐｏｒａｌＩｄによって決定される、ターゲットセットに属さないビットストリーム内のＮＡＬユニットが、ビットストリームから除去される指定された処理であり、出力サブビットストリームは、ターゲットセットに属するビットストリーム内のＮＡＬユニットを含む。
【0142】
例示的なビデオパラメータセットのシンタックスは、以下の通りである。
【表1】
【0143】
例示的なシーケンスパラメータセットＲＢＳＰのシンタックスは、以下の通りである。
【表2-1】
【表2-2】
【0144】
例示的なＤＰＢパラメータのシンタックスは、以下の通りである。
【表3】
【0145】
例示的な一般ＨＲＤパラメータのシンタックスは、以下の通りである。
【表4-1】
【表4-2】
【0146】
例示的なビデオパラメータセットＲＢＳＰのセマンティクスは、以下の通りである。ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇを１に等しく設定することで、各出力レイヤセットが１つのレイヤのみを含み、ビットストリーム中の各レイヤ自体が出力レイヤセットであり、含まれている単一のレイヤが唯一の出力レイヤであることが指定される。ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇを０に等しく設定することで、出力レイヤセットが２つ以上のレイヤを含み得ることが指定される。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は、１に等しいと推測される。そうではなく、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は、０に等しいと推測される。
【0147】
ｏｌｓ＿ｍｏｄｅ＿ｉｄｃを０に等しく設定することで、ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことが指定され、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、ＯＬＳの最上位レイヤのみが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃを１に等しく設定することで、ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことが指定され、ｉ番目のＯＬＳは、両端値を含めて、０～ｉのレイヤインデックスを有するレイヤを含み、各ＯＬＳについて、ＯＬＳのすべてのレイヤが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃを２に等しく設定することで、ＶＰＳによって指定されるＯＬＳの総数が明示的にシグナリングされることが指定され、各ＯＬＳについて、ＯＬＳの最上位レイヤおよび明示的にシグナリングされる下位レイヤのセットが出力される。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は、両端値を含めて、０～２の範囲にあるものとする。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値３は、予約されている。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は、２に等しいと推測される。ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１＋１は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合、ＶＰＳによって指定されたＯＬＳの総数を指定する。
【0148】
ＶＰＳによって指定されるＯＬＳの総数を指定する変数ＴｏｔａｌＮｕｍＯｌｓｓは、以下のように導出される。
【数1】
【0149】
ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合、ｊ番目のレイヤ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｊ］に等しいレイヤ）をｉ番目のＯＬＳに含めるかどうかを指定する。ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］を１に等しく設定することで、ｊ番目のレイヤをｉ番目のＯＬＳに含めることを指定する。ｌａｙｅｒ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］を０に等しく設定することで、ｊ番目のレイヤをｉ番目のＯＬＳに含めないことを指定する。
【0150】
ｉ番目のＯＬＳのレイヤ数を指定する変数ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］と、ｉ番目のＯＬＳのｊ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する変数ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］とは、以下のように導出される。
【数2】
【0151】
ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＯｌｓＬａｙｅＩｄｘ［ｉ］［ｊ］に等しいレイヤのＯＬＳレイヤインデックスを指定する変数ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］は、以下のように導出される。
【数3】
【0152】
各ＯＬＳにおける最下位レイヤは、独立したレイヤであるものする。言い換えると、両端値を含めて、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの範囲の各ｉについて、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［０］］］の値は、１に等しいものとする。各レイヤは、ＶＰＳによって指定された少なくとも１つのＯＬＳに含まれるものとする。言い換えると、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの範囲のｋについて、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ ｎｕｈＬａｙｅｒＩｄの特定の値がｖｐｓ＿ｌａｙｅｒ＿ｉｄ ［ｋ］のうちの１つに等しい各レイヤについて、ｉとｊの値のペアが少なくとも１つ存在してもよく、ここで、ｉは両端値を含めて、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの範囲にあり、ｊは両端値を含めて、ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］－１までの範囲にあり、ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］の値がｎｕｈＬａｙｅｒＩｄに等しくなるようになっている。ＯＬＳの任意のレイヤは、ＯＬＳの出力レイヤ、またはＯＬＳの出力レイヤの（直接または間接）参照レイヤであるものとする。
【0153】
ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２に等しい場合、ｉ番目のＯＬＳのｊ番目のレイヤが出力されるかどうかを指定する。１に等しいｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］は、ｉ番目のＯＬＳのｊ番目のレイヤが出力されることを指定する。ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］を０に等しく設定すると、ｉ番目のＯＬＳのｊ番目のレイヤが出力されないことを指定する。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、ｖｐｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値は１に等しいと推測される。値１が、ｉ番目のＯＬＳのｊ番目のレイヤが出力されることを指定し、値０が、ｉ番目のＯＬＳのｊ番目のレイヤが出力されないことを指定する変数ＯｕｔｐｕｔＬａｙｅｒＦｌａｇ［ｉ］［ｊ］は、以下のように導出される。
０番目のＯＬＳは、最下位レイヤ（ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤ）のみを含み、０番目のＯＬＳについては、含まれるレイヤのみが出力される。
【数4】
【0154】
ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇを０に等しく設定すると、ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素がＶＰＳ ＲＢＳＰシンタックス構造中に存在しないことを指定する。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇを１に等しく設定すると、ＶＰＳ ＲＢＳＰシンタックス構造中にｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素が存在することを指定する。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇは、任意の値を有することができる。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇの存在および値は、指定されたプロファイルに対するデコーダの適合性に影響を及ぼさない。デコーダは、すべてのｖｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素を無視するものとする。
【0155】
例示的なＤＰＢパラメータのセマンティクスは、以下の通りである。ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報と、任意選択で、最大画像並べ替え数および最大待ち時間（ＭＲＭＬ）情報とを提供する。各ＳＰＳは、１つまたはｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を含む。ＳＰＳの第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報とＭＲＭＬ情報の両方を含む。存在する場合、ＳＰＳの第２のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズ情報のみを含む。ＳＰＳの第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のＭＲＭＬ情報は、ＳＰＳを参照するレイヤがＯＬＳの出力レイヤであるかどうかにかかわらず、そのレイヤに適用される。ＳＰＳの第１のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のＤＰＢサイズ情報は、ＳＰＳを参照するレイヤがＯＬＳの出力レイヤである場合に、そのレイヤに適用される。ＳＰＳの第２のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に含まれるＤＰＢサイズ情報は、存在する場合、ＳＰＳを参照するレイヤがＯＬＳの非出力レイヤである場合に、そのレイヤに適用される。ＳＰＳが１つのｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のみを含む場合、非出力レイヤとしてのレイヤについてのＤＰＢサイズ情報は、出力レイヤとしてのレイヤについてのものと同じであると推測される。
【0156】
例示的な一般ＨＲＤパラメータのセマンティクスは、以下の通りである。ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＨＲＤ動作で使用されるＨＲＤパラメータを提供する。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを１に等しく設定すると、ｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、ＴｅｍｐｏｒａｌＩｄが両端値を含めて０からｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の範囲にあるサブレイヤ表現のためのＨＲＤパラメータを含むことを指定する。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを０に等しく設定すると、ｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、ＴｅｍｐｏｒａｌＩｄがｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］のみに等しいサブレイヤ表現のためのＨＲＤパラメータを含むことを指定する。ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０に等しいと推測される。ｓｕｂ＿ｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合、ＴｅｍｐｏｒａｌＩｄが両端値を含めて０からｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］－１の範囲にあるサブレイヤ表現のためのＨＲＤパラメータは、ＴｅｍｐｏｒａｌＩｄがｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］に等しいサブレイヤ表現のためのものと同じであると推測される。これらは、ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造においてｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｇｅｎｅｒａｌ＿ｆｌａｇ［ｉ］シンタックス要素から始まって条件文ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の直ぐ下のｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ｉ）シンタックス構造までのＨＲＤパラメータを含む。ｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＋１は、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中に存在するｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の数を指定する。ｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０～６３の範囲にあるものとする。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１は、ＣＶＳのビットストリーム中の代替のＣＰＢ仕様の数を指定する。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、両端値を含めて、０～３１の範囲にあるものとする。ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、ＨＲＤパラメータがｉ番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に含まれる最上位サブレイヤ表現のＴｅｍｐｏｒａｌＩｄを指定する。ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの範囲にあるものとする。ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しい場合、ｈｒｄ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は０に等しいと推測される。ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［ｉ］［ｊ］は、ｉ番目のＯＬＳのｊ番目のレイヤに適用されるｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造のインデックスを指定する。ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［［ｉ］［ｊ］の値は、両端値を含めて、０からｎｕｍ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１までの範囲にあるものとする。存在しない場合、ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［［０］［０］の値は０に等しいと推測される。
【0157】
例示的なサブビットストリーム抽出処理は、以下の通りである。この処理への入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲット最高ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔである。この処理の出力は、サブビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。入力ビットストリームに対するビットストリーム適合性の要件は、ＶＰＳによって指定されるＯＬＳのリストのインデックスに等しいｔａｒｇｅｔＯｌｓＩｄｘと、両端値を含めて、０～６の範囲の任意の値に等しいｔＩｄＴａｒｇｅｔとを入力とした、ビットストリームに関して本節で指定される処理の出力であり、以下の条件を満たす任意の出力サブビットストリームが適合性ビットストリームであることである。出力サブビットストリームは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］におけるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のそれぞれに等しい少なくとも１つのＶＣＬ ＮＡＬユニットを含むべきである。出力サブビットストリームは、ＴｅｍｐｏｒａｌＩｄがｔＩｄＴａｒｇｅｔに等しい少なくとも１つのＶＣＬ ＮＡＬユニットを含むべきである。適合性ビットストリームは、ＴｅｍｐｏｒａｌＩｄが０に等しい１つまたは複数のコーディングスライスＮＡＬユニットを含むが、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しいコーディングスライスＮＡＬユニットを含む必要はない。
【0158】
出力サブビットストリームＯｕｔＢｉｔｓｔｒｅａｍは、以下のように導出される。ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一となるように設定される。ＴｅｍｐｏｒａｌＩｄがｔＩｄＴａｒｇｅｔよりも大きいすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ｎｕｈ＿ｌａｙｅｒ＿ｉｄがリストＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］に含まれないすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しく、かつＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］がｔａｒｇｅｔＯｌｓＩｄｘに等しくなるように、ｉの値が両端値を含めて０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１までの範囲にないスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ｔａｒｇｅｔＯｌｓＩｄｘが０よりも大きい場合、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（画像タイミング）、または１３０（デコードユニット情報）に等しい非スケーラブルネスト化ＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。
【0159】
例示的なＨＲＤの一般的な態様は、以下の通りである。本セクションは、ビットストリームおよびデコーダ適合性をチェックするためのＨＲＤおよびその使用法を指定する。ビットストリーム適合性試験のセットは、ビットストリーム全体と呼ばれるビットストリームの適合性をチェックするために利用され、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍと表記される。ビットストリーム適合性試験のセットは、ＶＰＳによって指定された各ＯＬＳおよび各ＯＬＳの時間サブセットの適合性をテストするためのものである。各試験について、以下の順序付けられた段階が列挙された順序で適用される。
【0160】
ｔａｒｇｅｔＯｐと表記されるテスト対象の動作ポイントは、ＯＬＳインデックスｏｐＯｌｓＩｄｘおよび最高ＴｅｍｐｏｒａｌＩｄ値ｏｐＴｉｄを有するターゲットＯＬＳを選択することによって選択される。ｏｐＯｌｓＩｄｘの値は、両端値を含めて、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの範囲にある。ｏｐＴｉｄの値は、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの範囲にある。ｏｐＯｌｓＩｄｘおよびｏｐＴｉｄの値は、ｅｎｔｉｒｅＢｉｔｓｔｒｅａｍ、ｏｐＯｌｓＩｄｘ、およびｏｐＴｉｄを入力としてサブビットストリーム抽出処理を呼び出すことによる出力であるサブビットストリームＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅが以下の条件を満たすような値である。ｎｕｈ＿ｌａｙｅｒ＿ｉｄが、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅのＬａｙｅｒＩｄＩｎＯｌｓ［ｏｐＯｌｓＩｄｘ］のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のそれぞれに等しい少なくとも１つのＶＣＬ ＮＡＬユニットが存在する。ＴｅｍｐｏｒａｌＩｄが、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅのｏｐＴｉｄに等しい少なくとも１つのＶＣＬ ＮＡＬユニットが存在する。
【0161】
ＴａｒｇｅｔＯｌｓＩｄｘおよびＨｔｉｄの値は、ｔａｒｇｅｔＯｐのｏｐＯｌｓＩｄｘおよびｏｐＴｉｄにそれぞれ等しく設定される。ＳｃＩｄｘの値が選択される。選択されたＳｃＩｄｘは、両端値を含めて、０からｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１までの範囲にあるものとする。ＴａｒｇｅｔＯｌｓＩｄｘに適用可能なバッファリング期間ＳＥＩメッセージに関連付けられたＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ内のアクセスユニット（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか本明細書で指定されていない外部メカニズムを通じて利用可能）は、ＨＲＤ初期化点として選択され、ターゲットＯＬＳの各レイヤに対してアクセスユニット０と呼ばれる。
【0162】
後続の段階は、ターゲットＯＬＳ内のＯＬＳレイヤインデックスＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘを有する各レイヤに適用される。ターゲットＯＬＳに１つのレイヤのみがある場合、テスト対象レイヤビットストリームＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅと同一に設定される。そうでない場合、ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ、ＴａｒｇｅｔＯｌｓＩｄｘ、およびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘを入力としてレイヤビットストリームを導出するためのデマルチプレクス処理を呼び出すことによって導出され、出力はＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに割り当てられる。
【0163】
ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに適用可能なｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造およびｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、以下のように選択される。ＶＰＳ内の（またはユーザ入力などの外部メカニズムを通じて提供される）ｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｉｄｘ［ＴａｒｇｅｔＯｌｓＩｄｘ］［ＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］番目のｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選択される。選択されたｌａｙｅｒ＿ｌｅｖｅｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造において、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、条件ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の直ぐ後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（Ｈｔｉｄ）シンタックス構造が選択され、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しく設定される。そうでない場合（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである場合）、条件ｉｆ（ｇｅｎｅｒａｌ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは０に等しく設定される）または条件ｉｆ（ｇｅｎｅｒａｌ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは１に等しく設定される）のいずれかの直ぐ後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（Ｈｔｉｄ）シンタックス構造が選択される。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームであり、ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しい場合、フィラーデータＮＡＬユニットを除くすべての非ＶＣＬ ＮＡＬユニット、ならびにＮＡＬユニットストリームからバイトストリームを形成するすべてのｌｅａｄｉｎｇ＿０＿８ｂｉｔｓ、０＿ｂｙｔｅ、ｓｔａｒｔ＿ｃｏｄｅ＿ｐｒｅｆｉｘ＿ｏｎｅ＿３ｂｙｔｅｓ、およびｔｒａｉｌｉｎｇ＿０＿８ビットシンタックス要素は、存在する場合、ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍから廃棄され、残ったビットストリームがＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに割り当てられる。
【0164】
ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合、ＣＰＢは、アクセスユニットレベル（この場合、変数ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは０に等しく設定される）またはデコードユニットレベル（この場合、変数ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは１に等しく設定される）のいずれかで動作するようにスケジュールされる。そうでない場合、ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇは０に等しく設定され、ＣＰＢはアクセスユニットレベルで動作するようにスケジュールされる。アクセスユニット０から始まるＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍ内の各アクセスユニットについて、アクセスユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用されるバッファリング期間ＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか、外部メカニズムを通じて利用可能）が選択され、アクセスユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用される画像タイミングＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか、外部メカニズムを通じて利用可能）が選択され、そしてＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇが１に等しく、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０に等しい場合、アクセスユニット内のデコードユニットに関連付けられ、ＴａｒｇｅｔＯｌｓＩｄｘおよびＴａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに適用されるデコードユニット情報ＳＥＩメッセージ（ＴａｒｇｅｔＬａｙｅｒＢｉｔｓｔｒｅａｍに存在するか、外部メカニズムを通じて利用可能）が選択される。
【0165】
各適合性試験は、上記段階のそれぞれにおける１つのオプションの組合せを含む。ある段階に対して２つ以上のオプションが存在する場合、任意の特定の適合性試験に対して、１つのオプションのみが選択される。すべての段階のすべての可能な組合せが、適合性試験の全セットを形成する。テスト対象の各動作ポイントについて、実行されるビットストリーム適合性試験の数は、ｎ０＊ｎ１＊ｎ２＊ｎ３に等しく、ここで、ｎ０、ｎ１、ｎ２、およびｎ３の値は、次のように指定される。ｎ１は、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１に等しく、ｎ１は、バッファリング期間ＳＥＩメッセージに関連付けられたＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ内のアクセスユニットの数であり、ｎ２は、次のように導出される。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、ｎ０は１に等しい。そうでない場合（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである場合）、ｎ０は２に等しい。ｎ３は次のように導出される。ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合、ｎ３は１に等しい。そうでない場合、ｎ３は２に等しい。
【0166】
ＨＲＤは、ビットストリームデマルチプレクサ（任意選択で存在する）と、各レイヤのコーディング画像バッファ（ＣＰＢ）と、各レイヤの瞬時デコード処理と、各レイヤのサブＤＰＢを含むデコード画像バッファ（ＤＰＢ）と、出力クロッピングと、を含む。
【0167】
一例では、ＨＲＤは以下のように動作する。ＨＲＤはデコードユニットで０に初期化され、ＤＰＢの各ＣＰＢおよび各サブＤＰＢは空となるように設定される。各サブＤＰＢのサブＤＰＢフルネスは、０に等しく設定される。初期化後、ＨＲＤは、その後のバッファリング期間ＳＥＩメッセージによって再び初期化されることはない。指定された到着スケジュールに従って各ＣＰＢに流入したデコードユニットに関連付けられたデータは、ＨＳＳによって配信される。各デコードユニットに関連付けられたデータは、デコードユニットのＣＰＢ除去時間に瞬時デコード処理によって除去され、瞬時にデコードされる。デコードされた各画像は、ＤＰＢに配置される。デコード画像は、インター予測参照にもはや不要となり、出力にもはや不要となったときに、ＤＰＢから除去される。
【0168】
一例では、レイヤビットストリームを導出するためのデマルチプレクス処理は、以下の通りである。この処理への入力は、ビットストリームｉｎＢｉｔｓｔｒｅａｍ、ターゲットＯＬＳインデックスｔａｒｇｅｔＯｌｓＩｄｘ、およびターゲットＯＬＳレイヤインデックスｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘである。この処理の出力は、レイヤビットストリームｏｕｔＢｉｔｓｔｒｅａｍである。出力レイヤビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、以下のように導出される。ビットストリームｏｕｔＢｉｔｓｔｒｅａｍは、ビットストリームｉｎＢｉｔｓｔｒｅａｍと同一となるように設定される。ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＬａｙｅｒＩｄＩｎＯｌｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］に等しくないすべてのＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］がｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘに等しくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去し、両端値を含めて、０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｍｉｎｕｓ１まで、および両端値を含めて、０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］までの範囲にそれぞれｉおよびｊの値がない。ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］がｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘよりも小さくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去し、両端値を含めて、０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１まで、および両端値を含めて、０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］までの範囲にそれぞれｉおよびｊの値がある。ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］がＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］に等しくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが０に等しく、かつ両端値を含めて、０からＬａｙｅｒＩｄＩｎＯｌｓ－１までの範囲にｉの値がないスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］がＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ［ｔａｒｇｅｔＯｌｓＩｄｘ］［ｔａｒｇｅｔＯｌｓＬａｙｅｒＩｄｘ］よりも小さくなるように、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが０に等しく、かつス両端値を含めて、０からＬａｙｅｒＩｄＩｎＯｌｓ－１までの範囲にｉの少なくとも１つの値があるスケーラブルネスティングＳＥＩメッセージを含むすべてのＳＥＩ ＮＡＬユニットをｏｕｔＢｉｔｓｔｒｅａｍから除去する。
【0169】
例示的なバッファリング期間ＳＥＩメッセージシンタックスは、以下の通りである。
【表5】
【0170】
例示的なスケーラブルネスティングＳＥＩメッセージシンタックスは、以下の通りである。
【表6-1】
【表6-2】
【0171】
例示的な一般的なＳＥＩペイロードセマンティクスは、以下の通りである。以下は、非スケーラブルネスト化ＳＥＩメッセージの適用可能なレイヤに（ＯＬＳのコンテキストにおいて、または一般的に）適用される。非スケーラブルネスト化ＳＥＩメッセージの場合、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（画像タイミング）、または１３０（デコードユニット情報）に等しい場合、非スケーラブルネスト化ＳＥＩメッセージは、０番目のＯＬＳのコンテキストにおいて最下位レイヤのみに適用される。非スケーラブルネスト化ＳＥＩメッセージの場合、ｐａｙｌｏａｄＴｙｐｅがＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔの中のいずれかの値に等しい場合、非スケーラブルネスト化ＳＥＩメッセージは、ＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄが、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいレイヤにのみ適用される。
【0172】
例示的なバッファリング期間ＳＥＩメッセージのセマンティクスは、以下の通りである。バッファリング期間ＳＥＩメッセージは、デコード順で関連付けられたアクセスユニットの位置でＨＲＤを初期化するための初期ＣＰＢ除去遅延および初期ＣＰＢ除去遅延オフセット情報を提供する。バッファリング期間ＳＥＩメッセージが存在する場合において、ある画像が、０に等しいＴｅｍｐｏｒａｌＩｄを有し、ＲＡＳＬまたはＲＡＤＬ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｄｅｃｏｄａｂｌｅ ｌｅａｄｉｎｇ）画像でないときは、その画像は、ｎｏｔＤｉｓｃａｒｄａｂｌｅＰｉｃ画像であると言われる。現在の画像がデコード順でビットストリームの最初の画像でない場合、ｐｒｅｖＮｏｎＤｉｓｃａｒｄａｂｌｅＰｉｃを、ＴｅｍｐｏｒａｌＩｄが０に等しく、ＲＡＳＬまたはＲＡＤＬ画像ではない、デコード順で先行する画像であるとする。
【0173】
バッファリング期間ＳＥＩメッセージの存在は、以下のように指定される。ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しいかまたはＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しい場合、ＣＶＳ内の各アクセスユニットに対して以下が適用される。アクセスユニットがＩＲＡＰまたはＧｒａｄｕａｌ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ（ＧＤＲ）アクセスユニットである場合、動作ポイントに適用可能なバッファリング期間ＳＥＩメッセージは、アクセスユニットに関連付けられるものとする。そうでない場合、アクセスユニットがｎｏｔＤｉｓｃａｒｄａｂｌｅＰｉｃを含む場合、動作ポイントに適用可能なバッファリング期間ＳＥＩメッセージは、アクセスユニットに関連付けられてもよく、関連付けられなくてもよい。そうでない場合、アクセスユニットは、動作ポイントに適用可能なバッファリング期間ＳＥＩメッセージに関連付けられないものとする。そうでない場合（ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇ とＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇの両方が０に等しい場合）、ＣＶＳ内のどのアクセスユニットも、バッファリング期間ＳＥＩメッセージに関連付けられないものとする。いくつかのアプリケーションでは、バッファリング期間ＳＥＩメッセージが頻繁に存在することが望ましい場合がある（例えば、ＩＲＡＰ画像もしくは非ＩＲＡＰ画像におけるランダムアクセスの場合、またはビットストリームスプライシングの場合）。アクセスユニットの画像がバッファリング期間ＳＥＩメッセージに関連付けられている場合、アクセスユニットは、ＣＶＳに存在するレイヤのそれぞれの画像を有するものとし、アクセスユニットの各画像は、バッファリング期間ＳＥＩメッセージに関連付けられるものとする。
【0174】
ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、バッファリング期間ＳＥＩメッセージでＣＰＢ除去遅延とＣＢＰ除去オフセットが示される時間サブレイヤの最大数を指定する。ｂｐ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの範囲にあるものとする。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１は、ｂｐ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合のｉ番目の時間サブレイヤのｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］［ｊ］とｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］［ｊ］のシンタックス要素ペアの数を指定し、ｂｐ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合のｉ番目の時間サブレイヤのｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ｉ］［ｊ］とｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ｉ］［ｊ］のシンタックス要素ペアの数を指定する。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、両端値を含めて、０～３１の範囲にあるものとする。ｂｐ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値に等しいものとする。
【0175】
例示的な画像タイミングＳＥＩメッセージのセマンティクスは、以下の通りである。画像タイミングＳＥＩメッセージは、ＳＥＩメッセージに関連付けられたアクセスユニットのＣＰＢ除去遅延およびＤＰＢ出力遅延情報を提供する。現在のアクセスユニットに適用可能なバッファリング期間ＳＥＩメッセージのｂｐ＿ｎａｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇまたはｂｐ＿ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合、変数ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇは１に等しく設定される。そうでない場合、ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇは０に等しく設定される。画像タイミングＳＥＩメッセージの存在は、以下のように指定される。ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが１に等しい場合、画像タイミングＳＥＩメッセージは、現在のアクセスユニットに関連付けられるものとする。そうでない場合（ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが０に等しい場合）、現在のアクセスユニットに関連付けられた画像タイミングＳＥＩメッセージは存在しないものとする。画像タイミングＳＥＩメッセージシンタックス中のＴｅｍｐｏｒａｌＩｄは、画像タイミングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄである。ｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、ＣＰＢ除去遅延情報が画像タイミングＳＥＩメッセージに含まれる最上位サブレイヤ表現のＴｅｍｐｏｒａｌＩｄを指定する。ｐｔ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの範囲にあるものとする。
【0176】
例示的なスケーラブルネスティングＳＥＩメッセージのセマンティクスは、以下の通りである。スケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージを、特定のＯＬＳのコンテキスト内の特定のレイヤ、またはＯＬＳのコンテキスト内にない特定のレイヤと関連付けるためのメカニズムを提供する。スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のＳＥＩメッセージを含む。スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージは、スケーラブルネスト化ＳＥＩメッセージとも呼ばれる。ビットストリーム適合性の要件は、スケーラブルネスティングＳＥＩメッセージ中にＳＥＩメッセージを含めることに対して以下の制限が適用されることである。ｐａｙｌｏａｄＴｙｐｅが１３２（デコードピクチャハッシュ）または１３３（スケーラブルネスティング）に等しいＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないものとする。スケーラブルネスティングＳＥＩメッセージが、バッファリング期間、画像タイミング、またはデコードユニット情報ＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージは、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（画像タイミング）、または１３０（デコードユニット情報）に等しくないいかなる他のＳＥＩメッセージも含まないものとする。
【0177】
ビットストリーム適合性の要件は、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値に対して以下の制限が適用されることである。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（画像タイミング）、１３０（デコードユニット情報）、１４５（従属ＲＡＰ指示）、または１６８（フレームフィールド情報）に等しいＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいものとする。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが１３２（デコード画像ハッシュ）に等しいＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいものとする。
【0178】
ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇを１に設定して、スケーラブルネスト化ＳＥＩメッセージが特定のＯＬＳのコンテキストで特定のレイヤに適用されることを指定する。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇを０に設定して、スケーラブルネスト化ＳＥＩメッセージが一般に（ＯＬＳのコンテキストではなく）特定のレイヤに適用されることを指定する。ビットストリーム適合性の要件は、以下の制限がｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値に適用されることである。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（画像タイミング）、または１３０（デコードユニット情報）に等しいＳＥＩメッセージを含む場合、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は１に等しいものとする。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅがＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔの値に等しいＳＥＩメッセージを含む場合、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は０に等しいものとする。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト化ＳＥＩメッセージが適用されるＯＬＳの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの範囲にあるものとする。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合にスケーラブルネスト化ＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含めて、０からＴｏｔａｌＮｕｍＯｌｓｓ－２までの範囲にあるものとする。変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出される。
【数5】
【0179】
ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ ｉ ］＋１は、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストにおいてスケーラブルネスト化ＳＥＩメッセージが適用されるレイヤの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含めて、０からＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－１までの範囲にあるものとする。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合に、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストでてスケーラブルネスト化ＳＥＩメッセージが適用されるｊ番目のレイヤのＯＬＳレイヤインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含めて、０からＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｎｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－２までの範囲にあるものとする。変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］は、以下のように導出される。
【数6】
【0180】
両端値を含めて、０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１までの範囲のｉについてＬａｙｅｒＩｄＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］［ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［０］］のすべての値の中で最も小さい値は、現在のＳＥＩ ＮＡＬユニット（スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニット）のｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいものとする。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスト化ＳＥＩメッセージが、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいかまたはそれに等しいすべてのレイヤに一般的に適用されることを指定するために１に設定される。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスト化ＳＥＩメッセージが、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいかまたはそれに等しいすべてのレイヤに一般的に適用されてもされなくてもよいことを指定するために、０に設定される。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト化ＳＥＩメッセージが一般的に適用されるレイヤの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］までの範囲にあるものとし、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合にスケーラブルネスト化ＳＥＩメッセージが一般的に適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］の値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいものとし、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスト化ＳＥＩメッセージが一般的に適用されるレイヤの数を指定する変数ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓと、スケーラブルネスト化ＳＥＩメッセージが一般的に適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定する、両端値を含めて、０からＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１までの範囲のｉについてのリストＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］とは、以下のように導出され、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。
【数7】
【0181】
ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１＋１は、スケーラブルネスト化ＳＥＩメッセージの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１の値は、両端値を含めて、０～６３の範囲にあるものとする。ｎｅｓｔｉｎｇ＿０＿ｂｉｔは０に等しいものとする。
【0182】
図９は、例示的なビデオコーディングデバイス９００の概略図である。ビデオコーディングデバイス９００は、本明細書に記載される開示された実施例／実施形態を実装するのに適している。ビデオコーディングデバイス９００は、下流ポート９２０、上流ポート９５０、ならびに／あるいは、ネットワークを介して上流および／または下流にデータを通信するための送信機および／または受信機を含むトランシーバユニット（Ｔｘ／Ｒｘ）９１０を備える。ビデオコーディングデバイス９００はまた、データを処理するための論理ユニットおよび／または中央処理ユニット（ＣＰＵ）を含むプロセッサ９３０と、データを記憶するためのメモリ９３２とを含む。ビデオコーディングデバイス９００はまた、電気、光、またはワイヤレス通信ネットワークを介したデータの通信のために上流ポート９５０および／または下流ポート９２０に結合された電気、光－電気（ＯＥ）コンポーネント、電気－光（ＥＯ）コンポーネント、および／またはワイヤレス通信コンポーネントを備えることができる。ビデオコーディングデバイス９００はまた、ユーザとの間でデータを通信するための入力および／または出力（Ｉ／Ｏ）デバイス９６０を含み得る。Ｉ／Ｏデバイス９６０は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力デバイスを含み得る。Ｉ／Ｏデバイス９６０はまた、キーボード、マウス、トラックボールなどの入力デバイス、および／またはこのような出力デバイスと対話するための対応するインターフェースを含み得る。
【0183】
プロセッサ９３０は、ハードウェアおよびソフトウェアによって実装される。プロセッサ９３０は、１つまたは複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、およびデジタル信号プロセッサ（ＤＳＰ）として実装されてもよい。プロセッサ９３０は、下流ポート９２０、Ｔｘ／Ｒｘ９１０、上流ポート９５０、およびメモリ９３２と通信する。プロセッサ９３０は、コーディングモジュール９１４を備える。コーディングモジュール９１４は、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００を利用することができる方法１００、１０００、および１１００など、本明細書に記載される開示された実施形態を実装する。コーディングモジュール９１４はまた、本明細書に記載される任意の他の方法／メカニズムを実装することができる。さらに、コーディングモジュール９１４は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはＨＲＤ５００を実装することができる。例えば、コーディングモジュール９１４は、ＨＲＤを実装するために利用されてもよい。さらに、コーディングモジュール９１４は、パラメータをビットストリームにエンコードするために利用され、ＨＲＤ適合性チェック処理をサポートすることができる。したがって、コーディングモジュール９１４は、上述の問題のうちの１つまたは複数に対処するためのメカニズムを実行するように構成されてもよい。したがって、コーディングモジュール９１４は、ビデオデータをコーディングする場合に、ビデオコーディングデバイス９００に追加の機能および／またはコーディング効率を提供させる。したがって、コーディングモジュール９１４は、ビデオコーディングデバイス９００の機能を向上させるとともに、ビデオコーディング技術に特有の問題にも対処する。さらに、コーディングモジュール９１４は、ビデオコーディングデバイス９００の異なる状態への変換をもたらす。あるいは、コーディングモジュール９１４は、メモリ９３２に記憶された、プロセッサ９３０によって実行される命令として（例えば、非一時的媒体に記憶されたコンピュータプログラム製品として）実装することができる。
【0184】
メモリ９３２は、ディスク、テープドライブ、ソリッドステートドライブ、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ターナリ連想メモリ（ＴＣＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）などの１つまたは複数のメモリタイプを備える。メモリ９３２は、オーバーフローデータ記憶デバイスとして使用され、プログラムが実行のために選択された場合、そのようなプログラムを記憶し、プログラム実行中に読み取られる命令およびデータを記憶することができる。
【0185】
図１０は、すべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含む、ビットストリーム８００などのビットストリームにビデオシーケンスをエンコードする例示的な方法１０００のフローチャートである。方法１０００は、方法１００を実行する場合に、コーデックシステム２００、エンコーダ３００、および／またはビデオコーディングデバイス９００などのエンコーダによって利用されてもよい。さらに、方法１０００は、ＨＲＤ５００上で動作することができ、したがって、マルチレイヤビデオシーケンス６００および／または７００に対して適合性試験を実行することができる。
【0186】
方法１０００は、エンコーダがビデオシーケンスを受信し、例えばユーザ入力に基づいて、そのビデオシーケンスをマルチレイヤビットストリームにエンコードすることを決定したときに開始することができる。段階１００１において、エンコーダは、１つまたは複数のＯＬＳを含むビットストリームをエンコードする。ＯＬＳのそれぞれは、１つまたは複数のコーディングビデオシーケンスを含み得る。
【0187】
段階１００３において、エンコーダは、ＶＰＳをビットストリームにエンコードする。ＶＰＳは、段階１００１においてエンコードされるＯＬＳを指定する。さらに、ＶＰＳは、ＶＰＳによって指定されるすべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含む。例えば、シーケンスレベルＨＲＤパラメータは、ＯＬＳに含まれるコーディングビデオシーケンスのためのＨＲＤ機能性を記述することができる。具体例では、ＶＰＳのシーケンスレベルＨＲＤパラメータは、一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造に含まれる。ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造は、ＨＲＤ動作で使用されるパラメータを提供する。ＨＲＤ動作は、ビットストリーム適合性試験のセットを含み得る。ＶＰＳのシーケンスレベルＨＲＤパラメータは、デコードユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含み得る。ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＨＲＤがＡＵレベルまたはＤＵレベルで動作するようにスケジュールされるときに、１に設定され得る。ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＨＲＤがＡＵレベルで動作するようにスケジュールされるときに、０に設定され得る。シーケンスレベルＨＲＤパラメータはまた、ＨＲＤコーディング画像バッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）を含み得る。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１は、ＨＲＤによって使用され得るＣＰＢ配信スケジュール５６１などの代替のＣＰＢ配信スケジュールの数を指定することができる。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、両端値を含めて、０～３１の範囲に制約される。ＶＰＳは、サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をさらに含み得る。ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、両端値を含めて、０から最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）までの範囲の時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、１に設定され得る。ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｉ番目のレイヤＨＲＤパラメータシンタックス構造がｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］のみに等しい時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、０に設定され得る。見て分かるように、ＶＰＳは多くのＨＲＤパラメータを含み得る。ＶＰＳは、ビットストリームにおいて１回シグナリングされ得る。したがって、シーケンスレベルＨＲＤパラメータも１回シグナリングされる。さらに、シーケンスレベルＨＲＤパラメータは、すべてのＯＬＳで同じになるように制約されてもよい。このようにして、冗長なシグナリングが低減され、コーディング効率が向上する。
【0188】
段階１００５において、ＨＲＤは、ＶＰＳからシーケンスレベルＨＲＤパラメータを取得する。ＨＲＤは、次いで、シーケンスレベルＨＲＤパラメータに基づいてビットストリーム適合性試験のセットを実行する。例えば、ＨＲＤは、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造からシーケンスレベルＨＲＤパラメータを取得することができる。ＨＲＤは、ＤＵレベルまたはＡＵレベルに対して適合性試験を実行するかどうかを決定するために、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを取得することができる。ＨＲＤはまた、適合性試験を実行するときに利用すべきＣＰＢ配信スケジュールの数を決定するためにｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１を利用することができる。ＨＲＤはまた、ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを利用して、特定のサブレイヤが固有のＨＲＤパラメータを有するかどうか、またはそのようなサブレイヤが他のサブレイヤとＨＲＤパラメータを共有するかどうかを決定することができる。次いで、ＨＲＤは、このデータに基づいてＨＲＤ試験を実行することができる。ＨＲＤは、エンコーダと同じプロセッサ上で動作することができる。別の例では、ＨＲＤは、エンコーダと同じシャーシ内のプロセッサ上で動作することができる。別の例では、ＨＲＤは、エンコーダと同じネットワーク内のプロセッサ上で動作することができる。シーケンスレベルＨＲＤパラメータはＶＰＳに含まれるため、シーケンスレベルＨＲＤパラメータは、ＨＲＤによって１回読み取られてもよく、これにより、ＨＲＤ動作を簡略化することができる。
【0189】
段階１００７において、エンコーダは、デコーダに向けて通信するためのビットストリームを記憶する。ビットストリーム中のシーケンスレベルＨＲＤパラメータの存在は、デコーダが、ＣＰＢ配信スケジュール、ＤＰＢ配信スケジュールなどの配信スケジュールに従ってビットストリームをデコードすることが可能であることを示すことができる。
【0190】
図１１は、例えばＨＲＤ５００などのＨＲＤによって適合性からチェックされるすべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含む、ビットストリーム８００などのビットストリームからビデオシーケンスをデコードする例示的な方法１１００のフローチャートである。方法１１００は、方法１００を実行する場合に、コーデックシステム２００、デコーダ４００、および／またはビデオコーディングデバイス９００などのデコーダによって利用されてもよい。さらに、方法１１００は、マルチレイヤビデオシーケンス６００および／または７００を含むビットストリーム上で動作してもよい。
【0191】
方法１１００は、デコーダが、例えば方法１０００の結果として、マルチレイヤビデオシーケンスを表すコーディングデータのビットストリームを受信し始めるときに開始することができる。段階１１０１において、デコーダは、１つまたは複数のＯＬＳを含むビットストリームを受信する。ＯＬＳはそれぞれ、１つまたは複数のコーディングされたビデオシーケンスを含み得る。ビットストリームはまた、ＶＰＳを含む。ＶＰＳは、ＯＬＳを指定する。さらに、ＶＰＳは、ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含む。ビットストリーム中のシーケンスレベルＨＲＤパラメータの存在は、デコーダが、ＣＰＢおよび／またはＤＰＢ配信スケジュールなどの配信スケジュールに従ってビットストリームをデコードすることが可能であることを示す。シーケンスレベルＨＲＤパラメータは、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造に含まれてもよい。ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造は、ＨＲＤ動作で使用されるパラメータを提供することができる。ＨＲＤ動作は、エンコーダ上で動作するＨＲＤによって実行されるビットストリーム適合性試験のセットを含み得る。シーケンスレベルＨＲＤパラメータは、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含み得る。ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＨＲＤがＡＵレベルまたはＤＵレベルで動作するようにスケジュールされるときに、１に設定されてもよい。ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＨＲＤがＡＵレベルで動作するようにスケジュールされるときに、０に設定されてもよい。シーケンスレベルＨＲＤパラメータは、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１シンタックス要素を含むこともできる。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１は、ＨＲＤによって使用され得るＣＰＢ配信スケジュール５６１などの代替のＣＰＢ配信スケジュールの数を指定することができる。ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値は、両端値を含めて、０～３１の範囲に制約される。ＶＰＳは、ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをさらに含み得る。ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、両端値を含めて、０から最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）までの範囲の時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、１に設定され得る。ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｉ番目のレイヤＨＲＤパラメータシンタックス構造がｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］のみに等しい時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、０に設定され得る。見て分かるように、ＶＰＳは多くのＨＲＤパラメータを含み得る。ＶＰＳは、ビットストリームにおいて１回シグナリングされ得る。したがって、シーケンスレベルＨＲＤパラメータも１回シグナリングされる。さらに、シーケンスレベルＨＲＤパラメータは、すべてのＯＬＳで同じになるように制約されてもよい。このようにして、冗長なシグナリングが低減され、これにより、コーディング効率が向上し、デコーダによって受信されるビットストリームのサイズが低減する。
【0192】
段階１１０３において、デコーダは、ＯＬＳに含まれるコーディングビデオシーケンスから画像をデコードすることができる。段階１１０５において、デコーダは、デコードされたビデオシーケンスの一部として表示するためにデコードされた画像を転送することができる。
【0193】
図１２は、すべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含むビットストリームを使用してビデオシーケンスをコーディングするための例示的なシステム１２００の概略図である。システム１２００は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはビデオコーディングデバイス９００などのエンコーダおよびデコーダによって実装されてもよい。さらに、システム１２００は、ＨＲＤ５００を利用して、マルチレイヤビデオシーケンス６００、マルチレイヤビデオシーケンス７００、および／またはビットストリーム８００に対して適合性試験を実行することができる。加えて、システム１２００は、方法１００、１０００、および／または１１００を実装する場合に利用されてもよい。
【0194】
システム１２００は、ビデオエンコーダ１２０２を含む。ビデオエンコーダ１２０２は、１つまたは複数のＯＬＳを含むビットストリームをエンコードするためのエンコードモジュール１２０３を備える。エンコードモジュール１２０３はさらに、ＯＬＳを指定するＶＰＳをビットストリームにエンコードするためのものであり、ＶＰＳは、ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含む。ビデオエンコーダ１２０２は、シーケンスレベルＨＲＤパラメータに基づいてビットストリーム適合性試験のセットを実行するためのＨＲＤモジュール１２０５をさらに備える。ビデオエンコーダ１２０２は、デコーダに向けて通信するためのビットストリームを記憶するための記憶モジュール１２０６をさらに備える。ビデオエンコーダ１２０２は、ビットストリームをビデオデコーダ１２１０に向けて送信するための送信モジュール１２０７をさらに備える。ビデオエンコーダ１２０２は、方法１０００の段階のいずれかを実行するようにさらに構成されてもよい。
【0195】
システム１２００はまた、ビデオデコーダ１２１０を含む。ビデオデコーダ１２１０は、１つまたは複数のＯＬＳと、ＯＬＳを指定し、ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベルＨＲＤパラメータを含むＶＰＳと、を含むビットストリームを受信するための受信モジュール１２１１を備える。ビデオデコーダ１２１０は、ＯＬＳから画像をデコードするためのデコードモジュール１２１３をさらに備える。ビデオデコーダ１２１０は、デコードされたビデオシーケンスの一部として表示するために画像を転送するための転送モジュール１２１５をさらに備える。ビデオデコーダ１２１０は、方法１１００の段階のいずれかを実行するようにさらに構成されてもよい。
【0196】
第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または別の媒体を除いて、介在するコンポーネントがない場合、第１のコンポーネントは、第２のコンポーネントに直接結合される。第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または別の媒体以外の介在するコンポーネントが存在する場合、第１のコンポーネントは、第２のコンポーネントに間接的に結合される。用語「結合された」およびその変形は、直接結合されたものおよび間接的に結合されたものの両方を含む。用語「約」の使用は、特に明記しない限り、後続する数の±１０％を含む範囲を意味する。
【0197】
本明細書に記載される例示的な方法の段階は、必ずしも記載された順序で実行される必要はないことも理解されるべきであり、このような方法の段階の順序は、単なる例示であると理解されるべきである。同様に、本開示の様々な実施形態と一致する方法において、追加の段階がそのような方法に含まれてもよく、特定の段階が省略または組み合わされてもよい。
【0198】
本開示においていくつかの実施形態が提供されているが、開示されたシステムおよび方法は、本開示の精神または範囲から逸脱することなく、多くの他の特定の形態で具現化され得ることが理解され得る。本実施例は、例示であって限定的なものではないと考えられるべきであり、本発明は、本明細書で提供された詳細に限定されるべきではない。例えば、様々な要素またはコンポーネントは、別のシステムにおいて組み合わされるか、もしくは統合されてもよく、または特定の特徴が省略されるか、もしくは実装されなくてもよい。
【0199】
加えて、離散的または別個のものとして様々な実施形態において説明および図示された技術、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、コンポーネント、技術、または方法と組み合わせられるか、または統合されてもよい。変更、置換、および代替の他の例は、当業者であれば確認可能であり、本明細書に開示される精神および範囲から逸脱することなく行うことができる。
［他の考えられる項目］
（項目１）
デコーダによって実装される方法であって、
前記デコーダの受信機によって、１つまたは複数の出力レイヤセット（ＯＬＳ）とビデオパラメータセット（ＶＰＳ）とを含むビットストリームを受信する段階であって、前記ＶＰＳが、前記複数のＯＬＳを指定し、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む、段階と、
前記デコーダのプロセッサによって、前記複数のＯＬＳから画像をデコードする段階と、
を含む方法。
（項目２）
前記シーケンスレベルＨＲＤパラメータが、一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造に含まれ、前記ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造が、ＨＲＤ動作において使用されるパラメータを提供する、項目１に記載の方法。
（項目３）
前記ＨＲＤ動作が、ＨＲＤによって実行されるビットストリーム適合性試験のセットを含む、項目１から２のいずれかに記載の方法。
（項目４）
前記シーケンスレベルＨＲＤパラメータが、デコードユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含み、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤがアクセスユニット（ＡＵ）レベルまたはデコードユニット（ＤＵ）レベルで動作するようにスケジュールされるときに、１に設定され、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤが前記ＡＵレベルで動作するようにスケジュールされるときに、０に設定される、項目１から３のいずれか１つに記載の方法。
（項目５）
前記シーケンスレベルＨＲＤパラメータが、ＨＲＤコーディング画像バッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）を含み、前記ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１が、代替のコーディング画像バッファ（ＣＰＢ）配信スケジュールの数を指定し、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値が、両端値を含めて、０～３１までの範囲に制約される、項目１から４のいずれか１つに記載の方法。
（項目６）
前記ＶＰＳが、サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をさらに含み、前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、両端値を含めて、０から最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）までの範囲の時間識別子（ＩＤ）を有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、１に設定され、前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造がｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］のみに等しい時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、０に設定される、項目１から５のいずれか１つに記載の方法。
（項目７）
前記ビットストリーム中の前記シーケンスレベルＨＲＤパラメータの存在が、前記デコーダが配信スケジュールに従って前記ビットストリームをデコードすることが可能であることを示す、項目１から６のいずれか１つに記載の方法。
（項目８）
エンコーダによって実装される方法であって、
前記エンコーダのプロセッサによって、１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームをエンコードする段階と、
前記プロセッサによって、前記複数のＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームにエンコードする段階であって、前記ＶＰＳが、前記ＶＰＳによって指定されるすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む、段階と、
前記プロセッサによって、前記シーケンスレベルＨＲＤパラメータに基づいてビットストリーム適合性試験のセットを実行する段階と、
を含む方法。
（項目９）
前記シーケンスレベルＨＲＤパラメータが、一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造に含まれ、前記ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造が、ＨＲＤ動作において使用されるパラメータを提供する、項目８に記載の方法。
（項目１０）
前記ＨＲＤ動作が、ビットストリーム適合性試験の前記セットを含み、前記ビットストリーム適合性試験が、前記プロセッサ上で動作するＨＲＤによって実行される、項目８から９のいずれかに記載の方法。
（項目１１）
前記シーケンスレベルＨＲＤパラメータが、デコードユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含み、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤがアクセスユニット（ＡＵ）レベルまたはデコードユニット（ＤＵ）レベルで動作するようにスケジュールされるときに、１に設定され、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤが前記ＡＵレベルで動作するようにスケジュールされるときに、０に設定される、項目８から１０のいずれか１つに記載の方法。
（項目１２）
前記シーケンスレベルＨＲＤパラメータが、ＨＲＤコーディング画像バッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）を含み、前記ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１が、代替のコーディング画像バッファ（ＣＰＢ）配信スケジュールの数を指定し、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値が、両端値を含めて、０～３１までの範囲に制約される、項目８から１１のいずれか１つに記載の方法。
（項目１３）
前記ＶＰＳが、サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をさらに含み、前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、両端値を含めて、０から最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）までの範囲の時間識別子（ＩＤ）を有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、１に設定され、前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造がｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］のみに等しい時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、０に設定される、項目８から１２のいずれか１つに記載の方法。
（項目１４）
前記ビットストリーム中の前記シーケンスレベルＨＲＤパラメータの存在が、前記デコーダが配信スケジュールに従って前記ビットストリームをデコードすることが可能であることを示す、項目８から１３のいずれか１つに記載の方法。
（項目１５）
ビデオコーディングデバイスであって、
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを備え、前記プロセッサ、受信機、メモリ、および送信機が、項目１から１４のいずれか１つに記載の方法を実行するように構成されている、
ビデオコーディングデバイス。
（項目１６）
ビデオコーディングデバイスが使用するためのコンピュータプログラム製品を備える非一時的コンピュータ可読媒体であって、前記コンピュータプログラム製品がプロセッサによって実行された場合、前記ビデオコーディングデバイスに項目１から１４のいずれか１つに記載の方法を実行させるように、前記非一時的コンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を備える、非一時的コンピュータ可読媒体。
（項目１７）
デコーダであって、
１つまたは複数の出力レイヤセット（ＯＬＳ）とビデオパラメータセット（ＶＰＳ）とを含むビットストリームを受信するための受信手段であって、前記ＶＰＳが、前記複数のＯＬＳを指定し、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む、受信手段と、
前記複数のＯＬＳから画像をデコードするためのデコード手段と、
デコードされたビデオシーケンスの一部として表示するために前記画像を転送するための転送手段と、
を備えるデコーダ。
（項目１８）
前記デコーダが項目１～７のいずれか１つに記載の方法を実行するようにさらに構成されている、項目１７に記載のデコーダ。
（項目１９）
エンコーダであって、
１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームをエンコードし、
前記複数のＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームにエンコードする、
ためのエンコード手段であって、前記ＶＰＳが、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む、
エンコード手段と、
前記シーケンスレベルＨＲＤパラメータに基づいてビットストリーム適合性試験のセットを実行するためのＨＲＤ手段と、
デコーダに向けて通信するための前記ビットストリームを記憶するための記憶手段と、
を備えるエンコーダ。
（項目２０）
項目８から１４のいずれか１つに記載の方法を実行するようにさらに構成されている、項目１９に記載のエンコーダ。
［他の考えられる項目］
（項目１）
デコーダによって実装される方法であって、
前記デコーダの受信機によって、１つまたは複数の出力レイヤセット（ＯＬＳ）とビデオパラメータセット（ＶＰＳ）とを含むビットストリームを受信する段階であって、前記ＶＰＳが、前記複数のＯＬＳを指定し、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む、段階と、
前記デコーダのプロセッサによって、前記複数のＯＬＳから画像をデコードする段階と、
を含む方法。
（項目２）
前記シーケンスレベルＨＲＤパラメータが、一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造に含まれ、前記ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造が、ＨＲＤ動作において使用されるパラメータを提供する、項目１に記載の方法。
（項目３）
前記ＨＲＤ動作が、ＨＲＤによって実行されるビットストリーム適合性試験のセットを含む、項目１から２のいずれかに記載の方法。
（項目４）
前記シーケンスレベルＨＲＤパラメータが、デコードユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含み、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤがアクセスユニット（ＡＵ）レベルまたはデコードユニット（ＤＵ）レベルで動作するようにスケジュールされるときに、１に設定され、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤが前記ＡＵレベルで動作するようにスケジュールされるときに、０に設定される、項目１から３のいずれか１つに記載の方法。
（項目５）
前記シーケンスレベルＨＲＤパラメータが、ＨＲＤコーディング画像バッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）を含み、前記ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１が、代替のコーディング画像バッファ（ＣＰＢ）配信スケジュールの数を指定し、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値が、両端値を含めて、０～３１までの範囲に制約される、項目１から４のいずれか１つに記載の方法。
（項目６）
前記ＶＰＳが、サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をさらに含み、前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、両端値を含めて、０から最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）までの範囲の時間識別子（ＩＤ）を有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、１に設定され、前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造がｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］のみに等しい時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、０に設定される、項目１から５のいずれか１つに記載の方法。
（項目７）
前記ビットストリーム中の前記シーケンスレベルＨＲＤパラメータの存在が、前記デコーダが配信スケジュールに従って前記ビットストリームをデコードすることが可能であることを示す、項目１から６のいずれか１つに記載の方法。
（項目８）
エンコーダによって実装される方法であって、
前記エンコーダのプロセッサによって、１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームをエンコードする段階と、
前記プロセッサによって、前記複数のＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームにエンコードする段階であって、前記ＶＰＳが、前記ＶＰＳによって指定されるすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む、段階と、
前記プロセッサによって、前記シーケンスレベルＨＲＤパラメータに基づいてビットストリーム適合性試験のセットを実行する段階と、
を含む方法。
（項目９）
前記シーケンスレベルＨＲＤパラメータが、一般ＨＲＤパラメータ（ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ）シンタックス構造に含まれ、前記ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓシンタックス構造が、ＨＲＤ動作において使用されるパラメータを提供する、項目８に記載の方法。
（項目１０）
前記ＨＲＤ動作が、ビットストリーム適合性試験の前記セットを含み、前記ビットストリーム適合性試験が、前記プロセッサ上で動作するＨＲＤによって実行される、項目８から９のいずれかに記載の方法。
（項目１１）
前記シーケンスレベルＨＲＤパラメータが、デコードユニットＨＲＤパラメータ存在フラグ（ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含み、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤがアクセスユニット（ＡＵ）レベルまたはデコードユニット（ＤＵ）レベルで動作するようにスケジュールされるときに、１に設定され、前記ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、前記ＨＲＤが前記ＡＵレベルで動作するようにスケジュールされるときに、０に設定される、項目８から１０のいずれか１つに記載の方法。
（項目１２）
前記シーケンスレベルＨＲＤパラメータが、ＨＲＤコーディング画像バッファカウント（ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１）を含み、前記ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１＋１が、代替のコーディング画像バッファ（ＣＰＢ）配信スケジュールの数を指定し、ｈｒｄ＿ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１の値が、両端値を含めて、０～３１までの範囲に制約される、項目８から１１のいずれか１つに記載の方法。
（項目１３）
前記ＶＰＳが、サブレイヤＣＰＢパラメータ存在フラグ（ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をさらに含み、前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造が、両端値を含めて、０から最大ＨＲＤ時間ＩＤ（ｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］）までの範囲の時間識別子（ＩＤ）を有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、１に設定され、前記ｓｕｂｌａｙｅｒ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ｉ番目のレイヤＨＲＤパラメータシンタックス構造がｈｒｄ＿ｍａｘ＿ｔｉｄ［ｉ］のみに等しい時間ＩＤを有するサブレイヤ表現のためのＨＲＤパラメータを含むときに、０に設定される、項目８から１２のいずれか１つに記載の方法。
（項目１４）
前記ビットストリーム中の前記シーケンスレベルＨＲＤパラメータの存在が、前記デコーダが配信スケジュールに従って前記ビットストリームをデコードすることが可能であることを示す、項目８から１３のいずれか１つに記載の方法。
（項目１５）
ビデオコーディングデバイスであって、
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを備え、前記プロセッサ、受信機、メモリ、および送信機が、項目１から１４のいずれか１つに記載の方法を実行するように構成されている、
ビデオコーディングデバイス。
（項目１６）
ビデオコーディングデバイスが使用するためのコンピュータプログラム製品を備える非一時的コンピュータ可読媒体であって、前記コンピュータプログラム製品がプロセッサによって実行された場合、前記ビデオコーディングデバイスに項目１から１４のいずれか１つに記載の方法を実行させるように、前記非一時的コンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を備える、非一時的コンピュータ可読媒体。
（項目１７）
デコーダであって、
１つまたは複数の出力レイヤセット（ＯＬＳ）とビデオパラメータセット（ＶＰＳ）とを含むビットストリームを受信するための受信手段であって、前記ＶＰＳが、前記複数のＯＬＳを指定し、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む、受信手段と、
前記複数のＯＬＳから画像をデコードするためのデコード手段と、
デコードされたビデオシーケンスの一部として表示するために前記画像を転送するための転送手段と、
を備えるデコーダ。
（項目１８）
前記デコーダが項目１～７のいずれか１つに記載の方法を実行するようにさらに構成されている、項目１７に記載のデコーダ。
（項目１９）
エンコーダであって、
１つまたは複数の出力レイヤセット（ＯＬＳ）を含むビットストリームをエンコードし、
前記複数のＯＬＳを指定するビデオパラメータセット（ＶＰＳ）を前記ビットストリームにエンコードする、
ためのエンコード手段であって、前記ＶＰＳが、前記ＶＰＳによって指定されたすべてのＯＬＳに適用されるシーケンスレベル仮想参照デコーダ（ＨＲＤ）パラメータを含む、
エンコード手段と、
前記シーケンスレベルＨＲＤパラメータに基づいてビットストリーム適合性試験のセットを実行するためのＨＲＤ手段と、
デコーダに向けて通信するための前記ビットストリームを記憶するための記憶手段と、
を備えるエンコーダ。
（項目２０）
項目８から１４のいずれか１つに記載の方法を実行するようにさらに構成されている、項目１９に記載のエンコーダ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【外国語明細書】