特許 7392124 指定されたレイヤのためのスケーラブル・ネスティングＳＥＩメッセージ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-27

(45)【発行日】2023-12-05

(54)【発明の名称】指定されたレイヤのためのスケーラブル・ネスティングＳＥＩメッセージ

(51)【国際特許分類】

   H04N 19/70 20140101AFI20231128BHJP

   H04N 19/30 20140101ALI20231128BHJP

【ＦＩ】

H04N19/70

H04N19/30

【請求項の数】 4

(21)【出願番号】P 2022519024

(86)(22)【出願日】2020-09-21

(65)【公表番号】

(43)【公表日】2023-01-06

(86)【国際出願番号】 US2020051859

(87)【国際公開番号】W WO2021022263

(87)【国際公開日】2021-02-04

【審査請求日】2022-05-11

(31)【優先権主張番号】62/905,144

(32)【優先日】2019-09-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ワーン，イエ－クイ

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１５／１０４４５１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１５／０２７１５２９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／００９８８９４（ＵＳ，Ａ１）

【文献】High efficiency video coding，Recommendation ITU-T H.265，H.265(02/2018），ITU-T，2018年02月，pp.33,67-70,287-290,298,351-352

【文献】Ye-Kui Wang，AHG8/AHG17: Scalable nesting SEI message，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0190-v2，16th Meeting: Geneva, CH，2019年10月，pp.1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

復号器において実装される方法であって、
前記復号器の受信機によって、１つ以上のレイヤ及び現在のＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティング補足エンハンスメント情報（ＳＥＩ）メッセージを含むビットストリームを受信することであって、前記スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージ、及び前記現在のＳＥＩ ＮＡＬユニットのレイヤ識別子（Ｉｄ）以上であるレイヤＩｄを有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ ｌａｙｅｒｓ ｆｌａｇ（ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）を含む、受信することであって、
前記ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、前記現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のＮＡＬユニット・ヘッダ・レイヤＩｄ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されることを指定するときに、１に等しく、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、レイヤの識別子を指定する構文要素であり、
前記ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、前記現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されてもよいか、又は適用されなくてもよいことを指定するときに、０に等しい、ことと、
プロセッサによって、ネスティング・レイヤ数（ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ）及びネスティング・レイヤＩｄのリスト（ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］）を導出することであって、前記ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓは、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用される前記レイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定し、前記ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及び前記ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、

【数9】

として導出され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１はビデオ・パラメータ・セット（ＶＰＳ）によって指定されたレイヤ数を指定し、ＧｅｎｅｒａｌＬａｙｅｒＩｄｘは、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤのレイヤ・インデックスを指定する変数であり、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｍｉｎｕｓ１＋１は、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］は、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する、ことと、
前記復号器の前記プロセッサによって、前記１つ以上のレイヤからのコーディングされたピクチャを復号して、復号されたピクチャを生成することと、
前記プロセッサによって、復号されたビデオ・シーケンスの一部として表示するために前記復号されたピクチャを転送することと、を含む、方法。

【請求項2】

符号化器に実装される方法であって、
前記符号化器のプロセッサによって、１つ以上のレイヤを含むビットストリームを符号化することと、
前記プロセッサによって、現在のＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティング補足エンハンスメント情報（ＳＥＩ）を符号化することであって、前記スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージ、及び前記現在のＳＥＩ ＮＡＬユニットのレイヤ識別子（Ｉｄ）以上であるレイヤＩｄを有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ ｌａｙｅｒｓ ｆｌａｇ（ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）を含む、符号化することであって、
前記ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、前記現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のＮＡＬユニット・ヘッダ・レイヤＩｄ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されることを指定するときに、１に等しく、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、レイヤの識別子を指定する構文要素であり、
前記ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、前記現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されてもよいか、又は適用されなくてもよいことを指定するときに、０に等しい、ことと、
前記プロセッサによって、ネスティング・レイヤ数（ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ）及びネスティング・レイヤＩｄのリスト（ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］）を導出することであって、前記ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓは、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用される前記レイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定し、前記ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及び前記ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、

【数10】

として導出され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１はビデオ・パラメータ・セット（ＶＰＳ）によって指定されたレイヤ数を指定し、ＧｅｎｅｒａｌＬａｙｅｒＩｄｘは、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤのレイヤ・インデックスを指定する変数であり、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｍｉｎｕｓ１＋１は、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］は、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する、ことと、
前記プロセッサによって、前記スケーラブル・ネスティングされたＳＥＩメッセージに基づいて、前記レイヤに対してビットストリーム適合性テストのセットを実行することと、
前記プロセッサに結合されたメモリによって、復号器に向かって通信するための前記ビットストリームを記憶することと、を含む、方法。

【請求項3】

復号器であって、
１つ以上のレイヤ及び現在のＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティング補足エンハンスメント情報（ＳＥＩ）メッセージを含むビットストリームを受信するための受信手段であって、前記スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージ、及び前記現在のＳＥＩ ＮＡＬユニットのレイヤ識別子（Ｉｄ）以上であるレイヤＩｄを有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ ｌａｙｅｒｓ ｆｌａｇ（ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）を含み、
前記ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、前記現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のＮＡＬユニット・ヘッダ・レイヤＩｄ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されることを指定するときに、１に等しく、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、レイヤの識別子を指定する構文要素であり、
前記ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、前記現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されてもよいか、又は適用されなくてもよいことを指定するときに、０に等しい、受信手段と、
ネスティング・レイヤ数（ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ）及びネスティング・レイヤＩｄのリスト（ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］）を導出するための導出手段であって、前記ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓは、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用される前記レイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定し、前記ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及び前記ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、

【数11】

として導出され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１はビデオ・パラメータ・セット（ＶＰＳ）によって指定されたレイヤ数を指定し、ＧｅｎｅｒａｌＬａｙｅｒＩｄｘは、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤのレイヤ・インデックスを指定する変数であり、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｍｉｎｕｓ１＋１は、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］は、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する、導出手段と、
前記１つ以上のレイヤからのコーディングされたピクチャを復号して、復号されたピクチャを生成することを行うための復号手段と、
復号されたビデオ・シーケンスの一部として表示するために前記復号されたピクチャを転送するための転送手段と、を含む、復号器。

【請求項4】

ビデオ符号化器であって、
１つ以上のレイヤを含むビットストリームを符号化することと、
現在のＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティング補足エンハンスメント情報（ＳＥＩ）を符号化することであって、前記スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージ、及び前記現在のＳＥＩ ＮＡＬユニットのレイヤ識別子（Ｉｄ）以上であるレイヤＩｄを有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ ｌａｙｅｒｓ ｆｌａｇ（ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）を含む、符号化することと、を行うための符号化手段であって、
前記ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、前記現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のＮＡＬユニット・ヘッダ・レイヤＩｄ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されることを指定するときに、１に等しく、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、レイヤの識別子を指定する構文要素であり、
前記ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、前記現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されてもよいか、又は適用されなくてもよいことを指定するときに、０に等しい、符号化手段と、
ネスティング・レイヤ数（ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ）及びネスティング・レイヤＩｄのリスト（ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］）を導出するための導出手段であって、前記ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓは、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用される前記レイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定し、前記ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及び前記ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、

【数12】

として導出され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１はビデオ・パラメータ・セット（ＶＰＳ）によって指定されたレイヤ数を指定し、ＧｅｎｅｒａｌＬａｙｅｒＩｄｘは、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤのレイヤ・インデックスを指定する変数であり、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｍｉｎｕｓ１＋１は、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］は、前記スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する、導出手段と、
前記スケーラブル・ネスティングされたＳＥＩメッセージに基づいて、前記レイヤに対してビットストリーム適合性テストのセットを実行するための仮想参照復号器（ＨＲＤ）手段と、を含む、符号化手段と、
復号器に向かって通信するためのビットストリームを記憶することを行うための記憶手段と、を含む、ビデオ符号化器。

【発明の詳細な説明】

【技術分野】

【0002】

本開示は、一般的に、ビデオ・コーディングに関係し、特に、マルチ・レイヤ・ビットストリームにおける符号化レイヤをサポートするために使用されるスケーラブル・ネスティング補足エンハンスメント情報（ＳＥＩ）メッセージに関係する。

【背景技術】

【0003】

比較的短いビデオでさえ描写するために必要とされるビデオ・データの量は、相当なものであり、これは、データがストリーム化されるか、又は他の方法で限定された帯域幅容量を有する通信ネットワークを介して通信されるときに、困難になることがある。したがって、ビデオ・データは、一般に、現代の電気通信ネットワークを介して通信される前に圧縮される。また、メモリ・リソースが制限されることがあるため、ビデオが記憶デバイスに記憶される場合に、ビデオのサイズも問題となる可能性がある。ビデオ圧縮デバイスは、しばしば、送信又は記憶の前にビデオ・データをコーディングするためにソースにおいてソフトウェア及び／又はハードウェアを使用し、それによってデジタル・ビデオ画像を表すのに必要なデータ量を減少させる。次いで、圧縮されたデータは、ビデオ・データを復号するビデオ解凍デバイスによって宛先で受信される。ネットワーク・リソースが限られており、より高いビデオ品質の要求が絶えず増加しているため、ピクチャ品質にほとんど犠牲を払わずに圧縮比を改善する改善された圧縮及び解凍技術が望ましい。

【発明の概要】

【0004】

一実施形態では、開示は、復号器において実装される方法であって、復号器の受信機によって、１つ以上のレイヤ及び現在のＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティング補足エンハンスメント情報（ＳＥＩ）メッセージを含むビットストリームを受信することであって、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージ、及び現在のＳＥＩ ＮＡＬユニットのレイヤ識別子（Ｉｄ）以上であるレイヤＩｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ ｌａｙｅｒｓ ｆｌａｇ（ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）を含む、受信することと、復号器のプロセッサによって、１つ以上のレイヤからのコーディングされたピクチャを復号して、復号されたピクチャを生成することと、プロセッサによって、復号されたビデオ・シーケンスの一部として表示するために復号されたピクチャを転送することと、を含む、方法を含む。

【0005】

いくつかのビデオ・コーディング・システムは、ＳＥＩメッセージを用いる。ＳＥＩメッセージは、復号されたピクチャにおけるサンプルの値を決定するために、復号プロセスによって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準との適合性についてビットストリームを検査するために使用されるパラメータを含んでもよい。いくつかの例では、ビデオは、複数のレイヤを使用してビットストリームにコーディングされる。スケーラブル・ネスティングＳＥＩメッセージは、複数のレイヤに対するＳＥＩメッセージを含めるために用いられてもよい。例えば、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージを含む。問題は、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがアクセス・ユニット（ＡＵ）におけるすべてのレイヤに適用されることを示すためにフラグが使用されるときに発生する。ＡＵは、異なるレイヤに含まれ、同じ出力時間に関連するコーディングされたピクチャのセットである。このアプローチは、すべてのＡＵがすべてのレイヤに対するピクチャをときに機能する。しかしながら、場合によっては、ピクチャは、いくつかのレイヤで出力時間に対して存在し、他のレイヤにおいて省かれることがある。例えば、高フレームレートレイヤは、各ＡＵにおけるピクチャを含んでもよく、一方、低フレームレートレイヤは、高フレームレートレイヤによって占有される多くのＡＵにおけるピクチャを省略する。その結果、フラグは、現在のＡＵにおけるピクチャを含むレイヤにのみ、ＳＥＩメッセージが適用されるようにする。これは仮想参照復号器（ＨＲＤ）が現在のＡＵにおけるピクチャを省くレイヤにスケーラブル・ネスティングＳＥＩメッセージを関連付けることができないことがあるため、適合性テストエラーを引き起こす。例えば、そのようなレイヤは、現在のＡＵの後のＡＵにピクチャを含むことがある。このような場合、ＨＲＤは、後のＡＵが適合性についてテストされるときに、スケーラブル・ネスティングＳＥＩメッセージを、そのようなレイヤに適用されるものとして認識しない。したがって、ＨＲＤは、すべてのレイヤに対するフラグが不完全なＡＵで用いられているときに、後のＡＵで適合性についてこのようなレイヤを正確にテストすることができないことがある。

【0006】

本例は、上記のエラーを訂正するために、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがビデオ・パラメータ・セット（ＶＰＳ）で指定されたすべてのレイヤに適用されることを示すようにセットされ得る。ＶＰＳは、すべてのレイヤをリストする。それゆえ、このアプローチにより、符号化器は、スケーラブル・ネスティングされたＳＥＩメッセージがいつすべてのレイヤにグローバルに適用されるかを明確に示すことを可能にする。ＨＲＤ適合性テスト・プロセスは、スケーラブル・ネスティングＳＥＩメッセージに関連する不完全なＡＵに続くＡＵで予測不可能なエラーを返すことなく、適合性についてビットストリームを検査することができる。それゆえ、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、不完全なＡＵが存在するときに、適合性についてビットストリームが正しく検査されるようにすることによって、符号化器及び／又は復号器の機能性を上昇させる。さらに、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、そのようなメッセージがすべてのレイヤに適用されるときに、スケーラブル・ネスティングされたＳＥＩメッセージのための明示的なレイヤ・シグナリングを省くことによって、符号化されたビットストリームのサイズを低減する。その結果、コーディング効率が上昇し、これは、符号化器及び復号器の両方におけるプロセッサ、メモリ、及び／又はネットワーク・シグナリング・リソースの使用量を低減する。

【0007】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のＮＡＬユニット・ヘッダ・レイヤＩｄ（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されることを指定するときに、１に等しいことを提供する。

【0008】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されてもよいか、又は適用されなくてもよいこと指定するときに、０に等しいことを提供する。

【0009】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、プロセッサによって、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定するネスティング・レイヤ数（ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ）変数を導出することをさらに含むことを提供する。

【0010】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、プロセッサによって、０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定するネスティング・レイヤＩｄのリスト（ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］）を導出することをさらに含むことを提供する。

【0011】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及びＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］が、

【数1】

として導出され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１はビデオ・パラメータ・セット（ＶＰＳ）によって指定されたレイヤ数を指定し、ＧｅｎｅｒａｌＬａｙｅｒＩｄｘは、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤのレイヤ・インデックスを指定する変数であり、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｍｉｎｕｓ１＋１は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する、ことを提供する。

【0012】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、スケーラブル・ネスティングＳＥＩメッセージが、ＳＥＩメッセージを特定のレイヤに関連付けるメカニズムを提供することを提供する。

【0013】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、コーディングされたピクチャが、スケーラブル・ネスティングされたＳＥＩメッセージに基づいて復号されることを提供する。

【0014】

一実施形態では、開示は、符号化器に実装される方法であって、符号化器のプロセッサによって、１つ以上のレイヤを含むビットストリームを符号化することと、プロセッサによって、現在のＳＥＩ ＮＡＬユニットにおいてスケーラブル・ネスティングＳＥＩを符号化することであって、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージ、及び現在のＳＥＩ ＮＡＬユニットのレイヤＩｄ以上であるレイヤＩｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む、符号化することと、プロセッサによって、スケーラブル・ネスティングされたＳＥＩメッセージに基づいて、レイヤに対してビットストリーム適合性テストのセットを実行することと、プロセッサに結合されたメモリによって、復号器に向かって通信するためのビットストリームを記憶することと、を含む、方法を含む。

【0015】

いくつかのビデオ・コーディング・システムは、ＳＥＩメッセージを用いる。ＳＥＩメッセージは、復号されたピクチャにおけるサンプルの値を決定するために、復号プロセスによって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準との適合性についてビットストリームを検査するために使用されるパラメータを含んでもよい。いくつかの例では、ビデオは、複数のレイヤを使用してビットストリームにコーディングされる。スケーラブル・ネスティングＳＥＩメッセージは、複数のレイヤに対するＳＥＩメッセージを含めるために用いられてもよい。例えば、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージを含む。問題は、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがアクセス・ユニット（ＡＵ）におけるすべてのレイヤに適用されることを示すためにフラグが使用されるときに発生する。ＡＵは、異なるレイヤに含まれ、同じ出力時間に関連するコーディングされたピクチャのセットである。このアプローチは、すべてのＡＵがすべてのレイヤに対するピクチャをときに機能する。しかしながら、場合によっては、ピクチャは、いくつかのレイヤで出力時間に対して存在し、他のレイヤにおいて省かれることがある。例えば、高フレームレートレイヤは、各ＡＵにおけるピクチャを含んでもよく、一方、低フレームレートレイヤは、高フレームレートレイヤによって占有される多くのＡＵにおけるピクチャを省略する。その結果、フラグは、現在のＡＵにおけるピクチャを含むレイヤにのみ、ＳＥＩメッセージが適用されるようにする。これは仮想参照復号器（ＨＲＤ）が現在のＡＵにおけるピクチャを省くレイヤにスケーラブル・ネスティングＳＥＩメッセージを関連付けることができないことがあるため、適合性テストエラーを引き起こす。例えば、そのようなレイヤは、現在のＡＵの後のＡＵにピクチャを含むことがある。このような場合、ＨＲＤは、後のＡＵが適合性についてテストされるときに、スケーラブル・ネスティングＳＥＩメッセージを、そのようなレイヤに適用されるものとして認識しない。したがって、ＨＲＤは、すべてのレイヤに対するフラグが不完全なＡＵで用いられているときに、後のＡＵで適合性についてこのようなレイヤを正確にテストすることができないことがある。

【0016】

本例は、上記のエラーを訂正するために、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがビデオ・パラメータ・セット（ＶＰＳ）で指定されたすべてのレイヤに適用されることを示すようにセットされ得る。ＶＰＳは、すべてのレイヤをリストする。それゆえ、このアプローチにより、符号化器は、スケーラブル・ネスティングされたＳＥＩメッセージがいつすべてのレイヤにグローバルに適用されるかを明確に示すことを可能にする。ＨＲＤ適合性テスト・プロセスは、スケーラブル・ネスティングＳＥＩメッセージに関連する不完全なＡＵに続くＡＵで予測不可能なエラーを返すことなく、適合性についてビットストリームを検査することができる。それゆえ、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、不完全なＡＵが存在するときに、適合性についてビットストリームが正しく検査されるようにすることによって、符号化器及び／又は復号器の機能性を上昇させる。さらに、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、そのようなメッセージがすべてのレイヤに適用されるときに、スケーラブル・ネスティングされたＳＥＩメッセージのための明示的なレイヤ・シグナリングを省くことによって、符号化されたビットストリームのサイズを低減する。その結果、コーディング効率が上昇し、これは、符号化器及び復号器の両方におけるプロセッサ、メモリ、及び／又はネットワーク・シグナリング・リソースの使用量を低減する。

【0017】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されることを指定するときに、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒ＿ｆｌａｇを１にセットすることをさらに含むことを提供する。

【0018】

任意選択で、前述の態様のいずれかにおいて、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されてもよいか、又は適用されなくてもよいこと指定するときに、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒ＿ｆｌａｇを０にセットすることをさらに含むことを提供する。

【0019】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ビットストリーム適合性テストのセットを実行することは、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定するｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ変数を導出することをさらに含むことを提供する。

【0020】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ビットストリーム適合性テストのセット実行することは、０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定するＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］を導出することをさらに含むことを提供する。

【0021】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及びＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］が、

【数2】

として導出され、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１はＶＰＳによって指定されたレイヤ数を指定し、ＧｅｎｅｒａｌＬａｙｅｒＩｄｘは、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤのレイヤ・インデックスを指定する変数であり、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｍｉｎｕｓ１＋１は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する、ことを提供する。

【0022】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、スケーラブル・ネスティングＳＥＩメッセージが、ＳＥＩメッセージを特定のレイヤに関連付けるメカニズムを提供する。

【0023】

一実施形態では、本開示は、プロセッサと、プロセッサに結合された受信機と、プロセッサに結合されたメモリと、プロセッサに結合された送信機と、含み、プロセッサ、受信機、メモリ、及び送信機は、先行する態様のいずれかの方法を実行するように構成されているビデオ・コーディング・デバイスを含む。

【0024】

一実施形態では、本開示は、ビデオ・コーディング・デバイスによる使用のためのコンピュータ・プログラム製品を含む非一時的コンピュータ可読媒体であって、コンピュータ・プログラム製品は、プロセッサによって実行されるときに、ビデオ・コーディング・デバイスが先行する態様のいずれかの方法を実行するように、非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体を含む。

【0025】

一実施形態では、本開示は、復号器であって、１つ以上のレイヤ及び現在のＳＥＩ ＮＡＬユニットにおいてスケーラブル・ネスティング補足エンハンスメント情報（ＳＥＩ）メッセージを含むビットストリームを受信することであって、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージ、及び現在のＳＥＩ ＮＡＬユニットのレイヤＩｄ以上であるレイヤＩｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む、受信することを行うための受信手段と、１つ以上のレイヤからのコーディングされたピクチャを復号して、復号されたピクチャを生成することを行うための復号手段と、復号されたビデオ・シーケンスの一部として表示するために復号されたピクチャを転送するための転送手段と、を含む、復号器。

【0026】

いくつかのビデオ・コーディング・システムは、ＳＥＩメッセージを用いる。ＳＥＩメッセージは、復号されたピクチャにおけるサンプルの値を決定するために、復号プロセスによって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準との適合性についてビットストリームを検査するために使用されるパラメータを含んでもよい。いくつかの例では、ビデオは、複数のレイヤを使用してビットストリームにコーディングされる。スケーラブル・ネスティングＳＥＩメッセージは、複数のレイヤに対するＳＥＩメッセージを含めるために用いられてもよい。例えば、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージを含む。問題は、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがアクセス・ユニット（ＡＵ）におけるすべてのレイヤに適用されることを示すためにフラグが使用されるときに発生する。ＡＵは、異なるレイヤに含まれ、同じ出力時間に関連するコーディングされたピクチャのセットである。このアプローチは、すべてのＡＵがすべてのレイヤに対するピクチャをときに機能する。しかしながら、場合によっては、ピクチャは、いくつかのレイヤで出力時間に対して存在し、他のレイヤにおいて省かれることがある。例えば、高フレームレートレイヤは、各ＡＵにおけるピクチャを含んでもよく、一方、低フレームレートレイヤは、高フレームレートレイヤによって占有される多くのＡＵにおけるピクチャを省略する。その結果、フラグは、現在のＡＵにおけるピクチャを含むレイヤにのみ、ＳＥＩメッセージが適用されるようにする。これは仮想参照復号器（ＨＲＤ）が現在のＡＵにおけるピクチャを省くレイヤにスケーラブル・ネスティングＳＥＩメッセージを関連付けることができないことがあるため、適合性テストエラーを引き起こす。例えば、そのようなレイヤは、現在のＡＵの後のＡＵにピクチャを含むことがある。このような場合、ＨＲＤは、後のＡＵが適合性についてテストされるときに、スケーラブル・ネスティングＳＥＩメッセージを、そのようなレイヤに適用されるものとして認識しない。したがって、ＨＲＤは、すべてのレイヤに対するフラグが不完全なＡＵで用いられているときに、後のＡＵで適合性についてこのようなレイヤを正確にテストすることができないことがある。

【0027】

本例は、上記のエラーを訂正するために、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがビデオ・パラメータ・セット（ＶＰＳ）で指定されたすべてのレイヤに適用されることを示すようにセットされ得る。ＶＰＳは、すべてのレイヤをリストする。それゆえ、このアプローチにより、符号化器は、スケーラブル・ネスティングされたＳＥＩメッセージがいつすべてのレイヤにグローバルに適用されるかを明確に示すことを可能にする。ＨＲＤ適合性テスト・プロセスは、スケーラブル・ネスティングＳＥＩメッセージに関連する不完全なＡＵに続くＡＵで予測不可能なエラーを返すことなく、適合性についてビットストリームを検査することができる。それゆえ、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、不完全なＡＵが存在するときに、適合性についてビットストリームが正しく検査されるようにすることによって、符号化器及び／又は復号器の機能性を上昇させる。さらに、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、そのようなメッセージがすべてのレイヤに適用されるときに、スケーラブル・ネスティングされたＳＥＩメッセージのための明示的なレイヤ・シグナリングを省くことによって、符号化されたビットストリームのサイズを低減する。その結果、コーディング効率が上昇し、これは、符号化器及び復号器の両方におけるプロセッサ、メモリ、及び／又はネットワーク・シグナリング・リソースの使用量を低減する。

【0028】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、復号器が、前述の態様のいずれかの方法を実行するようにさらに構成されていることを提供する。

【0029】

一実施形態では、本開示は、符号化器であって、１つ以上のレイヤを含むビットストリームを符号化することと、現在のＳＥＩ ＮＡＬユニットにおいてスケーラブル・ネスティングＳＥＩを符号化することであって、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージ、及び現在のＳＥＩ ＮＡＬユニットのレイヤＩｄ以上であるレイヤＩｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む、符号化することと、を行うための符号化手段と、スケーラブル・ネスティングされたＳＥＩメッセージに基づいて、レイヤに対してビットストリーム適合性テストのセットを実行するためのＨＲＤ）手段と、を含む、符号化手段と、復号器に向かって通信するためのビットストリームを記憶することを行うための記憶手段と、を含む、符号化器を含む。

【0030】

いくつかのビデオ・コーディング・システムは、ＳＥＩメッセージを用いる。ＳＥＩメッセージは、復号されたピクチャにおけるサンプルの値を決定するために、復号プロセスによって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準との適合性についてビットストリームを検査するために使用されるパラメータを含んでもよい。いくつかの例では、ビデオは、複数のレイヤを使用してビットストリームにコーディングされる。スケーラブル・ネスティングＳＥＩメッセージは、複数のレイヤに対するＳＥＩメッセージを含めるために用いられてもよい。例えば、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージを含む。問題は、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがアクセス・ユニット（ＡＵ）におけるすべてのレイヤに適用されることを示すためにフラグが使用されるときに発生する。ＡＵは、異なるレイヤに含まれ、同じ出力時間に関連するコーディングされたピクチャのセットである。このアプローチは、すべてのＡＵがすべてのレイヤに対するピクチャをときに機能する。しかしながら、場合によっては、ピクチャは、いくつかのレイヤで出力時間に対して存在し、他のレイヤにおいて省かれることがある。例えば、高フレームレートレイヤは、各ＡＵにおけるピクチャを含んでもよく、一方、低フレームレートレイヤは、高フレームレートレイヤによって占有される多くのＡＵにおけるピクチャを省略する。その結果、フラグは、現在のＡＵにおけるピクチャを含むレイヤにのみ、ＳＥＩメッセージが適用されるようにする。これは仮想参照復号器（ＨＲＤ）が現在のＡＵにおけるピクチャを省くレイヤにスケーラブル・ネスティングＳＥＩメッセージを関連付けることができないことがあるため、適合性テストエラーを引き起こす。例えば、そのようなレイヤは、現在のＡＵの後のＡＵにピクチャを含むことがある。このような場合、ＨＲＤは、後のＡＵが適合性についてテストされるときに、スケーラブル・ネスティングＳＥＩメッセージを、そのようなレイヤに適用されるものとして認識しない。したがって、ＨＲＤは、すべてのレイヤに対するフラグが不完全なＡＵで用いられているときに、後のＡＵで適合性についてこのようなレイヤを正確にテストすることができないことがある。

【0031】

本例は、上記のエラーを訂正するために、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがビデオ・パラメータ・セット（ＶＰＳ）で指定されたすべてのレイヤに適用されることを示すようにセットされ得る。ＶＰＳは、すべてのレイヤをリストする。それゆえ、このアプローチにより、符号化器は、スケーラブル・ネスティングされたＳＥＩメッセージがいつすべてのレイヤにグローバルに適用されるかを明確に示すことを可能にする。ＨＲＤ適合性テスト・プロセスは、スケーラブル・ネスティングＳＥＩメッセージに関連する不完全なＡＵに続くＡＵで予測不可能なエラーを返すことなく、適合性についてビットストリームを検査することができる。それゆえ、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、不完全なＡＵが存在するときに、適合性についてビットストリームが正しく検査されるようにすることによって、符号化器及び／又は復号器の機能性を上昇させる。さらに、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、そのようなメッセージがすべてのレイヤに適用されるときに、スケーラブル・ネスティングされたＳＥＩメッセージのための明示的なレイヤ・シグナリングを省くことによって、符号化されたビットストリームのサイズを低減する。その結果、コーディング効率が上昇し、これは、符号化器及び復号器の両方におけるプロセッサ、メモリ、及び／又はネットワーク・シグナリング・リソースの使用量を低減する。

【0032】

任意選択で、前述の態様のいずれかにおいて、態様の別の実装は、符号化器が、先行する態様のいずれかの方法を実行するようにさらに構成されていることを提供する。

【0033】

明確にするために、前述の実施形態のいずれか１つが、他の前述の実施形態のいずれか１つ以上と組み合わせられて、本開示の範囲内の新たな実施形態を作成してもよい。

【0034】

これら及び他の特徴は、添付の図面及び特許請求の範囲と併せて取得される以下の詳細な説明から、より明確に理解されるであろう。

【図面の簡単な説明】

【0035】

本開示をより完全に理解するために、添付の図面及び詳細な説明に関連して取得される、以下の簡単な説明を参照し、同様の参照番号は同様の部分を表す。

【0036】

【図1】ビデオ信号をコーディングする例示的な方法のフローチャートである。

【0037】

【図2】ビデオ・コーディングのための例示的なコーディング及び復号（コーデック）システムの概略図である。

【0038】

【図3】例示的なビデオ符号化器を示す概略図である。

【0039】

【図4】例示的なビデオ復号器を示す概略図である。

【0040】

【図5】例示的な仮想参照復号器（ＨＲＤ）を示す概略図である。

【0041】

【図6】レイヤ間予測のために構成された例示的なのマルチ・レイヤ・ビデオ・シーケンスを示す概略図である。

【0042】

【図7】例示的なビットストリームを示す概略図である。

【0043】

【図8】例示的なビデオ・コーディング・デバイスの概略図である。

【0044】

【図9】レイヤに適用されるスケーラブル・ネスティングＳＥＩメッセージを含むビットストリームにビデオ・シーケンスを符号化する例示的な方法のフローチャートである。

【0045】

【図10】レイヤに適用されるスケーラブル・ネスティングＳＥＩメッセージを含むビットストリームからビデオ・シーケンスを復号する例示的な方法のフローチャートである。

【0046】

【図11】レイヤに適用されるスケーラブル・ネスティングＳＥＩメッセージを含むビットストリームを使用してビデオ・シーケンスを符号化するための例示的なシステムの概略図である。

【発明を実施するための形態】

【0047】

最初に、１つ以上の実施形態の例示的な実装が以下に提供されるが、開示されたシステム及び／又は方法は、現在知られているか、存在するかを問わず、任意の数の技術を使用して実装され得ることが理解されるべきである。本開示は、本明細書に示され説明された例示的な設計及び実装を含む、以下に示された例示的な実装、図面、及び技術には決して限定されないが、添付の特許請求の範囲の範囲内で、それらの均等物の全範囲で修正されてもよい。

【0048】

以下の用語は、本明細書において反対のコンテキストで使用されない限り、以下のように定義される。具体的には、以下の定義は、本開示にさらなる明確性を提供することが意図されている。しかし、異なるコンテキストにおいては、用語は異なって説明されてもよい。したがって、以下の定義は、補足とみなされるべきであり、本明細書においてそのような用語に対して提供されている説明の任意の他の定義を制限するものとみなされるべきではない。

【0049】

ビットストリームは、符号化器と復号器との間の送信のために圧縮されるビデオ・データを含むビットのシーケンスであってもよい。符号化器は、ビデオ・データをビットストリームに圧縮するための符号化プロセスを使用するように構成されているデバイスであってもよい。復号器は、表示のためにビットストリームからビデオ・データを再構成するために復号プロセスを使用するように構成されているデバイスであってもよい。ピクチャは、フレーム又はそのフィールドを生成する輝度サンプルのアレイ及び／又は色差サンプルのアレイであってもよい。符号化又は復号されているピクチャは、議論を明確にするために現在のピクチャと呼ばれることがある。コーディングされたピクチャは、アクセス・ユニット（ＡＵ）内のＮＡＬユニット・ヘッダ・レイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の特定の値を有し、ピクチャのすべてのコーディング・ツリー・ユニット（ＣＴＵ）を含む、ビデオ・コーディング・レイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含むピクチャのコーディングされた表現であってもよい。復号されたピクチャは、復号プロセスをコーディングされたピクチャに適用することによって生成されるピクチャであってもよい。ＡＵは、異なるレイヤに含まれ、復号されたピクチャ・バッファ（ＤＰＢ）からの出力のために同じ時間に関連するコーディングされたピクチャのセットであってもよい。ＮＡＬユニットは、データのタイプの表示であるロー・バイト・シーケンス・ペイロード（ＲＢＳＰ）の形式のデータを含み、必要に応じてエミュレーション防止バイトと散在する構文構造であってもよい。ＶＣＬ ＮＡＬユニットは、ピクチャのコーディングされたスライスなどのビデオ・データを含むようにコーディングされたＮＡＬユニットであってもよい。非ＶＣＬ ＮＡＬユニットは、ビデオ・データの復号、適合性検査又は他の動作をサポートする、構文及び／又はパラメータなどの非ビデオ・データを含むＮＡＬユニットであってもよい。レイヤは、レイヤＩｄ（識別子）及び関連する非ＶＣＬ ＮＡＬユニットによって示されるように、特定の特性（例えば、共通解像度、フレーム・レート、画像サイズなど）を共有するＶＣＬ ＮＡＬユニットのセットであってもよい。ＮＡＬユニット・ヘッダ・レイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）は、ＮＡＬユニットを含むレイヤの識別子を指定する構文要素であってもよい。ビデオ・パラメータ・セット（ＶＰＳ）は、ビデオ全体に関係するパラメータを含むデータ・ユニットであってもよい。コーディングされたビデオ・シーケンスは、１つ以上のコーディングされたピクチャのセットであってもよい。復号されたビデオ・シーケンスは、１つ以上の復号されたピクチャのセットであってもよい。

【0050】

仮想参照復号器（ＨＲＤ）は、符号化プロセスによって生成されたビットストリームの変動性を検査して、指定された制約との適合性を検証する符号化器で動作する復号器モデルであってもよい。ビットストリーム適合性テストは、符号化されたビットストリームが汎用ビデオ・コーディング（ＶＶＣ）などの標準に準拠するどうかを決定するためのテストであり得る。ＨＲＤパラメータは、ＨＲＤの動作条件を初期化及び／又は定義する構文要素である。ＨＲＤパラメータは、補足エンハンスメント情報（ＳＥＩ）メッセージに含まれてもよい。ＳＥＩメッセージは、復号されたピクチャにおけるサンプルの値を決定するために、復号プロセスによって必要とされない情報を搬送する、指定された意味を持つ構文構造であってもよい。ＳＥＩ ＮＡＬユニットは、１つ以上のＳＥＩメッセージを含むＮＡＬユニットであってもよい。特定のＳＥＩ ＮＡＬユニットは、現在のＳＥＩ ＮＡＬユニットと呼ばれることがある。スケーラブル・ネスティングＳＥＩメッセージは、１つ以上の出力レイヤ・セット（ＯＬＳ）又は１つ以上のレイヤに対応する複数のＳＥＩメッセージを含むメッセージであってもよい。バッファ期間（ＢＰ）ＳＥＩメッセージは、ＨＲＤを初期化してコーディングされたピクチャ・バッファ（ＣＰＢ）を管理するためのＨＲＤパラメータを含むＳＥＩメッセージであってもよい。ピクチャ・タイミング（ＰＴ） ＳＥＩメッセージは、ＣＰＢ及び／又は復号されたピクチャ・バッファ（ＤＰＢ）でのアクセスユニット（ＡＵ）に対する送達情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージであってもよい。復号ユニット情報（ＤＵＩ）ＳＥＩメッセージは、ＣＰＢ及び／又はＤＰＢでのＤＵの送達情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージであってもよい。

【0051】

スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージのセットであってもよい。スケーラブル・ネスティングされたＳＥＩメッセージは、スケーラブル・ネスティングＳＥＩメッセージ内にネスティングされたＳＥＩメッセージであってもよい。スケーラブル・ネスティング・レイヤＩｄ（ｌａｙｅｒ＿Ｉｄ ［ｉ］）は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定するスケーラブル・ネスティングＳＥＩメッセージにおける構文要素であってもよい。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ ｌａｙｅｒｓ ｆｌａｇ（ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）は、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがすべてのレイヤに適用されるかどうかを指定するスケーラブル・ネスティングＳＥＩメッセージにおける構文要素であってもよい。スケーラブル・ネスティング・レイヤ数－１（ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定する、スケーラブル・ネスティングＳＥＩメッセージにおける構文要素であってもよい。ＶＰＳの最大レイヤ－１（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）は、ＶＰＳによって指定されるレイヤ数を指定するＶＰＳにおける構文要素であってもよい。ＶＰＳレイヤＩｄ（ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］）は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定するＶＰＳにおける構文要素であってもよい。ネスティング・レイヤ数（ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ）は、ビットストリームにおけるデータに基づいてスケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数にセットされる変数であってもよい。ネスティング・レイヤＩｄのリスト（ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］）は、ビットストリームにおけるデータに基づいて、各レイヤｉに対してスケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定するためにセットされる変数であってもよい。一般レイヤ・インデックス（ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ）は、ビットストリームにおけるデータに基づいて、各レイヤのレイヤ・インデックスをｎｕｈ＿ｌａｙｅｒ＿ｉｄで指定するためにセットされる変数であってもよい。

【0052】

以下の頭字語が、本明細書において使される。すなわち、アクセス・ユニット（ＡＵ）、コーディング・ツリー・ブロック（ＣＴＢ）、コーディング・ツリー・ユニット（ＣＴＵ）、コーディング・ユニット（ＣＵ）、コーディングされたレイヤ・ビデオ・シーケンス（ＣＬＶＳ）、コーディングされたレイヤ・ビデオ・シーケンス開始（ＣＬＶＳＳ）、コーディングされたビデオ・シーケンス（ＣＶＳ）、コーディングされたビデオ・シーケンス監視（ＣＶＳＳ）、共同ビデオ専門家チーム（ＪＶＥＴ）、動き制約タイルセット（ＭＣＴＳ）、最大転送ユニット（ＭＴＵ）、ネットワーク抽象化レイヤ（ＮＡＬ）、出力レイヤ・セット（ＯＬＳ）、ピクチャ・オーダ・カウント（ＰＯＣ）、ランダム・アクセス・ポイント（ＲＡＰ）、ロー・バイト・シーケンス・ペイロード （ＲＢＳＰ）、シーケンス・パラメータ・セット（ＳＰＳ）、ビデオ・パラメータ・セット（ＶＰＳ）、汎用ビデオ・コーディング（ＶＶＣ）。

【0053】

多くのビデオ圧縮技術が、最小限のデータ損失でビデオ・ファイルのサイズを低減するために使用され得る。例えば、ビデオ圧縮技術は、ビデオ・シーケンスにおけるデータ冗長性を低減又は除去するために、空間的（例えば、イントラ・ピクチャ）予測及び／又は時間的（例えば、インター・ピクチャ）予測を実行することを含むことができる。ブロックベースのビデオ・コーディングの場合、ビデオ・スライス（例えば、ビデオ・ピクチャ又はビデオ・ピクチャの一部分）は、ビデオ・ブロックにパーティショニングされてもよく、これは、ツリー・ブロック（ＣＴＢ）、コーディング・ツリー・ユニット（ＣＴＵ）、コーディング・ユニット（ＣＵ）、及び／又はコーディング・ノードと呼ばれることがある。ピクチャのイントラ・コーディングされた（Ｉ）スライス内のビデオ・ブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに対して空間的予測を用いてコーディングされる。ピクチャのインター・コーディングされた一方向予測（Ｐ）又は双方向予測（Ｂ）スライス内のビデオ・ブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに対する空間的予測、又は他の参照ピクチャ内の参照サンプルに対する時間的予測を使用することによってコーディングされてもよい。ピクチャは、フレーム及び／又は画像と呼ばれることがあり、参照ピクチャは、参照フレーム及び／又は参照画像と呼ばれることがある。空間的又は時間的予測は、画像ブロックを表す予測ブロックをもたらす。残差データは、オリジナルの画像ブロックと予測ブロックとの間の画素差を表す。したがって、インター・コーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルにしたがって符号化され、残差データは、コーディングされたブロックと予測ブロックとの間の差を示す。イントラ・コーディングされたブロックは、イントラ・コーディング・モードと残差データにしたがって符号化される。さらなる圧縮のために、残差データは、画素ドメインから変換ドメインに変換されてもよい。これらは、残差変換係数をもたらし、これは、量子化されてもよい。量子化された変換係数は、初期的に二次元アレイに配置されてもよい。量子化された変換係数は、変換係数の一次元ベクトルを生成するために走査されてもよい。エントロピー・コーディングは、より多くの圧縮を達成するために適用されてもよい。このようなビデオ圧縮技術が、以下により詳細に論じられる。

【0054】

符号化されたビデオが正確に復号されることを確実にするために、ビデオは、対応するビデオ・コーディング規格に従って符号化され、復号される。ビデオ・コーディング規格は、国際電気通信連合（ＩＴＵ）規格化部門（ＩＴＵ－Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）動き・ピクチャ・エキスパート・グループ（ＭＰＥＧ）－１ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６２若しくはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６４若しくはＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ １０としても知られる高度ビデオ・コーディング（ＡＶＣ）、及びＩＴＵ－Ｔ Ｈ．２６５若しくはＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られる高効率ビデオ・コーディング（ＨＥＶＣ）を含む。ＡＶＣは、スケーラブル・ビデオ・コーディング（ＳＶＣ）、マルチビュー・ビデオ・コーディング（ＭＶＣ）及びマルチビュー・ビデオ・コーディング・プラス・デプス（ＭＶＣ＋Ｄ）、及び三次元（３Ｄ）ＡＶＣ（３Ｄ‐ＡＶＣ）などの拡張を含む。ＨＥＶＣは、スケーラブルＨＥＶＣ（ＳＨＶＣ）、マルチビューＨＥＶＣ （ＭＶ－ＨＥＶＣ）、３Ｄ ＨＥＶＣ （３Ｄ－ＨＥＶＣ）などの拡張を含む。ＩＴＵ‐ＴとＩＳＯ／ＩＥＣの共同ビデオ専門家チーム（ＪＶＥＴ）は、汎用ビデオ・コーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれるビデオ・コーディング標準の開発を始めた。ＶＶＣは、ＪＶＥＴ－Ｎ１００１－ｖ１４を含む作業ドラフト（ＷＤ）に含まれている。

【0055】

いくつかのビデオ・コーディング・システムは、補足エンハンスメント情報（ＳＥＩ）メッセージを用いる。ＳＥＩメッセージは、復号されたピクチャにおけるサンプルの値を決定するために、復号プロセスによって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準との適合性についてビットストリームを検査するために使用されるパラメータを含んでもよい。いくつかの例では、ビデオは、複数のレイヤを使用してビットストリームにコーディングされる。スケーラブル・ネスティングＳＥＩメッセージは、複数のレイヤに対するＳＥＩメッセージを含めるために用いられてもよい。例えば、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージを含む。

【0056】

第１の問題は、スケーラブル・ネスティングされたＳＥＩメッセージとレイヤとの間の対応を示すために、スケーラブル・ネスティングＳＥＩメッセージにレイヤ識別子（Ｉｄ）のリストが含まれるときに、発生することがある。スケーラブル・ネスティングＳＥＩメッセージは、ＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットに含まれ、これは、議論を明確にするために現在のＳＥＩ ＮＡＬユニットと表記され得る。現在のＳＥＩ ＮＡＬユニットは、レイヤＩｄに関連する。スケーラブル・ネスティング・ＳＥＩメッセージは、常に現在のＳＥＩ ＮＡＬユニットに関連するレイヤに関係する。これは、現在のＳＥＩ ＮＡＬユニットのレイヤＩｄが現在のＳＥＩ ＮＡＬユニットに含まれ、現在のＮＡＬユニットに含まれ、現在のスケーラブル・ネスティングＳＥＩメッセージにも含まれるため、冗長なシグナリングにつながる。

【0057】

第１の例において、本明細書に開示されているのは、特定のレイヤと併せて使用するためのスケーラブル・ネスティングＳＥＩメッセージの改良である。具体的には、レイヤＩｄはＮＡＬユニットのヘッダ・レイヤＩｄ （ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）と呼ぶことがある。現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄは、スケーラブル・ネスティングＳＥＩメッセージから除外される。これは、スケーラブル・ネスティングされたＳＥＩメッセージが適用される各レイヤに対してｎｕｈ＿ｌａｙｅｒ＿ｉｄを指定するスケーラブル・ネスティング・レイヤＩｄ（ｌａｙｅｒ＿Ｉｄ［ｉ］）構文要素を用いることによって行われ得る。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］は、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄより大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄのみを含むように制約される。それゆえ、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄは、スケーラブル・ネスティングＳＥＩメッセージから省かれ、現在のＳＥＩ ＮＡＬユニットから推論される。これは、冗長なＩｄを省くことによって、スケーラブル・ネスティングＳＥＩメッセージを改良する。例えば、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］を符号化／復号するループは、より短い時間で１回実行し、これは、符号化及び／又は復号中のプロセッサ・リソースを低減する。さらに、これは、ビットストリームにおけるスケーラブル・ネスティングＳＥＩメッセージの各々に対する符号化されたビットストリームのサイズを低減する。その結果、コーディング効率が上昇し、これは、符号化器及び復号器の両方におけるプロセッサ、メモリ、及び／又はネットワーク・シグナリング・リソースの使用量を低減する。

【0058】

第２の問題は、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがアクセス・ユニット（ＡＵ）におけるすべてのレイヤに適用されることを示すためにフラグが使用されるときに発生する。ＡＵは、異なるレイヤに含まれ、同じ出力時間に関連するコーディングされたピクチャのセットである。このアプローチは、すべてのＡＵがすべてのレイヤに対するピクチャをときに機能する。しかしながら、場合によっては、ピクチャは、いくつかのレイヤで出力時間に対して存在し、他のレイヤにおいて省かれることがある。例えば、高フレームレートレイヤは、各ＡＵにおけるピクチャを含んでもよく、一方、低フレームレートレイヤは、高フレームレートレイヤによって占有される多くのＡＵにおけるピクチャを省略する。その結果、フラグは、現在のＡＵにおけるピクチャを含むレイヤにのみ、ＳＥＩメッセージが適用されるようにする。これは仮想参照復号器（ＨＲＤ）が現在のＡＵにおけるピクチャを省くレイヤにスケーラブル・ネスティングＳＥＩメッセージを関連付けることができないことがあるため、適合性テストエラーを引き起こす。例えば、そのようなレイヤは、現在のＡＵの後のＡＵにピクチャを含むことがある。このような場合、ＨＲＤは、後のＡＵが適合性についてテストされるときに、スケーラブル・ネスティングＳＥＩメッセージを、そのようなレイヤに適用されるものとして認識しない。したがって、ＨＲＤは、すべてのレイヤに対するフラグが不完全なＡＵで用いられているときに、後のＡＵで適合性についてこのようなレイヤを正確にテストすることができないことがある。

【0059】

第２の例では、本明細書で開示されているのは、上述のエラーを訂正するためのｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ ｌａｙｅｒｓ ｆｌａｇ（ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）である。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージがビデオ・パラメータ・セット（ＶＰＳ）で指定されたすべてのレイヤに適用されることを示すようにセットされ得る。ＶＰＳは、すべてのレイヤをリストする。それゆえ、このアプローチにより、符号化器は、スケーラブル・ネスティングされたＳＥＩメッセージがいつすべてのレイヤにグローバルに適用されるかを明確に示すことを可能にする。ＨＲＤ適合性テスト・プロセスは、スケーラブル・ネスティングＳＥＩメッセージに関連する不完全なＡＵに続くＡＵで予測不可能なエラーを返すことなく、適合性についてビットストリームを検査することができる。それゆえ、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、不完全なＡＵが存在するときに、適合性についてビットストリームが正しく検査されるようにすることによって、符号化器及び／又は復号器の機能性を上昇させる。さらに、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、そのようなメッセージがすべてのレイヤに適用されるときに、スケーラブル・ネスティングされたＳＥＩメッセージのための明示的なレイヤ・シグナリングを省くことによって、符号化されたビットストリームのサイズを低減する。その結果、コーディング効率が上昇し、これは、符号化器及び復号器の両方におけるプロセッサ、メモリ、及び／又はネットワーク・シグナリング・リソースの使用量を低減する。

【0060】

図１は、ビデオ信号をコーディングする例示的な方法１００のフローチャートである。具体的には、ビデオ信号は符号化器で符号化される。符号化プロセスは、様々なメカニズムを使用することによってビデオ信号を圧縮して、ビデオ・ファイル・サイズを低減する。より小さいファイルサイズは、圧縮されたビデオ・ファイルがユーザに送信されることを可能にする一方で、関連する帯域幅オーバーヘッドを低減する。次いで、復号器は、圧縮されたビデオ・ファイルを復号して、エンド・ユーザに表示するために元のビデオ信号を再構成する。復号プロセスは、一般に、符号化プロセスをミラーリングし、復号器がビデオ信号を一貫して再構成することを可能にする。

【0061】

ステップ１０１で、ビデオ信号が符号化器に入力される。例えば、ビデオ信号はメモリに記憶された圧縮されていないビデオ・ファイルであってもよい。別の例として、ビデオ・ファイルは、ビデオ・カメラなどのビデオ・キャプチャ・デバイスによってキャプチャされ、ビデオのライブ・ストリーミングをサポートするように符号化されてもよい。ビデオ・ファイルは、オーディオ・コンポーネントとビデオ・コンポーネントの両方を含み得る。ビデオ・コンポーネントは、シーケンスで視認されるときに視覚的な動きの印象を与える一連の画像フレームを含む。フレームは、本明細書では輝度コンポーネント（又は輝度サンプル）と呼ばれる光と、色差コンポーネント（又は色サンプル）と呼ばれる色の観点で表現されるピクセルを含む。いくつかの例では、フレームは、三次元視認をサポートするための深度値も含み得る。

【0062】

ステップ１０３で、ビデオがブロックにパーティショニングされる。パーティショニングは、圧縮のために、各フレーム内のピクセルを正方形及び／又は長方形のブロックにサブ分割することを含む。例えば、高効率ビデオ・コーディング（ＨＥＶＣ）（Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られている）において、フレームは、最初に、所定のサイズ（例えば、６４画素×６４画素）のブロックである、コーディング・ツリー・ユニット（ＣＴＵ）に分割することができる。ＣＴＵは、輝度サンプルと色差サンプルの両方を含む。コーディング・ツリーを使用して、ＣＴＵをブロックに分割し、次いで、さらなる符号化をサポートする構成が達成されるまで、ブロックを再帰的にサブ分割してもよい。例えば、フレームの輝度コンポーネントは、個々のブロックが比較的均一な光値を含むまで、サブ分割されてもよい。さらに、フレームの色差コンポーネントは、個々のブロックが比較的均一な色値を含むまで、サブ分割されてもよい。したがって、パーティショニング・メカニズムはビデオ・フレームのコンテンツに依存して変化する。

【0063】

ステップ１０５で、ステップ１０３でパーティショニングされた画像ブロックを圧縮するために、様々な圧縮メカニズムが採用される。例えば、インター予測及び／又はイントラ予測が使用されてもよい。インター予測は、共通のシーンにおけるオブジェクトが連続したフレームに現れる傾向があるという事実を利用するように設計されている。したがって、参照フレームにおけるオブジェクトを示すブロックは、隣接するフレーム内に繰り返し記述される必要はない。具体的には、テーブルのようなオブジェクトは、複数のフレームにわたって一定の位置に留まることがある。それゆえ、テーブルは一回記述され、隣接するフレームは参照フレームに戻って参照することができる。パターン・マッチング・メカニズムを使用して、複数のフレームにわたってオブジェクトをマッチングしてもよい。さらに、移動するオブジェクトは、例えば、オブジェクトの動き又はカメラの動きのために、複数のフレームにわたって表わされてもよい。特定の例として、ビデオは、複数のフレームにわたって画面を横切って移動する自動車を示してもよい。動きベクトルを使用して、このような動きを記述することができる。動きベクトルは、フレームにおけるオブジェクトの座標から参照フレームにおけるオブジェクトの座標へのオフセットを提供する二次元ベクトルである。このように、インター予測は、参照フレームにおける対応するブロックからのオフセットを示す動きベクトルのセットとして、現在のフレームにおいて画像ブロックを符号化することができる。

【0064】

イントラ予測は、共通フレームにおけるブロックを符号化する。イントラ予測は、輝度コンポーネントと色差コンポーネントがフレームにおいてクラスターとなる傾向があるという事実を利用する。たとえば、樹木の一部分における緑色のパッチは、同様の緑色のパッチに隣接して位置付けられる傾向がある。イントラ予測は、マルチ方向予測モード（例えば、ＨＥＶＣにおいては３３）、プラナー・モード、及びダイレクト・カレント（ＤＣ）モードを使用する。方向モードは、現在のブロックが、対応する方向における隣接ブロックのサンプルと同様／同じであることを示す。プラナー・モードは、行／列に沿った一連のブロック（例えば、平面）が、行の端における近隣のブロックに基づいて補間され得ることを示す。プラナー・モードは、事実上、値を変化させる際に比較的一定の傾きを使用することによって、行／列にわたる光／色の滑らかな遷移を示す。ＤＣモードは境界平滑化のために使用され、ブロックが方向予測モードの角度方向に関連するすべての近隣のブロックのサンプルに関連する平均値と同様／同じであることを示す。したがって、イントラ予測ブロックは、実際の値の代わりに、様々な関係予測モード値として画像ブロックを表わすことができる。さらに、インター予測ブロックは、実際の値の代わりに、動きベクトル値として画像ブロックを表わすことができる。いずれの場合でも、予測ブロックは、場合によっては、画像ブロックを正確に表さないことがある。差分は、すべて残差ブロックに記憶される。変換は、残差ブロックに適用されて、ファイルをさらに圧縮してもよい。

【0065】

ステップ１０７で、様々なフィルタリング技術が適用されてもよい。ＨＥＶＣにおいて、フィルタは、ループ内フィルタリング・スキームに従って適用される。上記に論じたブロックベースの予測は、復号器でブロック状画像の生成をもたらすことがある。さらに、ブロックベースの予測スキームは、ブロックを符号化し、次いで、後で参照ブロックとして使用するために、符号化されたブロックを再構成してもよい。ループ内フィルタリング・スキームは、ノイズ抑制フィルタ、ブロック解除フィルタ、適応ループ・フィルタ、及びサンプル適応オフセット（ＳＡＯ）フィルタをブロック／フレームに逐次適用する。これらのフィルタは、符号化されたファイルを正確に再構成することができるように、そのようなブロッキング・アーチファクトを軽減する。さらに、これらのフィルタは、再構成された参照ブロックにおけるアーチファクトを軽減し、アーチファクトは、再構成された参照ブロックに基づいて符号化される後続ブロックにおける追加のアーチファクトを生成する可能性が低くなるようにする。

【0066】

いったんビデオ信号がパーティショニングされ、圧縮され、フィルタリングされると、得られたデータはステップ１０９でビットストリームに符号化される。ビットストリームは、復号器での適切なビデオ信号再構成をサポートするのに望ましい任意の信号データと同様に、上記に論じたデータを含む。例えば、このようなデータは、パーティション・データ、予測データ、残差ブロック、及び復号器にコーディング命令を提供する様々なフラグを含み得る。ビットストリームは、要求により復号器に向かって送信するためにメモリに記憶されてもよい。ビットストリームはまた、複数の復号器に向かってブロードキャスト及び／又はマルチキャストされてもよい。ビットストリームの生成は反復プロセスである。したがって、ステップ１０１、１０３、１０５、１０７、及び１０９は、多くのフレーム及びブロックにわたって連続的に及び／又は同時に発生してもよい。図１に示された順序は、議論の明確さと容易さのために提示されており、ビデオ・コーディング・プロセスを特定の順序に限定することを意図したものではない。

【0067】

復号器は、ビットストリームを受信し、ステップ１１１で復号処理を始める。具体的には、復号器は、エントロピー復号スキームを使用して、ビットストリームを対応する構文データ及びビデオ・データに変換する。復号器は、ビットストリームからの構文データを使用して、ステップ１１１でフレームのパーティションを決定する。パーティショニングは、ステップ１０３でのブロック・パーティショニングの結果とマッチする。ステップ１１１で使用されるエントロピー・符号化／復号が、ここで説明される。符号化器は、入力画像内の値の空間的位置付けに基づいていくつかの考えられる選択からブロック・パーティショニング・スキームを選択するなど、圧縮プロセス中に多くの選択を行う。厳密な選択をシグナリングすることは、多数のビンを使用してもよい。本明細書で使用される場合、ビンは、変数として扱われるバイナリ値（例えば、コンテキストに応じて変化し得るビット値）である。エントロピー・コーディングは、符号化器が、許容可能なオプションのセットを残して、特定のケースに明らかに実行不可能な任意のオプションを破棄することを可能にする。各許容可能なオプションは、コード・ワードが割り当てられる。コード・ワードの長さは、許容可能なオプションの数（例えば、２つのオプションに対して１つのビン、３つから４つのオプションに対して２つのビンなど）に基づく。符号化器は、次いで、選択されたオプションに対してコード・ワードを符号化する。このスキームは、コード・ワードが、すべての考えられるオプションの考えられる大きなセットからの選択を一意に示すこととは対称的に、許容可能なオプションの小さなサブセットからの選択を一意に示すことが望ましい程度に大きいため、コード・ワードのサイズを低減する。次いで、復号器は、符号化器と同様の方法で許容可能なオプションのセットを決定することによって、選択を復号する。許容可能なオプションのセットを決定することによって、復号器は、コード・ワードを読み取り、符号化器によって行われた選択を決定することができる。

【0068】

ステップ１１３で、復号器はブロック復号を実行する。具体的には、復号器は、残差ブロックを生成するために逆変換を使用する。次いで、復号器は、残差ブロック及び対応する予測ブロックを使用して、パーティショニングに従って画像ブロックを再構成する。予測ブロックは、ステップ１０５において符号化器で生成されるように、イントラ予測ブロックとインター予測ブロックの両方を含んでもよい。次いで、再構成された画像ブロックは、ステップ１１１で決定されたパーティショニング・データに従って、再構成されたビデオ信号のフレーム内に位置決めされる。ステップ１１３のための構文はまた、上記に論じたのようにエントロピー符号化によってビットストリームにシグナリングされてもよい。

【0069】

ステップ１１５で、符号化器におけるステップ１０７と同様の方式で、再構成されたビデオ信号のフレームに対してフィルタリングが実行される。例えば、ノイズ抑制フィルタ、ブロック解除フィルタ、適応ループ・フィルタ、及びＳＡＯフィルタがフレームに適用されて、ブロッキング・アーチファクトを除去してもよい。フレームがフィルタリングされると、ビデオ信号は、ステップ１１７で、エンド・ユーザによって視認するために、ディスプレイに出力され得る。

【0070】

図２は、ビデオ・コーディングのための例示的なコーディング及び復号（コーデック）システム２００の概略図である。具体的には、コーデック・システム２００は、動作方法１００の実装をサポートするための機能性を提供する。コーデック・システム２００は、符号化器及び復号器の両方で使用されるコンポーネントを示すために一般化されている。コーデック・システム２００は、動作方法１００におけるステップ１０１及び１０３に関して論じたように、ビデオ信号を受信及びパーティショニングし、これは、パーティショニングされたビデオ信号２０１をもたらす。次いで、コーデック・システム２００は、方法１００におけるステップ１０５、１０７、及び１０９に関して論じたように、符号化器として作用するときに、パーティショニングされたビデオ信号２０１をコーディングされたビットストリームに圧縮する。復号器として作用する場合、コーデック・システム２００は、動作方法１００におけるステップ１１１、１１３、１１５、及び１１７に関して説明したように、ビットストリームからの出力ビデオ信号を生成する。コーデック・システム２００は、汎用コーダ制御コンポーネント２１１、変換スケーリング及び量子化コンポーネント２１３、イントラ・ピクチャ推定コンポーネント２１５、イントラ・ピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、動き推定コンポーネント２２１、スケーリング及び逆変換コンポーネント２２９、フィルタ制御分析コンポーネント２２７、ループ内フィルタ・コンポーネント２２５、復号されたピクチャ・バッファ・コンポーネント２２３、並びにヘッダ・フォーマッティング及びコンテキスト適応二進算術コーディング（ＣＡＢＡＣ）コンポーネント２３１を含む。そのようなコンポーネントは、示されるように結合される。図２において、黒線は符号化／復号されるデータの移動を示し、破線は他のコンポーネントの動作を制御する制御データの移動を示す。コーデック・システム２００のコンポーネントはすべて、符号化器内に存在してもよい。復号器は、コーデック・システム２００のコンポーネントのサブセットを含み得る。例えば、復号器は、イントラ・ピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、スケーリング及び逆変換コンポーネント２２９、ループ内フィルタ・コンポーネント２２５、及び復号されたピクチャ・バッファ・コンポーネント２２３を含み得る。ここでは、これらのコンポーネントについて説明する。

【0071】

パーティショニングされたビデオ信号２０１は、コーディング・ツリーによって画素のブロックに分割されているキャプチャされたビデオ・シーケンスである。コーディング・ツリーは、画素のブロックをより小さな画素のブロックにサブ分割するために、様々な分割モードを使用する。次いで、これらのブロックは、さらに、より小さなブロックにサブ分割され得る。ブロックは、コーディング・ツリー上のノードと呼ばれることがある。より大きな親ノードは、より小さな子ノードに分裂される。ノードがサブ分割される回数は、ノード／コーディング・ツリーの深さと呼ばれる。場合によっては、分割されたブロックは、コーディング・ユニット（ＣＵ）に含められ得る。例えば、ＣＵは、ＣＵのための対応する構文命令と一緒に、輝度ブロック、赤色差クロマ（Ｃｒ）ブロック、及び青色差クロマ（Ｃｂ）ブロックを含むＣＴＵのサブ部分とすることができる。分裂モードは、ノードを、使用される分裂モードに依存して、変化する形状のそれぞれ２つ、３つ、又は４つの子ノードにパーティショニングするために使用されるバイナリ・ツリー（ＢＴ）、トリプル・ツリー（ＴＴ）、及びクワッド・ツリー（ＱＴ）を含み得る。パーティショニングされたビデオ信号２０１は、圧縮のために、汎用コーダ制御コンポーネント２１１、変換スケーリング及び量子化コンポーネント２１３、イントラ・ピクチャ推定コンポーネント２１５、フィルタ制御分析コンポーネント２２７、並びに動き推定コンポーネント２２１に転送される。

【0072】

汎用コーダ制御コンポーネント２１１は、アプリケーションの制約に従って、ビデオ・シーケンスの画像をビットストリームにコーディングすることに関係する決定を行うように構成されている。例えば、汎用コーダ制御コンポーネント２１１は、ビットレート／ビットストリーム・サイズ対再構成品質の最適化を管理する。そのような決定は、記憶空間／帯域幅の可用性及び画像解像度要求に基づいて行われてもよい。汎用コーダ制御コンポーネント２１１はまた、バッファのアンダーラン及びオーバーランの問題を軽減するために、送信速度に照らしてバッファの利用を管理する。これらの問題を管理するために、汎用コーダ制御コンポーネント２１１は、他のコンポーネントによるパーティショニング、予測、及びフィルタリングを管理する。例えば、汎用コーダ制御コンポーネント２１１は、解像度を増加させ、帯域幅の使用を増加させるために圧縮の複雑性を動的に増加させることができ、又は、解像度及び帯域幅の使用を減少させるために圧縮の複雑性を減少させることができる。それゆえ、汎用コーダ制御コンポーネント２１１は、ビットレートの懸念とビデオ信号再構成品質とのバランスを取るために、コーデック・システム２００の他のコンポーネントを制御する。汎用コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを作成する。制御データはまた、復号器で復号するための信号パラメータにビットストリームにおいて符号化されるようにヘッダフォーマット及びＣＡＢＡＣコンポーネント２３１に転送される。

【0073】

パーティショニングされたビデオ信号２０１はまた、インター予測のために、動き推定コンポーネント２２１及び動き補償コンポーネント２１９に送信される。パーティショニングされたビデオ信号２０１のフレーム又はスライスは、複数のビデオ・ブロックに分割されてもよい。動き推定コンポーネント２２１及び動き補償コンポーネント２１９は、時間的予測を提供するために、１つ以上の参照フレーム内の１つ以上のブロックに対して受信されたビデオ・ブロックのインター予測コーディングを実行する。コーデック・システム２００は、例えばビデオ・データの各ブロックに対して適切なコーディング・モードを選択するために、複数のコーディング・パスを実行してもよい。

【0074】

動き推定コンポーネント２２１及び動き補償コンポーネント２１９は、高度に一体化されてもよいが、概念的な目的のために別々に示されている。動き推定コンポーネント２２１によって実行される動き推定は、動きベクトルを生成するプロセスであり、動きベクトルは、ビデオ・ブロックの動きを推定する。動きベクトルは、例えば、予測ブロックに対するコーディングされたオブジェクトの変位を示してもよい。予測ブロックは、ピクセル差に関して、コーディングされるブロックに密接にマッチすることが見出されるブロックである。予測ブロックは、参照ブロックとも呼ばれることがある。このような画素差は、絶対差の和（ＳＡＤ）、二乗差の和（ＳＳＤ）、又は他の差分メトリックによって決定されてもよい。ＨＥＶＣは、ＣＴＵ、コーディング・ツリー・ブロック（ＣＴＢ）、及びＣＵを含むいくつかのコーディングされたオブジェクトを使用する。例えば、ＣＴＵをＣＴＢに分割することができ、次いで、ＣＴＢは、ＣＵに含めるためにＣＢに分割される。ＣＵは、予測データを含む予測ユニット（ＰＵ）及び／又はＣＵの変換残差データを含む変換ユニット（ＴＵ）として符号化できる。動き推定コンポーネント２２１は、レート歪み最適化プロセスの一部としてレート歪み分析を使用することによって、動きベクトル、ＰＵ、及びＴＵを生成する。例えば、動き推定コンポーネント２２１は、現在のブロック／フレームに対する複数の参照ブロック、複数の動きベクトルなどを決定し、最良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択してもよい。最良のレート歪み特性は、ビデオ再構成の品質（例えば、圧縮によるデータ損失量）とコーディング効率（例えば、最終符号化のサイズ）の両方のバランスをとる。

【0075】

いくつかの例では、コーデック・システム２００は、復号されたピクチャ・バッファ・コンポーネント２２３に記憶された参照ピクチャのサブ整数画素位置の値を計算してもよい。例えば、ビデオ・コーデック・システム２００は、参照画像の１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間してもよい。したがって、動き推定コンポーネント２２１は、全ピクセル位置及び分数ピクセル位置に対する動き探索を実行し、分数ピクセル精度の動きベクトルを出力してもよい。動き推定コンポーネント２２１は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することにより、インター・コーディングされたスライス内のビデオ・ブロックのＰＵの動きベクトルを計算する。動き推定コンポーネント２２１は、計算された動きベクトルを、符号化のためのヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１への動きデータと動き補償コンポーネント２１９への動きとして計算された動きベクトルを出力する。

【0076】

動き補償コンポーネント２１９によって実行される動き補償は、動き推定コンポーネント２２１によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを伴ってもよい。繰り返しになるが、いくつかの例では、動作推定コンポーネント２２１及び動作補償コンポーネント２１９が機能的に一体化されてもよい。現在のビデオ・ブロックのＰＵに対する動きベクトルを受信すると、動き補償ユニット２１９は、動きベクトルが指し示す予測ブロックの位置を特定してもよい。次いで、コーディングされている現在のビデオ・ブロックの画素値から予測ブロックの画素値を減算し、ピクセル差値を形成することによって、残差ビデオ・ブロックが形成される。一般に、動き推定コンポーネント２２１は、輝度コンポーネントに対する動き推定を実行し、動き補償コンポーネント２１９は、色差コンポーネントと輝度コンポーネントの両方に対する輝度コンポーネントに基づいて計算された動きベクトルを使用する。予測ブロック及び残差ブロックは、変換のためにスケーリング及び量子化コンポーネント２１３に転送される。

【0077】

パーティショニングされたビデオ信号２０１はまた、イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７に送信される。動き推定コンポーネント２２１及び動き補償コンポーネント２１９と同じように、イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７は、高度に一体化されてもよいが、概念的な目的のために別々に示されている。イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７は、上述のように、フレーム間の動き推定コンポーネント２２１及び動き補償コンポーネント２１９によって実行されるインター予測の代替として、現在のフレーム内のブロックに対する現在のブロックをイントラ予測する。特に、イントラ・ピクチャ推定コンポーネント２１５は、現在のブロックを符号化するために使用するイントラ予測モードを決定する。いくつかの例では、イントラ・ピクチャ推定コンポーネント２１５は、複数のテストされたイントラ・ピクチャ予測モードから現在のブロックを符号化するために、適切なイントラ予測モードを選択する。次いで、選択されたイントラ予測モードが、符号化のためにヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。

【0078】

例えば、イントラ・ピクチャ推定コンポーネント２１５は、様々なテストされたイントラ・ピクチャ予測モードに対してレート歪み分析を使用して、レート歪み値を計算し、テストされたモードのうち最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み分析は、一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化されるオリジナルの符号化されていないブロックとの間の歪み（又はエラー）の量、及び符号化されたブロックを生成するために使用されるビットレート（例えば、ビットの数）を決定する。イントラ・ピクチャ推定コンポーネント２１５は、様々な符号化ブロックに対する歪み及びレートから比を計算し、ブロックに対してどのイントラ予測モードが最良のレート歪み値を示すかを決定してもよい。追加的に、イントラ・ピクチャ推定コンポーネント２１５は、レート歪み最適化（ＲＤＯ）に基づく深度モデリング・モード（ＤＭＭ）を使用して深度マップの深度ブロックをコーディングするように構成されてもよい。

【0079】

イントラ・ピクチャ予測コンポーネント２１７は、符号化器に実装されたときにはイントラ・ピクチャ予測コンポーネント２１５によって決定された選択されたイントラ・ピクチャ予測モードに基づいて予測ブロックから残差ブロックを生成するか、又は復号器に実装されたときにはビットストリームから残差ブロックを読み取ってもよい。残差ブロックは、行列として表される予測ブロックとオリジナルのブロックとの間の値の差を含む。次いで、残差ブロックは、変換スケーリング及び量子化コンポーネント２１３に転送される。イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７は、輝度コンポーネント及び色差コンポーネントの両方に対して動作してもよい。

【0080】

変換スケーリング及び量子化コンポーネント２１３は、残差ブロックをさらに圧縮するように構成されている。変換スケーリング及び量子化コンポーネント２１３は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、又は概念的に類似した変換などの変換を残差ブロックに適用して、残差変換係数値を含むビデオ・ブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、又は他のタイプの変換も使用され得る。変換は、残差情報をピクセル値ドメインから変換ドメイン、例えば周波数ドメインに変換してもよい。変換スケーリング及び量子化コンポーネント２１３はまた、変換された残差情報を、例えば周波数に基づいてスケーリングするように構成されている。そのようなスケーリングは、異なる周波数情報が異なる粒度で量子化されるように、残差情報にスケールファクタを適用することを伴い、これは、再構成されたビデオの最終的な視覚品質に影響を及ぼす可能性がある。変換スケーリング及び量子化コンポーネント２１３はまた、ビットレートをさらに低下させるために変換係数を量子化するように構成されている。量子化プロセスは、係数の一部又はすべてに関連するビット深度を低減してもよい。量子化の程度は、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、変換スケーリング及び量子化コンポーネント２１３は、次いで、量子化された変換係数を含む行列の走査を実行してもよい。量子化された変換係数は、ビットストリームで符号化されるようにヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。

【0081】

スケーリング及び逆変換コンポーネント２２９は、動き推定をサポートするために変換スケーリング及び量子化コンポーネント２１３の逆動作を適用する。スケーリング及び逆変換コンポーネント２２９は、例えば、後で別の現在のブロックの予測ブロックとなり得る参照ブロックとして使用するために、逆スケーリング、変換、及び／又は量子化を適用して、画素領域における残差ブロックを再構成する。動き推定コンポーネント２２１及び／又は動き補償コンポーネント２１９は、後のブロック／フレームの動き推定に使用するために、残差ブロックを対応する予測ブロックに加算することによって参照ブロックを計算してもよい。フィルタは、スケーリング、量子化、及び変換の間に生成されるアーチファクトを軽減するために、再構成された参照ブロックに適用される。そうでなければ、このようなアーチファクトは、後続のブロックが予測されたときに不正確な予測を引き起こす（かつ追加のアーチファクトを作成する）可能性がある。

【0082】

フィルタ制御分析コンポーネント２２７及びループ内フィルタ・コンポーネント２２５は、残差ブロック及び／又は再構成された画像ブロックにフィルタを適用する。例えば、スケーリング及び逆変換コンポーネント２２９からの変換された残差ブロックを、イントラ・ピクチャ予測コンポーネント２１７及び／又は動き補償コンポーネント２１９からの対応する予測ブロックと組み合わせて、オリジナルの画像ブロックを再構成してもよい。次いで、フィルタは、再構成された画像ブロックに適用されてもよい。いくつかの例において、フィルタは、代わりに、残差ブロックに適用されてもよい。図２の他のコンポーネントと同じように、フィルタ制御分析コンポーネント２２７及びループ内フィルタ・コンポーネント２２５は、高度に一体化されており、一緒に実装されてもよいが、概念的な目的のために別々に示されている。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、そのようなフィルタが適用される方法を調整するために複数のパラメータを含む。フィルタ制御分析コンポーネント２２７は、再構成された参照ブロックを分析して、そのようなフィルタを適用すべき場所を決定し、対応するパラメータをセットする。このようなデータは、符号化のためのフィルタ制御データとしてヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。ループ内フィルタ・コンポーネント２２５は、フィルタ制御データに基づいてそのようなフィルタを適用する。フィルタは、ブロック解除フィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、及び適応ループ・フィルタを含み得る。そのようなフィルタは、例に応じて、空間／画素ドメイン（例えば、再構成された画素ブロック）又は周波数ドメインにおいて適用され得る。

【0083】

符号化器として動作する場合、フィルタリングされた再構成されたピクチャ・ブロック、残差ブロック、及び／又は予測ブロックは、上記で論じたように動作推定に後で使用するために、復号されたピクチャ・バッファ。コンポーネント２２３に記憶される。復号器として動作するとき、復号されたピクチャ・バッファ・コンポーネント２２３は、再構成されフィルタリングされたブロックを記憶し、出力ビデオ信号の一部として、ディスプレイに向かって転送する。復号されたピクチャ・バッファ・コンポーネント２２３は、予測ブロック、残差ブロック、及び／又は再構成された画像ブロックを記憶することができる任意のメモリ・デバイスであってもよい。

【0084】

ヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１は、コーデック・システム２００の様々なコンポーネントからデータを受信し、復号器に向かって送信するために、そのようなデータをコーディングされたビットストリームに符号化する。具体的には、ヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１は、汎用制御データ及びフィルタ制御データなどの制御データを符号化するための様々なヘッダを生成する。さらに、イントラ予測及び動きデータを含む予測データ、ならびに量子化変換係数データの形式の残差データは、すべてビットストリームにおいて符号化される。最終的なビットストリームは、オリジナルのパーティショニングされたビデオ信号２０１を再構成するために復号器によって望まれるすべての情報を含む。そのような情報は、また、イントラ予測モード・インデックス・テーブル（コード・ワード・マッピング・テーブルとも呼ばれる）、様々なブロックに対する符号化コンテキストの定義、最も可能性の高いイントラ予測モードの表示、パーティション情報の表示などを含み得る。このようなデータは、エントロピー符号化を使用して符号化されてもよい。例えば、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）、ＣＡＢＡＣ、構文ベースのコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ）、確率間隔パーティショニング・エントロピー（ＰＩＰＥ）コーディング、又は別のエントロピー符号化技術を使用して、情報が符号化されてもよい。エントロピー符号化の後、コーディングされたビットストリームは、別のデバイス（例えば、ビデオ復号器）に送信されるか、又は後の送信又は検索のためにアーカイブされてもよい。

【0085】

図３は、例示的なビデオ符号化器３００を示すブロック図である。ビデオ符号化器３００は、コーデック・システム２００の符号化機能を実装するため、及び／又は動作方法１００のステップ１０１、１０３、１０５、１０７、及び／又は１０９を実装するために使用されてもよい。符号化器３００は、入力ビデオ信号をパーティショニングし、パーティショニングされたビデオ信号２０１と実質的に同様であるパーティショニングされたビデオ信号３０１をもたらす。次いで、パーティショニングされたビデオ信号３０１は、符号化器３００のコンポーネントによって圧縮され、ビットストリームに符号化される。

【0086】

具体的には、パーティショニングされたビデオ信号３０１は、イントラ予測のために、イントラ・ピクチャ予測コンポーネント３１７に転送される。イントラ・ピクチャ予測コンポーネント３１７は、イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７と実質的に同様であり得る。また、パーティショニングされたビデオ信号３０１は、復号されたピクチャ・バッファ・コンポーネント３２３における参照ブロックに基づくインター予測のために、動き補償コンポーネント３２１に転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１及び動き補償コンポーネント２１９と実質的に同様であり得る。イントラ・ピクチャ予測コンポーネント３１７及び動き補償コンポーネント３２１からの予測ブロック及び残差ブロックは、残差ブロックの変換及び量子化のために変換及び量子化コンポーネント３１３に転送される。変換及び量子化コンポーネント３１３は、変換スケーリング及び量子化コンポーネント２１３と実質的に同様であり得る。変換され量子化された残差ブロック及び対応する予測ブロック（関連する制御データと一緒に）は、ビットストリームへのコーディングのためにエントロピー符号化コンポーネント３３１に転送される。エントロピー・コーディング・コンポーネント３３１は、ヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１と実質的に同様であり得る。

【0087】

変換され量子化された残差ブロック及び／又は対応する予測ブロックも、動き補償コンポーネント３２１によって使用するための参照ブロックへの再構成のために、変換及び量子化コンポーネント３１３から逆変換及び量子化コンポーネント３２９に転送される。逆変換及び量子化コンポーネント３２９は、スケーリング及び逆変換コンポーネント２２９と実質的に同様であり得る。ループ内フィルタ・コンポーネント３２５内のループ内フィルタはまた、例に応じて、残差ブロック及び／又は再構成された参照ブロックにも適用される。ループ内フィルタ・コンポーネント３２５は、実質的に、フィルタ制御分析コンポーネント２２７及びループ内フィルタ・コンポーネント２２５と同様であり得る。ループ内フィルタ・コンポーネント３２５は、ループ内フィルタ・コンポーネント２２５に関して論じられたように、複数のフィルタを含み得る。次いで、フィルタリングされたブロックは、動き補償コンポーネント３２１によって参照ブロックとして使用するために、復号されたピクチャ・バッファ・コンポーネント３２３に記憶される。復号されたピクチャ・バッファ・コンポーネント３２３は、復号されたピクチャ・バッファ・コンポーネント２２３と実質的に同様であってもよい。

【0088】

図４は、例示的なビデオ復号器４００を示すブロック図である。ビデオ復号器４００は、コーデック・システム２００の復号機能を実装するため、及び／又は動作方法１００のステップ１１１、１１３、１１５、及び／又は１１７を実装するために使用されてもよい。復号器４００は、例えば符号化器３００からビットストリームを受信し、エンド・ユーザに表示するために、ビットストリームに基づいて再構成された出力ビデオ信号を生成する。

【0089】

ビットストリームはエントロピー復号コンポーネント４３３によって受信される。エントロピー復号コンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディング、又は他のエントロピー・コーディング技術などのエントロピー復号スキームを実装するように構成されている。例えば、エントロピー復号コンポーネント４３３は、ビットストリームにおいてコード・ワードとして符号化された追加データを解釈するためのコンテキストを提供するために、ヘッダ情報を使用することができる。復号された情報は、汎用制御データ、フィルタ制御データ、パーティション情報、動きデータ、予測データ、及び残差ブロックからの量子化変換係数のなど、ビデオ信号を復号するための任意の所望の情報を含む。量子化された変換係数は、残差ブロックに再構成するために、逆変換及び量子化コンポーネント４２９に転送される。逆変換及び量子化コンポーネント４２９は、逆変換及び量子化コンポーネント３２９と同様であり得る。

【0090】

再構成された残差ブロック及び／又は予測ブロックは、内部予測動作に基づいて画像ブロックに再構成するために、イントラ・ピクチャ予測コンポーネント４１７に転送される。イントラ・ピクチャ予測コンポーネント４１７は、イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７と実質的に同様であり得る。具体的には、イントラ・ピクチャ予測コンポーネント４１７は、フレーム内の参照ブロックを位置特定するために予測モードを使用し、残差ブロックを結果に適用して、イントラ予測された画像ブロックを再構成する。再構成されたイントラ予測された画像ブロック及び／又は残差ブロック及び対応するインター予測されたデータは、復号されたピクチャ・バッファ・コンポーネント４２３に、ループ内フィルタ・コンポーネント４２５を介して転送され、このコンポーネントは、復号されたピクチャ・バッファ・コンポーネント２２３及びループ内フィルタ・コンポーネント２２５にそれぞれ実質的に類似であり得る。ループ内フィルタ・コンポーネント４２５は、再構成された画像ブロック、残差ブロック及び／又は予測ブロックをフィルタリングし、そのような情報は復号されたピクチャ・バッファ・コンポーネント４２３に記憶される。復号されたピクチャ・バッファ・コンポーネント４２３からの再構成されたピクチャ・ブロックは、インター予測のために動き補償コンポーネント４２１に転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１及び／又は動き補償コンポーネント２１９と実質的に同様であり得る。具体的には、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを使用して予測ブロックを生成し、残差ブロックを結果に適用して画像ブロックを再構成する。得られた再構成されたブロックは、ループ内フィルタ・コンポーネント４２５を介して復号されたピクチャ・バッファ・コンポーネント４２３に転送されてもよい。復号されたピクチャ・バッファ・コンポーネント４２３は、追加の再構成された画像ブロックを記憶し続け、これらは、パーティション情報を介してフレームに再構成され得る。このようなフレームは、シーケンスに位置付けられてもよい。そのシーケンスは、再構成された出力ビデオ信号としてディスプレイ向かって出力される。

【0091】

図５は、例示的なＨＲＤ５００を示す概略図である。ＨＲＤ５００は、コーデック・システム２００及び／又は符号化器３０などの符号化器に用いられてもよい。ＨＲＤ ５００は、ビットストリームが復号器４００などの復号器に転送される前に、方法１００のステップ１０９で生成されたビットストリームを検査してもよい。いくつかの例において、ビットストリームが符号化されるときに、ビットストリームはＨＲＤ ５００を通して連続的に転送されてもよい。ビットストリームの一部分が関連する制約に適合しない場合に、ＨＲＤ５００は、符号化器が異なるメカニズムでビットストリームの対応するセクションを再符号化するように符号化器にそのような適合しないことを示すことができる。

【0092】

ＨＲＤ５００は、仮想ストリーム・スケジューラ（ＨＳＳ）５４１を含む。ＨＳＳ５４１は、仮想送達メカニズムを実行するように構成されたコンポーネントである。仮想送達メカニズムは、ＨＲＤ５００に入力されたビットストリーム５５１のタイミング及びデータ・フローに関してビットストリーム又は復号器の適合性を検査するために使用される。例えば、ＨＳＳ５４１は、符号化器からのビットストリーム５５１の出力を受信し、ビットストリーム５５１での適合性テスト・プロセスを管理してもよい。特定の例では、ＨＳＳ５４１は、コーディングされたピクチャがＨＲＤ５００を通って移動するレートを制御し、ビットストリーム５５１が不適合データを含まないことを検証することができる。

【0093】

ＨＳＳ５４１は、ビットストリーム５５１を所定のレートでＣＰＢ５４３に転送してもよい。ＨＲＤ５００は、復号ユニット（ＤＵ）５５３においてデータを管理してもよい。ＤＵ５５３は、アクセス・ユニット（ＡＵ）又はＡＵのサブセットであり、非ビデオ・コーディング・レイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットに関連する。具体的には、ＡＵは、出力時間に関連する１つ以上のピクチャを含む。例えば、ＡＵは、単一レイヤビットストリームにおいて単一ピクチャを含んでもよく、マルチ・レイヤ・ビットストリームにおいて各レイヤに対するピクチャを含んでもよい。ＡＵの各ピクチャは、対応するＶＣＬ ＮＡＬユニットに各々含まれるスライスに分割されてもよい。それゆえ、ＤＵ５５３は、１つ以上のピクチャ、１つ以上のピクチャのスライス、又はそれらの組み合わせを含んでもよい。また、ＡＵ、ピクチャ、及び／又はスライスを復号するために使用されるパラメータは、非ＶＣＬ ＮＡＬユニットに含まれ得る。したがって、ＤＵ５５３は、ＤＵ５５３におけるＶＣＬ ＮＡＬユニットの復号をサポートするために必要なデータを含む非ＶＣＬ ＮＡＬユニットを含む。ＣＰＢ５４３は、ＨＲＤ５００において先入れ先出しバッファである。ＣＰＢ５４３は、復号順序においてビデオ・データを含むＤＵ５５３を含む。ＣＰＢ５４３は、ビットストリーム適合性検証中に使用するためにビデオ・データを記憶する。

【0094】

ＣＰＢ５４３は、ＤＵ５５３を復号プロセス・コンポーネント５４５に転送する。復号プロセス・コンポーネント５４５は、ＶＶＣ標準に適合するコンポーネントである。例えば、復号プロセス・コンポーネント５４５は、エンド・ユーザによって用いられる復号器４００をエミュレートしてもよい。復号プロセス・コンポーネント５４５は、例示的なエンド・ユーザ復号器によって達成され得るレートで、ＤＵ５５３を復号する。復号プロセス・コンポーネント５４５がＣＰＢ５４３のオーバーフローを防止するのに十分な速さでＤＵ５５３を復号できない場合、ビットストリーム５５１は標準に適合せず、再符号化されるべきである。

【0095】

復号プロセス・コンポーネント５４５は、ＤＵ５５３を復号し、これは、復号されたＤＵ５５５を生成する。復号されたＤＵ ５５５は復号されたピクチャを含む。復号されたＤＵ５５５はＤＰＢ５４７に転送される。ＤＰＢ５４７は、復号されたピクチャ・バッファ・コンポーネント２２３、３２３、及び／又は４２３に実質的に類似していてもよい。インター予測をサポートするために、復号されたＤＵ５５５から取得される参照ピクチャ５５６として使用するためにマークされたピクチャは、さらなる復号をサポートするために復号プロセス・コンポーネント５４５に戻される。ＤＰＢ５４７は、復号されたビデオ・シーケンスを一連のピクチャ５５７として出力する。ピクチャ５５７は、符号化器によってビットストリーム５５１に符号化された一般的にミラー・ピクチャである再構成されたピクチャである。

【0096】

ピクチャ５５７は、出力クロッピング・コンポーネント５４９に転送される。出力クロッピング・コンポーネント５４９は、適合性クロッピング・ウィンドウをピクチャ５５７に適用するように構成される。これにより、出力クロッピングされたピクチャ５５９をもたらす。出力クロッピングされたピクチャ５５９は、完全に再構成されたピクチャである。したがって、出力クロッピングされたピクチャ５５９は、エンド・ユーザがビットストリーム５５１を復号する際に見るものを模倣する。したがって、符号化器は、符号化が満足のいくものであることを保証するために、出力クロッピングされたピクチャ５５９をレビューすることができる。

【0097】

ＨＲＤ５００は、ビットストリーム５５１におけるＨＲＤパラメータに基づいて初期化される。例えば、ＨＲＤ５００は、ＶＰＳ、ＳＰＳ、及び／又はＳＥＩメッセージからＨＲＤパラメータを読み込んでもよい。次いで、ＨＲＤ５００は、そのようなＨＲＤパラメータにおける情報に基づいて、ビットストリーム５５１に対する適合性テスト動作を実行してもよい。具体的な例として、ＨＲＤ５００は、ＨＲＤパラメータから１つ以上のＣＰＢ送達スケジュールを決定してもよい。送達スケジュールは、ＣＰＢ及び／又はＤＰＢなどのメモリ位置への及び／又はメモリ位置からのビデオ・データの送達タイミングを指定する。それゆえ、ＣＰＢ送達スケジュールは、ＡＵ、ＤＵ５５３、及び／又はピクチャのＣＰＢ５４３との間の送達のタイミングを指定する。ＨＲＤ５００は、ＣＰＢ送達スケジュールに類似するＤＰＢ送達スケジュールをＤＰＢ ５４７に用いてもよいことに留意されたい。

【0098】

ビデオは、様々なレベルのハードウェア能力を有する復号器によって使用されるため、及び様々なネットワーク条件のために、異なるレイヤ及び／又はＯＬＳにコーディングされてもよい。ＣＰＢ送達スケジュールは、これらの問題を反映するように選択される。したがって、上位レイヤ・サブビットストリームは、最適なハードウェア及びネットワーク条件のために指定され、それゆえ、上位レイヤは、ＣＰＢ５４３内の大量のメモリ及びＤＰＢ５４７に向かうＤＵ５５３の転送のための短い遅延を用いる１つ以上のＣＰＢ送達スケジュールを受信してもよい。同様に、下位レイヤ・サブビットストリームは、限定された復号器ハードウェア能力及び／又は劣悪なネットワーク条件のために指定される。それゆえ、下位レイヤは、ＣＰＢ５４３内の少量のメモリ、及びＤＰＢ５４７に向かうＤＵ５５３を転送するためのより長い遅延を用いる１つ以上のＣＰＢ送達スケジュールを受信してもよい。次いで、ＯＬＳ、レイヤ、サブレイヤ、又はそれらの組み合わせは、結果として生じるサブビットストリームが、サブビットストリームに対して期待される条件下で正確に復号され得ることを確実にするために、対応する配達スケジュールに従ってテストされ得る。したがって、ビットストリーム５５１におけるＨＲＤパラメータは、ＣＰＢ送達スケジュールを示すことができ、また、ＨＲＤ５００がＣＰＢ送達スケジュールを決定し、ＣＰＢ送達スケジュールを対応するＯＬＳ、レイヤ、及び／又はアブレイヤに相関させることを可能にするのに十分なデータを含むことができる。

【0099】

図６は、レイヤ間予測６２１のために構成された例示的なマルチ・レイヤ・ビデオ・シーケンス６００を示す概略図である。マルチ・レイヤ・ビデオ・シーケンス６００は、例えば、方法１００に従って、コーデック・システム２００及び／又は符号化器３００などの符号化器によって符号化され、コーデック・システム２００及び／又は復号器４００などの復号器によって復号されてもよい。さらに、マルチ・レイヤ・ビデオ・シーケンス６００は、ＨＲＤ５００などのＨＲＤによって標準適合性について検査され得る。マルチ・レイヤ・ビデオ・シーケンス６００は、コーディングされたビデオ・シーケンスにおけるレイヤのための例示的用途を示すために含まれる。マルチ・レイヤ・ビデオ・シーケンス６００は、レイヤＮ ６３１及びレイヤＮ＋１ ６３２などの複数のレイヤを用いる任意のビデオ・シーケンスである。

【0100】

一実施形態において、マルチ・レイヤ・ビデオ・シーケンス６００は、レイヤ間予測６２１を用いてもよい。レイヤ間予測６２１は、ピクチャ６１１、６１２、６１３、及び６１４とピクチャ６１５、６１６、６１７、及び６１８との間で異なるレイヤに適用される。図示の例において、ピクチャ６１１、６１２、６１３、及び６１４は、レイヤＮ＋１ ６３２の一部であり、ピクチャ６１５、６１６、６１７、及び６１８は、レイヤＮ ６３１の一部である。レイヤＮ ６３１及び／又はレイヤＮ＋１ ６３２などのレイヤは、類似のサイズ、品質、解像度、信号対雑音比、能力などのような、特性の類似の値にすべて関連するピクチャのグループである。レイヤは、ＶＣＬ ＮＡＬユニットと関連する非ＶＣＬ ＮＡＬユニットのセットとして正式に定義されてもよい。ＶＣＬ ＮＡＬユニットは、ピクチャのコーディングされたスライスなどのビデオ・データを含むようにコーディングされたＮＡＬユニットであってもよい。非ＶＣＬ ＮＡＬユニットは、ビデオ・データの復号、適合性検査又は他の動作をサポートする、構文及び／又はパラメータなどの非ビデオ・データを含むＮＡＬユニットである。

【0101】

示された例では、レイヤＮ＋１ ６３２は、レイヤＮ ６３１よりも大きな画像サイズと関連する。したがって、レイヤＮ＋１ ６３２におけるピクチャ６１１、６１２、６１３、及び６１４は、この例においてレイヤＮ ６３１におけるピクチャ６１５、６１６、６１７、及び６１８よりも大きなピクチャ・サイズ（例えば、高さ及び幅がより大きく、それゆえ、サンプルがより多い）を有する。しかしながら、このようなピクチャは、レイヤＮ＋１ ６３２とレイヤＮ ６３１との間で他の特性によって分離することができる。２つのレイヤ、レイヤＮ＋１ ６３２及びレイヤＮ ６３１のみが示されているが、ピクチャのセットは、関連する特性に基づいて任意の数のレイヤに分離され得る。レイヤＮ＋１ ６３２及びレイヤＮ ６３１はまた、レイヤＩｄによって示されてもよい。レイヤＩｄは、ピクチャに関連付けられたデータのアイテムであり、ピクチャが示されたレイヤの一部であることを示す。したがって、各ピクチャ６１１～６１８は、対応するレイヤＩｄと関連して、どのレイヤＮ＋１ ６３２又はレイヤＮ ６３１が対応するピクチャを含むかを示すことができる。例えば、レイヤＩｄは、ＮＡＬユニット・ヘッダ・レイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を含んでもよく、これは、（例えば、レイヤにおけるピクチャのスライス及び／又はパラメータを含む）ＮＡＬユニットを含むレイヤの識別子を指定する構文要素である。レイヤＮ ６３１などのより低い品質／ビットストリーム・サイズと関連するレイヤは、一般的に、下位レイヤＩｄを割り当てられ、下位レイヤと呼ばれる。さらに、レイヤＮ＋１ ６３２などのより高い品質／ビットストリーム・サイズと関連するレイヤは、一般的に、より高いレイヤＩｄを割り当てられ、上位レイヤと呼ばれる。

【0102】

異なるレイヤ６３１～６３２におけるピクチャ６１１～６１８は、代替として表示されるように構成される。特定の例として、より小さなピクチャが望まれる場合、復号器は、現在の表示時間でピクチャ６１５を復号して表示し、より大きなピクチャが望まれる場合、復号器は、現在の表示時間でピクチャ６１１を復号して表示してもよい。したがって、上位レイヤＮ＋１ ６３２におけるピクチャ６１１～６１４は、下位レイヤＮ ６３１における対応するピクチャ６１５～６１８と実質的に同じ画像データを含む（ピクチャ・サイズの差にもかかわらず）。具体的には、ピクチャ６１１は、ピクチャ６１５と実質的に同じ画像データを含み、ピクチャ６１２は、ピクチャ６１６と実質的に同じ画像データを含む、などである。

【0103】

ピクチャ６１１～６１８は、同じレイヤＮ ６３１又はＮ＋１ ６３２内の他のピクチャ６１１～６１８を参照することによってコーディングされ得る。同一レイヤ内の別のピクチャを参照してピクチャを符号化すると、インター予測６２３をもたらす。インター予測６２３は、実線矢印によって示される。例えば、ピクチャ６１３は、レイヤＮ＋１ ６３２におけるピクチャ６１１、６１２、及び／又は６１４のうちの１つ又は２つを参照として用いることによってコーディングされてもよく、１つピクチャは、一方向の相互予測のために参照され、及び／又は、２つのピクチャは、双方向の相互予測のために参照される。さらに、ピクチャ６１７は、レイヤＮ ６３１におけるピクチャ６１５、６１６、及び／又は６１８のうちの１つ又は２つを参照として用いることによってコーディングされてもよく、１つピクチャは、一方向の相互予測のために参照され、及び／又は、２つのピクチャは、双方向の相互予測のために参照される。ピクチャが、インター予測６２３を実行するときに、同じレイヤ内の別のピクチャのための参照として使用されるときに、ピクチャは、参照ピクチャと呼ばれることがある。例えば、ピクチャ６１２は、インター予測６２３に従ってピクチャ６１３をコーディングするために使用される参照ピクチャであってもよい。インター予測６２３は、マルチ・レイヤ・コンテキストにおいてレイヤ内予測とも呼ばれることがある。このように、インター予測６２３は、現在のピクチャと異なる参照ピクチャ内の示されたサンプルを参照することによって、現在のピクチャのサンプルをコーディングするメカニズムであり、ここで、参照ピクチャ及び現在のピクチャは同じレイヤ内にある。

【0104】

ピクチャ６１１～６１８はまた、異なるレイヤにおける他のピクチャ６１１～６１８を参照することによってコーディングされ得る。このプロセスは、レイヤ間予測６２１として知られており、破線の矢印で示されている。レイヤ間予測６２１は、参照ピクチャにおける示されたサンプルを参照することによって、現在のピクチャのサンプルをコーディングするメカニズムであり、ここで、現在のピクチャ及び参照ピクチャは、異なるレイヤにあり、それゆえ、異なるレイヤＩＤを有する。例えば、上位レイヤＮ＋１ ６３１での対応するピクチャをコーディングするために、参照おいクチャとして、下位レイヤＮ ６３１におけるピクチャが使用され得る。特定の例として、ピクチャ６１１は、レイヤ間予測６２１に従って、ピクチャ６１５を参照することによって、コーディングされ得る。このような場合、ピクチャ６１５はレイヤ間参照ピクチャとして使用される。レイヤ間参照ピクチャは、レイヤ間予測６２１のために使用される参照ピクチャである。ほとんどの場合、レイヤ間予測６２１は、ピクチャ６１１のような現在のピクチャが、同じＡＵに含まれ、ピクチャ６１５のような下位レイヤにあるレイヤ間参照ピクチャのみを使用することができるように制約される。複数のレイヤ（例えば、２つ以上）が利用可能である場合、レイヤ間予測６２１は、現在のピクチャよりも低いレベルで、複数のレイヤ間参照ピクチャに基づいて、現在のピクチャを符号化／復号することができる。

【0105】

ビデオ符号化器は、マルチ・レイヤ・ビデオ・シーケンス６００を用いて、インター予測６２３及びレイヤ間予測６２１の多くの異なる組み合わせ及び／又は順列を介して、ピクチャ６１１～６１８を符号化することができる。例えば、ピクチャ６１５は、イントラ予測に従ってコーディングされてもよい。次いで、ピクチャ６１６～６１８は、参照ピクチャとしてピクチャ６１５を使用することによって、インター予測６２３に従ってコーディングされ得る。さらに、ピクチャ６１１は、レイヤ間参照ピクチャとしてピクチャ６１５を使用することによって、レイヤ間予測６２１に従ってコーディングされてもよい。次いで、ピクチャ６１２～６１４は、参照ピクチャとしてピクチャ６１１を使用することによって、インター予測６２３に従ってコーディングされ得る。このように、参照ピクチャは、単一レイヤ参照ピクチャ及び異なる符号化メカニズムに対するレイヤ間参照ピクチャの両方として機能することができる。下位レイヤＮ ６３１ピクチャに基づいて上位レイヤＮ＋１ ６３２ピクチャをコーディングすることによって、上位レイヤＮ＋１ ６３２は、インター予測６２３及びレイヤ間予測６２１よりもはるかに低い符号化効率を有するイントラ予測を用いることを回避することができる。したがって、イントラ予測の劣ったコーディング効率は、最小／最低品質のピクチャに制限され得、それゆえ、最小量のビデオ・データをコーディングすることに制限され得る。参照ピクチャ及び／又はレイヤ間参照ピクチャとして使用されるピクチャは、参照ピクチャ・リスト構造に含まれる参照ピクチャ・リストのエントリにおいて示され得る。

【0106】

ピクチャ６１１～６１８はまた、アクセス・ユニット６２７及び６２８に含まれてもよい。ＡＵ６２７～６２８は、異なるレイヤに含まれ、復号中の同じ出力時間に関連するコーディングされたピクチャのセットである。従って、同じＡＵ６２７～６２８においてコーディングされたピクチャは、同じ時間に復号器でＤＰＢから同時に出力のためにスケジューリングされる。例えば、ピクチャ６１４及び６１８は、同じＡＵ６２８内にある。ピクチャ６１３及び６１７は、ピクチャ６１４及び６１８とは異なるＡＵ６２７内にある。同じＡＵ６２８内のピクチャ６１４及び６１８は、代替として表示されてもよい。例えば、ピクチャ６１８は、小さなピクチャ・サイズが望ましいときに表示され、ピクチャ６１４は、大きなピクチャ・サイズが望ましいときに表示されてもよい。大きなピクチャ・サイズが望まれるときに、ピクチャ６１４が出力され、ピクチャ６１８はレイヤ間予測６２１のみに使用される。この場合、ピクチャ６１８は、レイヤ間予測６２１が完了すると、出力されずに破棄される。すべてのレイヤでのピクチャを含むＡＵ６２７は、完全なＡＵ ６２７と呼ばれ得る。すべてのレイヤでのピクチャを含まないＡＵ６２８は、不完全なＡＵ６２８と呼ばれ得る。

【0107】

レイヤＮ－１ ６３３は、ＡＵ６２８が不完全であるというシナリオを示すために含まれる。レイヤＮ－１ ６３３は、ピクチャ６２５及び６２６を含み、これらは、それぞれ、ピクチャ６１５及び６１７と実質的に同じである。しかし、レイヤＮ－１ ６３３は、ピクチャ６１６及び６１８に対応するピクチャを含まない。したがって、レイヤＮ－１ ６３３は、レイヤＮ ６３１と実質的に同様であるが、より低いフレーム・レートを含む。したがって、ピクチャ６１１、６１５、及び６２５を含むＡＵ６２７は、完全である。しかしながら、ＡＵ６２８はＮ－１ ６３３レイヤでピクチャを欠いているので、ピクチャ６１２及び６１６を含むＡＵ６２８は不完全なＡＵ６２８である。

【0108】

不完全なＡＵ６２８を符号化することは、マルチ・レイヤ・ビデオ・シーケンス６００が異なるユーザに異なるフレーム・レートで送信されることを可能にするため、有用であり得る。しかしながら、不完全なＡＵ６２８は、適合性について符号化されたビデオ・シーケンス検査するときに困難を生成する可能性がある。例えば、ＳＥＩメッセージは、標準との適合性についてマルチ・レイヤ・ビデオ・シーケンス６００を検査するときに、ＨＲＤ５００などのＨＲＤによって使用されるパラメータを送信するために用いられてもよい。いくつかのビデオ・コーディング・システムは、ＳＥＩメッセージがＡＵ６２７～６２８におけるすべてのレイヤに適用されることを可能にする。問題は、そのようなＳＥＩメッセージが複数のＡＵ６２７～６２８に対して永続的であり得ることである。ＳＥＩメッセージが不完全ＡＵ６２８におけるすべてのレイヤに適用されるときに、レイヤＮ－１ ６３３は不完全なＡＵ６２８に含まれないため、そのようなＳＥＩメッセージは、レイヤＮ－１ ６３３に適用されない。したがって、ＳＥＩメッセージは、不完全なＡＵ６２８に続く完全なＡＵ６２７においてレイヤＮ－１ ６３３には適用されない。これは、ＳＥＩメッセージが、そのようなメッセージが完全なＡＵ６２７と関連することが発生するときに、レイヤＮ－１ ６３３に適切に適用され、そのようなメッセージが不完全なＡＵ６２８と関連することが発生するときに、レイヤＮ－１ ６３３には適用されないため、予測不可能なエラーを引き起こす可能性がある。この及び他の問題は、以下に説明されるシグナリング方式によって対処される。

【0109】

図７は、例示的なビットストリーム７００を示す概略図である。例えば、ビットストリーム７００は、方法１００に従って、コーデック・システム２００及び／又は復号器４００による復号のためにコーデック・システム２００及び／又は符号化器３００によって生成することができる。さらに、ビットストリーム７００は、マルチ・レイヤ・ビデオ・シーケンス６００を含んでもよい。追加的に、ビットストリーム７００は、ＨＲＤ５００などのＨＲＤの動作を制御するための様々なパラメータを含んでもよい。そのようなパラメータに基づいて、ＨＲＤ５００は、復号のために復号器に向かって送信する前に、標準との適合性についてビットストリーム７００を検査することができる。

【0110】

ビットストリーム７００は、ＶＰＳ７１１と、１つ以上のＳＰＳ７１３と、複数のピクチャ・パラメータ・セット（ＰＰＳ）７１５と、複数のスライス・ヘッダ７１７と、画像データ７２０と、ＳＥＩメッセージ７１９とを含む。ＶＰＳ７１１は、ビットストリーム７００全体に関係するデータを含む。例えば、ＶＰＳ７１１は、ビットストリーム７００で使用されるデータ関係のＯＬＳ、レイヤ、及び／又はサブレイヤを含んでもよい。ＳＰＳ７１３は、ビットストリーム７００に含まれるコーディングされたビデオ・シーケンスにおけるすべてのピクチャに共通のシーケンス・データを含む。例えば、各レイヤは、１つ以上のコーディングされたビデオ・シーケンスを含んでもよく、各コーディングされたビデオ・シーケンスは、対応するパラメータについてＳＰＳ７１３を参照してもよい。ＳＰＳ７１３におけるパラメータは、ピクチャ・サイズ、ビット深度、コーディング・ツール・パラメータ、ビットレート制限などを含むことができる。各シーケンスがＳＰＳ７１３を参照するが、単一のＳＰＳ７１３は、いくつかの例において複数のシーケンスのためのデータを含むことができることに留意されたい。ＰＰＳ７１５は、ピクチャ全体に適用されるパラメータを含む。それゆえ、ビデオ・シーケンスにおける各ピクチャは、ＰＰＳ７１５を参照してもよい。各ピクチャはＰＰＳ７１５を参照する一方で、単一のＰＰＳ７１５は、いくつかの例において複数のピクチャのためのデータを含むことができることに留意されたい。例えば、複数の類似のピクチャは、類似のパラメータに従ってコーディングされてもよい。このような場合に、単一のＰＰＳ７１５は、このような類似のピクチャのデータを含んでもよい。ＰＰＳ７１５は、対応するピクチャ、量子化パラメータ、オフセットなどにおけるスライスに利用可能なコーディング・ツールを示すことができる。

【0111】

スライス・ヘッダ７１７は、ピクチャにおける各スライスに特有のパラメータを含む。それゆえ、ビデオ・シーケンスにおいて、スライス当たり１つのスライス・ヘッダ７１７があってもよい。スライス・ヘッダ７１７は、スライス・タイプ情報、ＰＯＣ、参照ピクチャ・リスト、予測重み、タイル・エントリ・ポイント、デブロッキング・パラメータなどを含んでもよい。いくつかの例では、ビットストリーム７００は、単一のピクチャ内のすべてのスライスに適用されるパラメータを含む構文構造である、ピクチャ・ヘッダを含んでもよいことに留意されたい。この理由のために、ピクチャ・ヘッダとスライス・ヘッダ７１７は、いくつかのコンテキストにおいて互換的に用いられてもよい。例えば、特定のパラメータは、そのようなパラメータがピクチャ内のすべてのスライスに共通であるかどうかに依存して、スライス・ヘッダ７１７とピクチャ・ヘッダとの間で移動されてもよい。

【0112】

画像データ７２０は、インター予測及び／又はイントラ予測に従って符号化されたビデオ・データ、ならびに対応する変換及び量子化された残差データを含む。例えば、画像データ７２０は、レイヤ７２３、ピクチャ７２５、及び／又はスライス７２７を含んでもよい。レイヤ７２３は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９などのレイヤＩＤによって示されるように、特定の特性（例えば、共通解像度、フレーム・レート、画像サイズなど）を共有するＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットのセットである。例えば、レイヤ７２３は、同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを共有するピクチャ７２５のセットを含んでもよい。レイヤ７２３は、レイヤ６３１、６３２、及び／又は６３３に実質的に類似していてもよい。ｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９は、少なくとも１つのＮＡＬユニットを含むレイヤ７２３の識別子を指定する構文要素である。例えば、ベース・レイヤとして知られる最低品質レイヤ７２３は、より高い品質のレイヤ７２３についてのｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９の値を増加させたｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９の最低値を含んでもよい。それゆえ、下位レイヤは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９のより小さい値を有するレイヤ７２３であり、上位レイヤは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９のより大きい値を有するレイヤ７２３である。

【0113】

ピクチャ７２５は、フレーム又はそのフィールドを生成する輝度サンプルのアレイ及び／又は色差サンプルのアレイである。例えば、ピクチャ７２５は、表示のために出力され得るか、又は出力のための他のピクチャ７２５のコーディングをサポートするために使用され得るコーディングされた画像である。ピクチャ７２５は、１つ以上のスライス７２７を含む。スライス７２７は、単一のＮＡＬユニットに排他的に含まれる整数個の完全タイル又はピクチャ７２５の（例えば、タイル内の）整数個の連続する完全コーディング・ツリー・ユニット（ＣＴＵ）行として定義されてもよい。スライス７２７は、さらにＣＴＵ及び／又はコーディング・ツリー・ブロック（ＣＴＢ）に分割される。ＣＴＵは、コーディング・ツリーによってパーティショニング可能な、あらかじめ定義されたサイズのサンプルのグループである。ＣＴＢは、ＣＴＵのサブセットであり、ＣＴＵの輝度コンポーネント又は色差コンポーネントを含む。ＣＴＵ／ＣＴＢはさらにコーディング・ツリーに基づいてコーディング・ブロックに分割される。次いで、コーディング・ブロックは、予測メカニズムに従って符号化／復号されてもよい。

【0114】

ビットストリーム７００は、ＮＡＬユニットのシーケンスとしてコーディングされ得る。ＮＡＬユニットは、ビデオ・データ及び／又はサポート構文のためのコンテナである。ＮＡＬユニットは、ＶＣＬ ＮＡＬユニット又は非ＶＣＬ ＮＡＬユニットであり得る。ＶＣＬ ＮＡＬユニットは、画像データ７２０及び関連するスライス・ヘッダ７１７などのビデオ・データを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオ・データの復号、適合性検査又は他の動作をサポートする、構文及び／又はパラメータなどの非ビデオ・データを含むＮＡＬユニットである。例えば、非ＶＣＬ ＮＡＬユニットは、ＶＰＳ７１１、ＳＰＳ７１３、ＰＰＳ７１５、ＳＥＩメッセージ７１９、又は他のサポート構文を含むことができる。

【0115】

ＳＥＩメッセージ７１９は、復号されたピクチャにおけるサンプルの値を決定するために、復号プロセスによって必要とされない情報を搬送する、指定された意味を持つ構文構造であってもよい。例えば、ＳＥＩメッセージ７１９は、ＨＲＤプロセスをサポートするデータ、又は復号器でビットストリーム７００を復号することに直接関連しない他のサポート・データを含んでもよい。ＳＥＩメッセージ７１９のセットは、スケーラブル・ネスティングＳＥＩメッセージ７４１として実装されてもよい。スケーラブル・ネスティングＳＥＩメッセージ７４１は、ＳＥＩメッセージ７１９を特定のレイヤ７２３に関連付けるメカニズムを提供する。スケーラブル・ネスティングＳＥＩメッセージ７４１は、複数のスケーラブル・ネスティングされたＳＥＩメッセージ７４２を含むメッセージである。スケーラブル・ネスティングＳＥＩメッセージ７４２は、１つ以上のＯＬＳ又は１つ以上のレイヤ７２３に対応するＳＥＩメッセージ７１９である。ＯＬＳは、レイヤ７２３のセットであり、レイヤ７２３の少なくとも１つは出力レイヤである。したがって、スケーラブル・ネスティングＳＥＩメッセージ７４１は、コンテキストに依存して、スケーラブル・ネスティングされたＳＥＩメッセージ７４２のセットを含むと言うことができ、又は、ＳＥＩメッセージ７１９のセットを含むと言うことができる。さらに、スケーラブル・ネスティングＳＥＩメッセージ７４１は、同じタイプのスケーラブル・ネスティングされたＳＥＩメッセージ７４２のセットを含む。ＳＥＩメッセージ７１９は、ＨＲＤを初期化し、対応するＯＬＳ及び／又はレイヤ７２３をテストするためにＣＰＢを管理するためのＨＲＤパラメータを含むＢＰ ＳＥＩメッセージを含んでもよい。ＳＥＩメッセージ７１９はまた、対応するＯＬＳ及び／又はレイヤ７２３をテストするためにＣＰＢ及び／又はＤＰＢでのＡＵのための送達情報を管理するためのＨＲＤパラメータを含むＰＴ ＳＥＩメッセージを含んでもよい。ＳＥＩメッセージ７１９はまた、対応するＯＬＳ及び／又はレイヤ７２３をテストするためにＣＰＢ及び／又はＤＰＢでのＤＵのための送達情報を管理するためのＨＲＤパラメータを含むＤＵＩ ＳＥＩメッセージを含んでもよい。

【0116】

上述のように、ＳＥＩメッセージ７１９は、非ＶＣＬ ＮＡＬユニットに含まれてもよい。例えば、スケーラブル・ネスティングＳＥＩメッセージ７４１は、ＳＥＩ ＮＡＬユニット７４３に含まれてもよい。ＳＥＩ ＮＡＬユニット７４３は、ＳＥＩ ＮＡＬユニット７４３がＳＥＩデータを含むことを示すタイプデータを有するＮＡＬユニットである。スケーラブル・ネスティングＳＥＩメッセージ７４１の利点の１つは、スケーラブル・ネスティングＳＥＩメッセージ７４１が、スケーラブル・ネスティングＳＥＩメッセージ７４２のセットを単一のＳＥＩ ＮＡＬユニット７４３に含まれることを可能にすることである。スケーラブル・ネスティングＳＥＩメッセージ７４１が用いられないときに、各ＳＥＩメッセージ７１９は、別個のＳＥＩ ＮＡＬユニット７４３に含まれる。議論を明確にするために、特定のＳＥＩ ＮＡＬユニット７４３は、現在のＳＥＩ ＮＡＬユニット７４３と呼ばれ得る。

【0117】

スケーラブル・ネスティングＳＥＩメッセージ７４１に関する問題の１つは、スケーラブル・ネスティングされたＳＥＩメッセージ７４２のセット全体が単一のＳＥＩ ＮＡＬユニット７４３に含まれることである。しかしながら、スケーラブル・ネスティングされたＳＥＩメッセージ７４２のセットは、多くの方法で対応するレイヤ７２３に関係することができる。例えば、セットにおけるスケーラブル・ネスティングされたＳＥＩメッセージ７４２の各々は、すべてのレイヤ７２３に関係することができる。別の例において、セットにおけるスケーラブル・ネスティングされたＳＥＩメッセージ７４２の各々は、レイヤ７２３のうちの１つ以上に関係することができる。様々なフラグを用いて、スケーラブル・ネスティングＳＥＩメッセージ７４２とレイヤ７２３との間の相関を示すことができる。上述のように、スケーラブル・ネスティングされたＳＥＩメッセージ７４２フラグの１つの問題は、スケーラブル・ネスティングされたＳＥＩメッセージ７４２を示すフラグがＡＵにおけるすべてのレイヤに適用されることで、ビデオ・シーケンスが不完全なＡＵを含むときにエラーを引き起こす可能性があることである。別の問題は、スケーラブル・ネスティングＳＥＩメッセージ７４１を含むＳＥＩ ＮＡＬユニット７４３が常にレイヤ７２３、例えば、最も低いｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９を有するレイヤ７２３に関連することである。スケーラブル・ネスティングＳＥＩメッセージ７４２が、ＳＥＩ ＮＡＬユニット７４３と関連するレイヤ７２３に適用されるときに、関連性は、ＳＥＩ ＮＡＬユニット７４３及びスケーラブル・ネスティングＳＥＩメッセージ７４１の両方においてシグナリングされる。これは冗長であり、ビットを浪費する。

【0118】

ビットストリーム７００は、上述の問題に対処しながら、ＳＥＩメッセージ７１９の構成をシグナリングするための種々のフラグを含む。例えば、スケーラブル・ネスティングＳＥＩメッセージ７４１は、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ ｌａｙｅｒｓ ｆｌａｇ（ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ）７３５を含んでもよい。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ７３５構文要素は、スケーラブル・ネスティングＳＥＩメッセージ７４１におけるスケーラブル・ネスティングされたＳＥＩメッセージ７４２が、例えばＶＰＳ７１１に指定されたように、すべてのレイヤ７２３に適用されるかどうかを指定する。ＡＵを対処しないｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ７３５を用いることによって、不完全なＡＵ問題が回避される。したがって、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ７３５がセットされるときに、スケーラブル・ネスティングＳＥＩメッセージ７４１に含まれるスケーラブル・ネスティングされたＳＥＩメッセージ７４２は、スケーラブル・ネスティングＳＥＩメッセージ７４１が適用されるＡＵに含まれるレイヤ７２３の数に関係なく、すべのレイヤ７２３に適用される。特定の例において、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ７３５は、スケーラブル・ネスティングされたＳＥＩメッセージ７４２が、現在のＳＥＩ ＮＡＬユニット７４３のｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄ ７２９を有するすべてのレイヤ７２３に適用されることを指定するときに、１に等しくセットされる。さらに、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ７３５は、スケーラブル・ネスティングされたＳＥＩメッセージ７４２が、現在のＳＥＩ ＮＡＬユニット７４３のｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９を有するすべてのレイヤ７２３に適用されてもよいか、又は適用されないことを指定するときに、０に等しくセットされ得る。それゆえ、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ７３５は、不完全なＡＵが存在するときに、適合性についてビットストリーム７００が正しく検査されるようにすることによって、符号化器及び／又は復号器の機能性を上昇させる。さらに、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ７３５は、このようなメッセージがすべてのレイヤ７２３に適用されるときに、スケーラブル・ネスティングされたＳＥＩメッセージ７４２のための明示的なレイヤ・シグナリングを省くことによって、符号化されたビットストリーム７００のサイズを低減する。その結果、符号化効率が増加し、これは、符号化器及び復号器の両方におけるプロセッサ、メモリ、及び／又はネットワーク・シグナリング・リソースの使用量を減少させる。

【0119】

冗長シグナリング問題に対処するために、スケーラブル・ネスティングＳＥＩメッセージ７４１は、スケーラブル・ネスティング・レイヤｉｄ（ｌａｙｅｒ＿ｉｄ［ｉ］）７３９を含んでもよい。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］７３９は、スケーラブル・ネスティングされたＳＥＩメッセージ７４２が適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ ７２９値を指定する構文要素である。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］７３９は、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ７３５が０にセットされるときに用いられてもよい。このように、ｌａｙｅｒ＿Ｉｄ［ｉ］７３９は、スケーラブル・ネスティングされたＳＥＩメッセージ７４２の各々を対応するレイヤ７２３に相関させるために使用され得る。さらに、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］７３９は、ＳＥＩ ＮＡＬユニット７４３に対応するレイヤ７２３のｎｕｈ＿ｌａｙｅｒ＿ｉｄ ７２９を除く、スケーラブル・ネスティングされたＳＥＩメッセージ７４２に対応するレイヤ７２３のすべてのｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９をシグナリングするように構成される。スケーラブル・ネスティングされたＳＥＩメッセージ７４２が、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］７３９におけるｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９値に関連しないときに、スケーラブル・ネスティングされたＳＥＩメッセージ７４２が、ＳＥＩ ＮＡＬユニット７４３に関連するレイヤ７２３に関係すると推論され得る。例えば、ＳＥＩ さらに、ｃａｌａｂｌｅＮＡＬユニット７４３は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９の最低値に関連し得る。それゆえ、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］７３９は、各レイヤｉに対するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］７３９が、現在のＳＥＩ ＮＡＬユニット７４３のｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９より大きくなければならないように制約されてもよい。これは、現在のＳＥＩ ＮＡＬユニット７４３のｎｕｈ＿ｌａｙｅｒ＿ｉｄ ７２９が、現在のＳＥＩ ＮＡＬユニットｙｕｎｉｔｔｏ ７４３においてシグナリングされるが、スケーラブル・ネスティングＳＥＩメッセージ７４１におけるｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］７３９において繰り返されないことを確実にする。
これは、冗長なＩｄを省くことによって、スケーラブル・ネスティングＳＥＩメッセージ７４１を改良する。例えば、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］７３９を符号化／復号するループは、より短い時間で１回実行し、これは、符号化及び／又は復号中のプロセッサ・リソースを低減するさらに、これは、ビットストリーム７００におけるスケーラブル・ネスティングＳＥＩメッセージ７４１の各々に対する符号化されたビットストリーム７００のサイズを低減するその結果、コーディング効率が上昇し、これは、符号化器及び復号器の両方におけるプロセッサ、メモリ、及び／又はネットワーク・シグナリング・リソースの使用量を低減する。

【0120】

ＨＲＤ及び／又は復号器は、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］７３９及びｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇ７３５を使用して、例えばビットストリーム７００における他の構文要素に基づいて、スケーラブル・ネスティングされたＳＥＩメッセージ７４２をレイヤ７２３に相関させることができる。例えば、ＨＲＤ及び／又は復号器は、ネスティング・レイヤ数（ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ）変数及びネスティング・レイヤＩｄのリスト（ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］）変数を使用することができる。命名法の問題として、アンダースコアを有する構文要素は、符号化器によってビットストリーム７００においてシグナリングされてもよいが、アンダースコア又はスペースがない構文要素は、ビットストリーム７００からデータを読み取るときに（例えば、ＨＲＤ及び／又は復号器で）決定される変数であってもよい。ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ変数は、ビットストリーム７００におけるデータに基づいてスケーラブル・ネスティングＳＥＩメッセージ７４２が適用されるレイヤ７２３の数を指定する。ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］変数は、ビットストリーム７００におけるデータに基づいて、０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、スケーラブル・ネスティングされたＳＥＩメッセージ７４２が適用されるレイヤ７２３のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定するようにセットされる変数である。ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及びＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、以下のように決定されてもよい。

【数3】

【0121】

前述のコードは、ＶＰＳ最大レイヤから１引いた（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）７３１に依存する。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３１は、ビットストリーム７００においてマルチ・レイヤ７２３を指定するＶＰＳ７１１において搬送される構文要素である。前述のコードは、ＶＰＳレイヤＩｄ（ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］）７３３にも依存する。Ｔｈｅ ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］７３３は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９値を指定するＶＰＳ７３３において搬送される構文要素である。それゆえ、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］７３３は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９がレイヤ・インデックスｉによってアクセスされ得るように、各レイヤ７２３についてｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９を指定する。

【0122】

前述のコードは、汎用レイヤ・インデックス（ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ）変数にも依存する。ＧｅｎｅｒａｌＬａｙｅｒＩｄｘは、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］７３３に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤ７２３のレイヤ・インデックスを指定する、ＨＲＤ及び／又は復号器によって決定される変数である。前述のコードは、レイヤのスケーラブル・ネスティング数から１引いた（ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）７３７構文要素にも依存する。スケーラブル・ネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３７は、スケーラブル・ネスティングＳＥＩメッセージ７４１におけるスケーラブル・ネスティングされたＳＥＩメッセージ７４２が適用されるレイヤ７２３の数を指定する、スケーラブル・ネスティングＳＥＩメッセージ７４１において搬送される構文要素である。ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３７は、マイナス１フォーマットを用いて、それゆえ、実際の値より１少ないものを含む。例えば、スケーラブル・ネスティングＳＥＩメッセージ７４１が、５つのレイヤ７２３に関係するスケーラブル・ネスティングＳＥＩメッセージ７４２を含む場合、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３７は、４の値にセットされる。いくつかの例において、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３７は、０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］の範囲（両端を含む）にあるように制約され、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９は、現在のＳＥＩ ＮＡＬユニット７４３のｎｕｈ＿ｌａｙｅｒ＿ｉｄ７２９である。

【0123】

前述の情報は、本明細書において、以下でより詳細に説明される。レイヤ状ビデオ・コーディングは、スケーラブル・ビデオ・コーディング又はスケーラブル性を有するビデオ・コーディングとも呼ばれる。ビデオ・コーディングにおけるスケーラブル性は、マルチ・レイヤ・コーディング技術を使用することによってサポートされてもよい。マルチ・レイヤ・ビットストリームは、ベース・レイヤ（ＢＬ）及び１つ以上のエンハンスメント・レイヤ（ＥＬ）を含む。スケーラビリティの例は、空間スケーラビリティ、品質／信号対雑音比（ＳＮＲ）スケーラビリティ、マルチビュー・スケーラビリティ、フレーム・レート・スケーラビリティなどを含む。マルチ・レイヤ・コーディング技術が使用されるときに、参照ピクチャを使用せずにピクチャ又はその一部がコーディングされてもよく（イントラ予測）、同じレイヤにおける参照ピクチャを参照することによりコーディングされてもよく（インター予測）、他のレイヤにおける参照ピクチャを参照することによりコーディングされてもよい（レイヤ間予測）。現在のピクチャのレイヤ間予測に使用される参照ピクチャは、レイヤ間参照ピクチャ（ＩＬＲＰ）と呼ばれる。図６は、異なるレイヤにおけるピクチャが異なる解像度を有する空間スケーラビリティのためのマルチ・レイヤ・コーディングの例を示す。

【0124】

いくつかのビデオ・コーディング・ファミリーは、単一レイヤ・コーディングのためのプロファイルから分離されたプロファイルにおけるスケーラビリティのためのサポートを提供する。スケーラブル・ビデオ・コーディング（ＳＶＣ）は、空間的、時間的及び品質的スケーラビリティのためのサポートを提供する高度なビデオ・コーディング（ＡＶＣ）のスケーラブル拡張である。ＳＶＣでは、ＥＬピクチャにおける各マクロブロック（ＭＢ）においてフラグがシグナリングされ、下位レイヤからの並置されたブロックを使用してＥＬ ＭＢが予測されるかどうかを示す。並置されたブロックからの予測は、テクスチャ、動きベクトル、及び／又はコーディング・モードを含んでもよい。ＳＶＣの実装は、修正されていないＡＶＣ実装をその設計に直接再利用しなくてもよい。ＳＶＣ ＥＬマクロブロック構文及び復号プロセスは、ＡＶＣ構文及び復号プロセスとは異なる。

【0125】

スケーラブルＨＥＶＣ（ＳＨＶＣ）は、空間的及び品質的スケーラビリティのためのサポートを提供するＨＥＶＣの拡張である。マルチビューＨＥＶＣ（ＭＶ‐ＨＥＶＣ）は、マルチビュー・スケーラビリティのためのサポートするＨＥＶＣの拡張である。３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）は、ＭＶ－ＨＥＶＣより高度であり、効率的である３Ｄビデオ・コーディングのためのサポートを提供するＨＥＶＣの拡張である。時間的スケーラビリティは、単一レイヤＨＥＶＣコーデックの不可欠な部分として含まれてもよい。ＨＥＶＣのマルチ・レイヤ拡張において、レイヤ間予測のために使用される復号されたピクチャは、同じＡＵのみに由来し、長期参照ピクチャ（ＬＴＲＰ）として扱われる。このようなピクチャは、現在のレイヤにおいて他の時間的参照ピクチャと共に参照ピクチャ・リストにおける参照インデックスが割り当てられる。レイヤ間予測（ＩＬＰ）は、参照ピクチャ・リストにおけるレイヤ間参照ピクチャを参照するために参照インデックスの値をセットすることによって予測ユニット（ＰＵ）レベルで達成される。空間スケーラビリティは、ＩＬＲＰが、符号化又は復号される現在のピクチャとは異なる空間分解能を有するときに、参照画像又はその一部を再サンプリングする。参照ピクチャの再サンプリングは、ピクチャ・レベル又はコーディング・ブロック・レベルのいずれかで実現され得る。

【0126】

ＶＶＣはまた、レイヤ状ビデオ・コーディングをサポートしてもよい。ＶＶＣビットストリームは、マルチ・レイヤを含むことができる。各レイヤは、互いに独立していてもよい。例えば、各レイヤは、レイヤ間予測を使用せずにコーディングされ得る。この場合、レイヤは、同時キャスト・レイヤとも呼ばれる。場合によっては、レイヤのいくつかは、ＩＬＰを使用してコーディングされる。ＶＰＳにおけるフラグは、レイヤが同時キャスト・レイヤであるかどうか、又はいくつかのレイヤがＩＬＰを使用するかどうかを示すことができる。いくつかのレイヤがＩＬＰを使用するときに、レイヤ間のレイヤ依存関係もＶＰＳにおいてシグナリングされる。ＳＨＶＣやＭＶ－ＨＥＶＣとは異なり、ＶＶＣはＯＬＳを指定しなくてもよい。ＯＬＳは、指定されたレイヤのセットを含み、レイヤのセットにおける１つ以上のレイヤは、出力レイヤであると指定される。出力レイヤは、出力されるＯＬＳのレイヤである。ＶＶＣのいくつかの実装において、レイヤが同時キャスト・レイヤであるときに、復号及び出力のためにただ１つのレイヤが選択されてもよい。ＶＶＣのいくつかの実装において、すべてのレイヤを含むビットストリーム全体が、いずれかのレイヤがＩＬＰを使用するときに復号されるように指定される。さらに、レイヤ間の特定のレイヤは、出力レイヤであると指定される。出力レイヤは、最上位レイヤ、全てのレイヤ、又は最上位レイヤに示された下位レイヤのセットを加えたもののみであると示されてもよい。

【0127】

前述の態様は、特定の問題を含む。いくつかのビデオ・コーディング・システムは、ＳＥＩメッセージをビットストリーム・サブセットに関連付けるためのスケーラブル・ネスティングＳＥＩメッセージが、特定のレイヤ及び／又はサブレイヤを有する様々な動作点に対応することを指定する。第１の問題は、特定のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値がｎｕｈ＿ＬａｙｅｒＩｄであるＳＥＩ ＮＡＬユニットに含まれるスケーラブル・ネスティングＳＥＩメッセージを使用して、特定のレイヤに対してＳＥＩメッセージをネスティングするときに発生する。この場合において、ネスティングされたＳＥＩメッセージがすべてのレイヤに適用されるわけではないときに、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｎｕｈ＿ＬａｙｅｒＩｄに等しい適用可能なレイヤも明示的にシグナリングされる。ただし、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｎｕｈ＿ＬａｙｅｒＩｄに等しい適用可能なレイヤは常に適用可能なレイヤである。したがって、ＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄのシグナリングは必要であるわけではなく（例えば冗長である）、ビットの無駄である。

【0128】

第２の問題は、ネスティングされたＳＥＩメッセージがすべてのレイヤに適用されるときに発生する。意味は、値の昇順において、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上である現在のアクセス・ユニットに存在するｎｕｈ＿ｌａｙｅｒ＿ｉｄのすべての値を、リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］が含むことを指定するために、ａｌｌ＿ｌａｙｅｒ＿ｆｌａｇが１に等しくセットされることを示してもよい。しかしながら、現在のＡＵは不完全なＡＵであることがある。これは、ＡＵがすべてのレイヤに対して存在するピクチャを有さないときに発生してもよい。ネスティングされたＳＥＩメッセージの持続的なスコープは、現在のＡＵよりも多くのレイヤに対するピクチャを含む他のＡＵを含むことができる。結果として、現在のＡＵ（スケーラブル・ネスティングＳＥＩメッセージを含むＡＵ）に欠けているレイヤは適用可能であると指定されない。ネスティングされたＳＥＩメッセージの永続的なスコープにおける他のＡＵが、現在のＡＵに欠けているレイヤのピクチャを有するときに、ネスティングされたＳＥＩメッセージに搬送された情報は、それらのピクチャには適用可能ではないと解釈される。結果として、エラーが発生することがあります。例えば、ネスティングされたＳＥＩメッセージにＳＥＩメッセージをパッケージするフレームが含まれる場合、レンダリングされたピクチャは、悪いユーザ体験をもたらすアーチファクトを含むことがある。

【0129】

一般に、本開示は、マルチ・レイヤ・ビデオビットストリームにおけるレイヤに対するＳＥＩメッセージのスケーラブル・ネスティングのためのアプローチを説明する。技術の説明は、ＶＶＣに基づく。しかしながら、この技術は、他のビデオ・コーデック仕様に基づくレイヤ状ビデオ・コーディングにも適用される。

【0130】

上述の問題の１つ以上は、以下のように解決され得る。具体的には、本開示は、上述のように、不完全なＡＵと併せてレイヤと共に使用するためにＳＥＩメッセージを効率的にネスティングするための方法を含む。第一に、スケーラブル・ネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのものと等しいレイヤＩｄを有するレイヤは、明示的にシグナリングされるのではなく、ネスティングされたＳＥＩメッセージが適用されるレイヤであると推論される。第二に、ネスティングされたＳＥＩメッセージがすべてのレイヤに適用されるときに、ネスティングされたＳＥＩメッセージは、現在のＡＵに存在するすべてのレイヤではなく、ビットストリームに存在し得るすべてのレイヤである、ＶＰＳによって指定されたすべてのレイヤに適用される。

【0131】

前述のメカニズムの例示的な実装は、以下のようである。例示的なスケーラブル・ネスティングＳＥＩメッセージ構文は、以下のようである。

【表1】

【0132】

代替的な例において、構文要素ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ＶＰＳによって指定されたレイヤ間のレイヤ・インデックスのｕｅ（ｖ）コーディングである。別の代替的な例において、構文要素ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ＶＰＳによって指定されたレイヤ間のレイヤ・インデックスのデルタのｕｅ（ｖ）コーディングである。別の代替的な例において、構文要素ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄのデルタのｕｅ（ｖ）コーディングである。

【0133】

例示的なスケーラブル・ネスティングＳＥＩメッセージ意味は、以下のようである。スケーラブル・ネスティングＳＥＩメッセージは、特定のＯＬＳのコンテキストにおいて特定のレイヤ又はＯＬＳのコンテキストにおいてではない特定のレイヤとＳＥＩメッセージを関連付けるメカニズムを提供する。スケーラブル・ネスティングＳＥＩメッセージは、１つ以上のＳＥＩメッセージが含む。スケーラブル・ネスティングＳＥＩメッセージに含まれるＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージとも呼ばれる。ビットストリーム適合性は、ＳＥＩメッセージがスケーラブル・ネスティングＳＥＩメッセージに含まれるときに、以下の制限が適用されることを要求してもよい。

【0134】

１３２（復号されたピクチャ・ハッシュ）又は１３３（スケーラブル・ネスティング）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージは、スケーラブル・ネスティングＳＥＩメッセージに含まれるべきではない。スケーラブル・ネスティングＳＥＩメッセージがバッファ期間、ピクチャ・タイミング、又は復号ユニット情報ＳＥＩメッセージを含むときに、スケーラブル・ネスティングＳＥＩメッセージは、０（バッファ期間）、１（ピクチャ・タイミング）、又は１３０（復号ユニット情報）に等しくないｐａｙｌｏａｄＴｙｐｅを有する任意の他のＳＥＩメッセージを含むべきではない。

【0135】

ビットストリーム適合性は、スケーラブル・ネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値に対して以下の制限を適用する必要があってもよい。スケーラブル・ネスティングＳＥＩメッセージが０（バッファ期間）、１（ピクチャ・タイミング）、１３０（復号ユニット情報）、１４５（従属ＲＡＰ表示）、又は１６８（フレーム・フィールド情報）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含むときに、スケーラブル・ネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しくセットされたｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するべきである。スケーラブル・ネスティングＳＥＩメッセージが、１３２（復号されたピクチャハッシュ）に等しいｐｅａｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含むときに、スケーラブル・ネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しくセットされたｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するべきである。

【0136】

ｎｅｓｔｔｉｎｇ＿ｏｌｓ＿ｆｌａｇは、特定のＯＬＳのコンテキストにおいて特定のレイヤにスケーラブル・ネスティングされたＳＥＩメッセージを適用することを指定するために、１に等しくセットされてもよい。ｎｅｓｔｔｉｎｇ＿ｏｌｓ＿ｆｌａｇは、スケーラブル・ネスティングＳＥＩメッセージが一般的に特定のレイヤに適用されること（例えば、ＯＬＳのコンテキストにおいてではない）を指定するために、０に等しくセットされてもよい。

【0137】

ビットストリーム適合性は、次の制約がｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値に適用されることを要求してもよい。スケーラブル・ネスティングＳＥＩメッセージが、０（バッファ期間）、１（ピクチャ・タイミング）、又は１３０（復号ユニット情報）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含むときに、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は、１に等しくあるべきである。スケーラブル・ネスティングＳＥＩメッセージが、ＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔにおける値と等しいｐｅａｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含むときに、ｎｅｓｔｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は０に等しくあるべきである。

【0138】

ｎｅｓｔｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１＋１は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるＯＬＳ数を指定する。ｎｅｓｔｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－１の範囲にあるべきである。ｎｅｓｔｉｎｇ＿ｏｌｓ＿Ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいときに、スケーラブル・ネスティングＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するために使用される。ｎｅｓｔｔｉｎｇ＿ｏｌｓ＿Ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＴｏｔａｌＮｕｍＯｌｓ－２の範囲（両端を含む）にあるべきである。変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出されてもよい。

【数4】

【0139】

ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］＋１は、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストにおいてスケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－１の範囲（両端を含む）にあるべきである。

【0140】

ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいときに、ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］番目のＯＬＳのコンテキストにおいてスケーラブル・ネスティングされたＳＥＩメッセージが適用されるｊ番目のレイヤのＯＬＳレイヤ・インデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｎｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－２の範囲（両端を含む）にあるべきである。

【0141】

変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］は、以下のように導出されてもよい。

【数5】

【0142】

０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の範囲（両端を含む）のｉに対するＬａｙｅｒＩｄＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］［ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［０］］は、現在のＳＥＩ ＮＡＬユニット（例えば、スケーラブル・ネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニット）のｎｕｈ＿ｌａｙｅｒ＿ｉｄと等しくあるべきである。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに一般的にスケーラブル・ネスティングされたＳＥＩメッセージが適用されることを指定するために１に等しくセットされてもよい。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに一般的にスケーラブル・ネスティングされたＳＥＩメッセージが適用されてもよいか、又は適用されなくてもよいこと指定するために０に等しくセットされてもよい。

【0143】

ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、スケーラブル・ネスティングされたＳＥＩメッセージが一般的に適用されるレイヤ数を指定する。ｎｅｓｔｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］の範囲（両端を含む）にあるべきとし、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しいときに、スケーラブル・ネスティングされたＳＥＩメッセージが一般的に適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］の値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄより大きくあるべきであり、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。

【0144】

ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいときに、スケーラブル・ネスティングされたＳＥＩメッセージが一般的に適用されるレイヤ数を指定する変数Ｎｅｓｔｉｎｇ ＮｕｍＬａｙｅｒｓと、０～Ｎｅｓｔｉｎｇ ＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定するＮｅｓｔｉｎｇ ＬａｙｅｒＩｄ［ｉ］は、以下のように導出され、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。

【数6】

【0145】

ｎｅｓｔｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１＋１は、スケーラブル・ネスティングされたＳＥＩメッセージ数を指定する。ｎｅｓｔｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１の値は、０～６３の範囲（両端を含む）にあるべきである。ｎｅｓｔｔｉｎｇ＿ｚｅｒｏ＿ｂｉｔは、ゼロに等しくセットされるべきである。

【0146】

図８は、例示的なビデオ・コーディング・デバイス８００の概略図である。ビデオ・コーディング・デバイス８００は、本明細書で説明される開示される例／実施形態を実装するのに好適である。ビデオ・コーディング・デバイス８００は、下流ポート８２０、上流ポート８５０、及び／又は、ネットワークを介して上流及び／又は下流でデータを通信するための送信機及び／又は受信機を含むトランシーバ・ユニット８１０を含む。また、ビデオ・コーディング・デバイス８００は、データを処理する論理ユニット及び／又は中央処理ユニット（ＣＰＵ）を含むプロセッサ８３０と、データを記憶するためのメモリ８３２と、を含む。また、ビデオ・コーディング・デバイス８００は、電気的コンポーネント、光から電気への（ＯＥ）コンポーネント、電気から光学への（ＥＯ）コンポーネント、及び／又は上流ポート８５０及び／又は下流ポート８２０に結合され、電気的、光学的、又は無線通信ネットワークを介したデータの通信のための無線通信コンポーネントを含み得る。また、ビデオ・コーディング・デバイス８００は、ユーザへのデータ及びユーザからのデータを通信するための入力及び／又は出力（Ｉ／Ｏ）デバイス８６０を含み得る。Ｉ／Ｏデバイス８６０は、ビデオ・データを表示するためのディスプレイ、オーディオ・データを出力するためのスピーカなどの出力デバイスを含み得る。Ｉ／Ｏデバイス８６０はまた、キーボード、マウス、トラックボールなどの入力デバイス、及び／又はそのような出力デバイスと対話するための対応するインターフェースを含み得る。

【0147】

プロセッサ８３０は、ハードウェア及びソフトウェアによって実装される。プロセッサ８３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、及びデジタル信号プロセッサ（ＤＳＰ）として実装されてもよい。プロセッサ８３０は、下流ポート８２０、Ｔｘ／Ｒｘ８１０、上流ポート８５０、及びメモリ８３２と通信している。プロセッサ８３０は、コーディング・モジュール８１４を含む。コーディング・モジュール８１４は、マルチ・レイヤ・ビデオ・シーケンス６００及び／又はビットストリーム７００を使用し得る、方法１００、９００及び１０００などの本明細書で説明され開示された実施形態を実装する。コーディング・モジュール８１４はまた、本明細書で説明される任意の他の方法／メカニズムを実装してもよい。さらに、コーディング・モジュール８１４は、コーデック・システム２００、符号化器３００、復号器４００、及び／又はＨＲＤ５００を実装してもよい。例えば、コーディング・モジュール８１４は、ＨＲＤを実装するために用いられてもよい。さらに、コーディング・モジュール８１４は、スケーラブル・ネスティングＳＥＩメッセージにおけるスケーラブル・ネスティングされたＳＥＩメッセージと対応するレイヤとの間の相関の明瞭かつ簡潔なシグナリングをサポートするために、対応するフラグを有するスケーラブル・ネスティングＳＥＩメッセージを符号化するために用いられてもよい。したがって、コーディング・モジュール８１４は、上述の１つ以上の問題に対処するためのメカニズムを実行するように構成されてもよい。それゆえ、コーディング・モジュール８１４は、ビデオ・データをコーディングするときに、ビデオ・コーディング・デバイス８００に追加的な機能性及び／又はコーディング効率を提供させる。このようにして、コーディング・モジュール８１４は、ビデオ・コーディング・デバイス８００の機能性を改善すると共に、ビデオ・コーディング技術に固有の問題に対処する。さらに、コーディング・モジュール８１４は、ビデオ・コーディング・デバイス８００の変換を異なる状態にすることを果たす。代替的には、コーディング・モジュール８１４は、メモリ８３２に記憶され、かつプロセッサ８３０によって実行される命令として（例えば、非一時的媒体に記憶されたコンピュータ・プログラム製品として）実装することができる。

【0148】

メモリ８３２は、ディスク、テープ・ドライブ、ソリッド・ステート・ドライブ、リード・オンリー・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、フラッシュ・メモリ、三値コンテンツアドレス指定可能メモリ（ＴＣＡＭ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）などの１つ以上のメモリタイプを含む。メモリ８３２はオーバ・フロー・データ記憶デバイスとして使用され、そのようなプログラムが実行のために選択されたときにプログラムを記憶し、プログラム実行中に読み出された命令及びデータを記憶する。

【0149】

図９は、レイヤに適用されるスケーラブル・ネスティングＳＥＩメッセージを含む、ビットストリーム７００などのビットストリームにビデオ・シーケンスを符号化する例示的な方法９００のフローチャートである。方法９００は、方法１００を実行するときに、コーデック・システム２００、符号化器３００、及び／又はビデオ・コーディング・デバイス８００などの符号化器によって使用されてもよい。さらに、方法９００は、ＨＲＤ５００上で動作してもよく、したがって、マルチ・レイヤ・ビデオ・シーケンス６００に対して適合性テストを実行してもよい。

【0150】

方法９００は、符号化器がビデオ・シーケンスを受信し、例えばユーザ入力に基づいて、ビデオ・シーケンスをマルチ・レイヤ・ビットストリームに符号化することを決定したときに始まってもよい。ステップ９０１では、符号化器は、ビデオ・シーケンスを１つ以上のレイヤに符号化し、レイヤをマルチ・レイヤ・ビットストリームに符号化する。したがって、ビットストリームは、１つ以上のレイヤを含む。レイヤは、同じレイヤＩｄを有するＶＣＬ ＮＡＬユニットと、非ＶＣＬ ＮＡＬユニットのセットを含んでもよい。例えば、レイヤは、符号化されたピクチャのビデオ・データと同様に、そのようなピクチャを符号化するために使用される任意のパラメータセットを含むＶＣＬ ＮＡＬユニットのセットを含んでもよい。レイヤのうちの１つ以上が出力レイヤであってもよい。出力レイヤではないレイヤは、出力レイヤの再構成をサポートするように符号化されるが、このようなサポート・レイヤは、復号器での出力のために意図されていない。このようにして、符号化器は、要求があると復号器への送信のためのレイヤの様々な組み合わせを符号化することができる。レイヤは、復号器が、ネットワーク条件、ハードウェア能力、及び／又はユーザ・セッティングに依存して、ビデオ・シーケンスの異なる表現を取得することを可能にするように、必要に応じて送信されてもよい。

【0151】

ステップ９０３で、符号化器は、１つ以上のスケーラブル・ネスティングＳＥＩメッセージを、現在のＳＥＩ ＮＡＬユニットにおいてビットストリームに符号化する。ＳＥＩメッセージは、復号に使用されないデータを含む構文構造である。例えば、ＳＥＩメッセージは、ビットストリームが標準に適合することを確実にするために、適合性テストをサポートするためのデータを含んでもよい。マルチ・レイヤ・ビットストリームと併せて使用されるときに、単純化されたシグナリングをサポートするために、ＳＥＩメッセージは、スケーラブル・ネスティングＳＥＩメッセージとして符号化される。スケーラブル・ネスティングＳＥＩメッセージは、ＳＥＩメッセージを特定のレイヤに関連付けるメカニズムを提供する。スケーラブル・ネスティングＳＥＩメッセージは、１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージを含む。スケーラブル・ネスティングされたＳＥＩメッセージは、各々ＯＬＳのうちの１つ以上及び／又はレイヤのうちの１つ以上に適用されてもよい。簡略化されたシグナリングをサポートするために、スケーラブル・ネスティングＳＥＩメッセージは、現在のＳＥＩ ＮＡＬユニットのレイヤＩｄ以上であるレイヤＩｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む。Ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇはグローバルであり、対応するＡＵに基づいて指定されないため、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは実際にはすべてのレイヤに適用される。これは、現在のＳＥＩ ＮＡＬユニットが不完全なＡＵに関連するときでも、上述のエラーを防止する。このように、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、現在のＡＵが完全なＡＵであるか不完全なＡＵであるかに関係なく、スケーラブル・ネスティングされたＳＥＩメッセージがすべてのレイヤに適用されることを可能にする。

【0152】

特定の例において、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブル・ネスティングされたＳＥＩメッセージが、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されることを指定するときに、１に等しくセットされる。特定の例において、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブル・ネスティングされたＳＥＩメッセージが、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されてもよいか、又は適用されなくてもよいことを指定するときに、０に等しくセットされる。前述の制約及び／又は要件は、ビットストリームが、例えば、本明細書に示されるように修正されたＶＶＣ又は何らかの他の標準に適合することを確実にする。しかし、符号化器は、例えば、異なる標準又は同じ標準の異なるバージョンで動作するときなど、制約を受けない他のモードで動作することもできてもよい。

【0153】

ステップ９０５で、符号化器で動作するＨＲＤは、スケーラブル・ネスティングＳＥＩメッセージに基づいて、レイヤに対してビットストリーム適合性テストのセットを実行することができる。例えば、ＨＲＤは、スケーラブル・ネスティングＳＥＩメッセージにおけるフラグを読み取って、スケーラブル・ネスティングＳＥＩメッセージに含まれるスケーラブル・ネスティングされたＳＥＩメッセージをどのように解釈するかを決定することができる。次いで、ＨＲＤは、スケーラブル・ネスティングされたＳＥＩメッセージを読み取って、標準に対する適合性についてレイヤをどのように検査するかを決定することができる。次いで、ＨＲＤは、スケーラブル・ネスティングされたＳＥＩメッセージ及び／又はスケーラブル・ネスティングＳＥＩメッセージにおける対応するフラグに基づいて、レイヤに対する適合性テストを実行することができる。

【0154】

いくつかの例において、ＨＲＤは、ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ変数及びＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］変数を用いて、スケーラブル・ネスティングされたＳＥＩメッセージとレイヤの間の相関を決定することができる。ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ変数は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定する。ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定する。ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及びＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、ビットストリームからのデータに基づいてＨＲＤによって導出され得る。ＨＲＤは、次いで、ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ変数とＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］変数を必要に応じて用いて、適合性テストをサポートすることができる。いくつかの例では、ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及びＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、以下のように導出される。

【数7】

ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳによって指定されたレイヤ数を指定し、ＧｅｎｅｒａｌＬａｙｅｒＩｄｘは、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］に等しいｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤのレイヤ・インデックスを指定する変数であり、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する。いくつかの例において、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１は、０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］の範囲（両端を含む）にとどまるように制約され、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。アンダースコアを含むものとして本明細書で説明される構文要素がビットストリームに含まれてもよいが、スペースのない構文要素が導出されてもよいことに留意されたい。

【0155】

ステップ９０７で、符号化器は、要求があると復号器に向かって通信するためのビットストリームを記憶することができる。符号化器はまた、必要に応じて符号化器に向かってビットストリームを送信することができる。

【0156】

図１０は、レイヤに適用されるスケーラブル・ネスティングＳＥＩメッセージを含む、ビットストリーム７００などのビットストリームからビデオ・シーケンスを復号する例示的な方法１０００のフローチャートである。方法１０００は、方法１００を実行するときに、コーデック・システム２００、復号器４００、及び／又はビデオ・コーディング・デバイス８００などの復号器によって使用されてもよい。さらに、方法１０００は、ＨＲＤ５００などのＨＲＤによって適合性について検査されたマルチ・レイヤ・ビデオ・シーケンス６００で用いられてもよい。

【0157】

方法１０００は、復号器が、例えば、方法９００の結果として、マルチ・レイヤ・ビデオ・シーケンスを表すコーディングされたデータのビットストリームの受信を始めるときに始まることができる。ステップ１００１では、復号器は、１つ以上のレイヤを含むビットストリームを受信する。レイヤは、同じレイヤＩｄを有するＶＣＬ ＮＡＬユニットと、非ＶＣＬ ＮＡＬユニットのセットを含んでもよい。例えば、レイヤは、符号化されたピクチャのビデオ・データと同様に、そのようなピクチャを符号化するために使用される任意のパラメータセットを含むＶＣＬ ＮＡＬユニットのセットを含んでもよい。レイヤのうちの１つ以上が出力レイヤであってもよい。出力レイヤではないレイヤは、出力レイヤの復号をサポートするように復号されるが、このようなサポート・レイヤは出力されない。

【0158】

ビットストリームはまた、１つ以上のスケーラブル・ネスティングＳＥＩメッセージを含む。ＳＥＩメッセージは、復号に使用されないデータを含む構文構造である。例えば、ＳＥＩメッセージは、ビットストリームが標準に適合することを確実にするために、適合性テストをサポートするためのデータを含んでもよい。マルチ・レイヤ・ビットストリームと併せて使用されるときに、単純化されたシグナリングをサポートするために、ＳＥＩメッセージは、スケーラブル・ネスティングＳＥＩメッセージにおいてコーディングされる。スケーラブル・ネスティングＳＥＩメッセージは、ＳＥＩメッセージを特定のレイヤに関連付けるメカニズムを提供する。スケーラブル・ネスティングＳＥＩメッセージは、１つ以上のスケーラブル・ネスティングされたＳＥＩメッセージを含む。指定されたスケーラブル・ネスティングＳＥＩメッセージは、現在のＳＥＩ ＮＡＬユニットに含まれてもよく、現在のＳＥＩ ＮＡＬユニットは、ＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットである。スケーラブル・ネスティングされたＳＥＩメッセージは、各々ＯＬＳのうちの１つ以上及び／又はレイヤのうちの１つ以上に適用されてもよい。簡略化されたシグナリングをサポートするために、スケーラブル・ネスティングＳＥＩメッセージは、現在のＳＥＩ ＮＡＬユニットのレイヤＩｄ以上であるレイヤＩｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうかを指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む。Ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇはグローバルであり、対応するＡＵに基づいて指定されないため、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは実際にはすべてのレイヤに適用される。これは、現在のＳＥＩ ＮＡＬユニットが不完全なＡＵに関連するときでも、上述のエラーを防止する。このように、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、現在のＡＵが完全なＡＵであるか不完全なＡＵであるかに関係なく、スケーラブル・ネスティングされたＳＥＩメッセージがすべてのレイヤに適用されることを可能にする。

【0159】

いくつかの例において、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブル・ネスティングされたＳＥＩメッセージが、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されることを指定するときに、１に等しくセットされる。特定の例において、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブル・ネスティングされたＳＥＩメッセージが、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されてもよいか、又は適用されなくてもよいことを指定するときに、０に等しくセットされる。

【0160】

いくつかの例では、復号器は、ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ変数とＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］変数を用いて、スケーラブル・ネスティングされたＳＥＩメッセージとレイヤの間の相関を決定することができる。ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ変数は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定する。
ＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、０～ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ－１の範囲（両端を含む）のｉに対して、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定する。
ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及びＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、ビットストリームからのデータに基づいて復号器によって導出され得る。復号器は、次いで、ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ変数とＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］変数を必要に応じて用いて、復号及び／又は表示をサポートすることができる。いくつかの例では、ｎｅｓｔｉｎｇＮｕｍＬａｙｅｒｓ及びＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］は、以下のように導出される。

【数8】

ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳによって指定されたレイヤ数を指定し、ＧｅｎｅｒａｌＬａｙｅｒＩｄｘは、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］に等しいｕｈ＿ｌａｙｅｒ＿ｉｄを有するレイヤのレイヤ・インデックスを指定する変数であり、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるレイヤ数を指定し、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｌａｙｅｒ＿ｉｄ［ｉ］は、スケーラブル・ネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する。いくつかの例において、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１は、０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１－ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］の範囲（両端を含む）にとどまるように制約され、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。アンダースコアを含むものとして本明細書において説明された構文要素はビットストリームに含まれてもよく、スペースなしの構文要素が導出されてもよいことに留意されたい。

【0161】

実施形態では、ビデオ復号器は、スケーラブル・ネスティングＳＥＩメッセージが、ＶＶＣ又は何らかの他の標準に基づいて上述したように、ｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを用いることを期待する。しかしながら、復号器がこの条件が真でないと決定した場合、復号器は、エラーを検出するか、エラーをシグナルするか、訂正されたビットストリーム（又はその一部分）が再送されることを要求するか、又は適合するビットストリーム受信されることを確実にするために、何らかの他の是正措置を取ってもよい。

【0162】

ステップ１００３で、復号器は、１つ以上のレイヤからのコーディングされたピクチャを復号して、復号されたピクチャを生成することができる。例えば、スケーラブル・ネスティングＳＥＩメッセージの存在は、ビットストリームが符号化器でＨＲＤによって検査され、それゆえ、標準に適合することを示すことができる。したがって、スケーラブル・ネスティングＳＥＩメッセージの存在は、ビットストリームが復号され得ることを示す。ステップ１００５で、復号器は、復号されたビデオ・シーケンスの一部として表示するために、復号されたビデオを転送することができる。例えば、復号されたピクチャ及び／又はビデオ・シーケンスは、電子デバイス（例えば、スマート・フォン、タブレット、ラップトップ、パーソナル・コンピュータなど）のディスプレイ又は画面上にユーザに表示され得る。

【0163】

図１１は、レイヤに適用されるスケーラブル・ネスティングＳＥＩメッセージを含むビットストリームを使用してビデオ・シーケンスをコーディングするための例示的なシステム１１００の概略図である。システム１１００は、コーデック・システム２００、符号化器３００、復号器４００、及び／又はビデオ・コーディング・デバイス８００などの符号化器及び復号器によって実装されてもよい。さらに、システム１１００は、マルチ・レイヤ・ビデオ・シーケンス６００及び／又はビットストリーム７００に対して適合性テストを実行するためにＨＲＤ５００を用いてもよい。追加的に、システム１１００は、方法１００、９００、及び／又は１０００を実装するときに用いられてもよい。

【0164】

システム１１００は、ビデオ符号化器１１０２を含む。ビデオ符号化器１１０２は、１つ以上のレイヤを含むビットストリームを符号化するためのコーディング・モジュール１１０３を含む。コーディング・モジュール１１０３は、さらに、現在のＳＥＩ ＮＡＬユニットにおいてスケーラブル・ネスティングＳＥＩメッセージをビットストリームに符号化することであって、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージと、現在のＳＥＩ ＮＡＬユニットのレイヤＩｄ以上のｌａｙｅｒ Ｉｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されるかどうか指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む、符号化することを行うためのものである。ビデオ符号化器１１０２は、さらに、スケーラブル・ネスティングされたＳＥＩメッセージに基づいて、レイヤに対してビットストリーム適合性テストのセットを実行するためのＨＲＤモジュール１１０５をさらに含む。ビデオ符号化器１１０２は、さらに、復号器に向けた通信のためのビットストリームを記憶するための記憶モジュール１１０６を含む。ビデオ符号化器１１０２は、さらに、ビットストリームをビデオ復号器１１１０に向かって送信するための送信モジュール１１０７を含む。ビデオ符号化器１１０２は、さらに、方法９００のステップのいずれかを実行するように構成されてもよい。

【0165】

システム１１００はまた、ビデオ復号器１１１０を含む。ビデオ復号器１１１０は、１つ以上のレイヤ及び現在のＳＥＩネットワーク抽象化レイヤ（ＮＡＬ）ユニットにおいてスケーラブル・ネスティング補足エンハンスメント情報（ＳＥＩ）メッセージを含むビットストリームを受信することであって、スケーラブル・ネスティングＳＥＩメッセージは、スケーラブル・ネスティングされたＳＥＩメッセージと、現在のＳＥＩ ＮＡＬユニットのレイヤＩｄ以上のレイヤＩｄを有するすべてのレイヤにスケーラブル・ネスティングされたＳＥＩメッセージが適用されるされるかどうかを指定するｓｃａｌａｂｌｅ ｎｅｓｔｉｎｇ ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇを含む、受信することを行うための受信モジュール１１１１を含む。ビデオ復号器１１１０は、さらに、１つ以上のレイヤからのコーディングされたピクチャを復号して、復号されたピクチャを生成することを行うための復号モジュール１１１３を含む。ビデオ復号器１１１０は、さらに、復号されたビデオ・シーケンスの一部として表示するために復号されたピクチャを転送するための転送モジュール１１１５を含む。ビデオ復号器１１１０は、さらに、方法１０００のステップのいずれかを実行するように構成されてもよい。

【0166】

第１のコンポーネントは、第１のコンポーネントと第２のコンポーネントとの間にあるライン、トレース、又は別の媒体を除き、介在するコンポーネントがないときに、第２のコンポーネントに直接結合される。第１のコンポーネントは、第１のコンポーネントと第２のコンポーネントとの間にあるライン、トレース、又は別の媒体以外に、介在するコンポーネントがあるときに、第２のコンポーネントに間接結合される。用語「結合された」及びその変形は、直接結合された、及び間接結合されたの両方を含む。用語「約」の使用は、特に断らない限り、後続の数字の±１０％を含む範囲を意味する。

【0167】

また、本明細書に記載された例示的な方法のステップは、必ずしも説明された順序で実行される必要はないと理解されるべきであり、そのような方法のステップの順序は、単に例示的なものにすぎないと理解されるべきである。同様に、追加のステップが、そのような方法に含まれてもよいし、特定のステップが、本開示の種々の実施形態と一致する方法において省略されるか、又は組み合わされてもよい。

【0168】

本開示において複数の実施形態が提供されているが、開示されたシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の具体的な形式で具現化されるかもしれないと理解されよう。本例は、例示的なものであり、限定的なものではないと考えられ、その意図は、本明細書に与えられた詳細に限定されない。例えば、種々の要素又はコンポーネントが別のシステムに組み合わせられたり、一体化されたりしてもよいし、特定の特徴が省略されたり、実装されなくてもよい。

【0169】

追加的に、種々の実施形態において個別又は別個に説明及び図示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、コンポーネント、技術、又は方法と組み合わせられるか、又は一体化されてもよい。変更、置換、及び改変の他の例は、当業者によって確認可能であり、本明細書に開示された精神及び範囲から逸脱することなく行われてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】