IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バイトダンス インコーポレイテッドの特許一覧

特許7508599非スケーラブルネスト化ビデオシンタックス要素におけるシグナリング制約
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-21
(45)【発行日】2024-07-01
(54)【発明の名称】非スケーラブルネスト化ビデオシンタックス要素におけるシグナリング制約
(51)【国際特許分類】
   H04N 19/70 20140101AFI20240624BHJP
   H04N 19/30 20140101ALI20240624BHJP
【FI】
H04N19/70
H04N19/30
【請求項の数】 16
(21)【出願番号】P 2022575703
(86)(22)【出願日】2021-06-08
(65)【公表番号】
(43)【公表日】2023-07-10
(86)【国際出願番号】 US2021036489
(87)【国際公開番号】W WO2021252545
(87)【国際公開日】2021-12-16
【審査請求日】2022-12-15
(31)【優先権主張番号】63/036,808
(32)【優先日】2020-06-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ワン,イェ-クイ
【審査官】岩井 健二
(56)【参考文献】
【文献】米国特許出願公開第2015/0271498(US,A1)
【文献】米国特許出願公開第2014/0192149(US,A1)
【文献】Ye-Kui Wang,AHG8/AHG17: Miscellaneous HLS topics,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-P0125-v2,16th Meeting: Geneva, CH,2019年10月,pp.1-3
【文献】Yago Sanchez, Robert Skupin, Karsten Suehring, and Thomas Schierl,AHG9: On OLS extraction and scalable nesting SEI message,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-Q0394,17th Meeting: Brussels, BE,2020年01月,pp.1-5
【文献】Ye-Kui Wang, and Zhipin Deng,AHG9: General SEI semantics and constraints,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-S0178-v3,19th Meeting: by teleconference,2020年06月,pp.1-4
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
ビデオデータを処理する方法であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、
前記ビットストリームは、規則に従って1つ以上の補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットを含み、
前記規則は、SEI NALユニットが第1ペイロードタイプの非スケーラブルネスト化SEIメッセージを含む場合に、当該SEI NALユニットが第2ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを定め、
前記規則は、SEI NALユニットが第3ペイロードタイプのスケーラブルネスト化SEIメッセージを含む場合に、当該SEI NALユニットが第4ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを更に定め
前記規則は、SEI NALユニットがフィラーペイロードのペイロードタイプを有するSEIメッセージを含む場合に、当該SEI NALユニットが、フィラーペイロードに等しくないペイロードタイプを有する如何なる他のSEIメッセージも含むことを許可されない、ことを更に定める、
方法。
【請求項2】
前記第1ペイロードタイプの前記非スケーラブルネスト化SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、又はサブピクチャレベル情報(SLI)SEIメッセージに対応する、
請求項1に記載の方法。
【請求項3】
前記第1ペイロードタイプは、0、1、130、又は203に等しい、
請求項2に記載の方法。
【請求項4】
前記第2ペイロードタイプの前記SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、及びサブピクチャレベル情報(SLI)SEIメッセージのいずれかに対応する、
請求項2又は3に記載の方法。
【請求項5】
前記第2ペイロードタイプは、0、1、130及び203のいずれにも等しくない、
請求項4に記載の方法。
【請求項6】
前記第3ペイロードタイプの前記スケーラブルネスト化SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、又はサブピクチャレベル情報(SLI)SEIメッセージに対応する、
請求項1乃至5のうちいずれか一項に記載の方法。
【請求項7】
前記第3ペイロードタイプは、0、1、130、又は203に等しい、
請求項6に記載の方法。
【請求項8】
前記第4ペイロードタイプの前記スケーラブルネスト化SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、及びサブピクチャレベル情報(SLI)SEIメッセージのいずれかに対応する、
請求項6又は7に記載の方法。
【請求項9】
前記第4ペイロードタイプは、0、1、130、203及び133のいずれにも等しくない、
請求項8に記載の方法。
【請求項10】
前記第3ペイロードタイプは、前記第4ペイロードタイプと同じではない、
請求項1乃至9のうちいずれか一項に記載の方法。
【請求項11】
前記規則は、フィラーペイロードのペイロードタイプを有するSEIメッセージが、スケーラブルネスティングSEIメッセージに含まれることを許可されない、ことを更に定める、
請求項に記載の方法。
【請求項12】
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、
請求項1乃至11のうちいずれか一項に記載の方法。
【請求項13】
前記変換は、前記ビデオを前記ビットストリームから復号することを含む、
請求項1乃至11のうちいずれか一項に記載の方法。
【請求項14】
ビデオデータを処理する装置であって、
プロセッサと、命令を有する非一時的なメモリとを有し、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、ビデオと該ビデオのビットストリームとの間の変換を実行させ、
前記ビットストリームは、規則に従って1つ以上の補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットを含み、
前記規則は、SEI NALユニットが第1ペイロードタイプの非スケーラブルネスト化SEIメッセージを含む場合に、当該SEI NALユニットが第2ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを定め、
前記規則は、SEI NALユニットが第3ペイロードタイプのスケーラブルネスト化SEIメッセージを含む場合に、当該SEI NALユニットが第4ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを更に定め
前記規則は、SEI NALユニットがフィラーペイロードのペイロードタイプを有するSEIメッセージを含む場合に、当該SEI NALユニットが、フィラーペイロードに等しくないペイロードタイプを有する如何なる他のSEIメッセージも含むことを許可されない、ことを更に定める、
装置。
【請求項15】
プロセッサに、ビデオと該ビデオのビットストリームとの間の変換を実行させる命令を記憶し、
前記ビットストリームは、規則に従って1つ以上の補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットを含み、
前記規則は、SEI NALユニットが第1ペイロードタイプの非スケーラブルネスト化SEIメッセージを含む場合に、当該SEI NALユニットが第2ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを定め、
前記規則は、SEI NALユニットが第3ペイロードタイプのスケーラブルネスト化SEIメッセージを含む場合に、当該SEI NALユニットが第4ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを更に定め
前記規則は、SEI NALユニットがフィラーペイロードのペイロードタイプを有するSEIメッセージを含む場合に、当該SEI NALユニットが、フィラーペイロードに等しくないペイロードタイプを有する如何なる他のSEIメッセージも含むことを許可されない、ことを更に定める、
非一時的なコンピュータ可読記憶媒体。
【請求項16】
ビデオのビットストリームを記憶する方法であって、
記ビデオの前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップと、を有し、
前記ビットストリームは、規則に従って1つ以上の補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットを含み、
前記規則は、SEI NALユニットが第1ペイロードタイプの非スケーラブルネスト化SEIメッセージを含む場合に、当該SEI NALユニットが第2ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを定め、
前記規則は、SEI NALユニットが第3ペイロードタイプのスケーラブルネスト化SEIメッセージを含む場合に、当該SEI NALユニットが第4ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを更に定め
前記規則は、SEI NALユニットがフィラーペイロードのペイロードタイプを有するSEIメッセージを含む場合に、当該SEI NALユニットが、フィラーペイロードに等しくないペイロードタイプを有する如何なる他のSEIメッセージも含むことを許可されない、ことを更に定める、
方法
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願への相互参照]
願は、2020年6月9日付けで出願された米国仮特許出願第63/036808号に対する優先権及びその利益を請求して2021年6月8日付けで出願された国際特許出願第PCT/US2021/036489号に基づくものである。上記の全ての特許出願は、それらの全文を本願参照により援用される。
【0002】
[技術分野]
本特許明細書は、イメージ及びビデオのコーディング及び復号化に関係がある。
【背景技術】
【0003】
デジタルビデオは、インターネット及び他のデジタル通信網で最大のバンド幅使用を占めている。ビデオを受信及び表示することができるユーザ機器の接続数が増えるにつれて、デジタルビデオ利用のためのバンド幅需要は増え続けることが予想される。
【発明の概要】
【0004】
本明細書は、ビデオ符号化又は復号化を実行するためにビデオエンコーダ及びデコーダによって使用され得る技術を開示する。
【0005】
一例となる態様で、ビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、フォーマット規則に従い1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、前記フォーマット規則は、仮想参照デコーダ(hypothetical reference decoder,HRD)に関する情報を含む非スケーラブルネスト化(non-scalable-nested)補足強化情報(supplemental enhancement information,SEI)メッセージが、前記ビットストリームと同じビデオレイヤを含む全ての出力レイヤセットに適用可能である、ことを定める。
【0006】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、フォーマット規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、前記フォーマット規則は、非スケーラブルネスト化仮想参照デコーダ(HRD)関連補足強化情報(SEI)メッセージが、前記ビットストリームと同じレイヤの組を含む出力レイヤセットが存在しないという条件に応答して、除かれる。
【0007】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、フォーマット規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、前記フォーマット規則は、非スケーラブルネスト化補足強化情報(SEI)メッセージを含むSEIネットワーク抽象化レイヤ(network abstraction layer,NAL)ユニットのレイヤ識別子の値が制約されない、ことを定める。
【0008】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、フォーマット規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、前記フォーマット規則は、サブピクチャレベル情報に対応する特定のペイロードタイプ値が、非仮想参照デコーダ(HRD)関連補足強化情報(SEI)メッセージの許容可能なSEIペイロードタイプ値を含むリストから許可されない、ことを定める。
【0009】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、フォーマット規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、前記フォーマット規則は、仮想参照デコーダ(HRD)にとって無関係の情報を含む非スケーラブルネスト化補足強化情報(SEI)メッセージが前記ビットストリーム内の全てのレイヤに適用可能である、ことを定める。
【0010】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと、規則に従って1つ以上の出力レイヤセットを含む前記ビデオのビットストリームとの間の変換を実行するステップを有し、前記規則は、ピクチャタイミング情報を運ぶスケーラブルネスト化補足強化情報(SEI)メッセージを含むSEIネットワーク抽象化レイヤ(NAL)ユニットが、前記ビットストリーム内の全ての出力レイヤセットでの同じピクチャタイミングの使用により含まれない、ことを定める。
【0011】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、規則に従って1つ以上の補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットを含み、前記規則は、SEI NALユニットが第1ペイロードタイプの非スケーラブルネスト化SEIメッセージを含むことに応答して、当該SEI NALユニットが、第2ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを定める。
【0012】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、規則に従ってビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、規則に従って1つ以上の補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットを含み、前記規則は、SEI NALユニットが第1ペイロードタイプのスケーラブルネスト化SEIメッセージを含むことに応答して、当該SEI NALユニットが、第2ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを定める。
【0013】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、規則に従って1つ以上の補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットを含み、前記規則は、SEI NALユニットが第1ペイロードタイプのSEIメッセージを含むことに応答して、当該SEI NALユニットが、前記第1ペイロードタイプ又は第2ペイロードタイプに等しくない他のSEIメッセージを含むことを許可されない、ことを定める。
【0014】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、ビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記ビットストリームは、規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、前記規則は、特定の出力レイヤセットに適用されるサブピクチャレベル情報(subpicture level information,SLI)補足強化情報(SEI)メッセージ及びバッファリング周期(buffering period,BP)SEIメッセージがアクセスユニットに含まれるという条件に応答して、前記SLI SEIメッセージと前記BP SEIメッセージとの間に特定の復号化順序を定める。
【0015】
他の例となる態様で、他のビデオ処理方法が開示される。方法は、規則に従ってビデオと該ビデオのビットストリームとの間の変換を実行するステップを有し、前記規則は、イニシャルコード化ピクチャバッファ(coded picture buffer,CPB)削除遅延がバッファリング周期補足強化情報(SEI)メッセージで示される時間的サブレイヤの最大数を示す第2シンタックスフィールドの特定の値に応答して、イニシャルCPB削除遅延関連シンタックス要素が存在するサブレイヤ表示情報を示す第1シンタックスフィールドが除かれる、ことを定める。
【0016】
更なる他の例となる態様で、ビデオエンコーダ装置が開示される。ビデオエンコーダは、上記の方法を実装するよう構成されたプロセッサを有する。
【0017】
更なる他の例となる態様では、ビデオデコーダ装置が開示される。ビデオデコーダは、上記の方法を実装するよう構成されたプロセッサを有する。
【0018】
更なる他の例となる態様では、コードが記憶されているコンピュータ可読媒体が開示される。コードは、プロセッサ実行可能コードの形で、本明細書で記載される方法の1つを具現化する。
【0019】
これら及び他の特徴は、本明細書にわたって記載される。
【図面の簡単な説明】
【0020】
図1】開示されている技術のいくつかの実施に従ってビデオコーディングシステムを表すブロック図である。
図2】ビデオ処理のために使用されるハードウェアプラットフォームの例のブロック図である。
図3】ビデオ処理の方法の例のフローチャートである。
図4】ビデオコーディングシステムの例を表すブロック図である。
図5】開示されている技術のいくつかの実施に従ってエンコーダを表すブロック図である。
図6】開示されている技術のいくつかの実施に従ってデコーダを表すブロック図である。
図7A】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
図7B】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
図7C】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
図7D】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
図7E】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
図8】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
図9A】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
図9B】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
図9C】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
図10A】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
図10B】開示されている技術のいくつかの実施に基づいたビデオ処理方法の例のフローチャートである。
【発明を実施するための形態】
【0021】
セクション見出しは、理解を簡単にするために本明細書で使用されているのであって、各セクションで開示されている技術及び実施形態の適用可能性をそのセクションにのみ制限するものではない。更に、H.266という用語は、開示されている技術の範囲を限定するためではなく、理解を容易にするためにのみ、いくつかの記載で使用されている。そのようなものとして、本明細書で記載される技術は、他のビデオコーデックプロトコル及び設計にも適用可能である。
【0022】
[1.導入]
本明細書は、ビデオコーディング技術に関係がある。具体的に、それは、シングルレイヤビデオコーディング及びマルチレイヤビデオコーディングの両方をサポートするビデオコーデックのためのレベル及びビットストリームコンフォーマンスを定義することに関する。それは、シングルレイヤビデオコーディング及びマルチレイヤビデオコーディングをサポートする任意のビデオコーディング標準規格又は非標準のビデオコーデック、例えば、開発中のVVC(Versatile Video Coding)に適用されてよい。
【0023】
[2.頭字語]
APS Adaptation Parameter Set
AU Access Unit
AUD Access Unit Delimiter
AVC Advanced Video Coding
BP Buffering Period
CLVS Coded Layer Video Sequence
CPB Coded Picture Buffer
CRA Clean Random Access
CTU Coding Tree Unit
CVS Coded Video Sequence
DPB Decoded Picture Buffer
DPS Decoding Parameter Set
DUI Decoding Unit Information
EOB End Of Bitstream
EOS End Of Sequence
GCI General Constraints Information
GDR Gradual Decoding Refresh
HEVC High Efficiency Video Coding
HRD Hypothetical Reference Decoder
IDR Instantaneous Decoding Refresh
JEM Joint Exploration Model
MCTS Motion-Constrained Tile Sets
NAL Network Abstraction Layer
OLS Output Layer Set
PH Picture Header
PPS Picture Parameter Set
PT Picture Timing
PTL Profile, Tier and Level
PU Picture Unit
RPR Reference Picture Resampling
RBSP Raw Byte Sequence Payload
SEI Supplemental Enhancement Information
SH Slice Header
SLI Subpicture Level Information
SPS Sequence Parameter Set
SVC Scalable Video Coding
VCL Video Coding Layer
VPS Video Parameter Set
VTM VVC Test Model
VUI Video Usability Information
VVC Versatile Video Coding
【0024】
[3.最初の議論]
ビデオコーディング標準規格は、よく知られているITU-T及びISO/IEC標準規格の開発を通じて主に発展してきた。ITU-TはH.261及びH.263を作り出し、ISO/IECはMPEG-1及びMPEG-4 Visualを作り出し、2つの組織は共同でH.262/MPEG-2 Video及びH264/MPEG-4 AVC(Advanced Video Coding)及びH.265/HEVC標準規格を作り出した。H.262以降、ビデオコーディング標準規格は、時間予測に変換コーディングをプラスしたものが利用されるハイブリッド型ビデオコーディング構造に基づいている。HEVCを超える将来のビデオコーディング技術を探求するために、JVET(Joint Video Exploration Team)が2015年にVCEG及びMPEGによって共同で設立された。それ以降、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と名付けられた参照ソフトウェアに置かれてきた。JVETミーティングは、4半期に一度同時に開催され、新しいコーディング標準規格は、HEVCと比較してビットレートを50%削減することを目標とする。新しいビデオコーディング標準規格は、2018年4月のJVETミーティングでVVC(Versatile Video Coding)と正式に名付けられ、VVCテストモデル(VTM)の最初のバージョンはその時にリリースされた。VVC標準化に寄与する継続的な取り組みがあるので、新しいコーディング技術が、毎回のJVETミーティングでVVC標準規格に採用されている。VVC作業ドラフト及びテストモデルVTMがそれから、毎回のミーティング後に更新されている。VVCプロジェクトは、現在、2020年7月のミーティングでの技術的完了(FDIS)を目指している。
【0025】
[3.1.パラメータセット]
AVC、HEVC、及びVVCはパラメータセットを指定する。パラメータセットのタイプには、SPS、PPS、APS、及びVPSがある。SPS及びPPSは、AVC、HEVC、及びVVCの全てでサポートされている。VPSは、HEVC以降に導入され、HEVC及びVVCの両方に含まれている。APSは、AVC又はHEVCに含まれていなかったが、最新のVVCドラフトテキストには含まれている。
【0026】
SPSは、シーケンスレベルのヘッダ情報を運ぶよう設計され、PPSは、まれにしか変化しないピクチャレベルのヘッダ情報を運ぶよう設計された。SPS及びPPSによれば、まれにしか変化しない情報は、シーケンス又はピクチャごとに繰り返される必要がないので、この情報の冗長なシグナリングは回避可能である。更に、SPS及びPPSの使用は、重要なヘッダ情報の帯域外伝送を可能にするので、冗長な伝送の必要性を回避するだけでなく、誤り耐性(error resilience)も改善する。
【0027】
VPSは、マルチレイヤビットストリーム内の全てのレイヤに共通するシーケンスレベルのヘッダ情報を運ぶために導入された。
【0028】
APSは、コーディングするためにかなりの数のビットを必要とし、複数のピクチャによって共有可能であり、シーケンス内にかなり多くの異なったバリエーションが存在する可能性があるピクチャレベル又はスライスレベルの情報を運ぶために導入された。
【0029】
[3.2.シーケンス内でのピクチャ分解能の変更]
AVC及びHEVCでは、ピクチャの空間分解能は、新しいSPSを使用する新しいシーケンスがIRAPピクチャで始まらない限りは、変更することができない。VVCは、常にイントラコーディングされるIRAPピクチャを符号化せずに、ある位置でシーケンス内でのピクチャ分解能の変化を可能にする。この特徴は、インター予測に使用される参照ピクチャが復号されている現在ピクチャとは異なる分解能を有している場合にそれがその参照ピクチャのリサンプリングを必要とするということで、参照ピクチャリサンプリング(RPR)と呼ばれることがある。
【0030】
スケーリング比は、1/2以上(参照ピクチャから現在ピクチャへの2倍のダウンサンプリング)かつ8以下(8倍のアップサンプリング)であるよう制限される。異なる周波数カットオフを有する3組のリサンプリングフィルタが、参照ピクチャと現在ピクチャとの間の様々なスケーリング比を扱うために定められている。3組のリサンプリングフィルタは、1/2から1/1/75まで、1/1.75から1/1.25まで、及び1/1.25から8までの範囲をとるスケーリング比について夫々適用される。リサンプリングフィルタの各組は、ルーマのための16個の位相及びクロマのための32個の位相を有する。これは、動き補償補間フィルタの場合と同じである。実際に、通常のMC補間プロセスは、1/1.25から8までの範囲とるスケーリング比を有するリサンプリングプロセスの特別な場合である。水平及び垂直スケーリング比は、参照ピクチャ及び現在ピクチャについて指定されているピクチャ幅及び高さ、並びに左、右、上、及び下スケーリングオフセットに基づき、導出される。
【0031】
HEVCとは異なるこの特徴のサポートのためのVVC設計の他の態様には次がある:i)ピクチャ分解能及び対応するコンフォーマンスウィンドウは、SPSでではなく、PPSでシグナリングされ、一方、SPSでは、最大ピクチャ分解能がシグナリングされる.ii)シングルレイヤビットストリームの場合に、各ピクチャストア(1つの復号されたピクチャの記憶のためのDPB内のスロット)は、最大ピクチャ分解能を有している復号化されたピクチャを記憶するのに必要なバッファサイズを占有する。
【0032】
[3.3.ジェネラルでの及びVVCでのスケーラブルビデオコーディング(SVC)]
スケーラブルビデオコーディング(SVC,ビデオコーディングにおけるスケーラビリティとも単に呼ばれることがある)は、参照レイヤ(RL)とも呼ばれることがあるベースレイヤ(BL)と、1つ以上のスケーラブルエンハンスメントレイヤ(EL)とが使用されるビデオコーディングを指す。SVCでは、ベースレイヤは、基本レベルの品質でビデオデータを運ぶことができる。1つ以上のエンハンスメントレイヤは、例えば、より高い空間、時間、及び/又は信号対雑音(SNR)レベルをサポートするよう追加ビデオデータを運ぶことができる。エンハンスメントレイヤは、前に符号化されたレイヤに関して定義されてよい。例えば、下側レイヤがBLとしての機能を果たしてもよく、一方、上側レイヤがELとしての機能を果たしてもよい。中間レイヤはEL若しくはRLのどちらか一方、又は両方としての機能を果たしてもよい。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、ベースレイヤ又は任意の介在するエンハンスメントレイヤなどの、その中間レイヤの下にあるレイヤのためのELであると同時に、その中間レイヤの上にある1つ以上のエンハンスメントレイヤのためのRLとして機能を果たしてもよい。同様に、HEVC標準規格のマルチビュー又は3D拡張では、複数のビューが存在してよく、1つのビューの情報は、他のビューの情報(例えば、動き推定、動きベクトル予測、及び/又は他の冗長性)をコーディング(例えば、符号化又は復号化)するために利用されてもよい。
【0033】
SVCでは、エンコーダ又はデコーダによって使用されるパラメータは、それらが利用され得るコーディングレベル(例えば、ビデオレベル、シーケンスレベル、ピクチャレベル、スライスレベル、など)に基づき、パラメータセットにグループ分けされる。例えば、ビットストリーム内の異なるレイヤの1つ以上のコーディングされたビデオシーケンスによって利用され得るパラメータは、ビデオパラメータセット(VPS)に含まれてよく、コーディングされたビデオシーケンス内の1つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット(SPS)に含まれてよい。同様に、ピクチャ内の1つ以上のスライスによって利用されるパラメータは、ピクチャパラメータセット(PPS)に含まれてよく、単一スライスに特有である他のパラメータは、スライスヘッダに含まれてよい。同様に、特定のレイヤが所与の時点でどのパラメータセットを使用しているかの指示は、様々なコーディングレベルで供給されてよい。
【0034】
VVC内の参照ピクチャリサンプリング(RPR)のサポートのおかげで、複数のレイヤ、例えば、VVCにおけるSD解像度及びHD解像度を有する2つのレイヤ、を含むビットストリームのサポートは、空間スケーラビリティサポートに必要なアップサンプリングがRPRアップサンプリングフィルタを使用しさえすればよいので、如何なる追加の信号処理レベルコーディングツールも必要とせずに設計可能である。それでもなお、
ハイレベルシンタックス変更(スケーラビリティをサポートしないことと比較して)は、スケーラビリティサポートのために必要とされる。スケーラビリティサポートは、VVCバージョン1で定められている。AVC及びHEVCの拡張に含まれるものを含め、如何なる先のビデオコーディング標準規格におけるスケーラビリティサポートとは異なり、VVCスケーラビリティの設計は、可能な限りシングルレイヤデコーダ設計に適したものとなっている。マルチレイヤビットストリームのための復号化能力は、あたかもビットストリームに単一レイヤしかないかのように定めされている。例えば、DPBサイズなどの復号化能力は、復号されるべきビットストリーム内のレイヤの数に依存しない方法で定められている。基本的に、シングルレイヤビットストリームのために設計されているデコーダは、マルチレイヤビットストリームを復号することができるように多くの変更を必要としない。AVC及びHEVCのマルチレイヤ拡張の設計と比較して、HLSの側面は、いくらかの柔軟性を犠牲にして大幅に簡素化されている。例えば、IRAP AUは、CVSに存在するレイヤの夫々についてピクチャを含むことを求められる。
【0035】
[3.4.SEIメッセージ及びジェネラルSEIセマンティクス並びに制約]
VVCの付録Dは、いくつかのSEIメッセージのためのSEIメッセージペイロードのシンタックス及びセマンティクスを規定し、かつ、シンタックス及びセマンティクスがITU-T H.SEI|ISO/IEC 23002-7で定められているSEIメッセージ及びVUIパラメータの使用を規定する。
【0036】
SEIメッセージは、復号化、表示又は他の目的に関係があるプロセスを支援する。しかし、SEIメッセージは、復号化プロセスによってルーマ又はクロマサンプルを構成するために必要とされない。適合デコーダは、出力順序コンフォーマンスのためにこの情報を処理するよう求められない。いくつかのSEIメッセージは、ビットストリームコンフォーマンスをチェックするために及び出力タイミングデコーダコンフォーマンスのために必要とされる。他のSEIメッセージは、ビットストリームコンフォーマンスをチェックするために必要とされない。
【0037】
最新のVVCドラフトテキストにおいて、ジェネラルSEI。
【0038】
最新のVVCドラフトテキストにおけるスケーラブルネスティングSEIメッセージのシンタックス及びセマンティクスは、次の通りである。
【表1】
【0039】
[4.開示されている技術的解決法によって解決される技術的課題]
ジェネラルSEI制約を含む既存のジェネラルSEIペイロードセマンティクスには、次の課題がある:
1)非スケーラブルネスト化HRD関連SEIメッセージは、ビットストリーム全体と同じレイヤの組を含むOLSに適用するよう定められるべきである(0番目のOLSにのみ適用されるのではない。)。
2)ビットストリーム全体は複数のレイヤを含んでよく、一方、全てのレイヤを含むOLSは定められていない。この場合に、如何なる非スケーラブルネスト化HRD関連SEIメッセージも、それらがビットストリーム全体と同じレイヤの組を含むOLSに適用するということで、存在し得ない。
3)非スケーラブルネスト化非HRD関連SEIメッセージは、nuh_layer_idがSEI NALユニットのそれと等しいレイヤにのみ適用されることが現在定められている。しかし、非スケーラブルネスト化HRD関連SEIメッセージと一致させるには、非スケーラブルネスト化HRD関連SEIメッセージがビットストリーム全体の全てのレイヤに適用されることが定められるべきである。
4)非スケーラブルネスト化HRD関連SEIメッセージを含むSEI NALユニットのnuh_layer_idの値は、vps_layer_id[0]に等しくなければならず、非スケーラブルネスト化非HRD関連SEIメッセージを含むSEI NALユニットのnuh_layer_idは、SEI NALユニットに関連したVCL NALユニットのnuh_layer_idに等しくなければならない。しかし、非スケーラブルネスト化SEIメッセージがビットストリーム全体に適用される場合に、nuh_layer_idの値に対するこれらの制約は、DCI、VPS、AUD、及びEOS NALユニットのnuh_layer_idと同じように、非スケーラブルネスト化SEIメッセージを含むSEI NALユニットのnuh_layer_idの値が制約されないように、除かれるべきである。
5)リスト変数VclAssociatedSeiListは、現在、非HRD関連SEIメッセージのSEI payloadType値から成る。しかし、SLI SEIメッセージのための値203はHRD関連SEIメッセージでもある。従って、payloadType値203(SLI)はリストから削除されるべきである。
6)general_same_pic_timing_in_all_ols_flagが1に等しい場合に、1(PT)に等しいpayloadTypeを有するスケーラブルネスト化SEIメッセージを含むSEI NALユニットは存在すべきでないという制約はない。これは、general_same_pic_timing_in_all_ols_flagが1に等しい場合に、スケーラブルネスティングSEIメッセージに含まれるPT SEIメッセージを有する必要性がないためである。
7)SEI NALユニットが、0(BP)、1(PT)、130(DUI)、又は203(SLI)に等しいpayloadTypeを有する非スケーラブルネスト化SEIメッセージを含む場合に、SEI NALユニットは、0、1、130又は203に等しくないpayloadTypeを有する如何なる他のSEIメッセージを含むべきではないという制約はない。これだけで、サブビットストリーム抽出プロセス中の出力ビットストリームからのこれら4つのHRD関連SEIメッセージの削除は、これらのSEIメッセージのうちの1つ以上を含むSEI NALユニットを単純に除くことによって実行可能である。
8)SEI NALユニットが、0(BP)、1(PT)、130(DUI)、又は203(SLI)に等しいpayloadTypeを有するスケーラブルネスト化SEIメッセージを含む場合に、SEI NALユニットは、0、1、130、203、又は133(スケーラブルネスティング)に等しくないpayloadTypeを有する如何なる他のSEIメッセージを含むべきではないという制約はない。これだけで、スケーラブルネスト化HRD関連及び非HRD関連SEIメッセージについてスケーラブルネスティングSEIメッセージのsn_ols_flagの値を問題なくセットすることが可能である。
9)SEI NALユニットが、3(フィラーペイロード)に等しいpayloadTypeを有するSEIメッセージを含む場合に、SEI NALユニットは、3に等しくないpayloadTypeを有する如何なる他のSEIメッセージも含むべきではないという制約はない。これだけで、サブビットストリーム抽出プロセス中の出力ビットストリームからのフィラーペイロードSEIメッセージの削除は、1つ以上のフィラーペイロードSEIメッセージを含むSEI NALユニットを単純に除くことによって実行可能である。
10)特定のOLSに適用されるSLI SEIメッセージ及びBP SEIメッセージがAU内に存在する場合に、SLI SEIメッセージは、復号化順序においてBP SEIメッセージに先行すべきである。これは、SLI SEIメッセージが、BP SEIメッセージと同じAU内に存在する場合に、やはりBP SEIメッセージに先行するVPS及びSPSなどのシーケンスレベル情報を提供するので必要とされる。
11)BP SEIメッセージにおいて、bp_sublayer_initial_cpb_removal_delay_present_flagは、bp_max_sublayers_minus1が0に等しい場合でさえシグナリングされる。しかし、bp_max_sublayers_minus1が0に等しい場合に、bp_sublayer_initial_cpb_removal_delay_present_flagの値は、0であることが知られている。
【0040】
[5.解決法及び実施形態の例]
上記の課題及び他を解決するために、以下で要約されている方法が開示される。解決法の項目は、概要を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではない。更に、これらの項目は、個々に適用されても、又はあらゆる方法で組み合わされてもよい。
1)第1の課題を解決するために、非スケーラブルネスト化HRD関連SEIメッセージが、(0番目のOLSにのみ適用されるのではなく)ビットストリーム全体と同じレイヤの組を含むOLSに適用されることを定める。
a.一例で、HRD関連SEIメッセージは、0(BP)、1(PT)、130(DUI)、又は203(SLI)に等しいpayloadTypeを有するSEIメッセージを参照する。
2)第2の課題を解決するために、ビットストリーム全体と同じレイヤの組を含むOLSが存在しない場合に、非スケーラブルネスト化HRD関連SEIメッセージは存在すべきでないという制約を追加する。
a.一例で、HRD関連SEIメッセージは、0(BP)、1(PT)、130(DUI)、又は203(SLI)に等しいpayloadTypeを有するSEIメッセージを参照する。
3)第3の課題を解決するために、非スケーラブルネスト化非HRD関連SEIメッセージは、非スケーラブルネスト化HRD関連SEIメッセージと一致させるよう、ビットストリーム全体の全てのレイヤに適用可能であることを定める。
a.一例で、非HRD関連SEIメッセージは、0(BP)、1(PT)、130(DUI)、又は203(SLI)に等しくないpayloadTypeを有するSEIメッセージを参照する。
4)第4の課題を解決するために、DCI、VPS、AUD、及びEOS NALユニットのnuh_layer_idと同じように、非スケーラブルネスト化SEIメッセージを含むSEI NALユニットのnuh_layer_idの値が制約されないように、非スケーラブルネスト化SEIメッセージを含むSEI NALユニットのnuh_layer_idの値に対する制約を削除する。
5)第5の課題を解決するために、VclAssociatedSeiListをNestingForLayersSeiListと改名し、payloadType値203(SLI)をリストから削除する。
6)第6の課題を解決するために、general_same_pic_timing_in_all_ols_flagが1に等しい場合に、1(PT)に等しいpayloadTypeを有するスケーラブルネスト化SEIメッセージを含むSEI NALユニットは存在すべきでないという制約を追加する。
a.一例で、追加的に、general_same_pic_timing_in_all_ols_flagが1に等しい場合に、非スケーラブルネスト化PT SEIメッセージは全てのOLSに、更には、OLSのビットストリームから抽出され得るサブピクチャシーケンスに適用されることが定められる。
b.一例で、代替的に、general_same_pic_timing_in_all_ols_flagが1に等しい場合に、sn_subpic_flagが0に等しい、1(PT)に等しいpayloadTypeを有するスケーラブルネスト化SEIメッセージを含むSEI NALユニットは、存在すべきでないという制約を追加する。
7)第7の課題を解決するために、SEI NALユニットが、0(BP)、1(PT)、130(DUI)、又は203(SLI)に等しいpayloadTypeを有する非スケーラブルネスト化SEIメッセージを含む場合に、SEI NALユニットは、0、1、130又は203に等しくないpayloadTypeを有する如何なる他のSEIメッセージを含むべきではないことが定められる。
8)第8の課題を解決するために、SEI NALユニットが、0(BP)、1(PT)、130(DUI)、又は203(SLI)に等しいpayloadTypeを有するスケーラブルネスト化SEIメッセージを含む場合に、SEI NALユニットは、0、1、130、203、又は133(スケーラブルネスティング)に等しくないpayloadTypeを有する如何なる他のSEIメッセージを含むべきではないことが定められる。
9)第9の課題を解決するために、SEI NALユニットが、3(フィラーペイロード)に等しいpayloadTypeを有するSEIメッセージを含む場合に、SEI NALユニットは、3に等しくないpayloadTypeを有する如何なる他のSEIメッセージも含むべきではないという制約を追加する。
a.一例で、追加的に、フィラーデータSEIメッセージはスケーラブルネスト化されるべきではない、つまり、スケーラブルネスティングSEIメッセージに含まれるべきではないことが定められる。
b.一例で、代替的に、SEI NALユニットが、3(フィラーペイロード)に等しいpayloadTypeを有するSEIメッセージを含む場合に、SEI NALユニットは、3又は133(スケーラブルネスティング)に等しくないpayloadTypeを有する如何なる他のSEIメッセージも含むべきではないという制約を追加する。
10)第10の課題を解決するために、特定のOLSに適用されるSLI SEIメッセージ及びBP SEIメッセージがAU内に存在する場合に、SLI SEIメッセージは、復号化順序においてBP SEIメッセージに先行すべきであるという制約を追加する。
11)第11の課題を解決するために、bp_max_sublayers_minus1が0に等しい場合に、bp_sublayer_initial_cpb_removal_delay_present_flagはスキップされる(つまり、BP SEIメッセージでシグナリングされない)ことが定められる。
a.一例で、追加的に、bp_max_sublayers_minus1が0に等しい場合に、bp_sublayer_initial_cpb_removal_delay_present_flagの値は、0に等しいと推測される。
【0041】
[6.実施形態]
以下は、VVC仕様に適用可能な、本セクションで先に要約された本発明の態様のいくつかについてのいくつかの例示的な実施形態である。変更されたテキストは、JVET-S0152-v5の最新のVVCテキストに基づいている。追加又は変更された最も関連する部分は太字イタリック体であり、削除された部分のいくつかは二重括弧でマークされている(例えば、[[a]]は、文字“a”の削除を表す。)。
【0042】
[6.1.実施例1]
この実施例は、項目1乃至11並びにそれらの下位項目のいくつかに係る。
【表2】
【0043】
図1は、本明細書で開示されている様々な技術が実装され得る例示的なビデオ処理システム1900を示すブロック図である。様々な実施は、システム1900のコンポーネントのいくつか又は全てを含み得る。システム1900は、ビデオコンテンツを受ける入力部1902を含み得る。ビデオコンテンツは、生の又は圧縮されていないフォーマット、例えば、8又は10ビットのマルチコンポーネントピクセル値で受け取られてよく、あるいは、圧縮又は符号化されたフォーマットにあってもよい。入力部1902は、ネットワークインターフェース、ペリフェラルバスインターフェース、又はストレージインターフェースに相当し得る。ネットワークインターフェースの例には、Ethernet(登録商標)、受動光ネットワーク(Passive Optical Network,PON)などのような有線インターフェース、及びWi-Fi又はセルラーネットワークなどの無線インターフェースが含まれる。
【0044】
システム1900は、本明細書で記載されている様々なコーディング又は符号化方法を実装し得るコーディングコンポーネント1904を含んでもよい。コーディングコンポーネント1904は、ビデオのコーディングされた表現を生成するよう、入力部1902からコーディングコンポーネント1904の出力部へのビデオの平均ビットレートを低減し得る。コーディング技術は、従って、ビデオ圧縮又はビデオトランスコーディング技術と時々呼ばれる。コーディングコンポーネント1904の出力は、コンポーネント1906によって表されるように、保存されても、あるいは、接続された通信を介して伝送されてもよい。入力部1902で受け取られたビデオの保存又は通信されたビットストリーム(又はコーディングされた)表現は、ピクセル値又は表示インターフェース1910へ送られる表示可能なビデオを生成するコンポーネント1908によって使用されてもよい。ユーザが見ることができるビデオをビットストリーム表現から生成するプロセスは、ビデオ圧縮解除と時々呼ばれる。更に、特定のビデオ処理動作が「コーディング」動作又はツールと呼ばれる一方で、そのようなコーディングツール又は動作はエンコーダで使用され、コーディングの結果を入れ替える対応する復号化ツール又は動作は、デコーダによって実行されることになることが理解されるだろう。
【0045】
ペリフェラルバスインターフェース又は表示インターフェースの例には、ユニバーサルシリアルバス(USB)又は高精細マルチメディアインターフェース(HDMI(登録商標))又はDisplayport(登録商標)などが含まれ得る。ストレージインターフェースの例には、SATA(Serial Advanced Technology Attachment)、PCI(Peripheral Component Interconnect)、IDE(Integrated Drive Electronics)インターフェース、などがある。本明細書で説明されている技術は、携帯電話機、ラップトップ、スマートフォン、あるいは、デジタルデータ処理及び/又はビデオ表示を実行する能力がある他のデバイスなどの、様々な電子デバイスで具現化されてもよい。
【0046】
図2は、ビデオ処理装置3600のブロック図である。装置3600は、本明細書で記載されている方法の1つ以上を実装するために使用され得る。装置3600は、スマートフォン、タブレット、コンピュータ、インターネット・オブ・シングス(IoT)レシーバ、などで具現化されてもよい。装置3600は、1つ以上のプロセッサ3602、1つ以上のメモリ3604、及びビデオ処理ハードウェア3606を含み得る。プロセッサ3602は、本明細書で記載される1つ以上の方法を実装するよう構成され得る。メモリ(複数のメモリ)3604は、本明細書で記載される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用され得る。ビデオ処理ハードウェア3606は、ハードウェア回路において、本明細書で記載されるいくつかの技術を実装するために使用され得る。
【0047】
図4は、本開示の技術を利用し得る、例となるビデオコーディングシステム100を表すブロック図である。
【0048】
図4に示されるように、ビデオコーディングシステム100は、送信元デバイス110及び送信先デバイス120を含んでよい。送信元デバイス110は、符号化されたビデオデータを生成し、ビデオ符号化デバイスと呼ばれ得る。送信先デバイス120は、送信元デバイス110によって生成された符号化されたビデオデータを復号することができ、ビデオ復号化デバイスと呼ばれ得る。
【0049】
送信元デバイス110は、ビデオソース112、ビデオエンコーダ114、及び入力/出力(I/O)インターフェース116を含んでよい。
【0050】
ビデオソース112は、ビデオ捕捉デバイスなどのソース、ビデオコンテンツプロバイダからビデオデータを受け取るインターフェース、及び/又はビデオデータを生成するコンピュータグラフィクスシステム、あるいは、そのようなソースの組み合わせを含んでよい。ビデオデータは1つ以上のピクチャを有してもよい。ビデオエンコーダ114は、ビットストリームを生成するようビデオソース112からのビデオデータを符号化する。ビットストリームは、ビデオデータのコーディングされた表現を形成するビットの連続を含んでよい。ビットストリームは、コーディングされたピクチャ及び関連するデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連するデータは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含んでもよい。I/Oインターフェース116は、変調器/復調器(モデム)及び/又は送信器を含んでよい。符号化されたビデオデータは、I/Oインターフェース116を介して送信先デバイス120に対してネットワーク130aを通じて直接に伝送されてよい。符号化されたビデオデータはまた、送信先デバイス120によるアクセスのために記憶媒体/サーバ130bに記憶されてもよい。
【0051】
送信先デバイス120は、I/Oインターフェース126、ビデオデコーダ124、及び表示デバイス122を含んでよい。
【0052】
I/Oインターフェース126は、受信器及び/又はモデムを含んでよい。I/Oインターフェース126は、送信元デバイス110又は記憶媒体/サーバ130bから符号化されたビデオデータを取得してよい。ビデオデコーダ124は、符号化されたビデオデータを復号してよい。表示デバイス122は、復号されたビデオデータをユーザに表示してよい。表示デバイス122は、送信先デバイス120と一体化されてもよく、あるいは、外付け表示デバイスとインターフェース接続するよう構成されて送信先デバイス120の外にあってもよい。
【0053】
ビデオエンコーダ114及びビデオデコーダ124は、HEVC(High Efficiency Video Coding)標準規格、VVC(Versatile Video Coding)標準規格、並びに他の現在の及び/又は更なる標準規格などのビデオ圧縮規格に従って作動してもよい。
【0054】
図5は、ビデオエンコーダ200の例を表すブロック図であり、図4に表されているシステム100のビデオエンコーダ114であってよい。
【0055】
ビデオエンコーダ200は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。図5の例では、ビデオエンコーダ200は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオエンコーダ200の様々なコンポーネントの間で共有されてもよい。いくつかの例では、プロセッサが、本開示で記載される技術のいずれか又は全てを実行するよう構成されてもよい。
【0056】
ビデオエンコーダ200の機能コンポーネントは、パーティションユニット201と、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205及びイントラ予測ユニット206を含み得る予測ユニット202と、残差生成ユニット207と、変換ユニット208と、量子化ユニット209と、逆量子化ユニット210と、逆変換ユニット211と、再構成ユニット212と、バッファ213と、エントロピ符号化ユニット214とを含んでよい。
【0057】
他の例では、ビデオエンコーダ200は、より多い、より少ない、又は異なる機能コンポーネントを含んでもよい。例において、予測ユニット202は、イントラブロックコピー(Intra Block Copy,IBC)ユニットを含んでもよい。IBCユニットは、少なくとも1つの参照ピクチャが、現在のビデオブロックが位置しているピクチャであるところの、IBCモードで、予測を実行してよい。
【0058】
更に、動き推定ユニット204及び動き補償ユニット205などのいくつかのコンポーネントは、高度に集積されてもよいが、説明のために図5の例では別々に表されている。
【0059】
パーティションユニット201は、ピクチャを1つ以上のビデオブロックにパーティション化し得る。ビデオエンコーダ200及びビデオデコーダ300は、様々なビデオブロックサイズをサポートしてよい。
【0060】
モード選択ユニット203は、例えば、エラー結果に基づいて、イントラ又はインターのコーディングモードの1つを選択し、結果として得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成する残差生成ユニット207へ、及び参照ピクチャとしての使用のために、符号化されたブロックを再構成する再構成ユニット212へ供給してよい。いくつかの例において、モード選択ユニット203は、予測がインター予測信号及びイントラ予測信号に基づくイントラ-インター複合予測(Combination of Intra and Inter Prediction,CIIP)モードを選択してもよい。モード選択ユニット203はまた、インター予測の場合に、ブロックの動きベクトルのための分解能(例えば、サブピクセル又は整数ピクセル精度)を選択してもよい。
【0061】
現在のビデオブロックに対してインター予測を実行するために、動き推定ユニット204は、バッファ213からの1つ以上の参照フレームを現在のビデオブロックと比較することによって、現在のビデオブロックの動き情報を生成し得る。動き補償ユニット205は、動き情報と、現在のビデオブロックに関連したピクチャ以外のバッファ213からのピクチャの復号されたサンプルとに基づいて、現在のビデオブロックの予測されたビデオブロックを決定し得る。
【0062】
動き推定ユニット204及び動き補償ユニット205は、例えば、現在のビデオブロックがIスライス、Pスライス、又はBスライスであるかどうかに応じて、現在のビデオブロックのために異なる動作を実行してもよい。
【0063】
いくつかの例において、動き推定ユニット204は、現在のビデオブロックのために一方向予測を実行してもよく、動き推定ユニット204は、現在のビデオブロックのための参照ビデオブロックをリスト0又はリスト1の参照ピクチャから探してもよい。動き推定ユニット204は、次いで、参照ビデオブロックを含むリスト0又はリスト1内の参照ピクチャを示す参照インデックスと、現在のビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルとを生成してよい。動き推定ユニット204は、現在のビデオブロックの動き情報として参照インデックス、予測方向インジケータ、及び動きベクトルを出力してもよい。動き補償ユニット205は、現在のビデオブロックの動き情報によって示されている参照ビデオブロックに基づいて、現在のブロックの予測されたビデオブロックを生成してもよい。
【0064】
他の例では、動き推定ユニット204は、現在のビデオブロックのために双方向予測を実行してもよく、動き推定ユニット204は、現在のビデオブロックのための参照ビデオブロックをリスト0内の参照ピクチャから探してもよく、また、現在のビデオブロックのためのもう1つの参照ビデオブロックをリスト1内の参照ピクチャから探してもよい。動き推定ユニット204は、次いで、参照ビデオブロックを含むリスト0及びリスト1内の参照ピクチャを示す参照インデックスと、それらの参照ビデオブロックと現在のビデオブロックとの間の空間変位を示す動きベクトルとを生成してもよい。動き推定ユニット204は、現在のビデオブロックの動き情報として、現在のビデオブロックの参照インデックス及び動きベクトルを出力してもよい。動き補償ユニット205は、現在のビデオブロックの動き情報によって示されている参照ビデオブロックに基づいて、現在のビデオブロックの予測されたビデオブロックを生成してもよい。
【0065】
いくつかの例において、動き推定ユニット204は、デコーダの復号化処理のために動き情報のフルセットを出力してもよい。
【0066】
いくつかの例において、動き推定ユニット204は、現在のビデオの動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット204は、他のビデオブロックの動き情報を参照して現在のビデオブロックの動き情報をシグナリングしてもよい。例えば、動き推定ユニット204は、現在のビデオブロックの動き情報が隣接ビデオブロックの動き情報と十分に類似していることを決定してもよい。
【0067】
一例において、動き推定ユニット204は、現在のビデオブロックに関連したシンタックス構造において、現在のビデオブロックが他のビデオブロックと同じ動き情報を有していることをビデオデコーダ300に示す値を示してもよい。
【0068】
他の例では、動き推定ユニット204は、現在のビデオブロックに関連したシンタックス構造において、他のビデオブロック及び動きベクトル差分(Motion Vector Difference,MVD)を特定してもよい。動きベクトル差分は、現在のビデオブロックの動きベクトルと、指示されたビデオブロックの動きベクトルとの間の差を示す。ビデオデコーダ300は、現在のビデオブロックの動きベクトルを決定するために、指示されたビデオブロックの動きベクトル及び動きベクトル差分を使用し得る。
【0069】
上述されたように、ビデオエンコーダ200は、動きベクトルを予測的にシグナリングしてもよい。ビデオエンコーダ200によって実装され得る予測シグナリング技術の2つの例には、アドバンスド動きベクトル予測(Advanced Motion Vector Prediction,AMVP)及びマージモードシグナリングがある。
【0070】
イントラ予測ユニット206は、現在のビデオブロックに対してイントラ予測を実行してよい。イントラ予測ユニット206が現在のビデオブロックに対してイントラ予測を実行する場合に、イントラ予測ユニット206は、同じピクチャ内の他のビデオブロックの復号されたサンプルに基づいて、現在のビデオブロックの予測データを生成し得る。現在のビデオブロックの予測データは、予測されたビデオブロック及び様々なシンタックス要素を含み得る。
【0071】
残差生成ユニット207は、現在のビデオブロックから現在のビデオブロックの予測されたビデオブロックを減じること(例えば、マイナス符号によって示される。)によって、現在のビデオブロックの残差データを生成してよい。現在のビデオブロックの残差データは、現在のビデオブロック内のサンプルの異なるサンプルコンポーネントに対応する残差ビデオブロックを含み得る。
【0072】
他の例では、例えば、スキップモードで、現在のビデオブロックの残差データは存在しない場合があり、残差生成ユニット207は、減算演算を実行しなくてもよい。
【0073】
変換処理ユニット208は、現在のビデオブロックに関連した残差ビデオブロックに1つ以上の変換を適用することによって、現在のビデオブロックの1つ以上の変換係数ビデオブロックを生成してよい。
【0074】
変換処理ユニット208が現在のビデオブロックに関連した変換係数ビデオブロックを生成した後、量子化ユニット209は、現在のビデオブロックに関連した1つ以上の量子化パラメータ(QP)値に基づいて、現在のビデオブロックに関連した変換係数ビデオブロックを量子化してよい。
【0075】
逆量子化ユニット210及び逆変換ユニット211は、変換係数ビデオブロックに各々逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構成してよい。再構成ユニット212は、再構成された残差ビデオブロックを、予測ユニット202によって生成された1つ以上の予測されたビデオブロックからの対応するサンプルに加えて、バッファ213での記憶のために、現在のブロックに関連した再構成されたビデオブロックを生成してよい。
【0076】
再構成ユニット212がビデオブロックを再構成した後、ループフィルタリング動作が、ビデオブロックにおいてビデオブロッキングアーチファクトを低減するよう実行されてもよい。
【0077】
エントロピ符号化ユニット214は、ビデオエンコーダ200の他の機能コンポーネントからデータを受け取ってもよい。エントロピ符号化ユニット214がデータを受け取るとき、エントロピ符号化ユニット214は、エントロピ符号化されたデータを生成するよう1つ以上のエントロピ符号化動作を実行し、そのエントロピ符号化されたデータを含むビットストリームを出力し得る。
【0078】
図6は、ビデオデコーダ300の例を表すブロック図であり、図4で表されているシステム100のビデオデコーダ124であってよい。
【0079】
ビデオデコーダ300は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。図6の例では、ビデオデコーダ300は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオデコーダ300の様々なコンポーネントの間で共有されてもよい。いくつかの例では、プロセッサが、本開示で記載される技術のいずれか又は全てを実行するよう構成されてもよい。
【0080】
図6の例では、ビデオデコーダ300は、エントロピ復号化ユニット301と、動き補償ユニット302と、イントラ予測ユニット303と、逆量子化ユニット304と、逆変換ユニット305と、再構成ユニット306と、バッファ307とを含む。ビデオデコーダ300は、いくつかの例において、ビデオエンコーダ200(図5)に関して記載された符号化パスとは概して逆の復号化パスを実行してもよい。
【0081】
エントロピ復号化ユニット301は、符号化されたビットストリームを取り出し得る。符号化されたビットストリームは、エントロピコーディングされたビデオデータ(例えば、ビデオデータの符号化されたブロック)を含んでもよい。エントロピ復号化ユニット301は、エントロピコーディングされたビデオデータを復号してよく、エントロピ復号されたビデオデータから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を決定し得る。動き補償ユニット302は、例えば、AMVP及びマージモードを実行することによって、そのような情報を決定してよい。
【0082】
動き補償ユニット302は、場合により、補間フィルタに基づいた補間を実行して、動き補償されたブロックを生成してよい。サブピクセル精度で使用される補間フィルタのための識別子が、シンタックス要素に含まれてもよい。
【0083】
動き補償ユニット302は、参照ブロックのサブ整数ピクセルについて補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ200によって使用された補間フィルタを使用し得る。動き補償ユニット302は、受け取られたシンタックス情報に従って、ビデオエンコーダ200によって使用された補間フィルタを決定し、その補間フィルタを使用して、予測ブロックを生成し得る。
【0084】
動き補償ユニット302は、符号化されたビデオシーケンスのフレーム及び/又はスライスを符号化するために使用されるブロックのサイズと、符号化されたビデオシーケンスのピクチャの各マクロブロックがどのようにパーティション化されるかを記述するパーティション情報と、各パーティションがどのように符号化されるかを示すモードと、各インター符号化されたブロックについての1つ以上の参照フレーム(及び参照フレームリスト)と、符号化されたビデオシーケンスを復号するための他の情報とを決定するために、シンタックス情報のいくつかを使用してもよい。
【0085】
イントラ予測ユニット303は、空間的に隣接するブロックから予測ブロックを形成するよう、例えば、ビットストリームで受け取られたイントラ予測モードを使用してもよい。逆量子化ユニット304は、ビットストリームで供給されてエントロピ復号化ユニット301によって復号された量子化されたビデオブロック係数を逆量子化、すなわち、量子化解除する。逆変換ユニット305は逆変換を適用する。
【0086】
再構成ユニット306は、動き補償ユニット302又はイントラ予測ユニット303によって生成された対応する予測ブロックを残差ブロックに加算して、復号されたブロックを形成し得る。必要に応じて、デブロッキングフィルタも、ブロッキネスアーチファクトを取り除くために、復号されたブロックにフィルタをかけるよう適用されてもよい。復号されたビデオブロックは、次いで、バッファ307に格納され、バッファ307は、その後の動き補償/イントラ予測のために参照ブロックを供給し、更には、復号されたビデオを表示デバイスでの提示のために生成する。
【0087】
解決法のリストは、開示されている技術のいくつかの実施形態について記載する。
【0088】
第1の解決法の組が以下で与えられている。以下の解決法は、前のセクション(例えば、項目1~3)で議論されている技術の例示的な実施形態を示す。
【0089】
解決法1.
1つ以上のビデオレイヤを含むビデオと、1つ以上の出力レイヤセットを含む前記ビデオのコーディングされた表現との間の変換を実行するステップ(602)を有し、
前記コーディングされた表現は、1つ以上のシンタックス要素が非スケーラブルネスト化仮想参照デコーダ(HRD)関連補足強化情報(SEI)に関係があるかどうか及びどのように関係があるかに関するフォーマット規則に従う、
ビデオ処理方法(例えば、図3に示される方法600)。
【0090】
解決法2.
前記フォーマット規則は、前記非スケーラブルネスト化HRD関連SEIに関係があるメッセージが、前記コーディングされた表現の全体と同じレイヤの組を含む出力レイヤセットに適用されることを定める、
解決法1の方法。
【0091】
解決法3.
前記フォーマット規則は、前記コーディングされた表現の全体と同じレイヤの組を有する出力レイヤセットがない場合に、前記1つ以上のシンタックス要素を省略することを定める、
解決法1~2のいずれかの方法。
【0092】
解決法4.
前記フォーマット規則は、前記1つ以上のシンタックス要素が前記コーディングされた表現内の全てのレイヤに適用可能であることを定める、
解決法1の方法。
【0093】
以下の解決法は、前のセクション(例えば、項目4~10)で議論されている技術の例示的な実施形態を示す。
【0094】
解決法5.
1つ以上のビデオレイヤを含むビデオと、1つ以上の出力レイヤセットを含む前記ビデオのコーディングされた表現との間の変換を実行するステップを有し、
前記コーディングされた表現は、1つ以上のシンタックス要素が補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットに含まれるかどうか及びどのように含まれるかに関するフォーマット規則に従う、
ビデオ処理方法。
【0095】
解決法6.
前記フォーマット規則は、前記SEI NALユニットが非スケーラブルネスト化SEIメッセージを含む場合に、レイヤ識別子の値が制約されないことを定める、
解決法5の方法。
【0096】
解決法7.
前記フォーマット規則は、前記コーディングされた表現の全ての出力レイヤセットでの同じピクチャタイミングの使用のシグナリングの結果として、特定のペイロードタイプのスケーラブルネスト化SEIメッセージを含むSEI NALユニットの包含を無効にする、
解決法5~6のいずれかの方法。
【0097】
解決法8.
前記フォーマット規則は、第1の特定のペイロードタイプの非スケーラブルネスト化SEIメッセージを含むSEI NALユニットが、第2の特定のペイロードタイプの他のSEIメッセージを含むことを許されないことを定める、
解決法5~7のいずれかの方法。
【0098】
解決法9.
前記第1の特定のペイロードタイプは、0、1、130、又は203に等しい、
解決法8の方法。
【0099】
解決法10.
前記第2の特定のペイロードタイプは、0、1、130、203、又は133に等しい、
解決法8又は9の方法。
【0100】
解決法11.
前記第1の特定のペイロードタイプ及び前記第2の特定のペイロードタイプは、3である、
解決法8~10の方法。
【0101】
解決法12.
前記変換を実行するステップは、前記ビデオを符号化して、前記コーディングされた表現を生成することを有する、
解決法1~11のいずれかの方法。
【0102】
解決法13.
前記変換を実行するステップは、前記コーディングされた表現をパース及び復号して、前記ビデオを生成することを有する、
解決法1~11のいずれかの方法。
【0103】
解決法14.
解決法1~13のうちの1つ以上に記載される方法を実装するよう構成されたプロセッサを有するビデオ復号化装置。
【0104】
解決法15.
解決法1~13のうちの1つ以上に記載される方法を実装するよう構成されたプロセッサを有するビデオ符号化装置。
【0105】
解決法16.
コンピュータコードを記憶しているコンピュータプログラム製品であって、
前記コードは、プロセッサによって実行される場合に、該プロセッサに、解決法1~13のいずれかに記載される方法を実装させる、
コンピュータプログラム製品。
【0106】
解決法17.
本明細書に記載される方法、装置、又はシステム。
【0107】
第2の解決法の組は、前のセクション(例えば、項目1~5)で議論されている技術の例示的な実施形態を示す。
【0108】
解決法1.
ビデオデータを処理する方法(例えば、図7Aに示される方法700)であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ702を有し、
前記ビットストリームは、フォーマット規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、
前記フォーマット規則は、仮想参照デコーダ(HRD)に関する情報を含む非スケーラブルネスト化補足強化情報(SEI)メッセージが、前記ビットストリームと同じビデオレイヤを含む全ての出力レイヤセットに適用可能である、ことを定める、
方法。
【0109】
解決法2.
前記非スケーラブルネスト化SEIメッセージは、スケーラブルネスティングSEIメッセージに含まれないSEIメッセージである、
解決法1の方法。
【0110】
解決法3.
前記HRDに関する情報を含む前記非スケーラブルネスト化SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、又はサブピクチャレベル情報(SLI)SEIメッセージである、
解決法1又は2の方法。
【0111】
解決法4.
前記HRDに関する情報を含む前記非スケーラブルネスト化SEIメッセージは、0、1、130、又は203に等しいペイロードタイプを有する、
解決法1又は2の方法。
【0112】
解決法5.
ビデオデータを処理する方法(例えば、図7Bに示される方法710)であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ712を有し、
前記ビットストリームは、フォーマット規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、
前記フォーマット規則は、非スケーラブルネスト化仮想参照デコーダ(HRD)関連補足強化情報(SEI)メッセージが、前記ビットストリームと同じレイヤの組を含む出力レイヤセットが存在しないという条件に応答して、除かれる、
方法。
【0113】
解決法6.
前記非スケーラブルネスト化SEIメッセージは、スケーラブルネスティングSEIメッセージに含まれないSEIメッセージである、
解決法5の方法。
【0114】
解決法7.
前記非スケーラブルネスト化HRD関連SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、又はサブピクチャレベル情報(SLI)SEIメッセージである、
解決法5又は6の方法。
【0115】
解決法8.
前記非スケーラブルネスト化HRD関連SEIメッセージは、0、1、130、又は203に等しいペイロードタイプを有する、
解決法5又は6の方法。
【0116】
解決法9.
ビデオデータを処理する方法(例えば、図7Cに示される方法720)であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ722を有し、
前記ビットストリームは、フォーマット規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、
前記フォーマット規則は、非スケーラブルネスト化補足強化情報(SEI)メッセージを含むSEIネットワーク抽象化レイヤ(NAL)ユニットのレイヤ識別子の値が制約されない、ことを定める、
方法。
【0117】
解決法10.
前記非スケーラブルネスト化SEIメッセージは、スケーラブルネスティングSEIメッセージに含まれないSEIメッセージである、
解決法9の方法。
【0118】
解決法11.
前記非スケーラブルネスト化SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、又はサブピクチャレベル情報(SLI)SEIメッセージである、
解決法9の方法。
【0119】
解決法12.
前記非スケーラブルネスト化SEIメッセージは、0、1、130、又は203に等しいペイロードタイプを有する、
解決法9の方法。
【0120】
解決法13.
ビデオデータを処理する方法(例えば、図7Dに示される方法730)であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ732を有し、
前記ビットストリームは、フォーマット規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、
前記フォーマット規則は、サブピクチャレベル情報に対応する特定のペイロードタイプ値が、非仮想参照デコーダ(HRD)関連補足強化情報(SEI)メッセージの許容可能なSEIペイロードタイプ値を含むリストから許可されない、ことを定める、
方法。
【0121】
解決法14.
前記特定のペイロードタイプ値は203である、
解決法13の方法。
【0122】
解決法15.
前記許容可能なSEIペイロードタイプ値は、フィラーペイロード、フィルムグレイン特性、フレームパッキング配置、パラメータセット包含指示、マスタリング表示色ボリューム、コンテンツ光レベル情報、依存的ラップ指示(dependent rap indication)、代替伝達特性(alternative transfer characteristics)、周囲視聴環境、コンテンツ色ボリューム、正距円筒図法、一般化されたキューブマップ投影(generalized cube map projection)、球回転、領域ごとのパッキング(region-wise packing)、オムニビューポート、フレームフィールド情報及びサンプルアスペクト比情報を含む、
解決法13の方法。
【0123】
解決法16.
許容可能なSEIペイロードタイプ値は、3、19、45、129、137、144、145、147~150、153~156、168、及び204を含む、
解決法13の方法。
【0124】
解決法17.
ビデオデータを処理する方法(例えば、図7Eに示される方法740)であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ742を有し、
前記ビットストリームは、フォーマット規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、
前記フォーマット規則は、仮想参照デコーダ(HRD)にとって無関係の情報を含む非スケーラブルネスト化補足強化情報(SEI)メッセージが前記ビットストリーム内の全てのレイヤに適用可能である、ことを定める、
方法。
【0125】
解決法18.
前記非スケーラブルネスト化SEIメッセージは、スケーラブルネスティングSEIメッセージに含まれないSEIメッセージである、
解決法17の方法。
【0126】
解決法19.
前記HRDにとって無関係の情報を含む前記非スケーラブルネスト化SEIメッセージは、0、1、130、又は203に等しくないペイロードタイプを有する、
解決法17又は18の方法。
【0127】
解決法20.
前記HRDにとって無関係の情報を含む前記非スケーラブルネスト化SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PI)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、又はサブピクチャレベル情報(SLI)SEIメッセージに対応しない、
解決法17又は18の方法。
【0128】
解決法21.
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、
解決法1~20のいずれかの方法。
【0129】
解決法22.
前記変換は、前記ビデオを前記ビットストリームから復号することを含む、
解決法1~20のいずれかの方法。
【0130】
解決法23.
前記変換は、前記ビットストリームを前記ビデオから生成することを含み、
当該方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に有する、
解決法1~20のいずれかの方法。
【0131】
解決法24.
解決法1~23のうちいずれか1つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ処理装置。
【0132】
解決法25.
ビデオのビットストリームを記憶する方法であって、
解決法1~23のうちいずれか1つに記載の方法を有し、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に含む、
方法。
【0133】
解決法26.
実行される場合に、プロセッサに、解決法1~23のうちいずれか1つ以上に記載の方法を実装させるプログラムコードを記憶するコンピュータ可読媒体。
【0134】
解決法27.
上記の方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。
【0135】
解決法28.
ビットストリームを記憶するビデオ処理装置であって、
解決法1~23のうちいずれか1つ以上に記載の方法を実装するよう構成されるビデオ処理装置。
【0136】
第3の解決法の組は、前のセクション(例えば、項目6)で議論されている技術の例示的な実施形態を示す。
【0137】
解決法1.
ビデオデータを処理する方法(例えば、図8に示される方法800)であって、
ビデオと、規則に従って1つ以上の出力レイヤセットを含む前記ビデオのビットストリームとの間の変換を実行するステップ802を有し、
前記規則は、前記ビットストリーム内の全ての出力レイヤセットでの同じピクチャタイミングの使用の結果として、ピクチャタイミング情報を運ぶスケーラブルネスト化補足強化情報(SEI)メッセージを含むSEIネットワーク抽象化レイヤ(NAL)ユニットが含まれないことを定める、
方法。
【0138】
解決法2.
前記スケーラブルネスト化SEIメッセージは、スケーラブルネスティングSEIメッセージに含まれるSEIメッセージである、
解決法1の方法。
【0139】
解決法3.
前記ピクチャタイミング情報を運ぶ前記スケーラブルネスト化SEIメッセージは、ピクチャタイミング(PT)SEIメッセージに対応する、
解決法1又は2の方法。
【0140】
解決法4.
前記ピクチャタイミング情報を運ぶ前記スケーラブルネスト化SEIメッセージは、1に等しいペイロードタイプを有する、
解決法1の方法。
【0141】
解決法5.
前記規則は、前記ピクチャタイミング情報を運ぶ非スケーラブルネスト化SEIメッセージが、前記全ての出力レイヤセットと、前記ビットストリームから抽出されることを許されているサブピクチャシーケンスとに適用されることを更に定める、
解決法1~4のいずれかの方法。
【0142】
解決法6.
非スケーラブルネスト化SEIメッセージは、スケーラブルネスティングSEIメッセージに含まれないSEIメッセージである、
解決法5の方法。
【0143】
解決法7.
前記規則は、特定の出力レイヤセット又はレイヤに適用される前記スケーラブルネスト化SEIメッセージが前記特定の出力レイヤセット又はレイヤの全てのサブピクチャに適用されることを指定する値をシンタックスフィールドが有する場合に、前記ピクチャタイミング情報を運ぶ前記スケーラブルネスト化SEIメッセージを含む前記SEI NALユニットが含まれないことを更に定める、
解決法1~4のいずれかの方法。
【0144】
解決法8.
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、
解決法1~7のいずれかの方法。
【0145】
解決法9.
前記変換は、前記ビデオを前記ビットストリームから復号することを含む、
解決法1~7のいずれかの方法。
【0146】
解決法10.
前記変換は、前記ビットストリームを前記ビデオから生成することを含み、
当該方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に有する、
解決法1~7のいずれかの方法。
【0147】
解決法11.
解決法1~10のうちいずれか1つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ処理装置。
【0148】
解決法12.
ビデオのビットストリームを記憶する方法であって、
解決法1~10のうちいずれか1つに記載の方法を有し、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に含む、
方法。
【0149】
解決法13.
実行される場合に、プロセッサに、解決法1~10のうちいずれか1つ以上に記載の方法を実装させるプログラムコードを記憶するコンピュータ可読媒体。
【0150】
解決法14.
上記の方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。
【0151】
解決法15.
ビットストリームを記憶するビデオ処理装置であって、
解決法1~10のうちいずれか1つ以上に記載の方法を実装するよう構成されるビデオ処理装置。
【0152】
第4の解決法の組は、前のセクション(例えば、項目7~9)で議論されている技術の例示的な実施形態を示す。
【0153】
解決法1.
ビデオデータを処理する方法(例えば、図9Aに示される方法900)であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ902を有し、
前記ビットストリームは、規則に従って1つ以上の補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットを含み、
前記規則は、SEI NALユニットが第1ペイロードタイプの非スケーラブルネスト化SEIメッセージを含むことに応答して、当該SEI NALユニットが第2ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを定める、
方法。
【0154】
解決法2.
前記非スケーラブルネスト化SEIメッセージは、スケーラブルネスティングSEIメッセージに含まれないSEIメッセージである、
解決法1の方法。
【0155】
解決法3.
前記第1ペイロードタイプの前記非スケーラブルネスト化SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、又はサブピクチャレベル情報(SLI)SEIメッセージに対応する、
解決法1又は2の方法。
【0156】
解決法4.
前記第1ペイロードタイプは、0、1、130、又は203に等しい、
解決法1又は2の方法。
【0157】
解決法5.
前記第2ペイロードタイプの前記非スケーラブルネスト化SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、及びサブピクチャレベル情報(SLI)SEIメッセージのいずれにも対応しない、
解決法1~4のいずれかの方法。
【0158】
解決法6.
前記第2ペイロードタイプは、0、1、130及び203のいずれにも等しくない、
解決法1~4のいずれかの方法。
【0159】
解決法7.
ビデオデータを処理する方法(例えば、図9Bに示される方法910)であって、
ビデオと該ビデオのビットストリームとの間の変換を規則に従って実行するステップ912を有し、
前記ビットストリームは、規則に従って1つ以上の補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットを含み、
前記規則は、SEI NALユニットが第1ペイロードタイプのスケーラブルネスト化SEIメッセージを含むことに応答して、当該SEI NALユニットが第2ペイロードタイプの他のSEIメッセージを含むことを許可されない、ことを定める、
方法。
【0160】
解決法8.
前記スケーラブルネスト化SEIメッセージは、スケーラブルネスティングSEIメッセージに含まれるSEIメッセージである、
解決法7の方法。
【0161】
解決法9.
前記第1ペイロードタイプの前記スケーラブルネスト化SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、又はサブピクチャレベル情報(SLI)SEIメッセージに対応する、
解決法7又は8の方法。
【0162】
解決法10.
前記第1ペイロードタイプは、0、1、130、又は203に等しい、
解決法7又は8の方法。
【0163】
解決法11.
前記第2ペイロードタイプの前記スケーラブルネスト化SEIメッセージは、バッファリング周期(BP)SEIメッセージ、ピクチャタイミング(PT)SEIメッセージ、復号化ユニット情報(DUI)SEIメッセージ、及びサブピクチャレベル情報(SLI)SEIメッセージのいずれにも対応しない、
解決法7~10のいずれかの方法。
【0164】
解決法12.
前記第2ペイロードタイプは、0、1、130、203及び133のいずれにも等しくない、
解決法7~10のいずれかの方法。
【0165】
解決法13.
ビデオデータを処理する方法(例えば、図9Cに示される方法920)であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ922を有し、
前記ビットストリームは、規則に従って1つ以上の補足強化情報(SEI)ネットワーク抽象化レイヤ(NAL)ユニットを含み、
前記規則は、SEI NALユニットが第1ペイロードタイプのSEIメッセージを含むことに応答して、当該SEI NALユニットが、前記第1ペイロードタイプ又は第2ペイロードタイプに等しくない他のSEIメッセージを含むことを許可されない、ことを定める、
方法。
【0166】
解決法14.
前記第1ペイロードタイプの前記SEIメッセージは、フィラーペイロードSEIメッセージに対応する、
解決法13の方法。
【0167】
解決法15.
前記第1ペイロードタイプは3に等しい、
解決法13又は14の方法。
【0168】
解決法16.
前記規則は、前記第1ペイロードタイプの前記SEIメッセージが、スケーラブルネスティングSEIメッセージに含まれることを許可されない、ことを更に定める、
解決法13~15のいずれかの方法。
【0169】
解決法17.
前記規則は、前記第2ペイロードタイプの前記SEIメッセージが、スケーラブルネスティングSEIメッセージである、ことを更に定める、
解決法13~16のいずれかの方法。
【0170】
解決法18.
前記第2ペイロードタイプは133に等しい、
解決法13~16のいずれかの方法。
【0171】
解決法19.
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、
解決法1~18のいずれかの方法。
【0172】
解決法20.
前記変換は、前記ビデオを前記ビットストリームから復号することを含む、
解決法1~18のいずれかの方法。
【0173】
解決法21.
前記変換は、前記ビットストリームを前記ビデオから生成することを含み、
当該方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に有する、
解決法1~18のいずれかの方法。
【0174】
解決法22.
解決法1~21のうちいずれか1つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ処理装置。
【0175】
解決法23.
ビデオのビットストリームを記憶する方法であって、
解決法1~21のうちいずれか1つに記載の方法を有し、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に含む、
方法。
【0176】
解決法24.
実行される場合に、プロセッサに、解決法1~21のうちいずれか1つ以上に記載の方法を実装させるプログラムコードを記憶するコンピュータ可読媒体。
【0177】
解決法25.
上記の方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。
【0178】
解決法26.
ビットストリームを記憶するビデオ処理装置であって、
解決法1~21のうちいずれか1つ以上に記載の方法を実装するよう構成されるビデオ処理装置。
【0179】
第5の解決法の組は、前のセクション(例えば、項目10及び11)で議論されている技術の例示的な実施形態を示す。
【0180】
解決法1.
ビデオデータを処理する方法(例えば、図10Aに示される方法1000)であって、
ビデオと該ビデオのビットストリームとの間の変換を実行するステップ1002を有し、
前記ビットストリームは、規則に従って1つ以上のビデオレイヤを含む1つ以上の出力レイヤセットを含み、
前記規則は、特定の出力レイヤセットに適用されるサブピクチャレベル情報(SLI)補足強化情報(SEI)メッセージ及びバッファリング周期(BP)SEIメッセージがアクセスユニットに含まれるという条件に応答して、前記SLI SEIメッセージと前記BP SEIメッセージとの間に特定の復号化順序を定める、
方法。
【0181】
解決法2.
前記特定の復号化順序は、前記SLI SEIメッセージが前記BP SEIメッセージに先行することである、
解決法1の方法。
【0182】
解決法3.
ビデオデータを処理する方法(例えば、図10Bに示される方法1010)であって、
ビデオと該ビデオのビットストリームとの間の変換を規則に従って実行するステップ1012を有し、
前記規則は、イニシャルコード化ピクチャバッファ(coded picture buffer,CPB)削除遅延がバッファリング周期補足強化情報(SEI)メッセージで示される時間的サブレイヤの最大数を示す第2シンタックスフィールドの特定の値に応答して、イニシャルCPB削除遅延関連シンタックス要素が存在するサブレイヤ表示情報を示す第1シンタックスフィールドが除かれる、ことを定める、
方法。
【0183】
解決法4.
前記特定の値は0である、
解決法3の方法。
【0184】
解決法5.
前記特定の値を有する前記第2シンタックスフィールドは、前記時間的サブレイヤの最大数が1であることを指定する、
解決法3又は4の方法。
【0185】
解決法6.
他の特定の値に等しい前記第1シンタックスフィールドは、前記イニシャルCPB削除遅延関連シンタックス要素が0以上第2シンタックスフィールド以下の範囲内のサブレイヤ表示について存在する、ことを指定する、
解決法3~5のいずれかの方法。
【0186】
解決法7.
他の特定の値は1である、
解決法6の方法。
【0187】
解決法8.
他の特定の値に等しい前記第1シンタックスフィールドは、前記イニシャルCPB削除遅延関連シンタックス要素が、前記第2シンタックスフィールドの前記特定の値に対応するサブレイヤ表示について存在する、ことを指定する、
解決法3~7のいずれかの方法。
【0188】
解決法9.
前記他の特定の値は0である、
解決法8の方法。
【0189】
解決法10.
前記規則は、前記第2シンタックスフィールドの前記特定の値に応答して、前記第1シンタックスフィールドの値を0に等しいと推測することを更に定める、
解決法3~9のいずれかの方法。
【0190】
解決法11.
前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、
解決法1~10のいずれかの方法。
【0191】
解決法12.
前記変換は、前記ビデオを前記ビットストリームから復号することを含む、
解決法1~10のいずれかの方法。
【0192】
解決法13.
前記変換は、前記ビットストリームを前記ビデオから生成することを含み、
当該方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に有する、
解決法1~10のいずれかの方法。
【0193】
解決法14.
解決法1~13のうちいずれか1つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ処理装置。
【0194】
解決法15.
ビデオのビットストリームを記憶する方法であって、
解決法1~13のうちいずれか1つに記載の方法を有し、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップを更に含む、
方法。
【0195】
解決法16.
実行される場合に、プロセッサに、解決法1~13のうちいずれか1つ以上に記載の方法を実装させるプログラムコードを記憶するコンピュータ可読媒体。
【0196】
解決法17.
上記の方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。
【0197】
解決法18.
ビットストリームを記憶するビデオ処理装置であって、
解決法1~13のうちいずれか1つ以上に記載の方法を実装するよう構成されるビデオ処理装置。
【0198】
本明細書中で記載されている開示された及び他の解決法、例、実施形態、モジュール及び機能動作は、デジタル電子回路で、あるいは、本明細書で開示されている構造及びそれらの構造的な同等物を含むコンピュータソフトウェア、ファームウェア、又はハードウェアで、あるいは、それらのうちの1つ以上の組み合わせで実装可能である。開示された及び他の実施形態は、1つ以上のコンピュータプログラム製品、つまり、データ処理装置によって実行されるか又はその動作を制御するためにコンピュータ可読媒体で符号化されたコンピュータプログラム命令の1つ以上のモジュール、として実装可能である。コンピュータ可読媒体は、マシン可読記憶デバイス、マシン可読記憶基板、メモリデバイス、マシン可読な伝播信号に影響を与える物質の組成、又はそれらの1つ以上の組み合わせであることができる。「データ処理装置」という用語は、例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するための全ての装置、デバイス、及びマシンを包含する。装置は、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成された信号、例えば、マシンにより生成された電気的、光学的、又は電磁気信号であり、適切なレシーバ装置への伝送のために情報を符号化するよう生成される。
【0199】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる。)は、コンパイル済み又は解釈済みの言語を含む如何なる形式のプログラミング言語でも記述可能であり、それは、スタンドアロンプログラムとして又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとしてを含め、如何なる形式でもデプロイ可能である。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するわけではない。プログラムは、問題となっているプログラムに専用の単一のファイルで、又は複数の協調したファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの部分を保存するファイル)で、他のプログラム又はデータ(例えば、マークアップ言語文書で保存された1つ以上のスクリプト)を保持するファイルの部分において保存可能である。コンピュータプログラムは、1つのコンピュータで、あるいは、1つの場所に位置しているか、又は複数の場所にわたって分布しており、通信ネットワークによって相互接続されている複数のコンピュータで実行されるようデプロイ可能である。
【0200】
本明細書で説明されているプロセス及びロジックフローは、入力データに作用して出力を生成することによって機能を実行するよう1つ以上のコンピュータプログラムを実行する1つ以上のプログラム可能なプロセッサによって実行可能である。プロセス及びロジックフローはまた、専用のロジック回路、例えば、FPGA(Field Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)によっても実行可能であり、装置は、そのようなものとして実装可能である。
【0201】
コンピュータプログラムの実行に適したプロセッサは、例として、汎用のマイクロプロセッサ及び専用のマイクロプロセッサの両方、並びにあらゆる種類のデジタルコンピュータのいずれか1つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリー・メモリ若しくはランダム・アクセス・メモリ又はその両方から命令及びデータを読み出すことになる。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを保存する1つ以上のメモリデバイスとである。一般に、コンピュータはまた、データを保存する1つ以上の大容量記憶デバイス、例えば、磁気、光学磁気ディスク、又は光ディスクを含むか、あるいは、そのような1つ以上の大容量記憶デバイスからのデータの受信若しくはそれへのデータの転送又はその両方のために動作可能に結合されることになる。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを保存するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、消去可能なプログラム可能リード・オンリー・メモリ(EPROM)、電気的消去可能なプログラム可能リード・オンリー・メモリ(EEPROM)、及びフラッシュメモリデバイス;磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスク;光学磁気ディスク;並びにコンパクトディスク型リード・オンリー・メモリ(CD ROM)及びデジタルバーサタイルディスク型リード・オンリー・メモリ(DVD-ROM)ディスクを含む全ての形式の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用のロジック回路によって強化されるか、あるいは、それに組み込まれ得る。
【0202】
本明細書は、多数の詳細を含むが、それらは、あらゆる対象の又は請求される可能性があるものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態に関連して本明細書で説明されている特定の特徴は、単一の実施形態で組み合わせても実装可能である。逆に、単一の実施形態に関連して説明されている様々な特徴はまた、複数の実施形態で別々に、又は何らかの適切なサブコンビネーションで実装可能である。更に、特徴は、特定の組み合わせで動作するものとして先に説明され、更には、そのようなものとして最初に請求されることがあるが、請求されている組み合わせからの1つ以上の特徴は、いくつかの場合に、その組み合わせから削除可能であり、請求されている組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられてもよい。
【0203】
同様に、動作は、特定の順序で図面において表されているが、これは、所望の結果を達成するために、そのような動作が示されているその特定の順序で又は順次的な順序で実行されること、あるいは、表されている全ての動作が実行されることを求めている、と理解されるべきではない。更に、本明細書で説明されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を求めている、と理解されるべきではない。
【0204】
ほんのわずかの実施及び例が説明されており、他の実施、強化及び変形は、本特許文献で記載及び例示されているものに基づいて行われ得る。
図1
図2
図3
図4
図5
図6
図7A
図7B
図7C
図7D
図7E
図8
図9A
図9B
図9C
図10A
図10B