(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-07
(45)【発行日】2024-02-16
(54)【発明の名称】ビデオコーディングにおけるプロファイルティアレベルパラメータセット
(51)【国際特許分類】
H04N 19/70 20140101AFI20240208BHJP
【FI】
H04N19/70
(21)【出願番号】P 2022539111
(86)(22)【出願日】2020-12-26
(86)【国際出願番号】 US2020067078
(87)【国際公開番号】W WO2021134047
(87)【国際公開日】2021-07-01
【審査請求日】2022-07-12
(32)【優先日】2019-12-26
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ワン,イェ-クイ
【審査官】田中 純一
(56)【参考文献】
【文献】国際公開第2015/053120(WO,A1)
【文献】米国特許出願公開第2016/0212437(US,A1)
【文献】特表2022-542851(JP,A)
【文献】米国特許出願公開第2022/0141495(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/12
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
ビデオ処理の方法であって、
ビデオと前記ビデオのビットストリームとの間のコンバージョンを実行するステップ、
を含み、
前記ビットストリームはフォーマットルールに適合し、
前記フォーマットルールは、前記ビットストリームの復号能力情報に含まれる複数のプロファイルティアレベル(PTL)シンタックス構造からのサブレイヤレベル情報の除外を指定し、前記複数のPTLシンタックス構造の各々は、前記ビットストリームのプロファイル、ティア、及びレベルを示す、方法。
【請求項2】
前記複数のPTLシンタックス構造は、前記復号能力情報を含むネットワーク抽象化レイヤ(NAL)ユニットの未加工バイトシーケンスペイロードに含まれる、請求項1に記載の方法。
【請求項3】
前記PTLシンタックス構造は、前記サブレイヤレベル情報の包含又は除外を示すフラグを含む、請求項2に記載の方法。
【請求項4】
前記フラグは、前記復号能力情報を含む前記NALユニットの前記未加工バイトシーケンスペイロードに含まれる前記PTLシンタックス構造に対してゼロである、請求項3に記載の方法。
【請求項5】
前記ビットストリーム内のコーディングビデオシーケンス(CVS)内の各出力レイヤセット(OLS)は、前記複数のPTLシンタックス構造の少なくとも1つに適合する、請求項1乃至4のうちいずれか1項に記載の方法。
【請求項6】
前記コンバージョンは、前記ビットストリームから前記ビデオを復号することを含む、請求項1乃至5のうちいずれか1項に記載の方法。
【請求項7】
前記コンバージョンは、前記ビデオを前記ビットストリームに符号化することを含む、請求項1乃至5のうちいずれか1項に記載の方法。
【請求項8】
プロセッサと命令を有する非一時的メモリとを含む、ビデオデータを処理する装置であって、前記命令は、前記プロセッサにより実行されると前記プロセッサに、
ビデオと前記ビデオのビットストリームとの間のコンバージョンを実行させ、
前記ビットストリームはフォーマットルールに適合し、
前記フォーマットルールは、前記ビットストリームの復号能力情報に含まれる複数のプロファイルティアレベル(PTL)シンタックス構造からのサブレイヤレベル情報の除外を指定し、前記複数のPTLシンタックス構造の各々は、前記ビットストリームのプロファイル、ティア、及びレベルを示す、装置。
【請求項9】
命令を記憶する非一時的コンピュータ読取可能記憶媒体であって、前記命令はプロセッサに、
ビデオと前記ビデオのビットストリームとの間のコンバージョンを実行させ、
前記ビットストリームはフォーマットルールに適合し、
前記フォーマットルールは、前記ビットストリームの復号能力情報に含まれる複数のプロファイルティアレベル(PTL)シンタックス構造からのサブレイヤレベル情報の除外を指定し、前記複数のPTLシンタックス構造の各々は、前記ビットストリームのプロファイル、ティア、及びレベルを示す、非一時的コンピュータ読取可能記憶媒体。
【請求項10】
ビデオのビットストリームを記憶する
ための方法であって、
当該方法は、
前記ビデオの前記ビットストリームを生成するステップ
と、
前記ビットストリームを非一時的コンピュータ読取可能記録媒体に記憶するステップと、
を含み、
前記ビットストリームはフォーマットルールに適合し、
前記フォーマットルールは、前記ビットストリームの復号能力情報に含まれる複数のプロファイルティアレベル(PTL)シンタックス構造からのサブレイヤレベル情報の除外を指定し、前記複数のPTLシンタックス構造の各々は、前記ビットストリームのプロファイル、ティア、及びレベルを示す、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本出願は、2019年12月26日に出願された米国仮特許出願第62/953,862号の優先権及び利益を主張する、2020年12月26日に出願された国際特許出願第PCT/US2020/067078号に基づく。全ての前述の特許出願は、それらの全体をここで参照により組み込まれる。
【0002】
[技術分野]
本文献は、ビデオコーディング手法、システム、及びデバイスに関する。
【背景技術】
【0003】
デジタルビデオは、インターネット及び他のデジタル通信ネットワークにおける最大の帯域幅使用を占めている。ビデオを受信し表示することができる接続ユーザデバイスの数が増加すると、デジタルビデオ使用に対する帯域幅需要は増大し続けることが予想される。
【発明の概要】
【0004】
復号パラメータセット(DPS)のシンタックス及びセマンティクスを指定することを含む、デジタルビデオ符号化に関連するデバイス、システム、及び方法について記載する。記載の方法は、既存のビデオコーディング標準(例えば、高効率ビデオコーディング(HEVC)及び/又は汎用ビデオコーディング(VVC))及び将来のビデオコーディング標準又はビデオコーデックの双方に適用され得る。
【0005】
1つの代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用され得る。この方法は、ビデオとビデオのビットストリームとの間のコンバージョンを実行するステップを含み、ビットストリームはフォーマットルールに適合し、フォーマットルールは、ビットストリームの復号パラメータセットに含まれる複数のプロファイルティアレベル(PTL)シンタックス構造からのサブレイヤレベル情報の除外を指定し、複数のPTLシンタックス構造の各々は、ビットストリームのプロファイル、ティア、及びレベルを示し、復号パラメータセットは復号能力情報を含む。
【0006】
別の代表的な態様において、開示される技術は、ビデオ処理の方法を提供するために使用され得る。この方法は、ビデオとビデオのビットストリームとの間のコンバージョンについて、ビットストリーム内のコーディングビデオシーケンス(CVS)内の各出力レイヤセット(OLS)が、ビットストリーム内の復号パラメータセマンティクスに関連づけられたデータ構造に含まれる少なくとも1つのプロファイルティアレベル(PTL)シンタックス構造に適合すると決定するステップと、決定に基づいて、コンバージョンを実行するステップと、を含み、PTLシンタックス構造は、ビットストリームのプロファイル、ティア、及びレベルを示す。
【0007】
さらに別の代表的な態様において、上述の方法は、プロセッサ実行可能コードの形態で具現化され、コンピュータ読取可能プログラム媒体に記憶される。
【0008】
さらに別の代表的な態様において、上述の方法を実行するように構成され又は動作可能なデバイスが開示される。デバイスは、この方法を実施するようにプログラムされたプロセッサを含むことができる。
【0009】
さらに別の代表的な態様において、ビデオデコーダ装置は、本明細書に記載の方法を実施することができる。
【0010】
開示される技術の上記及び他の態様及び特徴は、図面、明細書、及び特許請求の範囲により詳細に記載される。
【図面の簡単な説明】
【0011】
【
図1】本明細書に開示される様々な手法が実装され得る一例示的なビデオ処理システムを示すブロック図である。
【
図2】ビデオ処理に使用される一例示的なハードウェアプラットフォームのブロック図である。
【
図3】本開示のいくつかの実施形態を実施できる一例示的なビデオコーディングシステムを示すブロック図である。
【
図4】本開示のいくつかの実施形態を実施できるエンコーダの一例を示すブロック図である。
【
図5】本開示のいくつかの実施形態を実施できるデコーダの一例を示すブロック図である。
【
図6】ビデオ処理の例示的な方法のフローチャートを示す。
【
図7】ビデオ処理の例示的な方法のフローチャートを示す。
【発明を実施するための形態】
【0012】
より高解像度のビデオの需要の増加に起因して、ビデオコーディング方法及び手法は、現代の技術において遍在している。ビデオコーデックは、典型的には、デジタルビデオを圧縮又は解凍する電子回路又はソフトウェアを含み、より高いコーディング効率を提供するために絶えず改善されている。ビデオコーデックは、圧縮されていないビデオを圧縮されたフォーマットにコンバートし、あるいは逆もまた同様である。ビデオ品質、ビデオを表現するために使用されるデータ量(ビットレートにより決定される)、符号化及び復号アルゴリズムの複雑さ、データ損失及び誤りに対する感度、編集の容易さ、ランダムアクセス、及びエンドツーエンドの遅延(レイテンシ)の間には、複雑な関係がある。圧縮フォーマットは、通常、標準ビデオ圧縮仕様、例えば、高効率ビデオ符号化(HEVC)標準(H.265又はMPEG-H Part2としても知られている)、完成される汎用ビデオコーディング標準、又は他の現在及び/又は将来のビデオコーディング標準に適合する。
【0013】
開示される技術の実施形態は、ランタイム性能を改善するために、既存のビデオコーディング標準(例えば、HEVC、H.265)及び将来の標準に適用され得る。これは、具体的には、ビデオコーディングにおけるマージモードに関連する。セクション見出しは、本文献において、説明の読みやすさを向上させるために用いられており、いかなる方法によっても、議論又は実施形態(及び/又は実装)をそれぞれのセクションのみに限定するものではない。
【0014】
1.例示的な実施形態の要約
開示される技術の実施形態は、復号パラメータセット(DPS)のシンタックス及びセマンティクスを指定することを対象とする。これは、単一レイヤビデオコーディング及びマルチレイヤビデオコーディングをサポートする任意のビデオコーディング標準又は非標準ビデオコーデック、例えば、開発されている汎用ビデオコーディング(VVC)に適用され得る。これは、ピクチャのスライス及びサブピクチャへのパーティション化をサポートする任意のビデオコーディング標準、例えば、開発されている汎用ビデオコーディング(VVC)、又は任意の他のビデオコーディング標準若しくはビデオコーデックに適用され得る。
【0015】
2. 本文献で用いられる略語の一覧
APS 適応パラメータセット(Adaptation Parameter Set)
AU アクセスユニット(Access Unit)
AUD アクセスユニットデリミタ(Access Unit Delimiter)
AVC 高度ビデオコーディング(Advanced Video Coding)
CLVS コーディングレイヤビデオシーケンス(Coded Layer Video Sequence)
CPB コーディングピクチャバッファ(Coded Picture Buffer)
CRA クリーンランダムアクセス(Clean Random Access)
CTU コーディングツリーユニット(Coding Tree Unit)
CVS コーディングビデオシーケンス(Coded Video Sequence)
DPB 復号ピクチャバッファ(Decoded Picture Buffer)
DPS 復号パラメータセット(Decoding Parameter Set)
EOB ビットストリーム終了(End Of Bitstream)
EOS シーケンス終了(End Of Sequence)
GDR 漸次復号リフレッシュ(Gradual Decoding Refresh)
HEVC 高効率ビデオコーディング(High Efficiency Video Coding)
IDR 即時復号リフレッシュ(Instantaneous Decoding Refresh)
JEM 合同探求モデル(Joint Exploration Model)
MCTS 動き制約付きタイルセット(Motion-Constrained Tile Sets)
NAL ネットワーク抽象化レイヤ(Network Abstraction Layer)
OLS 出力レイヤセット(Output Layer Set)
PH ピクチャヘッダ(Picture Header)
PPS ピクチャパラメータセット(Picture Parameter Set)
PTL プロファイル、ティア、及びレベル(Profile, Tier and Level)
PU ピクチャユニット(Picture Unit)
RBSP 未加工バイトシーケンスペイロード(Raw Byte Sequence Payload)
SEI 補足エンハンスメント情報(Supplemental Enhancement Information)
SPS シーケンスパラメータセット(Sequence Parameter Set)
VCL ビデオコーディングレイヤ(Video Coding Layer)
VPS ビデオパラメータセット(Video Parameter Set)
VTM VVCテストモデル(VVC Test Model)
VUI ビデオユーザビリティ情報(Video Usability Information)
VVC 汎用ビデオコーディング(Versatile Video Coding)
【0016】
3. 最初の議論
ビデオコーディング標準は、主に、周知のITU-T及びISO/IEC標準の開発を通じて発展してきた。ITU-Tは、H.261とH.263を作成し、ISO/IECは、MPEG-1とMPEG-4 Visualを作成し、この2つの組織は、H.262/MPEG-2 Video及びH.264/MPEG-4 Advanced Video Coding(AVC)及びH.265/HEVC標準を合同で作成した。H.262から、ビデオコーディング標準は、時間的予測に変換コーディングを加えたものが利用されるハイブリッドビデオコーディング構造に基づいている。HEVCを越える将来のビデオコーディング技術を探求するため、2015年にVCEGとMPEGにより合同で合同ビデオ探求チーム(Joint Video Exploration Team、JVET)が設立された。それ以来、多くの新しい方法がJVETにより採用され、合同探求モデル(JEM)と命名された参照ソフトウェアに入れられている。JVET会議は、四半期に1回、同時開催されており、新しいコーディング標準は、HEVCと比較して50%のビットレート低減を目指している。新しいビデオコーディング標準は、2018年4月のJVET会議で汎用ビデオコーディング(VVC)として正式に命名され、その当時にVVCテストモデル(VTM)の最初のバージョンがリリースされた。
【0017】
3.1 パラメータセット
AVC、HEVC、及びVVCは、パラメータセットを指定する。パラメータセットのタイプには、SPS、PPS、APS、VPS、及びDPSが含まれる。SPS及びPPSは、AVC、HEVC、及びVVCの全てでサポートされている。VPSは、HEVCから導入されたものであり、HEVCとVVCの双方に含まれている。APS及びDPSは、AVC又はHEVCには含まれていないが、最新のVVC原案文書には含まれている。
【0018】
SPSは、シーケンスレベルヘッダ情報を運ぶように設計され、PPSは、まれに変化するピクチャレベルヘッダ情報を運ぶように設計された。SPSとPPSでは、まれに変化する情報はシーケンス又はピクチャごとに繰り返される必要がなく、したがって、これらの情報の冗長なシグナリングを回避することができる。さらに、SPS及びPPSの使用は、重要なヘッダ情報の帯域外送信を可能にし、ゆえに、冗長送信の必要を回避するだけでなく、誤り復元力も改善する。
【0019】
VPSは、マルチレイヤビットストリーム内の全レイヤに共通するシーケンスレベルのヘッダ情報を運ぶために導入された。
【0020】
APSは、コーディングするのにかなりの量のビットを必要とし、複数のピクチャにより共有することができ、シーケンスにおいてかなり多くの異なるバリエーションが可能である、ピクチャレベル又はスライスレベルの情報を運ぶために導入された。
【0021】
DPSは、ビットストリーム全体を復号するのに必要とされる最も高い能力を示すビットストリームレベルの情報を運ぶために導入された。
【0022】
3.2 プロファイル、ティア、及びレベル
ビデオコーディング標準は、通常、プロファイルとレベルを指定する。いくつかのビデオコーディング標準は、ティア(tiers)をさらに指定し、例えば、HEVC及び開発されているVVCである。
【0023】
プロファイル、ティア、及びレベルは、ビットストリームに対する制限を指定し、したがって、ビットストリームを復号するのに必要とされる能力に対する制限を指定する。プロファイル、ティア、及びレベルは、さらに、個々のデコーダ実装間の相互運用性ポイントを示すために使用されてもよい。
【0024】
各プロファイルは、そのプロファイルに適合する全てのデコーダによりサポートされるべきアルゴリズム機能及び制限のサブセットを指定する。エンコーダは、プロファイルでサポートされる全てのコーディングツール又は機能を使用することを要求されないが、プロファイルに適合するデコーダは、全てのコーディングツール又は機能をサポートすることを要求されることに留意する。
【0025】
ティアの各レベルは、ビットストリームシンタックス要素により取られ得る値に対する制限のセットを指定する。通常、全てのプロファイルで、同じティア及びレベル定義のセットが使用されるが、個々の実装が、サポートされるプロファイルごとに、異なるティアとティア内の異なるレベルとをサポートしてもよい。任意の所与のプロファイルについて、ティアのレベルは、一般に、特定のデコーダ処理負荷及びメモリ能力に対応する。
【0026】
ビデオコーデック仕様に適合するビデオデコーダの能力は、ビデオコーデック仕様に規定されるプロファイル、ティア、及びレベルの制約に適合するビデオストリームを復号する能力の観点で指定されている。指定されたプロファイルに対するデコーダの能力を表現するとき、そのプロファイルのためにサポートされるティア及びレベルも表現されるべきである。
【0027】
3.3 VVCにおける復号パラメータセット(DPS)シンタックス及びセマンティクス
ここで、http://phenix.int-evry.fr/jvet/doc_end_user/documents/16_Geneva/wg11/JVET-P2001-v14.zipで公に利用可能である、JVET-P2001-v14の最新のVVC原案文書において、DPSは以下のように指定されている。
【表1】
【0028】
3.4 VVCにおけるプロファイルティアレベル(PTL)シンタックス及びセマンティクス
JVET-P2001-v14の最新のVVC原案文書において、その1つ以上のインスタンスがDPSに含まれ得るprofile_tier_level()シンタックス構造のシンタックス及びセマンティクスは、以下のように指定されている。
【表2】
【0029】
4. 既存の実装の欠点
VVCにおける既存のDPS設計は、以下の問題を有する。
【0030】
(1) DPSはビットストリーム全体に適用され、ビットストリーム内のコーディングされたピクチャにより参照される全てのSPSは、同じDPSを参照するものである。しかしながら、ビットストリーム内の全てのDPS NALユニットが同じコンテンツを有するものとすることを要求する制約がない。
【0031】
(2) ビットストリーム全体が同じDPSを参照するため、SPSにより参照されるDPS IDは、実際には役に立たない。
【0032】
(3) 最新のVVC原案文書では、DPSは任意のAU内に存在することができる。しかしながら、DPSをビットストリームの先頭に、又はランダムアクセスポイントとして使用できる任意のAU内に、例えば、IRAPピクチャ及びGDRピクチャを含むAU内に有することは有用であるが、ランダムアクセス可能なピクチャ又はスライスを含まないAUにおけるDPS NALユニットの存在は、役に立たない。ランダムアクセス可能なスライスは、IRAP NALユニットタイプのうちの1つを有するか、又はGDR NALユニットタイプを有するスライスである。
【0033】
(4) DPSが、ビットストリーム全体を復号するのに必要とされる最も高い能力を示すため、DPSに含まれるprofile_tier_level()シンタックス構造がサブレイヤレベル情報を含む必要はなく、この情報は、sublayer_level_idc[i]シンタックス要素のインスタンスにより運ばれている。
【0034】
(5) profile_tier_level()シンタックス構造がDPSに含まれるとき、OlsInScope(すなわち、DPSが適用されるOLSに対する)は、DPSを参照するビットストリーム全体における全ての層を含むOLSであるように指定される。しかしながら、ビットストリーム全体における全ての層を含むOLSが存在しない可能性がある。
【0035】
5. 開示される技術の例示的な実施形態
以下の詳細な実施形態は、一般的な概念を説明するための例として考慮されるべきである。これらの実施形態は、狭義に解釈されるべきではない。さらに、これらの実施形態は、任意の方法で組み合わせることができる。
1) 第1の問題を解決するために、ビットストリーム内の特定の値のdps_decoding_parameter_set_idを有する全てのDPS NALユニットが同じコンテンツを有するものとすることが要求される。
a. 代替的に、ビットストリーム内の全てのDPS NALユニットが同じ値のdps_decoding_parameter_set_idを有するものとすることがさらに要求される。
b. 代替的に、ビットストリーム内の全てのDPS NALユニットが同じ値のdps_decoding_parameter_set_idを有するものとすることが要求される(さらに要求されるわけではない)。
c. 代替的に、ビットストリーム内の全てのDPS NALユニットが同じコンテンツを有するものとすることが要求される。
2) 第2の問題を解決するために、DPS ID(すなわち、dps_decoding_parameter_set_idシンタックス要素)がDPSシンタックスから除去され、結果的に、SPSシンタックスにおけるDPS IDの参照(sps_decoding_parameter_set_id)がSPSシンタックスから除去される。実際上、DPSは次いで、パラメータセットでなく、独立したNALユニットになる。したがって、DPSの名前を変更して、「復号パラメータNALユニット(decoding parameters NAL unit)」とすることができる。そして、ビットストリーム内の全ての復号パラメータNALユニットが同じコンテンツを有するものとすることが要求される。
a. 代替的に、DPS情報は、例えば「復号パラメータSEIメッセージ(decoding parameters SEI message)」と命名された新しいSEIメッセージにおいてシグナリングされ、SEI NALユニットが復号パラメータSEIメッセージを含むとき、それは他のSEIメッセージを含んではならないことが要求される。そして、ビットストリーム内の全ての復号パラメータSEIメッセージが同じコンテンツを有するものとすることが要求される。
3) 第3の問題を解決するために、以下の制約が指定される。
ビットストリーム内に存在するとき、DPS NALユニットは、ビットストリームの最初の(first)AU内に存在するものとし、始めと終わりを含む(inclusive)IDR_W_RADL~GDR_NUTの範囲内のnal_unit_typeを有する少なくとも1つのコーディングスライスNALユニット(そのようなNALユニットはIRAP又はGDR VCL NALユニットである)を有する任意のAU内に存在してもよく、他のAUに存在してはならない。
代替的に、上記における「始めと終わりを含むIDR_W_RADL~GDR_NUTの範囲内のnal_unit_typeを有する少なくとも1つのコーディングスライスNALユニット(そのようなNALユニットはIRAP又はGDR VCL NALユニットである)を有する任意のAU内」を、「少なくとも1つのIRAP又はGDRピクチャを有する任意のAU内」で置き換える。
代替的に、上記2つの選択肢のいずれかで、上記における「始めと終わりを含むIDR_W_RADL~GDR_NUT」を、「始めと終わりを含むIDR_W_RADL~RSV_IRAP_12」で置き換え、すなわち、予約された(reserved)IRAP NALユニットタイプをさらに含める。
代替的に、上記の「DPS NALユニット」を「復号パラメータNALユニット」で置き換えることにより、同じ制約(上記選択肢のいずれか)が復号パラメータNALユニットに対して指定される。
代替的に、上記の「DPS NALユニット」を「復号パラメータSEIメッセージを含むSEI NALユニット」で置き換えることにより、同じ制約(上記選択肢のいずれか)が、復号パラメータSEIメッセージを含むSEI NALユニットに対して指定される。
4) 第4の問題を解決するために、DPSに含まれる各profile_tier_level()シンタックス構造は、確実に、サブレイヤレベル情報を含まないようにされる。
a. この目的は、少しでもシグナリングされるサブレイヤレベル情報があるかどうかを制御するためにPTLシンタックス構造に対して1つのさらなる入力引数を追加することにより、実現することができる。この引数は、DPSに対して0であり(すなわち、サブレイヤレベル情報がない)、VPS及びSPSに対して1である。
b. 代替的に、この目的は、DPS(又は、復号パラメータNALユニット、又は復号パラメータSEIメッセージを含むSEI NALユニット)内の各PTLシンタックス構造における各iについて、sublayer_level_present_flag[i]が0に等しいように要求することにより、実現される。
5) 第5の問題を解決するために、以下の制約が指定される。
ビットストリーム内のCVS内の各OLSは、(DPSセマンティクスの一部としての)DPS内のPTLシンタックス構造の少なくとも1つに適合するものとする。
したがって、OlsInScopeに関してPTLシンタックス構造のセマンティクスに変更がなされる:「profile_tier_level()シンタックス構造がDPSに含まれるとき、OlsInScopeは、ビットストリーム内の1つ以上の識別されていない(unidentified)CVS内の1つ以上の識別されていないOLSである」。
DPSは、全てのOLSに対して最適なPTL情報を含む必要はないことに留意する。例えば、レベル3、4、及び5のOLSがあるとき、OLSの他のPTL情報が同じであると仮定すると、DPS内に、レベル5を示す1つのPTLシンタックス構造のみを含めば十分に良く、なぜならば、特定のレベルに適合するOLSがより高いレベルにも適合すると言うことは正しいためである。
同じ制約は、DPSを復号パラメータNALユニット又は復号パラメータSEIメッセージで置き換える選択肢にも適用される。
【0036】
6.さらなる例示的な実施形態
以下は、VVC仕様に適用可能ないくつかの例示的な実施形態である。変更された文書は、JVET-P2001-v14の最新のVVC文書に基づく。新たに追加された、修正された、及び最も関連する部分は、二重下線を引かれている。本質的に編集上のものであり、よって別様に呼び出し又はマーク付けされていない、いくつかの他の変更がある。
6.1 第1の実施形態
6.1.1 DPSシンタックス及びセマンティクス
【表3】
6.1.2 PTLシンタックス及びセマンティクス
【表4】
【0037】
7. 開示される技術の例示的な実装
図1は、本明細書に開示される様々な手法が実装され得る一例示的なビデオ処理システム1000を示すブロック図である。様々な実装が、システム1000のコンポーネントの一部又は全部を含んでもよい。システム1000は、ビデオコンテンツを受信する入力1002を含み得る。ビデオコンテンツは、未加工又は非圧縮のフォーマット、例えば、8又は10ビットのマルチ成分画素値で受け取ることができ、あるいは圧縮又は符号化されたフォーマットでもよい。入力1002は、ネットワークインターフェース、周辺バスインターフェース、又はストレージインターフェースを表すことができる。ネットワークインターフェースの例には、イーサネット、受動光ネットワーク(passive optical network、PON)などの有線インターフェース、及びWi-Fi又はセルラーインターフェースなどの無線インターフェースが含まれる。
【0038】
システム1000は、本文献に記載される様々なコーディング又は符号化方法を実施することができるコーディングコンポーネント(coding component)1004を含み得る。コーディングコンポーネント1004は、入力1002からコーディングコンポーネント1004の出力へのビデオの平均ビットレートを低減して、ビデオのコーディングされた表現を生成することができる。したがって、このコーディング手法は、ビデオ圧縮又はビデオトランスコーディング手法と時に呼ばれる。コーディングコンポーネント1004の出力は、コンポーネント1006により表されるように、記憶されるか、又は接続された通信を介して送信されてもよい。入力1002で受信したビデオの、記憶され又は通信されたビットストリーム(又は、コーディングされた)表現は、画素値、又はディスプレイインターフェース1010に送られる表示可能なビデオを生成するために、コンポーネント1008により使用することができる。ビットストリームからユーザが見ることができるビデオを生成するプロセスは、ビデオ解凍と時に呼ばれる。さらに、特定のビデオ処理動作は「コーディング」動作又はツールと呼ばれるが、コーディングツール又は動作はエンコーダで使用され、コーディングの結果を逆にする対応する復号ツール又は動作はデコーダにより実行されることが理解されるであろう。
【0039】
周辺バスインターフェース又はディスプレイインターフェースの例には、ユニバーサルシリアルバス(USB)又は高精細マルチメディアインターフェース(high definition multimedia interface、HDMI(登録商標))又はDisplayportなどを含んでもよい。ストレージインターフェースの例には、SATA(シリアルアドバンストテクノロジーアタッチメント(serial advanced technology attachment))、PCI、IDEインターフェースなどが含まれる。本文献に記載される手法は、携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び/又はビデオ表示を実行することができる他のデバイスなどの様々な電子デバイスにおいて具現化することができる。
できる。
【0040】
図2は、ビデオ処理装置2000のブロック図である。装置2000は、本明細書に記載される方法の1つ以上を実施するために使用することができる。装置2000は、スマートフォン、タブレット、コンピュータ、モノのインターネット(Internet of Things、IoT)の受信機などにおいて具現化されてもよい。装置2000は、1つ以上のプロセッサ2002、1つ以上のメモリ2004、及びビデオ処理ハードウェア2006を含むことができる。プロセッサ2002は、本文献に(例えば、
図6~
図7に)記載される1つ以上の方法を実施するように構成され得る。メモリ(複数のメモリ)2004は、本明細書に記載される方法及び手法を実施するために使用されるデータ及びコードを記憶するために使用され得る。ビデオ処理ハードウェア2006は、本文献に記載されるいくつかの手法をハードウェア回路に実装するために使用され得る。
【0041】
図3は、本開示の手法を利用し得る一例示的なビデオコーディングシステム100を示すブロック図である。
図3に示すように、ビデオコーディングシステム100は、ソースデバイス110及び宛先デバイス120を含み得る。ソースデバイス110は、符号化されたビデオデータを生成し、これは、ビデオ符号化デバイスとして参照され得る。宛先デバイス120は、ソースデバイス110により生成された符号化ビデオデータを復号することができ、これは、ビデオ復号デバイスとして参照され得る。ソースデバイス110は、ビデオソース112、ビデオエンコーダ114、及び入力/出力(I/O)インターフェース116を含むことができる。
【0042】
ビデオソース112は、ビデオ捕捉デバイス、ビデオコンテンツプロバイダからビデオデータを受信するインターフェース、及び/又はビデオデータを生成するためのコンピュータグラフィックスシステムなどのソース、又はそのようなソースの組み合わせを含んでもよい。ビデオデータは、1つ以上のピクチャを含んでもよい。ビデオエンコーダ114は、ビデオソース112からのビデオデータを符号化してビットストリームを生成する。ビットストリームは、ビデオデータのコーディングされた表現を形成するビットシーケンスを含んでもよい。ビットストリームは、コーディングピクチャ及び関連データを含んでもよい。コーディングピクチャは、ピクチャのコーディングされた表現である。関連データは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含んでもよい。I/Oインターフェース116は、変調器/復調器(モデム)及び/又は送信器を含んでもよい。符号化されたビデオデータは、I/Oインターフェース116を介してネットワーク130aを通じて宛先デバイス120に直接送信され得る。符号化されたビデオデータは、さらに、宛先デバイス120によるアクセスのために記憶媒体/サーバ130b上に記憶されてもよい。
【0043】
宛先デバイス120は、I/Oインターフェース126、ビデオデコーダ124、及びディスプレイデバイス122を含んでもよい。
【0044】
I/Oインターフェース126は、受信器及び/又はモデムを含んでもよい。I/Oインターフェース126は、ソースデバイス110又は記憶媒体/サーバ130bから符号化ビデオデータを取得することができる。ビデオデコーダ124は、符号化ビデオデータを復号することができる。ディスプレイデバイス122は、復号されたビデオデータをユーザに表示することができる。ディスプレイデバイス122は、宛先デバイス120と統合されてもよく、あるいは外部ディスプレイデバイスとインターフェースするように構成された宛先デバイス120の外部にあってもよい。
【0045】
ビデオエンコーダ114及びビデオデコーダ124は、高効率ビデオコーディング(HEVC)標準、汎用ビデオコーディング(VVM)標準、及び他の現在及び/又はさらなる標準などのビデオ圧縮標準に従って動作することができる。
【0046】
図4は、ビデオエンコーダ200の一例を示すブロック図であり、これは、
図3に示すシステム100内のビデオエンコーダ114でもよい。
【0047】
ビデオエンコーダ200は、本開示の手法のいずれか又は全てを実行するように構成され得る。
図4の例において、ビデオエンコーダ200は、複数の機能コンポーネントを含む。本開示に記載される手法は、ビデオエンコーダ200の様々なコンポーネント間で分担されてもよい。いくつかの例において、プロセッサは、本開示に記載される手法のいずれか又は全てを実行するように構成されてもよい。
【0048】
ビデオエンコーダ200の機能コンポーネントは、パーティション化ユニット201と、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205、及びイントラ予測ユニット206を含み得るプレディケーションユニット(predication unit)202と、残差生成ユニット207と、変換ユニット208と、量子化ユニット209と、逆量子化ユニット210と、逆変換ユニット211と、再構成ユニット212と、バッファ213と、エントロピー符号化ユニット214とを含んでもよい。
【0049】
他の例において、ビデオエンコーダ200は、より多くの、より少ない、又は異なる機能コンポーネントを含んでもよい。一例において、プレディケーションユニット202は、イントラブロックコピー(IBC)ユニットを含んでもよい。IBCユニットは、プレディケーションをIBCモードで実行することができ、これにおいて、少なくとも1つの参照ピクチャは、カレント(current)ビデオブロックが位置するピクチャである。
【0050】
さらに、動き推定ユニット204及び動き補償ユニット205などのいくつかのコンポーネントが高度に統合されてもよいが、
図4の例では説明の目的で別個に示されている。
【0051】
パーティション化ユニット201は、ピクチャを1つ以上のビデオブロックにパーティション化することができる。ビデオエンコーダ200及びビデオデコーダ300は、様々なビデオブロックサイズをサポートすることができる。
【0052】
モード選択ユニット203は、例えば誤差結果に基づいて、コーディングモードのうちの1つ、イントラ又はインターを選択し、結果として生じるイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成する残差生成ユニット207に、及び、参照ピクチャとしての使用のための符号化ブロックを再構成する再構成ユニット212に提供することができる。いくつかの例において、モード選択ユニット203は、イントラ及びインタープレディケーションの組み合わせ(combination of intra and inter predication、CIIP)モードを選択することができ、これにおいて、プレディケーションは、インタープレディケーション信号及びイントラプレディケーション信号に基づく。モード選択ユニット203は、さらに、インタープレディケーションの場合に、ブロックに対する動きベクトルの解像度(例えば、サブピクセル又は整数ピクセル精度)を選択してもよい。
【0053】
カレントビデオブロックに対してインター予測を実行するために、動き推定ユニット204は、バッファ213からの1つ以上の参照フレームをカレントビデオブロックと比較することにより、カレントビデオブロックの動き情報を生成することができる。動き補償ユニット205は、動き情報と、バッファ213からの、カレントビデオブロックに関連づけられたピクチャ以外のピクチャの復号されたサンプルとに基づいて、カレントビデオブロックの予測ビデオブロックを決定することができる。
【0054】
動き推定ユニット204と動き補償ユニット205は、例えば、カレントビデオブロックがIスライス内にあるか、Pスライス内にあるか、又はBスライス内にあるかに依存して、カレントビデオブロックに対して異なる動作を実行することができる。
【0055】
いくつかの例において、動き推定ユニット204は、カレントビデオブロックに対して一方向の予測を実行することができ、動き推定ユニット204は、カレントビデオブロックに対する参照ビデオブロックについて、リスト0又はリスト1の参照ピクチャを検索することができる。次いで、動き推定ユニット204は、参照ビデオブロックを含むリスト0又はリスト1内の参照ピクチャを示す参照インデックスと、カレントビデオブロックと参照ビデオブロックとの間の空間的変位を示す動きベクトルとを生成することができる。動き推定ユニット204は、カレントビデオブロックの動き情報として、参照インデックス、予測方向インジケータ、及び動きベクトルを出力することができる。動き補償ユニット205は、カレントビデオブロックの動き情報により示される参照ビデオブロックに基づいて、カレントブロックの予測ビデオブロックを生成することができる。
【0056】
他の例において、動き推定ユニット204は、カレントビデオブロックに対して双方向の予測を実行することができ、動き推定ユニット204は、カレントビデオブロックに対する参照ビデオブロックについて、リスト0内の参照ピクチャを検索することができ、カレントビデオブロックに対する別の参照ビデオブロックについて、リスト1内の参照ピクチャを検索することもできる。次いで、動き推定ユニット204は、参照ビデオブロックを含むリスト0及びリスト1内の参照ピクチャを示す参照インデックスと、参照ビデオブロックとカレントビデオブロックとの間の空間的変位を示すと動きベクトルとを生成することができる。動き推定ユニット204は、カレントビデオブロックの動き情報として、カレントビデオブロックの参照インデックス及び動きベクトルを出力することができる。動き補償ユニット205は、カレントビデオブロックの動き情報により示される参照ビデオブロックに基づいて、カレントビデオブロックの予測ビデオブロックを生成することができる。
【0057】
いくつかの例において、動き推定ユニット204は、デコーダの復号処理のための動き情報のフルセットを出力することができる。
【0058】
いくつかの例において、動き推定ユニット204は、カレントビデオに対する動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット204は、別のビデオブロックの動き情報を参照して、カレントビデオブロックの動き情報をシグナリングしてもよい。例えば、動き推定ユニット204は、カレントビデオブロックの動き情報が近隣のビデオブロックの動き情報と十分に類似していると決定することができる。
【0059】
一例において、動き推定ユニット204は、カレントビデオブロックに関連づけられたシンタックス構造において、カレントビデオブロックが別のビデオブロックと同じ動き情報を有することをビデオデコーダ300に示す値を示すことができる。
【0060】
別の例において、動き推定ユニット204は、カレントビデオブロックに関連づけられたシンタックス構造において、別のビデオブロック及び動きベクトル差分(motion vector difference、MVD)を識別することができる。動きベクトル差分は、カレントビデオブロックの動きベクトルと、示されたビデオブロックの動きベクトルとの間の差を示す。ビデオデコーダ300は、示されたビデオブロックの動きベクトルと動きベクトル差分とを使用して、カレントビデオブロックの動きベクトルを決定することができる。
【0061】
上記で論じたように、ビデオエンコーダ200は、動きベクトルを予測的にシグナリングすることができる。ビデオエンコーダ200により実施され得る予測シグナリング手法の2つの例には、高度動きベクトルプレディケーション(advanced motion vector predication、AMVP)とマージモードシグナリングが含まれる。
【0062】
イントラ予測ユニット206は、カレントビデオブロックに対してイントラ予測を実行することができる。イントラ予測ユニット206がカレントビデオブロックに対してイントラ予測を実行するとき、イントラ予測ユニット206は、同じピクチャ内の他のビデオブロックの復号されたサンプルに基づいて、カレントビデオブロックに対する予測データを生成することができる。カレントビデオブロックに対する予測データは、予測されたビデオブロックと様々なシンタックス要素を含むことができる。
【0063】
残差生成ユニット207は、カレントビデオブロックからカレントビデオブロックの予測ビデオブロックを減算することにより(例えば、マイナス記号により示される)、カレントビデオブロックに対する残差データを生成することができる。カレントビデオブロックの残差データは、カレントビデオブロック内のサンプルの異なるサンプル成分に対応する残差ビデオブロックを含むことができる。
【0064】
他の例において、例えばスキップモードでは、カレントビデオブロックのためのカレントビデオブロックに対する残差データが存在しない場合があり、残差生成ユニット207は、減算動作を実行しない場合がある。
【0065】
変換処理ユニット208は、カレントビデオブロックに関連づけられた残差ビデオブロックに1つ以上の変換を適用することにより、カレントビデオブロックに対する1つ以上の変換係数ビデオブロックを生成することができる。
【0066】
変換処理ユニット208が、カレントビデオブロックに関連づけられた変換係数ビデオブロックを生成した後、量子化ユニット209は、カレントビデオブロックに関連づけられた1つ以上の量子化パラメータ(QP)値に基づいて、カレントビデオブロックに関連づけられた変換係数ビデオブロックを量子化することができる。
【0067】
逆量子化ユニット210及び逆変換ユニット211は、変換係数ビデオブロックから残差ビデオブロックを再構成するために、変換係数ビデオブロックに逆量子化及び逆変換をそれぞれ適用することができる。再構成ユニット212は、再構成された残差ビデオブロックを、プレディケーションユニット202により生成された1つ以上の予測ビデオブロックからの対応するサンプルに加算して、バッファ213における記憶のために、カレントブロックに関連づけられた再構成ビデオブロックを作成することができる。
【0068】
再構成ユニット212がビデオブロックを再構成した後、ループフィルタリング動作を実行して、ビデオブロック内のビデオブロッキングアーチファクトを低減してもよい。
【0069】
エントロピー符号化ユニット214は、ビデオエンコーダ200の他の機能コンポーネントからデータを受信することができる。エントロピー符号化ユニット214がデータを受け取ると、エントロピー符号化ユニット214は、1つ以上のエントロピー符号化動作を実行してエントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力することができる。
【0070】
図5は、ビデオデコーダ300の一例を示すブロック図であり、これは、
図3に示すシステム100内のビデオデコーダ114でもよい。
【0071】
ビデオデコーダ300は、本開示の手法のいずれか又は全てを実行するように構成され得る。
図5の例において、ビデオデコーダ300は、複数の機能コンポーネントを含む。本開示に記載される手法は、ビデオデコーダ300の様々なコンポーネント間で分担されてもよい。いくつかの例において、プロセッサは、本開示に記載される手法のいずれか又は全てを実行するように構成されてもよい。
【0072】
図5の例において、ビデオデコーダ300は、エントロピー復号ユニット301、動き補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、再構成ユニット306、及びバッファ307を含む。ビデオデコーダ300は、いくつかの例において、ビデオエンコーダ200(
図4)に関して説明した符号化パスと一般に逆の復号パスを実行することができる。
【0073】
エントロピー復号ユニット301は、符号化されたビットストリームを取り出すことができる。この符号化ビットストリームは、エントロピーコーディングビデオデータ(例えば、ビデオデータの符号化されたブロック)を含むことができる。エントロピー復号ユニット301は、エントロピーコーディングビデオデータを復号することができ、エントロピー復号ビデオデータから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を決定することができる。動き補償ユニット302は、例えば、AMVP及びマージモードを実行することにより、そのような情報を決定することができる。
【0074】
動き補償ユニット302は、可能性として補間フィルタに基づいて補間を実行し、動き補償ブロックを作成することができる。サブピクセル精度で使用されるべき補間フィルタの識別子が、シンタックス要素に含まれてもよい。
【0075】
動き補償ユニット302は、ビデオブロックの符号化の間にビデオエンコーダ20により使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間値を計算することができる。動き補償ユニット302は、受け取ったシンタックス情報に従ってビデオエンコーダ200により使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを作成することができる。
【0076】
動き補償ユニット302は、シンタックス情報の一部を使用して、符号化されたビデオシーケンスのフレーム及び/又はスライスを符号化するために使用されたブロックのサイズ、符号化されたビデオシーケンスのピクチャの各マクロブロックがどのようにパーティション化されるかを記述するパーティション情報、各パーティションがどのように符号化されているかを示すモード、各インター符号化ブロックに対する1つ以上の参照フレーム(及び、参照フレームリスト)、及び符号化されたビデオシーケンスを復号するための他の情報を決定することができる。
【0077】
イントラ予測ユニット303は、例えばビットストリームにおいて受け取ったイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成することができる。逆量子化ユニット303は、ビットストリームにおいて提供され、エントロピー復号ユニット301により復号された量子化ビデオブロック係数を逆量子化し、すなわち量子化解除する(de-quantizes)。逆変換ユニット303は、逆変換を適用する。
【0078】
再構成ユニット306は、残差ブロックを、動き補償ユニット202又はイントラ予測ユニット303により生成された対応する予測ブロックと合計して、復号されたブロックを形成することができる。所望であれば、デブロッキングフィルタをさらに適用して復号ブロックをフィルタリングして、ブロック性アーチファクト(blockiness artifact)を除去してもよい。次いで、復号されたビデオブロックはバッファ307に記憶され、バッファ307は、後続の動き補償/イントラプレディケーションのための参照ブロックを提供し、ディスプレイデバイスにおける提示のための復号されたビデオを作成する。
【0079】
図6~
図7は、例えば、
図1~
図5に示す実施形態において上述した技術的解決策を実施することができる例示的な方法を示す。
【0080】
図6は、ビデオ処理の一例示的な方法600のフローチャートを示す。方法600は、動作610において、ビデオとビデオのビットストリームとの間のコンバージョンを実行することを含み、ビットストリームは、ビットストリームの復号パラメータセットに含まれる複数のプロファイルティアレベル(PTL)シンタックス構造からのサブレイヤレベル情報の除外を指定するフォーマットルールに適合する。
【0081】
図7は、ビデオ処理の一例示的な方法700のフローチャートを示す。方法700は、動作710において、ビデオとビデオのビットストリームとの間のコンバージョンについて、ビットストリーム内のコーディングビデオシーケンス(CVS)内の各出力レイヤセット(OLS)が、ビットストリーム内の復号パラメータセマンティクスに関連づけられたデータ構造に含まれる少なくとも1つのプロファイルティアレベル(PTL)シンタックス構造に適合すると決定することを含む。
【0082】
方法700は、動作720において、決定に基づいて、コンバージョンを実行することを含む。
【0083】
次に、いくつかの実施形態で好適な解決策のリストを提供する。
【0084】
1.ビデオ処理の方法であって、
ビデオと前記ビデオのビットストリームとの間のコンバージョンを実行するステップ、
を含み、
前記ビットストリームはフォーマットルールに適合し、
前記フォーマットルールは、前記ビットストリームの復号パラメータセットに含まれる複数のプロファイルティアレベル(profile-tier-level、PTL)シンタックス構造からのサブレイヤレベル情報の除外を指定し、前記複数のPTLシンタックス構造の各々は、前記ビットストリームのプロファイル、ティア、及びレベルを示し、前記復号パラメータセットは復号能力情報を含む、方法。
【0085】
2.前記PTLシンタックス構造は、前記サブレイヤレベル情報の包含を制御する単一ビットの入力引数を含む、解決策1に記載の方法。
【0086】
3.前記単一ビットは、前記復号パラメータセットに対してゼロである、解決策2に記載の方法。
【0087】
4.前記単一ビットは、前記ビットストリームのビデオパラメータセット(VPS)又はシーケンスパラメータセット(SPS)に対して1である、解決策2に記載の方法。
【0088】
5.前記PTLシンタックス構造は、前記サブレイヤレベル情報の包含を示すフラグを含む、解決策1に記載の方法。
【0089】
6.前記フラグは、sublayer_level_present_flagである、解決策5に記載の方法。
【0090】
7.前記フラグは、前記DPS、復号パラメータネットワーク抽象化レイヤ(NAL)ユニット、又は復号パラメータ補足エンハンスメント情報(SEI)メッセージを含むSEI NALユニット内の前記PTLシンタックス構造に対してゼロである、解決策5又は6に記載の方法。
【0091】
8.ビデオ処理の方法であって、
ビデオと前記ビデオのビットストリームとの間のコンバージョンについて、前記ビットストリーム内のコーディングビデオシーケンス(CVS)内の各出力レイヤセット(OLS)が、前記ビットストリーム内の復号パラメータセマンティクスに関連づけられたデータ構造に含まれる少なくとも1つのプロファイルティアレベル(PTL)シンタックス構造に適合すると決定するステップと、
前記決定に基づいて、前記コンバージョンを実行するステップと、
を含み、
前記PTLシンタックス構造は、前記ビットストリームのプロファイル、ティア、及びレベルを示す、方法。
【0092】
9.前記データ構造は、復号パラメータセット、復号パラメータネットワーク抽象化レイヤ(NAL)ユニット、又は復号パラメータ補足エンハンスメント情報(SEI)メッセージを含むSEI NALユニットであり、前記復号パラメータセットは復号能力情報を含む、解決策8に記載の方法。
【0093】
10.前記コンバージョンは、前記ビットストリームから前記ビデオを復号することを含む、解決策1乃至9のうちいずれか1項に記載の方法。
【0094】
11.前記コンバージョンは、前記ビデオを前記ビットストリームに符号化することを含む、解決策1乃至9のうちいずれか1項に記載の方法。
【0095】
12.コンピュータ読取可能記録媒体にビデオを表すビットストリームを記憶する方法であって、
解決策1乃至9のうちいずれか1つ以上に記載の方法に従って前記ビデオから前記ビットストリームを生成するステップと、
前記ビットストリームを前記コンピュータ読取可能記録媒体に書き込むステップと、
を含む方法。
【0096】
13.解決策1乃至12のうちいずれか1つ以上に記載の方法を実施するように構成されたプロセッサを含むビデオ処理装置。
【0097】
14.命令を記憶させたコンピュータ読取可能媒体であって、前記命令は、実行されると、プロセッサに解決策1乃至12のうちいずれか1つ以上に記載の方法を実施させる、コンピュータ読取可能媒体。
【0098】
15.解決策1乃至12のうちいずれか1つ以上に従って生成されたビットストリームを記憶するコンピュータ読取可能媒体。
【0099】
16.ビットストリームを記憶するビデオ処理装置であって、解決策1乃至12のうちいずれか1つ以上に記載の方法を実施するように構成される、ビデオ処理装置。
【0100】
次に、いくつかの実施形態で好適な解決策の別のリストを提供する。
【0101】
P1.ビデオ処理の方法であって、ビデオのカレントビデオセグメントと前記ビデオのビットストリーム表現との間のコンバージョンについて、第1の値を有するシンタックス要素を含む複数の復号パラメータセット(DPS)ネットワーク抽象化レイヤ(NAL)ユニットの各々が共通のコンテンツを有すると決定するステップと、前記決定に基づいて、前記コンバージョンを実行するステップと、を含む方法。
【0102】
P2.ビデオ処理の方法であって、ビデオのカレントビデオセグメントと前記ビデオのビットストリーム表現との間のコンバージョンについて、複数の復号パラメータセット(DPS)ネットワーク抽象化レイヤ(NAL)ユニットの各々に対するシンタックス要素が共通の値を含むと決定するステップと、前記決定に基づいて、前記コンバージョンを実行するステップと、を含む方法。
【0103】
P3.前記ビットストリーム表現内のシンタックス要素は、dps_decoding_parameter_set_idである、解決策P1又はP2に記載の方法。
【0104】
P4.ビデオ処理の方法であって、ビデオのカレントビデオセグメントと前記ビデオのビットストリーム表現との間のコンバージョンについて、複数の復号パラメータセット(DPS)ネットワーク抽象化レイヤ(NAL)ユニットの各々が共通のコンテンツを含むと決定するステップと、前記決定に基づいて、前記コンバージョンを実行するステップと、を含む方法。
【0105】
P5.前記復号パラメータセット(DPS)は前記ビットストリーム表現の全体に適用される、解決策P1乃至P4のうちいずれか1つに記載の方法。
【0106】
P6.ビデオ処理の方法であって、ビデオのカレントビデオセグメントと前記ビデオのビットストリーム表現との間のコンバージョンについて、前記ビットストリーム表現における復号パラメータセット(DPS)から第1のシンタックス要素を除外し、結果的に、前記ビットストリーム表現におけるシーケンスパラメータセット(SPS)から第2のシンタックス要素を除外することに関して、判断を行うステップと、前記判断に基づいて、前記コンバージョンを実行するステップと、を含む方法。
【0107】
P7.前記第1のシンタックス要素及び前記第2のシンタックス要素は、それぞれ、dps_decoding_parameter_set_id及びsps_decoding_parameter_set_idである、解決策P6の方法。
【0108】
P8.前記DPSは、復号パラメータネットワーク抽象化レイヤ(NAL)ユニットとして参照される、解決策P6又はP7に記載の方法。
【0109】
P9.前記ビットストリーム表現における各復号パラメータNALユニットは、共通のコンテンツを含む、解決策P8に記載の方法。
【0110】
P10.ビデオ処理の方法であって、ビデオのカレントビデオセグメントと前記ビデオのビットストリーム表現との間のコンバージョンについて、復号パラメータに関連づけられた情報を含む補足エンハンスメント情報(SEI)メッセージを含むように前記ビットストリーム表現を構成するステップと、前記SEIメッセージを含むSEIネットワーク抽象化レイヤ(NAL)ユニットが他のSEIメッセージを除外すると決定するステップと、前記SEI NALユニットを用いて、前記コンバージョンを実行するステップと、を含む方法。
【0111】
P11.前記復号パラメータに関連づけられた情報を含む複数のSEIメッセージの各々が、共通のコンテンツを含む、解決策P10に記載の方法。
【0112】
P12.ビデオ処理の方法であって、復号パラメータセット(DPS)ネットワーク抽象化レイヤ(NAL)ユニットを含むビデオのビットストリーム表現について、前記DPS NALユニットが前記ビットストリーム表現の第1のアクセスユニット(AU)内にあると決定するステップであり、前記第1のAUは前記ビットストリーム表現の始めに位置する、ステップと、前記決定に基づいて、前記ビデオのカレントビデオセグメントと前記ビットストリーム表現との間のコンバージョンを実行するステップと、を含む方法。
【0113】
P13.前記DPS NALユニットは、所定の範囲内のnal_unit_typeを有する少なくとも1つのコーディングスライスNALを含む第2のAU内にある、解決策P12に記載の方法。
【0114】
P14.前記所定の範囲は、IDR_W_RADL~GDR_NUTである、解決策P13に記載の方法。
【0115】
P15.前記所定の範囲は、IDR_W_RADL~RSV_IRAP_12である、解決策P13に記載の方法。
【0116】
P16.ビデオ処理の方法であって、ビデオのカレントビデオセグメントと前記ビデオのビットストリーム表現との間のコンバージョンについて、前記ビットストリーム表現における復号パラメータセット(DPS)に含まれるプロファイルティアレイヤ(PTL)シンタックス構造がサブレイヤレベル情報を除外すると決定するステップと、前記決定に基づいて、前記コンバージョンを実行するステップと、を含む方法。
【0117】
P17.前記決定は、前記PTLシンタックス構造内の単一ビットの入力引数に基づく、解決策P16に記載の方法。
【0118】
P18.前記単一ビットは、前記DPSに対して0である、解決策P17に記載の方法。
【0119】
P19.前記単一ビットは、前記ビットストリーム表現におけるビデオパラメータセット(VPS)及びシーケンスパラメータセット(SPS)に対して1である、解決策P17に記載の方法。
【0120】
P20.ビデオ処理の方法であって、ビデオのカレントビデオセグメントと前記ビデオのビットストリーム表現との間のコンバージョンについて、前記ビットストリーム表現におけるコーディングビデオシーケンス(CVS)内の各出力レイヤセット(OLS)が、前記ビットストリーム表現における復号パラメータセット(DPS)に含まれる少なくとも1つのプロファイルティアレイヤ(PTL)シンタックス構造に適合すると決定するステップと、前記決定に基づいて、前記コンバージョンを実行するステップと、を含む方法。
【0121】
P21.前記コンバージョンは、前記ビットストリーム表現から前記カレントビデオセグメントを生成する、解決策P1乃至P20のうちいずれか1つに記載の方法。
【0122】
P22.前記コンバージョンは、前記カレントビデオセグメントから前記ビットストリーム表現を生成する、解決策P1乃至P20のうちいずれか1つに記載の方法。
【0123】
P23.前記カレントビデオセグメントは、カレントスライス、カレントブロック、カレントタイル、又はカレントサブピクチャである、解決策P1乃至P22のうちいずれか1つに記載の方法。
【0124】
P24.解決策P1乃至P23のうちいずれか1つ以上に記載の方法を実施するように構成されたプロセッサを含むビデオ処理装置。
【0125】
P25.コードを含むプログラムが記録されたコンピュータ読取可能記録媒体であって、前記プログラムは、プロセッサが解決策P1乃至P23のうちいずれか1つに記載の方法を実行するためのものである、コンピュータ読取可能記録媒体。
【0126】
P26.非一時的コンピュータ読取可能媒体に記憶されたコンピュータプログラム製品であって、解決策P1乃至P23のうちいずれか1つにおける方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0127】
本文献において、用語「ビデオ処理」は、ビデオ符号化、ビデオ復号、ビデオ圧縮、又はビデオ解凍を指すことがある。例えば、ビデオ圧縮アルゴリズムは、ビデオの画素表現から対応するビットストリームへのコンバージョンの間に適用されることがあり、あるいは逆もまた同様である。カレントビデオブロックのビットストリームは、例えば、シンタックスにより定義されるように、ビットストリーム内の異なる場所にコロケートされ(co-located)又は拡散されたビットに対応し得る。例えば、マクロブロックは、変換及びコーディングされた誤差残差値の観点から、及び、ビットストリーム内のヘッダ及び他のフィールド内のビットをさらに使用して、符号化されてもよい。
【0128】
本文献に記載される開示された及び他の解決策、例、実施形態、モジュール、及び機能動作は、デジタル電子回路で、あるいは本文献に開示された構造及びそれらの構造的同等物を含むコンピュータソフトウェア、ファームウェア、又はハードウェアで、あるいはそれらのうち1つ以上の組み合わせで実施することができる。開示された及び他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のため、又はデータ処理装置の動作を制御するための、コンピュータ読取可能媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実施することができる。コンピュータ読取可能媒体は、マシン読取可能記憶装置、マシン読取可能記憶基板、メモリ装置、マシン読取可能伝搬信号に影響を与える物質の組成、又は1つ以上のこれらの組み合わせとすることができる。用語「データ処理装置」は、例としてプログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するための全ての装置、デバイス、及びマシンを包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ以上の組み合わせを構成するコードを含むことができる。伝搬信号は、適切な受信機装置への送信のために情報を符号化するように生成される人工的に生成された信号、例えば、マシンにより生成された電気的、光学的、又は電磁的な信号である。
【0129】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイル型又は解釈型言語を含む任意の形式のプログラミング言語で書くことができ、それは、スタンドアロンプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、又は他のユニットとしてを含む、任意の形態でデプロイすることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するものではない。プログラムは、他のプログラム又はデータを保持するファイルの一部分(例えば、マークアップ言語文書に記憶された1つ以上のスクリプト)に、問題のプログラム専用の単一ファイルに、又は複数の調整されたファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの部分を記憶するファイル)に記憶することができる。コンピュータプログラムは、1つのコンピュータ上で、又は、1つのサイトに配置され若しくは複数のサイトにわたり分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるようにデプロイすることができる。
【0130】
本文献に記載されるプロセス及び論理フローは、入力データに対して動作し出力を生成することにより機能を実行するために1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサにより実行することができる。プロセス及び論理フローは、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)により実行することもでき、装置もまた、これらとして実施することができる。
【0131】
コンピュータプログラムの実行に適したプロセッサには、例として、汎用及び専用双方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサが含まれる。一般に、プロセッサは、読取専用メモリ又はランダムアクセスメモリ又は双方から命令及びデータを受け取る。コンピュータの必須要素は、命令を実行するプロセッサと、命令及びデータを記憶する1つ以上のメモリデバイスである。一般に、コンピュータはまた、データを記憶する1つ以上の大容量記憶デバイス、例えば、磁気、磁気光ディスク、又は光ディスクを含み、あるいはこれらからデータを受け取り、又はこれらにデータを転送し、又は双方を行うために動作上結合される。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ読取可能媒体には、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、及びフラッシュメモリデバイス;磁気ディスク、例えば、内部ハードディスク又はリムーバブルディスク;磁気光ディスク;並びにCD ROM及びDVD-ROMディスクを含む、全ての形態の不揮発性メモリ、媒体、及びメモリデバイスが含まれる。プロセッサ及びメモリは、専用論理回路により補足し、又は専用論理回路に組み込むことができる。
【0132】
本特許文献は多くの詳細を含むが、これらは、いずれかの対象事項又は請求され得るものの範囲に対する限定とみなされるべきではなく、むしろ、特定の手法の特定の実施形態に特有であり得る特徴の説明とみなされるべきである。別個の実施形態の文脈において本特許文献に記載されている特定の特徴は、単一の実施形態で組み合わせて実施することもできる。逆に、単一の実施形態の文脈において記載されている様々な特徴は、複数の実施形態において別個に、又は任意の適切なサブコンビネーションで実施することもできる。さらに、特徴は、特定の組み合わせにおいて作用するものとして上述され、そのようなものとして最初に請求されることさえあるが、請求された組み合わせからの1つ以上の特徴を、いくつかの場合、組み合わせから切り出すことができ、請求される組み合わせは、サブコンビネーション、又はサブコンビネーションのバリエーションに向けられ得る。
【0133】
同様に、動作は図面において特定の順序で示されているが、これは、所望の結果を達成するために、そのような動作が図示される特定の順序で又は順番に実行されること、又は全ての例示された動作が実行されることを要求するものとして理解されるべきではない。さらに、本特許文献に記載されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。
【0134】
少数の実装及び例のみが記載されており、本特許文献に記載及び例示されているものに基づいて他の実装、拡張、及びバリエーションがなされ得る。