(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-01
(54)【発明の名称】VVC映像コーディングにおけるロールサンプルグループ
(51)【国際特許分類】
H04N 19/70 20140101AFI20231025BHJP
【FI】
H04N19/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023524966
(86)(22)【出願日】2021-10-26
(85)【翻訳文提出日】2023-06-21
(86)【国際出願番号】 CN2021126299
(87)【国際公開番号】W WO2022089397
(87)【国際公開日】2022-05-05
(31)【優先権主張番号】PCT/CN2020/123540
(32)【優先日】2020-10-26
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】ワン イェクイ
(72)【発明者】
【氏名】ジャン リー
(72)【発明者】
【氏名】イン ハイビン
(72)【発明者】
【氏名】リ リンユ
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159RC12
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
映像データを処理する仕組みが開示されている。ビジュアルメディアデータとビジュアルメディアデータファイルとの間で変換が行われる。ビジュアルメディアデータファイルは、レイヤのピクチャと、レイヤへのアクセスポイントを規定するランダムアクセスリカバリポイント(ロール)サンプルグループと、グルーピングタイプパラメータとを含む。グルーピングタイプパラメータは、アクセスポイントとレイヤの関連レイヤとの対応を規定する。グルーピングタイプパラメータは、アクセスポイントが、1つ以上の段階的復号リフレッシュ(GDR)ピクチャ、およびイントラランダムアクセスポイント(IRAP)サブピクチャと非IRAPサブピクチャとの両方を有する1つ以上の混合ネットワーク抽象化レイヤ(NAL)ユニットピクチャを含むことを規定するレイヤ識別子方式識別コードパラメータを含む。
【選択図】
図6
【特許請求の範囲】
【請求項1】
レイヤのピクチャ、前記レイヤへのアクセスポイントを規定するランダムアクセスリカバリポイント(ロール)サンプルグループおよびグルーピングタイプパラメータを含むビジュアルメディアデータとビジュアルメディアデータファイルとの間の変換を行い、前記グルーピングタイプパラメータは、前記アクセスポイントと前記レイヤの関連レイヤとの間の対応を規定し、前記アクセスポイントが、
1つ以上の段階的復号化リフレッシュ(GDR)ピクチャと、
イントラランダムアクセスポイント(IRAP)サブピクチャと非IRAPサブピクチャとの両方を有する1つ以上の混合ネットワーク抽象化レイヤ(NAL)ユニットピクチャと、
を1つ以上含むことを規定するレイヤ識別子方式識別コードパラメータを含む、
映像データ処理方法。
【請求項2】
前記変換は、
ビジュアルメディアファイル内の前記レイヤにピクチャを符号化することと、
アクセスポイントを規定するロールサンプルグループを前記レイヤに決定することと、
前記グルーピングタイプパラメータをメディアファイルに符号化することと、
前記ビジュアルメディアファイルを記憶することと、を含む、
請求項1に記載の方法。
【請求項3】
前記変換は、
前記レイヤにコーディングされたピクチャを含むビジュアルメディアファイルを受信することと、
メディアファイルからロールサンプルグループを取得することと、前記ロールサンプルグループは、前記レイヤへの前記アクセスポイントを規定し、
前記メディアファイルから前記グルーピングタイプパラメータを取得することと、
前記グルーピングタイプパラメータに基づき前記メディアファイルを復号化することと、を含む、
請求項1に記載の方法。
【請求項4】
前記グルーピングタイプパラメータは、各ビットが前記関連レイヤの1つを規定する複数のビットを含むターゲットレイヤパラメータを含む、
請求項1から請求項3のいずれか1項に記載の方法。
【請求項5】
前記レイヤ識別子方式識別コードパラメータは、前記アクセスポイントが前記関連レイヤのみに適用されることを規定する、
請求項1から請求項4のいずれか1項に記載の方法。
【請求項6】
前記レイヤ識別子方式識別コードパラメータは、前記アクセスポイントがすべての前記レイヤに適用されることを規定する、
請求項1から請求項5のいずれか1項に記載の方法。
【請求項7】
前記グルーピングタイプパラメータはgroup_type_parameterと表され、ターゲットレイヤパラメータはtarget_layersと表され、前記レイヤ識別子方式識別コードパラメータはlayer_idmethod_idcと表される、
請求項1から請求項6のいずれか1項に記載の方法。
【請求項8】
前記関連レイヤのすべてのアクセスポイントがGDRピクチャであり、前記アクセスポイントがすべての前記レイヤに適用されることを規定する場合、layer_id_method_idcがゼロに設定される、
請求項1から請求項7のいずれか1項に記載の方法。
【請求項9】
前記関連レイヤのすべてのアクセスポイントがGDRピクチャであり、前記アクセスポイントが前記関連レイヤのみに適用されることを規定する場合に、layer_id_method_idcが1に設定される、
請求項1から請求項8のいずれか1項に記載の方法。
【請求項10】
前記関連レイヤにおける前記アクセスポイントがGDRピクチャ、混合NALユニットピクチャまたはそれらの組み合わせであり、前記アクセスポイントがすべての前記レイヤに適用されることを規定する場合に、layer_id_method_idcが2に設定される、
請求項1から請求項9のいずれか1項に記載の方法。
【請求項11】
前記関連レイヤにおける前記アクセスポイントがGDRピクチャ、混合NALユニットピクチャまたはそれらの組み合わせであり、前記アクセスポイントが前記関連レイヤにのみ適用されることを規定する場合に、layer_id_method_idcは3に設定される、
請求項1から請求項10のいずれか1項に記載の方法。
【請求項12】
プロセッサと、その上に命令を有する非一時的メモリと、を備える映像データ処理装置であって、前記プロセッサによる実行時に、前記命令は、前記プロセッサに、
レイヤのピクチャ、前記レイヤへのアクセスポイントを規定するランダムアクセスリカバリポイント(ロール)サンプルグループおよびグルーピングタイプパラメータを含むビジュアルメディアデータとビジュアルメディアデータファイルとの間の変換を行わせ、前記グルーピングタイプパラメータは、前記アクセスポイントと前記レイヤの関連レイヤとの間の対応を規定し、前記アクセスポイントが、
1つ以上の段階的復号化リフレッシュ(GDR)ピクチャと、
イントラランダムアクセスポイント(IRAP)サブピクチャと非IRAPサブピクチャとの両方を有する1つ以上の混合ネットワーク抽象化レイヤ(NAL)ユニットピクチャと、
を1つ以上含むことを規定するレイヤ識別子方式識別コードパラメータを含む、
映像データ処理装置。
【請求項13】
前記変換は、
ビジュアルメディアファイル内の前記レイヤにピクチャを符号化することと、
アクセスポイントを規定するロールサンプルグループを前記レイヤに決定することと、
前記グルーピングタイプパラメータをメディアファイルに符号化することと、
前記ビジュアルメディアファイルを記憶することと、を含む、
請求項12に記載の装置。
【請求項14】
前記変換は、
前記レイヤにコーディングされたピクチャを含むビジュアルメディアファイルを受信することと、
メディアファイルからロールサンプルグループを取得することと、前記ロールサンプルグループは、前記レイヤへの前記アクセスポイントを規定し、
前記メディアファイルから前記グルーピングタイプパラメータを取得することと、
前記グルーピングタイプパラメータに基づき前記メディアファイルを復号化することと、を含む、
請求項12に記載の装置。
【請求項15】
前記グルーピングタイプパラメータは、各ビットが前記関連レイヤの1つを規定する複数のビットを含むターゲットレイヤパラメータを含む、
請求項12から請求項14のいずれか1項に記載の装置。
【請求項16】
前記レイヤ識別子方式識別コードパラメータは、前記アクセスポイントが前記関連レイヤのみに適用されることを規定する、
請求項12から請求項15のいずれか1項に記載の装置。
【請求項17】
前記レイヤ識別子方式識別コードパラメータは、前記アクセスポイントがすべての前記レイヤに適用されることを規定する、
請求項12から請求項16のいずれか1項に記載の装置。
【請求項18】
前記グルーピングタイプパラメータはgroup_type_parameterと表され、ターゲットレイヤパラメータはtarget_layersと表され、前記レイヤ識別子方式識別コードパラメータはlayer_idmethod_idcと表される、
請求項12から請求項17のいずれか1項に記載の装置。
【請求項19】
前記関連レイヤのすべてのアクセスポイントがGDRピクチャであり、前記アクセスポイントがすべての前記レイヤに適用されることを規定する場合、layer_id_method_idcがゼロに設定される、
請求項12から請求項18のいずれか1項に記載の装置。
【請求項20】
関連するレイヤのすべてのアクセスポイントがGDRピクチャであり、アクセスポイントが関連するレイヤのみに適用されることを規定する場合に、layer_id_method_idcは1に設定される、
請求項12から請求項19のいずれか1項に記載の装置。
【請求項21】
前記関連レイヤにおける前記アクセスポイントがGDRピクチャ、混合NALユニットピクチャまたはそれらの組み合わせであり、前記アクセスポイントがすべての前記レイヤに適用されることを規定する場合に、layer_id_method_idcが2に設定される、
請求項12から請求項20のいずれか1項に記載の装置。
【請求項22】
前記関連レイヤにおける前記アクセスポイントがGDRピクチャ、混合NALユニットピクチャまたはそれらの組み合わせであり、前記アクセスポイントが前記関連レイヤにのみ適用されることを規定する場合に、layer_id_method_idcは3に設定される、
請求項12から請求項21のいずれか1項に記載の装置。
【請求項23】
ビデオコーディングデバイスによって使用するためのコンピュータプログラム製品を含む非一時的のコンピュータ可読媒体であって、前記コンピュータプログラム製品は、プロセッサによって実行されると、前記ビデオコーディングデバイスに請求項1から請求項11のいずれか1項に記載の方法を実行させるように、非一時的なコンピュータ可読媒体に格納されたコンピュータ実行命令を含む、
非一時的のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本特許出願は、Ye-Kui Wangらによって2020年10月26日に出願された国際出願番号PCT/CN2020/123540の利益を主張し、タイトルは「Signalling of Decoder Configuration Information and the ‘Roll’ Sample Group in VVC Video Files」であり、これは、参照によりここに組み込まれるものとする。
【0002】
本特許明細書は、ファイルフォーマットによるデジタルオーディオ映像媒体情報の生成、記憶域および消費に関するものである。
【背景技術】
【0003】
デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
【発明の概要】
【0004】
第1の態様は、レイヤ内のピクチャ、レイヤへのアクセスポイントを指定するランダムアクセスリカバリポイント(ロール)サンプルグループおよびグルーピングタイプパラメータを含むビジュアルメディアデータとビジュアルメディアデータファイルとの間の変換を行い、グルーピングタイプパラメータは、アクセスポイントとレイヤの関連レイヤとの間の対応を指定し、アクセスポイントが1つ以上の段階的復号化リフレッシュ(GDR)ピクチャおよびイントラランダムアクセスポイント(IRAP)サブピクチャと非IRAPサブピクチャの両方を有する1つ以上の混合ネットワーク抽象レイヤ(NAL)ユニットピクチャの1つ以上を含むことを指定するレイヤ識別子方式識別コードパラメータを含む、映像データ処理方法に関する。
【0005】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、変換が、ピクチャをビジュアルメディアファイルのレイヤに符号化することと、アクセスポイントをレイヤに指定するロールサンプルグループを決定することと、グルーピングタイプパラメータをメディアファイルに符号化することと、ビジュアルメディアファイルを格納することと、を含むことを規定する。
【0006】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、変換が、レイヤにコーディングされたピクチャを含むビジュアルメディアファイルを受け取り、メディアファイルからロールサンプルグループを取得し、ロールサンプルグループはレイヤへのアクセスポイントを規定し、メディアファイルからグルーピングタイプパラメータを取得し、グルーピングタイプパラメータに基づいてメディアファイルを復号化することを含むことを規定する。
【0007】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、グルーピングタイプパラメータは各ビットが関連するレイヤ1つを規定する複数のビットを含むターゲットレイヤパラメータを含むことを規定する。
【0008】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤ識別子方式識別コードパラメータは、アクセスポイントが該当するレイヤにのみ適用されることを規定する。
【0009】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤ識別子方式識別コードパラメータは、アクセスポイントがすべてのレイヤに適用されることを規定する。
【0010】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、グルーピングタイプパラメータは、group_type_parameterと表され、ターゲットレイヤパラメータはtarget_layersと表され、レイヤ識別子方式識別コードパラメータはlayer_id_method_idcと表されることを規定する。
【0011】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤのアクセスポイントが全てGDRピクチャであり、アクセスポイントが全てのレイヤに適用されることを規定する場合、layer_id_method_idcは0が設定されることを規定する。
【0012】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤのアクセスポイントが全てGDRピクチャであり、レイヤのみに適用されることを規定する場合に、layer_id_method_idcに1が設定されることを規定する。
【0013】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤのアクセスポイントが GDRピクチャ、混合されたNALユニットピクチャまたはそれらの組み合わせであり、アクセスポイントが全レイヤに適用されることを規定する場合、layer_id_method_idcには2が設定されることを規定する。
【0014】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤのアクセスポイントが GDRピクチャ、NALユニットピクチャまたはそれらの組み合わせであり、アクセスポイントがレイヤにのみ適用されることを規定される場合に、layer_id_method_idcには3が設定されることを規定する。
【0015】
第2の態様は、プロセッサと、命令を備えた非一時的メモリとを備える映像データ処理装置に関し、プロセッサによる命令の実行時に、命令は、プロセッサに、レイヤへのアクセスポイントを指定するランダムアクセスリカバリポイント(ロール)サンプルグループおよびグルーピングタイプパラメータを含むビジュアルメディアデータとビジュアルメディアデータファイルとの間の変換を行わせ、グルーピングタイプパラメータは、アクセスポイントとレイヤの関連レイヤとの間の対応を指定し、アクセスポイントが1つ以上の段階的復号化リフレッシュ(GDR)ピクチャおよびイントラランダムアクセスポイント(IRAP)サブピクチャと非IRAPサブピクチャの両方を有する1つ以上の混合ネットワーク抽象レイヤ(NAL)ユニットピクチャの1つ以上を含むことを指定するレイヤ識別子方式識別コードパラメータを含む。
【0016】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、変換が、レイヤにコーディングされたピクチャを含むビジュアルメディアファイルを受け取り、メディアファイルからロールサンプルグループを取得し、ロールサンプルグループはレイヤへのアクセスポイントを規定し、メディアファイルからグルーピングタイプパラメータを取得し、グルーピングタイプパラメータに基づいてメディアファイルを復号化することを含むことを規定する。
【0017】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、変換が、レイヤにコーディングされたピクチャを含むビジュアルメディアファイルを受け取り、メディアファイルからロールサンプルグループを取得し、ロールサンプルグループはレイヤへのアクセスポイントを規定し、メディアファイルからグルーピングタイプパラメータを取得し、グルーピングタイプパラメータに基づいてメディアファイルを復号化することを含むことを規定する。
【0018】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、グルーピングタイプパラメータは各ビットが関連するレイヤ1つを規定する複数のビットを含むターゲットレイヤパラメータを含むことを規定する。
【0019】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤ識別子方式識別コードパラメータは、アクセスポイントが該当するレイヤにのみ適用されることを規定する。
【0020】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤ識別子方式識別コードパラメータは、アクセスポイントがすべてのレイヤに適用されることを規定する。
【0021】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、グルーピングタイプパラメータは、group_type_parameterと表され、ターゲットレイヤパラメータはtarget_layersと表され、レイヤ識別子方式識別コードパラメータはlayer_id_method_idcと表されることを規定する。
【0022】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤのアクセスポイントが全てGDRピクチャであり、アクセスポイントが全てのレイヤに適用されることを規定する場合、layer_id_method_idcは0が設定されることを規定する。
【0023】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤのアクセスポイントが全てGDRピクチャであり、レイヤのみに適用されることを規定する場合に、layer_id_method_idcに1が設定されることを規定する。
【0024】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤのアクセスポイントが GDRピクチャ、混合されたNALユニットピクチャまたはそれらの組み合わせであり、アクセスポイントが全レイヤに適用されることを規定する場合、layer_id_method_idcには2が設定されることを規定する。
【0025】
任意選択的に、前述の態様のいずれかにおいて、別の実施態様は、レイヤのアクセスポイントが GDRピクチャ、NALユニットピクチャまたはそれらの組み合わせであり、アクセスポイントがレイヤにのみ適用されることを規定される場合に、layer_id_method_idcには3が設定されることを規定する。
【0026】
第3の態様は、ビデオコーディングデバイスによって使用するためのコンピュータプログラム製品を含む非一過性のコンピュータ可読媒体に関し、コンピュータプログラム製品は、プロセッサによって実行されるとビデオコーディングデバイスに先のいずれかのアスペクトの方法を実行させるように、非一過性のコンピュータ可読媒体上に格納されたコンピュータ実行可能命令を含む。
【0027】
明確にするために、前述の実施形態のいずれか1項を、他の前述の実施形態のいずれか1項以上と組み合わせて、本開示の範囲内で新たな実施形態を作成することができる。
【0028】
これらおよび他の特徴は、添付の図面および特許請求の範囲と併せて以下の詳細な説明からより明確に理解されるであろう。
【0029】
本開示を完全に理解するために、添付の図面および詳細な説明と併せて、以下の簡単な説明を参照し、ここで、同様の参照数字は同様の部分を表すものとする。
【図面の簡単な説明】
【0030】
【
図1】
図1は、映像データのVersatile Video Coding(VVC)ビットストリームを含むメディアファイルの一例の概略図である。
【
図2】
図2は、ロールサンプルグループを符号化する方法の一例を示すフローチャートである。
【
図3】
図3は、ロールサンプルグループの復号化方法の一例を示すフローチャートである。
【
図4】
図4は、映像処理システムの一例を示すブロック図である。
【
図5】
図5は、映像処理装置の一例を示すブロック図である。
【
図6】
図6は、映像処理方法の例示的な方法を示すフローチャートである。
【
図7】
図7は、例示的な映像コーディングシステムを説明するブロック図である。
【
図8】
図8は、エンコーダの一例を示すブロック図である。
【
図9】
図9は、デコーダの一例を示すブロック図である。
【発明を実施するための形態】
【0031】
1つ以上の実施形態の例示的な実装が以下に提供されるが、開示されたシステムおよび/または方法は、現在知られているか、または今後開発されるかに関わらず、任意の数の技術を使用して実装され得ることが、最初に理解されたい。本開示は、決して、本明細書で説明される例示的な実装形態、図面、および技術に限定されるべきではなく、添付の特許請求の範囲の範囲内で、それらの均等物の全範囲とともに修正することが可能性がある。
【0032】
VVC(H.266としても知られている)の用語は、理解を容易にするために一部の説明で用いられており、開示された技術の範囲を制限するためのものではない。このように、本明細書で説明する技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。本明細書では、VVC仕様または国際標準化機構(ISO)ベースメディアファイルフォーマット(ISOBMFF)ファイルフォーマットの現在の草案に関して、編集変更が、取り消したテキストを示す取り消し線と加えたテキストを示す斜体とによって示されている。
【0033】
上述した態様の実装形態例について、以下に説明する。
【0034】
本明細書は、映像ファイルフォーマットに関するものである。具体的には、この文書は、ISOベースメディアファイルフォーマット(ISOBMFF)に基づくVersatile Video Coding(VVC)ビデオビットストリームを運ぶメディアファイルにおけるデコーダ構成情報および「ロール」サンプルグループのシグナリングに関連するものである。本アイデアは、任意のコーデック、例えばVVC規格、および任意のビデオファイルフォーマット、例えば開発中のVVCビデオファイルフォーマットによってコーディングされたビデオビットストリームに対して、個別にまたは様々な組み合わせで適用することができる。
【0035】
適応型色変換(ACT)、適応ループフィルタ(ALF)、適応型動きベクトル解像度(AMVR)、適応パラメータセット(APS)、アクセスユニット(AU)、アクセスユニット区切り文字(AUD)、高度映像コーディング(Rec.ITU-T H.264|ISO/IEC 14496-10)(AVC)、双予測(B)、CUレベル重み(BCW)を使用した双予測、双方向オプティカルフロー(BDOF)、ブロックベースのデルタパルスコード変調(BDPCM)、バッファリング期間(BP)、双向オプティカルコーディング(CABAC)、コーディングブロック(CB)、コンスタントビットレート(CBR)、クロスコンポーネント適応ループフィルタ(CCALF)、コーディングされたレイヤビデオストリーム(CLVS)、コーディングされたピクチャバッファ(CPB)、クリーンランダムアクセス(CRA)、巡回冗長検査(CRC)、コーディングツリーブロック(CTB)、コーディングツリーユニット(CTU)、コーディングユニット(CU)、コーディングされた映像シーケンス(CVS)、復号化ピクチャバッファ(DPB)、復号化能力情報(DCI)、依存ランダムアクセスポイント(DRAP)、デコーディングユニット(DU)、デコーディングユニット情報(DUI)、指数-ゴロン(EG)、k次指数ゴロン(EGk)、エンドオブビットストリーム(EOB).エンドオブシーケンス(EOS)、フィラーデータ(FD)、先入れ先出し(FIFO)、固定長(FL)、緑・青・赤(GBR)、一般制約情報(GCI)、漸進復号化リフレッシュ(GDR)、ジオメトリパーティショニングモード(GPM)、Rec.ITU-T H.265|ISO/IEC 23008-2とも呼ばれる高効率ビデオコーディング(HEVC)、仮想参照デコーダ(HRD)、仮想ストリームスケジューラ(HSS)、イントラ(I)、イントラブロックコピー(IBC)、瞬時復号更新(IDR)、インターレイヤ参照ピクチャ(ILRP)、イントラランダムアクセスポイント(IRAP)、低周波復号変換(LFNST)、最も可能性の低いシンボル(LPS)、最少ビット(LSB)、長期参照画像(LTRP)、彩度スケーリング付き輝度マッピング(LMCS)、行列ベースのイントラ予測(MIP)、最大確率記号(MPS)、最上位ビット(MSB)、多重変換選択(MTS)、動きベクトル予測(MVP)、ネットワーク抽象化レイヤ(NAL)、出力レイヤセット(OLS)、オぺーレーションポイント(OP)、オペレーションポイント情報(OPI)、予測(P)、ピクチャヘッダ(PH)、画像順序カウント(POC)、ピクチャパラメータセット(PPS)、オプティカルフローによる予測精密化(PROF)、ピクチャタイミング(PT)、ピクチャユニット(PU)、量子化パラメータ(QP)、ランダムアクセス復号可能リーディングピクチャ(RADL)、ランダムアクセススキップ型リーディングピクチャ(RASL)、生バイトシーケンス ペイロード(RBSP)、赤緑青(RGB)、基準ピクチャリスト(RPL)、サンプルアダプトオフセット(SAO)、サンプルアスセスレシオ(SAR)、補足エンハンスメント情報(SEI)、スライスヘッダ(SH)、サブピクチャレベル情報(SLI)、データビット列(SODB)、シーケンスパラメータセット(SPS)、短期参照画像(STRP)、ステップワイズタイムサブレヤーアクセス(STSA)、切り捨てライス(TR)、可変ビットレート(VBR)、ビデオコーディングレイヤ(VCL)、ビデオパラメータセット(VPS)、Rec. ITU-T H.274|ISO/IEC 23002-7とも呼ばれる多用途の補足拡張情報(VSEI)、映像ユーザビリティ情報(VUI)、Rec.ITU-T H.266|ISO/IEC 23090-3ともよばれる汎用ビデオコーディング(VVC)、波面並列処理(WPP)。
【0036】
映像コーディング規格は、主にITU-TとISO/IECの規格開発を通じて発展してきた。ITU-TはH.261とH.263を、ISO/IECはMPEG-1とMPEG-4 Visualを、そして両者は共同でH.262/MPEG-2 VideoとH.264/MPEG-4 Advanced Video Coding(AVC)とH.265/HEVCを規定している。H.262以降、映像コーディング規格は、時間的予測と変換コーディングとを利用したハイブリッド映像コーディング構造に基づく。HEVCのさらに先の映像コーディング技術を探索するために、Video Coding Experts Group(VCEG)とMPEGが共同で設立したJoint Video Exploration Team(JVET)がある。JVETでは多くの方法が採用され、共同探索モデル(JEM)というリファレンスソフトウェアにまとめられた。その後、汎用映像コーディング(VVC)プロジェクトが正式に開始されると、JVETはJoint Video Experts Team(JVET)に改名された。VVCは、HEVCと比較して50%のビットレート削減を目標としたコーディング規格である。VVCはJVETによって最終的な決定がなされた。
【0037】
汎用映像コーディング(VVC)規格(ITU-T H.266|ISO/IEC 23090-3)および関連付けられた汎用補足強化情報(VSEI)規格(ITU-T H.274|ISO/IEC 23002-7)は、テレビ放送、ビデオ会議またはストレージメディアからの再生といった用途から、適応ビットレートストリーミング、ビデオ領域の抽出、合成、複数のコーディングされたビデオビットストリームからのコンテンツの結合、マルチビュービデオ、スケーラブルレイヤコーディング、ビューポート適応型360°没入型メディアといった高度な用途まで、幅広いアプリケーションでの使用を目的として設計されてきた。
【0038】
メディアストリーミングアプリケーションは、一般に、インターネットプロトコル(IP)、伝送制御プロトコル(TCP)、およびハイパーテキスト転送プロトコル(HTTP)の伝送方法に基づき、一般に、ISOベースメディアファイルフォーマット(ISOBMFF)のようなファイルフォーマットに依存する。このようなストリーミングシステムの1つに、DASH(dynamic adaptive streaming over HTTP)がある。映像フォーマットをISOBMFFおよびDASHで用いる場合、AVCファイルフォーマットやHEVCファイルフォーマットのような映像フォーマットに特定のファイルフォーマット仕様が、ISOBMFFトラックおよびDASH表現およびセグメントにおける映像コンテンツのカプセル化のために使用されるであろう。ビデオビットストリームに関する情報、例えば、プロファイル、ティア、およびレベル、ならびに他の多くの情報は、コンテンツ選択の目的のために、例えば、ストリーミングセッションの始まりにおける初期化とストリーミングセッション中のストリーム適応のための適切なメディアセグメントの選択のために、ファイルフォーマットレベルメタデータおよび/またはDASHメディアプレゼンテーション記述(MPD)として公開されることになるであろう。
【0039】
同様に、画像フォーマットをISOBMFFで使用する場合は、AVC画像ファイルフォーマットやHEVC画像ファイルフォーマットなど、画像フォーマットに固有のファイルフォーマットの仕様が採用されることになる。ISOBMFFに基づくVVC映像コンテンツの記憶域のファイルフォーマットであるVVCビデオファイルフォーマットは、MPEGが開発中である。ISOBMFFに基づき、VVCを使用してコーディングされた画像コンテンツを記憶域とするファイルフォーマットであるVVC画像ファイルフォーマットは、MPEGにより開発中である。
【0040】
以下に、VVC画像ファイルフォーマットとMPEGに基づくいくつかのVVCファイルフォーマットの機能の設計を示す。この従属節は、ISO/IEC23090-3映像コンテンツのためのデコーダ構成情報を規定する。このレコードは、サンプルエントリに格納されている場合、パラメータセット、DCI、OPI、SEI NALユニットだけでなく、その含むNALユニットの長さを示すために各サンプルで使用される長さフィールドのサイズを含む。このレコードは、外部フレームである(そのサイズは、それを含む構造によって供給される)。このレコードは、バージョンフィールドを含む。本明細書のこのバージョンは、このレコードのバージョン1を定義している。このレコードに対する互換性のない変化は、バージョン数の変化によって示される。バージョン数が認識できない場合、読取装置は、このレコードまたはこのレコードが適用されるストリームを復号化することを試みてはならない。このレコードの互換性のある拡張は、このレコードを拡張し、構成バージョンコードを変更しない。読取装置は、理解できるデータの定義を超えて、認識できないデータを無視できるように準備する必要がある。
【0041】
VVC Profile Tier Level Record(VvcPTLRecord)は、トラックがVVCビットストリームをネイティブに含む場合、または「subp」トラック参照を解決する場合に、デコーダ構成レコードに存在する必要があり、この場合、VVCビットストリームに設定された特定の出力レイヤは、フィールドoutput_layer_set_idxによって示される。トラックのデコーダ構成レコードにおいてptl_present_flagが0に等しい場合、トラックは、VVCトラックまたは「opeg」エンティティグループのいずれかを参照することができるIDの「oref」トラック参照を持たなければならない。VvcPTLRecordの構文要素である彩度フォーマット特定コード(chroma_format_idc)、およびマイナス8フォーマットのビット深度(bit_depth_minus8)の値は、このレコードによって記述されるストリームが復号化される際に参照されるすべてのパラメータセット(本段落の以下の文において「すべてのパラメータセット」と称する)に対して有効でなければならない。具体的には、以下の制限が適用される場合がある。
【0042】
プロファイル指示一般プロファイル特定コード(general_profile_idc)は、この構成レコードの出力レイヤセットインデックス(output_layer_set_idx)によって示された出力レイヤセットが準拠するプロファイルを示すものとする。この構成レコードのoutput_layer_set_idxで識別される出力レイヤセットの異なるCVSに対して異なるプロファイルがマークされる場合、ストリーム全体がどのプロファイルに準拠するかを決定するために、ストリームを検査する必要があるかもしれない。ストリーム全体が検査されないか、または検査によってストリーム全体が準拠するプロファイルが存在しないことが明らかになった場合、ストリーム全体は、これらの規則を満たすことができる別個の構成レコードを持つ2つ以上のサブストリームに分割されることが期待される。階層指示general_tier_flagは、この構成レコードのoutput_layer_set_idxによって識別される出力レイヤセットが準拠する、すべてのprofile_tier_level()構文構造(すべてのパラメータセット内)で示される最上位の階層以上に相当する階層を示すものとする。
【0043】
general_constraint_infoの各ビットは、この構成レコードのoutput_layer_set_idxで識別される出力レイヤセットが準拠するすべてのprofile_tier_level()構文構造(すべてのパラメータセット)のすべてのgeneral_constraints_info()構文構造にビットが設定される場合にのみ、設定され得る。レベル指示general_level_idcは、この構成レコードのoutput_layer_set_idxによって示される出力レイヤセットが準拠するすべてのprofile_tier_level()構文構造(すべてのパラメータセット内)の最上位レベル以上に相当する能力レベルを示すものとする。
【0044】
彩度フォーマット識別コード(chroma_format_idc)には、以下の制約が適用される。設定記録が適用されるVVC ストリームがシングルレイヤビットストリームの場合、ISO/IEC23090-3で定義されるsps_chroma_format_idcの値は、現在のサンプルエントリ記述が適用されるサンプルのVCL NALユニットが参照する全てのSPSで同一であり、croma_format_idcの値は、そのsps_chroma_format_idcの値に等しくなければならない。そうでない場合(構成レコードが適用されるVVCストリームがマルチレイヤビットストリーム)、vps_ols_dpb_chroma_format[MultiLayerOlsIdx[output_layer_set_idx]の値は、]は、現在のサンプルエントリ記述が適用される全てのCVSについて同じでなければならず、chroma_format_idcの値はvps_ols_dpb_chroma_format[MultiLayerOlsIdx[output_layer_set_idx]]の値と等しいものでなければならない。
【0045】
bit_depth_minus8には、以下の制約が適用される。構成レコードが適用されるVVCストリームが単一層ビットストリームである場合、sps_bitdepth_minus8の値は、現在のサンプルエントリ記述が適用されるサンプルのVCL NALユニットが参照するすべてのSPSにおいて同じでなければならず、sps_bitdepth_minus8の値は、そのsps_bitdepth_minus8の値に対して等しくなければならない。そうでない場合(構成レコードが適用されるVVCストリームがマルチレイヤビットストリームである)、vps_ols_dpb_bitdepth_minus8[MultiLayerOlsIdx[output_layer_set_idx]の値、]は、現在のサンプルエントリ記述が適用されるすべてのCVSについて同じでなければならず、bit_depth_minus8の値は、vps_ols_dpb_bitdepth_minus8[MultiLayerOlsIdx[output_layer_set_idx]]のその値と等しいものでなければならない。
【0046】
picture_widthには、以下の制約が適用される。構成レコードが適用されるVVCストリームがシングルレイヤビットストリームである場合、ISO/IEC23090-3に定義されるsps_pic_width_max_in_luma_samplesの値は、現在のサンプルエントリ記述が適用されるサンプルのVCL NALユニットが参照するすべてのSPSにおいて同じでなければならず、picture_widthの値はsps_pic_width_max_in_luma_samplesの値と同じでなければならない。そうでない場合(設定記録が適用されるVVCストリームがマルチレイヤビットストリームである場合)、vps_ols_dpb_pic_width[MultiLayerOlsIdx[output_layer_set_idx]の値は、現在のサンプルエントリの記述が適用されるすべてのCVSに対して同じ値でなければならず、vps_ols_dpb_pic_width[MultiLayerOlsIdx[output_layer_set_idx]]の値はその値にとって同等とする。
【0047】
picture_heightには、以下の制約が適用される。設定記録が適用されるVVCストリームがシングルレイヤビットストリームである場合、sps_pic_height_max_in_luma_samplesの値は、現在のサンプルエントリ記述が適用されるサンプルのVCL NALユニットが参照するすべてのSPSにおいて同じでなければならず、picture_heightの値はsps_pic_height_max_in_luma_samplesのその値に比べて同等としなければならない。そうでない場合(設定記録が適用されるVVC ストリームがマルチレイヤビットストリームである場合)、vps_ols_dpb_pic_height[MultiLayerOlsIdx[output_layer_set_idx]]の値は、現在のサンプルエントリの記述が適用されるすべてのCVSに対して同じ値でなければならず、vps_ols_dpb_pic_height[MultiLayerOlsIdx[output_layer_set_idx]]の値はその値に対して同等でなければならない。
【0048】
VVCデコーダ構成記録には、VVCビデオエレメンタリーストリームが使用する彩度フォーマット、ビット深度、その他のフォーマット情報について明示的に指示する。VUI情報の色空間やビット深度の指示が異なる2つのシーケンスは、2つの異なるVVCサンプルエントリも採用される。
【0049】
初期化非VCL NALユニットを搭載するための配列がある。NALユニットタイプは、DCI、OPI、VPS、SPS、PPS、プレフィックスAPS、およびプレフィックスSEI NAL ユニットを示すためにのみ制限されている。予約されたNALユニットタイプはさらに定義される可能性があり、読取装置はNALユニットタイプの予約値または未許可値を持つ配列を無視する必要がある。この寛容な動作は、エラーが発生しないように設計されており、本明細書でこれらの配列に後方互換性のある拡張を行う可能性を可能にするものである。サンプルエントリに含まれるNALユニットは、AUDおよびOPI NALユニット(いずれか1項)の直後に含まれ、そうでない場合は、サンプルエントリを参照する第1のサンプルから再構成されたアクセスユニットの始まりに含まれる。
【0050】
配列は、DCI、OPI、VPS、SPS、PPS、プレフィックスAPS、プレフィックスSEIの順で行うことが推奨されます。
【0051】
VVCPTLRecordおよびVvcDecoderConfigurationRecordの構文例は以下の通りである:
aligned(8) class VvcPTLRecord(num_sublayers) {
bit(2) reserved = 0;
unsigned int(6) num_bytes_constraint_info;
unsigned int(7) general_profile_idc;
unsigned int(1) general_tier_flag;
unsigned int(8) general_level_idc;
unsigned int(1) ptl_frame_only_constraint_flag;
unsigned int(1) ptl_multilayer_enabled_flag;
unsigned int(8*num_bytes_constraint_info - 2) general_constraint_info;
for (i=num_sublayers - 2; i >= 0; i--)
unsigned int(1) ptl_sublayer_level_present_flag[i];
for (j=num_sublayers; j<=8 && num_sublayers > 1; j++)
bit(1) ptl_reserved_zero_bit = 0;
for (i=num_sublayers-2; i >= 0; i--)
if (ptl_sublayer_level_present[i])
unsigned int(8) sublayer_level_idc[i];
unsigned int(8) num_sub_profiles;
for (j=0; j < num_sub_profiles; j++)
unsigned int(32) general_sub_profile_idc[j];
}
aligned(8) class VvcDecoderConfigurationRecord {
unsigned int(8) configurationVersion = 1;
bit(5) reserved = ‘11111’b;
unsigned int(2) lengthSizeMinusOne;
unsigned int(1) ptl_present_flag;
if (ptl_present_flag){。
VvcPTLRecord(numTemporalLayers) track_ptl;
unsigned int(16) output_layer_set_idx;
unsigned int(16) avgFrameRate;
unsigned int(2) constantFrameRate;
unsigned int(3) numTemporalLayers;
unsigned int(2) chroma_format_idc;
unsigned int(3) bit_depth_minus8;
bit(6) reserved = ‘111111’b;
unsigned_int(16) picture_width;
unsigned_int(16) picture_height;
}
unsigned int(8) numOfArrays;
for (j=0; j < numOfArrays; j++) {
unsigned int(1) array_completeness;
bit(2) reserved = 0;
unsigned int(5) NAL_unit_type;
unsigned int(16) numNalus;
for (i=0; i< numNalus; i++) {
unsigned int(16) nalUnitLength;
bit(8*nalUnitLength) nalUnit;
}
}
}
【0052】
上記の構文要素に対する意味論の例は以下の通りである。
【0053】
num_bytes_constraint_infoは、general_constraint_infoフィールドの長さを規定するために用いる。general_constraint_infoフィールドの長さは、num_bytes_constraint_info*8-2ビットである。値は0より大きくなければなりません。1に等しい値は、general_constraint_infoフィールドによって示されるgeneral_constraint_info()構文構造のgci_present_flagが0であることを示す。
【0054】
general_profile_idc、general_tier_flag、general_level_idc、ptl_frame_only_constraint_flag、ptl_multilayer_enabled_flag、general_constraint_info、sublayer_level_present[j]、sublayer_level_idc[i]、num_sub_profiles、およびgeneral_sub_profile_idc[j]は、フィールドまたは構文の一致する値を含む。general_tier_flag,general_level_idc,ptl_frame_only_constraint_flag,ptl_multilayer_enabled_flag,general_constraint_info(),ptl_sublayer_level_present[i],sublayer_level_idc[i],ptl_num_sub_profilesおよびgeneral_sub_profile_idc[j]のそれぞれのフィールドまたは構文のマッチング値が、この設定レコードに適用するストリームに対して記述される。
【0055】
lengthSizeMinusOne plus 1は、この構成レコードが適用されるストリームにおけるVVCビデオストリームサンプルのNALUnitLengthフィールドの長さをバイト単位で示したものである。例えば、1バイトのサイズは0で示され、このフィールドの値は、それぞれ1、2、4バイトで符号化された長さに対応する0、1、3のいずれかでなければならない。
【0056】
ptl_present_flagが1に等しい場合、トラックがoutput_layer_set_idxとnumTemporalLayersで規定される動作点に対応するVVCビットストリームを含み、トラック内のすべてのNALユニットがその動作点に属することを指定する。ptl_present_flagが0に等しい場合、トラックは特定の動作点に対応するVVCビットストリームを含まず、複数の出力レイヤセットに対応するVVCビットストリームを含むか、出力レイヤセットを形成しない1つ以上の個々のレイヤ、またはTemporalIdが0に等しいサブレイヤを除く個々のサブレイヤを含む可能性があることを指定する。
【0057】
track_ptlは、トラックに含まれるVVCビットストリームが表す出力レイヤセットのプロファイル、ティア、レベルを規定する。
【0058】
output_layer_set_idxは、トラックに含まれるVVCビットストリームが表す出力レイヤセットのインデックスを規定する。output_layer_set_idxの値は、トラックに含まれるビットストリームを復号化するために、外部手段またはOPI NALユニットがVVCデコーダに提供する変数TargetOlsIdxの値として使用することができる。
【0059】
avgFrameRateは、この構成レコードが適用されるストリームの平均フレームレートを、フレーム/(256秒)の単位で示す。値0は、規定されていない平均フレームレートを示す。トラックが複数のレイヤを含み、output_layer_set_idxとnumTemporalLayersで規定される操作点に対してサンプルが再構成される場合、操作点のビットストリームの平均アクセスユニットレートを与える。
【0060】
constantFrameRateが1に等しい場合は、この構成レコードが適用されるストリームが定数フレームレートであることを示す。値2は、ストリームの各時間的層の表現が定数フレームレートであることを示す。値0は、ストリームが定数フレームレートである可能性とない可能性があることを示す。トラックが複数のレイヤを含み、output_layer_set_idxと numTemporalLayersによって規定される動作点に対してサンプルが再構築される場合、その動作点のビットストリームがアクセスユニットレートが一定であるかどうかの指標を示す。
【0061】
numTemporalLayersが1以上であることは、この構成レコードが適用されるトラックが時間的にスケーラブルであり、含まれる時間的レイヤの数(時間的サブレイヤまたはサブレイヤとも呼ばれる)がnumTemporalLayersと同等であることを示す。値1は、この構成レコードが適用されるトラックが時間的にスケーラブルでないことを示す。値0は、この構成レコードが適用されるトラックが時間的にスケーラブルであるかどうかが不明であることを示す。
【0062】
chroma_format_idcは、このトラックに適用される彩度フォーマットを示す。
【0063】
picture_widthは、このトラックに適用される最大ピクチャ幅をlumaサンプル単位で示す。
【0064】
picture_heightは、このトラックに適用される最大ピクチャの高さをlumaサンプル単位で示す。
【0065】
bit_depth_minus8は、このトラックに適用されるビット深度を示す。
【0066】
numArraysは、指示されたタイプのNAL ユニットの配列の数を示す。
【0067】
array_completenessが1に等しいとき、所与のタイプの全てのNALユニットが次の配列にあり、ストリームにはないことを示す。array_completenessが0に等しいとき、示されたタイプのNALユニットがさらにストリームにある可能性を示す。許容値は、サンプルエントリ名によって制約されている。
【0068】
NAL_unit_typeは、次の配列のNAL ユニットのタイプ(全てそのタイプであること)を示し、DCI、OPI、VPS、SPS、PPS、プレフィックスAPSまたはプレフィックスSEI NALユニットを示す値のいずれかを取るよう制限される。
【0069】
numNalusは、この構成レコードが適用されるストリームの構成レコードに含まれる、指示されたタイプのNAL ユニットの数を示す。SEI配列は、宣言的な性質のSEIメッセージ、すなわち、ストリーム全体に関する情報を提供するSEIメッセージのみを含むものとする。このようなSEIの例としては、ユーザデータSEIが考えられる。
【0070】
nalUnitLengthは、NALユニットの長さをバイト単位で示す。
【0071】
nalUnitには、DCI、OPI、VPS、SPS、PPS、APSまたは宣言的SEI NALユニットが含まれる。
【0072】
ランダムアクセスリカバリポイントサンプルグループは、「ロール」サンプルグループとしても知られ、段階的な復号化のためのリカバリポイントの情報を提供するために用いられる。「ロール」サンプルグループをVVCトラックで用いる場合、grouping_type_parameterの構文と意味論は「サップ」サンプルグループと同一に規定される。
【0073】
layer_id_method_idcが0および1に等しいのは、「ロール」サンプルグループにマッピングされるサンプルの対象レイヤのピクチャがGDRピクチャである場合に使用される。layer_id_method_idcが0に等しい場合、「ロール」サンプルグループは、トラック内に存在するすべてのレイヤの動作を規定するものである。
【0074】
layer_id_method_idcが1に等しい場合の意味論は、ここに規定する。
【0075】
2および3に等しいlayer_id_method_idcは、「ロール」サンプルグループにマッピングされるサンプルの対象層のピクチャがすべてGDRピクチャでない場合に用いられ、GDRピクチャでない対象レイヤのピクチャについては、以下のことが適用される:参照PPSがpps_mixed_naru_types_in_pic_flagを1に等しく持ち、0からsps_num_subpics_minus1の範囲内にあるサブピクチャインデックスiについて、次のいずれも真である:sps_subpic_treated_as_pic_flag[i]が1に等しく、同じCLVS内の現在のサンプルの次のサブピクチャインデックスiと同一であるIRAPサブピクチャが、少なくとも一つ存在する。layer_id_method_idcが2である場合、「ロール」サンプルグループは、トラック内に存在する全てのレイヤの動作を規定する。layer_id_method_idcが3に等しい場合の意味論は、本明細書で規定する。復号化の開始にlayer_id_methoc_idcが2または3に等しいサンプルを使用する場合、リーダはビットストリームのSPS、PPS、およびPH NALユニットをさらに修正する必要がある。これにより、layer_id_methoc_idcが2および3に等しいサンプルグループに属するとマークされたサンプルで始まるビットストリームは、そのサンプルで参照されるSPSがsps_gdr_enabled_flagが1となるときに、適合ビットストリームとなり、このようなサンプルによって参照される任意のPPSは、pps_mixed_naru_types_in_pic_flagが0に等しく、AUのすべてのVCL NALユニットはnal_unit_typeがGDR_NUTに等しく、AUのいずれかのピクチャヘッダのph_gdr_pic_flagは1に等しく、ph_recovery_poc_cntの値が、このAUが属するサンプルグループのroll_distanceに対応する。「ロール」サンプルグループが従属レイヤに関係するが、その参照レイヤ(複数可)には関係しない場合、サンプルグループは、従属レイヤのすべての参照レイヤが利用可能で復号化される場合に適用される特徴を示す。サンプルグループは、予測レイヤの復号化を開始するために使用できる。
【0076】
layer_id_method_idcが1に等しい場合、フィールドtarget_layersの各ビットは、トラック内で搬送されるレイヤを表す。このフィールドは28ビット長しかないため、トラック内のSAPの指示は最大28レイヤに制約される。最下位ビット(LSB)から始まるこのフィールドの各ビットは、そのサンプルに関連付けられたレイヤ情報サンプルグループ(‘linf’)で信号通知されたレイヤID値のリストに、レイヤID値の昇順でマッピングされるものとする。
【0077】
以下に、開示された技術的解決策によって解決される技術的問題の例を示す。デコーダ構成情報の信号通知と「ロール」サンプルグループに関するVVCビデオファイルフォーマットの最新設計には、以下の問題がある。第1の問題点は、VvcDecoderConfigurationRecordにおいて、プロファイル、ティア、レベル情報(PTL)が信号通知される際に、カラーフォーマット、ビット深度、ピクチャ幅、ピクチャ高さなどのピクチャフォーマットパラメータが信号通知される。これらの情報は、コンテンツ選択的に使用することができる。しかし、コンテンツ選択の目的に有用な他のパラメータ、例えば、必要な復号されたピクチャバッファサイズ、最大ピクチャ出力順序変更、最大待ち時間、GDRピクチャ有効化フラグ、CRAピクチャ有効化フラグ、参照ピクチャリサンプリング有効フラグ、CLVSによる空間解像度変更有効化フラグ、サブピクチャ分割有効フラグ、各ピクチャの最大サブピクチャ数、WPP有効化フラグ、タイル分割有効化フラグ、ピクチャの最大タイル数、スライス分割有効化フラグ、矩形スライス有効フラグ、ラスタスキャンスライス有効化フラグ、ピクチャの最大スライス数等が、デコーダ構成記録で信号通知されない可能性もある。
【0078】
次に、VvcDecoderConfigurationRecordにおいて、PTL情報を信号通知する場合、PTL情報の信号通知の後に、numTemporalLayersフィールドも信号通知する。ただし、PTL情報の信号通知の構文構造は、numTemporalLayersフィールドに依存する。
【0079】
第3に、ランダムアクセスリカバリポイントサンプルグループ、すなわち「ロール」サンプルグループの説明において、layer_id_method_idcが1または3に等しいフィールドの意味論が適切に規定されていない。特定の、特に、layer_id_method_idcが1に等しい場合、適用可能なレイヤの信号通知が規定される可能性があるが、layer_id_method_idcが3に等しい場合、規定されない可能性がある。
【0080】
本明細書で開示されるのは、上記の問題の1つ以上に対処するメカニズムである。一例において、VVCデコーダ構成レコードは、サブレイヤの数をPTLレコードに先行するように位置付けるように修正される。このようにして、デコーダは、最初にサブレイヤの数を取得し、その数を用いてサブレイヤの各々についてPTLレコードを取得することができる。別の例において、ロールサンプルグループのグルーピングタイプパラメータは、ロールサンプルグループ内のアクセス点と、それらのアクセス点が適用されるレイヤとの間の相関をより明確に記述するように修正される。例えば、対象レイヤは、アクセスポイントに相関するレイヤを示すことができる。さらに、層識別子方法識別コードを設定して、アクセスポイントがすべての層に適用されるのか、ターゲット層パラメータ内の層だけに適用されるのかを示すことができる。さらに、アクセスポイントがGDRピクチャのみで構成されるか、GDRピクチャと混合NALユニットピクチャの組み合わせで構成されるかを示すために、レイヤ識別子方法識別符号を設定することができる。
【0081】
上記の問題、およびその他を解決するために、以下に要約されるような方法が開示される。なお、これらの項目は、一般概念を説明するための例であると考えるべきであり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用することも、結合されたものを組み合わせることも可能である。
【0082】
例1
第1の問題を解決するために、VvcDecoderConfigurationRecordにおいて、以下のパラメータのいずれか1項以上がシグナリングされ得る:復号化ピクチャバッファの最大必要サイズ、最大ピクチャ出力順序変更(例えば、復号順でいずれかのピクチャに先行し、出力順でそのピクチャに後続できるピクチャの最大許容数)、最大遅延(例えば、出力順でいずれかのピクチャに先行し、復号順でそのピクチャに後続できるピクチャの最大数)、GDRピクチャ有効化フラグ、CRAピクチャ有効化フラグ、参照画像再サンプリング有効化フラグ、CLVSによる空間解像度変更有効化フラグ、サブピクチャパーティショニング有効化フラグ、ピクチャごとのサブピクチャ最大数、WPP有効化フラグ、タイルパーティショニング最大数、スライスパーティショニング、矩形スライス最大数、ラスタスキャンスライス可能数、ピクチャごとのタイル最大数の順。
(a)一例において 、上記パラメータの1つ以上は、PTL情報がそこで信号通知されるときにのみ、VvcDecoderConfigurationRecordにおいて信号通知される。
(b)一例において、1つ以上のパラメータは、PTL情報の信号通知の前に存在する可能性がある。さらに、バイトアラインメントは、PTL情報の前に信号通知されるすべてのパラメータに対して要件となり得る。一例において、予約ビットは、さらに信号通知してもよい。
(c)一例において、1つ以上のパラメータは、PTL情報の信号通知の後に存在する可能性がある。さらに、バイトアラインメントは、PTL情報の後に信号通知してもよいすべてのパラメータに対して要求される可能性がある。一例において、予約ビットは、さらに信号通知してもよい。
(d)一例において、1つ以上のパラメータのサブセットはPTL情報の信号通知の前に存在し、残りのパラメータはPTL情報の信号通知の後に存在することができる。さらに、バイトアラインメントが、PTL情報の前に信号通知してもよいすべてのパラメータに対して要求される可能性がある。一例において、予約ビットは、さらに信号通知してもよい。
(e)さらに、PTL情報の後に信号通知してもよいすべてのパラメータについて、バイトアラインメントが要求される可能性がある。一例において、予約ビットはさらに信号通知してもよい。
【0083】
例2
第2の課題を解決するために、VvcDecoderConfigurationRecordは、PTL情報が信号通知されるとき、numTemporalLayersフィールドもPTL情報の信号通知の前に信号通知されるように修正される。
(a)一例において 、PTL情報がVvcDecoderConfigurationRecordにおいて信号通知されるとき、それはフィールドchroma_format_idc、bit_depth_minus8、numTemporalLayers、およびconstantFrameRateの後で信号通知される。一例において、PTL情報は、すべての上述したフィールドといくつかの予約ビットの後に直接通知される。
(b)一例において、PTL情報がVvcDecoderConfigurationRecordにおいて信号通知されるとき、それはnumTemporalLayers、およびconstantFrameRateフィールドの後で信号通知される。一例において、PTL情報は、すべての上述したフィールドといくつかの予約ビットの後に直接通知される。さらに、予約ビットは、PTL情報の後にさらに信号通知される。
(c)別の例において 、VvcDecoderConfigurationRecordでPTL情報を信号通知する場合、「if(ptl_present_flag)」を条件とする全フィールドのうち最後のフィールドとして信号通知される。
(d)一例において、予約ビットは、PTL情報の信号通知の前に、信号通知される。
【0084】
例3
第3の問題3を解決するために、以下の1つ以上の変化を加える:次の文章:
(a)“layer_id_method_idcが1に等しい場合の意味論は、9.5.7項で規定されている。”を次のように変化させる:“layer_id_method_idcが1に等しい場合、「ロール」サンプルグループによって動作が規定されるレイヤは、9.5.7項において規定される。”本明細書を使用して、9.5.7項は、情報技術-オーディオビジュアルオブジェクトのコーディング-パート15:ISOベースメディアファイルフォーマットのネットワーク抽象化層(NAL)ユニット構造化ビデオの運搬と題する文書ISO/IEC 14496-15:2021 (E)の対応した番号の項を指す。
(b)“layer_id_method_idcが3に等しい場合の意味論は、9.5.7項で規定されている。”を以下のように変更する:“layer_id_method_idcが3と等しい場合、「ロール」サンプルグループによって動作が規定されるレイヤは、layer_id_method_idcが1と等しい場合と同様、9.5.7項により規定される。”
【0085】
例4
問題3を解決するために、あるいは、代替の1つ以上の変更を行う:
(a)9.5.7項の次の文“layer_id_method_idcが1に等しいとき、フィールドtarget_layersの各ビットは、トラックで運ばれるレイヤを表す”を、次のように変更する:“layer_id_method_idcが1または3に等しいとき、フィールドtarget_layersの各ビットは、トラックで搬送されるレイヤを表す。”
(b)次の文:“layer_id_method_idcが1に等しい場合の意味論は、9.5.7項で規定される。”は、以下のように変化する:“layer_id_method_idcが1に等しい場合、「ロール」サンプルグループによって動作が規定されるレイヤは、9.5.7項に規定されている。”
(c)次の文:“layer_id_method_idcが3に等しい場合の意味論は、9.5.7項で規定される。”は、以下のように変化する:“layer_id_method_idcが3に等しい場合、「ロール」サンプルグループによって動作が規定されるレイヤは、9.5.7項に規定される。”
【0086】
以下に、上記で要約したいくつかの態様において、VVCビデオファイルフォーマットの標準仕様に適用可能な、いくつかの例示的な実施形態を示す。変化した文章は、上記のように関連する機能の最新の草案仕様に基づくものである。追加または修正された関連部分は下線太字で表され、削除された部分は太字イタリックで表される。
【0087】
一例において、VvcDecoderConfigurationRecordの構文は以下のように修正される:
【化1】
【0088】
一例において、VvcDecoderConfigurationRecordの意味論は、以下のように修正される:
【0089】
ptl_present_flagが1に等しい場合、トラックがoutput_layer_set_idxとnumTemporalLayersとで規定される動作点に対応するVVCビットストリームを含み、トラック内のすべてのNALユニットがその動作点に属することを指定する。ptl_present_flagが0に等しい場合、トラックは特定の動作点に対応するVVCビットストリームを含まず、複数の出力レイヤセットに対応するVVCビットストリームを含むか、出力レイヤセットを形成しない1つ以上の個々のレイヤ、またはTemporalIdが0に等しいサブレイヤを除く個々のサブレイヤを含む可能性があることを指定する。
【0090】
【0091】
【0092】
【0093】
【0094】
track_ptlは、トラックに含まれるVVCビットストリームが表す出力レイヤセットのプロファイル、ティア、レベルを規定する。
【0095】
output_layer_set_idxは、トラックに含まれるVVCビットストリームが表す出力レイヤセットのインデックスを規定する。output_layer_set_idxの値は、トラックに含まれるビットストリームの復号化のために、ISO/IEC23090-3で規定されるVVCデコーダに対して外部手段またはOPI NALユニットが提供するTargetOlsIdx変数の値として使用することができる。
【0096】
【0097】
【0098】
【0099】
【0100】
picture_widthは、このトラックに適用される最大ピクチャ幅をlumaサンプル単位で示す。
【0101】
picture_heightは、このトラックに適用される最大ピクチャの高さをlumaサンプル単位で示す。
【0102】
【0103】
【0104】
numArraysは、指示されたタイプのNALユニットの配列の数を示す。
【0105】
一例において、ランダムアクセスリカバリポイントサンプルグループの説明は以下のように修正される:ランダムアクセスリカバリポイントサンプルグループ「ロール」は、段階的な復号化リフレッシュのためのリカバリポイントに関する情報を提供するために用いられる。「ロール」サンプルグループをVVCトラックで使用する場合、grouping_type_parameterの構文と意味論は、「サップ」サンプルグループの構文と等しく規定される。「ロール」サンプルグループにマッピングされるサンプルのターゲットレイヤのピクチャがGDRピクチャである場合、0および1に等しいlayer_id_method_idcが使用される。layer_id_method_idcが0に等しい場合、「ロール」サンプルグループはトラック内に存在する全てのレイヤの動作を規定する。
【0106】
【0107】
2および3に等しいlayer_id_method_idcは、「ロール」サンプルグループにマッピングされるサンプルの対象層のピクチャがすべてGDRピクチャでない場合に用いられ、GDRピクチャでない対象層のピクチャについては、以下のことが適用される:参照PPSがpps_mixed_naru_types_in_pic_flagを1に等しく持ち、0からsps_num_subpics_minus1の範囲内にあるサブピクチャインデックスiについて、次のいずれも真である:sps_subpic_treated_as_pic_flag[i]が1に等しく、同じCLVS内の現在のサンプルの次のサブピクチャインデックスiと同一であるIRAPサブピクチャが、少なくとも一つ存在する。layer_id_method_idcが2である場合、「ロール」サンプルグループは、トラック内に存在する全てのレイヤの動作を規定する。
【0108】
【0109】
リーダが、layer_id_methoc_idcが2または3に等しいサンプルを使用して復号化を開始する場合、リーダは、11.6項(文書ISO/IEC14496-15:2021(E))に従って再構成されたビットストリームのSPS、PPS、PH NALユニットをさらに修正する必要がある。layer_id_method_idcが2および3に等しく、このサンプルグループに属するとマークされたサンプルで始まるビットストリームは、そのようなサンプルが参照するSPSがsps_gdr_enabled_flagが1に等しく、任意のPPSがpps_mixed_nalu_types_in_pic_flagで0等しく、AUのすべてのVCL NALユニットは、nal_unit_typeがGDR_NUTに等しく、AUのいずれかのピクチャヘッダは、ph_gdr_pic_flagが1に等しいときに適合ビットストリームとなり、AUのピクチャヘッダは、1に等しいph_gdr_pic_flagと、AUが属するこのサンプルグループのroll_distanceに対応するph_recovery_poc_cntの値を持つ。
【0110】
「ロール」サンプルグループが従属レイヤに関係するが、その参照レイヤ(複数可)には関係しない場合、サンプルグループは、従属レイヤのすべての参照レイヤが利用可能で復号化されるときに適用される特徴を示す。サンプルグループは、予測レイヤの復号化を開始するために使用できる。
【0111】
一例において、VvcDecoderConfigurationRecordの構文は以下のように修正される:
【化14】
【0112】
一例において、VvcDecoderConfigurationRecordの意味論は、以下のように修正される:
【0113】
ptl_present_flagが1に等しい場合、トラックがoutput_layer_set_idxとnumTemporalLayersとで規定される動作点に対応するVVCビットストリームを含み、トラック内のすべてのNALユニットがその動作点に属することを指定する。ptl_present_flagが0に等しい場合、トラックは特定の動作点に対応するVVCビットストリームを含まず、複数の出力レイヤセットに対応するVVCビットストリームを含むか、出力レイヤセットを形成しない1つ以上の個々のレイヤ、またはTemporalIdが0に等しいサブレイヤを除く個々のサブレイヤを含む可能性があることを指定する。
【0114】
【0115】
output_layer_set_idxは、トラックに含まれるVVCビットストリームが表す出力レイヤセットのインデックスを規定する。output_layer_set_idxの値は、トラックに含まれるビットストリームの復号化のために、ISO/IEC23090-3で規定されるVVCデコーダに対して外部手段またはOPI NALユニットが提供するTargetOlsIdx変数の値として使用することができる。
【0116】
avgFrameRateは、この構成レコードが適用されるストリームの平均フレームレートを、フレーム/(256秒)の単位で示す。値0は、規定されていない平均フレームレートを示す。トラックが複数のレイヤを含み、output_layer_set_idxとnumTemporalLayersとで規定される操作点に対してサンプルが再構成される場合、操作点のビットストリームの平均アクセスユニットレートを与える。
【0117】
constantFrameRateが1に等しい場合は、この構成レコードが適用されるストリームが定数フレームレートであることを示す。値2は、ストリームの各時間的レイヤの表現が定数フレームレートであることを示す。値0は、ストリームが定数フレームレートである可能性とない可能性があることを示す。トラックが複数のレイヤを含み、output_layer_set_idxとnumTemporalLayersとによって規定される動作点に対してサンプルが再構築される場合、その動作点のビットストリームがアクセスユニットレートが一定であるかどうかの指標を示す。
【0118】
numTemporalLayersが1以上であることは、この構成レコードが適用されるトラックが時間的に拡張可能であり、含む時間的レイヤの数(ISO/IEC23090-3では時間的サブレイヤまたはサブレイヤとも呼ばれる)がnumTemporalLayersと同等であることを示している。値1は、この構成レコードが適用されるトラックが時間的にスケーラブルでないことを示す。値0は、この構成レコードが適用されるトラックが時間的にスケーラブルであるかどうかが不明であることを指示する。
【0119】
chroma_format_idcは、このトラックに適用される彩度フォーマットを示す。
【0120】
【0121】
picture_widthは、このトラックに適用される最大ピクチャ幅をlumaサンプル単位で示す。
【0122】
picture_heightは、このトラックに適用される最大ピクチャの高さをlumaサンプル単位で示す。
【0123】
【0124】
【0125】
numArraysは、指示されたタイプのNALユニットの配列の数を示す。
【0126】
図1は、映像データのVVCビットストリーム127を含むメディアファイル100の一例の模式図である。メディアファイルは、映像シーケンスを作成するために表示され得るピクチャ125を含む。ピクチャ125は、VVCビットストリーム127において圧縮される。ビットストリーム127はまた、ピクチャ125を圧縮するために使用されるパラメータを復号ピクチャに示す様々なパラメータセット123から構成される。パラメータセット123は、映像全体に対するパラメータ、映像のシーケンスに対するパラメータ、1つ以上のピクチャに対するパラメータ、および1つ以上のピクチャの領域に対するパラメータをそれぞれ含む映像パラメータセット(VPS)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、適応パラメータセット(APS)であっても良い。
【0127】
圧縮は、イントラ予測およびインター予測を含むことができる。イントラ予測では、ピクチャ125はブロックに分割され、各ブロックは同じピクチャ125内の他のブロックと相対的にコーディングされる。インター予測では、ピクチャ125はブロックに分割され、各ブロックは他のピクチャ125の他のブロックと相対的にコーディングされる。インター予測またはイントラ予測に応じたコーディングされたピクチャ125は、それぞれインターコーディングピクチャまたはイントラコーディングピクチャと呼ばれることがある。インターコーディングされたピクチャの1つの利点は、そのようなピクチャ125が、イントラコーディングされたピクチャよりも実質的に圧縮されることである。しかしながら、インターコーディングされたピクチャは他のピクチャ125に対して相対的にコーディングされるので、ビデオデコーダは、インターコーディングピクチャで映像シーケンスの復号化を開始することはできない。代わりに、ビデオデコーダは、任意のイントラコーディングされたピクチャでビデオを復号化し始めることができる。イントラコーディングされたピクチャは、IRAPピクチャと呼ばれることもある。これは、イントラコーディングされたピクチャが、映像ストリームへのアクセスポイント135として機能することができるからである。アクセスポイント135は、以下に説明するGDRピクチャを除き、例として情報の欠落による復号化エラーを経験することなく、一般的にデコーダがビデオストリームの復号化を開始することができるビデオストリーム内の任意の位置である。
【0128】
いくつかの実施例では、ピクチャ125は、サブピクチャに分割され得る。サブピクチャは、ピクチャ125の矩形領域である。サブピクチャの利点は、復号処理および表示処理中にサブピクチャを別個に扱うことができることである。例えば、ピクチャインピクチャプリケーションやバーチャルリアリティアプリケーションなどにおいて、ピクチャ125全体を表示する代わりにサブピクチャを表示することができる。また、サブピクチャは、例えば、ビデオ通話アプリケーションにおいて、異なる構成で再配置され、一緒にステッチされ得る。いくつかの実施例では、アクセスポイント135のセットは、同じピクチャ125内の異なるサブピクチャに対して異なる可能性がある。例えば、重要度の低い映像を有するサブピクチャは、圧縮を高めるためにアクセスポイント135をより少なくすることができる。これが発生すると、ピクチャ125は、IRAPサブピクチャおよびノンIRAPサブピクチャとも呼ばれる、イントラコーディングされたサブピクチャおよびインターコーディングされたサブピクチャを含むことができ、このようなサブピクチャは、IRAPサブピクチャおよびノンIRAPサブピクチャとも呼ばれる。ビットストリーム127は、ネットワーク抽象化レイヤ(NAL)ユニットのセットであり、通信ネットワークパケットに収まるサイズにされた映像データエレメントである。したがって、パラメータセット123およびピクチャ125は、ビットストリーム127のNALユニットで搬送される。それゆえ、IRAPサブピクチャと非IRAPサブピクチャのいずれも有するピクチャ125は、混合NALユニットピクチャと参照することができる。
【0129】
別のアクセスポイント135のスキームは、GDRピクチャの使用を含む。GDRピクチャは、イントラコーディングされたセクションと1つ以上のインターコーディングされたセクションとを含む。GDRピクチャは、アクセスポイント135を作成するためにグループで使用される。具体的には、第1のGDRピクチャは、ピクチャ125の左端部分にイントラコーディングされた領域を含み、ピクチャの残りの部分はインターコーディングに応じたコーディングが施される。第2のGDRピクチャは、第1のGDRピクチャのイントラコーディングされた領域と接するが重ならない位置まで右シフトされたイントラコーディングされた領域を含む。第2のGDRピクチャの残りの部分はインターコーディングされたものである。このように、イントラコーディングされたピクチャは、複数のピクチャにまたがって左から右へスイープする。GDRピクチャの1つの制約は、イントラコーディングされた領域の左側のインターコーディングされた領域は、現在のGDRピクチャのグループ内の前のGDRピクチャを参照することしかできないことである。デコーダは、グループの最初のGDRピクチャで復号を開始する可能性がある。この場合、デコーダは、イントラコーディングされた領域を復号化することが可能であるが、インターコーディングされた領域は復号化することができない。次に、デコーダは、第2のGDRピクチャに進むことができ、この場合、イントラコーディングされた領域と、イントラコーディングされた領域の左側のインターコーディングされた領域とのいずれもデコードすることができる。デコーダが最後のGDRピクチャに到達すると、すべての領域が復号化され、映像を表示することができる。GDRピクチャは、アクセスポイント135として用いるとエラーを生じるが、そのようなエラーは、グループ内の最後のGDRピクチャを越えて持続することはない。したがって、GDRピクチャは、一般的に、グループがアクセスポイント135として使用されるとき、表示されない。GDRピクチャの利点は、各GDRピクチャがIRAPピクチャ全体よりも小さく、各アクセスポイント135に関連付けられたデータバーストを低減することである。デコーダがアクセスポイント135としてGDRピクチャを使用していない場合、GDRピクチャのグループの前のビデオは利用可能であり、したがって、デコーダは、インターコーディングされた領域でエラーなしにグループ内のすべてのGDRピクチャを復号することができる。なお、GDRピクチャは、一般的に、混合NALユニットピクチャと組み合わせて使用することが禁止されていることに留意されたい。
【0130】
ピクチャ125およびパラメータセット123は、レイヤ120および/またはサブレイヤに編成され得る。レイヤ120は、復号化されて出力レイヤセットの一部として出力され得るピクチャ125およびパラメータセット123のグループ化である。例えば、異なるレイヤ120は、異なる解像度でコーディングされる可能性がある。別の例において、出力レイヤセットは、ベースレイヤおよびエンハンスメントレイヤを含むことができる。これにより、デコーダは、ベースレイヤを復号化して第1の解像度の映像を得、その後、デバイスおよびネットワークの能力に基づいて解像度を高めるために所望の数のエンハンスメントレイヤを復号化することができる。サブレイヤ121は、時間的スケーリングを可能にするレイヤ120の一種である。例えば、ピクチャ125は、時間的識別子(Id)に基づく異なるサブレイヤ121に割り当てられ得る。このように、各サブレイヤ121は、ピクチャ125のサブセットを含む。これにより、デコーダは、所望のフレームレートを達成するために選択されたサブレイヤ121を復号化し表示することができる。
【0131】
ビットストリーム127のレイヤ120および/またはサブレイヤ121は、トラック110に配置することができる。トラック110は、デコーダによって復号化および表示され得る特定のタイプのタイムドサンプルのシーケンスを含む。このコンテキストでは、サンプルは媒体データの単位である。例えば、トラック110は、圧縮映像サンプル(例えば、経時的なピクチャ125)、圧縮オーディオサンプル、ヒントデータサンプル、パラメータサンプルなどの時間指定されたセットを含むことができます。なお、サンプルという用語は、ピクセルの画素値を参照する可能性があるが、それはこのコンテキストで意図される定義ではないことに注意されたい。追跡110は、そのようなサンプルを含むいずれか1項のレイヤ120および/またはいずれか1項のサブレイヤ121を含むことができる。
【0132】
先行する説明によって理解できるように、メディアファイル100内のデータは、多くの方法で配置することができる。したがって、メディアファイル100は、トラック110に含まれるサンプル(たとえば、媒体データ)を記述するパラメータを含むサンプルテーブルボックス130も含む。例えば、デコーダは、サンプルテーブルボックス130を読んで、様々なトラック110に含まれるデータの処理をどのように開始するかを決定することができる。他の多くのパラメータの中で、サンプルテーブルボックス130は、ロールサンプルグループ131と、VVCデコーダ構成レコード141とを含む可能性がある。
【0133】
ロールサンプルグループ131は、ランダムアクセスリカバリサンプルグループとも呼ばれる。ロールサンプルグループ131は、VVCビットストリーム127のレイヤ120へのアクセスポイント135の信号通知に用いるデータユニットであり、主にGDRピクチャで発生するアクセスポイント135の信号通知に用いる。なお、IDR、CRA、ブロークン・リンク・アクセス(BLA)などの他のIRAPピクチャで発生する信号通知アクセスポイントのために、ランダムアクセスポイント(RAP)サンプルグループを採用することも可能である。したがって、ロールサンプルグループ131は、VVCビットストリーム127に含まれるGDRピクチャを指すアクセスポイント135のリストを含む。アクセスポイント135は、ロールサンプルグループ131のサンプルであると見なされる。いくつかの実装形態において、ロールサンプルグループ131の演算は不明確である。本開示は、ロールサンプルグループ131のアクセスポイント135とレイヤ120との間の関係を明確に記述するパラメータを提供することによって、そのような問題に対処する。
【0134】
ロールサンプルグループ131は、group_type_parameterと表される可能性があるグループ化タイプパラメータ137を含む。グループ化タイプパラメータ137は、アクセスポイント135とレイヤ120との間の相関/対応を規定するパラメータである。なお、アクセスポイント135がレイヤ120に適用される場合、レイヤ120は関連するレイヤとして参照され得ることに留意されたい。それゆえ、レイヤ120は、すべてのレイヤ120のセットまたはレイヤ120のサブセットと同様である可能性がある関連するレイヤのグループを含む。グループ化タイプパラメータ137は、さらに、ターゲットレイヤパラメータ136と、レイヤ識別子方法特定コード138とを含み、これらはそれぞれtarget_layersおよびlayer_id_method_idcとして表され得る。一例の実装形態において、ターゲットレイヤパラメータ136は、複数のビットを含み、各ビットは関連するレイヤのうちの1つを規定する。一例において、対象レイヤパラメータ136は、24ビット長であってもよく、したがって、最大24個の関連するレイヤを規定することができる可能性がある。
【0135】
レイヤ識別子方法識別コード138は、アクセスポイント135の性質をいずれも規定し、アクセスポイント135とレイヤとの間の相関を明確にする。一例において、レイヤ識別子方法識別コード138は、4ビット値を含み得る。具体的な実装形態では、レイヤ識別子方法識別コード138は、アクセスポイント135がすべてのレイヤ120に適用されることを示すために、ゼロまたは2に設定することができる。この場合、すべてのレイヤが関連するレイヤであり、対象レイヤパラメータ136は、メディアファイル100から省略され、および/またはデコーダによって無視されることができる。さらに、レイヤ識別子方法識別コード138を1または4に設定して、アクセスポイント135がターゲットレイヤパラメータ136によって示される関連するレイヤのみに適用されることを示すことができる。さらに、レイヤ識別子方法識別コード138は、アクセスポイント135に存在するピクチャ125の性質を示すことができる。例えば、レイヤ識別子方法識別コード138は、アクセスポイント135がすべてGDRピクチャであることを示すために、ゼロまたは1に設定することができる。さらに、レイヤ識別子方法識別コード138は、アクセスポイント135がGDRピクチャまたはIRAPサブピクチャと非IRAPサブピクチャの両方を使用して混合されたNALユニットピクチャのいずれかであり得ることを示すために、2または3に設定することができる。
【0136】
特定の実装形態では、該当レイヤの全てのアクセスポイントがGDRピクチャであり、アクセスポイントが全てのレイヤに適用されることを規定する場合、layer_id_method_idcはゼロに設定され得る。さらに、関連するレイヤのすべてのアクセスポイントがGDRピクチャであり、アクセスポイントが関連するレイヤのみに適用されることを規定する場合には、layer_id_method_idcは、1に設定される。また、当該レイヤのアクセスポイントがGDRピクチャ、結合されたNALユニットピクチャ、およびそれらの組み合わせであり、アクセスポイントが全てのレイヤに適用される場合には、layer_id_method_idcは2に設定される。最終的に、layer_id_method_idcは、該当するレイヤのアクセスポイントがGDRピクチャ、混合NALユニットピクチャ、およびそれらの組み合わせであり、アクセスポイントが該当するレイヤのみに適用されることを規定される場合、3つに設定される。このようにして、デコーダは、アクセスポイント135、グループ化タイプパラメータ137、対象レイヤ136、およびレイヤ識別子方法識別コード138を解析して、ロールサンプルグループ131のアクセスポイント135とレイヤ120との間の相関を判定することができる。その後、デコーダは、アクセスポイント135を使用して、関連するレイヤにおけるピクチャ125の復号化を開始することができる。
【0137】
さらに、サンプルテーブルボックス130は、VVCDecoderConfigurationRecordと表される可能性があるVVCデコーダ設定レコード141を含んでいてもよい。VVCデコーダ構成レコード141は、デコーダがコンテンツを選択するために使用できるデータを含む。例えば、VVCデコーダ構成レコード141は、トラック110の出力レイヤセットおよび対応するレイヤ120を記述するデータを含むことができる。そして、デコーダは、そのようなデータを用いて、復号化および表示されるべきトラック110を選択することができる。例えば、VVCデコーダ構成レコード141は、VVCプロファイルティアレベル(PTL)レコード143、出力レイヤセットインデックス、フレームレート、サブレイヤ121の数、ビット深度、彩度フォーマット、ピクチャサイジング等を記述するデータを含むことができる。
【0138】
VVC PTLレコード143は、レイヤ120および/またはサブレイヤ121のプロファイル、ティア、およびレベル情報を示している。プロファイル、ティアおよびレベルは、ビットストリームの制限を規定し、したがって、ビットストリームを復号化するのに必要な能力の制限を規定する。プロファイル、ティアおよびレベルはまた、個々のデコーダ実装形態間の相互運用性ポイントを示すために使用される可能性がある。プロファイルは、準拠ビットストリームを作成するために使用されるコーディングツールの定義されたセットである。各プロファイルは、そのプロファイルに準拠するすべてのデコーダがサポートしなければならないアルゴリズム機能および制限のサブセットを規定する。レベルとは、ビットストリームの制約のセットである(例:最大輝度サンプルレート、解像度の最大ビットレート、など)。例えば、レベルは、規定されたプロファイルのビットストリームを再生するために必要なデコーダ性能を示す制約のセットであってもよい(例えば、ハードウェア制約)。レベルは、メインとハイの2つのティアに分割される。メインティアは、ハイティアより下位のティアである。ティアは、最大ビットレートが異なる適用可能性に対処するために採用されている。メインティアはほとんどのアプリケーション用に設計され、ハイティアは非常に要求の厳しいアプリケーション用に設計されています。いずれかのプロファイルにおいて、ティアのレベルは、一般的に特定のデコーダの処理負荷とメモリ能力に対応する。従って、デコーダは、デコーダの能力に一致するPTL情報を有するレイヤ120および/またはサブレイヤ121を決定することによって、再生のためにレイヤ120および/またはサブレイヤ121を選択することが望ましい。
【0139】
いくつかの例実装形態において、VVCデコーダ構成レコード141は、VVC PTLレコード143の後にサブレイヤ数145がVVCデコーダ構成レコード141で信号化されるため、不明瞭である。これは、デコーダがVVC PTLレコード143を解釈する前に、デコーダがサブレイヤ145の数を必要とするため、問題である。本開示では、サブレイヤ145の数は、VVC PTLレコード143の前に、VVCデコーダ構成レコード141で信号通知される。その後、デコーダは、VVCデコーダ構成レコードを構文解析してサブレイヤ145の数を取得し、サブレイヤ145の数を使用してサブレイヤ121のVVC PTLレコードの数を決定することができる。一例において、VVCデコーダ構成レコード141は、定数フレームレート構文要素、彩度フォーマット識別コード構文要素およびビット深度マイナス8構文要素から構成される。VVC PTLレコード143は、VVCデコーダ構成レコード141において、定数フレームレート構文要素、彩度フォーマット識別コード構文要素、およびビット深度マイナス8構文要素の後に配置することができる。さらに、サブレイヤ145の数は、VVCデコーダ構成レコード141において、定数フレームレート構文要素、彩度フォーマット識別コード構文要素およびビット深度マイナス8構文要素の前に配置することが可能である。
【0140】
具体的には、トラック110、レイヤ120、および/またはサブレイヤ121のPTL情報の判定に使用するVVC PTLレコード143の前にサブレイヤ145の数を配置するために、VVCデコーダ構成レコード141は、以下のように実装され得る。
aligned(8) class VvcDecoderConfigurationRecord {
unsigned int(8) configurationVersion = 1;
bit(5) reserved = ‘11111’b;
unsigned int(2) lengthSizeMinusOne;
unsigned int(1) ptl_present_flag;
if (ptl_present_flag){
unsigned int(2) chroma_format_idc;
unsigned int(3) bit_depth_minus8;
unsigned int(3) numTemporalLayers;
unsigned int(2) constantFrameRate;
bit(6) reserved = ‘111111’b;
VvcPTLRecord(numTemporalLayers) track_ptl;
unsigned int(16) output_layer_set_idx;
unsigned_int(16) picture_width;
unsigned_int(16) picture_height;
unsigned int(16) avgFrameRate;
}
unsigned int(8) numOfArrays;
for (j=0; j < numOfArrays; j++) {
unsigned int(1) array_completeness;
bit(2) reserved = 0;
unsigned int(5) NAL_unit_type;
unsigned int(16) numNalus;
for (i=0; i< numNalus; i++) {
unsigned int(16) nalUnitLength;
bit(8*nalUnitLength) nalUnit;
}
}
}
【0141】
別の例において、デコーダでのトラック110、レイヤ120、および/またはサブレイヤ121の選択をサポートするために、様々な追加情報をVVCデコーダ構成レコード141に含めることができる。そのような情報は、復号されたピクチャバッファの最大必要サイズ、最大ピクチャ出力順序変更、最大待ち時間、GDRピクチャ有効化フラグ、CRAピクチャ有効化フラグ、参照ピクチャリサンプリング有効フラグ、CLVS有効による空間解像度変化、サブピクチャパーティショニング有効化フラグ、各ピクチャにおけるサブピクチャの最大数、WPP有効化フラグ、タイル分割有効化フラグ、ピクチャあたりのタイルの最大数、スライス分割有効化フラグ、ラスタスキャンスライス有効化フラグ、ピクチャあたりのスライス数、またはそれらの組み合わせを含むことができる。いくつかの例において、そのような情報は、VVCデコーダ構成レコード141がVVC PTLレコード143を構成する場合にのみ含まれることができる。
【0142】
そのような情報を含むことによって、および/またはデータの順序を並べ替えることによって、VVCデコーダ構成レコード141は、デコーダによるトラック110、レイヤ120、および/またはサブレイヤ121の追加機能および/またはより効率的な選択を可能にするように改善される。
【0143】
図2は、例えば、ロールサンプルグループをメディアファイル100に符号化することによる、ロールサンプルグループを符号化する例示的な方法200のフローチャートである。ステップ201で、エンコーダは、メディアファイル100などのメディアファイル内のレイヤにピクチャを符号化する。
【0144】
ステップ203で、エンコーダは、レイヤへのアクセスポイントを規定するロールサンプルグループを決定する。なお、上述のように、ロールサンプルグループは、GDRピクチャと組み合わせて使用するように設計されている。しかし、様々なレイヤは、IRAPサブピクチャと非IRAPサブピクチャとのいずれも有する混合NALユニットピクチャなど、GDRピクチャに加えて、他のタイプのアクセスポイントを含む可能性がある。エンコーダは、ロールサンプルグループをメディアファイルに符号化する。
【0145】
ステップ205において、エンコーダは、グルーピングタイプパラメータをメディアファイルに、例えば、ロールサンプルグループに符号化する。グルーピングタイプパラメータは、ロールサンプルグループのサンプルであるアクセスポイントと、レイヤの関連するレイヤとの間の対応を規定する。なお、関連するレイヤとは、アクセスポイントによって参照されるいずれかのレイヤのことである。グルーピングタイプパラメータは、アクセスポイントの性質を規定するレイヤ識別子方式識別コードパラメータを含む。例えば、レイヤ識別子方式識別コードパラメータは、アクセスポイントが、(1)1つまたはGDRピクチャ、および(2)IRAPサブピクチャと非IRAPサブピクチャとの両方を有する1つ以上の混合NALユニットピクチャのうちの1つ以上を含むことを示すように設定することができる。例えば、レイヤ識別子方式識別コードパラメータは、アクセスポイントがすべてGDRピクチャであることを示す第1の値と、アクセスポイントがGDRピクチャと混合NALユニットピクチャ(または混合NALユニットピクチャのみ)の組み合わせであることを示す第2の値とに設定することができる。
【0146】
一例において、グルーピングタイプパラメータは、ターゲットレイヤパラメータを含む。対象レイヤパラメータは、各ビットが関連するレイヤのうちの1つを規定する複数のビットを含む。一例において、レイヤ識別子方式識別コードパラメータは、アクセスポイントが関連するレイヤのみに適用されるように規定され得る。別の例において、レイヤ識別子識別コードパラメータは、アクセスポイントがすべてのレイヤに適用されることを特定するように設定することができる。なお、いくつかの例では、このような場合、ターゲットレイヤパラメータは省略することができる。いくつかの例では、グルーピングタイプパラメータはgroup_type_parameter表され、ターゲットレイヤパラメータはtarget_layersと表され、レイヤ識別子方式特定コードパラメータはlayer_idmethod_idcと表される。
【0147】
一例において、layer_id_method_idcは、関連するレイヤのすべてのアクセスポイントがGDRピクチャであり、アクセスポイントがすべてのレイヤに適用されることを規定する場合、ゼロに設定される。別の例において、layer_id_method_idcは、関連するレイヤのすべてのアクセスポイントがGDRピクチャであり、アクセスポイントが関連するレイヤにのみ適用されると規定する場合に、1に設定される。さらに別の例において、layer_id_method_idcは、関連するレイヤのアクセスポイントがGDRピクチャ、混合NALユニットピクチャおよびそれらの組み合わせであり、アクセスポイントがすべてのレイヤに適用されることを規定する場合に2に設定される。さらに一例において、layer_id_method_idcは、関連するレイヤのアクセスポイントがGDRピクチャ、NALユニットピクチャまたはそれらの組み合わせであり、アクセスポイントが関連するレイヤにのみ適用される場合に、3つに設定される。
【0148】
ステップ207で、エンコーダは、メディアファイルを記憶する。実施形態では、メディアファイルは、デコーダに向かって送信される。
【0149】
図3は、方法200の結果として受信されたメディアファイル100を採用することによって、例えば、ロールサンプルグループを復号化する例示的な方法300を示すフローチャートである。ステップ301において、デコーダは、レイヤにコーディングされたピクチャを含むメディアファイルを受信する。メディアファイルは、さらに、ロールサンプルグループを含む。
【0150】
ステップ303において、デコーダは、メディアファイルからロールサンプルグループを取得する。ロールサンプルグループは、レイヤへのアクセスポイントを特定する。
【0151】
ステップ305において、デコーダは、メディアファイルから、例えば、ロールサンプルグループから、グルーピングタイプパラメータを取得する。グルーピングタイプパラメータは、ロールサンプルグループのサンプルであるアクセスポイントと、レイヤの関連するレイヤとの間の対応を規定する。なお、関連レイヤとは、アクセスポイントによって参照されるいずれかのレイヤのことである。グルーピングタイプパラメータは、アクセスポイントの性質を規定するレイヤ識別子方式識別コードパラメータを含む。例えば、レイヤ識別子方式識別コードパラメータは、アクセスポイントが、(1)1つ以上のGDRピクチャおよび(2)IRAPサブピクチャと非IRAPサブピクチャとの両方を含む1つ以上の混合NALユニットピクチャのうちの1つ以上を含むことを示すように設定することができる。例えば、レイヤ識別子方式識別コードパラメータは、アクセスポイントがすべてGDRピクチャであることを示す第1の値と、アクセスポイントがGDRピクチャと混合NALユニットピクチャ(または混合NALユニットピクチャのみ)の組み合わせであることを示す第2の値とに設定することができる。
【0152】
一例において、グルーピングタイプパラメータは、ターゲットレイヤパラメータを含む。ターゲットレイヤパラメータは、各ビットが関連するレイヤのうちの1つを規定する複数のビットを含む。一例において、レイヤ識別子方式識別コードパラメータは、アクセスポイントが関連するレイヤのみに適用されるように規定され得る。別の例において、レイヤ識別子方式識別コードパラメータは、アクセスポイントがすべてのレイヤに適用されることを特定するように設定することができる。なお、いくつかの例では、このような場合、ターゲットレイヤパラメータは省略することができる。いくつかの例では、グルーピングタイプパラメータはgroup_type_parameterと表され、ターゲットレイヤパラメータはtarget_layersと表され、レイヤ識別子方式特定コードパラメータはlayer_idmethod_idcと表される。
【0153】
一例において、layer_id_method_idcは、関連するレイヤのすべてのアクセスポイントがGDRピクチャであり、アクセスポイントがすべてのレイヤに適用されることを規定する場合、ゼロに設定される。別の例において、layer_id_method_idcは、関連するレイヤのすべてのアクセスポイントがGDRピクチャであり、アクセスポイントが関連するレイヤにのみ適用されると規定する場合に、1に設定される。さらに別の例において、layer_id_method_idcは、関連するレイヤのアクセスポイントがGDRピクチャ、混合NALユニットピクチャおよびそれらの組み合わせであり、アクセスポイントがすべてのレイヤに適用されることを規定する場合に2にセットされる。さらに一例において、layer_id_method_idcは、関連するレイヤのアクセスポイントがGDRピクチャ、NALユニットピクチャまたはそれらの組み合わせであり、アクセスポイントが関連するレイヤにのみ適用される場合に、3つに設定される。
【0154】
ステップ307において、デコーダは、グルーピングタイプパラメータに基づき、メディアファイルを復号化する。デコーダは、次に、復号化メディアファイルまたはその部分(たとえば、特定のレイヤおよび/またはサブレイヤ)を、ユーザによる閲覧のためにディスプレイに向けて転送することができる。
【0155】
図4は、本明細書で開示された様々な技術が実装される可能性がある映像処理システム400を例示するブロック図である。様々な実装形態は、システム400の構成要素の一部または全部を含んでもよい。システム400は、映像コンテンツを受信するための入力機402を含む可能性がある。映像コンテンツは、生または非圧縮フォーマット、例えば8ビットまたは10ビットの多成分画素値で受信されてもよく、圧縮または符号化フォーマットであってもよい。入力402は、ネットワークインターフェース、周辺バスインターフェース、または記憶域インターフェースを表す可能性がある。ネットワークインターフェースの例には、イーサネット、パッシブ光ネットワーク(PON)などの有線インターフェースと、Wi-Fi(登録商標)またはセルラーインターフェースなどの無線インターフェースとが含まれる。
【0156】
システム400は、本明細書に記載された様々なコーディングまたは符号化方法を実装することができるコーディングコンポーネント404を含んでもよい。コーディング成分404は、入力402からコーディング成分404の出力までの映像の平均ビットレートを低減して、映像のコーディングされた表現を生成することができる。したがって、コーディング技術は、映像圧縮技術または映像変換技術と呼ばれることもある。コーディングコンポーネント404の出力は、記憶するか、またはコンポーネント406によって表されるように、通信接続されたものを介して送信することが可能性がある。入力402で受信された映像の格納されたまたは通信されたビットストリーム(またはコーディングされた)表現は、表示インターフェース410に送信される画素値または表示可能な映像の生成のために、コンポーネント408によって使用されることがある。ビットストリーム表現からユーザが表示可能な映像を生成する処理は、映像の伸張と呼ばれることがある。さらに、特定のビデオ処理操作は「コーディング」操作またはツールと呼ばれるが、コーディングツールまたは操作はエンコーダで使用され、コーディングの結果を逆転させる対応する復号化ツールまたは操作はデコーダで実行されることが理解されるであろう。
【0157】
周辺バスインターフェースまたはディスプレイインターフェースの例としては、Universal Serial Bus(USB)またはHigh Definition Multimedia Interface(HDMI(登録商標))またはDisplayportなどを挙げることができる。記憶域インターフェースの例としては、serial advanced technology attachment(SATA)、PCI、IDEインターフェースなどを挙げることができる。本明細書に記載された技法は、携帯電話、ノートパソコン、スマートフォンなど、デジタルデータ処理および/または映像表示を行うことが可能な様々な電子デバイスで実施され得る。
【0158】
図5は、例示的な映像処理装置500のブロック図である。装置500は、本明細書に記載される方法の1つ以上を実装するために使用することができる。装置500は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機などで実施される可能性がある。装置500は、1つ以上のプロセッサ502、1つ以上のメモリ504、および映像処理ハードウェア506を含んでもよい。プロセッサ(複数可)502は、本明細書に記載の1つ以上の方法を実装するように設定可能である。メモリ(記憶)504は、本明細書に記載の方法および技術を実装するために使用されるデータおよびコードを記憶するために使用することができる。映像処理ハードウェア506は、本明細書に記載のいくつかの技術をハードウェア回路で実装するために使用してもよい。いくつかの実施形態において、映像処理ハードウェア506は、少なくとも部分的にプロセッサ502に含まれてもよく、例えば、グラフィックコプロセッサである。
【0159】
図6は、映像処理の例示的な方法600のフローチャートである。方法600は、ビジュアルメディアデータとビデオファイルフォーマットに従ってビジュアルメディアデータに対応する情報を格納するファイルとの間での変換を行うことを含む。エンコーダのコンテキストでは、この変換は、視覚メディアデータを映像ファイルフォーマットで視覚メディアデータファイルに符号化することによって行われ得る。デコーダのコンテキストでは、この変換は、映像ファイルフォーマットの視覚メディアデータファイルを復号化して、表示用の視覚メディアデータを得ることによって行うことができる。
【0160】
図7は、本開示の技法を利用し得る例示的な映像コーディングシステム700を例示するブロック図である。
図7に示されるように、映像コーディングシステム700は、送信元デバイス710および送信先デバイス720を含み得る。送信元デバイス710は、符号化対象映像データを生成し、これは映像符号化デバイスと称される可能性がある。送信先デバイス720は、映像デコードデバイスと呼ばれ得るソースデバイス710によって生成された符号化ビデオデータを復号化してもよい。
【0161】
ソースデバイス710は、映像ソース712、映像符号化対象714、および入力/出力(I/O)インターフェース716を含み得る。ビデオソース712は、ビデオキャプチャデバイス、ビデオコンテンツプロバイダからビデオデータを受信するためのインターフェースおよび/またはビデオデータを生成するためのコンピュータグラフィックスシステムなどのソース、またはそのようなソースの組み合わせを含むことができる。映像データは、1つ以上のピクチャから構成される可能性がある。ビデオエンコーダ714は、ビデオソース712からの映像データを符号化して、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャと関連付けられたデータとを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。I/Oインターフェース716は、変調器/復調器(modem)および/または送信器を含んでもよい。符号化映像データは、ネットワーク730を介してI/Oインターフェース716を介して送信先デバイス720に直接送信されてもよい。符号化映像データはまた、送信先デバイス720によるアクセスのために記憶媒体/サーバ740に記憶することが可能である。
【0162】
送信先デバイス720は、I/Oインターフェース726と、映像復号化デバイス724と、表示デバイス722とを含み得る。I/Oインターフェース726は、受信機および/またはモデムを含んでもよい。I/Oインターフェース726は、送信元デバイス710または記憶媒体/サーバ740から符号化映像データを取得する可能性がある。ビデオデコーダ724は、符号化映像データを復号化してもよい。表示デバイス722は、復号化映像データをユーザに表示してもよい。表示装置722は、送信先デバイス720と一体化されてもよく、または送信先デバイス720の外部にあってもよく、外部表示装置とインターフェースするよう構成可能である。
【0163】
ビデオエンコーダ714およびビデオデコーダ724は、High Efficiency Video Coding(HEVC)規格、Versatile Video Coding(VVM)規格、および他の現在の規格および/またはさらなる規格などのビデオ圧縮規格に従って動作し得る。
【0164】
図8は、
図7に示されるシステム700におけるビデオエンコーダ714である可能性があるビデオエンコーダ800の例を示すブロック図である。映像エンコーダ800は、本開示の技術のいずれか1つまたはすべてを実行するように構成可能である。
図8の例において、ビデオエンコーダ800は、複数の機能性モジュールを含有している。本開示で説明する技法は、ビデオエンコーダ800の様々な構成要素の間で共有される可能性がある。いくつかの例では、プロセッサは、本開示で説明する技法のいずれかまたはすべてを行うように構成可能であろう。
【0165】
ビデオエンコーダ800の機能性モジュールは、分割ユニット801と、モード選択ユニット803、動き推定ユニット804、動き補償ユニット805、イントラ予測ユニット806、残差生成ユニット807、変換処理ユニット808、量子化ユニット809、逆量子化ユニット811、再構成ユニット812、バッファ813、およびエントロピー符号化ユニット814を含む可能性がある予測ユニット802とを含む。
【0166】
他の例において、ビデオエンコーダ800は、より多くの、より少ない、または異なる機能性モジュールを含むことができる。一例において、予測ユニット802は、イントラブロックコピー(IBC)ユニットを含んでもよい。IBCユニットは、少なくとも1つの参照ピクチャが現在の映像ブロックが位置するピクチャであるIBCモードで予測を行うことができる。
【0167】
さらに、動き推定ユニット804や動き補償ユニット805などの一部の成分は高度に統合されている可能性があるが、
図8の例では説明のために別個に表している。
【0168】
分割ユニット801は、ピクチャを1つ以上の映像ブロックに分割する可能性がある。映像エンコーダ800および映像デコーダ900は、様々な映像ブロックサイズをサポートしてもよい。
【0169】
モード選択ユニット803は、例えばエラー結果に基づいて、イントラまたはインターのいずれかのコーディングモードを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成ユニット807に提供して残差ブロックデータを生成し、再構成ユニット812に提供して参照ピクチャとして使用するために符号化ブロックを再構成してもよい。いくつかの例において、モード選択部803は、予測がインター予測信号およびイントラ予測信号に基づく、イントラおよびインター予測(CIIP)の組み合わせモードを選択してもよい。モード選択ユニット803は、インター予測の場合のブロックの動きベクトルの解像度(例えば、サブピクセル精度または整数ピクセル精度)を選択する可能性もある。
【0170】
現在の映像ブロックに対してインター予測を行うために、動き推定ユニット804は、バッファ813からの1つ以上の参照フレームを現在の映像ブロックと比較することによって、現在の映像ブロックの動き情報を生成することができる。動き補償ユニット805は、動き情報および現在の映像ブロックに関連付けられたピクチャ以外のバッファ813からのピクチャの復号化サンプルに基づいて、現在の映像ブロックの予測映像ブロックを決定してもよい。
【0171】
動き推定ユニット804および動き補償ユニット805は、例えば、現在の映像ブロックがIスライス、Pスライス、またはBスライスのいずれであるかに依存して、現在の映像ブロックに対して異なる動作を実行してもよい。
【0172】
いくつかの例において、動き推定ユニット804は、現在の映像ブロックに対して単方向予測を実行してもよく、動き推定ユニット804は、現在の映像ブロックに対する参照映像ブロックについてリスト0またはリスト1の参照ピクチャを検索してもよい。そして、動き推定ユニット804は、参照映像ブロックを含むリスト0またはリスト1の参照ピクチャを示す参照インデックスと、現在の映像ブロックと参照映像ブロックとの間の空間変位を示す動きベクトルとを生成してもよい。動き推定ユニット804は、現在の映像ブロックの動き情報として、参照インデックス、予測方向インデックス、及び動きベクトルを出力してもよい。動き補償ユニット805は、現在の映像ブロックの動き情報によって示される参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成することができる。
【0173】
他の例において、動き推定ユニット804は、現在の映像ブロックに対して双方向予測を実行してもよく、動き推定ユニット804は、現在の映像ブロックに対する参照映像ブロックについてリスト0内の参照ピクチャを検索してもよく、現在の映像ブロックに対する別の映像ブロックについてリスト1内の参照ピクチャを検索してもよい。次に、動き推定ユニット804は、参照映像ブロックを含むリスト0およびリスト1の参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間変位を示す動きベクトルとを生成してもよい。動き推定ユニット804は、参照インデックスと現在の映像ブロックの動きベクトルを現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット805は、現在の映像ブロックの動き情報によって示される参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成することができる。
【0174】
いくつかの例において、動き推定ユニット804は、デコーダの復号化処理のために、フルセットの動き情報を出力してもよい。いくつかの例において、動き推定ユニット804は、現在の映像の動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット804は、現在の映像ブロックの動き情報を別の映像ブロックの動き情報を参照して信号通知してもよい。例えば、動き推定ユニット804は、現在の映像ブロックの動き情報が、近くの映像ブロックの動き情報と十分に類似していると決定する可能性がある。
【0175】
一例において、動き推定ユニット804は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ900に指示する値を示すことができる。
【0176】
別の例において、動き推定ユニット804は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差(MVD)とを識別してもよい。動きベクトル差は、現在の映像ブロックの動きベクトルと、指示された映像ブロックの動きベクトルとの間の差を示す。ビデオデコーダ900は、現在の映像ブロックの動きベクトルを決定するために、示された映像ブロックの動きベクトルと動きベクトル差とを使用してもよい。
【0177】
上述したように、映像エンコーダ800は、動きベクトルを予測信号通知することができる。ビデオエンコーダ800によって実装され得る予測シグナリング技術の2つの例は、高度動きベクトル予測(AMVP)およびマージモードシグナルを含む。
【0178】
イントラ予測ユニット806は、現在の映像ブロックに対してイントラ予測を行う可能性がある。イントラ予測ユニット806が現在の映像ブロックに対してイントラ予測を行う場合、イントラ予測ユニット806は、同じピクチャ内の他の映像ブロックの復号化サンプルに基づく現在の映像ブロックの予測データを生成してもよい。現在の映像ブロックの予測データは、予測映像ブロックと様々な構文要素を含む可能性がある。
【0179】
残差生成ユニット807は、現在の映像ブロックから現在の映像ブロックの予測映像ブロック(複数可)を減算する(例えば、マイナス記号によって示される)ことにより、現在の映像ブロックの残差データを生成することができる。現在の映像ブロックの残差データは、現在の映像ブロックのサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。
【0180】
他の例において、例えばスキップモードにおいて、現在の映像ブロックに対する残差データが存在しない可能性があり、残差生成ユニット807は減算演算を実行しない可能性がある。
【0181】
変換処理ユニット808は、現在の映像ブロックに関連付けられた残差映像ブロックに1つ以上の変換を適用することによって、現在の映像ブロックに対する1つ以上の変換係数映像ブロックを生成することができる。
【0182】
変換処理ユニット808が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット809は、現在の映像ブロックに関連付けられた1つ以上の量子化パラメータ(QP)値に基づき、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
【0183】
逆量子化ユニット810および逆変換ユニット811は、それぞれ、変換係数ビデオブロックに逆量子化および逆変換を適用して、変換係数ビデオブロックから残差映像ブロックを再構成することができる。再構成ユニット812は、再構成された残差映像ブロックを、予測ユニット802によって生成された1つ以上の予測映像ブロックからの対応するサンプルに追加して、バッファ813に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。
【0184】
再構成ユニット812がビデオブロックを再構成した後、ビデオブロックのビデオブロッキングアーティファクトを低減するために、ループフィルタリング動作が行われてもよい。
【0185】
エントロピー符号化ユニット814は、映像エンコーダ800の他の機能性モジュールからデータを受信することができる。エントロピー符号化ユニット814がデータを受信すると、エントロピー符号化ユニット814は、1つ以上のエントロピー符号化演算を行ってエントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力することができる。
【0186】
図9は、
図7に示したシステム700における映像デコーダ724となり得る映像デコーダ900の一例を示すブロック図である。
【0187】
映像デコーダ900は、本開示の技術のいずれか1つまたはすべてを行うように設定可能である。
図9の例において、ビデオデコーダ900は、複数の機能性モジュールを含む。本開示で説明する技法は、映像デコーダ900の様々な構成要素の間で共有される可能性がある。いくつかの例では、プロセッサは、本開示で説明する技法のいずれか1項またはすべてを実行するように構成可能である。
【0188】
図9の例において、ビデオデコーダ900は、エントロピー復号化ユニット901、動き補償ユニット902、イントラ予測ユニット903、逆量子化ユニット904、逆変換ユニット905、および再構成ユニット906とバッファ907を含む。ビデオデコーダ900は、いくつかの例において、ビデオエンコーダ800(
図8)に関して説明した符号化パスと概ね逆の復号化パスを行う可能性がある。
【0189】
エントロピー復号化ユニット901は、符号化ビットストリームを取得することができる。符号化ビットストリームは、エントロピーコーディングされた映像データ(例えば、映像データの符号化されたブロック)を含んでいてもよい。エントロピー復号化ユニット901は、エントロピーコーディングされたビデオデータを復号化してもよく、エントロピー復号化ビデオデータから、動き補償ユニット902は、動きベクトル、動きベクトルの精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット902は、例えば、AMVPおよびマージモードを行うことによって、このような情報を決定することができる。
【0190】
動き補償ユニット902は、動き補償対象のブロックを生成してもよく、場合によっては、補間フィルタに基づく補間を行う。サブピクセル精度で使用する補間フィルタの識別子が、構文要素に含まれる可能性がある。
【0191】
動き補償ユニット902は、ビデオブロックの符号化中にビデオエンコーダ800によって使用されたような補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間値を計算することができる。動き補償ユニット902は、受信した構文情報に応じたビデオエンコーダ800によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成することができる。
【0192】
動き補償ユニット902は、構文情報の一部を使用して、符号化ビデオシーケンスのフレーム(複数可)および/またはスライス(複数可)を符号化するために使用されるブロックのサイズ、符号化ビデオシーケンスのピクチャの各マクロブロックがどのように分割されているかを記述するパーティション情報、各パーティションの符号化の仕方を示すモード、各インターエンコードブロックに対する1つ以上の参照フレーム(および参照フレームリスト)、ならびにその他の情報を、エンコードビデオシーケンスをデコードするために決定する場合がある。
【0193】
イントラ予測ユニット903は、例えばビットストリームで受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成することができる。逆量子化ユニット904は、ビットストリームで提供され、エントロピー復号化ユニット901によって復号化された量子化映像ブロック係数を逆量子化する、すなわち、脱量子化する。逆方向変換ユニット905は、逆方向変換を適用する。
【0194】
再構成ユニット906は、残差ブロックを、動き補償ユニット902またはイントラ予測ユニット903によって生成された対応する予測ブロックと合計して、復号化ブロックを形成してもよい。所望であれば、ブロック性アーチファクトを除去するために、デブロッキングフィルタを適用して復号化ブロックをフィルタリングすることもできる。復号化ビデオブロックは、次にバッファ907に格納され、バッファ907は、後続の動き補償/イントラ予測のための参照ブロックを提供し、また表示装置でのプレゼンテーションのための復号化ビデオを生成する。
【0195】
図10は、符号化対象エンコーダ1000の一例を示す模式図である。エンコーダ1000は、VVCの技法を実装するのに好適である。エンコーダ1000は、3つのインループフィルタ、すなわち、デブロッキングフィルタ(DF)1002、サンプル適応オフセット(SAO)1004、および適応ループフィルタ(ALF)1006を含む。予め定義されたフィルタを使用するDF1002とは異なり、SAO1004およびALF1006は、現在のピクチャのオリジナルサンプルを利用して、オフセットを加えることによって、およびオフセットおよびフィルタ係数をシグナリングするコーディングされたサイド情報を有する有限インパルス応答(FIR)フィルタをそれぞれ適用することによってオリジナルサンプルと再構成サンプル間の平均平方誤差を低減する。ALF1006は、各ピクチャの最後の処理段階に位置し、前の段階によって作成されたアーチファクトを捕捉して修正しようとするツールと見なすことができる。
【0196】
エンコーダ1000は、さらに、イントラ予測コンポーネント1008と、入力映像を受け取るように構成可能な動き推定/補償(ME/MC)コンポーネント1010とを含んでいる。イントラ予測コンポーネント1008は、イントラ予測を行うように構成され、一方、ME/MCコンポーネント1010は、インター予測を行うために参照ピクチャバッファ1012から得られる参照ピクチャを利用するように構成されている。インター予測またはイントラ予測からの残差ブロックは、変換成分1014および量子化成分1016に供給されて量子化された残差変換係数を生成し、この係数はエントロピーコーディング成分1018に供給される。エントロピーコーディングコンポーネント1018は、予測結果と量子化された変換係数をエントロピーコーディングし、ビデオデコーダ(コーディングされていない)に向けて同様なものを送信する。量子化コンポーネント1016から出力される量子化コンポーネントは、逆量子化コンポーネント1020、逆変換コンポーネント1022、および再構成(REC)コンポーネント1024に供給することが可能である。RECコンポーネント1024は、DF1002、SAO1004、およびALF1006に画像を出力して、それらの画像が参照ピクチャバッファ1012に記憶される前にフィルタリングを行うことができる。
【0197】
次に、いくつかの例では、好ましい解決策のリストが提供される。
【0198】
以下の解決策は、本明細書で論じる技術の例を示すものである。
【0199】
1.視覚メディア処理方法(例えば、
図6に示す方法600)は、ビデオファイルフォーマットに従って、ビジュアルメディアデータと、ビジュアルメディアデータに応じた情報を格納するファイルとの間で変換を実行する(602)こと;ここで、ビデオファイルフォーマットは、コンテンツ選択のための情報を構成可能なデコーダ構成レコードを含み、ここで、デコーダ構成レコードは、1以上のフィールドを含むことを備える:要求された復号ピクチャバッファサイズ、最大ピクチャ出力順序変更、最大遅延、段階的復号更新ピクチャ有効化フラグ、クリーンランダムアクセスピクチャ有効化フラグ、参照ピクチャリサンプリング有効フラグ、コーディングされた映像シーケンスによる空間解像度変更、サブピクチャパーティション有効フラグ、各ピクチャのサブピクチャの最大数、波面並列処理有効フラグ、タイル分割有効化フラグ、ピクチャの最大スライス数、スライス分割有効化フラグ、矩形スライス有効フラグ、ラスタスキャンスライス有効化フラグ、ピクチャごとのスライスの最大数。
【0200】
2.ビジュアルメディア処理方法は、規則に従ったビデオファイル形式に従って、ビジュアルメディアデータと、ビジュアルメディアデータに対応する情報を格納するファイルとの間の変換を行うステップと、規則が、ビジュアルメディアデータのプロファイルレベルティア情報がファイルに含まれるかどうかに応じて、時間的層の数を示すフィールドをデコーダ構成レコードに含めることを規定するステップと、規則が、フィールドがプロファイルレベルティア情報より前に含まれることをさらに規定するステップとを備える。
【0201】
3.解決手段2に記載される方法において、規則は、さらに、1つ以上の付加情報フィールドに関して、プロファイルレベルティア情報がビデオファイルフォーマット内で発生する順序を規定される。
【0202】
4.解決手段2に記載される方法において、1つ以上の追加情報フィールドは、彩度フォーマット指示フィールド、ビット深度フィールド、時間的レイヤの数を示すフィールドまたは定数フレームレートが前記視覚メディアデータに使用されるかどうかを示すフィールドを含む。
【0203】
5.解決手段2に記載される方法において、1つ以上の追加情報フィールドは、予約ビットフィールドを含む。
【0204】
6.解決手段2~5のいずれか1つに記載の方法において、ルールは、プロファイルティアレベル情報がデコーダ構成レコードの最後のフィールドとして含まれることを規定する。
【0205】
7.解決手段1~6のいずれか1つに記載の方法において、変換は、ビジュアルメディアデータのビットストリーム表現を生成することと、フォーマット規則に従ってビットストリーム表現をファイルに格納することとを含む。
【0206】
8.解決手段1~6のいずれか1つに記載の方法において、変換は、フォーマット規則に従ったファイルの構文解析を行い、視覚メディアデータを復元することを含む。
【0207】
9.解決手段1~8の1つ以上に記載された方法を実装可能なプロセッサを含む、映像復号化装置。
【0208】
10.解決手段1~8の1つ以上に記載された方法を実装するように設定可能なプロセッサを含む、映像符号化装置。
【0209】
11.その上に格納されたコンピュータコードを有するコンピュータプログラム製品であって、該コードは、プロセッサによって実行されると、当該プロセッサに解決策1から8のいずれかに記載された方法を実装させる、コンピュータプログラム製品。
【0210】
12.解決手段1~8のいずれかに応じて生成されるファイルフォーマットに準拠したビットストリーム表現が記録されたコンピュータ可読媒体。
【0211】
13.本明細書に記載された方法、装置 またはシステム。本明細書に記載の解決策では、エンコーダは、フォーマット規則に従ったコーディングされた表現を生成することにより、フォーマット規則に準拠することが可能である。本明細書に記載の解決策では、デコーダは、フォーマット規則を使用して、フォーマット規則に従った構文要素の有無の知識を用いて、コーディングされた表現内の構文要素を解析し、復号化ビデオを生成することができる。
【0212】
本明細書において、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮または映像伸張を指す可能性がある。例えば、ビデオのピクセル表現から対応するビットストリーム表現への変換中、またはその逆の変換中に、ビデオ圧縮アルゴリズムが適用されてよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって定義されるように、ビットストリーム内の同一位置にあるか、または異なる場所に広がっているビットに対応することがある。例えば、マクロブロックは、変換およびコーディングされたエラー残差値の観点から、また、ビットストリーム内のヘッダおよび他のフィールドのビットを使用して符号化することができる。さらに、変換中、デコーダは、上記解決策に記載されているように、判定に基づき、いくつかのフィールドが存在する可能性がある、または存在しない可能性があるという知識を持って、ビットストリームを構文解析することができる。同様に、エンコーダは、特定の構文フィールドが含まれる、または含まれないことを決定し、構文フィールドをコーディングされた表現に含める、または除外することによって、コーディングされた表現を応じた形で生成することができる。
【0213】
開示された、および他の解決策、例示、実施形態、モジュール、および本書に記載された機能的動作は、本書に開示された構造およびそれらの構造的同等物を含むデジタル電子回路、またはコンピュータソフトウェア、ファームウェアまたはハードウェアでまたはそれらの一つ以上の組み合わせで実施されることができる。開示された実施形態および他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のため、またはデータ処理装置の動作を制御するためにコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実施することができる。コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす組成物、またはそれらの1つ以上の組み合わせであり得る。「データ処理装置」という用語は、データを処理するためのすべての装置、デバイス、および機械を包含し、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む。装置は、ハードウェアに加えて、当該コンピュータプログラムの実行環境を構築するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステムを構成するコード、またはそれらの1つ以上の組み合わせを含むことができます。伝搬信号とは、人工的に生成した信号、例えば、機械で生成した電気信号、光信号、電磁波信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
【0214】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られている)は、計算言語または解釈言語を含むいずれかの形式のプログラミング言語で記述することができ、スタンドアロンプログラムとして、または計算環境での使用に適したモジュール、コンポーネント、サブルーチン、または他のユニットとしてなど、いずれの形式でも展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応する必要はない。プログラムは、他のプログラムまたはデータ(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)を保持するファイルの一部、当該プログラム専用の単一のファイル、または複数の調整ファイル(モジュール、サブプログラム、またはコードの部分)に格納することができる。コンピュータプログラムは、1つのコンピュータ上で、または1つのサイトに位置する、または複数のサイトに分布し、通信ネットワークによって相互に接続された複数のコンピュータ上で実行されるように配置することができる。
【0215】
本書で説明するプロセスおよびロジックフローは、1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって算出することができ、入力データに対する演算および出力の生成によって機能を実行する。また、処理およびロジックフローは、特定用途向け集積回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)により行われ、また、装置は、特定用途向け集積回路として実装されることも可能である。
【0216】
コンピュータプログラムの実行に適したプロセッサには、例として、一般性マイクロプロセッサと特殊性マイクロプロセッサの両方、および、任意の種類のデジタルコンピュータのいずれか1つ以上のプロセッサが含まれる。一般的に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリまたは両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を行うためのプロセッサと、命令およびデータを記憶するための1つ以上のメモリデバイスである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば磁気ディスク、光磁気ディスク、または光ディスクからデータを受信するか、データを転送するか、またはその両方も含むか、または操作的に算出される。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータ可読プログラム命令およびデータを格納するのに適したコンピュータ可読媒体には、例において、半導体メモリデバイス、例えばEPROM、EEPROMおよびフラッシュメモリデバイス;磁気ディスク、例えば内部ハードディスクまたはリムーバルディスク;磁気光ディスク;およびCD-ROMおよびDVD-ROMディスクを含むあらゆる形態の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完することができ、またはそれに組み込むことができる。
【0217】
本特許文献には多くの具体的事項が含まれているが、これらは、いずれかの主題の範囲または請求項の制限として解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に固有の可能性がある特徴の記述として解釈されるべきである。別個の実施形態のコンテキストで本特許文献に記載されている特定の特徴は、1つの実施形態において組み合わせて実装することも可能である。逆に、1つの実施形態のコンテキストで説明される様々な特徴は、複数の実施形態において別個にまたはいずれか適切なサブコンビネーションで実装することも可能である。さらに、特徴は、特定の組み合わせで作用するものとして上述の通り説明され、そのように初期化されることさえあるが、請求された組み合わせからの1つ以上の特徴は、場合によっては組み合わせから切除され、請求された組み合わせは、サブコンビネーションまたはサブコンビネーションの変形例に向けられることがある。
【0218】
同様に、演算は特定の順序で図面に描かれているが、これは、望ましい結果を得るために、そのような演算が示された特定の順序で行われること、または順番に行われること、または図示されたすべての演算が行われることを要件とするものと理解されるべきではない。さらに、本特許文献に記載された実施形態における様々なシステム成分の分離は、全ての実施形態においてそのような分離が要件であると理解されるべきではないだろう。
【0219】
少数の実装形態および例のみが記載されており、他の実装形態、拡張および変形例は、本特許文献に記載、図示されたものに基づいて行うことができる。
【0220】
第1の成分は、第1の成分と第2の成分との間にライン、トレース、および別の媒体を除き、介在する成分がないときに、第2の成分に直接結合される。第1の成分は、第1の成分と第2の成分との間にライン、トレース、または別の媒体以外の成分が介在している場合、第2の成分に間接的に結合される。用語「結合された」およびその変形は、直接結合および間接結合のいずれも含む。用語「約」の使用は、そうでない場合、後続の数の±10%を含む範囲を意味する。
【0221】
本開示においていくつかの実施形態が提供されているが、開示されたシステムおよび方法は、本開示の精神または範囲から逸脱することなく、多くの他の特定の形態で実施される可能性があることを理解されたい。本例は、例示であって制限的なものではないと考えられ、その意図は、本明細書で所与の詳細に制限されるものでない。例えば、様々な要素または成分は、別のシステムにおいて結合され、または統合されてもよく、または特定の特徴は省略され、または実装形態でなくてもよい。
【0222】
さらに、様々な実施形態において離散的または別個のものとして説明および図示された技法、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、または方法と結合または統合することができる。結合されたものとして示され、または議論されたそうでない場合、直接接続されてもよいし、電気的、機械的、または他のいずれであっても、何らかのインターフェース、デバイス、または中間構成要素を介して間接的に結合または通信されてもよい。他の変化、置換、および変更の例は、当業者によって確認可能であり、本明細書に開示された精神および範囲から逸脱することなく行うことができる。
【手続補正書】
【提出日】2023-06-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
レイヤのピクチャ
と、前記レイヤへのアクセスポイントを規定するランダムアクセスリカバリポイント(ロール)サンプルグループ
に基づき、グルーピングタイプパラメータ
とを含むビジュアルメディアデータとビジュアルメディアデータファイルとの間の変換を行い、前記グルーピングタイプパラメータは、前記アクセスポイントと前記レイヤの関連レイヤとの間の対応を規定し、前記アクセスポイントが、
1つ以上の段階的復号化リフレッシュ(GDR)ピクチャと、
イントラランダムアクセスポイント(IRAP)サブピクチャと非IRAPサブピクチャとの両方を有する1つ以上の混合ネットワーク抽象化レイヤ(NAL)ユニットピクチャと、
を1つ以上含むことを規定するレイヤ識別子方式識別コードパラメータを含む、
ビジュアルメディアデータ処理方法。
【請求項2】
前記変換は、
ビジュアルメディアファイル内の前記レイヤにピクチャを符号化することと、
アクセスポイントを規定するロールサンプルグループを前記レイヤに決定することと、
前記グルーピングタイプパラメータを
前記ビジュアルメディア
データファイルに符号化することと、
前記ビジュアルメディア
データファイルを記憶することと、を含む、
請求項1に記載の方法。
【請求項3】
前記変換は、
前記レイヤにコーディングされたピクチャを含む
前記ビジュアルメディア
データファイルを受信することと、
前記ビジュアルメディア
データファイルからロールサンプルグループを取得することと、前記ロールサンプルグループは、前記レイヤへの前記アクセスポイントを規定し、
前記
ビジュアルメディア
データファイルから前記グルーピングタイプパラメータを取得することと、
前記グルーピングタイプパラメータに基づき前記
ビジュアルメディア
データファイルを復号化することと、を含む、
請求項1に記載の方法。
【請求項4】
前記グルーピングタイプパラメータは、各ビットが前記関連レイヤの1つを規定する複数のビットを含むターゲットレイヤパラメータを含む、
請求項1から請求項3のいずれか1つに記載の方法。
【請求項5】
前記レイヤ識別子方式識別コードパラメータ
の値は、前記アクセスポイントが前記関連レイヤのみに適用される
またはすべての前記レイヤに適用されることを規定する、
請求項1から請求項4のいずれか1項に記載の方法。
【請求項6】
前記グルーピングタイプパラメータはgroup_type_parameterと表され、ターゲットレイヤパラメータはtarget_layersと表され、前記レイヤ識別子方式識別コードパラメータはlayer_idmethod_idcと表される、
請求項1から請求項
5のいずれか1項に記載の方法。
【請求項7】
前記関連レイヤのすべてのアクセスポイントがGDRピクチャであり、前記アクセスポイントがすべての前記レイヤに適用されることを規定する場合、layer_id_method_idcがゼロに設定される、
請求項1から請求項
6のいずれか1項に記載の方法。
【請求項8】
前記関連レイヤのすべてのアクセスポイントがGDRピクチャであり、前記アクセスポイントが前記関連レイヤのみに適用されることを規定する場合に、layer_id_method_idcが1に設定される、
請求項1から請求項
7のいずれか1項に記載の方法。
【請求項9】
前記関連レイヤにおける前記アクセスポイントがGDRピクチャ、混合NALユニットピクチャまたはそれらの組み合わせであり、前記アクセスポイントがすべての前記レイヤに適用されることを規定する場合に、layer_id_method_idcが2に設定される、
請求項1から請求項
8のいずれか1項に記載の方法。
【請求項10】
前記関連レイヤにおける前記アクセスポイントがGDRピクチャ、混合NALユニットピクチャまたはそれらの組み合わせであり、前記アクセスポイントが前記関連レイヤにのみ適用されることを規定する場合に、layer_id_method_idcは3に設定される、
請求項1から請求項
9のいずれか1項に記載の方法。
【請求項11】
プロセッサと、その上に命令を有する非一時的メモリと、を備える映像データ処理装置であって、前記プロセッサによる実行時に、前記命令は、前記プロセッサに、
レイヤのピクチャ
と、前記レイヤへのアクセスポイントを規定するランダムアクセスリカバリポイント(ロール)サンプルグループ
に基づき、グルーピングタイプパラメータ
とを含むビジュアルメディアデータとビジュアルメディアデータファイルとの間の変換を行わせ、前記グルーピングタイプパラメータは、前記アクセスポイントと前記レイヤの関連レイヤとの間の対応を規定し、前記アクセスポイントが、
1つ以上の段階的復号化リフレッシュ(GDR)ピクチャと、
イントラランダムアクセスポイント(IRAP)サブピクチャと非IRAPサブピクチャとの両方を有する1つ以上の混合ネットワーク抽象化レイヤ(NAL)ユニットピクチャと、
を1つ以上含むことを規定するレイヤ識別子方式識別コードパラメータを含む、
映像データ処理装置。
【請求項12】
ビデオコーディングデバイスによって使用するためのコンピュータプログラム製品を含む非一時的のコンピュータ可読媒体であって、前記コンピュータプログラム製品は、プロセッサによって実行されると、前記ビデオコーディングデバイスに
以下を実行させるように、非一時的なコンピュータ可読媒体に格納されたコンピュータ実行命令を含
み、
レイヤのピクチャと、前記レイヤへのアクセスポイントを規定するランダムアクセスリカバリポイント(ロール)サンプルグループに基づき、グルーピングタイプパラメータとを含むビジュアルメディアデータとビジュアルメディアデータファイルとの間の変換を行い、前記グルーピングタイプパラメータは、前記アクセスポイントと前記レイヤの関連レイヤとの間の対応を規定し、前記アクセスポイントが、
1つ以上の段階的復号化リフレッシュ(GDR)ピクチャと、
イントラランダムアクセスポイント(IRAP)サブピクチャと非IRAPサブピクチャとの両方を有する1つ以上の混合ネットワーク抽象化レイヤ(NAL)ユニットピクチャと、
を1つ以上含むことを規定するレイヤ識別子方式識別コードパラメータを含む、
非一時的のコンピュータ可読媒体。
【請求項13】
映像処理装置によって実行される方法によって生成されるビジュアルメディアデータファイルを格納する非一時的のコンピュータ可読記憶媒体であって、前記方法は、
レイヤのピクチャと、前記レイヤへのアクセスポイントを規定するランダムアクセスリカバリポイント(ロール)サンプルグループに基づき、グルーピングタイプパラメータとを含むビジュアルメディアデータファイルを生成することを含み、前記グルーピングタイプパラメータは、前記アクセスポイントと前記レイヤの関連レイヤとの間の対応を規定し、前記アクセスポイントが、
1つ以上の段階的復号化リフレッシュ(GDR)ピクチャと、
イントラランダムアクセスポイント(IRAP)サブピクチャと非IRAPサブピクチャとの両方を有する1つ以上の混合ネットワーク抽象化レイヤ(NAL)ユニットピクチャと、
を1つ以上含むことを規定するレイヤ識別子方式識別コードパラメータを含む、
非一時的のコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
関連出願の相互参照
本出願は、2021年10月26日出願の国際特許出願PCT/CN2021/126299に基づいており、2020年10月26日出願の国際特許出願PCT/CN2020/123540の優先権および利益を主張する。前述の特許出願は、その全体が参照により本明細書に組み込まれる。
【国際調査報告】