IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バイトダンス インコーポレイテッドの特許一覧

特許7529794瞬時復号更新サブピクチャのコーディング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】瞬時復号更新サブピクチャのコーディング
(51)【国際特許分類】
   H04N 19/70 20140101AFI20240730BHJP
【FI】
H04N19/70
【請求項の数】 16
(21)【出願番号】P 2022562145
(86)(22)【出願日】2021-04-09
(65)【公表番号】
(43)【公表日】2023-05-24
(86)【国際出願番号】 US2021026534
(87)【国際公開番号】W WO2021211364
(87)【国際公開日】2021-10-21
【審査請求日】2022-11-11
(31)【優先権主張番号】63/008,799
(32)【優先日】2020-04-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】ワン イェクイ
(72)【発明者】
【氏名】ジャン リー
(72)【発明者】
【氏名】ジャン カイ
【審査官】松元 伸次
(56)【参考文献】
【文献】Yong He, et al.,AHG9/AHG12: On mixed NAL unit types,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 18th Meeting: by teleconference, 15-24 April 2020,JVET-R0267,庁内DB(送付可),2020年04月03日,pp.1-3,6
【文献】Benjamin Bross, et al.,Versatile Video Coding (Draft 8),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Brussels, BE, 7-17 January 2020,JVET-Q2001-vE,庁内DB(送付可),2020年03月12日,pp.4,103
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
映像処理方法であって、
1つ以上のピクチャを含む映像と前記映像のビットストリームとの間の変換を行うことを含み、
前記1つ以上のピクチャは、第1の順序規則に従って前記ビットストリームに含まれ、
前記第1の順序規則は、第1の条件が満たされることに呼応して、前記ビットストリームが、現在の瞬時復号更新(IDR)ピクチャの現在のスライスの参照ピクチャリストにおけるエントリによって参照されるピクチャであって、前記現在のIDRクチャに復号順において先行するイントラランダムアクセスポイント(IRAP)ピクチャに出力順または前記復号順において先行するピクチャを含まないことを規定し、
前記現在のIDRピクチャは、1つ以上のIDRサブピクチャを含み、
前記ビットストリームは、第2の順序規則に準拠し、
前記第2の順序規則は、第2の条件が満たされることに呼応して、前記ビットストリームが、現在のIDRサブピクチャの現在のスライスの参照ピクチャリストにおけるエントリによって参照されるピクチャであって、IRAPサブピクチャを含み前記復号順で前記現在のIDRサブピクチャを含むピクチャに先行するピクチャに前記出力順または前記復号順で先行するピクチャを含まないことを規定する、
方法。
【請求項2】
前記第1の条件は、IDR参照ピクチャリスト構文要素に関連するシーケンスパラメータセットレベルの存在フラグが予め定義された値に等しいことを含む、
請求項1に記載の方法。
【請求項3】
前記予め定義された値は、1である、
請求項2に記載の方法。
【請求項4】
前記第1の条件は、参照ピクチャリスト(RPL)の構文要素が、IDR_N_LPまたはIDR_W_RADLのネットワーク抽象化レイヤ(NAL)ユニットタイプを有するスライスのスライスヘッダに存在することを許可することを示す存在フラグを含む、
請求項1に記載の方法。
【請求項5】
前記現在のIDRピクチャと前記IRAPピクチャは、特定の値に等しいネットワーク抽象化レイヤ(NAL)ユニットヘッダレイヤ識別子を有する、
請求項1~4のいずれか1項に記載の方法。
【請求項6】
前記第1の順序規則は、前記ビットストリームが、クリーンランダムアクセスピクチャの第2スライスの第2参照ピクチャリストにおける第2エントリによって参照されるピクチャであって、前記クリーンランダムアクセスピクチャに前記復号順で先行する第2イントラランダムアクセスポイント(IRAP)ピクチャに前記出力順または前記復号順で先行するピクチャを含まないことを規定する、
請求項1に記載の方法。
【請求項7】
前記第2の条件は、IDR参照ピクチャリスト構文要素に関連するシーケンスパラメータセットレベルにおける存在フラグが、予め定義された値に等しいことである、
請求項に記載の方法。
【請求項8】
前記予め定義された値は、1である、
請求項に記載の方法。
【請求項9】
前記第2の条件は、存在フラグが、IDR_N_LPまたはIDR_W_RADLに等しいネットワーク抽象化レイヤ(NAL)ユニットタイプを有するスライスのスライスヘッダに参照ピクチャリスト(RPL)構文要素が存在することを許可することを示すことを含む、
請求項1に記載の方法。
【請求項10】
IRAPサブピクチャおよび現在のIDRサブピクチャは、特定の識別値に等しいネットワーク抽象化レイヤ(NAL)ユニットヘッダレイヤ識別子および特定のインデックス値に等しいサブピクチャインデックスを有する、
請求項に記載の方法。
【請求項11】
前記第2の順序規則は、前記ビットストリームが、クリーンランダムアクセスサブピクチャの第3スライスの第3参照ピクチャリストにおける第3エントリによって参照されるピクチャであって、第3IRAPサブピクチャを含むピクチャに前記出力順または前記復号順で先行し、前記クリーンランダムアクセスサブピクチャを含むピクチャに前記復号順で先行するピクチャを含まないことを規定する、
請求項に記載の方法。
【請求項12】
前記変換は、前記映像を前記ビットストリームに符号化することを含む、
請求項1~11のいずれか1項に記載の方法。
【請求項13】
前記変換は、前記ビットストリームから前記映像を復号することを含む、
請求項1~11のいずれか1項に記載の方法。
【請求項14】
処理装置と、命令を有する非一時的メモリと、を含む映像データを処理する装置であって、
前記命令は、前記処理装置による実行時に、前記処理装置に、
1つ以上のピクチャを含む映像と前記映像のビットストリームとの間の変換を行わせ、
前記1つ以上のピクチャは、第1の順序規則に従って前記ビットストリームに含まれ、
前記第1の順序規則は、第1の条件が満たされることに呼応して、前記ビットストリームが、現在の瞬時復号更新(IDR)ピクチャの現在のスライスの参照ピクチャリストにおけるエントリによって参照されるピクチャであって、前記現在のIDRクチャに復号順において先行するイントラランダムアクセスポイント(IRAP)ピクチャに出力順または前記復号順において先行するピクチャを含まないことを規定し、
前記現在のIDRピクチャは、1つ以上のIDRサブピクチャを含み、
前記ビットストリームは、第2の順序規則に準拠し、
前記第2の順序規則は、第2の条件が満たされることに呼応して、前記ビットストリームが、現在のIDRサブピクチャの現在のスライスの参照ピクチャリストにおけるエントリによって参照されるピクチャであって、IRAPサブピクチャを含み前記復号順で前記現在のIDRサブピクチャを含むピクチャに先行するピクチャに前記出力順または前記復号順で先行するピクチャを含まないことを規定する、
装置。
【請求項15】
命令を記憶する非一時的なコンピュータ可読記憶媒体であって、
前記命令は、処理装置に、
1つ以上のピクチャを含む映像と前記映像のビットストリームとの間の変換を行わせ、
前記1つ以上のピクチャは、第1の順序規則に従って前記ビットストリームに含まれ、
前記第1の順序規則は、第1の条件が満たされることに呼応して、前記ビットストリームが、現在の瞬時復号更新(IDR)ピクチャの現在のスライスの参照ピクチャリストにおけるエントリによって参照されるピクチャであって、前記現在のIDRクチャに復号順において先行するイントラランダムアクセスポイント(IRAP)ピクチャに出力順または前記復号順において先行するピクチャを含まないことを規定し、
前記現在のIDRピクチャは、1つ以上のIDRサブピクチャを含み、
前記ビットストリームは、第2の順序規則に準拠し、
前記第2の順序規則は、第2の条件が満たされることに呼応して、前記ビットストリームが、現在のIDRサブピクチャの現在のスライスの参照ピクチャリストにおけるエントリによって参照されるピクチャであって、IRAPサブピクチャを含み前記復号順で前記現在のIDRサブピクチャを含むピクチャに先行するピクチャに前記出力順または前記復号順で先行するピクチャを含まないことを規定する、
非一時的なコンピュータ可読記憶媒体。
【請求項16】
像のビットストリームを格納するための方法であって、
1つ以上のピクチャを含む映像と前記映像のビットストリームを生成することと、
前記ビットストリームを非一時的コンピュータ可読記録媒体に格納することと、
を含み、
前記1つ以上のピクチャは、第1の順序規則に従って前記ビットストリームに含まれ、
前記第1の順序規則は、第1の条件が満たされることに呼応して、前記ビットストリームが、現在の瞬時復号更新(IDR)ピクチャの現在のスライスの参照ピクチャリストにおけるエントリによって参照されるピクチャであって、前記現在のIDRクチャに復号順において先行するイントラランダムアクセスポイント(IRAP)ピクチャに出力順または前記復号順において先行するピクチャを含まないことを規定し、
前記現在のIDRピクチャは、1つ以上のIDRサブピクチャを含み、
前記ビットストリームは、第2の順序規則に準拠し、
前記第2の順序規則は、第2の条件が満たされることに呼応して、前記ビットストリームが、現在のIDRサブピクチャの現在のスライスの参照ピクチャリストにおけるエントリによって参照されるピクチャであって、IRAPサブピクチャを含み前記復号順で前記現在のIDRサブピクチャを含むピクチャに先行するピクチャに前記出力順または前記復号順で先行するピクチャを含まないことを規定する、方法。

【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
願は、2021年4月9日出願の国際特許出願第PCT/US2021/026534号に基づくものであり、2020年4月12日出願の米国特許仮出願第63/008799号の優先権および利益を主張す前述のすべての特許出願は、その全体が参照により本明細書に組み込まれる。
【0002】
この特許明細書は、画像および映像コーディングおよび復号に関する。
【背景技術】
【0003】
デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
【発明の概要】
【0004】
本願は、コーディングされた表現の復号に有用な制御情報を使用して、映像のコーディングされた表現を処理するために、映像エンコーダおよびデコーダにより使用され得る技術を開示する。
【0005】
1つの例示的な態様において、映像復号方法が開示される。この方法は、1つ以上の映像領域からなる1つ以上のレイヤからなる映像と、フォーマット規則に従って映像のコーディングされた表現との間で変換を行うことを含み、フォーマット規則は、対応する映像領域の許容スライスタイプに対応して1つ以上の映像領域レベルでコーディングされた表現に1つ以上の構文要素が含まれることを規定する。
【0006】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に従って、1つ以上の映像スライスを構成する1つ以上の映像ピクチャからなる1つ以上のレイヤを含む映像と、映像のコーディングされた表現との間で変換を行うことを含み、フォーマット規則は、第2の規則に従って、スライスレベルでのコーディングモードの有効化または使用に関する構文要素が、ピクチャヘッダまたはスライスヘッダのいずれかの間に最大1回含まれることを規定する。
【0007】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に従って、1つ以上の映像スライスを含む1つ以上の映像ピクチャと、この映像のコーディング表現との間で変換を行うことを含み、このフォーマット規則は、映像ピクチャにおける許可されたスライスタイプが、このコーディング表現において参照ピクチャリストを信号通知するか、またはこのコーディング表現から生成可能にするかを制御することを規定する。
【0008】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のサブピクチャを含む1つ以上の映像ピクチャを含む映像と、この映像のコーディング表現との間で変換を行うことを含み、このコーディング表現はフォーマット規則に準拠し、このフォーマット規則は、映像ピクチャの非コーディングサブピクチャの処理を規定する。
【0009】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のサブピクチャを含む映像とこの映像のビットストリームとの間で変換を行うことを含み、この1つ以上のピクチャおよび/またはこの1つ以上のサブピクチャは順序規則に従ってこのビットストリームに含まれ、この順序規則は、このビットストリームにおける現在の瞬時復号更新(IDR)ピクチャまたは現在のIDRサブピクチャの位置の、現在のIDRピクチャまたは現在のサブピクチャの現在のスライスのための参照ピクチャリストにおけるエントリによって参照される別のピクチャとの間の関係を規定する。
【0010】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に基づいて、1つ以上のサブピクチャおよび/または1つ以上のスライスを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このフォーマット規則は、このアクセスユニットがこの映像における各アクセスユニットのためのイントラランダムアクセスポイント(IRAP)アクセスユニットであるかまたは漸次復号更新(GDR)アクセスユニットであるかを示すアクセスユニットの指示を含めることを許可する。
【0011】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に基づいて、1つ以上のサブピクチャおよび/または1つ以上のスライスを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このフォーマット規則は、あるピクチャにおいてスライスタイプが許可されるかどうかの指示が、このピクチャのピクチャ条件に基づいて選択的にこのビットストリームに含まれることを規定する。
【0012】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のサブピクチャおよび/または1つ以上のスライスを含む1つ以上のピクチャを含む映像とこの映像のビットストリームとの間で変換を行うことを含み、このフォーマット規則は、ALF(適応ループフィルタ)適応パラメータセットのために、少なくとも2つまたは4つの構文要素のうちの1つを特定の値に設定することを規定する。
【0013】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に従って、1つ以上のピクチャを含む映像とこの映像のビットストリームとの間で変換を行うことを含み、このフォーマット規則は、フィルタ存在フラグおよび/またはフィルタ係数の指示を信号通知するかどうかおよび/またはどのように信号通知するかは、適応パラメータセットRBSP(生バイト配列ペイロード)における適応ループフィルタリングデータ構造および/または構文要素を有する予めコーディングされた情報に依存することを規定する。
【0014】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に従って、1つ以上のピクチャを含む映像とこの映像のビットストリームとの間で変換を行うことを含み、このフォーマット規則は、ピクチャよりも小さい映像領域に対して、適応パラメータセット(APS)にその副情報が含まれるコーディングツールに対応する複数のAPSを参照することを可能にする。
【0015】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に従って、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このフォーマット規則は、インループフィルタリング動作を除く復号処理においてコーディングされたピクチャのサブピクチャをピクチャとして扱うかどうかを示す第1の変数の値を、ビットストリームにおけるサブピクチャ情報の存在を示す第2の変数に依存して推論する方法を規定する。
【0016】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に従って、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このフォーマット規則は、1つ以上の条件が満たされることに呼応して、ピクチャパラメータセットを参照するピクチャへのデブロッキングフィルタの適用可能性を示す変数が、このピクチャパラメータセットを参照するスライスにデブロッキングフィルタを適用することを示す第1の値、またはこのピクチャパラメータセットを参照するスライスにこのデブロッキングフィルタは無効とされていることを示す第2の値、を有することを規定する。
【0017】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に従って、1つ以上のスライスを含む1つ以上の映像ユニットを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このフォーマット規則は、ジョイント彩度残差コーディングに使用される量子化パラメータオフセットが、スライスレベルよりも大きい1つ以上の映像ユニットレベルに含まれることを規定する。
【0018】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に従って、1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うことを含み、このフォーマット規則は、(i)ピクチャヘッダレベルでのLMCS(彩度スケーリングを伴う輝度マッピング)モード識別を示す変数をコーディングするために使用される1つ以上のビットの固定または可変の長さと、(ii)この変数の値の範囲と、を規定する。
【0019】
別の例示的な態様において、別の映像処理方法が開示される。この方法は、フォーマット規則に従って、1つ以上のピクチャを含む映像とこの映像のビットストリームとの間で変換を行うことを含み、このフォーマット規則は、(i)ピクチャヘッダレベルでのスケーリングリストモード識別を示す変数をコーディングするために使用される1つ以上のビットの固定または可変の長さと、(ii)この変数の値の範囲と、を規定する。
【0020】
さらに別の例示的な態様において、映像エンコーダ(符号化)装置が開示される。この映像エンコーダは、上述した方法を実装するように構成された処理装置を備える。
【0021】
さらに別の例示的な態様において、映像デコーダ(復号)装置が開示される。この映像デコーダは、上述した方法を実装するように構成された処理装置を備える。
【0022】
さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の1つを処理装置が実行可能なコードの形式で実施する。
【0023】
これらのおよび他の特徴は、本明細書全体にわたって説明される。
【図面の簡単な説明】
【0024】
図1】映像処理システム例を示すブロック図である。
図2】映像処理装置のブロック図である。
図3】映像処理方法の一例を示すフローチャートである。
図4】本発明のいくつかの実施形態による映像コーディングシステムを示すブロック図である。
図5】本発明のいくつかの実施形態によるエンコーダを示すブロック図である。
図6】本発明のいくつかの実施形態によるデコーダを示すブロック図である。
図7A】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7B】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7C】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7D】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7E】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7F】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7G】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7H】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7I】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7J】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
図7K】開示される技術のいくつかの実装形態に基づく、映像処理の例示的な方法のフローチャートを示す。
【発明を実施するための形態】
【0025】
【化1】
【0026】
1.導入
【0027】
本明細書は、映像コーディング技術に関する。具体的には、双方向予測スライスにのみ適用可能な、許可されたスライスタイプの信号通知および関連するコーディングツールの改良、並びに非コーディングサブピクチャのサポートに関する。この考えは、個々にまたは様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているVVC(Versatile Video Coding)をサポートする任意の映像コーディング規約または非標準映像コーデックに適用されてもよい。
【0028】
2.略語
【0029】
ALF Adaptive Loop Filter(適応ループフィルタ)
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
AUD Access Unit Delimiter(アクセスユニット区切り文字)
AVC Advanced Video Coding(高度映像コーディング)
CLVS Coded Layer Video Sequence(コーディングされたレイヤ映像シーケンス)
CPB Coded Picture Buffer(コーディングされたピクチャバッファ)
CRA Clean Random Access(クリーンランダムアクセス)
CTU Coding Tree Unit(コーディングツリーユニット)
CVS Coded Video Sequence(コーディングされた映像シーケンス)
CVSS Coded Video Sequence Start(コーディングされた映像シーケンス開始)
DCI Decoding Capability Information(復号能力情報)
DPB Decoded Picture Buffer(復号されたピクチャバッファ)
DU Decoding Unit(復号ユニット)
EOB End Of Bitstream(ビットストリーム終端)
EOS End Of Sequence(シーケンス終端)
GDR Gradual Decoding Refresh(漸次的復号更新)
HEVC High Efficiency Video Coding(高効率映像コーディング)
HRD Hypothetical Reference Decoder(仮想参照デコーダ)
IDR Instantaneous Decoding Refresh(瞬時復号更新)
JEM Joint Exploration Model(共同探索モデル)
LMCS Luma Mapping with Chroma Scaling(彩度スケーリングを伴う輝度マッピング)
MCTS Motion-Constrained Tile Sets(動き制約タイルセット)
NAL Network Abstraction Layer(ネットワーク抽象化レイヤ)
OLS Output Layer Set(出力レイヤセット)
PH Picture Header(ピクチャヘッダ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PTL Profile,Tier and Level(プロファイル、層およびレベル)
PU Picture Unit(ピクチャユニット)
RADL Random Access Decodable Leading (ランダムアクセス復号可能リード) (ピクチャ)
RAP Random Access Point(ランダムアクセスポイント)
RASL Random Access Skipped Leading(ランダムアクセススキップリード) (ピクチャ)
RBSP Raw Byte Sequence Payload(生バイトシーケンスペイロード)
RPL Reference Picture List(参照ピクチャリスト)
SAO Sample Adaptive Offset(サンプル適応オフセット)
SEI Supplemental Enhancement Information(補足強化情報)
SPS Sequence Parameter Set(シーケンスパラメータセット)
STSA Step-wise Temporal Sublayer Access(段階的時間的サブレイヤーアクセス)
SVC Scalable Video Coding(スケーラブル映像コーディング)
VCL Video Coding Layer(映像コーディングレイヤ)
VPS Video Parameter Set(映像パラメータセット)
VTM VVC Test Model(VVC試験モデル)
VUI Video Usability Information(映像ユーザビリティ情報)
VVC Versatile Video Coding(汎用映像コーディング)
【0030】
3.初期の協議
【0031】
映像コーディングする規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4Visualを作り、両団体はH.262/MPEG-2VideoとH.264/MPEG-4AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。最新のVVCワーキングドラフトJVET-Q2001_vEは、以下からダウンロードすることができる。
【0032】
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v15.zip
【0033】
VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
【0034】
3.1.パラメータセット
【0035】
AVC、HEVC、VVCはパラメータ集合を規定する。パラメータセットのタイプは、SPS、PPS、APS、VPS等である。SPS、PPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVC草案のテキストに含まれている。
【0036】
SPSは、シーケンスレベルのヘッダ情報を搬送するように設計され、PPSは、頻繁に変化しないピクチャレベルのヘッダ情報を搬送するように設計された。SPSおよびPPSを用いると、シーケンスまたはピクチャごとに頻繁に変化する情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、SPSおよびPPSを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。
【0037】
VPSは、マルチレイヤのビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を搬送するために導入された。
【0038】
APSは、コーディングするためにかなりのビットを必要とし、複数のピクチャによって共有され得る、このようなピクチャレベルまたはスライスレベルの情報を搬送するために導入された。そして、シーケンスにおいて、非常に多くの異なる変形例が存在し得る。
【0039】
3.1.1. 映像パラメータセット(VPS)
【0040】
最新のVVCドラフトテキスト(JVET-Q2001-vE/v15)の構文テーブルと複数の構文要素の意味論は、以下のように定義されている。
【0041】
【表1】
【0042】
3.1.2. シーケンスパラメータセット(SPS)
【0043】
最新のVVCドラフトテキスト(JVET-Q2001-vE/v15)の構文テーブルと複数の構文要素の意味論は、以下のように定義されている。
【0044】
【表2】

【表3】
【0045】
3.1.3. 一般制約フラグ
【0046】
【表4】
【0047】
1に等しいno_bdof_constraint_flagは、sps_bdof_enabled_flagが0に等しいことを規定する。0に等しいno_bdof_constraint_flagは、このような制約を課さない。
1に等しいno_dmvr_constraint_flagは、sps_dmvr_enabled_flagが0に等しいことを規定する。0に等しいno_dmvr_constraint_flagは、このような制約を課さない。
1に等しいno_bcw_constraint_flagは、sps_bcw_enabled_flagが0に等しいことを規定する。0に等しいno_bcw_constraint_flagは、このような制約を課さない。
1に等しいno_ciip_constraint_flagは、sps_ciip_enabled_flagが0に等しいことを規定する。0に等しいno_cipp_constraint_flagは、このような制約を課さない。
1に等しいno_gpm_constraint_flagは、sps_gpm_enabled_flagが0に等しいことを規定する。0に等しいno_gpm_constraint_flagは、このような制約を課さない。
【0048】
3.1.4. ピクチャパラメータセット(PPS)
【0049】
最新のVVCドラフトテキスト(JVET-Q2001-vE/v15)の構文テーブルと複数の構文要素の意味論は、以下のように定義されている。
【0050】
【表5】
【0051】
0に等しいnum_ref_idx_active_minus1[i]は、iが0に等しい場合、PまたはBスライスの変数NumRefIdxActive[0]の推論値をnum_ref_idx_active_override_flag=0で規定し、0に等しいnum_ref_idx_active_override_flagは、iが1に等しい場合、Bスライスの変数NumRefIdxActive[1]の推論値をnum_ref_idx_active_override_flag=0で規定する。num_ref_idx_default_active_minus1[i]の値は、0~14の範囲内にあるものとする。
0に等しいsps_weighted_bipred_flagは、PPSを参照しているB個のスライスに対して明示的な重み付け予測が適用されないことを規定する。1に等しいsps_weighted_bipred_flagは、PPSを参照しているB個のスライスに対して明示的な重み付け予測が適用されることを規定する。sps_weighted_bipred_flagが0に等しい場合、pps_weighted_bipred_flagの値は0に等しいものとする。
【0052】
3.1.5. DPBパラメータ構文
【0053】
最新のVVCドラフトテキスト(JVET-Q2001-vE/v15)の構文テーブルと複数の構文要素の意味論は、以下のように定義されている。
【0054】
【表6】
【0055】
7.4.5 DPBパラメータ意味論
【0056】
dpb_parameters()構文構造は、1つ以上のOLSのために、DPBサイズ、最大ピクチャ再配列数、および最大待ち時間の情報を提供する。
dpb_parameters()構文構造がVPSに含まれている場合、このdpb_parameters()構文構造が適用されるOLSは、VPSによって規定される。SPSにdpb_parameters()構文構造が含まれる場合、SPSを参照するレイヤのうち、最下位のレイヤのみを含むOLSに適用され、この最下位のレイヤは独立したレイヤである。
【0057】
max_dec_pic_buffering_minus1[i]プラス1は、Htidがiに等しい場合、ピクチャ記憶バッファの単位でDPBの最大必要サイズを規定する。max_dec_pic_buffering_minus1[i]の値は、0~MaxDpbSize-1の範囲内とする。ただし、MaxDpbSizeは、条項A.4.2に規定されるとおりである。iが0より大きい場合、max_dec_pic_buffering_minus1[i]は、max_dec_pic_buffering_minus1[i]以上であるものとする。iが0からmaxSubLayersMinus1-1までの範囲内において、max_dec_pic_buffering_minus1[i]が存在しない場合、subLayerInfoFlagが0に等しいため、max_dec_pic_buffering_minus1[maxSubLayersMinus1]に等しいと推論される。
【0058】
max_num_reorder_pics[i]は、Htidがiに等しい場合、OLSにおける任意のピクチャの復号順に先行し、かつそのピクチャの出力順に後続することができるOLSの最大許容ピクチャ数を規定する。max_num_reorder_pics[i]の値は、0~max_dec_pic_buffering_minus1[i]の範囲内にあるものとする。iが0より大きい場合、max_num_reorder_pics[i]は、max_num_reorder_pics[i]以上であるものとする。iが0~maxSubLayersMinus1-1の範囲内にあるとき、subLayerInfoFlagが0に等しいため、max_num_reorder_pics[i]が存在しない場合、max_num_reorder_pics[maxSubLayersMinus1]に等しいと推論される。
【0059】
0でないmax_latency_increase_plus1[i]は、MaxLatencyPictures[i]の値を計算するために用いられ、Htidがiに等しい場合に出力順でOLSの任意のピクチャに先行し復号順でそのピクチャに後続できる最大数のピクチャを規定する。
max_latency_increase_plus1[i]が0でない場合、MaxLatencyPictures[i]の値は、以下のように規定される。
MaxLatencyPictures[i]=max_num_reorder_pics[i]+max_latency_increase_plus1[i]-1 (7-110)
max_latency_increase_plus1[i]が0に等しい場合、対応する制限は表されない。
max_latency_increase_plus1[i]の値は、0~232-2である。iが0からmaxSubLayersMinus1-までの範囲内においてmax_latency_increase_plus1[i]が存在しない場合、subLayerInfoFlagが0に等しいため、それはmax_latency_increase_plus1[maxSubLayersMinus1]に等しいと推論される。
【0060】
3.2. VVCにおけるピクチャヘッダ(PH)およびスライスヘッダ(SH)
【0061】
HEVCと同様に、VVCにおけるスライスヘッダは、特定のスライスに関する情報を伝達する。これは、スライスアドレス、スライスタイプ、スライスQP、ピクチャオーダカウント(POC)最下位ビット(LSB)、RPSおよびRPL情報、重み付け予測パラメータ、ループフィルタリングパラメータ、タイルのエントリオフセット、およびWPPなどを含む。
【0062】
VVCは、特定のピクチャのためのヘッダパラメータを含むピクチャヘッダ(PH)を導入した。各ピクチャは、1つのPHまたは1つのPHのみを有する必要がある。PHは、基本的に、PHが導入されなかったとした場合に、それぞれが1つのピクチャのすべてのスライスに対して同じ値を有するとき、スライスヘッダにあったであろうパラメータを搬送する。これらは、IRAP/GDRピクチャ指示、インター/イントラスライス許可フラグ、POC LSB、およびオプションとしてPOC MSB、RPL、デブロッキング、SAO、ALF、QPデルタ、および重み付き予測、コーディングブロック分割情報、仮想境界、同一位置ピクチャ情報等に関する情報を含む。ピクチャのシーケンス全体における各ピクチャは1つのスライスのみを含むことが多い。このような場合、各ピクチャに少なくとも2つのNALユニットを有することを許可しないために、PH構文構造は、PH NALユニットまたはスライスヘッダのいずれかに含めることができる。
【0063】
VVCにおいて、時間的動きベクトル予測に使用される同一位置ピクチャの情報は、ピクチャヘッダまたはスライスヘッダのいずれかにおいて信号通知される。
【0064】
3.2.1. ピクチャヘッダ(PH)
【0065】
最新のVVC作業草案()における構文テーブルと複数の構文要素の意味論は、以下のように定義されている。
【0066】
【表7】
【0067】
3.2.2. スライスヘッダ(SH)
【0068】
最新のVVC作業草案()における構文テーブルと複数の構文要素の意味論は、以下のように定義されている。
【0069】
【表8】

【表9】
【0070】
slice_typeは、表9に従って、スライスのコーディングするタイプを規定する。
【0071】
【表10】
【0072】
存在しない場合、slice_typeの値は2に等しいと推測される。
ph_intra_slice_allowed_flagが0に等しい場合、slice_typeの値は0または1に等しいものとする。nal_unit_typeがIDR_W_RADL~CRA_NUTの範囲内にあり、かつvps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]が1に等しい場合は、slice_typeは2に等しいものとする。
【0073】
3.3 JVET-R0052における最近の進展
【0074】
JVET-R0052の方法#2において、1つの許可タイプインデックス(即ち、ph_allowed_slice_types_idc)を追加することが提案され、1つのピクチャにおいてB個のスライスを使用するかどうかは、新規に追加された構文要素から導出され得る。
【0075】
【表11】
【0076】
また、現在のピクチャに複数のスライスタイプが存在し得るかどうかを特定するために、PH構造に新しい構文要素ph_multiple_slice_types_in_pic_flagを追加する。ph_multiple_slice_types_in_pic_flag=1は、ピクチャのコーディングされたスライスが異なるslice_typeの値を有してもよいことを規定する。ph_multiple_slice_types_in_pic_flag=0は、ピクチャのすべてのコーディングされたスライスが同じslice_typeの値を有することを規定する。ph_multiple_slice_types_in_pic_flagが0に等しい場合、ph_slice_typeはさらにピクチャのすべてのスライスに対するslice_typeの値を指定するために信号通知され、スライスヘッダのslice_typeはコーディングされないため、ph_slice_typeの値と等しいと推論される。
【0077】
【表12】

【表13】
【0078】
【表14】

【表15】
【0079】
7.4.3.7 ピクチャヘッダ構造意味論
【0080】
【化2】
【0081】
【表16】
【0082】
【化3】
【0083】
[[0に等しいph_inter_slice_allowed_flagは、ピクチャのすべてのコーディングされたスライスのslice_typeが2であることを規定する。1に等しいph_inter_slice_allowed_flagは、slice_typeが0または1に等しいピクチャに1つ以上のコーディングされたスライスがあってもなくてもよいことを規定する。[Ed.(YK):このフラグが0に等しいことを条件とする構文要素の推論規則の必要性/正確性をダブルチェックする。]
【0084】
0に等しいph_intra_slice_allowed_flagは、ピクチャのすべてのコーディングされたスライスが有するslice_typeは0または1に等しいことを規定する。1に等しいph_intra_slice_allowed_flagは、ピクチャにおいて、2に等しいslice_typeを持つ1つ以上のコーディングスライスで存在しても存在していなくてもよいことを規定する。存在しない場合、ph_intra_slice_allowed_flagの値は1に等しいと推論される。[Ed.(YK):このフラグが1に等しいことを条件とする構文要素の推論規則の必要性/正確性をダブルチェックする。]]]
【0085】
【化4】
【0086】
7.4.8.1 一般スライスヘッダ意味論
【0087】
slice_typeは、表9に従って、スライスのコーディングするタイプを規定する。
【0088】
【表17】
【0089】
【化5】
【0090】
[[ph_intra_slice_allowed_flagが0に等しい場合、slice_typeの値は0または1に等しいものとする。]]nal_unit_typeがIDR_W_RADL~CRA_NUTの範囲内にあり、かつvps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]が1に等しい場合は、slice_typeは2に等しいものとする。
【0091】
7.4.8.2 重み予測パラメータ意味論
【0092】
num_l1_weightsは、pps_weighted_bipred_flagおよびwp_info_in_ph_flagが共に1に等しい場合に、参照ピクチャーリスト1のエントリに対して信号通知されるウェイトの数を規定する。num_l1_weightの値は、0~Min(15,num_ref_entries[1][RplsIdx[1]])の範囲内にあるものとする。
【0093】
【化6】
【0094】
PPSにおいて、新しい構文要素pps_multiple_slice_types_in_pic_flagをさらに信号通知することができる。pps_multiple_slice_types_in_pic_flagが0に等しい場合、ph_multiple_slice_types_in_pic_flagはPPSを参照するすべてのPHに対して0に等しいと推論される。
【0095】
VVC草案8に対する関連する修正は、赤色で書き込まれ、黄色で強調表示され、以下に提供される。
【0096】
【表18】
【0097】
方法1のPH
【0098】
7.3.2.7 ピクチャヘッダ構造構文
【0099】
【表19】
【0100】
方法2のPH
【0101】
【表20】
【0102】
7.4.3.4 ピクチャーパラメータセットRBSP意味論
【0103】
【化7】
【0104】
3.4. JVET-R0151におけるコーディングされていないサブピクチャおよび潜在的な応用
【0105】
本願において、コーディングされていないサブピクチャを有効にするメカニズムによって、どのようにVVCを拡張することができるかが示される。サブピクチャがピクチャを完全に満たさない場合、完全に未使用の領域を設けることによって、未コーディングサブピクチャを効率的なコーディングに用いることができる。OMAFユースケース、および4×3キューブマップの360°映像コーディングの例を示す。さらに、コーディングされていないサブピクチャを使用して、コーディングデータではなく、既にコーディングされたコンテンツから生成されたコンテンツで満たされている空間を確保することができる。ここで、360°映像のための高レベルで効率的なジオメトリパディングの例を示す。
【0106】
3.5 APS
【0107】
【表21】
【0108】
ALF APSデータのための構文テーブル
【0109】
【表22】

【表23】
【0110】
明示的スケーリングリストAPSデータのための構文テーブル
【0111】
【表24】
【0112】
【表25】
【0113】
ALF APSの使用(オン/オフ制御および必要に応じて1つまたは複数のAPSインデックス)は、PHまたはSHのいずれかに信号通知されるが、両方は通知されない。1つのピクチャ/スライスに対して、複数のALF APSを信号通知することができる。明確なスケーリングリストおよびLMCSの場合、PHにおいて、明確なスケーリングリストを示すようにフラグが通知され、少なくとも1つのスライスに対してLMCSが有効にされる。また、有効とされている場合、1つのAPSインデックスがさらに信号通知される。
【0114】
【表26】
【0115】
4. 開示される技術的解決策によって解決される技術課題
【0116】
現在のVVCの本文およびJVETの最近の進歩には、以下の問題がある。
【0117】
1. 最新のVVCドラフトテキスト(JVET-Q2001-vE/v15)では、ピクチャヘッダ構造構文に表されているように、許容スライスタイプに関する2つのPH構文要素、すなわちph_inter_slice_allowed_flagとph_intra_slice_allowed_flagが含められている。この2つのフラグにより、Iスライスコーディングに関連する構文要素はph_intra_slice_allowed_flagが真の時にのみ信号通知され、インタースライスコーディングに関連する構文要素はph_inter_slice_allowed_flagが真の時にのみ通知される。しかしながら、ph_inter_slice_allowed_flagが1に等しい場合、デコーダは、ピクチャがBスライスを含むかどうかを知らない。一部のアプリケーション、例えば、オンラインゲーム、映像会議、映像監視は、しばしばPおよびIスライスのみを使用する。したがって、Bスライスが許可されるかどうかの指示がある場合、このようなアプリケーションのデコーダは、Bスライスが含まれていないビットストリームのみを要求/使用することを選択することができ、さらに、この指示を使用して、複数の不必要なパラメータを送信することを回避することができる。
【0118】
2. JVET-R0052では、推薦される変更はPHおよびSHにのみ適用される。1つのピクチャ内で同じスライスタイプしか有することができないかどうか、および/または1つのピクチャ内でどのような種類の許可されたスライスタイプが有効とされるかについて、より高いレベルの制御は存在しない。また、双方向予測のみに関連するある構文要素が存在しない場合、値をどのように推論するかについては説明しない。
【0119】
3. JVET-R0191の項目1において、sps_ptl_dpb_hrd_params_present_flagの値がvps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]と等しいことという制約を以下に置き換えることが提案される。
sps_ptl_dpb_hrd_params_present_flagの値は、1つのレイヤのみを含むOLSがある場合、そのレイヤIDがSPSのnuh_layer_idと等しい場合に1に等しいとする。
しかし、この変更により、「1つのレイヤのみを含むOLSがある場合」という条件によってVPS依存性が導入される。別の問題は、単一レイヤビットストリームの場合、sps_ptl_dpb_hrd_params_present_flagの値は1に等しくなければならず、これは変更された制約によって捕捉されないことである。
【0120】
4. JVET-R0267において、以下の制約が提案された。現在のピクチャがIDRピクチャであり、sps_idr_rpl_present_flagが1である場合、RefPicList[0]またはRefPicList[1]のうち、出力順または復号順において、復号順で(存在する場合)前のIRAPピクチャに先行するエントリが参照するピクチャは存在しない。
しかしながら、この制約は単レイヤビットストリームにしか適用されない。
【0121】
5. JVET-R0042において、VVCに対して次のような変更が提案された。
1)各ピクチャタイプに対して、対応するサブピクチャタイプが定義される。
2)用語「関連するGDRサブピクチャ」および「関連するIRAPサブピクチャ」も定義される。
3)nal_unit_typeがCRA_NUTに等しいNALユニットの内容を、「CRAピクチャのコーディングされたスライス」ではなく、「CRAピクチャのコーディングされたスライスまたはサブピクチャ」と呼ぶ。他のVCL NALユニットのタイプについても同様である。
4)1つのピクチャ内の異なるNALユニットタイプを有する任意の2つの隣接するサブピクチャは、両方ともsubpic_transport_as_pic_flag[]が1に等しいことが必要である。
5)前後のAUにおける異なるタイプのピクチャおよび同じレイヤのピクチャのための、相対的な復号順序、出力順序、および予測関係に関する類似した制約は、前後のAUにおける異なるタイプのサブピクチャおよび同じサブピクチャインデックスを有する同じサブレイヤのサブピクチャのために、サブピクチャドメインにおいて規定される。
しかし、IDRサブピクチャのRPLエントリには制約がない。
【0122】
6. JVET-R0065は、VVCに以下の変更を提案した。
1)それぞれのGDR AUは、完成させる(すなわち、CVSに存在する各レイヤのためのピクチャを有する)ことが必要である。それは、GDRピクチャで構成される不完全なAUはGDR AUではないということであり、現在のVVCテキストにおいてIRAPピクチャで構成される不完全なAUはIRAP AUではないということと同様である。
2)irap_or_gdr_au_flagという名前のフラグをAUDに追加し、AUがIRAPであるかGDR AUであるかを指定し、vps_max_layers_minus1が0より大きい場合、各IRAPまたはGDR AUにおけるAUD NALユニットの存在を義務づける。
しかし、IRAPまたはGDR AUを完成させる必要がないが、AUにおける各ピクチャがIRAPまたはGDRピクチャであることが必要である場合、1つ目のピクチャの第1のVCL NALユニットを受信した後、AUがIRAPまたはGDR AUであることをデコーダが理解できるようにするために、AUがIRAPまたはGDR AUであるかどうかの指示が依然として必要である。そのような指示がなければ、デコーダは、AUの最後のピクチャを受信した後(受信した最後のピクチャがOLSの最上位レイヤにある場合)、または次のAUの第1のNALユニットを受信した後(受信した最後のピクチャがOLSの最上位レイヤにない場合)まで、これを知ることができない。
【0123】
7. JVET-R0063では、PHフラグph_lmcs_enabled_flagを2ビットのph_lmcs_mode_idcで置き換え、3つのモード、すなわち無効(モード0)、すべてのスライスに使用(モード1),および有効(モード2)を規定することが提案された。モード1において、1つのピクチャのすべてのスライスに対してLMCSが使用され、SHにおいてLMCS制御フラグの信号通知は必要とされない。slice_lmcs_enabled_flagの意味論はそれに応じて変更される。さらに、ph_chroma_residual_scale_flagの意味論の固定は、ピクチャまたはスライスの彩度残差スケーリングを有効/無効にする意図を反映するように提案された。しかし、JVET-R0063に提案されているph_lmcs_mode_idcは、ue(v)コーディングされてもよい。
【0124】
8. JVET-R0064では、PHフラグph_explicit_scaling_list_enabled_flagを2ビットのph_explicit_scaling_list_mode_idcに置き換え、3つのモード、すなわち無効(モード0)、全スライスに対して使用(モード1)、有効(モード2)を規定することが提案された。モード1において、1つのピクチャのすべてのスライスに対して明確なスケーリングリストが使用され、SHにおいてスケーリングリスト信号通知は必要とされない。しかし、JVET-R0064に提案されたph_explicit_scaling_list_mode_idcは、ue(v)コーディングされてもよい。
【0125】
5. 解決策および実施形態の例示一覧
【0126】
上記課題を解決するために、以下に纏めるような方法が開示されている。これらの以下の項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。
【0127】
パラメータセット(例えば、SPS、VPS、PPS、APS、DCI)および/または一般制約情報構文において、X(例えば、I、またはBまたはP)スライスのみがピクチャ内で許可されるか否か、および/またはピクチャ内のスライスタイプの許可セットを示すために、1つ以上の構文要素を追加することができる。
【0128】
パラメータセットおよび一般的な制約情報構文において
【0129】
1. SPS、PPS等の映像ユニットにおいて、1つまたは複数の構文要素(例えば、sps_allowed_slice_idc)を追加し、CLVSのピクチャにおける許可されたスライスタイプを特定する。
1) 一例において、第1の構文要素(例えば、sps_allowed_slice_idc)を追加し、その意味論は、sps_allowed_slice_idcがXに等しいことにより、ピクチャが以下の許可されたスライスタイプまたはそれらの任意の組み合わせのみを許可することを規定する。
i.{all I},{all P},{all B},{I,P},{I,B},{P,B},{I,B,P}
ii. 一例において、第1の構文要素は、固定長(例えば、u(1)、u(2)またはU(3))でコーディングされ、単項コーディングされ、切り捨て単項コーディングされ、EGコーディングされてもよい。
iii. あるいは、SPSまたはPPSで信号通知される1つまたは複数の構文要素の信号通知および/または意味論および/または推論は、第1の構文要素がある条件を満たす場合にのみ信号通知されるように変更されてもよい。
a. 一例において、1つまたは複数の構文要素は、例えば、双方向予測または混合イントラ・インターコーディング、または複数の予測ブロックからの線形/非線形重み付けによる予測など、複数の予測信号を必要とするコーディングツールを可能にするためのものである。
b. 一例において、1つまたは複数の構文要素は、以下を含むことができるが、これらに限定されない。
a) sps_weighted_bipred_flag
b) sps_bdof_enabled_flag
c) sps_smvd_enabled_flag
d) sps_dmvr_enabled_flag
e) sps_bcw_enabled_flag
f) sps_ciip_enabled_flag
g) sps_gpm_enabled_flag
c. 一例において、第1の構文要素が、映像ユニットに関連付けられたCLVSが1つ以上のBスライスを含むことができることを規定した場合にのみ、1つ以上の構文要素に信号通知を行うことができる。そうでない場合、信号通知はスキップされ、構文要素の値が推論される。
d. 一例において、sps_b_slice_allowed_flagが0に等しい場合、構文要素sps_weighted_bipred_flag、sps_bdof_enabled_flag、sps_SMVD_enabled_flag、sps_bcw_enabled_flag、sps_chip_enabled_flag、およびsps_gpm_enabled_flagは、信号通知されず、これらの値は推測される。
a) 一例において、それらは、存在しない場合、すべて0であると推論される。
【0130】
【化8】
【0131】
v. あるいは、さらに、第1の構文要素が、CLVSがBスライスを含まないことを規定する場合(例えば、{I,P}、{all I}、{all P}を表すXに等しいsps_allowed_slice_idcのみ)、一般制約情報構文において信号通知される1つまたは複数の構文要素が1に等しいことが必要である。
a. 一例において、1つまたは複数の構文要素は、以下を含むことができるが、これらに限定されない。
a) no_bcw_constraint_flag
b) no_ciip_constraint_flag
c) no_gpm_constraint_flag
d) no_bdof_constraint_flag
e) no_dmvr_constraint_flag
vi. あるいは、さらに、dpb_parameters()で信号通知される1つまたは複数の構文要素の信号通知および意味は、第1の構文要素がある条件を満たす場合にのみ信号通知されるように変更されてもよい。
a. 一例において、1つまたは複数の構文要素は、以下を含むことができるが、これらに限定されない。
a) max_num_reorder_pics
b. 一例において、第1の構文要素が、Bスライスが許可されないと告げる場合、max_num_reorder_picsは信号通知されず、0であると推論される。
【0132】
PH/SHにおいて
【0133】
2. PH/SHでは、ピクチャ/スライスにおいてBスライスが許可/使用されているかどうかを示すために変数Xが使用され、この変数は、SPS構文要素、および/または許可されたスライスタイプを規定する新しいPH構文要素(例えば、ph_allowed_slice_idc)、および/または他の構文要素(JVET-R0052で使用されているBSliceAllowed)から導出してもよい。
1) 一例において、新しいPH構文要素が追加され、この構文要素にどのように信号を送るかは、SPSにおいて許可されるスライスタイプに依存し得る。
2)あるいは、PHで信号通知される1つまたは複数の構文要素の信号通知および/または意味論および/または推論は、変数に基づいて変更されてもよい。
i. 一例において、1つまたは複数の構文要素は、例えば、双方向予測または混合イントラ・インターコーディング、または複数の予測ブロックからの線形/非線形重み付けによる予測など、複数の予測信号を必要とするコーディングツールを可能にするためのものである。
ii. 一例において、1つまたは複数の構文要素は、以下を含むことができるが、これらに限定されない。
a) ph_collocated_from_l0_flag
b) mvd_l1_zero_flag
c) ph_disable_bdof_flag
d) ph_disable_dmvr_flag
e) num_l1_weights
【0134】
【化9】
【0135】
iv. 一例において、Xが0に等しい(または偽である)場合、mvd_l1_zero_flagは信号通知されず、その値は1であると推論される。
【0136】
【化10】
【0137】
構文要素の影響
【0138】
3. コーディングツールXに関連する構文要素および/またはA(例えば、PH)またはB(例えば、SH)のいずれかに存在し得るが両方には存在しない構文要素群については、AがBに含まれる場合、それらの構文要素の存在の指示の少なくとも一方が信号通知されず、0、すなわちBに存在すると推論してもよい。
1)一例において、コーディングツールXは以下の一つを含んでもよい。
i. インループフィルタ技術 例えば、デブロッキングフィルタ、ALF、SAO
ii. 重み予測
iii. QPデルタ情報
iv. RPL情報
2) 一例において、「AがBに含まれている」という条件は、「PPSがPH構文構造を含むことを指すスライスヘッダ」として定義されてもよく、または「現在のピクチャは1つのスライスのみからなる」として定義されてもよい。
3) 一例において、「これらの構文要素の存在を示す」は、以下の構文要素の1つまたは複数として定義されてもよい。
i.qp_delta_info_in_ph_flag,rpl_info_in_ph_flag,dbf_info_in_ph_flag,sao_info_in_ph_flag,wp_info_in_ph_flag,alf_info_in_ph_flag
【0139】
【化11】

【化12】
【0140】
4. 適合ビットストリームは、そのPOC値が前のピクチャのPOC値よりも大きい場合、スプライシングされたビットストリームにおけるCLVS AUであるスプライシング-ピオントピクチャのために、NoOutputOfPriorPicsFlagを1に等しく設定することを要求する規則に従うものとする。
1) 現在のAUがコーディング映像シーケンス開始(CVSS)AUであり、現在のAUのPicOrderCntValが復号順で前のピクチャのPicOrderCntValよりも大きい場合、NoOutputOfPriorPicsFlagの値は、他の条件に関わらず(例えば、現在のAUにおけるピクチャのno_output_of_prior_pics_flagに関わらず)、1に等しく設定される。
【0141】
5. ピクチャおよび/またはRPL/WP情報において、インタースライス/Bスライス/Pスライスを示す構文要素を信号通知することが許可されるかどうか、および/またはRPL/WP情報の存在の指示は、ピクチャのタイプに依存し、レイヤの独立性が有効化されるかどうかに依存し得る。
【0142】
1) ピクチャおよび/またはRPL/WP情報において、インタースライス/Bスライス/Pスライスを示す構文要素を信号通知することが許可されるかどうか、および/またはRPL/WP情報の存在の指示は、ピクチャのタイプおよびレイヤが独立したレイヤであるかどうか、およびCLVSが1つのレイヤのみを含むかどうかに依存し得る。
2) 一例において、構文要素は、ピクチャヘッダ(PH)またはPPSにおいて信号通知されてもよい。
3) 一例において、構文要素を信号通知するかどうかは、より高いレベルの映像ユニット(例えば、SPS)において信号通知される1つまたは複数の構文要素に依存し得る。
【0143】
4) 一例において、構文要素は、IRAPピクチャのために信号通知されず、レイヤ独立性が有効化される。
i. 逆に、構文要素は、独立したレイヤにおけるIRAPピクチャまたはスライスのために信号通知されない。
ii. 一例において、VVCにおけるph_inter_slice_allowed_flagは、IRAPピクチャのために信号通知されず、レイヤ独立性が有効化される。
iii. 一例において、VVCにおけるslice_typeは、IRAPピクチャのために信号通知されず、レイヤ独立性が有効化される。
iv. 一例において、JVET-R0052におけるph_slice_typeは、IRAPピクチャのために信号通知されず、レイヤ独立性が有効化される。
v. 一例において、VVCにおけるph_inter_slice_allowed_flagは、独立レイヤ(すなわち、vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]が1に等しいレイヤ)におけるIRAPピクチャ(すなわち、すべてのコーディングされたスライスNALユニットがIDR_W_RADL,IDR_N_LPまたはCRA_NUTに等しいNALユニットタイプを有している場合のピクチャ)に対して信号通知されず、0に等しいと推論される。
vi. 一例において、VVCにおけるslice_typeは、独立したレイヤにおけるIRAPスライス(すなわち、nal_unit_typeがIDR_W_RADL、IDR_N_LP、またはCRA_NUTに等しいコーディングされたスライスNALユニット)のために信号通知されず、2に等しいと推論される。
vii. 一例において、JVET-R0052におけるph_slice_typeは、独立したレイヤにおけるIRAPピクチャのために信号通知されたものではなく、2に等しいと推論される。
【0144】
5) 一例において、構文要素は、単レイヤCLVSにおけるIRAPピクチャまたはスライスのために信号通知されない。
i. 一例において、VVCにおけるph_inter_slice_allowed_flagは、CLVSが一つのレイヤだけを含む場合(すなわち、sps_video_parameter_set_idが0に等しい場合)、IRAPピクチャ(すなわち、すべてのコーディングされたスライスNALユニットがIDR_W_RADL,IDR_N_LPまたはCRA_NUTに等しいNALユニットタイプを有している場合のピクチャ)に対して信号通知されず、0に等しいと推論される。
ii. 一例において、CLVSが1つのレイヤのみを含む場合、VVCにおけるslice_typeは、IRAPスライス(すなわち、nal_unit_typeがIDR_W_RADL、IDR_N_LP、またはCRA_NUTに等しいコーディングされたスライスNALユニット)のために信号通知されない。
iii. 一例において、JVET-R0052におけるph_slice_typeは、CLVSが1つのレイヤのみを含む場合、IRAPピクチャのために信号通知されない。
【0145】
6) 一例において、構文要素は、IRAPピクチャに対して信号通知されず、レイヤ独立性が有効化され、このような情報の存在によっても、それらがPH内にあることがわかる。
i. 一例において、構文要素は、独立したレイヤにおけるIRAPピクチャのために、たとえこのような情報が存在することによってIRAPピクチャがPH内にあることが分かったとしても、信号通知されない。
ii. gdr_or_irap_pic_flagが1に等しく、gdr_pic_flagが0に等しい場合、idr_pic_flagと呼ばれる新しいフラグを提案し、ピクチャヘッダに関連付けられたピクチャがIDRピクチャであるかどうかを特定する。および、以下が適用されてもよい。
a. sps_idr_rpl_present_flagが0に等しく、レイヤ独立性が有効化され、idr_pic_flagが1に等しい場合、rpl_info_in_ph_flagの値が1に等しい場合でも、RPL信号通知はPHに存在しない。
b. sps_idr_rpl_present_flagが0に等しく、レイヤ独立性が有効化され、idr_pic_flagが1に等しい場合、wp_info_in_ph_flagの値が1に等しい場合でも、WP信号通知はPHに存在しない。
c. sps_idr_rpl_present_flagが0に等しく、現在のレイヤが独立レイヤであり(すなわち、vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]が1に等しい)およびidr_pic_flagが1に等しい場合、RPL信号通知は、rpl_info_in_ph_flagの値が1に等しい場合であっても、PH内に存在しない。
d. sps_idr_rpl_present_flagが0に等しく、現在のレイヤは独立したレイヤであり、idr_pic_flagが1に等しい場合、wp_info_in_ph_flagの値が1であっても、WP信号通知はPHに存在しない。
【0146】
7) 一例において、構文要素は、単一レイヤCLVSにおけるIRAPピクチャに対して、このような情報が存在することによってIRAPピクチャがPH内にあることが分かった場合であっても、信号通知されない。
i. gdr_or_irap_pic_flagが1に等しく、gdr_pic_flagが0に等しい場合、idr_pic_flagと呼ばれる新しいフラグを提案し、ピクチャヘッダに関連付けられたピクチャがIDRピクチャであるかどうかを特定する。および、以下が適用されてもよい。
a. sps_idr_rpl_present_flagが0に等しく、CLVSが1つのレイヤのみを含み(すなわち、sps_video_parameter_set_idが0に等しい)、idr_pic_flagが1に等しい場合、rpl_info_in_ph_flagの値が1に等しい場合でも、RPL信号通知はPHに存在しない。
b. sps_idr_rpl_present_flagが0に等しく、CLVSが1つのレイヤのみを含み、idr_pic_flagが1に等しい場合、wp_info_in_ph_flagの値が1に等しい場合でも、WP信号通知はPHに存在しない。
【0147】
6. sps_video_parameter_set_idが0より大きく、かつnuh_layer_idがSPSのnuh_layer_idと等しい1つのレイヤのみを含むOLSが存在する場合、またはsps_video_parameter_set_idが0に等しい場合、sps_ptl_dpb_hrd_params_present_flagの値を1とすることが提案される。
【0148】
関連する参照リスト
【0149】
7. 参照ピクチャリストの信号通知および/または生成は、CLVSのピクチャにおける許可されたスライスタイプに依存してもよい。
1) 例えば、CLVSにおいてBスライスが許可されていない場合、参照リスト1を構築するための1つまたは複数の構文要素は信号通知されなくてもよい。
2) 例えば、CLVSにおいてBスライスが許可されていない場合、参照リスト1を構築する1つまたは複数の手順を実行しなくてもよい。
【0150】
関連するAPS
【0151】
8. 2つのAPSは、シーケンス、CLVSまたはビットストリームにおいて同じAPS_idを有さないことが必要である。
1) あるいは、同じAPSタイプを有する2つのAPS(例えば、ALF APSまたはLMCS APS)は、シーケンス、CLVSまたはビットストリームにおいて同じAPS_idを有さないことが必要である。
2) あるいは、同じAPSタイプを有する2つのAPS(例えば、ALF APSまたはLMCS APS)は、同じAPS_idを有することが許可されるが、シーケンス、CLVSまたはビットストリームにおいて同じ内容を有していなければならない。
3) あるいは、同じAPSタイプを有する2つのAPS(例えば、ALF APSまたはLMCS APS)が同じAPS_idを有することが許可される。そして、先に信号通知されたAPSを、後に信号通知されたAPSに置き換える。
4) あるいは、同じAPSタイプを有する2つのAPS(例えば、ALF APSまたはLMCS APS)が同じAPS_idを有することが許可される。そして、後に信号通知されたAPSは無視される。
【0152】
9. 2つの異なるパラメータセット(例えば、APSおよびSPS)は、互いに依存してもよく、第1のパラメータセットにおける構文要素または構文要素に基づいて導出された変数は、第2のパラメータセットにおける別の構文要素を条件付きで信号通知するために使用されてもよい。
1) あるいは、構文要素または第1のパラメタセットにおける構文要素に従って導出された変数は、第2のパラメータセットにおける別の構文要素の値を導出するのに用いることができる。
【0153】
コーディングされていない関連するサブピクチャ
【0154】
10. 非コーディングサブピクチャの境界をピクチャ境界として扱わなければならないことが提案される。
【0155】
11. ループフィルタリング(例えば、ALF/deblcoking/SAO)は、非コーディングサブピクチャの境界を横切ることができないことが提案される。
【0156】
12. 1つのサブピクチャしかない場合、それは非コーディングサブピクチャであってはならないことが必要である。
【0157】
13. 非コーディングサブピクチャを抽出できないことが必要である。
【0158】
14. 非コーディングサブピクチャに関連する情報は、SEIメッセージで信号通知されてもよいことが提案される。
【0159】
15. 1つの非コーディングサブピクチャは1つのスライスしか有することができないことが必要である。
【0160】
16. 左上のサブピクチャは非コーディングサブピクチャであることができないことが必要である。
【0161】
17. 少なくとも1つのサブピクチャが非コーディングサブピクチャでないことが必要である。
【0162】
18. 副情報関連サブピクチャをコーディングするかどうか、および/またはどのようにコーディングするかは、サブピクチャが非コーディングサブピクチャであるかに依存し得る。
1) 一例において、非コーディングサブピクチャである場合、副情報を信号通知する必要がない。
【0163】
19. また、上記の要件について、上記の場合に応じて、条件付きで信号通知するものと修正されてもよい。
【0164】
関連するIDRピクチャおよびIDRサブピクチャ
【0165】
20. 以下の制約が求められる:
nuh_layer_idが特定値layerIdに等しい現在のピクチャはIDRピクチャであり、sps_idr_rpl_present_flagが1に等しい場合、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャであって、出力順または復号順において、nuh_layer_idがlayerIdに等しい復号順で先行する任意のIRAPピクチャ(存在する場合)に先行するピクチャ、は存在しないものとする。
【0166】
21. 以下の制約が求められる:
nuh_layer_idが特定の値layerIdに等しくサブピクチャインデックスが特定の値subpicIdxに等しい現在のサブピクチャが、IDRサブピクチャであり、sps_idr_rpl_present_flagが1である場合、RefPicList[0]またはRefPicList[1]のエントリによって参照されるピクチャであって、出力順または復号順において、nuh_layer_idがlayerIdに等しい復号順で先行する任意のIRAPピクチャ(存在する場合)に先行するピクチャ、は存在しないものとする。
【0167】
関連するIDRまたはGDR AU
【0168】
22. IRAP AUは完全である必要はなく、GDR AUは完全である必要がなく、AUがIRAPであるかGDR AUであるかどうかの指示は、各IRAPまたはGDR AUに信号通知されてよく、AUDにおける、VPSで規定されたまたはSEIメッセージにおける最下位レイヤのピクチャのPHに、信号通知されてもよい。
1) 一例において、この指示の信号通知は任意のものである。
2) 一例において、VVCに以下の変更が提案されている(追加または修正された文字はイタリック文字および太字で強調表示され、削除された部分には二重括弧で印が付けられている(例えば、[a]は文字「a」の削除を表す))。
コーディング映像シーケンス開始(CVSS)AU:[[CVSのレイヤごとのPUがあり、]]各PUのコーディングされたピクチャがCLVSSピクチャであるAU。
イントラランダムアクセスポイント(IRAP)AU:[[CVSのレイヤごとにPUが存在し、]]各PUのコーディングされたピクチャがIRAPピクチャであるAU。
AUD構文および意味論は、以下のように変更される。
【0169】
【表27】
【0170】
【化13】
【0171】
AUの順序およびそれらのCVSへの関連付けは、以下のように変更される。
ビットストリームは、1つ以上のCVSからなる。
CVSは、1つ以上のAUからなる。PUの順番およびAUとの関連付けは、条項7.4.2.4.3に記載されている。
CVSの最初のAUは、CVSS AUであり、現在の各PUは、CLVSS PUであり、NoOutputBeforeRecoveryFlagが1に等しいIRAP PU、またはNoOutputBeforeRecoveryFlagが1に等しいGDR PU、のいずれかである。
[[各CVSS AUは、CVSに存在する各層に1つのPUを有する。]]
【0172】
許容スライスタイプについて
【0173】
23. ピクチャ内で許可されたX(例えば、Xはイントラ/インター/B/Pである)スライスタイプの指示を信号通知するかどうかは、ピクチャ内のスライスのレイアウトおよび現在のピクチャがIRAPでありインターレイヤ依存性が有効であるか無効であるかどうかに依存してもよい。
1) 一例において、ピクチャ内の許可されたスライスタイプの指示(例えば、ph_intra_slice_allowed_flag)を信号通知するかどうかは、PPSが、ピクチャごとにスライスのみが適用されるのかどうか、および/またはピクチャ分割が使用されないか、および/または、ピクチャごとに矩形スライスおよび1つのスライスのみが使用されるの、および/または、ピクチャが矩形スライスに分割されるかを示すかどうかに依存してもよい。
【0174】
【化14】
【0175】
2) 一例において、ピクチャ内の許可されたスライスタイプの指示(例えば、ph_intra_slice_allowed_flag)を信号通知するかどうかは、より高いレベルの映像ユニット(例えば、SPS)において信号通知される1つまたは複数の構文要素に依存しうる。
i. あるいは、許可されたスライスタイプの指示がない場合、許可されたスライスタイプの指示の推論値は上位レベルの映像ユニットに信号通知される構文要素に依存する。
3) 一例において、ピクチャ内の許可されたスライスタイプ(例えば、ph_inter_slice_allowed_flag)の指示を信号通知するかどうかは、現在のピクチャがIRAPピクチャであり、かつこのピクチャ内のすべてのスライスに対してインターレイヤ依存性が無効であるかどうかに依存する。
i. あるいは、さらに、現在のピクチャがIRAPピクチャであり、かつピクチャ内のすべてのスライスについてインターレイヤ依存性が無効である場合、ph_inter_slice_allowed_flagの推論値は0/falseに設定される。
【0176】
24. ピクチャ内の許容されるX(例えば、Xはインター/B/Pである)スライスタイプの指示を信号通知するかどうかおよび/またはこの指示の推論値は、参照ピクチャの数(例えば、num_ref_entries[0][RplsIdx[0]]および/またはnum_ref_entries[1][RplsIdx[1]])に依存してもよい。
1) 一例において、num_ref_entries[0][RplsIdx[0]]および/またはnum_ref_entries[1][RplsIdx[1]]の両方が0に等しい場合、許可されたX(例えば、Xがインター/B/P)スライスタイプの指示は、信号通知されず、および/またはさらに偽であると推論される。
2) 一例において、num_ref_entries[0][RplsIdx[0]]および/またはnum_ref_entries[1][RplsIdx[1]]の両方が0に等しい場合、許可されたX(例えば、Xがインター/B/Pである)スライスタイプの信号通知される指示が0に等しい。
3) 一例において、num_ref_entries[1][RplsIdx[1]]が0に等しい場合、許可されたX(例えば、XがBである)スライスタイプの指示は、信号通知されず、かつ/または偽であるとさらに推論される。
4) 一例において、num_ref_entries[1][RplsIdx[1]]が0に等しい場合、許可されたX(例えば、XがBである)スライスタイプの信号通知された指示が0に等しいという制約が追加される。
5) 一例において、num_ref_entries[1][RplsIdx[1]]が0に等しい場合、mvd_11_zero_flagおよび/またはph_collocated_from_10_flag、および/またはph_disable_bdof_flagおよび/またはph_disable_bdof_flag、および/またはph_disable_dmvr_flagは1に等しいものとする。
【0177】
ALF APSについて
【0178】
25. ALF APSについては、4つの構文要素(VVCにおけるalf_luma_filter_signal_flag、alf_chroma_filter_signal_flag、alf_cc_cb_filter_signal_flag、alf_cc_cr_filter_signal_flag)の少なくとも1つが1に等しいとする制約を追加してもよい。
1) 代替として、ALF APSのために、2つの構文要素(alf_luma_filter_signal_flag,alf_chroma_filter_signal_flag)のうちの少なくとも1つが1に等しいという制約を追加してもよい
26. フィルタ存在フラグおよび/またはフィルタ係数の指示を信号通知するかどうか/どのように信号通知するかは、適応パラメータセット(APS)RBSP構文におけるalf_data()構造および/または構文要素を用いて予めコーディングされた情報に依存してもよい。
1) あるいは、さらに、指示係数および/またはフィルタ係数が存在しない場合、推論値もまた、alf_data()構造を有する予めコーディングされた情報に依存してもよい。
2) 一例において、alf_cc_cr_filter_signal_flagを信号通知するかどうかは、3つの構文要素(VVCにおけるalf_luma_filter_signal_flag、alf_chroma_filter_signal_flag、alf_cc_cb_filter_signal_flag)のすべてが0であるかどうかに依存してもよい。
i. さらに、この3つのすべてが0に等しい場合、alf_cc_cr_filter_signal_flagの信号通知は、スキップされ、かつ/または真であるとさらに推論される。
3) 一例において、alf_chroma_filter_signal_flagを信号通知するかどうかは、VVCにおけるalf_luma_filter_signal_flagが0に等しいかどうかに依存してもよい。
i. alf_luma_filter_signal_flagが0に等しい場合、alf_chroma_filter_signal_flagの信号通知は、スキップされ、かつ/または真であるとさらに推論される。
【0179】
スケーリングリスト/LMCS APSについて
【0180】
27. 1つのピクチャよりも小さい1つのピクチャ/スライス/タイル/サブピクチャ/ブリック/他の映像ユニット内の複数のX(例えば、Xは、APSにおいて副情報を信号通知する明確なスケーリングリストおよび/またはLMCSおよび/または他のコーディングツールである)APSを使用できるようにすることが提案されている。
1) 代替として、さらに、利用されるべきX APSが、ビットストリームにおいて(例えば、PH/SHにおいて)信号通知されてもよい。
2) 代替として、さらに、利用されるべきX APSのインデックスは、ビットストリームにおいて(例えば、PH/SHにおいて)信号通知されてもよい。
【0181】
28. 使用されるべきX(例えば、Xは明確なスケーリングリストおよび/またはLMCSであり、かつ/または、APSにおいて副情報が通知される他のコーディングツールである)APSは、色成分に依存してもよいことが提案される。
1) 一例において、輝度および彩度の色成分は、異なるX APSを選択してもよい。
2) 一例において、輝度および彩度の成分のために利用されるべきX APSの数は、ビットストリームにおいて(例えば、PH/SHにおいて)別個に信号通知されてもよい。
i. または、さらに、彩度成分のための数を信号通知するかどうかは、輝度成分のためのAPSからの予測/継承が有効化されているかどうかに依存してもよい。
ii. または、さらに、彩度成分のための数を信号通知するかどうかは、輝度成分のためのAPSの数が0に等しくないかまたは0よりも大きいかに依存してもよい。
3) 一例において、輝度および彩度の成分のために利用されるべきX APSのインデックスは、ビットストリームにおいて(例えば、PH/SHにおいて)別個に信号通知されてもよい。
【0182】
29. 使用されるべきX(例えば、XがALF/CC-ALF/明確なスケーリングリストおよび/またはLMCS、および/またはAPSにおいて信号通知される副情報を有する他のコーディングツールである) APSをどのように信号通知するかは、サブピクチャに依存してもよい。
1) 一例において、各サブピクチャに対して、そのオン/オフ制御および対応するX APSを使用するように選択してもよい。
i. あるいは、各サブピクチャに対して、使用されるオン/オフ制御および/またはX APSを信号通知してもよい。
【0183】
サブピクチャについて
【0184】
【化15】
【0185】
デブロッキングフィルタについて
【0186】
31. 以下の場合、1に等しいpps_deblocking_filter_disabled_flagは、スライスに対してデブロッキングフィルタの動作が無効であることを規定し、または、0に等しいpps_deblocking_filter_disabled_flagは、PPSを参照するスライスに対してデブロッキングフィルタの動作が無効であることを規定することが提案される。
1)slice_deblocking_filter_disabled_flagおよびph_deblockig_filter_disabled_flagは存在しない。
2)deblocking_filter_override_enabled_flagは0に等しい
3)deblocking_filter_override_enabled_flagは1に等しく、dbf_info_in_ph_flagは1に等しく、ph_deblocking_filter_disabled_flagは1に等しい。
4)deblocking_filter_override_enabled_flagは1に等しく、dbf_info_in_ph_flagは0に等しく、slice_deblocking_filter_disabled_flagは1に等しい。
【0187】
32. 以下の場合、0に等しいpps_deblocking_filter_disabled_flagは、PPSを参照するスライスにデブロッキングフィルタの動作が適用されること、または、0に等しいpps_deblocking_filter_disabled_flagは、PPSを参照するスライスにデブロックフィルタの動作が有効であることを規定することが提案される。
1)slice_deblocking_filter_disabled_flagおよびph_deblockig_filter_disabled_flagは存在しない。
2)deblocking_filter_override_enabled_flagは0に等しい
3)deblocking_filter_override_enabled_flagは1に等しく、dbf_info_in_ph_flagは1に等しく、ph_deblocking_filter_disabled_flagは0に等しい。
4)deblocking_filter_override_enabled_flagは1に等しく、dbf_info_in_ph_flagは0に等しく、slice_deblocking_filter_disabled_flagは1に等しい。
【0188】
JCCRについて
【0189】
33. JCCR(joint chroma residual coding)に使用されるQPオフセットは、スライスレベルだけではなく、映像ユニット(スライスよりも大きい)で信号通知されてもよい(すなわち、VVCにおける、slice_joint_cbcr_qp_offset)。
1) 一例において、それは、SPS/VPS/DCI/PPS/PHにおけるように、シーケンス/ピクチャレベルで信号通知されてもよい。
2) 一例において、それは複数のレベル(例えば、ピクチャおよびスライスレベル)で信号通知されてもよい。
i. あるいは、さらに、第2のレベルで信号を送るかどうかは、第1のレベルで信号を送るかどうかに依存してもよい。
a. 一例において、それは複数のレベルのうち1つのレベルのみで信号通知されてもよい。
b. 一例において、どのレベルにQPオフセットを信号通知するかの指示は、ビットストリームにおいて信号通知されてもよい。
ii. あるいは、オーバーライドメカニズムが適用され、すなわち、第1のレベル(より高い)で信号通知され、第1のレベル(例えば、ピクチャ)で信号通知された値をオーバーライドするように、第2の(より低い、例えば、スライス)レベルで信号通知するかどうかを示すように、オーバーライドフラグが信号通知されてもよい。
a. 一例において、オーバーライドフラグは、第1のレベルおよび/または第2のレベルに設定されてもよい。
【0190】
LMCSおよびスケーリングリスト制御について
【0191】
34. JVET-R0063のph_lmcs_mode_idcはue(v)コーディングされたものであってもよく、ph_lmcs_mode_idcの値は0から2以下の範囲内に規定されてもよいことが提案される。ph_lmcs_mode_idcが0,1,2に等しい場合の意味論は、JVET-R0063と同じである。
1) あるいは、JVET-R0063のph_lmcs_mode_idcをue(v)コーディングし、ph_lmcs_mode_idcの値を、ピクチャに1つのスライスのみが含まれることが分かっている場合は0から1の範囲内、そうでない場合は0から2の範囲内となるよう規定して もよい。ph_lmcs_mode_idcが0,1,2に等しい場合の意味論は、JVET-R0063と同じである。
2) あるいは、ピクチャが1つのスライスのみを含むことが分かっている場合、JVET-R0063におけるph_lmcs_mode_idcは、u(1)を使用して、すなわち、フラグのように1ビットだけを使用して、値が0または1に等しいようにコーディングされてもよく、そうでない場合、JVET-R0063におけるph_lmcs_mode_idcは、ue(v)でコーディングされ、ph_lmcs_mode_idcの値は、0から2以下の範囲内に規定されてもよい。ph_lmcs_mode_idcが0,1,2に等しい場合の意味論は、JVET-R0063と同じである。
【0192】
35. JVET-R0064におけるph_explicit_scaling_list_mode_idcをue(v)コーディングし、ph_explicit_scaling_list_mode_idcの値は0から2以下の範囲に規定されてもよいことが提案される。ph_explicit_scaling_list_mode_idcが0,1,2に等しい場合の意味論は、JVET-R0064と同じである。
1) あるいは、JVET-R0064におけるph_explicit_scaling_list_mode_idcは、ue(v)コーディングしてもよく、ph_explicit_scaling_list_mode_idcの値は、ピクチャが1つのスライスのみを含むことが分かっている場合は0から1の範囲内、それ以外の場合は0から2の範囲内となるよう規定してもよい。ph_explicit_scaling_list_mode_idcが0,1,2に等しい場合の意味論は、JVET-R0064と同じである。
2) あるいは、ピクチャが1つのスライスのみを含むことが分かっている場合、JVET-R0064におけるph_explicit_scaling_mode_idcは、u(1)を使用して、すなわち、フラグのように1つのビットのみを使用して、値が0または1に等しいようにコーディングされてもよく、そうでない場合、JVET-R0064におけるph_explicit_scaling_list_mode_idcをue(v)コーディングし、ph_explicit_scaling_list_mode_idcの値は0から2以下の範囲に規定されてもよいことが提案される。ph_explicit_scaling_list_mode_idcが0,1,2に等しい場合の意味論は、JVET-R0064と同じである。
【0193】
6. 実施形態
【0194】
6.1. 実施形態#1
【0195】
【表28】

【表29】
【0196】
【化16】
【0197】
【表30】
【0198】
【化17】
【0199】
【化18】
【0200】
次に、いくつかの実施形態において好適な例を列挙する。
【0201】
以下の条項は、前章に記載された技術の例示的な実施形態を示す。以下の条項は、前章(例えば、項目1)に記載された技術の例示的な実施形態を示す。
【0202】
1.この方法は、1つ以上の映像領域からなる1つ以上のレイヤからなる映像と、フォーマット規則に従って映像のコーディング表現との間で変換を行うことを含み、フォーマット規則は、対応する映像領域の許容スライスタイプに対応して1つ以上の映像領域レベルでコーディング表現に1つ以上の構文要素が含まれることを規定する。
【0203】
2.前記フォーマット規則は、前記1つ以上の構文要素が、対応する映像領域において許可されるスライスタイプの組み合わせを示す値を有する第1の構文要素を含むことを規定する、条項1に記載の方法。
【0204】
以下の条項は、前章(例えば、項目2)に記載された技術の例示的な実施形態を示す。
【0205】
3.前記フォーマット規則は、双方向予測(B)スライスaeが対応するピクチャまたはスライスに対して許可されるかまたは使用されるかどうかを示すためにピクチャヘッダまたはスライスヘッダに構文要素を含めることを規定する、条項1~2のいずれか記載の方法。
【0206】
4.シーケンスパラメータセットにおける構文要素が、ピクチャヘッダまたはスライスヘッダに含まれる構文要素の存在を制御する、条項3に記載の方法。
【0207】
以下の条項は、前章(例えば、項目3)に記載された技術の例示的な実施形態を示す。
【0208】
5.映像処理方法は、フォーマット規則に従って、1つ以上の映像スライスを構成する1つ以上の映像ピクチャからなる1つ以上のレイヤを含む映像と、映像のコーディングされた表現との間で変換を行うことを含み、フォーマット規則は、第2の規則に従って、スライスレベルでのコーディングモードの有効化または使用に関する構文要素が、ピクチャヘッダまたはスライスヘッダのいずれかの間に最大1回含まれることを規定する。
【0209】
6.前記コーディングモードは、インループフィルタ、重み付け予測モード、または量子化パラメータデルタモードを含む、条項5に記載の方法。
【0210】
以下の条項は、前章(例えば、項目7)に記載された技術の例示的な実施形態を示す。
【0211】
7.フォーマット規則に従って、1つ以上の映像スライスを含む1つ以上の映像ピクチャと、この映像のコーディング表現との間で変換を行うことを含み、このフォーマット規則は、映像ピクチャにおける許可されたスライスタイプが、このコーディング表現において参照ピクチャリストを信号通知するか、またはこのコーディング表現から生成可能にするかを制御することを規定する、映像処理方法。
【0212】
8.前記フォーマット規則は、双方向スライス(B-slice)を除く許容スライスタイプのために、参照ピクチャリスト1に対応する構文要素をコーディング表現から省略することを規定する、条項7に記載の方法。
【0213】
9.前記フォーマット規則は、双方向スライス(B-slice)を除く許容スライスタイプのために、映像ピクチャに対して参照ピクチャリスト1を生成する手続きが無効化されることを規定する。
【0214】
以下の条項は、前章(例えば、項目10~15)に記載された技術の例示的な実施形態を示す。
【0215】
10.1つ以上のサブピクチャを含む1つ以上の映像ピクチャを含む映像と、この映像のコーディング表現との間で変換を行うことを含み、このコーディング表現はフォーマット規則に準拠し、このフォーマット規則は、映像ピクチャの非コーディングサブピクチャの処理を規定する、映像処理方法。
【0216】
11.前記フォーマット規則は、前記非コーディングサブピクチャの境界を前記変換中にピクチャ境界として処理することを規定する、条項10に記載の方法。
【0217】
12.前記フォーマット規則は、前記非コーディングピクチャの境界にわたってループフィルタリングを無効にすることを規定する、条項10に記載の方法。
【0218】
13.前記フォーマット規則は、前記非コーディングサブピクチャを前記映像ピクチャの唯一のサブピクチャとすることを許可しない、条項10に記載の方法。
【0219】
14.前記フォーマット規則は、前記非コーディングサブピクチャの復号支援情報が、前記コーディング表現の補足強化情報構文要素に含まれることを規定する、条項10~13に記載の方法。
【0220】
15.前記フォーマット規則は、前記非コーディングサブピクチャが最大で1つのスライスを有することを許可することを規定する、条項10に記載の方法。
【0221】
以下の条項は、前章(例えば、項目20~22)に記載された技術の例示的な実施形態を示す。
【0222】
16.1つ以上のサブピクチャを含む1つ以上の映像ピクチャと前記映像のコーディング表現とを含む映像の間で変換を行うことを含み、前記1つ以上の映像ピクチャおよび/または前記1つ以上のサブピクチャは、順序規則に従って、前記コーディング表現に挿入され、前記順序規則は、前記コーディング表現における、現在の瞬時復号更新ピクチャ(IDR)または現在のIDRサブピクチャの位置の間の関係を規定する、映像処理方法。
【0223】
17.前記順序規則は、前記コーディング表現が、前記現在のIDRピクチャの参照ピクチャリストのエントリによって参照されるピクチャであって、順序において先行するイントラランダムアクセスポイントピクチャに先行するピクチャを含まないことを規定する、条項16に記載の方法。
【0224】
18.前記順序規則は、前記コーディング表現が、前記現在のIDRピクチャの参照ピクチャリストのエントリによって参照されるピクチャであって、順序において先行するイントラランダムアクセスポイントピクチャに先行し、前記現在のIDRサブピクチャと同じレイヤidおよび同じサブピクチャインデックスを有するサブピクチャを有するピクチャを含まないことを規定する、条項16~17に記載の方法。
【0225】
以下の条項は、前章(例えば、項目23~24)に記載された技術の例示的な実施形態を示す。
【0226】
19.1つ以上のサブピクチャおよび/または1つ以上のスライスを含む1つ以上の映像ピクチャを含む映像と、前記映像のコーディング表現との間で変換を行うことを含み、前記コーディング表現はフォーマット規則に準拠し、前記フォーマット規則が、ピクチャにおいてスライスタイプが許容されるかどうかの指示を、前記ピクチャのピクチャ条件に基づいて前記コーディング表現に選択的に含めることを規定する、映像処理方法。
【0227】
20.前記ピクチャ条件は、前記ピクチャにおけるスライスのレイアウトを含む、条項19に記載の方法。
【0228】
21.前記ピクチャ条件は、前記ピクチャがイントラランダムアクセスポイントピクチャであるかどうか、および前記変換のためにインターレイヤ依存性が許可されるかどうかを含む、条項19~20に記載の方法。
【0229】
22.前記ピクチャ条件は、前記ピクチャをコーディングするために使用される複数の参照ピクチャを含む、条項19~21のいずれかに記載の方法。
【0230】
23.前記スライスタイプは、イントラコーディングされたスライス、インターコーディングされたスライス、BスライスまたはPスライスを含む、条項19~22のいずれかに記載の方法。
【0231】
以下の条項は、前章(例えば、項目25)に記載された技術の例示的な実施形態を示す。
【0232】
24.1つ以上のサブピクチャおよび/または1つ以上のスライスを含む1つ以上の映像ピクチャを含む映像と前記映像のコーディング表現との間で変換を行うことを含み、前記コーディング表現はフォーマット規則に準拠し、前記フォーマット規則は、前記コーディング表現における適応パラメータセットにおいて適応ループフィルタが信号通知される場合に、少なくとも4つの構文要素のうちの1つを1と設定することを規定する、映像処理方法。
【0233】
25.前記少なくとも4つの構文要素は、輝度フィルタ信号フラグ、彩度フィルタ信号フラグ、ccとcbフィルタ信号フラグ、およびccとcr信号フラグを含む、条項24に記載の方法。
【0234】
以下の条項は、前章(例えば、項目33)に記載された技術の例示的な実施形態を示す。
【0235】
26.1つ以上のスライスを含む1つ以上の映像ユニットを含む映像と前記映像のコーディング表現との間で変換を行うことを含み、前記コーディング表現は、フォーマット規則に準拠し、前記フォーマット規則は、前記コーディング表現における前記映像ユニットレベルで前記1つ以上のスライスに使用されるジョイント彩度残差コーディングのために、量子化パラメータオフセット値を規定することを規定する、映像処理方法。
【0236】
27.前記映像ユニットは、映像ピクチャ、映像シーケンス、シーケンスパラメータセット、映像パラメータセット、ピクチャヘッダ、ピクチャパラメータセットまたは復号能力情報構文構造に対応する、条項26に記載の方法。
【0237】
28.映像領域は、映像ピクチャまたは映像スライスを含む、上記条項に記載の方法。
【0238】
29.前記変換は、前記映像を前記コーディング表現に符号化することを含む、条項1~28のいずれかに記載の方法。
【0239】
30.前記変換は、前記映像の画素値を生成すべく前記コーディング表現を復号することを含む、条項1~28のいずれかに記載の方法。
【0240】
31.条項1~30の1条項以上に記載の方法を実装するように構成されたプロセッサ(処理装置)を備える、映像復号装置。
【0241】
32.条項1~30の1条項以上に記載の方法を実装するように構成されたプロセッサを備える映像復号装置。
【0242】
33.コンピュータコードが記憶されたコンピュータプログラム製品において、前記コードがプロセッサにより実行されると、前記プロセッサは、条項1~30のいずれかに記載の方法を実装する。
【0243】
34.本明細書に記載の方法、装置またはシステム。
【0244】
第2の節は、前節で論じた技法の例示的な実施例を示す(例えば、条項20~35)。
【0245】
1.映像処理方法(例えば、図7Aに示す方法700)であって、1つ以上のサブピクチャを含む映像とこの映像のビットストリームとの間で変換を行うことを含み、この1つ以上のピクチャおよび/またはこの1つ以上のサブピクチャは順序規則に従ってこのビットストリームに含まれ、この順序規則は、このビットストリームにおける現在の瞬時復号更新(IDR)ピクチャまたは現在のIDRサブピクチャの位置の、現在のIDRピクチャまたは現在のサブピクチャの現在のスライスのための参照ピクチャリストにおけるエントリによって参照される別のピクチャとの間の関係を規定する、方法。
【0246】
2.前記順序規則は、条件が満たされることに呼応して、前記ビットストリームには、前記現在のスライスの前記参照ピクチャリストにおける前記エントリによって参照されるピクチャであって、前記現在のIDRサブピクチャに復号順において先行するイントラランダムアクセスポイント(IRAP)ピクチャに、出力順または復号順において先行するピクチャを含まないことを規定する、条項1に記載の方法。
【0247】
3.前記条件は、存在フラグが、NAL(ネットワーク抽象化レイヤ)ユニットタイプがIDR_N_LPまたはIDR_W_RADLに等しいスライスのスライスヘッダにRPL(参照ピクチャリスト)構文要素が存在することを許可することを示すことを含む、条項2に記載の方法。
【0248】
4.前記条件は、存在フラグが、NAL(ネットワーク抽象化レイヤ)ユニットタイプがIDR_N_LPまたはIDR_W_RADLに等しいスライスのスライスヘッダにRPL(参照ピクチャリスト)構文要素が存在しないことを示すことを含む、条項2に記載の方法。
【0249】
5.現在のIDRピクチャおよびIRAPピクチャは、NAL(ネットワーク抽象化レイヤ)ユニットヘッダレイヤ識別子が特定の値に等しい、条項2~4のいずれかに記載の方法。
【0250】
6.前記順序規則は、前記ビットストリームが、クリーンランダムアクセスピクチャの第2スライスの第2参照ピクチャリストにおける第2エントリによって参照されるピクチャであって、前記クリーンランダムアクセスピクチャに復号順で先行する第2イントラランダムアクセスポイント(IRAP)ピクチャに、出力順または復号順で先行するピクチャを含まないことを規定する、条項1に記載の方法。
【0251】
7.前記順序規則は、前記ビットストリームには、条件が満たされることに呼応して、前記現在のスライスの前記参照ピクチャリストにおける前記エントリによって参照されるピクチャであって、イントラランダムアクセスポイント(IRAP)サブピクチャを含むピクチャに出力順または復号順で先行し、かつ前記現在のIDRサブピクチャを含む前記ピクチャに前記復号順において先行するピクチャを含まないことを規定する、条項1に記載の方法。
【0252】
8.前記条件は、存在フラグが、IDR_N_LPまたはIDR_W_RADLに等しいNAL(ネットワーク抽象化レイヤ)ユニットタイプを有するスライスのスライスヘッダにRPL(参照ピクチャリスト)構文要素が存在することを許可することを示すことを含む、条項7に記載の方法。
【0253】
9.前記条件は、存在フラグが、NAL(ネットワーク抽象化レイヤ)ユニットタイプがIDR_N_LPまたはIDR_W_RADLに等しいスライスのスライスヘッダにRPL(参照ピクチャリスト)構文要素が存在しないことを示すことを含む、条項7に記載の方法。
【0254】
10.IRAPサブピクチャおよび現在のIDRサブピクチャは、特定の識別値に等しいNAL(ネットワーク抽象化レイヤ)ユニットヘッダレイヤ識別子と、特定のインデックス値に等しいサブピクチャインデックスと、を有する、条項7~条項9のいずれかに記載の方法。
【0255】
11.前記順序規則は、前記ビットストリームには、クリーンランダムアクセスピクチャの第3スライスの参照ピクチャリストにおける第3エントリによって参照されるピクチャであって、第3イントラランダムアクセスポイント(IRAP)サブピクチャを含むピクチャに出力順または復号順で先行し、前記クリーンランダムアクセスピクチャに前記復号順で先行するピクチャを含まないことを規定する、条項1に記載の方法。
【0256】
12.映像処理方法であって(例えば、図7Bに示す方法700)、フォーマット規則に基づいて、1つ以上のサブピクチャおよび/または1つ以上のスライスを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うこと(712)を含み、このフォーマット規則は、このアクセスユニットがこの映像における各アクセスユニットのためのイントラランダムアクセスポイント(IRAP)アクセスユニットであるかまたは漸次復号更新(GDR)アクセスユニットであるかを示すアクセスユニットの指示を含めることを許可する。
【0257】
13.前記IRAPアクセスユニットは、完全である必要がなく、少なくとも1つのIRAPピクチャを含む、条項12に記載の方法。
【0258】
14.前記GDRアクセスユニットは、完全である必要がなく、少なくとも1つのGDRピクチャを含む、条項12に記載の方法。
【0259】
15.前記フォーマット規則は、前記指示を、映像パラメータセットで規定される最下レイヤのピクチャのピクチャヘッダをアクセスユニット区切り文字に含めるように規定する、条項12に記載の方法。
【0260】
16.映像処理方法であって(例えば、図7Cに示す方法720)、フォーマット規則に基づいて、1つ以上のサブピクチャおよび/または1つ以上のスライスを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うこと(722)を含み、このフォーマット規則は、あるピクチャにおいてスライスタイプが許可されるかどうかの指示が、このピクチャのピクチャ条件に基づいて選択的にこのビットストリームに含まれることを規定する、方法。
【0261】
17.前記スライスタイプは、イントラコーディングされたスライス、インターコーディングされたスライス、Bスライス、またはPスライスを含む、条項16に記載の方法。
【0262】
18.前記ピクチャ条件は、前記ピクチャにおけるスライスのレイアウトを含む、条項16または条項17に記載の方法。
【0263】
19.前記ピクチャ条件は、前記ピクチャがイントラランダムアクセスポイント(IRAP)ピクチャであるかどうか、および前記変換のためにインターレイヤ依存性が許可されるかどうかを含む、条項16~18のいずれかに記載の方法。
【0264】
20.前記ピクチャ条件は、i)ピクチャパラメータセットがピクチャごとにスライスのみが適用されることを示すかどうか、および/またはii)ピクチャ分割が使用されないこと、および/またはiii)ピクチャごとに矩形スライスおよび1つのスライスのみが使用されること、および/またはiv)前記ピクチャが矩形スライスに分割されることを含む、条項16~19のいずれかに記載の方法。
【0265】
21.前記ピクチャ条件は、上位レベルの映像ユニットにおいて信号通知される1つ以上の構文要素を含む、条項16~19のいずれか1つに記載の方法。
【0266】
22.前記ピクチャ条件は、前記ピクチャをコーディングするために使用される複数の参照ピクチャを含む、条項16または条項17に記載の方法。
【0267】
23.前記参照ピクチャの数は、第1の参照ピクチャリスト構文構造におけるエントリの数を示す第1のフィールドおよび/または第2の参照ピクチャリスト構文構造におけるエントリの数を示す第2のフィールドに基づく、条項22に記載の方法。
【0268】
24.映像処理方法であって(例えば、図7Dに示す方法730)、1つ以上のサブピクチャおよび/または1つ以上のスライスを含む1つ以上のピクチャを含む映像とこの映像のビットストリームとの間で変換を行うこと(732)を含み、このフォーマット規則は、ALF(適応ループフィルタ)適応パラメータセットのために、少なくとも2つまたは4つの構文要素のうちの1つを特定の値に設定することを規定する、方法。
【0269】
25.前記少なくとも4つの構文要素は、輝度フィルタセットが信号通知されるかどうかを指定する輝度フィルタ信号フラグと、彩度フィルタが信号通知されるかどうかを指定する彩度フィルタ信号フラグと、Cb色成分のためのクロスコンポーネントフィルタが信号通知されるかどうかを指定するccおよびcbフィルタ信号フラグと、Cr色成分のためのクロスコンポーネントフィルタが信号通知されるかどうかを指定するccおよびcr信号フラグと、を含む、条項24に記載の方法。
【0270】
26.映像処理方法であって(例えば、図7Eに示す方法740)、フォーマット規則に従って、1つ以上のピクチャを含む映像とこの映像のビットストリームとの間で変換を行うこと(742)を含み、このフォーマット規則は、フィルタ存在フラグおよび/またはフィルタ係数の指示を信号通知するかどうかおよび/またはどのように信号通知するかは、適応パラメータセットRBSP(生バイト配列ペイロード)における適応ループフィルタリングデータ構造および/または構文要素を有する予めコーディングされた情報に依存することを規定する。
【0271】
27.前記フォーマット規則は、前記指示が存在しない場合、前記適応ループフィルタリングデータ構造を有する予めコーディングされた情報に基づいて前記指示の値を推論することをさらに規定する、条項26に記載の方法。
【0272】
28.前記フォーマット規則は、Cr色成分のためのクロスコンポーネントフィルタを信号通知するかどうかを規定するccおよびcrフィルタ信号フラグを信号通知するかどうかは、3つの構文要素すべてが一定の値に等しいかどうかに依存することをさらに規定し、前記3つの構文要素は、輝度フィルタセットを信号通知するかどうかを規定する輝度フィルタ信号フラグと、彩度フィルタを信号通知するかどうかを規定する彩度フィルタ信号フラグと、Cb色成分のためのクロスコンポーネントフィルタを信号通知するかどうかを規定するccおよびcbフィルタ信号フラグと、を含む、条項26に記載の方法。
【0273】
29.前記フォーマット規則は、彩度フィルタが信号通知されるかどうかを規定する彩度フィルタ信号フラグを信号通知するかどうかは、輝度フィルタセットが信号通知されるかどうかを規定する輝度フィルタ信号フラグの値に依存することをさらに規定する、条項26に記載の方法。
【0274】
30.映像処理方法であって(例えば、図7Fに示す方法750)、フォーマット規則に従って、1つ以上のピクチャを含む映像とこの映像のビットストリームとの間で変換を行うこと(752)を含み、このフォーマット規則は、ピクチャよりも小さい映像領域に対して、適応パラメータセット(APS)にその副情報が含まれるコーディングツールに対応する複数のAPSを参照することを可能にする、方法。
【0275】
31.前記複数のAPSは、スケーリングAPS、LMCS(彩度スケーリングを伴う輝度マッピング)APS、および/または他のコーディングツールに対応するAPSを含む、条項30に記載の方法。
【0276】
32.前記フォーマット規則は、前記ビットストリームが、参照される前記複数のAPSの数を含むことを規定する、条項30に記載の方法。
【0277】
33.前記フォーマット規則は、前記ビットストリームが、参照される前記複数のAPSのインデックスを含むことを規定する、条項30に記載の方法。
【0278】
34.前記フォーマット規則は、前記変換に使用される前記複数のAPSが前記映像の色成分に依存することをさらに規定する、条項30に記載の方法。
【0279】
35.前記フォーマット規則は、前記映像の輝度成分および彩度成分に異なるAPSを使用することをさらに規定する、条項34に記載の方法。
【0280】
36.前記フォーマット規則は、輝度成分および彩度成分に使用される前記複数のAPSの数および/またはインデックスを前記ビットストリームにおいて別個に信号通知することをさらに規定する、条項34に記載の方法。
【0281】
37.前記フォーマット規則は、前記複数のAPSをどのように使用するかを前記ピクチャのサブピクチャに依存させるかをさらに規定する、条項30に記載の方法。
【0282】
38.前記フォーマット規則は、各サブピクチャに対して、使用されるオン/オフ制御および/または前記複数のAPSを選択または通知することをさらに規定する、条項30に記載の方法。
【0283】
39.映像処理方法であって(例えば、図7Gに示す方法760)、フォーマット規則に従って、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うこと(762)を含み、このフォーマット規則は、インループフィルタリング動作を除く復号処理においてコーディングされたピクチャのサブピクチャをピクチャとして扱うかどうかを示す第1の変数の値を、ビットストリームにおけるサブピクチャ情報の存在を示す第2の変数に依存して推論する方法を規定する、映像処理方法。
【0284】
40.前記フォーマット規則は、前記第1の変数が存在しない場合、前記第1の変数の値が前記第2の変数の値に等しいと推論されることを規定する、条項39に記載の方法。
【0285】
41.映像処理方法であって(例えば、図7Hに示す方法770)、フォーマット規則に従って、1つ以上のサブピクチャを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うこと(772)を含み、このフォーマット規則は、1つ以上の条件が満たされることに呼応して、ピクチャパラメータセットを参照するピクチャへのデブロッキングフィルタの適用可能性を示す変数が、このピクチャパラメータセットを参照するスライスにデブロッキングフィルタを適用することを示す第1の値、またはこのピクチャパラメータセットを参照するスライスにこのデブロッキングフィルタは無効とされていることを示す第2の値、を有することを規定する、方法。
【0286】
42.第1の値は、1であり、第2の値は、0に等しい、条項41に記載の方法。
【0287】
43.前記1つ以上の条件は、1)前記デブロッキングフィルタの無効化を示すデブロッキングフィルタ無効フラグがスライスレベルおよびピクチャヘッダレベルに存在しないこと、2)デブロッキングフィルタオーバーライド有効フラグは、前記ピクチャパラメータセットを参照するピクチャのデブロッキング動作がオーバーライドされていないことを示すこと、3)前記デブロッキングフィルタオーバーライド有効フラグは、前記ピクチャパラメータセットを参照するピクチャの前記デブロッキング動作のオーバーライドを許可することを示し、デブロッキングフィルタ存在フラグは、デブロッキングフィルタ情報がピクチャヘッダ構文構造に存在することを示し、ピクチャヘッダレベルのデブロッキングフィルタ無効フラグは、前記デブロッキングフィルタがピクチャに対して無効であることを示すこと、または、4)前記デブロッキングフィルタオーバーライド有効フラグは、前記ピクチャパラメータセットを参照するピクチャの前記デブロッキング動作のオーバーライドが許可され、デブロッキングフィルタ存在フラグは、デブロッキングフィルタ情報が、ピクチャヘッダ構文構造に存在し、スライスレベルのデブロッキングフィルタ無効フラグは、前記デブロッキングフィルタが前記ピクチャに対して無効であることを示すこと、を含む、条項42に記載の方法。
【0288】
44.第1の値は、0であり、第2の値は、0に等しい、条項41に記載の方法。
【0289】
45.前記1つ以上の条件は、1)前記デブロッキングフィルタの無効化を示すデブロッキングフィルタ無効フラグがスライスレベルおよびピクチャヘッダレベルに存在しないこと、2)デブロッキングフィルタオーバーライド有効フラグは、前記ピクチャパラメータセットを参照するピクチャのデブロッキング動作がオーバーライドされていないことを示すこと、3)前記デブロッキングフィルタオーバーライド有効フラグは、前記ピクチャパラメータセットを参照するピクチャの前記デブロッキング動作のオーバーライドを許可することを示し、デブロッキングフィルタ存在フラグは、デブロッキングフィルタ情報がピクチャヘッダ構文構造に存在することを示し、ピクチャヘッダレベルのデブロッキングフィルタ無効フラグは、前記デブロッキングフィルタが現在のピクチャに対して有効であることを示すこと、または、4)前記デブロッキングフィルタオーバーライド有効フラグは、前記ピクチャパラメータセットを参照するピクチャの前記デブロッキング動作のオーバーライドが許可され、デブロッキングフィルタ存在フラグは、デブロッキングフィルタ情報が、ピクチャヘッダ構文構造に存在せず、スライスレベルのデブロッキングフィルタ無効フラグは、前記デブロッキングフィルタが前記ピクチャに対して有効であることを示すこと、を含む、条項44に記載の方法。
【0290】
46.映像処理方法であって(例えば、図7Iに示す方法780)、フォーマット規則に従って、1つ以上のスライスを含む1つ以上の映像ユニットを含む映像と、この映像のビットストリームとの間で変換を行うこと(782)を含み、このフォーマット規則は、ジョイント彩度残差コーディングに使用される量子化パラメータオフセットが、スライスレベルよりも大きい1つ以上の映像ユニットレベルに含まれることを規定する、方法。
【0291】
47.前記1つ以上の映像ユニットは、映像ピクチャ、映像シーケンス、シーケンスパラメータセット、映像パラメータセット、ピクチャヘッダ、ピクチャパラメータセット、または復号能力情報構文構造に対応する、条項46に記載の方法。
【0292】
48.前記1つ以上の映像ユニットレベルは、第1のレベルおよび第2のレベルを含み、前記フォーマット規則は、前記第2のレベルの前記量子化パラメータオフセット値を信号通知するかどうかを、前記量子化パラメータオフセット値が前記第1のレベルで信号通知されるかどうかに依存してさらに規定する、条項46に記載の方法。
【0293】
49.前記1つ以上の映像ユニットレベルは、第1のレベルと、前記第1のレベルよりも低い第2のレベルとを含み、前記フォーマット規則は、前記量子化パラメータオフセット値が第1のレベルで信号通知され、かつ前記第1のレベルの信号通知された値をオーバーライドするように、前記第2のレベルの量子化パラメータオフセット値を信号通知するかどうかを示すように、オーバーライドフラグを信号通知することをさらに規定する、条項46に記載の方法
【0294】
50.映像処理方法であって(例えば、図7Jに示す方法790)、1つ以上のピクチャを含む映像とこの映像のビットストリームとの間の変換を行うこと(792)を含み、このフォーマット規則は、(i)ピクチャヘッダレベルでのLMCS(彩度スケーリングを伴う輝度マッピング)モード識別を示す変数をコーディングするために使用される1つ以上のビットの固定または可変の長さと、(ii)この変数の値の範囲と、を規定する、方法。
【0295】
51.前記フォーマット規則は、前記変数がue(v)を使用してコーディングされ、かつ前記変数の前記値の範囲が0~2(両端含む)であることを規定する、条項50に記載の方法。
【0296】
52.前記フォーマット規則は、前記変数がue(v)を使用してコーディングされること、および、ピクチャが1つのスライスのみを含む場合、前記変数の値の範囲が0~1(両端含む)であることを規定し、その他の場合、この範囲が0~2(両端含む)である、条項50に記載の方法。
【0297】
53.前記フォーマット規則は、ピクチャが1つのスライスのみを含む場合、変数の値が0または1となるようにu(1)を使用して前記変数をコーディングし、そうでない場合、ue(v)を使用して前記変数の値の範囲が0~2となるように前記変数をコーディングすることを規定する、条項50に記載の方法。
【0298】
54.映像処理方法(例えば、図7Kに示す方法800)であって、フォーマット規則に従って、1つ以上のピクチャを含む映像とこの映像のビットストリームとの間で変換を行うこと(802)を含み、このフォーマット規則は、(i)ピクチャヘッダレベルでのスケーリングリストモード識別を示す変数をコーディングするために使用される1つ以上のビットの固定または可変の長さと、(ii)この変数の値の範囲と、を規定する、映像処理方法。
【0299】
55.前記フォーマット規則は、前記変数がue(v)を使用してコーディングされ、かつ前記変数の値の範囲が0~2(両端含む)であることを規定する、条項54に記載の方法。
【0300】
56.前記フォーマット規則は、前記変数がue(v)を使用してコーディングされること、および、1つのピクチャが1つのスライスのみを含む場合、前記変数の値の範囲が0~1(両端含む)であることを規定し、それ以外の場合、前記範囲が0~2(両端含む)であることを規定する、条項54に記載の方法。
【0301】
57.前記フォーマット規則は、ピクチャが1つのスライスのみを含む場合、前記変数の値が0または1となるようにu(1)を使用して前記変数をコーディングし、そうでない場合、ue(v)を使用して前記変数の値の範囲が0~2(両端含む)となるように前記変数をコーディングすることを規定する、条項54に記載の方法。
【0302】
58.変換は、映像をビットストリームに符号化することを含む、条項1から57のいずれかに記載の方法。
【0303】
59.前記変換は、前記ビットストリームから前記映像を復号することを含む、条項1から57までのいずれか1項に記載の方法。
【0304】
60.前記変換は、映像から前記ビットストリームを生成することを含み、前記方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、条項1~57のいずれかに記載の方法。
【0305】
61.条項1から60のいずれか1つまたは複数に記載された方法を実施するように構成された処理装置を含む映像処理装置。
【0306】
62.条項1から60のいずれかに記載の方法と、ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、映像のビットストリームを記憶する方法。
【0307】
63.実行されると、条項1から60までのいずれか1項以上に記載された方法を処理装置に実施させるプログラムコードを格納したコンピュータ可読媒体。
【0308】
64.上述した方法のいずれかに従って生成されたビットストリームを記憶するコンピュータ可読媒体。
【0309】
65.条項1から60のうちの1または複数に記載の方法を実装するように構成された、ビットストリーム表現を記憶するための映像処理装置。
【0310】
本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指してよい。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から、かつビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィールドが含まれるべきであるか否かを判定し、構文フィールドをコーディングされた表現に含めるか否かによって、これに応じてコーディングされた表現を生成してもよい。
【0311】
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1または複数の組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
【0312】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1または複数のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。コンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
【0313】
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1または複数のコンピュータプログラムを実行する1または複数のプログラマブルプロセッサによって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
【0314】
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1または複数のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための1または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
【0315】
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1または複数の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
【0316】
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
【0317】
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
図1
図2
図3
図4
図5
図6
図7A
図7B
図7C
図7D
図7E
図7F
図7G
図7H
図7I
図7J
図7K