(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-14
(54)【発明の名称】映像符号化情報をシグナリングするための方法及び装置
(51)【国際特許分類】
H04N 19/70 20140101AFI20221107BHJP
H04N 19/513 20140101ALI20221107BHJP
【FI】
H04N19/70
H04N19/513
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022516185
(86)(22)【出願日】2020-08-20
(85)【翻訳文提出日】2022-05-10
(86)【国際出願番号】 US2020047139
(87)【国際公開番号】W WO2021050234
(87)【国際公開日】2021-03-18
(32)【優先日】2019-09-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】511050697
【氏名又は名称】アリババ グループ ホウルディング リミテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】チェン,ジエ
(72)【発明者】
【氏名】リャオ,ル-リン
(72)【発明者】
【氏名】ルオ,ジャンコン
(72)【発明者】
【氏名】イエ,ヤン
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159NN11
5C159NN21
5C159UA02
5C159UA05
5C159UA16
5C159UA22
(57)【要約】
本開示は、映像データのための符号化モードを制御するための方法及び装置を提供する。本方法及び装置は、映像データのビットストリームを受信することと、ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンスのために有効にするか又は無効にすることと、ビットストリーム内の第2のフラグに基づいて、符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかを決定することと、を含む。
【特許請求の範囲】
【請求項1】
映像データのビットストリームを受信することと、
前記ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
前記ビットストリーム内の第2のフラグに基づいて、前記符号化モードの制御が、シーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかを決定することと
を含む、コンピュータ実施方法。
【請求項2】
前記シーケンスレベルよりも下位の前記レベルがスライスレベル又はピクチャレベルを含む、請求項1に記載のコンピュータ実施方法。
【請求項3】
前記符号化モードの前記制御が前記シーケンスレベルよりも下位の前記レベルで有効にされたことに応じて、前記ビットストリーム内の第3のフラグに基づいて、前記符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることをさらに含む、請求項1に記載のコンピュータ実施方法。
【請求項4】
ターゲットスライスのスライスヘッダ内の前記第3のフラグを検出することであって、前記ターゲットスライスが前記ターゲット下位レベル領域である、検出すること、又は
ターゲットピクチャのピクチャヘッダ内の前記第3のフラグを検出することであって、前記ターゲットピクチャが前記ターゲット下位レベル領域である、検出すること
をさらに含む、請求項3に記載のコンピュータ実施方法。
【請求項5】
前記符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、又は
復号器側動きベクトル精密化(DMVR)モード
のうちの少なくとも1つである、請求項1に記載のコンピュータ実施方法。
【請求項6】
前記映像シーケンスのシーケンスパラメータセット(SPS)内の前記第1のフラグを検出することをさらに含む、請求項1に記載のコンピュータ実施方法。
【請求項7】
前記符号化モードが前記映像シーケンスのために有効にされたことに応じて、前記映像シーケンスの前記SPS内の前記第2のフラグを検出することをさらに含む、請求項1に記載のコンピュータ実施方法。
【請求項8】
命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、装置の少なくとも1つのプロセッサによって、前記装置に方法を行わせるために実行可能であり、前記方法が、
映像シーケンス、第1のフラグ、及び第2のフラグを受信することと、
前記第1のフラグに基づいて、符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
前記第2のフラグに基づいて、前記符号化モードの制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと
を含む、非一時的コンピュータ可読媒体。
【請求項9】
前記符号化モードが、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、又は復号器側動きベクトル精密化(DMVR)モードのうちの少なくとも1つである、請求項8に記載の非一時的コンピュータ可読媒体。
【請求項10】
命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、装置の少なくとも1つのプロセッサによって、前記装置に方法を行わせるために実行可能であり、前記方法が、
映像データのビットストリームを受信することと、
前記ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
前記ビットストリーム内の第2のフラグに基づいて、前記符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかを決定することと
を含む、非一時的コンピュータ可読媒体。
【請求項11】
前記シーケンスレベルよりも下位の前記レベルがスライスレベル又はピクチャレベルを含む、請求項10に記載の非一時的コンピュータ可読媒体。
【請求項12】
前記装置の前記少なくとも1つのプロセッサによって実行可能である前記命令のセットが、前記装置に、
前記符号化モードの前記制御が前記シーケンスレベルよりも下位の前記レベルで有効にされたことに応じて、前記ビットストリーム内の第3のフラグに基づいて、前記符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすること
をさらに行わせる、請求項10に記載の非一時的コンピュータ可読媒体。
【請求項13】
前記装置の前記少なくとも1つのプロセッサによって実行可能である前記命令のセットが、前記装置に、
ターゲットスライスのスライスヘッダ内の前記第3のフラグを検出することであって、前記ターゲットスライスが前記ターゲット下位レベル領域である、検出すること、又は
ターゲットピクチャのピクチャヘッダ内の前記第3のフラグを検出することであって、前記ターゲットピクチャが前記ターゲット下位レベル領域である、検出すること
をさらに行わせる、請求項12に記載の非一時的コンピュータ可読媒体。
【請求項14】
前記符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、又は
復号器側動きベクトル精密化(DMVR)モード
のうちの少なくとも1つである、請求項10に記載の非一時的コンピュータ可読媒体。
【請求項15】
前記装置の前記少なくとも1つのプロセッサによって実行可能である前記命令のセットが、前記装置に、
前記映像シーケンスのシーケンスパラメータセット(SPS)内の前記第1のフラグを検出すること
をさらに行わせる、請求項10に記載の非一時的コンピュータ可読媒体。
【請求項16】
前記装置の前記少なくとも1つのプロセッサによって実行可能である前記命令のセットが、前記装置に、
前記符号化モードが前記映像シーケンスのために有効にされたことに応じて、前記映像シーケンスの前記SPS内の前記第2のフラグを検出すること
をさらに行わせる、請求項10に記載の非一時的コンピュータ可読媒体。
【請求項17】
命令のセットを記憶するように構成されたメモリと、
前記メモリに通信可能に結合された1つ以上のプロセッサと、を備える装置であって、前記1つ以上のプロセッサは、前記命令のセットを実行し、前記装置に、
映像データのビットストリームを受信することと、
前記ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
前記ビットストリーム内の第2のフラグに基づいて、前記符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかを決定することと
を行わせるように構成される、
装置。
【請求項18】
前記シーケンスレベルよりも下位の前記レベルがスライスレベル又はピクチャレベルを含む、請求項17に記載の装置。
【請求項19】
前記1つ以上のプロセッサが、前記命令のセットを実行し、前記装置に、
前記符号化モードの前記制御が前記シーケンスレベルよりも下位の前記レベルで有効にされたことに応じて、前記ビットストリーム内の第3のフラグに基づいて、前記符号化モードをターゲット下位レベル領域のために有効又は無効にすること
を行わせるようにさらに構成される、請求項17に記載の装置。
【請求項20】
前記1つ以上のプロセッサが、前記命令のセットを実行し、前記装置に、
ターゲットスライスのスライスヘッダ内の前記第3のフラグを検出することであって、前記ターゲットスライスが前記ターゲット下位レベル領域である、検出すること、又は
ターゲットピクチャのピクチャヘッダ内の前記第3のフラグを検出することであって、前記ターゲットピクチャが前記ターゲット下位レベル領域である、検出すること
を行わせるようにさらに構成される、請求項19に記載の装置。
【請求項21】
前記符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、又は
復号器側動きベクトル精密化(DMVR)モード
のうちの少なくとも1つである、請求項17に記載の装置。
【請求項22】
前記1つ以上のプロセッサが、前記命令のセットを実行し、前記装置に、
前記映像シーケンスのシーケンスパラメータセット(SPS)内の前記第1のフラグを検出すること
を行わせるようにさらに構成される、請求項17に記載の装置。
【請求項23】
前記1つ以上のプロセッサが、前記命令のセットを実行し、前記装置に、
前記符号化モードが前記映像シーケンスのために有効にされることに応じて、前記映像シーケンスの前記SPS内の前記第2のフラグを検出すること
を行わせるようにさらに構成される、請求項17に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本開示は、全体が本明細書において参照により組み込まれる、2019年9月12日に出願された、米国仮特許出願第62/899,169号に対する優先権を主張する。
【背景技術】
【0002】
背景
[0002] 映像は、視覚情報を取り込んだ静的ピクチャ(又は「フレーム」)のセットである。記憶メモリ及び伝送帯域幅を低減するために、映像を記憶又は伝送前に圧縮し、表示前に復元することができる。圧縮プロセスは通常、符号化と称され、復元プロセスは通常、復号化と称される。最も一般的には、予測、変換、量子化、エントロピー符号化、及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、高効率ビデオコーディング(High Efficiency Video Coding)(HEVC/H.265)規格、多用途ビデオコーディング(Versatile Video Coding)(VVC/H.266)標準AVS規格などの、映像符号化規格が標準化機関によって開発されている。進化した映像符号化技術が映像規格に次々と採用されるに従って、新たな映像符号化規格の符号化効率はますます高くなる。
【発明の概要】
【課題を解決するための手段】
【0003】
開示の概要
[0003] 本開示の実施形態は、映像データのための符号化モードを制御するための方法及び装置を提供する。例示的な実施形態では、方法が、映像データのビットストリームを受信することと、ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンスのために有効にするか又は無効にすることと、ビットストリーム内の第2のフラグに基づいて、符号化モードがシーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかの制御を決定することと、を含む。
【0004】
[0004] 別の例示的な実施形態では、方法が、映像データのビットストリームを受信することと、ビットストリーム内の第1のフラグに基づいて、第1の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、ビットストリーム内の第2のフラグに基づいて、第2の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、ビットストリーム内の第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することと、を含む。
【0005】
[0005] 別の例示的な実施形態では、方法が、映像シーケンス、第1のフラグ、及び第2のフラグを受信することと、第1のフラグに基づいて、符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、第2のフラグに基づいて、符号化モードの制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、を含む。
【0006】
[0006] 別の例示的な実施形態では、方法が、映像シーケンス、第1のフラグ、第2のフラグ、及び第3のフラグを受信することと、第1のフラグに基づいて、第1の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、第2のフラグに基づいて、第2の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、を含む。
【0007】
[0007] 別の例示的な実施形態では、非一時的コンピュータ可読媒体が、装置の少なくとも1つのプロセッサによって、装置に方法を行わせるために実行可能である命令のセットを記憶する。本方法は、映像データのビットストリームを受信することと、ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンスのために有効にするか又は無効にすることと、ビットストリーム内の第2のフラグに基づいて、符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかを決定することと、を含む。
【0008】
[0008] 別の例示的な実施形態では、非一時的コンピュータ可読媒体が、装置の少なくとも1つのプロセッサによって、装置に方法を行わせるために実行可能である命令のセットを記憶する。本方法は、映像データのビットストリームを受信することと、ビットストリーム内の第1のフラグに基づいて、第1の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、ビットストリーム内の第2のフラグに基づいて、第2の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、ビットストリーム内の第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することと、を含む。
【0009】
[0009] 別の実施形態では、装置が、命令のセットを記憶するように構成されたメモリと、メモリに通信可能に結合された1つ以上のプロセッサと、を含む。1つ以上のプロセッサは、命令のセットを実行し、装置に、映像データのビットストリームを受信することと、ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンスのために有効にするか又は無効にすることと、ビットストリーム内の第2のフラグに基づいて、符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかを決定することと、を行わせるように構成されている。
【0010】
[0010] 別の実施形態では、装置が、命令のセットを記憶するように構成されたメモリと、メモリに通信可能に結合された1つ以上のプロセッサと、を含む。1つ以上のプロセッサは、命令のセットを実行し、装置に、映像データのビットストリームを受信することと、ビットストリーム内の第1のフラグに基づいて、第1の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、ビットストリーム内の第2のフラグに基づいて、第2の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、ビットストリーム内の第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することと、を行わせるように構成されている。
【0011】
図面の簡単な説明
[0011] 本開示の実施形態及び様々な態様が以下の詳細な説明及び添付の図面において例示される。図に示される様々な特徴は、原寸に比例して描かれていない。
【図面の簡単な説明】
【0012】
【
図1】[0012]
図1は、本開示のいくつかの実施形態に係る、例示的な映像シーケンスの構造を示す概略図である。
【
図2A】[0013]
図2Aは、本開示の実施形態に従う、ハイブリッド映像符号化システムの例示的な符号化プロセスの概略図を示す。
【
図2B】[0014]
図2Bは、本開示の実施形態に従う、ハイブリッド映像符号化システムの別の例示的な符号化プロセスの概略図を示す。
【
図3A】[0015]
図3Aは、本開示の実施形態に従う、ハイブリッド映像符号化システムの例示的な復号化プロセスの概略図を示す。
【
図3B】[0016]
図3Bは、本開示の実施形態に従う、ハイブリッド映像符号化システムの別の例示的な復号化プロセスの概略図を示す。
【
図4】[0017]
図4は、本開示のいくつかの実施形態に係る、映像を符号化又は復号化するための例示的な装置のブロック図を示す。
【
図5】[0018]
図5は、本開示のいくつかの実施形態に係る、復号器側動きベクトル精密化(DMVR(decoder side motion vector refinement))の例示的なプロセスを示す概略図である。
【
図6】[0019]
図6は、本開示のいくつかの実施形態に係る、例示的なDMVR探索プロセスを示す概略図である。
【
図7】[0020]
図7は、本開示のいくつかの実施形態に係る、DMVR整数ルマサンプル探索のための例示的なパターンを示す概略図である。
【
図8】[0021]
図8は、本開示のいくつかの実施形態に係る、DMVR整数ルマサンプル探索における整数サンプルオフセット探索のための段階のための別の例示的なパターンを示す概略図である。
【
図9】[0022]
図9は、本開示のいくつかの実施形態に係る、DMVRパラメータ誤差面の推定のための例示的なパターンを示す概略図である。
【
図10】[0023]
図10は、本開示のいくつかの実施形態に係る、双方向オプティカルフロー(BDOF(bi-directional optical flow))において用いられる拡張された符号化ユニット(CU(coding unit))領域の一例の概略図である。
【
図11】[0024]
図11は、本開示のいくつかの実施形態に係る、サブブロックベースのアフィン運動及びサンプルベースのアフィン運動の一例の概略図である。
【
図12】[0025]
図12は、本開示のいくつかの実施形態に係る、DMVR及びBDOFのための制御フラグを実施するシーケンスパラメータセット(SPS(Sequence Parameter Set))の例示的な構文構造を示す表1を示す。
【
図13】[0026]
図13は、本開示のいくつかの実施形態に係る、DMVR及びBDOFのための制御フラグを実施するスライスヘッダの例示的な構文構造を示す表2を示す。
【
図14A】[0027]
図14Aは、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びオプティカルフローによる予測精密化(PROF(prediction refinement with optical flow))のためのスライスレベル制御フラグを実施するSPSの例示的な構文構造を示す表3Aを示す。
【
図14B】[0028]
図14Bは、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのためのピクチャレベル制御フラグを実施するSPSの例示的な構文構造を示す表3Bを示す。
【
図15A】[0029]
図15Aは、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための制御フラグを実施するスライスヘッダの例示的な構文構造を示す表4Aを示す。
【
図15B】[0030]
図15Bは、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための制御フラグを実施するピクチャヘッダの例示的な構文構造を示す表4Bを示す。
【
図16】[0031]
図16は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための別個のシーケンスレベル制御フラグを実施するSPSの例示的な構文構造を示す表5を示す。
【
図17】[0032]
図17は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための合同制御フラグを実施するスライスヘッダの例示的な構文構造を示す表6を示す。
【
図18】[0033]
図18は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための別個の制御フラグを実施するスライスヘッダの例示的な構文構造を示す表7を示す。
【
図19】[0034]
図19は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのためのハイブリッド制御フラグを実施するスライスヘッダの例示的な構文構造を示す表8を示す。
【
図20】[0035]
図20は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのためのハイブリッドシーケンスレベル制御フラグを実施するSPSの例示的な構文構造を示す表9を示す。
【
図21】[0036]
図21は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのためのハイブリッド制御フラグを実施するスライスヘッダの別の例示的な構文構造を示す表10を示す。
【
図22】[0037]
図22は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための別個の制御フラグを実施するスライスヘッダの別の例示的な構文構造を示す表11を示す。
【
図23】[0038]
図23は、本開示のいくつかの実施形態に係る、映像復号化モードを制御する例示的なプロセスのフローチャートを示す。
【
図24】[0039]
図24は、本開示のいくつかの実施形態に係る、映像復号化モードを制御する別の例示的なプロセスのフローチャートを示す。
【
図25】[0040]
図25は、本開示のいくつかの実施形態に係る、映像符号化モードを制御する例示的なプロセスのフローチャートを示す。
【
図26】[0041]
図26は、本開示のいくつかの実施形態に係る、映像符号化モードを制御する別の例示的なプロセスのフローチャートを示す。
【発明を実施するための形態】
【0013】
詳細な説明
[0042] 添付の図面に例が示された、例示的な実施形態を詳細に参照することができる。以下の説明は添付の図面を参照し、図面において、異なる図面における同じ符号は、別途示されない限り、同じ又は同様の要素を表す。例示的な実施形態の以下の説明において示される実装形態は、本発明に従う全ての実装形態を表すものではない。むしろ、それらは、添付の請求項において列挙されるとおりの本発明に関連する態様に従う装置及び方法の単なる例にすぎない。本開示の特定の態様が以下においてより詳細に説明される。参照により組み込まれる用語及び/又は定義と矛盾する場合には、本明細書において提供される用語及び定義が優先する。
【0014】
[0043] ITU-Tビデオコーディングエキスパートグループ(ITU-T VCEG(ITU-T Video Coding Expert Group))及びISO/IECムービングピクチャエクスパートグループ(ISO/IECMPEG(ISO/IEC Moving Picture Expert))のジョイントビデオエクスパーツチーム(JVET(Joint Video Experts Team))は、現在、多用途ビデオコーディング(VVC/H.266)規格を開発している。VVC規格は、その前身、高効率ビデオコーディング(HEVC/H.265)規格の圧縮効率を2倍にすることを目指している。換言すれば、VVCの目標は、半分の帯域幅を用いてHEVC/H.265と同じ主観的品質を達成することである。
【0015】
[0044] 半分の帯域幅を用いてHEVC/H.265と同じ主観的品質を達成するために、JVETは、JEM(joint exploration model))参照ソフトウェアを用いてHEVCを超える技術を開発している。符号化技術がJEMに組み込まれたため、JEMはHEVCよりも実質的に高い符号化性能を達成した。
【0016】
[0045] VVC規格は最近開発されたものであり、より優れた圧縮性能をもたらすより多くの符号化技術を組み込み続けている。VVCは、HEVC、H.264/AVC、MPEG2、H.263等などの現代的な映像圧縮規格において用いられてきた同じハイブリッド映像符号化システムに基づく。
【0017】
[0046] 映像は、視覚情報を記憶するために時系列で配列された静的ピクチャ(又は「フレーム」)のセットである。映像取り込みデバイス(例えば、カメラ)を、それらのピクチャを時系列で取り込んで記憶するために用いることができ、映像再生デバイス(例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ、又は表示機能を有する任意のエンドユーザ端末)を、このようなピクチャを時系列で表示するために用いることができる。また、用途によっては、映像取り込みデバイスが、取り込まれた映像を、監督、会議開催、又は生放送などのために、映像再生デバイス(例えば、モニタを有するコンピュータ)へリアルタイムに伝送することができる。
【0018】
[0047] このような用途によって必要とされる記憶空間及び伝送帯域幅を低減するために、映像を記憶及び伝送前に圧縮し、表示前に復元することができる。圧縮及び復元は、プロセッサ(例えば、汎用コンピュータのプロセッサ)によって実行されるソフトウェア、又は特殊ハードウェアによって実施され得る。圧縮のためのモジュールは一般的に「符号器」と称され、復元のためのモジュールは一般的に「復号器」と称される。符号器及び復号器はまとめて「コーデック」と称され得る。符号器及び復号器は、種々の好適なハードウェア、ソフトウェア、又はこれらの組み合わせのうちの任意のものとして実施することができる。例えば、符号器及び復号器のハードウェア実装形態は、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP(digital signal processor))、特定用途向け集積回路(ASIC(application-specific integrated circuit))、フィールドプログラマブルゲートアレイ(FPGA(field-programmable gate array))、個別論理、又はこれらの任意の組み合わせなどの、回路機構を含むことができる。符号器及び復号器のソフトウェア実装形態は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体内に固定された任意の好適なコンピュータ実施アルゴリズム若しくはプロセスを含むことができる。映像圧縮及び復元は、MPEG-1、MPEG-2、MPEG-4、H.26xシリーズ、又は同様のものなどの、様々なアルゴリズム又は規格によって実施され得る。用途によっては、コーデックは映像を第1の符号化規格から復元し、復元された映像を、第2の符号化規格を用いて再圧縮することができる。この場合には、コーデックは「トランスコーダ」と称され得る。
【0019】
[0048] 映像符号化プロセスは、ピクチャを再構成するために用いることができる有用な情報を識別して維持し、再構成のために重要でない情報を無視することができる。無視された、重要でない情報を完全に再構成することができない場合には、このような符号化プロセスは「非可逆」と称され得る。さもなければ、それは「可逆」と称され得る。大抵の符号化プロセスは非可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を低減するためのトレードオフである。
【0020】
[0049] 符号化中のピクチャ(「現在のピクチャ」と称される)の有用な情報は、参照ピクチャ(例えば、以前に符号化され、再構成されたピクチャ)に対する変化を含む。このような変化は、ピクセルの位置の変化、明るさの変化、又は色の変化を含むことができ、これらの中でも、位置の変化が最も重要である。オブジェクトを表現するピクセルのグループの位置の変化は、参照ピクチャと現在のピクチャとの間のオブジェクトの動きを反映することができる。
【0021】
[0050] 別のピクチャを参照することなく符号化されたピクチャ(すなわち、それがそれ自身の参照ピクチャである)は「Iピクチャ」と称される。以前のピクチャを参照ピクチャとして用いて符号化されたピクチャは「Pピクチャ」と称される。以前のピクチャ及び将来のピクチャの両方を参照ピクチャとして用いて符号化されたピクチャ(すなわち、参照は「双方向性」である)は「Bピクチャ」と称される。
【0022】
[0051]
図1は、本開示のいくつかの実施形態に係る、例示的な映像シーケンス100の構造を示す。映像シーケンス100は、ライブ映像、又は取り込まれ、アーカイブされた映像であることができる。映像100は、現実の映像、コンピュータ生成映像(例えば、コンピュータゲーム映像)、又はこれらの組み合わせ(例えば、拡張現実感効果を伴う現実の映像)であることができる。映像シーケンス100は、映像取り込みデバイス(例えば、カメラ)、以前に取り込まれた映像を包含する映像アーカイブ(例えば、記憶デバイス内に記憶された映像ファイル)、又は映像コンテンツプロバイダからの映像を受信するための映像供給インターフェース(例えば、映像放送トランシーバ)から入力され得る。
【0023】
[0052]
図1に示されるように、映像シーケンス100は、ピクチャ102、104、106、及び108を含む、タイムラインに沿って時間的に配列された一連のピクチャを含むことができる。ピクチャ102~106は連続しており、ピクチャ106及び108の間にはさらなるピクチャが存在する。
図1において、ピクチャ102はIピクチャであり、その参照ピクチャはピクチャ102自身である。ピクチャ104はPピクチャであり、その参照ピクチャは、矢印によって示されるように、ピクチャ102である。ピクチャ106はBピクチャであり、その参照ピクチャは、矢印によって示されるように、ピクチャ104及び108である。実施形態によっては、ピクチャ(例えば、ピクチャ104)の参照ピクチャは当該ピクチャの直前又は直後になくてもよい。例えば、ピクチャ104の参照ピクチャはピクチャ102の前のピクチャであることができる。ピクチャ102~106の参照ピクチャは単なる例にすぎず、本開示は参照ピクチャの実施形態を、
図1に示される例に限定しないことに留意されたい。
【0024】
[0053] 典型的に、映像コーデックは、このようなタスクの計算の複雑性のゆえに、ピクチャ全体を一度に符号化又は復号化しない。むしろ、それらはピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号化することができる。このような基本セグメントは本開示において基本処理ユニット(「BPU(basic processing unit)」)と称される。例えば、
図1における構造110は映像シーケンス100のピクチャ(例えば、ピクチャ102~108のうちの任意のもの)の例示的な構造を示す。構造110においては、ピクチャが4×4基本処理ユニットに分割され、それらの境界は破線として示されている。実施形態によっては、基本処理ユニットは、いくつかの映像符号化規格(例えば、MPEGファミリー、H.261、H.263、又はH.264/AVC)では、「マクロブロック」と、或いはいくつかの他の映像符号化規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ツリーユニット」(「CTU(coding tree unit)」)と称され得る。基本処理ユニットは、128×128、64×64、32×32、16×16、4×8、16×32などの、ピクチャにおける可変サイズ、或いはピクセルの任意の随意の形状及びサイズを有することができる。基本処理ユニットのサイズ及び形状は、ピクチャのために、符号化効率と、基本処理ユニットにおいて維持されるべき詳細さのレベルとのバランスに基づいて選択することができる。
【0025】
[0054] 基本処理ユニットは、コンピュータメモリ内に(例えば、映像フレームバッファ内に)記憶された異なる種類の映像データのグループを含むことができる、論理ユニットであることができる。例えば、カラーピクチャの基本処理ユニットは、無色の輝度情報を表現するルマ成分(Y)、色情報を表現する1つ以上のクロマ成分(例えば、Cb及びCr)、並びに関連構文要素を含むことができ、ここで、ルマ及びクロマ成分は基本処理ユニットの同じサイズを有することができる。ルマ及びクロマ成分は、いくつかの映像符号化規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ツリーブロック」(「CTB(coding tree block)」)と称され得る。基本処理ユニットに対して遂行される任意の演算はそのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。
【0026】
[0055] 映像符号化は複数の演算段階を有し、
図2A~
図2B及び
図3A~
図3Bにその例が示されている。段階ごとに、基本処理ユニットのサイズは依然として処理のために大きすぎるものになり得、それゆえ、本開示において「基本処理サブユニット」と称されるセグメントにさらに分割され得る。実施形態によっては、基本処理サブユニットは、いくつかの映像符号化規格(例えば、MPEGファミリー、H.261、H.263、又はH.264/AVC)では、「ブロック」と、或いはいくつかの他の映像符号化規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ユニット」(「CU」)と称され得る。基本処理サブユニットは、基本処理ユニットと同じ、又はそれよりも小さいサイズを有することができる。基本処理ユニットと同様に、基本処理サブユニットもまた、コンピュータメモリ内に(例えば、映像フレームバッファ内に)記憶された異なる種類の映像データ(例えば、Y、Cb、Cr、及び関連構文要素)のグループを含むことができる、論理ユニットである。基本処理サブユニットに対して遂行される任意の動作はそのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。このような分割は処理の必要に応じてさらなるレベルまで遂行され得ることに留意されたい。また、異なる段階は、異なる方式を用いて基本処理ユニットを分割することができることにも留意されたい。
【0027】
[0056] 例えば、モード決定段階(
図2Bにその一例が示されている)において、符号器は、どのような予測モード(例えば、イントラピクチャ予測又はインターピクチャ予測)を基本処理ユニットのために用いるかを決定することができるが、基本処理ユニットは、このような決定を行うには大きすぎるものになり得る。符号器は基本処理ユニットを複数の基本処理サブユニット(例えば、H.265/HEVC又はH.266/VVCの場合のように、CU)に分割し、個々の基本処理サブユニットごとに予測の種類を決めることができる。
【0028】
[0057] 別の例として、予測段階(
図2A~
図2Bにその例が示されている)において、符号器は基本処理サブユニット(例えば、CU)のレベルで予測演算を遂行することができる。しかし、場合によっては、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は基本処理サブユニットをより小さいセグメント(例えば、H.265/HEVC又はH.266/VVCでは「予測ブロック(prediction block)」又は「PB」と称される)にさらに分割することができ、そのレベルで予測演算が遂行され得る。
【0029】
[0058] 別の例として、変換段階(
図2A~
図2Bにその例が示されている)において、符号器は残差基本処理サブユニット(例えば、CU)のための変換演算を遂行することができる。しかし、場合によっては、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は基本処理サブユニットをより小さいセグメント(例えば、H.265/HEVC又はH.266/VVCでは「変換ブロック(transform block)」又は「TB」と称される)にさらに分割することができ、そのレベルで変換演算が遂行され得る。同じ基本処理サブユニットの分割方式が予測段階及び変換段階において異なってもよいことに留意されたい。例えば、H.265/HEVC又はH.266/VVCでは、同じCUの予測ブロック及び変換ブロックが異なるサイズ及び数を有してもよい。
【0030】
[0059]
図1の構造110においては、基本処理ユニット112は3×3基本処理サブユニットにさらに分割され、それらの境界は点線として示されている。同じピクチャの異なる基本処理ユニットは異なる方式で基本処理サブユニットに分割されてもよい。
【0031】
[0060] 実装形態によっては、並列処理及び誤り耐性の能力を映像符号化及び復号化にもたらすために、ピクチャを処理のための領域に分割することができ、これにより、符号化又は復号化プロセスは、ピクチャ領域に関して、ピクチャのいかなる他の領域からの情報にも依存しなくてすむ。換言すれば、ピクチャの各領域は独立して処理され得る。そうすることによって、コーデックはピクチャの異なる領域を並列に処理することができ、それゆえ、符号化効率を増大させる。また、領域のデータが処理中に破損したか、又はネットワーク伝送中に失われたときには、コーデックは、破損した、又は失われたデータを頼ることなく、同じピクチャの他の領域を正しく符号化又は復号化することもでき、それゆえ、誤り耐性の能力をもたらす。いくつかの映像符号化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、H.265/HEVC及びH.266/VVCは2種類の領域:「スライス」及び「タイル」を提供する。また、映像シーケンス100の異なるピクチャは、ピクチャを領域に分割するための異なる区分方式を有することができることにも留意されたい。
【0032】
[0061] 例えば、
図1では、構造110は3つの領域114、116、及び118に分割され、それらの境界は構造110の内部の実線として示されている。領域114は4つの基本処理ユニットを含む。領域116及び118の各々は6つの基本処理ユニットを含む。
図1における構造110の基本処理ユニット、基本処理サブユニット、及び領域は単なる例に過ぎず、本開示はその実施形態を限定しないことに留意されたい。
【0033】
[0062]
図2Aは、本開示の実施形態に従う、例示的な符号化プロセス200Aの概略図を示す。例えば、符号化プロセス200Aは符号器によって遂行され得る。
図2Aに示されるように、符号器はプロセス200Aに従って映像シーケンス202を映像ビットストリーム228に符号化することができる。
図1における映像シーケンス100と同様に、映像シーケンス202は、時間的順序で配列されたピクチャ(「原ピクチャ」と称される)のセットを含むことができる。
図1における構造110と同様に、映像シーケンス202の各原ピクチャは符号器によって処理のために基本処理ユニット、基本処理サブユニット、又は領域に分割され得る。実施形態によっては、符号器は映像シーケンス202の原ピクチャごとに基本処理ユニットのレベルでプロセス200Aを遂行することができる。例えば、符号器はプロセス200Aを反復的な仕方で遂行することができ、符号器は基本処理ユニットをプロセス200Aの1回の反復において符号化することができる。実施形態によっては、符号器はプロセス200Aを映像シーケンス202の各原ピクチャの領域(例えば、領域114~118)について並列に遂行することができる。
【0034】
[0063]
図2Aにおいて、符号器は映像シーケンス202の原ピクチャの基本処理ユニット(「原BPU」と称される)を予測段階204に供給し、予測データ206及び予測BPU208を生成することができる。符号器は予測BPU208を原BPUから減算し、残差BPU210を生成することができる。符号器は残差BPU210を変換段階212及び量子化段階214に供給し、量子化変換係数216を生成することができる。符号器は予測データ206及び量子化変換係数216を2値符号化段階226に供給し、映像ビットストリーム228を生成することができる。構成要素202、204、206、208、210、212、214、216、226、及び228は「順方向経路」と称され得る。プロセス200Aの間、量子化段階214の後に、符号器は量子化変換係数216を逆量子化段階218及び逆変換段階220に供給し、再構成残差BPU222を生成することができる。符号器は再構成残差BPU222を予測BPU208に加算し、プロセス200Aの次の反復のために予測段階204において用いられる、予測参照224を生成することができる。プロセス200Aの構成要素218、220、222、及び224は「再構成経路」と称され得る。再構成経路は、符号器及び復号器の両方が同じ参照データを予測のために用いることを確実にするために用いられ得る。
【0035】
[0064] 符号器は、原ピクチャの各原BPUを(順方向経路内で)符号化し、原ピクチャの次の原BPUを符号化するための予測参照224を(再構成経路内で)生成するために、プロセス200Aを反復的に遂行することができる。原ピクチャの全ての原BPUを符号化した後に、符号器は、映像シーケンス202内の次のピクチャを符号化するために進むことができる。
【0036】
[0065] プロセス200Aを参照すると、符号器は、映像取り込みデバイス(例えば、カメラ)によって生成された映像シーケンス202を受信することができる。本明細書において用いられる用語「受信する」は、受信すること、入力すること、獲得すること、取得すること、得ること、読み込むこと、アクセスすること、又はデータを入力するための任意の仕方による任意の行為を指すことができる。
【0037】
[0066] 予測段階204では、現在の反復において、符号器は原BPU及び予測参照224を受信し、予測演算を遂行し、予測データ206及び予測BPU208を生成することができる。予測参照224はプロセス200Aの以前の反復の再構成経路から生成され得る。予測段階204の目的は、予測データ206を抽出することによって、情報冗長性を低減することであり、予測データ206は、予測データ206及び予測参照224から原BPUを予測BPU208として再構成するために用いることができる。
【0038】
[0067] 理想的には、予測BPU208は原BPUと同一であることができる。しかし、非理想的な予測及び再構成演算のゆえに、予測BPU208は、概して、原BPUとは若干異なる。このような差を記録するために、予測BPU208を生成した後に、符号器はそれを原BPUから減算し、残差BPU210を生成することができる。例えば、符号器は予測BPU208のピクセルの値(例えば、グレースケール値又はRGB値)を原BPUの対応するピクセルの値から減算することができる。残差BPU210の各ピクセルは、原BPU及び予測BPU208の対応するピクセルの間のこのような減算の結果としての残差値を有することができる。原BPUと比べて、予測データ206及び残差BPU210はより少数のビットを有することができ、それらは、著しい品質劣化を伴うことなく原BPUを再構成するために用いられ得る。それゆえ、原BPUは圧縮される。
【0039】
[0068] 残差BPU210をさらに圧縮するために、変換段階212において、符号器は、それを2次元「基底パターン」のセットに分解することによって、残差BPU210の空間的冗長性を低減することができ、各基底パターンは「変換係数」に関連付けられている。基底パターンは同じサイズ(例えば、残差BPU210のサイズ)を有することができる。各基底パターンは残差BPU210の変化周波数(例えば、輝度変化の周波数)成分を表現することができる。基底パターンはいずれも、いかなる他の基底パターンのいかなる結合(例えば、線形結合)からも再現することができない。換言すれば、分解は残差BPU210の変化を周波数領域に分解することができる。このような分解は関数の離散フーリエ変換と類似しており、この場合、基底パターンは、離散フーリエ変換の基底関数(例えば、三角関数)と類似しており、変換係数は、基底関数に関連付けられた係数と類似している。
【0040】
[0069] 異なる変換アルゴリズムは異なる基底パターンを用いることができる。例えば、離散余弦変換、離散正弦変換、又は同様のものなどの、様々な変換アルゴリズムを変換段階212において用いることができる。変換段階212における変換は逆演算可能である。すなわち、符号器は変換の逆演算(「逆変換」と称される)によって残差BPU210を回復することができる。例えば、残差BPU210のピクセルを回復するために、逆変換は、基底パターンの対応するピクセルの値にそれぞれの関連係数を乗算し、積を加算していき、加重和を生成することができる。映像符号化規格のために、符号器及び復号器は両方とも同じ変換アルゴリズム(それゆえ、同じ基底パターン)を用いることができる。それゆえ、符号器は変換係数のみを記録することができ、復号器は、基底パターンを符号器から受信することなく、変換係数から残差BPU210を再構成することができる。残差BPU210と比べて、変換係数はより少数のビットを有することができ、それらは、著しい品質劣化を伴うことなく残差BPU210を再構成するために用いられ得る。それゆえ、残差BPU210はさらに圧縮される。
【0041】
[0070] 符号器は量子化段階214において変換係数をさらに圧縮することができる。変換プロセスにおいて、異なる基底パターンは異なる変化周波数(例えば、輝度変化周波数)を表現することができる。人間の眼は、概して、低周波数変化を認識することがより得意であるため、符号器は、復号化において著しい品質劣化を生じさせることなく高周波数変化の情報を無視することができる。例えば、量子化段階214において、符号器は、各変換係数を整数値(「量子化パラメータ」と称される)で除算し、商をその最近傍の整数に丸めることによって、量子化変換係数216を生成することができる。このような演算の後に、高周波数基底パターンの一部の変換係数は0に変換され得、低周波数基底パターンの変換係数はより小さい整数に変換され得る。符号器は、0値の量子化変換係数216を無視することができ、これによって変換係数はさらに圧縮される。量子化プロセスもまた逆演算可能であり、この場合、量子化変換係数216は、量子化の逆演算(「逆量子化」と称される)において変換係数に再構成され得る。
【0042】
[0071] 符号器はこのような除算の剰余を丸め演算において無視するため、量子化段階214は非可逆になり得る。典型的に、量子化段階214はプロセス200Aにおいて最大の情報損失に寄与し得る。情報損失が大きいほど、量子化変換係数216は少ないビットを必要とし得る。異なる情報損失レベルを得るために、符号器は量子化パラメータ又は量子化プロセスの任意の他のパラメータの異なる値を用いることができる。
【0043】
[0072] 2値符号化段階226において、符号器は、例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応2値算術符号化、又は任意の他の可逆若しくは非可逆圧縮アルゴリズムなどの、2値符号化技法を用いて、予測データ206及び量子化変換係数216を符号化することができる。実施形態によっては、予測データ206及び量子化変換係数216のほかに、符号器は、例えば、予測段階204において用いられる予測モード、予測演算のパラメータ、変換段階212における変換の種類、量子化プロセスのパラメータ(例えば、量子化パラメータ)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)、又は同様のものなどの、他の情報を2値符号化段階226において符号化することができる。符号器は、2値符号化段階226の出力データを用いて映像ビットストリーム228を生成することができる。実施形態によっては、映像ビットストリーム228をネットワーク伝送のためにさらにパケット化することができる。
【0044】
[0073] プロセス200Aの再構成経路を参照すると、逆量子化段階218において、符号器は、量子化変換係数216に対して逆量子化を遂行し、再構成変換係数を生成することができる。逆変換段階220において、符号器は、再構成変換係数に基づいて再構成残差BPU222を生成することができる。符号器は、再構成残差BPU222を予測BPU208に加算し、プロセス200Aの次の反復において用いられることになる予測参照224を生成することができる。
【0045】
[0074] 映像シーケンス202を符号化するために、プロセス200Aの他のバリエーションを用いることができることに留意されたい。実施形態によっては、プロセス200Aの段階は、符号器により、異なる順序で遂行され得る。実施形態によっては、プロセス200Aの1つ以上の段階を単一の段階に組み合わせることができる。実施形態によっては、プロセス200Aの単一の段階を複数の段階に分割することができる。例えば、変換段階212及び量子化段階214を単一の段階に組み合わせることができる。実施形態によっては、プロセス200Aは追加の段階を含むことができる。実施形態によっては、プロセス200Aは
図2Aにおける1つ以上の段階を省略することができる。
【0046】
[0075]
図2Bは、本開示の実施形態に従う、別の例示的な符号化プロセス200Bの概略図を示す。プロセス200Bはプロセス200Aから変更され得る。例えば、プロセス200Bは、ハイブリッド映像符号化規格(例えば、H.26xシリーズ)に準拠した符号器によって用いられ得る。プロセス200Aと比べて、プロセス200Bの順方向経路は、モード決定段階230を追加的に含み、予測段階204を空間的予測段階2042及び時間的予測段階2044に分割する。プロセス200Bの再構成経路は、ループフィルタ段階232及びバッファ234を追加的に含む。
【0047】
[0076] 概して、予測技法は2つの種類:空間的予測及び時間的予測に分類することができる。空間的予測(例えば、イントラピクチャ予測又は「イントラ予測」)は、現在のBPUを予測するために、同じピクチャ内の1つ以上のすでに符号化された隣接BPUからのピクセルを用いることができる。すなわち、空間的予測における予測参照224は隣接BPUを含むことができる。空間的予測はピクチャの固有の空間的冗長性を低減することができる。時間的予測(例えば、インターピクチャ予測又は「インター予測」)は、現在のBPUを予測するために、1つ以上のすでに符号化されたピクチャからの領域を用いることができる。すなわち、時間的予測における予測参照224は符号化ピクチャを含むことができる。時間的予測はピクチャの固有の時間的冗長性を低減することができる。
【0048】
[0077] プロセス200Bを参照すると、順方向経路内において、符号器は予測演算を空間的予測段階2042及び時間的予測段階2044において遂行する。例えば、空間的予測段階2042において、符号器はイントラ予測を遂行することができる。符号化中のピクチャの原BPUのために、予測参照224は、(順方向経路内で)符号化され、(再構成経路内で)再構成された同じピクチャ内の1つ以上の隣接BPUを含むことができる。符号器は、隣接BPUを補外することによって予測BPU208を生成することができる。外挿技法は、例えば、線形外挿若しくは線形補間、多項式外挿若しくは多項式補間、又は同様のものを含むことができる。実施形態によっては、符号器は、予測BPU208のピクセルごとに、対応するピクセルの値を外挿することによるなどして、外挿をピクセルレベルで遂行することができる。外挿のために用いられる隣接BPUは、(例えば、原BPUの上の)鉛直方向、(例えば、原BPUの左の)水平方向、(例えば、原BPUの左下、右下、左上、若しくは右上の)対角方向、又は用いられる映像符号化規格において定義される任意の方向などの、様々な方向から原BPUに対して位置することができる。イントラ予測のために、予測データ206は、例えば、用いられる隣接BPUの場所(例えば、座標)、用いられる隣接BPUのサイズ、補外のパラメータ、原BPUに対する用いられる隣接BPUの方向、又は同様のものを含むことができる。
【0049】
[0078] 別の例として、時間的予測段階2044において、符号器はインター予測を遂行することができる。現在のピクチャの原BPUのために、予測参照224は、(順方向経路内で)符号化され、(再構成経路内で)再構成された1つ以上のピクチャ(「参照ピクチャ」と称される)を含むことができる。実施形態によっては、参照ピクチャはBPUごとに符号化され、再構成され得る。例えば、符号器は再構成残差BPU222を予測BPU208に加算し、再構成BPUを生成することができる。同じピクチャの全ての再構成BPUが生成されたとき、符号器は再構成ピクチャを参照ピクチャとして生成することができる。符号器は、参照ピクチャの範囲(「探索窓」と称される)内のマッチング領域を探索するために「動き推定」の演算を遂行することができる。参照ピクチャ内の探索窓の場所は、現在のピクチャの原BPUの場所に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内の、現在のピクチャ内の原BPUと同じ座標を有する場所に中心を有することができ、所定の距離にわたって外へ拡張され得る。符号器が(例えば、画素再帰(pel-recursive)アルゴリズム、ブロックマッチングアルゴリズム、又は同様のものを用いることによって)探索窓内の原BPUと同様の領域を識別したとき、符号器はこのような領域をマッチング領域と決定することができる。マッチング領域は、原BPUとは異なる(例えば、原BPUよりも小さい、それに等しい、それよりも大きい、又は異なる形状の)寸法を有することができる。参照ピクチャ及び現在のピクチャが(例えば、
図1に示されるように)タイムライン内で時間的に分離されているため、時間が経過するにつれてマッチング領域は原BPUの場所へ「移動する」と見なすことができる。符号器はこのような動きの方向及び距離を「動きベクトル」として記録することができる。複数の参照ピクチャが(例えば、
図1におけるピクチャ106として)用いられるときには、符号器は参照ピクチャごとにマッチング領域を探索し、関連する動きベクトルを決定することができる。実施形態によっては、符号器はそれぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを付与することができる。
【0050】
[0079] 動き推定は、例えば、並進、回転、ズーミング、又は同様のものなどの、様々な種類の動きを識別するために用いることができる。インター予測のために、予測データ206は、例えば、マッチング領域の場所(例えば、座標)、マッチング領域に関連付けられた動きベクトル、参照ピクチャの数、参照ピクチャに関連付けられた重み、又は同様のものを含むことができる。
【0051】
[0080] 予測BPU208を生成するために、符号器は「動き補償」の演算を遂行することができる。動き補償は、予測データ206(例えば、動きベクトル)及び予測参照224に基づいて予測BPU208を再構成するために用いることができる。例えば、符号器は、動きベクトルに従って参照ピクチャのマッチング領域を移動させることができ、それにより、符号器は現在のピクチャの原BPUを予測することができる。複数の参照ピクチャが(例えば、
図1におけるピクチャ106として)用いられるときには、符号器はそれぞれの動きベクトルに従って参照ピクチャのマッチング領域を移動させ、マッチング領域のピクセル値を平均することができる。実施形態によっては、符号器がそれぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを付与した場合には、符号器はピクセル値の加重和を、移動させられたマッチング領域に加算することができる。
【0052】
[0081] 実施形態によっては、インター予測は一方向性又は双方向性であることができる。一方向性インター予測は現在のピクチャに対して同じ時間方向の1つ以上の参照ピクチャを用いることができる。例えば、
図1におけるピクチャ104は、参照ピクチャ(すなわち、ピクチャ102)がピクチャ104に先行する、一方向インター予測ピクチャである。双方向インター予測は、現在のピクチャに対して両方の時間方向にある1つ以上の参照ピクチャを用いることができる。例えば、
図1におけるピクチャ106は、参照ピクチャ(すなわち、ピクチャ104及び108)がピクチャ104に対して両方の時間方向にある、双方向インター予測ピクチャである。
【0053】
[0082] プロセス200Bの順方向経路をなおも参照すると、空間的予測段階2042及び時間的予測段階2044の後に、モード決定段階230において、符号器は予測モード(例えば、イントラ予測又はインター予測のうちの一方)をプロセス200Bの現在の反復のために選択することができる。例えば、符号器はレート-歪み最適化技法を遂行することができる。本技法では、符号器は、候補予測モードのビットレート及び当該候補予測モード下での再構成参照ピクチャの歪みに依存するコスト関数の値を最小化するための予測モードを選択することができる。選択された予測モードに応じて、符号器は、対応する予測BPU208及び予測データ206を生成することができる。
【0054】
[0083] プロセス200Bの再構成経路内において、イントラ予測モードが順方向経路内で選択された場合には、予測参照224(例えば、現在のピクチャにおいて符号化され、再構成された現在のBPU)を生成した後に、符号器は予測参照224を後の使用のために(例えば、現在のピクチャの次のBPUの補外のために)空間的予測段階2042に直接供給することができる。インター予測モードが順方向経路内で選択された場合には、予測参照224(例えば、全てのBPUが符号化され、再構成された現在のピクチャ)を生成した後に、符号器は予測参照224をループフィルタ段階232に供給することができ、そこで、符号器は、ループフィルタを予測参照224に適用し、インター予測によって導入された歪み(例えば、ブロッキングアーチファクト)を低減又は解消することができる。符号器は、例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ、又は同様のものなどの、様々なループフィルタ技法をループフィルタ段階232において適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために(例えば、映像シーケンス202の将来のピクチャのためのインター予測参照ピクチャとして用いられるために)バッファ234(又は「復号化ピクチャバッファ」)内に記憶され得る。符号器は、1つ以上の参照ピクチャを、時間的予測段階2044において用いられるためにバッファ234内に記憶することができる。実施形態によっては、符号器は、ループフィルタのパラメータ(例えば、ループフィルタ強度)を、量子化変換係数216、予測データ206、及び他の情報と共に、2値符号化段階226において符号化することができる。
【0055】
[0084]
図3Aは、本開示の実施形態に従う、例示的な復号化プロセス300Aの概略図を示す。プロセス300Aは、
図2Aにおける圧縮プロセス200Aに対応する復元プロセスであることができる。実施形態によっては、プロセス300Aはプロセス200Aの再構成経路と似たものであることができる。復号器は、プロセス300Aに従って映像ビットストリーム228を映像ストリーム304に復号化することができる。映像ストリーム304は映像シーケンス202とよく似たものであることができる。しかし、圧縮及び復元プロセス(例えば、
図2A~
図2Bにおける量子化段階214)における情報損失のゆえに、概して、映像ストリーム304は映像シーケンス202と同一ではない。
図2A~
図2Bにおけるプロセス200A及び200Bと同様に、復号器は、映像ビットストリーム228内に符号化されたピクチャごとに基本処理ユニット(BPU)のレベルでプロセス300Aを遂行することができる。例えば、復号器はプロセス300Aを反復的な仕方で遂行することができ、復号器は基本処理ユニットをプロセス300Aの1回の反復において復号化することができる。実施形態によっては、復号器は、プロセス300Aを、映像ビットストリーム228内に符号化された各ピクチャの領域(例えば、領域114~118)のために並列に遂行することができる。
【0056】
[0085]
図3Aにおいて、復号器は、符号化ピクチャの基本処理ユニット(「符号化BPU」と称される)に関連付けられた映像ビットストリーム228の部分を2値復号化段階302に供給することができる。2値復号化段階302において、復号器は当該部分を予測データ206及び量子化変換係数216に復号化することができる。復号器は、量子化変換係数216を逆量子化段階218及び逆変換段階220に供給し、再構成残差BPU222を生成することができる。復号器は、予測データ206を予測段階204に供給し、予測BPU208を生成することができる。復号器は、再構成残差BPU222を予測BPU208に加算し、予測参照224を生成することができる。実施形態によっては、予測参照224をバッファ(例えば、コンピュータメモリ内の復号化ピクチャバッファ)内に記憶することができる。復号器は、予測演算をプロセス300Aの次の反復において遂行するために予測参照224を予測段階204に供給することができる。
【0057】
[0086] 復号器は、符号化ピクチャの各符号化BPUを復号化し、符号化ピクチャの次の符号化BPUを符号化するための予測参照224を生成するために、プロセス300Aを反復的に遂行することができる。符号化ピクチャの全ての符号化BPUを復号化した後に、復号器は、表示のためにピクチャを映像ストリーム304に出力し、映像ビットストリーム228内の次の符号化ピクチャを復号化する処理に進むことができる。
【0058】
[0087] 2値復号化段階302において、復号器は、符号器によって用いられた2値符号化技法(例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応2値算術符号化、又は任意の他の可逆圧縮アルゴリズム)の逆演算を遂行することができる。実施形態によっては、予測データ206及び量子化変換係数216のほかに、復号器は、例えば、予測モード、予測演算のパラメータ、変換の種類、量子化プロセスのパラメータ(例えば、量子化パラメータ)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)、又は同様のものなどの、他の情報を2値復号化段階302において復号化することができる。実施形態によっては、映像ビットストリーム228がネットワークを通じてパケットの形で伝送される場合には、復号器は映像ビットストリーム228を、それを2値復号化段階302に供給する前にパケット化解除することができる。
【0059】
[0088]
図3Bは、本開示の実施形態に従う、別の例示的な復号化プロセス300Bの概略図を示す。プロセス300Bはプロセス300Aから変更され得る。例えば、プロセス300Bは、ハイブリッド映像符号化規格(例えば、H.26xシリーズ)に準拠した復号器によって用いられ得る。プロセス300Aと比べて、プロセス300Bは予測段階204を空間的予測段階2042及び時間的予測段階2044に追加的に分割し、ループフィルタ段階232及びバッファ234を追加的に含む。
【0060】
[0089] プロセス300Bにおいて、復号化中の符号化ピクチャ(「現在のピクチャ」と称される)の符号化基本処理ユニット(「現在のBPU」と称される)のために、復号器によって2値復号化段階302から復号化された予測データ206は、いかなる予測モードが符号器によって現在のBPUを符号化するために用いられたのかに依存して、様々な種類のデータを含むことができる。例えば、イントラ予測が符号器によって現在のBPUを符号化するために用いられた場合には、予測データ206は、イントラ予測、イントラ予測演算のパラメータ、又は同様のものを示す、予測モードインジケータ(例えば、フラグ値)を含むことができる。イントラ予測演算のパラメータは、例えば、参照として用いられる1つ以上の隣接BPUの場所(例えば、座標)、隣接BPUのサイズ、補外のパラメータ、原BPUに対する隣接BPUの方向、又は同様のものを含むことができる。別の例として、インター予測が符号器によって現在のBPUを符号化するために用いられた場合には、予測データ206は、インター予測、インター予測演算のパラメータ、又は同様のものを示す、予測モードインジケータ(例えば、フラグ値)を含むことができる。インター予測演算のパラメータは、例えば、現在のBPUに関連付けられた参照ピクチャの数、参照ピクチャにそれぞれ関連付けられた重み、それぞれの参照ピクチャ内の1つ以上のマッチング領域の場所(例えば、座標)、マッチング領域にそれぞれ関連付けられた1つ以上の動きベクトル、又は同様のものを含むことができる。
【0061】
[0090] 予測モードインジケータに基づいて、復号器は、空間的予測段階2042において空間的予測(例えば、イントラ予測)を遂行するべきか、又は時間的予測段階2044において時間的予測(例えば、インター予測)を遂行するべきかを決定することができる。このような空間的予測又は時間的予測を遂行することの詳細は
図2Bにおいて説明されており、以下、繰り返されない。このような空間的予測又は時間的予測を遂行した後に、復号器は予測BPU208を生成することができる。復号器は、
図3Aにおいて説明されたように、予測BPU208及び再構成残差BPU222を加算し、予測参照224を生成することができる。
【0062】
[0091] プロセス300Bにおいて、復号器は、予測演算をプロセス300Bの次の反復において遂行するために予測参照224を空間的予測段階2042又は時間的予測段階2044に供給することができる。例えば、現在のBPUが空間的予測段階2042においてイントラ予測を用いて復号化される場合には、予測参照224(例えば、復号化された現在のBPU)を生成した後に、復号器は、予測参照224を後の使用のために(例えば、現在のピクチャの次のBPUの補外のために)空間的予測段階2042に直接供給することができる。現在のBPUが時間的予測段階2044においてインター予測を用いて復号化される場合には、予測参照224(例えば、全てのBPUが復号化された参照ピクチャ)を生成した後に、符号器は、予測参照224をループフィルタ段階232に供給し、歪み(例えば、ブロッキングアーチファクト)を低減又は解消することができる。復号器は、
図2Bにおいて説明されたとおりの仕方でループフィルタを予測参照224に適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために(例えば、映像ビットストリーム228の将来の符号化ピクチャのためのインター予測参照ピクチャとして用いられるために)バッファ234(例えば、コンピュータメモリ内の復号化ピクチャバッファ)内に記憶され得る。復号器は、1つ以上の参照ピクチャを、時間的予測段階2044において用いるためにバッファ234内に記憶することができる。実施形態によっては、予測データ206の予測モードインジケータが、インター予測が現在のBPUを符号化するために用いられたことを示すときには、予測データはループフィルタのパラメータ(例えば、ループフィルタ強度)をさらに含むことができる。
【0063】
[0092]
図4は、本開示の実施形態に従う、映像を符号化又は復号化するための例示的な装置400のブロック図である。
図4に示されるように、装置400はプロセッサ402を含むことができる。プロセッサ402が、本明細書において説明される命令を実行したとき、装置400は映像符号化又は復号化のための専用機械になることができる。プロセッサ402は、情報を操作又は処理する能力を有する任意の種類の回路機構であることができる。例えば、プロセッサ402は、中央処理装置(又は「CPU(central processing unit)」)、グラフィック処理装置(又は「GPU(graphics processing unit)」)、ニューラル処理装置(「NPU(neural processing unit)」)、マイクロコントローラユニット(「MCU(microcontroller unit)」)、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産(IP(intellectual property))コア、プログラマブル論理アレイ(PLA(Programmable Logic Array))、プログラマブルアレイ論理(PAL(Programmable Array Logic))、ジェネリックアレイ論理(GAL(Generic Array Logic))、複合プログラマブル論理装置(CPLD(Complex Programmable Logic Device))、フィールドプログラマブルゲートアレイ(FPGA(Field-Programmable Gate Array))、システムオンチップ(SoC(System On Chip))、特定用途向け集積回路(ASIC(Application-Specific Integrated Circuit))、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。実施形態によっては、プロセッサ402はまた、単一の論理構成要素としてグループ化されたプロセッサのセットであることもできる。例えば、
図4に示されるように、プロセッサ402は、プロセッサ402a、プロセッサ402b、及びプロセッサ402nを含む、複数のプロセッサを含むことができる。
【0064】
[0093] 装置400はまた、データ(例えば、命令のセット、コンピュータコード、中間データ、又は同様のもの)を記憶するように構成されたメモリ404を含むことができる。例えば、
図4に示されるように、記憶されるデータは、プログラム命令(例えば、プロセス200A、200B、300A、又は300Bにおける段階を実施するためのプログラム命令)、並びに処理のためのデータ(例えば、映像シーケンス202、映像ビットストリーム228、又は映像ストリーム304)を含むことができる。プロセッサ402は(例えば、バス410を介して)プログラム命令、及び処理のためのデータにアクセスし、プログラム命令を実行し、処理のためのデータに対する演算又は操作を遂行することができる。メモリ404は高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含むことができる。実施形態によっては、メモリ404は、ランダムアクセスメモリ(RAM(random-access memory))、リードオンリーメモリ(ROM(read-only memory))、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル(SD(security digital))カード、メモリスティック、コンパクトフラッシュ(登録商標)(CF(compact flash))カード、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。メモリ404はまた、単一の論理構成要素としてグループ化されたメモリのグループ(
図4には示されていない)であることもできる。
【0065】
[0094] バス410は、内部バス(例えば、CPU-メモリバス)、外部バス(例えば、ユニバーサルシリアルバスポート、ペリフェラルコンポーネントインターコネクトエクスプレスポート)、又は同様のものなどの、装置400の内部の構成要素の間でデータを転送する通信デバイスであることができる。
【0066】
[0095] 曖昧さを生じさせることなく説明を容易にするために、プロセッサ402及び他のデータ処理回路は、本開示においてまとめて「データ処理回路」と称される。データ処理回路は、完全にハードウェアとして、或いはソフトウェア、ハードウェア、又はファームウェアの組み合わせとして実施され得る。加えて、データ処理回路は、単一の独立モジュールであることができるか、或いは装置400の任意の他の構成要素に完全に又は部分的に組み合わせられ得る。
【0067】
[0096] 装置400は、ネットワーク(例えば、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、又は同様のもの)との有線又は無線通信を提供するためのネットワークインターフェース406をさらに含むことができる。実施形態によっては、ネットワークインターフェース406は、ネットワークインターフェースコントローラ(NIC(network interface controller))、無線周波数(RF(radio frequency))モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetoothアダプタ、赤外線アダプタ、近距離無線通信(「NFC(near-field communication)」)アダプタ、セルラーネットワークチップ、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。
【0068】
[0097] 実施形態によっては、任意選択的に、装置400は、1つ以上の周辺デバイスへの接続を提供するための周辺インターフェース408をさらに含むことができる。
図4に示されるように、周辺デバイスは、限定するものではないが、カーソル制御デバイス(例えば、マウス、タッチパッド、又はタッチスクリーン)、キーボード、ディスプレイ(例えば、陰極線管ディスプレイ、液晶ディスプレイ、又は発光ダイオードディスプレイ)、映像入力デバイス(例えば、カメラ、又は映像アーカイブに通信可能に結合された入力インターフェース)、或いは同様のものを含むことができる。
【0069】
[0098] 映像コーデック(例えば、プロセス200A、200B、300A、又は300Bを遂行するコーデック)は、装置400内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実施され得ることに留意されたい。例えば、プロセス200A、200B、300A、又は300Bの一部又は全ての段階は、メモリ404内にロードされ得るプログラム命令などの、装置400の1つ以上のソフトウェアモジュールとして実施され得る。別の例として、プロセス200A、200B、300A、又は300Bの一部又は全ての段階は、特殊データ処理回路(例えば、FPGA、ASIC、NPU、又は同様のもの)などの、装置400の1つ以上のハードウェアモジュールとして実施され得る。
【0070】
[0099] 量子化及び逆量子化機能ブロック(例えば、
図2A又は
図2Bの量子化214及び逆量子化218、
図3A又は
図3Bの逆量子化218)では、量子化パラメータ(QP(quantization parameter))が、予測残差に適用される量子化(及び逆量子化)の量を決定するために用いられる。ピクチャ又はスライスの符号化のために用いられる初期QP値は、例えば、ピクチャパラメータセット(PPS(Picture Parameter Set))内のinit_qp_minus26構文要素を用いて、及びスライスヘッダ内のslice_qp_delta構文要素を用いて、高レベルでシグナリングされ得る。さらに、QP値は、量子化グループの細分性で送信されたデルタQP値を用いてCUごとに局所レベルで適応させることができる。
【0071】
[0100] マージモードの動きベクトル(MV(motion vector))の精度を増大させるために、双方向マッチング(BM(bilateral-matching))ベースの復号器側動きベクトル精密化(DMVR)が多用途ビデオコーディング(VVC)ドラフト6において採用されている。双方向予測演算では、精密化されたMVが、参照ピクチャリストL0及び参照ピクチャリストL1内において初期MVの周りで探索される。BMベースのDMVRは、参照ピクチャリストL0及びリストL1内の2つの候補ブロックの間の歪みを算出する。
図5は、本開示のいくつかの実施形態に係る、復号器側動きベクトル精密化(DMVR)の例示的なプロセス500を示す。
図5は、現在のピクチャ502、第1の参照ピクチャリストL0内の第1の参照ピクチャ504、及び第2の参照ピクチャリストL1内の第2の参照ピクチャ506を示す。第1の初期MV508は、現在のピクチャ502内の現在のブロック510から第1の参照ピクチャ504内の第1の初期参照ブロック512に向いている。第2の初期MV514は、現在のブロック510から第2の参照ピクチャ506内の第2の初期参照ブロック516に向いている。プロセス500は、BMベースのDMVRを遂行し、第1の参照ピクチャ504内の第1の候補参照ブロック518、第2の参照ピクチャ506内の第2の候補参照ブロック520、現在のブロック510及び第1の候補参照ブロック518を接続する第1の候補MV522、並びに現在のブロック510及び第2の候補参照ブロック516を接続する第2の候補MV524を決定することができる。
図5に示されるように、第1の候補MV522及び第2の候補MV524は、それぞれ、第1の初期MV508及び第2の初期MV514に近い。実施形態によっては、プロセス500は、初期MV(例えば、第1の初期MV508又は第2の初期MV514)の周りの各MV候補(例えば、第1の候補MV522又は第2の候補MV524)に基づいて、第1の初期参照ブロック518と第2の初期参照ブロック520との差分絶対値和(SAD(sum of absolute difference))を算出することができる。第1の候補MV522及び第2の候補MV524の最も低いSADを有するものが、双方向予測された信号を生成するために用いられるべき精密化MVになることができる。
【0072】
[0101] 実施形態によっては、VVCドラフト6に記載されているように、DMVRは、以下の条件の全てを満足するCUに適用される:(1)マージモードが、双方向予測MVを用いたCUレベルにおけるものである、(2)ブロックが、例えば、加重平均を用いた双方向予測(BWA(bi-prediction with weighted averaging))をブロックに適用しないことによって、等しい重みを用いた双方向予測MVを用いて予測される、(3)1つの参照ピクチャが現在のピクチャ(例えば、現在のピクチャ502)に対して過去のものであり(例えば、第1の参照ピクチャ504)、別の参照ピクチャが将来のものである(例えば、第2の参照ピクチャ506)、(4)両方の参照ピクチャから現在のピクチャまでの距離(例えば、ピクチャ順序カウント(POC(picture order count))の差)が同じである、(5)ブロックが少なくとも128個のルマサンプルを有し、ブロックの幅及び高さが両方とも少なくとも8つのルマサンプルである。
【0073】
[0102] DMVRプロセス(例えば、プロセス500)によって導出された精密化MVは、インター予測サンプルを生成するため、及び将来のピクチャの符号化のための時間的動きベクトル予測のために用いることができる。原MV(例えば、第1の初期MV508又は第2の初期MV514)を、デブロッキングプロセスにおいて、及び現在のピクチャ(例えば、現在のピクチャ502)内の将来のCU符号化のための空間的MV予測において、用いることができる。
【0074】
[0103]
図5に示されるように、第1のMVオフセット526は第1の初期MV508と第1の候補MV522との間の精密化オフセットを表現し、第2のMVオフセット528は第2の初期MV514と第2の候補MV524との間の精密化オフセットを表現する。第1のMVオフセット526及び第2のMVオフセット528は同じ大きさ及び反対の方向を有することができる。実施形態によっては、探索点が初期MV(例えば、第1の初期MV508及び第2の初期MV514)を包囲することができ、MVオフセット(例えば、第1のMVオフセット526及び第2のMVオフセット528)はMV差ミラーリングルールに従うことができる。例えば、DMVRによってチェックされる点は、候補MV対であるMV0(例えば、第1の候補MV522)及びMV1(例えば、第2の候補MV524)によって表され、式(1)及び(2)に基づくことができる:
MV0’=MV0+MV_offset 式(1)
MV1’=MV1-MV_offset 式(2)
【0075】
[0104] 式(1)及び(2)において、MV0’(例えば、第1の初期MV508)及びMV1’(例えば、第2の候補MV514)は初期MVの対を表現し、MV_offsetは初期MV(例えば、MV0’又はMV1’)と精密化MV(例えば、MV0又はMV1)との間の精密化オフセット(例えば、第1のMVオフセット526又は第2のMVオフセット528)を表現する。MV_offsetは、(例えば、X及びY次元における)動き変位を有するベクトルであることに留意されたい。実施形態によっては、VVCドラフト5に記載されているように、精密化探索範囲(例えば、DMVRの探索範囲)は、水平及び鉛直次元の両方における初期MV(例えば、第1の初期MV508及び第2の初期MV514)からの2つの整数ルマサンプルであることができる。
【0076】
[0105]
図6は、本開示のいくつかの実施形態に係る、例示的なDMVR探索プロセス600を示す。実施形態によっては、プロセス600はコーデック(例えば、
図2A~
図2Bにおける符号器又は
図3A~
図3Bにおける復号器)によって遂行され得る。例えば、コーデックは、映像シーケンスを符号化又はトランスコードするための装置(例えば、
図4における装置400)の1つ以上のソフトウェア又はハードウェア構成要素として実施され得る。実施形態によっては、プロセス600は、VVCドラフト4に記載されているとおりのDMVRの探索プロセスの一例の役割を果たすことができる。
図6に示されるように、プロセス600は、整数サンプルオフセット探索のための段階602及び小数サンプル精密化のための段階604を含む。探索の複雑性を低減するために、実施形態によっては、早期終了機構を用いた高速探索方法を段階602において適用することができる。例えば、25点の完全探索を用いるのではなく、SADチェック点を低減するために2反復探索方式を段階602において適用することができる。
【0077】
[0106]
図6に示されるように、段階604が段階602の後に続くことができる。計算複雑性を減ずるために、実施形態によっては、段階604における小数サンプル精密化は、SADの比較を要する追加の探索を遂行する代わりに、パラメータ誤差面方程式を用いて導出することができる。段階604は、段階602の出力に基づいて条件的に呼び出すことができる。
【0078】
[0107]
図7は、本開示のいくつかの実施形態に係る、DMVR整数ルマサンプル探索のための例示的なパターン700を示す。DMVR整数ルマサンプル探索は、探索されたサンプル内の最も小さいSADを有する点を決定することができる。例えば、DMVR整数ルマサンプル探索は、各段階が少なくとも1回の反復において遂行され得る、整数サンプルオフセット探索のための段階(例えば、段階602)及び小数サンプル精密化探索のための段階(例えば、段階604)を含む、
図6におけるプロセス600として実施することができる。実施形態によっては、DMVR整数ルマサンプル探索の1回目の反復において、最大6つのSADをチェックすることができる。
図7を一例として用いると、1回目の反復において、5つの点702~710(黒色ブロックとして表現されている)のSADを比較することができ、この場合、点702を探索のための中心点として用いることができる。中心点(すなわち、点702)のSADが最も小さい場合には、DMVRの整数サンプル段階を終了することができる。さもなければ、点704~710のSAD分布によって決定される、別の点712(網掛けブロックとして表現されている)をチェックすることができる。DMVR整数ルマサンプル探索の2回目の反復において、点704~712の中で最も小さいSADを有する点を探索のための新たな中心点として選択することができる。実施形態によっては、2回目の反復は1回目の反復と同じように遂行することができる。実施形態によっては、1回目の反復において算出されたSADを2回目の反復において再利用することができ、したがって、追加の点のSADのみをさらに算出することを必要とし得る。
【0079】
[0108] 実施形態によっては、VVCドラフト6に記載されているように、
図7において説明されるような2反復探索を削除することができる。このとき、整数サンプルオフセット探索のための段階(例えば、
図6における段階602)において、25個の点の全てのSADを単一の反復で算出することができる。
図8は、本開示のいくつかの実施形態に係る、DMVR整数ルマサンプル探索における整数サンプルオフセット探索のための段階のための別の例示的なパターン800を示す。例えば、整数サンプルオフセット探索のための段階は、
図6における段階602であることができる。
図8は、初期MV802、及びSADが同時に算出され得る25個の点を示す。実施形態によっては、初期MV802にフレーバーをつける(flavor)ために、初期MV802のSADを(例えば、4分の1だけ)減少させることができる。実施形態によっては、最も小さいSADを有する位置を小数サンプル精密化のための段階(例えば、
図6における段階604)においてさらに精密化することができる。小数サンプル精密化のための段階は、最も小さいSADを有する位置に基づいて条件的に呼び出すことができる。例えば、
図8に示されるように、最も小さいSADを有する位置が(枠804によって表現されるとおりの)初期MV802の周りの9つの点のうちの1つである場合には、小数サンプル精密化のための段階を、精密化MVをDMVR整数ルマサンプル探索の出力として決定するために呼び出すことができる。最も小さいSADを有する位置が初期MV802の周りの9つの点のうちのいずれでもない場合には、最も小さいSADを有する位置をDMVR整数ルマサンプル探索の出力として直接用いることができる。
【0080】
[0109]
図9は、本開示のいくつかの実施形態に係る、DMVRパラメータ誤差面の推定のための例示的なパターン900を示す概略図である。
図8は、初期MV902及び25個の点を示す。初期MV902は、最も小さいSADを有する中心点904に接続している。パラメータ誤差面に基づくサブピクセルオフセット推定では、
図9に示されるように、中心点904の差分絶対値和(SAD)コスト及び中心点904の周りの4つの隣接点906~912におけるSADコストを、2次元放物型誤差面方程式を適合させるために用いることができる。例えば、2次元放物型誤差面方程式は、式(3)に基づくことができる:
E(x,y)=((A(x-x
min)
2+B(y-y
min)
2+)>>mvShift)+E(0,0) 式(3)
【0081】
[0110] 式(3)において、(x
min,y
min)は、最小のSADコストを有する小数位置に対応し、E(x,y)は中心点904及び4つの隣接点906~912のSADコストに対応し、mvShiftはVVCの場合のように4に設定することができ(VVCでは、MVの精度は1/16ペルである)、A及びBは、それぞれ、式(4)及び(5)に基づいて決定することができる:
【数1】
【0082】
[0111] 5つの探索点(すなわち、点904~912)のSADコスト値を用いて式(3)~(5)を解くことによって、式(6)及び(7)に基づいて(x
min,y
min)を決定することができる:
【数2】
【0083】
[0112] 実施形態によっては、全てのSADコスト値が正であり、最も小さい値がE(0,0)であるため、xmin及びyminの値は、(例えば、1/16サンプルの精密度で)-8~8にあるように自動的に制限され得、これは、VVCにおける1/16ペルのMV精度を有する半ペルオフセットに対応する。計算された小数の(xmin,ymin)を整数距離精密化MVに加算し、精密化MVがサブペル精度を有することを可能にすることができる。
【0084】
[0113] VVCには、双方向オプティカルフロー(BDOF)ツールが含まれている。その名称が示すように、BDOFモードは、オブジェクトの動きが滑らかであることを仮定する、オプティカルフローのコンセプトに基づく。BDOFは、以前にはBIOと称され、JEM(Joint Video Exploration Model)ソフトウェアにも含まれている。JEMにおけるBIOと比べて、VVCにおけるBDOFは、特に、乗算の数及び乗数のサイズの点で、はるかにより少ない計算を必要とする、より単純なバージョンである。
【0085】
[0114] BDOFは、CUの双方向予測信号を4×4サブブロックレベルで精密化するために用いることができる。実施形態によっては、BDOFは、以下の条件が満たされるCUに適用される:(1)CUの高さが4でなく、CUのサイズが4×8でない、(2)CUが、アフィンモード又はATMVP(advanced temporal motion vector prediction)マージモードを用いて符号化されない、(3)CUが、2つの参照ピクチャのうちの一方(例えば、
図5における第1の参照ピクチャ504)が表示順序において現在のピクチャ(例えば、
図5における現在のピクチャ502)の前にあり、他方(例えば、
図5における第2の参照ピクチャ506)が表示順序において現在のピクチャの後にある、「真の」双方向予測モードを用いて符号化される。実施形態によっては、BDOFをルマ成分に適用することができる。
【0086】
[0115] 実施形態によっては、BDOFが、CUの双方向予測信号を4×4サブブロックレベルで精密化するために用いられるときには、4×4サブブロックごとに、2つの参照ピクチャリストL0及びL1内の予測サンプルの間の差を最小化することによって動き精密化(vx,vy)を算出することができる。(vx,vy)は、その後、4×4サブブロック内の双方向予測されたサンプル値を調整するために用いることができる。
【0087】
[0116] 実施形態によっては、以下のステップがBDOFプロセスにおいて適用される。まず、k=0,1として、2つの予測信号の水平及び鉛直勾配、
【数3】
を、式(8)及び(9)において表されるように2つの隣接サンプルの間の差を算出することに基づいて決定することができる:
【数4】
【0088】
[0117] 式(8)及び(9)において、I(k)(i,j)は、k=0,1として、リストk内の予測信号の座標(i,j)におけるサンプル値であり、shift1は、ルマビット深度(「bitDepth」)に基づいて式(10)として算出される:
shift1=max(2,14-bitDepth) 式(10)
【0089】
[0118] 次に、式(11)~(15)に基づいて勾配S
1、S
2、S
3、S
5、及びS
6の自己及び相互相関を決定することができる:
【数5】
【0090】
[0119] 式(11)~(15)について、ψ
x(i,j)、ψ
y(i,j)、θ(i,j)の値は式(16)~(18)に基づいて決定することができる:
【数6】
【0091】
[0120] 式(11)~(18)において、Ωは4×4サブブロックの周りの6×6窓であり、na及びnbの値は、それぞれ、式(19)及び(20)を充たすように設定される:
na=min(5,bitDepth-7) 式(19)
nb=min(8,bitDepth-4) 式(20)
【0092】
[0121] 次に、式(21)及び(22)を用いて相互及び自己相関項に基づいて動き精密化(v
x,v
y)が導出される:
【数7】
【0093】
[0122] 式(21)及び(22)において、
【数8】
、
【数9】
、
【数10】
であり、
【数11】
は床関数を表現し、
【数12】
である。
【0094】
[0123] 動き精密化及び勾配に基づいて、式(23)を用いて4×4サブブロック内のサンプルごとに以下の調整b(x,y)を決定することができる:
【数13】
【0095】
[0124] 最後に、式(24)に従って双方向予測サンプルを調整することに基づいてCUのBDOFサンプルを決定することができる:
predBDOF(x,y)=(I(0)(x,y)+I(1)(x,y)+b(x,y)+ooffset)≫shift 式(24)
【0096】
[0125] 実施形態によっては、式(8)~(23)における値は、BDOFプロセスにおける乗数が15ビットを超えず、BDOFプロセスにおける中間パラメータの最大ビット幅が32ビット以内に維持され得るように選択することができる。
【0097】
[0126] 勾配値を導出するために、現在のCU境界の外側のリストk(k=0,1)内のいくつかの予測サンプルI
(k)(i,j)を生成することができる。
図10は、本開示のいくつかの実施形態に係る、BDOFにおいて用いられる拡張された符号化ユニット(CU)領域1000の一例の概略図である。
図10に示されるように、BDOFにおいて用いられる4×4ブロック1002(黒色実線によって囲まれている)は、周囲領域1004を形成する、ブロック1002の境界の周りの1つの拡張された行又は列(黒色破線によって表現されている)によって囲まれている。境界外の予測サンプルを生成することの計算複雑性を制御するために、補間を用いることなく(座標に対する切り捨て演算を用いて)近くの整数位置における参照サンプルを直接取ることによって、拡張された区域1006(白色の枠によって表現されている)内の予測サンプルを生成することができ、通常の8タップ動き補償補間フィルタを、CU1008(灰色の枠によって表現されている)内の予測サンプルを生成するために用いることができる。これらの拡張されたサンプル値は勾配算出においてのみ用いることができる。BDOFプロセスにおける残りのステップについては、CU1008の境界の外側の任意のサンプル及び勾配値が必要とされる場合には、それらをそれらの最近傍点からパディングする(又は繰り返す)ことができる。
【0098】
[0127] JVETの会合において、オプティカルフローによる予測精密化(PROF)と呼ばれる符号化ツールが採用された。PROFは、オプティカルフローを用いてサブブロックベースのアフィン運動補償予測を精密化することによってアフィン運動補償予測の精度を改善する。CU内の各サンプル位置の動きベクトルを導出するために、アフィン運動モデルパラメータを用いることができる。しかし、サンプルごとのアフィン運動補償予測を生成するための複雑性及びメモリアクセス帯域幅の高さのゆえに、VVCにおけるアフィン予測は、CUが4×4サブブロックに分割され、サブブロックの各々に、アフィンCUの制御点MVから導出されたMVを付与される、サブブロックベースのアフィン運動補償方法を用いる。サブブロックベースのアフィン運動補償は、符号化効率、複雑性、及びメモリアクセス帯域幅の間のトレードオフである。それは、理論的なサンプルベースの動き補償予測に代わるサブブロックベースの予測のゆえに、いくらかの予測精度を失う。
【0099】
[0128] アフィン運動補償のより細かい粒度を達成するために、実施形態によっては、通常のサブブロックベースのアフィン運動補償の後にPROFを適用することができる。サンプルベースの精密化は、式(25)などのオプティカルフロー方程式に基づいて導出することができる:
ΔI(i,j)=gx(i,j)*Δvx(i,j)+gy(i,j)*Δvy(i,j) 式(25)
【0100】
[0129] 式(25)において、gx(i,j)及びgy(i,j)はサンプル位置(i,j)における空間的勾配である。Δvは、サブブロックベースの動きベクトルから、アフィンモデルパラメータから導出されたサンプルベースの動きベクトルまでの動きオフセットである。
【0101】
[0130]
図11は、本開示のいくつかの実施形態に係る、サブブロックベースの並進運動及びサンプルベースのアフィン運動の一例の概略図である。
図11に示されるように、V(i,j)は、アフィンモデルを用いて導出されたサンプル位置(i,j)のための理論的な動きベクトルであり、V
SBはサブブロックベースの動きベクトルであり、ΔV(i,j)(点線の矢印として表現されている)はV(i,j)とV
SBとの差である。
【0102】
[0131] 次に、予測精密化ΔI(i,j)をサブブロック予測I(i,j)に加算することができる。式(26)に基づいて最終予測I’を生成することができる:
I’(i,j)=I(i,j)+ΔI(i,j) 式(26)
【0103】
[0132] 本開示の実施形態に従い、DMVR及びBDOFの両方は構文構造内に2つのレベルにおける制御フラグを有することができる。第1の制御フラグは、シーケンスレベル上のシーケンスパラメータセット(SPS)に含めて送信することができ、第2のものは、スライスレベル上のスライスヘッダに含めて送信することができる。
図12は、本開示のいくつかの実施形態に係る、DMVR及びBDOFのための制御フラグを実施するシーケンスパラメータセット(SPS)の例示的な構文構造を示す表1を示す。
図12の表1に示されるように、sps_bdof_enabled_flag及びsps_dmvr_enabled_flagは、それぞれ、SPSに含めて送信されるシーケンスレベルにおけるBDOF及びDMVRのための制御フラグである。sps_bdof_enabled_flag又はsps_dmvr_enabled_flagが偽であるときには、BDOF又はDMVRを、このSPSを参照する映像シーケンス全体内で無効にすることができる。sps_bdof_enabled_flag及びsps_dmvr_enabled_flagが真であるときには、BDOF又はDMVRを現在の映像シーケンスのために有効にすることができる。この場合には、BDOF及びDMVRのスライスレベル制御が有効にされるかどうかを示すために、別のフラグsps_bdof_dmvr_slice_present_flagをさらにシグナリングすることができる。
【0104】
[0133]
図13は、本開示のいくつかの実施形態に係る、DMVR及びBDOFのための制御フラグを実施するスライスヘッダの例示的な構文構造を示す表2を示す。表2に示されるように、表1において設定されるとおりのsps_bdof_dmvr_slice_present_flagが真であるときには、BDOF及びDMVRが現在のスライスのために無効にされるかどうかを示すために、slice_disable_bdof_dmvr_flagをスライスヘッダに含めてシグナリングすることができる。
【0105】
[0134]
図12~
図13はDMVR及びBDOFのための2レベル制御機構を示す。このような機構を用いることによって、符号器(例えば、
図2A~
図2Bにおけるプロセス200A又は200Bを実施する符号器)は、DMVR及びBDOFを個々のスライスのためにオン又はオフに切り替えるためにスライスレベルフラグslice_disable_bdof_dmvr_flagを用いることができる。このようなスライスレベルの適応は2つの利点を有することができる:(1)DMVR又はBDOFのうちの少なくとも一方が現在のスライスのために有用でないときには、それ(又はそれら)をオフに切り替えることで、符号化性能を改善することができる、(2)DMVR及びBDOFは比較的高い計算複雑性を有し、したがって、それらをオフに切り替えることで、現在のスライスの符号化及び復号化の複雑性を低減することができる。
【0106】
[0135] 本開示の実施形態では、PROFのための制御フラグをシーケンスレベル及びスライスレベルの両方において用いることもできる。実施形態によっては、DMVR、BDOF、及びPROFが有効にされるかどうかをそれぞれ示すための3つの別個のフラグをSPSに含めてシグナリングすることができる。それらのうちの任意のものが有効にされる場合には、有効にされたツールが下位レベルにおいて制御されるかどうかを示すための対応する下位レベル制御有効化フラグをシグナリングすることができる。下位レベルはスライスレベル又はピクチャレベルであり得る。スライスレベル又はピクチャレベル制御が有効にされる場合には、このとき、各スライスヘッダ又はピクチャヘッダに含めて、有効にされたツールが現在のスライス又はピクチャのために無効にされるかどうかを示すためのスライスレベル又はピクチャレベル無効化フラグをシグナリングすることができる。
【0107】
[0136] 本開示の実施形態に従い、
図14Aは、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのためのスライスレベル制御フラグを実施するシーケンスパラメータセット(SPS)の例示的な構文構造を示す表3Aを示す。
図14Bは、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのためのピクチャレベル制御フラグを実施するSPSの例示的な構文構造を示す表3Bを示す。斜体で強調が示された表3A~3Bに示されるように、sps_bdof_enabled_flag、sps_dmvr_enabled_flag、及びsps_affine_prof_enabled_flagは、BDOF、DMVR、及びPROFが映像シーケンスのために有効にされるかどうかをそれぞれ示すためにSPSに含めてシグナリングされるフラグである。BDOF、DMVR、又はPROFが有効にされる場合には、表3Aに示されるように、BDOF、DMVR、及びPROFのスライスレベル制御が有効にされるかどうかをそれぞれ示すために、sps_bdof_slice_present_flag、sps_dmvr_slice_present_flag、又はsps_affine_prof_slice_present_flagをさらにシグナリングすることができる。BDOF、DMVR、又はPROFが有効にされる場合には、表3Bに示されるように、BDOF、DMVR、及びPROFのピクチャレベル制御が有効にされるかどうかをそれぞれ示すために、sps_bdof_picture_present_flag、sps_dmvr_picture_present_flag、又はsps_affine_prof_picture_present_flagをさらにシグナリングすることができる。
【0108】
[0137]
図15Aは、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための制御フラグを実施するスライスヘッダの例示的な構文構造を示す表4Aを示す。斜体で強調が示された表4Aに示されるように、表3Aにおいて設定されるとおりのsps_bdof_slice_present_flag、sps_dmvr_slice_present_flag、又はsps_affine_prof_slice_present_flagのうちの任意のものが真である場合には、このとき、BDOF、DMVR、又はPROFが現在のスライスのために無効にされるかどうかをそれぞれ示すために、slice_disable_bdof_flag、slice_disable_dmvr_flag、又はslice_disable_affine_prof_flagをシグナリングすることができる。
図15Bは、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための制御フラグを実施するピクチャヘッダの例示的な構文構造を示す表4Bを示す。斜体で強調が示された表4Bに示されるように、表3Bにおいて設定されるとおりのsps_bdof_picture_present_flag、sps_dmvr_picture_present_flag、又はsps_affine_prof_picture_present_flagのうちの任意のものが真である場合には、このとき、BDOF、DMVR、又はPROFが現在のピクチャのために無効にされるかどうかをそれぞれ示すために、ph_disable_bdof_flag、ph_disable_dmvr_flag、又はph_disable_affine_prof_flagをシグナリングすることができる。
【0109】
[0138] 実施形態によっては、DMVR、BDOF、PROFは3つの別個のシーケンスレベル有効化フラグを有するが、同じスライスレベル制御有効化フラグを共有することができる。例えば、1つのスライスレベル無効化フラグをDMVR、BDOF、PROFのためにシグナリングすることができる。別の例では、3つのスライスレベル無効化フラグをDMVR、BDOF、PROFのために別個にシグナリングすることができる。別の例として、2つのスライスレベル無効化フラグをDMVR、BDOF、PROFのためにシグナリングすることができる。本明細書において説明される例に限定されない、シーケンスレベル、及び(スライスレベル又はピクチャレベルなどの、本明細書において「下位レベル」と称される)シーケンスレベルよりも下位のレベルでのDMVR、BDOF、PROFの制御のための様々な構文構造を実施することができることに留意されたい。
【0110】
[0139]
図16は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための別個のシーケンスレベル制御フラグを実施するシーケンスパラメータセット(SPS)の例示的な構文構造を示す表5を示す。斜体で強調が示された表5に示されるように、DMVR、BDOF、及びPROFが有効にされるかどうかをそれぞれ示すために、3つの別個のフラグsps_bdof_enabled_flag、sps_dmvr_enabled_flag、及びsps_affine_prof_enabled_flagがSPSに含めてシグナリングされる。DMVR、BDOF、又はPROFのうちの少なくとも1つが有効にされる場合には、シーケンスレベルで有効にされるDMVR、BDOF、又はPROFのうちの少なくとも1つが下位レベルにおいて制御されるかどうかを示すために、スライス制御有効化フラグsps_bdof_dmvr_affine_prof_slice_present_flagをシグナリングすることができる。
【0111】
[0140]
図17は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための合同制御フラグを実施するスライスヘッダの例示的な構文構造を示す表6を示す。斜体で強調が示された表6に示されるように、表5において説明されるようにスライスレベル制御が有効にされる場合には(例えば、sps_bdof_dmvr_affine_prof_slice_present_flagが真である)、このとき、各スライスヘッダに含めて、シーケンスレベルで有効にされるDMVR、BDOF、又はPROFのうちの少なくとも1つが現在のスライスのために無効にされるかどうかを示すために、スライスレベル無効化フラグslice_disable_bdof_dmvr_affine_prof_flagをシグナリングすることができる。表6の図示の構文構造において、複数のDMVR、BDOF、及びPROFがシーケンスレベルにおいて有効にされる場合には、その有効にされた複数のものは、スライスレベル制御が有効にされる場合はスライスレベルにおいて合同で制御することができる。
【0112】
[0141]
図18は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための別個の制御フラグを実施するスライスヘッダの例示的な構文構造を示す表7を示す。斜体で強調が示された表7に示されるように、表5において説明されるようにスライスレベル制御が有効にされる場合には(例えば、sps_bdof_dmvr_affine_prof_slice_present_flagが真である)、このとき、シーケンスレベルにおけるDMVR、BDOF、及びPROFのうちの有効にされたもののために、有効にされたものが現在のスライスのために無効にされるかどうかを示すためのスライスレベル無効化フラグをシグナリングすることができる。例えば、表5内のsps_bdof_enabled_flag及びsps_bdof_dmvr_affine_prof_slice_present_flagが真として設定される場合には、BDOFが現在のスライスのために無効にされるかどうかを示すために、表7内のslice_disable_bdof_flagをシグナリングすることができる。別の例として、表5内のsps_dmvr_enabled_flag及びsps_bdof_dmvr_affine_prof_slice_present_flagが真として設定される場合には、DMVRが現在のスライスのために無効にされるかどうかを示すために、表7内のslice_disable_dmvr_flagをシグナリングすることができる。さらに別の例では、表5内のsps_affine_prof_enabled_flag及びsps_bdof_dmvr_affine_prof_slice_present_flagが真として設定される場合には、PROFが現在のスライスのために無効にされるかどうかを示すために、表7内のslice_disable_affine_prof_flagをシグナリングすることができる。表7において、DMVR、BDOF、及びPROFの各々は、スライスレベル制御が有効にされる場合には、スライスレベルにおいて別個に制御することができる。
【0113】
[0142] BDOF及びPROFが両方とも、インター予測因子を精密化するためにオプティカルフローを用いるという事実を考慮して、実施形態によっては、BDOF及びPROFは同じスライスレベル制御フラグを共有することができ、DMVRは別個のスライスレベル制御フラグを用いることができる。
図19は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのためのハイブリッド制御フラグを実施するスライスヘッダの例示的な構文構造を示す表8を示す。表8の構文構造において、BDOF及びPROFは同じスライスレベル無効化フラグを共有することができ、DMVRは別のスライスレベル無効化フラグを用いることができる。斜体で強調が示された表8に示されるように、スライスレベル制御が表5において有効にされる場合には(例えば、sps_bdof_dmvr_affine_prof_slice_present_flagが真である)、DMVR、BDOF、及びPROFが現在のスライスのために無効にされるかどうかを示すために、2つのスライスレベル無効化フラグをシグナリングすることができる。例えば、表5内のsps_bdof_enabled_flag及びsps_affine_prof_enabled_flagのうちの少なくとも一方が真として設定され、表5内のsps_bdof_dmvr_affine_prof_slice_present_flagが真として設定される場合には、このとき、シーケンスレベルで有効にされるBDOF又はPROFのうちの少なくとも一方が現在のスライスのために無効にされるかどうかを示すために、表8内のslice_disable_bdof_affine_prof_flagをシグナリングすることができる。別の例では、表5内のsps_dmvr_enabled_flag及びsps_bdof_dmvr_affine_prof_slice_present_flagが真として設定される場合には、このとき、DMVRが現在のスライスのために無効にされるかどうかを示すために、表8内のslice_disable_dmvr_flagをシグナリングすることができる。表8において、BDOF及びPROFはスライスレベルにおいて合同制御され、DMVRは、スライスレベル制御が有効にされる場合には、BDOF及びPROFとは別個に制御される。
図20は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのためのハイブリッドシーケンスレベル制御フラグを実施するシーケンスパラメータセット(SPS)の例示的な構文構造を示す表9を示す。表9の構文構造では、3つのスライスレベル無効化フラグをDMVR、BDOF、及びPROFのために別個にシグナリングすることができる。斜体で強調が示された表9に示されるように、DMVR、BDOF、又はPROFが有効にされるかどうかをそれぞれ示すために、3つの別個のフラグsps_bdof_enabled_flag、sps_dmvr_enabled_flag、及びsps_affine_prof_enabled_flagをSPSに含めてシグナリングすることができる。sps_dmvr_enabled_flagが真である場合には、DMVRがスライスレベルにおいて制御されるかどうかを示すために、スライスレベル制御有効化フラグsps_dmvr_slice_present_flagをシグナリングすることができる。sps_bdof_enabled_flag又はsps_affine_prof_enabled_flagのうちの少なくとも一方が真である場合には、BDOF又はPROFのうちの少なくとも一方がスライスレベルにおいて制御されるかどうかを示すために、スライスレベル制御有効化フラグsps_bdof_affine_prof_slice_present_flagをシグナリングすることができる。
【0114】
[0143]
図21は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのためのハイブリッド制御フラグを実施するスライスヘッダの別の例示的な構文構造を示す表10を示す。斜体で強調が示された表10に示されるように、表9内のsps_dmvr_slice_present_flagが真として設定される場合には、DMVRが現在のスライスのために無効にされるかどうかを示すために、スライスレベル無効化フラグslice_disable_dmvr_flagをシグナリングすることができる。表9内のsps_bdof_affine_prof_slice_present_flagが真として設定される場合には、(表8において説明されるとおりの)シーケンスレベルにおいて有効にされたBDOF又はPROFのうちの少なくとも一方を現在のスライスのために無効にすることができるかどうかを示すために、スライスレベル無効化フラグslice_disable_bdof_affine_prof_flagをシグナリングすることができる。表9の構文構造では、BDOF及びPROFはスライスレベルにおいて合同制御することができ、DMVRは、スライスレベル制御が有効にされる場合には、スライスレベルにおいて別個に制御することができる。
【0115】
[0144]
図22は、本開示のいくつかの実施形態に係る、DMVR、BDOF、及びPROFのための別個の制御フラグを実施するスライスヘッダの別の例示的な構文構造を示す表11を示す。斜体で強調が示された表11に示されるように、表9内のsps_dmvr_enabled_flagが真として設定される場合には、DMVRが現在のスライスのために無効にされるかどうかを示すために、スライスレベル無効化フラグslice_disable_dmvr_flagをシグナリングすることができる。表9内のsps_bdof_enabled_flag及びsps_bdof_affine_prof_slice_present_flagが真として設定される場合には、BDOFが現在のスライスのために無効にされるかどうかを示すために、スライスレベル無効化フラグslice_disable_bdof_flagをシグナリングすることができる。表9内のsps_affine_prof_enabled_flag及びsps_bdof_affine_prof_slice_present_flagが真として設定される場合には、PROFが現在のスライスのために無効にされるかどうかを示すために、スライスレベル無効化フラグslice_disable_affine_prof_flagをシグナリングすることができる。表11の構文構造において、DMVR、BDOF、及びPROFの各々は、スライスレベル制御が有効にされる場合には、スライスレベルにおいて別個に制御される。
【0116】
[0145]
図23~
図26は、本開示のいくつかの実施形態に係る、映像符号化モードを制御する例示的なプロセス2300~2600のフローチャートを示す。実施形態によっては、プロセス2300~2600はコーデック(例えば、
図2A~
図2Bにおける符号器又は
図3A~
図3Bにおける復号器)によって遂行され得る。例えば、コーデックは、映像シーケンスの符号化又は復号化に関する符号化モードを制御するための装置(例えば、装置400)の1つ以上のソフトウェア又はハードウェア構成要素として実施され得る。
【0117】
[0146]
図23は、本開示のいくつかの実施形態に係る、映像復号化モードを制御する例示的なプロセス2300のフローチャートを示す。ステップ2302において、コーデック(例えば、
図3A~
図3Bにおける復号器)は、映像データのビットストリーム(例えば、
図3A~
図3Bにおけるプロセス300A又は300Bにおける映像ビットストリーム228)を受信することができる。
【0118】
[0147] ステップ2304において、コーデックは、ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンス(例えば、
図3A~
図3Bにおけるプロセス300A又は300Bにおける映像ストリーム304)のために有効にするか又は無効にすることができる。例えば、符号化モードは、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、又は復号器側動きベクトル精密化(DMVR)モードのうちの少なくとも1つであることができる。実施形態によっては、コーデックは映像シーケンスのシーケンスパラメータセット(SPS)内の第1のフラグを検出することができる。例えば、第1のフラグは、
図12、
図14A~
図14B、
図16、又は
図20において説明されるとおりのフラグsps_bdof_enabled_flag、フラグsps_dmvr_enabled_flag、又はフラグsps_affine_prof_enabled_flagであることができる。
【0119】
[0148] ステップ2306において、コーデックは、ビットストリーム内の第2のフラグに基づいて、符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかを決定することができる。シーケンスレベルよりも下位のレベルはスライスレベル又はピクチャレベルを含むことができる。実施形態によっては、コーデックは、符号化モードが映像シーケンスのために有効にされたことに応じて、映像シーケンスのSPS内の第2のフラグを検出することができる。例えば、第2のフラグは、
図12、
図14A~
図14B、
図16、又は
図20において説明されるとおりのフラグsps_bdof_dmvr_slice_present_flag、フラグsps_bdof_slice_present_flag、フラグsps_dmvr_slice_present_flag、フラグsps_affine_prof_slice_present_flag、フラグsps_bdof_picture_present_flag、フラグsps_dmvr_picture_present_flag、フラグsps_affine_prof_picture_present_flag、フラグsps_bdof_affine_prof_slice_present_flag、又はフラグsps_bdof_dmvr_affine_prof_slice_present_flagであることができる。
【0120】
[0149] 実施形態によっては、ステップ2306の後に、符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされたことに応じて、コーデックは、ビットストリーム内の第3のフラグに基づいて符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることができる。ターゲット下位レベル領域はターゲットスライス又はターゲットピクチャであることができる。下位レベルがスライスレベルである場合には、実施形態によっては、コーデックは、ターゲットスライスのスライスヘッダ内の第3のフラグを検出することができる。下位レベルがピクチャレベルである場合には、実施形態によっては、コーデックは、ターゲットピクチャのピクチャヘッダ内の第3のフラグを検出することができる。例えば、第3のフラグは、
図13、
図15A~
図15B、
図17~
図19、又は
図21~
図22において説明されるとおりのフラグslice_disable_bdof_dmvr_flag、フラグslice_disable_bdof_flag、フラグslice_disable_dmvr_flag、フラグslice_disable_affine_prof_flag、フラグph_disable_bdof_flag、フラグph_disable_dmvr_flag、フラグph_disable_affine_prof_flag、フラグslice_disable_bdof_dmvr_affine_prof_flag、又はフラグslice_disable_bdof_affine_prof_flagであることができる。
【0121】
[0150]
図24は、本開示のいくつかの実施形態に係る、映像復号化モードを制御する別の例示的なプロセス2400のフローチャートを示す。ステップ2402において、コーデック(例えば、
図3A~
図3Bにおける復号器)は、映像データのビットストリーム(例えば、
図3A~
図3Bにおけるプロセス300A又は300Bにおける映像ビットストリーム228)を受信することができる。
【0122】
[0151] ステップ2404において、コーデックは、ビットストリーム内の第1のフラグに基づいて、第1の符号化モードを映像シーケンス(例えば、
図3A~
図3Bにおけるプロセス300A又は300Bにおける映像ストリーム304)のために有効にするか又は無効にすることができる。ステップ2406において、コーデックは、ビットストリーム内の第2のフラグに基づいて、第2の符号化モードを映像シーケンスのために有効にするか又は無効にすることができる。第1及び第2の符号化モードは、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、復号器側動きベクトル精密化(DMVR)モードから選択することができる、2つの異なる符号化モードであることができる。例えば、第1の符号化モード及び第2の符号化モードは、それぞれ、双方向オプティカルフロー(BDOF)モード及びオプティカルフローによる予測精密化(PROF)モードであることができる。
【0123】
[0152] 実施形態によっては、コーデックは、映像シーケンスのシーケンスパラメータセット(SPS)内の第1及び第2のフラグを検出することができる。例えば、第1及び第2のフラグは、
図12、
図14A~
図14B、
図16、又は
図20において説明されるとおりのフラグsps_bdof_enabled_flag、フラグsps_dmvr_enabled_flag、及びフラグsps_affine_prof_enabled_flagから選択することができる。別の例として、第1の符号化モード及び第2の符号化モードが、それぞれ、BDOFモード及びPROFモードである場合には、第1のフラグ及び第2のフラグは、
図12、
図14A~
図14B、
図16、又は
図20において説明されるとおりの、それぞれ、フラグsps_bdof_enabled_flag及びフラグsps_affine_prof_enabled_flagであることができる。
【0124】
[0153] ステップ2408において、コーデックは、ビットストリーム内の第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することができる。シーケンスレベルよりも下位のレベルはスライスレベル又はピクチャレベルを含むことができる。実施形態によっては、コーデックは、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方が映像シーケンスのために有効にされたことに応じて、映像シーケンスのSPS内の第3のフラグを検出することができる。例えば、第3のフラグは、
図12、
図14A~
図14B、
図16、又は
図20において説明されるとおりのフラグsps_bdof_dmvr_slice_present_flag、フラグsps_bdof_slice_present_flag、フラグsps_dmvr_slice_present_flag、フラグsps_affine_prof_slice_present_flag、フラグsps_bdof_picture_present_flag、フラグsps_dmvr_picture_present_flag、フラグsps_affine_prof_picture_present_flag、フラグsps_bdof_affine_prof_slice_present_flag、又はフラグsps_bdof_dmvr_affine_prof_slice_present_flagであることができる。
【0125】
[0154] 実施形態によっては、ステップ2408の後に、コーデックは、第1のフラグ(例えば、
図20において説明されるとおりのsps_bdof_enabled_flag)が、第1の符号化モードが映像シーケンスのために有効にされることを示し、第3のフラグ(例えば、
図20において説明されるとおりのsps_bdof_affine_prof_slice_present_flag)が、第1の符号化モード又は第2の符号化モード(例えば、PROF)のうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされることを示すことに応じて、ビットストリーム内の第4のフラグ(例えば、
図22において説明されるとおりのslice_disable_bdof_flag)に基づいて第1の符号化モード(例えば、BDOF)をターゲット下位レベル領域のために有効にするか又は無効にすることができる。ターゲット下位レベル領域は、ターゲットスライス又はターゲットピクチャであることができる。ターゲット下位レベルがターゲットスライスである場合には、実施形態によっては、コーデックは、ターゲットスライスのスライスヘッダ内の第4のフラグを検出することができる。ターゲット下位レベルがターゲットピクチャである場合には、実施形態によっては、コーデックは、ターゲットピクチャのピクチャヘッダ内の第4のフラグを検出することができる。例えば、第4のフラグは、
図13、
図15A~
図15B、
図17~
図19、又は
図21~
図22において説明されるとおりのフラグslice_disable_bdof_dmvr_flag、フラグslice_disable_bdof_flag、フラグslice_disable_dmvr_flag、フラグslice_disable_affine_prof_flag、フラグph_disable_bdof_flag、フラグph_disable_dmvr_flag、フラグph_disable_affine_prof_flag、フラグslice_disable_bdof_dmvr_affine_prof_flag、又はフラグslice_disable_bdof_affine_prof_flagであることができる。
【0126】
[0155] 実施形態によっては、ステップ2408の後に、コーデックは、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされたことに応じて、ビットストリーム内の第4のフラグ(例えば、
図21において説明されるとおりのslice_disable_bdof_affine_prof_flag)に基づいて第1の符号化モード(例えば、BDOF)及び第2の符号化モード(例えば、PROF)の両方をターゲット下位レベル領域のために有効にするか又は無効にすることができる。例えば、第3のフラグ(例えば、
図20において説明されるとおりのsps_bdof_affine_prof_slice_present_flag)は、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方が下位レベル(例えば、スライスレベル)で有効にされることを示すことができる。
【0127】
[0156] 実施形態によっては、ビットストリーム内の第4のフラグに基づいて第1の符号化モード及び第2の符号化モードの両方をターゲット下位レベル領域(例えば、ターゲットスライス又はターゲットピクチャ)のために有効又は無効にした後に、コーデックは、ビットストリーム内の第2のフラグに基づいて第3の符号化モードを映像シーケンスのためにさらに有効又は無効にし、ビットストリーム内の第5のフラグに基づいて第3の符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することができる。例えば、第1、第2、及び第3の符号化モードは、それぞれ、BDOFモード、PROFモード、及びDMVRモードであることができる。本例では、第4のフラグは、
図21において説明されるとおりのフラグslice_disable_bdof_affine_prof_flagであることができ、第2のフラグは、
図20において説明されるとおりのフラグsps_dmvr_enabled_flagであることができ、第5のフラグは、
図20において説明されるとおりのフラグsps_dmvr_slice_present_flagであることができる。
【0128】
[0157] 実施形態によっては、第3の符号化モードが下位レベル(例えば、スライスレベル又はピクチャレベル)で有効にされたことに応じて、コーデックは、ビットストリーム内の第6のフラグに基づいて第3の符号化モードをターゲット下位レベル領域(例えば、ターゲットスライス又はターゲットピクチャ)のためにさらに有効にするか又は無効にすることができる。例えば、第1、第2、及び第3の符号化モードが、それぞれ、BDOFモード、PROFモード、及びDMVRモードであることができるときには、第6のフラグは、
図21において説明されるとおりのslice_disable_dmvr_flagであることができる。
【0129】
[0158]
図25は、本開示のいくつかの実施形態に係る、映像符号化モードを制御する例示的なプロセス2500のフローチャートを示す。ステップ2502において、コーデック(例えば、
図2A~
図2Bにおける符号器)は、映像シーケンス(例えば、
図2A~
図2Bにおけるプロセス200A又は200Bにおける映像シーケンス202)、第1のフラグ、及び第2のフラグを受信することができる。例えば、第1のフラグは、
図12、
図14A~
図14B、
図16、又は
図20において説明されるとおりのフラグsps_bdof_enabled_flag、フラグsps_dmvr_enabled_flag、又はフラグsps_affine_prof_enabled_flagであることができる。別の例として、第2のフラグは、
図12、
図14A~
図14B、
図16、又は
図20において説明されるとおりのフラグsps_bdof_dmvr_slice_present_flag、フラグsps_bdof_slice_present_flag、フラグsps_dmvr_slice_present_flag、フラグsps_affine_prof_slice_present_flag、フラグsps_bdof_picture_present_flag、フラグsps_dmvr_picture_present_flag、フラグsps_affine_prof_picture_present_flag、フラグsps_bdof_affine_prof_slice_present_flag、又はフラグsps_bdof_dmvr_affine_prof_slice_present_flagであることができる。
【0130】
[0159] ステップ2504において、コーデックは、ビットストリーム内の第1のフラグに基づいて、符号化モードを映像ビットストリーム(例えば、
図2A~
図2Bにおけるプロセス200A又は200Bにおける映像ビットストリーム228)のために有効にするか又は無効にすることができる。符号化モードは、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、又は復号器側動きベクトル精密化(DMVR)モードのうちの少なくとも1つであることができる。
【0131】
[0160] ステップ2506において、コーデックは、第2のフラグに基づいて、符号化モードの制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることができる。シーケンスレベルよりも下位のレベルはスライスレベル又はピクチャレベルを含むことができる。
【0132】
[0161]
図26は、本開示のいくつかの実施形態に係る、映像符号化モードを制御する別の例示的なプロセス2600のフローチャートを示す。ステップ2602において、コーデック(例えば、
図2A~
図2Bにおける符号器)は、映像シーケンス(例えば、
図2A~
図2Bにおけるプロセス200A又は200Bにおける映像シーケンス202)、第1のフラグ、第2のフラグ、及び第3のフラグを受信することができる。例えば、第1及び第2のフラグは、
図12、
図14A~
図14B、
図16、又は
図20において説明されるとおりのフラグsps_bdof_enabled_flag、フラグsps_dmvr_enabled_flag、及びフラグsps_affine_prof_enabled_flagから選択することができる。別の例として、第3のフラグは、
図12、
図14A~
図14B、
図16、又は
図20において説明されるとおりのフラグsps_bdof_dmvr_slice_present_flag、フラグsps_bdof_slice_present_flag、フラグsps_dmvr_slice_present_flag、フラグsps_affine_prof_slice_present_flag、フラグsps_bdof_picture_present_flag、フラグsps_dmvr_picture_present_flag、フラグsps_affine_prof_picture_present_flag、フラグsps_bdof_affine_prof_slice_present_flag、又はフラグsps_bdof_dmvr_affine_prof_slice_present_flagであることができる。
【0133】
[0162] ステップ2604において、コーデックは、第1のフラグに基づいて、第1の符号化モードを映像ビットストリーム(例えば、
図2A~
図2Bにおけるプロセス200A又は200Bにおける映像ビットストリーム228)のために有効にするか又は無効にすることができる。ステップ2606において、コーデックは、第2のフラグに基づいて、第2の符号化モードを映像ビットストリームのために有効にするか又は無効にすることができる。第1及び第2の符号化モードは、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、復号器側動きベクトル精密化(DMVR)モードから選択することができる、2つの異なる符号化モードであることができる。例えば、第1の符号化モード及び第2の符号化モードは、それぞれ、双方向オプティカルフロー(BDOF)モード及びオプティカルフローによる予測精密化(PROF)モードであることができる。
【0134】
[0163] ステップ2608において、コーデックは、第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることができる。シーケンスレベルよりも下位のレベルはスライスレベル又はピクチャレベルを含むことができる。
【0135】
[0164] 実施形態によっては、また、命令を含む非一時的コンピュータ可読記憶媒体が提供され、命令は、デバイス(本開示の符号器及び復号器など)によって、上述の方法を遂行するために実行され得る。一般的な形態の非一時的媒体としては、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又は任意の他の磁気データ記憶媒体、CD-ROM、任意の他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、RAM、PROM、及びEPROM、FLASH(登録商標)-EPROM又は任意の他のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、任意の他のメモリチップ又はカートリッジ、並びにこれらのネットワーク化バージョンが挙げられる。デバイスは、1つ以上のプロセッサ(CPU)、入力/出力インターフェース、ネットワークインターフェース、及び/又はメモリを含むことができる。
【0136】
[0165] 実施形態は、以下の条項を用いてさらに記述することができる:
1.コンピュータ実施方法であって、
映像データのビットストリームを受信することと、
ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第2のフラグに基づいて、符号化モードの制御が、シーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかを決定することと、
を含むコンピュータ実施方法。
2.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項1に記載のコンピュータ実施方法。
3.符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされたことに応じて、ビットストリーム内の第3のフラグに基づいて、符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることをさらに含む、条項1又は2に記載のコンピュータ実施方法。
4.ターゲットスライスのスライスヘッダ内の第3のフラグを検出することであって、ターゲットスライスがターゲット下位レベル領域である、検出すること、又は
ターゲットピクチャのピクチャヘッダ内の第3のフラグを検出することであって、ターゲットピクチャがターゲット下位レベル領域である、検出すること、
をさらに含む、条項3に記載のコンピュータ実施方法。
5.符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、又は
復号器側動きベクトル精密化(DMVR)モード、
のうちの少なくとも1つである、条項1~4のいずれか一項に記載のコンピュータ実施方法。
6.映像シーケンスのシーケンスパラメータセット(SPS)内の第1のフラグを検出することをさらに含む、条項1~5のいずれか一項に記載のコンピュータ実施方法。
7.符号化モードが映像シーケンスのために有効にされたことに応じて、映像シーケンスのSPS内の第2のフラグを検出することをさらに含む、条項1~6のいずれか一項に記載のコンピュータ実施方法。
8.コンピュータ実施方法であって、
映像データのビットストリームを受信することと、
ビットストリーム内の第1のフラグに基づいて、第1の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第2のフラグに基づいて、第2の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することと、
を含むコンピュータ実施方法。
9.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項8に記載のコンピュータ実施方法。
10.第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされたことに応じて、ビットストリーム内の第4のフラグに基づいて、第1の符号化モード及び第2の符号化モードの両方をターゲット下位レベル領域のために有効にするか又は無効にすることをさらに含む、条項8又は9に記載のコンピュータ実施方法。
11.ターゲットスライスのスライスヘッダ内の第4のフラグを検出することであって、ターゲットスライスがターゲット下位レベル領域である、検出すること、又は
ターゲットピクチャのピクチャヘッダ内の第4のフラグを検出することであって、ターゲットピクチャがターゲット下位レベル領域である、検出すること、
をさらに含む、条項10に記載のコンピュータ実施方法。
12.ビットストリーム内の第2のフラグに基づいて、第3の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第5のフラグに基づいて、第3の符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することと、
をさらに含む、条項10又は11に記載のコンピュータ実施方法。
13.第3の符号化モードがシーケンスレベルよりも下位のレベルで有効にされたことに応じて、ビットストリーム内の第6のフラグに基づいて、第3の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることをさらに含む、条項12に記載のコンピュータ実施方法。
14.第1、第2、及び第3の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、及び復号器側動きベクトル精密化(DMVR)モードである、条項12又は13に記載のコンピュータ実施方法。
15.第1のフラグが、第1の符号化モードが映像シーケンスのために有効にされることを示し、第3のフラグが、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされることを示すことに応じて、ビットストリーム内の第4のフラグに基づいて、第1の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることをさらに含む、条項8~14のいずれか一項に記載のコンピュータ実施方法。
16.第1及び第2の符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、及び
復号器側動きベクトル精密化(DMVR)モード、
から選択される2つの異なる符号化モードである、条項8~15のいずれか一項に記載のコンピュータ実施方法。
17.第1の符号化モード及び第2の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード及びオプティカルフローによる予測精密化(PROF)モードである、条項8~16のいずれか一項に記載のコンピュータ実施方法。
18.映像シーケンスのシーケンスパラメータセット(SPS)内の第1及び第2のフラグを検出することをさらに含む、条項8~17のいずれか一項に記載のコンピュータ実施方法。
19.第1の符号化モード又は第2の符号化モードのうちの少なくとも一方が映像シーケンスのために有効にされたことに応じて、映像シーケンスのSPS内の第3のフラグを検出することをさらに含む、条項8~18のいずれか一項に記載のコンピュータ実施方法。
20.映像シーケンス、第1のフラグ、及び第2のフラグを受信することと、
第1のフラグに基づいて、符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第2のフラグに基づいて、符号化モードの制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、
を含む、コンピュータ実施方法。
21.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項20に記載のコンピュータ実施方法。
22.第3のフラグを受信することと、
符号化モードをシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることの制御に応じて、第3のフラグに基づいて、符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることと、
をさらに含む、条項20又は21に記載のコンピュータ実施方法。
23.第3のフラグをターゲットスライスのスライスヘッダ内に記憶することであって、ターゲットスライスがターゲット下位レベル領域である、記憶すること、又は
第3のフラグをターゲットピクチャのピクチャヘッダ内に記憶することであって、ターゲットピクチャがターゲット下位レベル領域である、記憶すること、
をさらに含む、条項22に記載のコンピュータ実施方法。
24.符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、又は
復号器側動きベクトル精密化(DMVR)モード、
のうちの少なくとも1つである、条項20~23のいずれか一項に記載のコンピュータ実施方法。
25.第1のフラグを映像ビットストリームのシーケンスパラメータセット(SPS)内に記憶することをさらに含む、条項20~24のいずれか一項に記載のコンピュータ実施方法。
26.符号化モードを映像ビットストリームのために有効又は無効にしたことに応じて、第2のフラグを映像ビットストリームのSPS内に記憶することをさらに含む、条項20~25のいずれか一項に記載のコンピュータ実施方法。
27.コンピュータ実施方法であって、
映像シーケンス、第1のフラグ、第2のフラグ、及び第3のフラグを受信することと、
第1のフラグに基づいて、第1の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第2のフラグに基づいて、第2の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、
を含むコンピュータ実施方法。
28.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項27に記載のコンピュータ実施方法。
29.第4のフラグを受信することと、
第1のフラグに基づいて映像ビットストリームのための第1の符号化モードの制御を有効にしたこと、並びに第3のフラグに基づいて第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効にしたことに応じて、第4のフラグに基づいて第1の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることと、
をさらに含む、条項27又は28に記載のコンピュータ実施方法。
30.第4のフラグを受信することと、
第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効又は無効にしたことに応じて、第4のフラグに基づいて第1の符号化モード及び第2の符号化モードの両方をターゲット下位レベル領域のために有効にするか又は無効にすることをさらに含む、条項27又は28に記載のコンピュータ実施方法。
31.第4のフラグをターゲットスライスのスライスヘッダ内に記憶することであって、ターゲットスライスがターゲット下位レベル領域である、記憶すること、又は
第4のフラグをターゲットピクチャのピクチャヘッダ内に記憶することであって、ターゲットピクチャがターゲット下位レベル領域である、記憶すること、
をさらに含む、条項29又は30に記載のコンピュータ実施方法。
32.第5のフラグを受信することと、
第2のフラグに基づいて、第3の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第5のフラグに基づいて、第3の符号化モードの制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、
をさらに含む、条項31に記載のコンピュータ実施方法。
33.第6のフラグを受信することと、
第3の符号化モードの制御をシーケンスレベルよりも下位のレベルで有効又は無効にしたことに応じて、第6のフラグに基づいて第3の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることと、
をさらに含む、条項31又は32に記載のコンピュータ実施方法。
34.第1、第2、及び第3の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、及び復号器側動きベクトル精密化(DMVR)モードである、条項27~33のいずれか一項に記載のコンピュータ実施方法。
35.第1及び第2の符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、及び
復号器側動きベクトル精密化(DMVR)モード、
から選択される2つの異なる符号化モードである、条項27~33のいずれか一項に記載のコンピュータ実施方法。
36.第1の符号化モード及び第2の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード及びオプティカルフローによる予測精密化(PROF)モードである、条項27~35のいずれか一項に記載のコンピュータ実施方法。
37.第1及び第2のフラグを映像ビットストリームのシーケンスパラメータセット(SPS)内に記憶することをさらに含む、条項27~36のいずれか一項に記載のコンピュータ実施方法。
38.第1の符号化モード又は第2の符号化モードのうちの少なくとも一方を映像ビットストリームのために有効にしたことに応じて、第3のフラグを映像シーケンスのSPS内に記憶することをさらに含む、条項27~37のいずれか一項に記載のコンピュータ実施方法。
39.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、装置の少なくとも1つのプロセッサによって、前記装置に方法を行わせるように実行可能であり、、該方法が、
映像データのビットストリームを受信することと、
ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第2のフラグに基づいて、符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかを決定することと、
を含む、非一時的コンピュータ可読媒体。
40.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項39に記載の非一時的コンピュータ可読媒体。
41.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされたことに応じて、ビットストリーム内の第3のフラグに基づいて、符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることをさらに行わせる、条項39又は40に記載の非一時的コンピュータ可読媒体。
42.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
ターゲットスライスのスライスヘッダ内の第3のフラグを検出することであって、ターゲットスライスがターゲット下位レベル領域である、検出すること、又は
ターゲットピクチャのピクチャヘッダ内の第3のフラグを検出することであって、ターゲットピクチャがターゲット下位レベル領域である、検出すること、
をさらに行わせる、条項41に記載の非一時的コンピュータ可読媒体。
43.符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、又は
復号器側動きベクトル精密化(DMVR)モード、
のうちの少なくとも1つである、条項39~42のいずれか一項に記載の非一時的コンピュータ可読媒体。
44.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
映像シーケンスのシーケンスパラメータセット(SPS)内の第1のフラグを検出することをさらに行わせる、条項39~43のいずれか一項に記載の非一時的コンピュータ可読媒体。
45.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
符号化モードが映像シーケンスのために有効にされたことに応じて、映像シーケンスのSPS内の第2のフラグを検出することをさらに行わせる、条項39~44のいずれか一項に記載の非一時的コンピュータ可読媒体。
46.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、装置の少なくとも1つのプロセッサによって、装置に方法を行わせるために実行可能であり、該方法が、
映像データのビットストリームを受信することと、
ビットストリーム内の第1のフラグに基づいて、第1の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第2のフラグに基づいて、第2の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することと、
を含む非一時的コンピュータ可読媒体。
47.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項46に記載の非一時的コンピュータ可読媒体。
48.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされたことに応じて、ビットストリーム内の第4のフラグに基づいて、第1の符号化モード及び第2の符号化モードの両方をターゲット下位レベル領域のために有効にするか又は無効にすることをさらに行わせる、条項46又は47に記載の非一時的コンピュータ可読媒体。
49.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
ターゲットスライスのスライスヘッダ内の第4のフラグを検出することであって、ターゲットスライスがターゲット下位レベル領域である、検出すること、又は
ターゲットピクチャのピクチャヘッダ内の第4のフラグを検出することであって、ターゲットピクチャがターゲット下位レベル領域である、検出すること、
をさらに行わせる、条項48に記載の非一時的コンピュータ可読媒体。
50.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
ビットストリーム内の第2のフラグに基づいて、第3の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第5のフラグに基づいて、第3の符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することと、
をさらに行わせる、条項48又は49に記載の非一時的コンピュータ可読媒体。
51.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第3の符号化モードがシーケンスレベルよりも下位のレベルで有効にされたことに応じて、ビットストリーム内の第6のフラグに基づいて、第3の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることをさらに行わせる、条項50に記載の非一時的コンピュータ可読媒体。
52.第1、第2、及び第3の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、及び復号器側動きベクトル精密化(DMVR)モードである、条項50又は51に記載の非一時的コンピュータ可読媒体。
53.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第1のフラグが、第1の符号化モードが映像シーケンスのために有効にされることを示し、第3のフラグが、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされることを示すことに応じて、ビットストリーム内の第4のフラグに基づいて、第1の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることをさらに行わせる、条項46~52のいずれか一項に記載の非一時的コンピュータ可読媒体。
54.第1及び第2の符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、及び
復号器側動きベクトル精密化(DMVR)モード、
から選択される2つの異なる符号化モードである、条項46~53のいずれか一項に記載の非一時的コンピュータ可読媒体。
55.第1の符号化モード及び第2の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード及びオプティカルフローによる予測精密化(PROF)モードである、条項46~54のいずれか一項に記載の非一時的コンピュータ可読媒体。
56.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
映像シーケンスのシーケンスパラメータセット(SPS)内の第1及び第2のフラグを検出することをさらに行わせる、条項46~55のいずれか一項に記載の非一時的コンピュータ可読媒体。
57.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第1の符号化モード又は第2の符号化モードのうちの少なくとも一方が映像シーケンスのために有効にされたことに応じて、映像シーケンスのSPS内の第3のフラグを検出することをさらに行わせる、条項46~56のいずれか一項に記載の非一時的コンピュータ可読媒体。
58.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、装置の少なくとも1つのプロセッサによって、装置に方法を行わせるために実行可能であり、、該方法が、
映像シーケンス、第1のフラグ、及び第2のフラグを受信することと、
第1のフラグに基づいて、符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第2のフラグに基づいて、符号化モードの制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、
を含む非一時的コンピュータ可読媒体。
59.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項58に記載の非一時的コンピュータ可読媒体。
60.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第3のフラグを受信することと、
符号化モードをシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることの制御に応じて、第3のフラグに基づいて符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることと、
をさらに行わせる、条項58又は59に記載の非一時的コンピュータ可読媒体。
61.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第3のフラグをターゲットスライスのスライスヘッダ内に記憶することであって、ターゲットスライスがターゲット下位レベル領域である、記憶すること、又は
第3のフラグをターゲットピクチャのピクチャヘッダ内に記憶することであって、ターゲットピクチャがターゲット下位レベル領域である、記憶すること、
をさらに行わせる、条項60に記載の非一時的コンピュータ可読媒体。
62.符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、又は
復号器側動きベクトル精密化(DMVR)モード、
のうちの少なくとも1つである、条項58~61のいずれか一項に記載の非一時的コンピュータ可読媒体。
63.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第1のフラグを映像ビットストリームのシーケンスパラメータセット(SPS)内に記憶することをさらに行わせる、条項58~62のいずれか一項に記載の非一時的コンピュータ可読媒体。
64.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
符号化モードを映像ビットストリームのために有効又は無効にしたことに応じて、第2のフラグを映像ビットストリームのSPS内に記憶することをさらに行わせる、条項58~63のいずれか一項に記載の非一時的コンピュータ可読媒体。
65.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、装置の少なくとも1つのプロセッサによって、装置に方法を行わせるために実行可能であり、該方法が、
映像シーケンス、第1のフラグ、第2のフラグ、及び第3のフラグを受信することと、
第1のフラグに基づいて、第1の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第2のフラグに基づいて、第2の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、
を含む非一時的コンピュータ可読媒体。
66.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項65に記載の非一時的コンピュータ可読媒体。
67.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第4のフラグを受信することと、
第1のフラグに基づいて映像ビットストリームのための第1の符号化モードの制御を有効にしたこと、並びに第3のフラグに基づいて第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効にしたことに応じて、第4のフラグに基づいて第1の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることと、
をさらに行わせる、条項65又は66に記載の非一時的コンピュータ可読媒体。
68.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第4のフラグを受信することと、
第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効又は無効にしたことに応じて、第4のフラグに基づいて第1の符号化モード及び第2の符号化モードの両方をターゲット下位レベル領域のために有効にするか又は無効にすることと、
をさらに行わせる、条項65又は66に記載の非一時的コンピュータ可読媒体。
69.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第4のフラグをターゲットスライスのスライスヘッダ内に記憶することであって、ターゲットスライスがターゲット下位レベル領域である、記憶すること、又は
第4のフラグをターゲットピクチャのピクチャヘッダ内に記憶することであって、ターゲットピクチャがターゲット下位レベル領域である、記憶すること、
をさらに行わせる、条項67又は68に記載の非一時的コンピュータ可読媒体。
70.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第5のフラグを受信することと、
第2のフラグに基づいて、第3の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第5のフラグに基づいて、第3の符号化モードの制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、
をさらに行わせる、条項69に記載の非一時的コンピュータ可読媒体。
71.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第6のフラグを受信することと、
第3の符号化モードの制御をシーケンスレベルよりも下位のレベルで有効又は無効にしたことに応じて、第6のフラグに基づいて第3の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることと、
をさらに行わせる、条項69又は70に記載の非一時的コンピュータ可読媒体。
72.第1、第2、及び第3の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、及び復号器側動きベクトル精密化(DMVR)モードである、条項65~71のいずれか一項に記載の非一時的コンピュータ可読媒体。
73.第1及び第2の符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、及び
復号器側動きベクトル精密化(DMVR)モード、
から選択される2つの異なる符号化モードである、条項65~72のいずれか一項に記載の非一時的コンピュータ可読媒体。
74.第1の符号化モード及び第2の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード及びオプティカルフローによる予測精密化(PROF)モードである、条項65~73のいずれか一項に記載の非一時的コンピュータ可読媒体。
75.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第1及び第2のフラグを映像ビットストリームのシーケンスパラメータセット(SPS)内に記憶することをさらに行わせる、条項65~74のいずれか一項に記載の非一時的コンピュータ可読媒体。
76.装置の少なくとも1つのプロセッサによって実行可能である命令のセットが、装置に、
第1の符号化モード又は第2の符号化モードのうちの少なくとも一方を映像ビットストリームのために有効にしたことに応じて、第3のフラグを映像シーケンスのSPS内に記憶することをさらに行わせる、条項65~75のいずれか一項に記載の非一時的コンピュータ可読媒体。
77.装置であって、
命令のセットを記憶するように構成されたメモリと、
メモリに通信可能に結合された1つ以上のプロセッサとを備え、1つ以上のプロセッサは、命令のセットを実行し、装置に、
映像データのビットストリームを受信することと、
ビットストリーム内の第1のフラグに基づいて、符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第2のフラグに基づいて、符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるか、又は無効にされるかを決定することと、
を行わせるように構成される、装置。
78.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項77に記載の装置。
79.1つ以上のプロセッサが、命令のセットを実行し、装置に、
符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされたことに応じて、ビットストリーム内の第3のフラグに基づいて、符号化モードをターゲット下位レベル領域のために有効又は無効にすること
を行わせるようにさらに構成される、条項77又は78に記載の装置。
80.1つ以上のプロセッサが、命令のセットを実行し、装置に、
ターゲットスライスのスライスヘッダ内の第3のフラグを検出することであって、ターゲットスライスがターゲット下位レベル領域である、検出すること、又は
ターゲットピクチャのピクチャヘッダ内の第3のフラグを検出することであって、ターゲットピクチャがターゲット下位レベル領域である、検出すること、
を行わせるようにさらに構成される、条項79に記載の装置。
81.符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、又は
復号器側動きベクトル精密化(DMVR)モード、
のうちの少なくとも1つである、条項77~80のいずれか一項に記載の装置。
82.1つ以上のプロセッサが、命令のセットを実行し、装置に、
映像シーケンスのシーケンスパラメータセット(SPS)内の第1のフラグを検出すること
を行わせるようにさらに構成される、条項77~81のいずれか一項に記載の装置。
83.1つ以上のプロセッサが、命令のセットを実行し、装置に、
符号化モードが映像シーケンスのために有効にされたことに応じて、映像シーケンスのSPS内の第2のフラグを検出すること
を行わせるようにさらに構成される、条項77~82のいずれか一項に記載の装置。
84.装置であって、
命令のセットを記憶するように構成されたメモリと、
メモリに通信可能に結合された1つ以上のプロセッサとを備え、1つ以上のプロセッサは、命令のセットを実行し、装置に、
映像データのビットストリームを受信することと、
ビットストリーム内の第1のフラグに基づいて、第1の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第2のフラグに基づいて、第2の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することと、
を行わせるように構成される、装置。
85.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項84に記載の装置。
86.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされたことに応じて、ビットストリーム内の第4のフラグに基づいて、第1の符号化モード及び第2の符号化モードの両方をターゲット下位レベル領域のために有効又は無効にすること
を行わせるようにさらに構成される、条項84又は85に記載の装置。
87.1つ以上のプロセッサが、命令のセットを実行し、装置に、
ターゲットスライスのスライスヘッダ内の第4のフラグを検出することであって、ターゲットスライスがターゲット下位レベル領域である、検出すること、又は
ターゲットピクチャのピクチャヘッダ内の第4のフラグを検出することであって、ターゲットピクチャがターゲット下位レベル領域である、検出すること、
を行わせるようにさらに構成される、条項86に記載の装置。
88.1つ以上のプロセッサが、命令のセットを実行し、装置に、
ビットストリーム内の第2のフラグに基づいて、第3の符号化モードを映像シーケンスのために有効にするか又は無効にすることと、
ビットストリーム内の第5のフラグに基づいて、第3の符号化モードの制御がシーケンスレベルよりも下位のレベルで有効にされるかどうかを決定することと、
を行わせるようにさらに構成される、条項86又は87に記載の装置。
89.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第3の符号化モードがシーケンスレベルよりも下位のレベルで有効にされたことに応じて、ビットストリーム内の第6のフラグに基づいて、第3の符号化モードをターゲット下位レベル領域のために有効又は無効にすること
を行わせるようにさらに構成される、条項88に記載の装置。
90.第1、第2、及び第3の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、及び復号器側動きベクトル精密化(DMVR)モードである、条項88又は89に記載の装置。
91.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第1のフラグが、第1の符号化モードが映像シーケンスのために有効にされることを示し、第3のフラグが、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御がシーケンスレベルよりも下位のレベルで有効にされることを示すことに応じて、ビットストリーム内の第4のフラグに基づいて、第1の符号化モードをターゲット下位レベル領域のために有効又は無効にすること
を行わせるようにさらに構成される、条項84~90のいずれか一項に記載の装置。
92.第1及び第2の符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、及び
復号器側動きベクトル精密化(DMVR)モード、
から選択される2つの異なる符号化モードである、条項84~91のいずれか一項に記載の装置。
93.第1の符号化モード及び第2の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード及びオプティカルフローによる予測精密化(PROF)モードである、条項84~92のいずれか一項に記載の装置。
94.1つ以上のプロセッサが、命令のセットを実行し、装置に、
映像シーケンスのシーケンスパラメータセット(SPS)内の第1及び第2のフラグを検出すること
を行わせるようにさらに構成される、条項84~93のいずれか一項に記載の装置。
95.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第1の符号化モード又は第2の符号化モードのうちの少なくとも一方が映像シーケンスのために有効にされたことに応じて、映像シーケンスのSPS内の第3のフラグを検出すること
を行わせるようにさらに構成される、条項84~94のいずれか一項に記載の装置。
96.装置であって、
命令のセットを記憶するように構成されたメモリと、
メモリに通信可能に結合された1つ以上のプロセッサとを備え、1つ以上のプロセッサは、命令のセットを実行し、装置に、
映像シーケンス、第1のフラグ、及び第2のフラグを受信することと、
第1のフラグに基づいて、符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第2のフラグに基づいて、符号化モードの制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、
を行わせるように構成される、装置。
97.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項96に記載の装置。
98.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第3のフラグを受信することと、
符号化モードをシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることの制御に応じて、第3のフラグに基づいて符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることと、
を行わせるようにさらに構成される、条項96又は97に記載の装置。
99.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第3のフラグをターゲットスライスのスライスヘッダ内に記憶することであって、ターゲットスライスがターゲット下位レベル領域である、記憶すること、又は
第3のフラグをターゲットピクチャのピクチャヘッダ内に記憶することであって、ターゲットピクチャがターゲット下位レベル領域である、記憶すること、
を行わせるようにさらに構成される、条項98に記載の装置。
100.符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、又は
復号器側動きベクトル精密化(DMVR)モード、
のうちの少なくとも1つである、条項96~99のいずれか一項に記載の装置。
101.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第1のフラグを映像ビットストリームのシーケンスパラメータセット(SPS)内に記憶すること
を行わせるようにさらに構成される、条項96~100のいずれか一項に記載の装置。
102.1つ以上のプロセッサが、命令のセットを実行し、装置に、
符号化モードを映像ビットストリームのために有効又は無効にしたことに応じて、第2のフラグを映像ビットストリームのSPS内に記憶すること
を行わせるようにさらに構成される、条項96~101のいずれか一項に記載の装置。
103.装置であって、
命令のセットを記憶するように構成されたメモリと、
メモリに通信可能に結合された1つ以上のプロセッサとを備え、1つ以上のプロセッサは、命令のセットを実行し、装置に、
映像シーケンス、第1のフラグ、第2のフラグ、及び第3のフラグを受信することと、
第1のフラグに基づいて、第1の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第2のフラグに基づいて、第2の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第3のフラグに基づいて、第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、
を行わせるように構成される、装置。
104.シーケンスレベルよりも下位のレベルがスライスレベル又はピクチャレベルを含む、条項102に記載の装置。
105.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第4のフラグを受信することと、
第1のフラグに基づいて映像ビットストリームのための第1の符号化モードの制御を有効にしたこと、並びに第3のフラグに基づいて第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効にしたことに応じて、第4のフラグに基づいて第1の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることと、
を行わせるようにさらに構成される、条項103又は104に記載の装置。
106.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第4のフラグを受信することと、
第1の符号化モード又は第2の符号化モードのうちの少なくとも一方の制御をシーケンスレベルよりも下位のレベルで有効又は無効にしたことに応じて、第4のフラグに基づいて第1の符号化モード及び第2の符号化モードの両方をターゲット下位レベル領域のために有効にするか又は無効にすることと、
を行わせるようにさらに構成される、条項103又は104に記載の装置。
107.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第4のフラグをターゲットスライスのスライスヘッダ内に記憶することであって、ターゲットスライスがターゲット下位レベル領域である、記憶すること、又は
第4のフラグをターゲットピクチャのピクチャヘッダ内に記憶することであって、ターゲットピクチャがターゲット下位レベル領域である、記憶すること、
を行わせるようにさらに構成される、条項105又は106に記載の装置。
108.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第5のフラグを受信することと、
第2のフラグに基づいて、第3の符号化モードを映像ビットストリームのために有効にするか又は無効にすることと、
第5のフラグに基づいて、第3の符号化モードの制御をシーケンスレベルよりも下位のレベルで有効にするか又は無効にすることと、
を行わせるようにさらに構成される、条項107に記載の装置。
109.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第6のフラグを受信することと、
第3の符号化モードの制御をシーケンスレベルよりも下位のレベルで有効又は無効にしたことに応じて、第6のフラグに基づいて第3の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることと、
を行わせるようにさらに構成される、条項107又は108に記載の装置。
110.第1、第2、及び第3の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード、オプティカルフローによる予測精密化(PROF)モード、及び復号器側動きベクトル精密化(DMVR)モードである、条項103~109のいずれか一項に記載の装置。
111.第1及び第2の符号化モードが、
双方向オプティカルフロー(BDOF)モード、
オプティカルフローによる予測精密化(PROF)モード、及び
復号器側動きベクトル精密化(DMVR)モード、
から選択される2つの異なる符号化モードである、条項103~110のいずれか一項に記載の装置。
112.第1の符号化モード及び第2の符号化モードが、それぞれ、双方向オプティカルフロー(BDOF)モード及びオプティカルフローによる予測精密化(PROF)モードである、条項103~110のいずれか一項に記載の装置。
113.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第1及び第2のフラグを映像ビットストリームのシーケンスパラメータセット(SPS)内に記憶すること
を行わせるようにさらに構成される、条項103~112のいずれか一項に記載の装置。
114.1つ以上のプロセッサが、命令のセットを実行し、装置に、
第1の符号化モード又は第2の符号化モードのうちの少なくとも一方を映像ビットストリームのために有効にしたことに応じて、第3のフラグを映像シーケンスのSPS内に記憶すること
を行わせるようにさらに構成される、条項103~113のいずれか一項に記載の装置。
【0137】
[0166] 「第1(first)」及び「第2(second)」などの本明細書における関係語は、単に、実体又は動作を別の実体又は動作と区別するために使用されるにすぎず、これらの実体又は動作の間のいかなる実際の関係又は順序も必要とせず、暗示もしないことに留意されたい。さらに、単語「備える(comprising)」、「有する(having)」、「包含する(containing)」、及び「含む(including)」、並びに他の同様の形式は、意味が同等であり、これらの単語のうちの任意のものに続く要素若しくは要素群は、このような要素若しくは要素群の限定列挙であることを意味されない、又は列挙された要素若しくは要素群のみに限定されることを意味されないという点で、オープンエンドなものであることを意図される。
【0138】
[0167] 本明細書において使用するとき、別途特に断りのない限り、用語「又は(or)」は、実行不可能な場合を除き、全ての可能な組み合わせを包含する。例えば、構成要素がA又はBを含むことができると述べられた場合には、このとき、別途特に断りのない限り、又は実行不可能でない限り、構成要素は、A、或いはB、或いはA及びBを含むことができる。第2の例として、構成要素がA、B、又はCを含むことができると述べられた場合には、このとき、別途特に断りのない限り、又は実行不可能でない限り、構成要素は、A、B、若しくはC、又はA及びB、A及びC、若しくはB及びC、又はA及びB及びCを含むことができる。
【0139】
[0168] 上述の実施形態は、ハードウェア、又はソフトウェア(プログラムコード)、或いはハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合には、それは上述のコンピュータ可読媒体内に記憶され得る。ソフトウェアは、プロセッサによって実行されたときに、本開示の方法を遂行することができる。本開示において説明される計算ユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、或いはハードウェア及びソフトウェアの組み合わせによって実施され得る。当業者は、上述のモジュール/ユニットのうちの複数のものを1つのモジュール/ユニットとして組み合わせることができ、上述のモジュール/ユニットの各々を複数のサブモジュール/サブユニットにさらに分割することができることも理解するであろう。
【0140】
[0169] 上述の明細書において、実施形態は、実装形態ごとに異なり得る数多くの特定の詳細を参照して説明された。上述の実施形態の特定の適応及び変更を行うことができる。本明細書の考慮及び本明細書において開示された本発明の実施から、他の実施形態が当業者に明らかになり得る。明細書及び実施例は例としてのみ考慮されることが意図されており、本発明の真の範囲及び趣旨は添付の請求項によって示される。また、図に示されるステップの配列は単に例示目的のためのものにすぎず、ステップのいかなる特定の配列にも限定されることを意図されないことも意図される。それゆえ、当業者は、これらのステップは、同じ方法を実施しながらも、異なる順序で遂行され得ることを理解することができる。
【0141】
[0170] 図面及び明細書において、例示的な実施形態が開示された。しかし、これらの実施形態に対して多くの変形及び変更を行うことができる。したがって、特定の用語が採用されていても、これらは単に、一般的な説明の意味で使用されているにすぎず、限定を目的として使用されているものではない。
【手続補正書】
【提出日】2022-05-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
命令のセットを記憶する非一時的コンピュータ可読記憶媒体であって、前記命令のセットは、デバイスの1つ以上のプロセッサによって、映像を復号化するための方法を前記デバイスに行わせるために実行可能であり、前記方法が、
ビットストリームを受信することと、
前記ビットストリーム内の1つ以上の第1のフラグに基づいて、1つ以上の符号化モードが、前記ビットストリームに対応する映像シーケンスのために有効にされるかどうかを決定することであって、前記1つ以上の符号化モードが、オプティカルフローを用いて精密化されたアフィン運動補償を含む、決定することと、
前記ビットストリーム内の少なくとも1つの第2のフラグに基づいて、少なくとも1つの下位レベル制御フラグが1つ以上の符号化モードのために前記ビットストリーム内に存在するか否かを決定することと
を含む、非一時的コンピュータ可読記憶媒体。
【請求項2】
前記1つ以上のプロセッサによって実行可能である前記命令のセットが、前記デバイスに、
前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために前記ビットストリーム内に存在することに応じて、前記1つ以上の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすること
をさらに行わせる、請求項1に記載の非一時的コンピュータ可読記憶媒体。
【請求項3】
前記1つ以上のプロセッサによって実行可能である命令の前記セットが、前記デバイスに、
前記ビットストリーム内において、前記ターゲットピクチャが前記ターゲット下位レベル領域である場合の、前記ターゲットピクチャに関連付けられたピクチャヘッダ内の前記少なくとも1つの下位レベル制御フラグ、又は前記ターゲットピクチャが前記ターゲット下位レベル領域である場合の、前記ターゲットスライスに関連付けられたスライスヘッダ内の前記少なくとも1つの下位レベル制御フラグを、復号化すること
をさらに行わせる、請求項2に記載の非一時的コンピュータ可読記憶媒体。
【請求項4】
前記1つ以上の符号化モードが複数の符号化モードを含み、前記1つ以上の第1のフラグが、前記複数の符号化モードにそれぞれ対応する複数の第1のフラグを含み、前記1つ以上の符号化モードが前記映像シーケンスのために有効にされるかどうかを決定することが、
それぞれ、前記複数の第1のフラグに基づいて、前記複数の符号化モードが前記映像シーケンスのために有効にされるかどうかを決定すること
を含む、請求項1に記載の非一時的コンピュータ可読記憶媒体。
【請求項5】
前記少なくとも1つの第2のフラグが、前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在するかどうかをそれぞれ示す1つ以上の第2のフラグを含み、前記1つ以上のプロセッサによって実行可能である命令の前記セットが、前記デバイスに、
前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在することに応じて、前記1つ以上の符号化モードをターゲット下位領域のために有効にするか又は無効にすることをさらに行わせ、
前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードにそれぞれ対応する、請求項4に記載の非一時的コンピュータ可読記憶媒体。
【請求項6】
前記少なくとも1つの下位レベル制御フラグが存在するかどうかを決定することが、
単一の第2のフラグに基づいて前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在するかどうかを決定すること、及び
前記単一の第2のフラグが、前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在することを示すことに応じて、前記1つ以上の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすること
を含む、請求項4に記載の非一時的コンピュータ可読記憶媒体。
【請求項7】
前記少なくとも1つの下位レベル制御フラグが存在するかどうかを決定することが、
1つ以上の第2のフラグに基づいて前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在するかどうかを決定することを含み、
前記1つ以上の第2のフラグが、2つ以上の符号化モードに対応する少なくとも1つのフラグを含む、請求項4に記載の非一時的コンピュータ可読記憶媒体。
【請求項8】
命令を記憶するように構成されたメモリと、
前記メモリに結合されたプロセッサとを備える装置であって、前記プロセッサは、前記装置に、
ビットストリームを受信することと、
前記ビットストリーム内の1つ以上の第1のフラグに基づいて、1つ以上の符号化モードが、前記ビットストリームに対応する映像シーケンスのために有効にされるかどうかを決定することであって、前記1つ以上の符号化モードが、オプティカルフローを用いて精密化されたアフィン運動補償を含む、決定することと、
前記ビットストリーム内の少なくとも1つの第2のフラグに基づいて、少なくとも1つの下位レベル制御フラグが1つ以上の符号化モードのために前記ビットストリーム内に存在するか否かを決定することと
を行わせるように、前記命令を実行するように構成される、装置。
【請求項9】
前記プロセッサが、前記装置に、
前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために前記ビットストリーム内に存在することに応じて、前記1つ以上の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすること
を行わせるように、前記命令を実行するようにさらに構成される、請求項8に記載の装置。
【請求項10】
前記プロセッサが、前記装置に、
前記ビットストリーム内において、前記ターゲットピクチャが前記ターゲット下位レベル領域である場合の、前記ターゲットピクチャに関連付けられたピクチャヘッダ内の前記少なくとも1つの下位レベル制御フラグ、又は前記ターゲットピクチャが前記ターゲット下位レベル領域である場合の、前記ターゲットスライスに関連付けられたスライスヘッダ内の前記少なくとも1つの下位レベル制御フラグを復号化すること
を行わせるように、前記命令を実行するようにさらに構成される、請求項9に記載の装置。
【請求項11】
前記1つ以上の符号化モードが複数の符号化モードを含み、前記1つ以上の第1のフラグが、前記複数の符号化モードにそれぞれ対応する複数の第1のフラグを含み、前記1つ以上の符号化モードが前記映像シーケンスのために有効にされるかどうかを決定することが、
それぞれ、前記複数の第1のフラグに基づいて、前記複数の符号化モードが前記映像シーケンスのために有効にされるかどうかを決定すること
を含む、請求項8に記載の装置。
【請求項12】
前記少なくとも1つの第2のフラグが、前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在するかどうかをそれぞれ示す1つ以上の第2のフラグを含み、前記プロセッサが、前記装置に、
前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在することに応じて、前記1つ以上の符号化モードをターゲット下位領域のために有効にするか又は無効にすること
を行わせるように、前記命令を実行するようにさらに構成され、
前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードにそれぞれ対応する、請求項11に記載の装置。
【請求項13】
前記プロセッサが、前記装置に、
単一の第2のフラグに基づいて、前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在するかどうかを決定すること、及び
前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在することを、前記単一の第2のフラグが示すことに応じて、前記1つ以上の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすること
によって、前記少なくとも1つの下位レベル制御フラグが存在するかどうかを決定すること
を行わせるように、前記命令を実行するようにさらに構成される、請求項11に記載の装置。
【請求項14】
前記プロセッサが、前記装置に、
1つ以上の第2のフラグに基づいて前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在するかどうかを決定することであって、前記1つ以上の第2のフラグが、2つ以上の符号化モードに対応する少なくとも1つのフラグを含む、決定すること
によって、前記少なくとも1つの下位レベル制御フラグが存在するかどうかを決定すること
を行わせるように、前記命令を実行するようにさらに構成される、請求項11に記載の装置。
【請求項15】
映像を復号化するための方法であって、
ビットストリームを受信することと、
前記ビットストリーム内の1つ以上の第1のフラグに基づいて、1つ以上の符号化モードが、前記ビットストリームに対応する映像シーケンスのために有効にされるかどうかを決定することであって、前記1つ以上の符号化モードが、オプティカルフローを用いて精密化されたアフィン運動補償を含む、決定することと、
前記ビットストリーム内の少なくとも1つの第2のフラグに基づいて、少なくとも1つの下位レベル制御フラグが1つ以上の符号化モードのために前記ビットストリーム内に存在するか否かを決定することと
を含む、方法。
【請求項16】
前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために前記ビットストリーム内に存在することに応じて、前記1つ以上の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすることを含む、請求項15に記載の方法。
【請求項17】
前記ビットストリーム内において、前記ターゲットピクチャが前記ターゲット下位レベル領域である場合の、前記ターゲットピクチャに関連付けられたピクチャヘッダ内の前記少なくとも1つの下位レベル制御フラグ、又は前記ターゲットピクチャが前記ターゲット下位レベル領域である場合の、前記ターゲットスライスに関連付けられたスライスヘッダ内の前記少なくとも1つの下位レベル制御フラグを復号化することをさらに含む、請求項16に記載の方法。
【請求項18】
前記1つ以上の符号化モードが複数の符号化モードを含み、前記1つ以上の第1のフラグが、前記複数の符号化モードにそれぞれ対応する複数の第1のフラグを含み、前記1つ以上の符号化モードが前記映像シーケンスのために有効にされるかどうかを決定することが、
それぞれ、前記複数の第1のフラグに基づいて、前記複数の符号化モードが前記映像シーケンスのために有効にされるかどうかを決定すること
を含む、請求項15に記載の方法。
【請求項19】
前記少なくとも1つの第2のフラグが、前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在するかどうかをそれぞれ示す1つ以上の第2のフラグを含み、前記方法が、
前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在することに応じて、前記1つ以上の符号化モードをターゲット下位領域のために有効にするか又は無効にすることをさらに含み、前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードにそれぞれ対応する、請求項18に記載の方法。
【請求項20】
前記少なくとも1つの下位レベル制御フラグが存在するかどうかを決定することが、
単一の第2のフラグに基づいて前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在するかどうかを決定すること、及び
前記単一の第2のフラグが、前記少なくとも1つの下位レベル制御フラグが前記1つ以上の符号化モードのために存在することを示すことに応じて、前記1つ以上の符号化モードをターゲット下位レベル領域のために有効にするか又は無効にすること
を含む、請求項18に記載の方法。
【国際調査報告】