(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-17
(54)【発明の名称】サブブロック変換情報を信号化するための方法及び装置
(51)【国際特許分類】
H04N 19/70 20140101AFI20221109BHJP
H04N 19/12 20140101ALI20221109BHJP
H04N 19/136 20140101ALI20221109BHJP
【FI】
H04N19/70
H04N19/12
H04N19/136
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022513113
(86)(22)【出願日】2020-07-24
(85)【翻訳文提出日】2022-04-05
(86)【国際出願番号】 US2020043448
(87)【国際公開番号】W WO2021050166
(87)【国際公開日】2021-03-18
(32)【優先日】2019-09-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】511050697
【氏名又は名称】アリババ グループ ホウルディング リミテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】サーヴァー,モハメッド,ゴラム
(72)【発明者】
【氏名】ルオ,ジャンコン
(72)【発明者】
【氏名】イエ,ヤン
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159RC12
5C159TA35
5C159TB08
5C159TC26
(57)【要約】
本開示は、サブブロック変換(SBT)情報を信号化するための装置及び方法を提供する。SBT情報は、映像データを符号化するために使用される。特定の開示された実施形態によれば、例示的方法は、映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することとを含む。SBTを許容する最大符号化ユニット(CU)サイズは、SBTが有効にされることを示す第1のフラグに応答して、最大TBサイズに直接基づいて決定される。
【特許請求の範囲】
【請求項1】
映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、
前記SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することと、
を含み、
前記SBTを許容する最大符号化ユニット(CU)サイズが、前記SBTが有効にされることを示す前記第1のフラグに応答して、前記最大TBサイズに直接基づいて決定される、映像処理方法。
【請求項2】
前記SBTを許容する前記最大CUサイズが、最大CU幅又は最大CU高さである、請求項1に記載の方法。
【請求項3】
前記SBTを許容する前記最大CUサイズが、前記最大TBサイズに等しくなるように決定される、請求項1に記載の方法。
【請求項4】
前記最大TBサイズが32又は64である、請求項1に記載の方法。
【請求項5】
前記最大TBサイズが32であることに応答して、前記第2のフラグの値を0に設定することをさらに含む、請求項4に記載の方法。
【請求項6】
前記最大TBサイズが64であることに応答して、前記第2のフラグの値を1に設定することをさらに含む、請求項4に記載の方法。
【請求項7】
映像処理装置であって、
命令を保存するための少なくとも1つのメモリと、
少なくとも1つのプロセッサと、とを含み、前記少なくとも1つのプロセッサが、前記命令を実行して、
映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、
前記SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することと、
を前記装置に行わせ、
前記SBTを許容する最大符号化ユニット(CU)サイズが、前記SBTが有効にされることを示す前記第1のフラグに応答して、前記最大TBサイズに直接基づいて決定される、映像処理装置。
【請求項8】
前記SBTを許容する前記最大CUサイズが、最大CU幅又は最大CU高さである、請求項7に記載の装置。
【請求項9】
前記SBTを許容する前記最大CUサイズが、前記最大TBサイズに等しくなるように決定される、請求項7に記載の装置。
【請求項10】
前記最大TBサイズが32又は64である、請求項7に記載の装置。
【請求項11】
前記少なくとも1つのプロセッサが、さらに前記命令を実行して、
前記最大TBサイズが32であることに応答して、前記第2のフラグの値を0に設定することを前記装置に行わせる、請求項10に記載の装置。
【請求項12】
前記少なくとも1つのプロセッサが、さらに前記命令を実行して、
前記最大TBサイズが64であることに応答して、前記第2のフラグの値を1に設定することを前記装置に行わせる、請求項10に記載の装置。
【請求項13】
命令セットを保存する非一時的コンピュータ可読記憶媒体であって、前記命令セットは、映像処理方法をコンピュータに行わせるように、少なくとも1つのプロセッサによって実行可能であり、前記映像処理方法は、
映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、
前記SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することと、
を含み、
前記SBTを許容する最大符号化ユニット(CU)サイズが、前記SBTが有効にされることを示す前記第1のフラグに応答して、前記最大TBサイズに直接基づいて決定される、非一時的コンピュータ可読記憶媒体。
【請求項14】
前記SBTを許容する前記最大CUサイズが、最大CU幅又は最大CU高さである、請求項13に記載の非一時的コンピュータ可読記憶媒体。
【請求項15】
前記SBTを許容する前記最大CUサイズが、前記最大TBサイズに等しくなるように決定される、請求項13に記載の非一時的コンピュータ可読記憶媒体。
【請求項16】
前記最大TBサイズが32又は64である、請求項13に記載の非一時的コンピュータ可読記憶媒体。
【請求項17】
前記少なくとも1つのプロセッサによって実行可能な前記命令セットが、
前記最大TBサイズが32であることに応答して、前記第2のフラグの値を0に設定することを前記コンピュータにさらに行わせる、請求項16に記載の非一時的コンピュータ可読記憶媒体。
【請求項18】
前記少なくとも1つのプロセッサによって実行可能な前記命令セットが、
前記最大TBサイズが64であることに応答して、前記第2のフラグの値を1に設定することを前記コンピュータにさらに行わせる、請求項16に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本開示は、全体として本明細書に援用される、2019年9月13日に出願された米国仮特許出願第62/900,395号に対する優先権を主張するものである。
【背景技術】
【0002】
背景
[0002] 映像は、視覚情報を捕捉する一連の静止ピクチャ(又は「フレーム」)である。記憶メモリ及び伝送帯域幅を減少させるために、映像は、記憶又は伝送前に圧縮され、表示前に復元され得る。圧縮プロセスは、通常、エンコーディングと呼ばれ、復元プロセスは、通常、デコーディングと呼ばれる。最も一般的には、予測、変換、量子化、エントロピー符号化、及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、HEVC(High Efficiency Video Coding)/H.265標準規格、VVC(Versatile Video Coding)/H.266標準規格AVS標準規格などの映像符号化標準規格が、標準化機関によって開発されている。ますます高度な映像符号化技術が、映像標準規格に採用されるにつれて、新しい映像符号化標準規格の符号化効率は、ますます高くなる。
【発明の概要】
【課題を解決するための手段】
【0003】
開示の概要
[0003] 本開示の実施形態は、映像処理のための方法及び装置を提供する。ある例示的実施形態では、映像処理方法は、映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することと、を含む。SBTを許容する最大符号化ユニット(CU)サイズは、SBTが有効にされることを示す第1のフラグに応答して、最大TBサイズに直接基づいて決定することができる。
【0004】
[0004] 別の例示的実施形態では、映像処理装置は、命令を保存するための少なくとも1つのメモリ、及び少なくとも1つのプロセッサを含む。少なくとも1つのプロセッサは、命令を実行して、映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することと、を装置に行わせる。SBTを許容する最大符号化ユニット(CU)サイズは、SBTが有効にされることを示す第1のフラグに応答して、最大TBサイズに直接基づいて決定される。
【0005】
[0005] 別の例示的実施形態では、非一時的コンピュータ可読記憶媒体は、命令セットを保存する。命令セットは、映像処理方法をコンピュータに行わせるように、少なくとも1つのプロセッサによって実行可能である。この方法は、映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することと、を含む。SBTを許容する最大符号化ユニット(CU)サイズは、SBTが有効にされることを示す第1のフラグに応答して、最大TBサイズに直接基づいて決定される。
【0006】
図面の簡単な説明
[0006] 本開示の実施形態及び様々な局面は、以下の詳細な説明及び添付の図面に示される。図面に示される様々なフィーチャは、一定の縮尺で描かれていない。
【図面の簡単な説明】
【0007】
【
図1】[0007]本開示の幾つかの実施形態による、映像シーケンス例の構造を示す模式図である。
【
図2】[0008]本開示の幾つかの実施形態による、ハイブリッド映像符号化システムにおける例示的エンコーダの模式図を示す。
【
図3】[0009]本開示の幾つかの実施形態による、ハイブリッド映像符号化システムにおける例示的デコーダの模式図を示す。
【
図4】[0010]本開示の幾つかの実施形態による、映像をエンコード又はデコードするための例示的装置のブロック図を示す。
【
図5】[0011]本開示の幾つかの実施形態による、インター予測符号化ユニット(CU)に関する例示的サブブロック変換(SBT)タイプ及びSBT位置を示す。
【
図6A】[0012]本開示の幾つかの実施形態によるSPSシンタックス表の一部を示す例示的な表1を示す。
【
図6B】[0012]本開示の幾つかの実施形態によるSPSシンタックス表の一部を示す例示的な表1を示す。
【
図7】[0013]本開示の幾つかの実施形態による例示的映像処理方法のフローチャートを示す。
【
図8A】[0014]本開示の幾つかの実施形態によるSPSシンタックス表の一部を示す例示的な表2を示す。
【
図8B】[0014]本開示の幾つかの実施形態によるSPSシンタックス表の一部を示す例示的な表2を示す。
【
図9】[0015]本開示の幾つかの実施形態によるCUシンタックス表の一部を示す例示的な表3を示す。
【
図10】[0016]本開示の幾つかの実施形態による、別の例示的映像処理方法のフローチャートを示す。
【発明を実施するための形態】
【0008】
詳細な説明
[0017] これより、添付の図面に示される例示的実施形態に詳細に言及する。以下の説明は、別段の説明のない限り、異なる図面の同じ番号が、同じ又は類似の要素を表す、添付の図面を参照する。例示的実施形態の以下の説明に記載する実施態様は、本発明と一致した全ての実施態様を表すわけではない。代わりに、それらは、添付の特許請求の範囲に記載される本発明に関連する局面と一致した装置及び方法の例に過ぎない。以下に、本開示の特定の局面をより詳細に記載する。参照により援用された用語及び/又は定義と矛盾する場合は、本明細書に提供される用語及び定義が有効となる。
【0009】
[0018] ITU-T VCEG(ITU-T Video Coding Expert Group)及びISO/IEC MPEG(ISO/IEC Moving Picture Expert Group)のJVET(Joint Video Experts Team)は、現在、VVC(Versatile Video Coding)/H.266標準規格を開発中である。VVC標準規格は、その先行バージョンであるHEVC(High Efficiency Video Coding)/H.265標準規格の圧縮効率を倍にすることを目的とする。つまり、VVCの目標は、HEVC/H.265と同じ主観的品質を半分の帯域幅で達成することである。
【0010】
[0019] 半分の帯域幅でHEVC/H.265と同じ主観的品質を達成するために、JVETは、JEM(joint exploration model)参照ソフトウェアを使用して、HEVCを超える技術を開発してきた。符号化技術がJEMに組み込まれたため、JEMは、HEVCよりも大幅に高い符号化性能を実現した。
【0011】
[0020] VVC標準規格は、最近開発されたものであり、より良い圧縮性能を提供する、さらに多くの符号化技術を加え続けている。VVCは、HEVC、H.264/AVC、MPEG2、H.263などの近代の映像圧縮標準規格で使用されてきた、同じハイブリッド映像符号化システムに基づく。
【0012】
[0021] 映像は、視覚情報を保存するために、時系列で配置された一連の静止ピクチャ(又は「フレーム」)である。映像キャプチャデバイス(例えば、カメラ)を使用して、これらのピクチャを時系列で捕捉及び保存することができ、映像再生デバイス(例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤー、又は表示機能を備えた任意のエンドユーザ端末)を使用して、このようなピクチャを時系列で表示することができる。また、用途によっては、監視、会議の開催、又は生放送などのために、映像キャプチャデバイスは、捕捉された映像を映像再生デバイス(例えば、モニタを備えたコンピュータ)にリアルタイムで伝送することができる。
【0013】
[0022] このような用途で必要とされる記憶空間及び伝送帯域幅を減少させるために、映像は、記憶及び伝送前に圧縮され、表示前に復元され得る。圧縮及び復元は、プロセッサ(例えば、汎用コンピュータのプロセッサ)又は専用ハードウェアによって実行されるソフトウェアによって実施され得る。圧縮用のモジュールは、一般に「エンコーダ」と呼ばれ、復元用のモジュールは、一般に「デコーダ」と呼ばれる。エンコーダ及びデコーダは、まとめて「コーデック」と呼ばれることがある。エンコーダ及びデコーダは、様々な適切なハードウェア、ソフトウェア、又はこれらの組み合わせの何れかとして実装され得る。例えば、エンコーダ及びデコーダのハードウェア実装は、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、離散論理、又はこれらの任意の組み合わせなどの回路網を含み得る。エンコーダ及びデコーダのソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体に固定された、任意の適切なコンピュータ実施アルゴリズム若しくはプロセスを含み得る。映像圧縮及び復元は、MPEG-1、MPEG-2、MPEG-4、H.26x系などの様々なアルゴリズム又は標準規格によって実施され得る。用途によっては、コーデックが、第1の符号化標準規格から映像を復元し、第2の符号化標準規格を用いて復元映像を再圧縮することができ、この場合、コーデックは、「トランスコーダ」と呼ばれることがある。
【0014】
[0023] 映像エンコーディングプロセスは、ピクチャの再構成のために使用することができる有用な情報を識別及び保持し、再構成にとって重要ではない情報を無視することができる。無視された重要ではない情報を完全に再構成することができない場合、このようなエンコーディングプロセスは、「不可逆」と呼ばれることがある。そうでなければ、それは、「可逆」と呼ばれることがある。ほとんどのエンコーディングプロセスは、不可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を減少させるためのトレードオフである。
【0015】
[0024] (「現在のピクチャ」と呼ばれる)エンコードされているピクチャの有用な情報は、参照ピクチャ(例えば、前にエンコードされた、及び再構成されたピクチャ)に対する変化を含む。このような変化は、ピクセルの位置変化、輝度変化、又は色変化を含む場合があり、中でも、位置変化は、最も重要である。物体を表すピクセル群の位置変化は、参照ピクチャ及び現在のピクチャ間の物体の動きを反映し得る。
【0016】
[0025] 別のピクチャを参照することなく符号化されたピクチャ(すなわち、それは、それ自体の参照ピクチャである)は、「Iピクチャ」と呼ばれる。前のピクチャを参照ピクチャとして使用して符号化されたピクチャは、「Pピクチャ」と呼ばれる。前のピクチャ及び未来のピクチャの両方を参照ピクチャとして使用して(すなわち、参照が「双方向」である)符号化されたピクチャは、「Bピクチャ」と呼ばれる。
【0017】
[0026]
図1は、本開示の幾つかの実施形態による、映像シーケンス例100の構造を示す。映像シーケンス100は、ライブ映像、又は捕捉及びアーカイブされた映像でもよい。映像100は、実際の映像、コンピュータ生成された映像(例えば、コンピュータゲーム映像)、又はそれらの組み合わせ(例えば、拡張現実効果を有した実際の映像)でもよい。映像シーケンス100は、映像キャプチャデバイス(例えば、カメラ)、前に捕捉された映像を包含する映像アーカイブ(例えば、記憶デバイスに保存された映像ファイル)、又は映像コンテンツプロバイダから映像を受信するための映像フィードインタフェース(例えば、映像ブロードキャストトランシーバ)から入力され得る。
【0018】
[0027]
図1に示されるように、映像シーケンス100は、ピクチャ102、104、106、及び108を含むタイムラインに沿って時間的に配置された一連のピクチャを含み得る。ピクチャ102~106は連続しており、ピクチャ106と108との間には、さらに多くのピクチャが存在する。
図1では、ピクチャ102は、Iピクチャであり、それの参照ピクチャは、ピクチャ102自体である。ピクチャ104は、Pピクチャであり、それの参照ピクチャは、矢印によって示されるように、ピクチャ102である。ピクチャ106は、Bピクチャであり、それの参照ピクチャは、矢印によって示されるように、ピクチャ104及び108である。幾つかの実施形態では、あるピクチャ(例えば、ピクチャ104)の参照ピクチャは、当該ピクチャの直前又は直後に存在しなくてもよい。例えば、ピクチャ104の参照ピクチャは、ピクチャ102に先行するピクチャでもよい。ピクチャ102~106の参照ピクチャは単なる例であり、本開示は、参照ピクチャの実施形態を
図1に示される例のように限定しないことに留意されたい。
【0019】
[0028] 一般的に、映像コーデックは、ピクチャ全体のエンコーディング又はデコーディングを、そのようなタスクの計算の複雑さゆえに、一度に行わない。より正確に言えば、それらは、ピクチャを基本セグメントに分割し、セグメントごとにピクチャをエンコード又はデコードし得る。このような基本セグメントは、本開示では、基本処理ユニット(「BPU(basic processing unit)」)と呼ばれる。例えば、
図1の構造110は、映像シーケンス100のあるピクチャ(例えば、ピクチャ102~108の何れか)の構造例を示す。構造110では、ピクチャは、4×4の基本処理ユニットに分割され、それらの境界は、破線で示されている。幾つかの実施形態では、基本処理ユニットは、一部の映像符号化標準規格(例えば、MPEG系統、H.261、H.263、若しくはH.264/AVC)では「マクロブロック」と呼ばれることがあり、又は一部の他の映像符号化標準規格(例えば、H.265/HEVC若しくはH.266/VVC)では、「符号化ツリーユニット」(「CTU(coding tree unit)」)と呼ばれることがある。基本処理ユニットは、128×128、64×64、32×32、16×16、4×8、16×32、又はピクセルの任意の形状及びサイズなどの、ピクチャの可変サイズを有し得る。基本処理ユニットのサイズ及び形状は、符号化効率と、基本処理ユニットにおいて維持されるべき詳細のレベルのバランスに基づいて、ピクチャごとに選択することができる。
【0020】
[0029] 基本処理ユニットは、コンピュータメモリに(例えば、映像フレームバッファに)保存された異なる複数のタイプの映像データの一群を含み得る論理ユニットでもよい。例えば、カラーピクチャの基本処理ユニットは、無彩色の明度情報を表すルマ成分(Y)、色情報を表す1つ又は複数のクロマ成分(例えば、Cb及びCr)、並びに関連のシンタックス要素を含み得る(ここでは、ルマ成分及びクロマ成分は、同じサイズの基本処理ユニットを有し得る)。ルマ成分及びクロマ成分は、一部の映像符号化標準規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ツリーブロック」(「CTB(coding tree block)」)と呼ばれることがある。基本処理ユニットに対して行われるどのような演算も、それのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。
【0021】
[0030] 映像符号化は、複数の演算ステージを有し、これらの例を
図2及び
図3に示す。各ステージで、基本処理ユニットのサイズが、処理するにはまだ大き過ぎる場合があり、したがって、本開示では「基本処理サブユニット」と呼ばれるセグメントへとさらに分割され得る。幾つかの実施形態では、基本処理サブユニットは、一部の映像符号化標準規格(例えば、MPEG系統、H.261、H.263、若しくはH.264/AVC)では「ブロック」と呼ばれることがあり、又は一部の他の映像符号化標準規格(例えば、H.265/HEVC若しくはH.266/VVC)では、「符号化ユニット」(「CU(coding unit)」)と呼ばれることがある。基本処理サブユニットは、基本処理ユニットと同じ又はより小さいサイズを有してもよい。基本処理ユニットと同様に、基本処理サブユニットも、コンピュータメモリに(例えば、映像フレームバッファに)保存された異なる複数のタイプの映像データ(例えば、Y、Cb、Cr、及び関連のシンタックス要素)の一群を含み得る論理ユニットである。基本処理サブユニットに対して行われるどのような演算も、それのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。このような分割は、処理のニーズに応じてさらなるレベルに対して行われ得ることに留意されたい。異なるステージが異なるスキームを用いて基本処理ユニットを分割し得ることにも留意されたい。
【0022】
[0031] 例えば、モード決定ステージ(それの一例を
図2に示す)において、エンコーダは、基本処理ユニットに対してどの予測モード(例えば、ピクチャ内予測又はピクチャ間予測)を使用すべきかを決定することができ、基本処理ユニットは、このような決定を下すには大き過ぎる場合がある。エンコーダは、基本処理ユニットを複数の基本処理サブユニット(例えば、H.265/HEVC又はH.266/VVCの場合のCU)に分割し、及び個々の基本処理サブユニットごとに予測タイプを決定することができる。
【0023】
[0032] 別の例として、予測ステージ(それの一例を
図2に示す)において、エンコーダは、基本処理サブユニット(例えば、CU)のレベルで予測演算を行うことができる。しかしながら、場合によっては、基本処理サブユニットは、処理するにはまだ大き過ぎる場合がある。エンコーダは、基本処理サブユニットを(例えば、H.265/HEVC又はH.266/VVCにおいては「予測ブロック」又は「PB(prediction block)」と呼ばれる)より小さなセグメントにさらに分割することができ、このセグメントのレベルで、予測演算を行うことができる。
【0024】
[0033] 別の例として、変換ステージ(それの一例を
図2に示す)では、エンコーダは、残差基本処理サブユニット(例えば、CU)に対して変換演算を行うことができる。しかしながら、場合によっては、基本処理サブユニットは、処理するにはまだ大き過ぎる場合がある。エンコーダは、基本処理サブユニットを(例えば、H.265/HEVC又はH.266/VVCにおいては「変換ブロック」又は「TB(transform block)」と呼ばれる)より小さなセグメントにさらに分割することができ、このセグメントのレベルで、変換演算を行うことができる。同じ基本処理サブユニットの分割スキームが予測ステージ及び変換ステージで異なり得ることに留意されたい。例えば、H.265/HEVC又はH.266/VVCでは、同じCUの予測ブロック及び変換ブロックが異なるサイズ及び数を有し得る。
【0025】
[0034]
図1の構造110では、基本処理ユニット112は、3×3の基本処理サブユニットにさらに分割され、それらの境界は、点線で示される。同じピクチャの異なる基本処理ユニットが、異なるスキームで基本処理サブユニットに分割されてもよい。
【0026】
[0035] 幾つかの実施態様では、並列処理能力、並びに映像エンコーディング及びデコーディングに対する誤り耐性を提供するために、ピクチャの領域ごとに、エンコーディング又はデコーディングプロセスがピクチャの他のどの領域からの情報にも依存しないことが可能であるように、ピクチャは、処理のために複数の領域に分割され得る。つまり、ピクチャの各領域は、独立して処理することができる。そうすることで、コーデックは、ピクチャの異なる複数の領域を並列に処理することができ、したがって、符号化効率が向上される。また、ある領域のデータが処理時に壊れた場合、又はネットワーク伝送時に失われた場合、コーデックは、壊れたデータ又は失われたデータに依存することなく、同じピクチャの他の領域を正確にエンコード又はデコードすることができ、したがって、誤り耐性能力が提供される。一部の映像符号化標準規格では、ピクチャは、異なる複数のタイプの領域に分割することができる。例えば、H.265/HEVC及びH.266/VVCは、2つの領域タイプ:「スライス」及び「タイル」を提供する。映像シーケンス100の異なる複数のピクチャが、ピクチャを領域に分割するための異なるパーティションスキームを有し得ることにも留意されたい。
【0027】
[0036] 例えば、
図1において、構造110は、3つの領域114、116、及び118に分割され、それらの境界は、構造110内の実線として示されている。領域114は、4つの基本処理ユニットを含む。領域116及び118のそれぞれは、6つの基本処理ユニットを含む。
図1の構造110の基本処理ユニット、基本処理サブユニット、及び領域は、単なる例であり、本開示は、それらの実施形態を限定しないことに留意されたい。
【0028】
[0037]
図2は、本開示の幾つかの実施形態による、ハイブリッド映像符号化システムにおける例示的エンコーダ200の模式図を示す。映像エンコーダ200は、映像ブロック、又は映像ブロックのパーティション若しくはサブパーティションを含む、映像フレーム内のブロックのイントラ符号化又はインター符号化を行い得る。イントラ符号化は、所与の映像フレーム内の映像の空間的冗長性を減少させるため、又は除去するために、空間予測に依存し得る。インター符号化は、映像シーケンスの隣接フレーム内の映像の時間的冗長性を減少させるため、又は除去するために、時間予測に依存し得る。イントラモードは、幾つかの空間ベースの圧縮モードを指す場合がある。インターモード(単予測又は双予測など)は、幾つかの時間ベースの圧縮モードを指す場合がある。
【0029】
[0038]
図2を参照して、入力映像信号202は、ブロックごとに処理され得る。例えば、映像ブロックユニットは、16×16ピクセルブロック(例えば、マクロブロック(MB))でもよい。映像ブロックユニットのサイズは、使用される符号化技術、並びに必要とされる精度及び効率に応じて異なり得る。HEVCでは、拡張ブロックサイズ(例えば、符号化ツリーユニット(CTU))を使用して、例えば1080p以上の解像度の映像信号を圧縮することができる。HEVCでは、CTUは、最大64×64ルマサンプル、対応するクロマサンプル、及び関連のシンタックス要素を含み得る。VVCでは、CTUのサイズは、128×128ルマサンプル、対応するクロマサンプル、及び関連のシンタックス要素を含むようにさらに増大させることができる。CTUは、例えば、四分木、二分木、又は三分木を使用して、符号化ユニット(CU)にさらに分割することができる。CUは、別個の予測法が適用され得る予測ユニット(PU)にさらにパーティション化され得る。各入力映像ブロックは、空間予測ユニット260又は時間予測ユニット262を使用することによって処理され得る。
【0030】
[0039] 空間予測ユニット260は、現在のブロック/CUに対して、現在のブロックを包含する同じピクチャ/スライスに関する情報を使用して、空間予測(例えば、イントラ予測)を行う。空間予測は、現在の映像ブロックを予測するために、同じ映像ピクチャフレーム/スライス内の既に符号化された隣接ブロックからのピクセルを使用し得る。空間予測は、映像信号に固有の空間的冗長性を減少させることができる。
【0031】
[0040] 時間予測ユニット262は、現在のブロックを包含するピクチャ/スライスとは異なる1つ又は複数のピクチャ/1つ又は複数のスライスからの情報を使用して、現在のブロックに対して時間予測(例えば、インター予測)を行う。映像ブロックに関する時間予測は、1つ又は複数の動きベクトルによって信号化され得る。一方向時間予測では、現在のブロックの予測信号を生成するために、1つの参照ピクチャを示すたった1つの動きベクトルが使用される。一方、双方向時間予測では、現在のブロックの予測信号を生成するために、2つの動きベクトル(各動きベクトルがそれぞれの参照ピクチャを示す)を使用することができる。動きベクトルは、現在のブロックと、参照フレーム内の1つ又は複数の関連ブロックとの間の動きの量及び方向を示し得る。複数の参照ピクチャがサポートされる場合、映像ブロックに関して、1つ又は複数の参照ピクチャインデックスが送られてもよい。1つ又は複数の参照インデックスを使用して、時間予測信号が、参照ピクチャ記憶装置又はデコードピクチャバッファ(DPB)264内のどの1つ又は複数の参照ピクチャに由来し得るかを識別することができる。
【0032】
[0041] エンコーダ内のモード決定及びエンコーダ制御ユニット280は、例えば、レート歪み最適化に基づいて、予測モードを選び得る。決定された予測モードに基づいて、予測ブロックを取得することができる。予測ブロックは、加算器216において、現在の映像ブロックから減算され得る。予測残差は、変換ユニット204によって変換され、量子化ユニット206によって量子化され得る。量子化残差係数は、逆量子化ユニット210において逆量子化され、及び逆変換ユニット212において逆変換されることによって、再構成残差を形成し得る。再構成残差が、加算器226において予測ブロックに加算されることによって、再構成映像ブロックが形成され得る。ループフィルタリング前の再構成映像ブロックは、イントラ予測のための参照サンプルを提供するために使用され得る。
【0033】
[0042] 再構成映像ブロックは、ループフィルタ266において、ループフィルタリングを受けてもよい。例えば、非ブロック化フィルタ、サンプル適応オフセット(SAO)、及び適応ループフィルタ(ALF)などのループフィルタリングが適用されてもよい。ループフィルタリング後の再構成ブロックは、参照ピクチャ記憶装置264に保存されてもよく、他の映像ブロックを符号化するためのインター予測参照サンプルを提供するために使用することができる。出力映像ビットストリーム220を形成するために、データが圧縮及びパックされてビットストリーム220が形成される前にビットレートをさらに減少させるべく、符号化モード(例えば、インター又はイントラ)、予測モード情報、動き情報、及び量子化残差係数が、エントロピー符号化ユニット208に送られてもよい。
【0034】
[0043]
図3は、本開示の幾つかの実施形態による、ハイブリッド映像符号化システムにおける例示的デコーダ300の模式図を示す。
図3を参照して、映像ビットストリーム302は、エントロピーデコーディングユニット308において、アンパック又はエントロピーデコーディングされ得る。空間予測ユニット360が選択されるか、或いは時間予測ユニット362が選択されるかを決定するために、符号化モード情報を使用することができる。予測ブロックを形成するために、予測モード情報が対応する予測ユニットに送られ得る。例えば、時間予測ブロックを形成するために、時間予測ユニット362によって動き補償予測が適用されてもよい。
【0035】
[0044] 再構成残差を取得するために、残差係数が、逆量子化ユニット310及び逆変換ユニット312に送られてもよい。予測ブロック及び再構成残差は、326において加算され、それによって、ループフィルタリング前の再構成ブロックを形成することができる。次いで、再構成ブロックは、ループフィルタ366において、ループフィルタリングを受けてもよい。例えば、非ブロック化フィルタ、SAO、及びALFなどのループフィルタリングが適用されてもよい。次いで、ループフィルタリング後の再構成ブロックは、参照ピクチャ記憶装置364に保存され得る。参照ピクチャ記憶装置364内の再構成データは、デコード映像320を取得するために使用されてもよく、又は未来の映像ブロックを予測するために使用されてもよい。デコード映像320は、エンドユーザが見るTV、PC、スマートフォン、又はタブレットなどのディスプレイデバイス上に表示されてもよい。
【0036】
[0045]
図4は、本開示の幾つかの実施形態による、映像をエンコード又はデコードするための例示的装置400のブロック図である。
図4に示されるように、装置400は、プロセッサ402を含み得る。プロセッサ402が本明細書に記載される命令を実行すると、装置400は、映像エンコーディング又はデコーディング用の専用マシンになることができる。プロセッサ402は、情報の操作又は処理を行うことが可能な任意のタイプの回路でもよい。例えば、プロセッサ402は、幾つかの中央処理装置(すなわち「CPU」)、グラフィック処理ユニット(すなわち「GPU」)、ニューラル処理ユニット(「NPU」)、マイクロコントローラユニット(「MCU」)、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、IP(intellectual property)コア、プログラマブル論理アレイ(PLA)、プログラマブルアレイロジック(PAL)、汎用アレイロジック(GAL)、複合プログラマブル論理デバイス(CPLD)、フィールドプログラマブルゲートアレイ(FPGA)、システムオンチップ(SoC)、又は特定用途向け集積回路(ASIC)などの任意の組み合わせを含んでもよい。幾つかの実施形態では、プロセッサ402は、単一の論理コンポーネントとしてグループ化されたプロセッサのセットでもよい。例えば、
図4に示されるように、プロセッサ402は、プロセッサ402a、プロセッサ402b、及びプロセッサ402nを含む複数のプロセッサを含んでもよい。
【0037】
[0046] 装置400は、データ(例えば、命令セット、コンピュータコード、又は中間データなど)を保存するように構成されたメモリ404も含み得る。例えば、
図4に示されるように、保存されたデータは、プログラム命令(例えば、
図2又は
図3のステージを実装するためのプログラム命令)及び処理用データを含み得る。プロセッサ402は、(例えば、バス410を介して)プログラム命令及び処理用データにアクセスし、処理用データに対して演算又は操作を行うために、プログラム命令を実行することができる。メモリ404は、高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含んでもよい。幾つかの実施形態では、メモリ404は、幾つかのランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、SD(security digital)カード、メモリスティック、又はコンパクトフラッシュ(登録商標)(CF)カードなどの任意の組み合わせを含み得る。メモリ404もまた、単一の論理コンポーネントとしてグループ化されたメモリの一群(
図4では図示せず)でもよい。
【0038】
[0047] バス410は、内部バス(例えば、CPUメモリバス)、又は外部バス(例えば、ユニバーサルシリアルバスポート、周辺コンポーネント相互接続エクスプレスポート)などの装置400内のコンポーネント間でデータを転送する通信デバイスでもよい。
【0039】
[0048] 曖昧さを生じさせずに説明を簡単にするために、本開示においては、プロセッサ402及び他のデータ処理回路はまとめて「データ処理回路」と呼ばれる。データ処理回路は、完全にハードウェアとして、又はソフトウェア、ハードウェア、若しくはファームウェアの組み合わせとして実装されてもよい。さらに、データ処理回路は、単一の独立したモジュールでもよく、又は装置400の任意の他のコンポーネントと完全に若しくは部分的に統合されてもよい。
【0040】
[0049] 装置400は、ネットワーク(例えば、インターネット、イントラネット、ローカルエリアネットワーク、又はモバイル通信ネットワークなど)との有線又は無線通信を提供するために、ネットワークインタフェース406をさらに含み得る。幾つかの実施形態では、ネットワークインタフェース406は、幾つかのネットワークインタフェースコントローラ(NIC)、無線周波数(RF)モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、ブルートゥース(登録商標)アダプタ、赤外線アダプタ、近距離無線通信(「NFC」)アダプタ、又はセルラーネットワークチップなどの任意の組み合わせを含んでもよい。
【0041】
[0050] 幾つかの実施形態では、任意選択的に、装置400は、1つ又は複数の周辺デバイスに対する接続を提供するために、周辺インタフェース408をさらに含んでもよい。
図4に示されるように、周辺デバイスは、カーソル制御デバイス(例えば、マウス、タッチパッド、若しくはタッチスクリーン)、キーボード、ディスプレイ(例えば、陰極線管ディスプレイ、液晶ディスプレイ、若しくは発光ダイオードディスプレイ)、又は映像入力デバイス(例えば、カメラ、若しくは映像アーカイブに結合された入力インタフェース)などを含み得る(ただし、これらに限定されない)。
【0042】
[0051] 映像コーデックは、装置400内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装され得ることに留意されたい。例えば、
図2のエンコーダ200又は
図3のデコーダ300の一部又は全てのステージが、メモリ404にロードされ得るプログラム命令などの、装置400の1つ又は複数のソフトウェアモジュールとして実装され得る。別の例として、
図2のエンコーダ200又は
図3のデコーダ300の一部又は全てのステージは、専用データ処理回路など(例えば、FPGA、ASIC、又はNPUなど)の、装置400の1つ又は複数のハードウェアモジュールとして実装され得る。
【0043】
[0052] 量子化及び逆量子化機能ブロック(例えば、
図2の量子化ユニット206及び逆量子化ユニット210、
図3の逆量子化ユニット310)では、予測残差に適用される量子化(及び逆量子化)の量を決定するために、量子化パラメータ(QP)が使用される。ピクチャ又はスライスの符号化に使用される初期QP値は、例えば、ピクチャパラメータセット(PPS(picture parameter set))のシンタックス要素init_qp_minus26を使用して、及びスライスヘッダのシンタックス要素slice_qp_deltaを使用して、ハイレベルで信号化され得る。さらに、QP値は、量子化グループの粒度で送られたデルタQP値を使用して、CUごとにローカルレベルで適応させることができる。
【0044】
[0053] VVCでは、インター予測符号化ユニット(CU)に対して、サブブロック変換(SBT(sub-block transform))が使用される。この変換モードでは、上記CUに関して、残差ブロックのサブパートのみが符号化される。シンタックス要素cu_cbfを用いたインター予測CUが1に等しい場合、残差ブロック全体が符号化されるか、或いは残差ブロックのサブパートが符号化されるかを示すために、シンタックス要素cu_sbt_flagが信号化され得る。前者の場合、CUの変換タイプを決定するために、インター複数変換選択(MTS)(inter multiple transform selected)情報がさらにパースされる。後者の場合、推論適応変換を用いて残差ブロックの一部が符号化され、残差ブロックの残りの部分がゼロで埋められる。
【0045】
[0054] インター予測CUにSBTが使用される場合、SBTタイプ及びSBT位置情報がビットストリームにおいて信号化される。
図5に示されるように、2つのSBTタイプ及び2つのSBT位置が存在する。SBT-V(又はSBT-H)の場合、変換ユニット(TU(transform unit))幅(又は高さ)は、CU幅(若しくは高さ)の半分、又はCU幅(若しくは高さ)の1/4に等しくてもよく、その結果、2:2分割又は1:3/3:1分割が得られる。2:2分割は、二分木(BT(binary tree))分割のようなものであり、1:3/3:1分割は、非対称二分木(ABT(asymmetric binary tree))分割のようなものである。ABT分割では、小さな領域のみが非ゼロ残差を包含する。CUの1つの寸法がルマサンプルで8である場合、その寸法に沿った1:3/3:1分割は、却下される。CUに関して、多くとも8つのSBTモードが存在する。
【0046】
[0055] SBTが有効にされるか、或いは無効にされるかを指定するために、シーケンスパラメータセット(SPS(Sequence Parameter Set))レベルシンタックスは、シンタックス要素sps_sbt_enabled_flagを使用し得る。シンタックス要素sps_sbt_enabled_flagが0に等しい場合、それは、インター予測CUに対するSBTが、このSPSを参照する映像シーケンス全体に対して無効にされることを信号化する。シンタックス要素sps_sbt_enabled_flagが1に等しい場合、それは、インター予測CUに対するSBTが、このSPSを参照する映像シーケンス全体に対して有効にされることを信号化する。
【0047】
[0056] また、sps_sbt_enabled_flagが1に等しい場合、SBTが許容される最大CU幅及び高さを指定するために、別のSPSシンタックス要素sps_sbt_max_size_64_flagを使用することができる。シンタックス要素sps_sbt_max_size_64_flagが0に等しい場合、それは、SBTを許容する最大CU幅及び高さが32ルマサンプルであることを信号化する。シンタックス要素sps_sbt_max_size_64_flagが1に等しい場合、それは、SBTを許容する最大CU幅及び高さが64ルマサンプルであることを信号化する。SBTに関する最大許容CUサイズを指定することができる可変MaxSbtSizeは、以下の式1に基づいて算出される。
MaxSbtSize = Min( MaxTbSizeY, sps_sbt_max_size_64_flag ? 64 : 32 ) (式1)
式中、MaxTbSizeYは、最大許容変換ブロック(TB)サイズであり、以下の式2に従って、別のSPSレベルシンタックス要素sps_max_luma_transform_size_64_flagから導出することができる。
MaxTbSizeY = sps_max_luma_transform_size_64_flag ? 64 : 32 (式2)
【0048】
[0057] 上記の通り、MaxSbtSizeの導出は、2つのシンタックス要素sps_max_luma_transform_size_64_flag及びsps_sbt_max_size_64_flagに依存する。シンタックス要素sps_max_luma_transform_size_64_flagの値=0の場合、シンタックス要素sps_sbt_max_size_64_flagの値にかかわらず、MaxSbtSizeは、常に32である。したがって、シンタックス要素sps_max_luma_transform_size_64_flagがゼロの場合、シンタックス要素sps_sbt_max_size_64_flagを信号化する必要はない。VVCにおけるこのようなシンタックス冗長性は、信号化オーバーヘッドを不必要に増加させる。
【0049】
[0058] 映像符号化効率を向上させるために、幾つかの開示実施形態によれば、シンタックス要素sps_max_luma_transform_size_64_flag及びsps_sbt_enabled_flagが共に1である場合のみ、シンタックス要素sps_sbt_max_size_64_flagが信号化される。
図6は、本開示の幾つかの実施形態による、例示的な表1を示す。表1は、幾つかの実施形態の例示的SPSシンタックス表を示す。表1に示されるように(強調はイタリック体で示される)、シンタックス要素sps_max_luma_transform_size_64_flag及びsps_sbt_enabled_flagが共に1である場合のみ、シンタックス要素sps_sbt_max_size_64_flagが信号化される。シンタックス要素sps_max_luma_transform_size_64_flagが0である場合、シンタックス要素sps_sbt_max_size_64_flagは、ゼロであると推論することができる(これは、SBTを許容する最大CU幅及び高さが(ルマサンプル単位で)32であることを意味する)。
【0050】
[0059]
図7は、本開示の幾つかの実施形態による例示的映像処理方法700のフローチャートを示す。幾つかの実施形態では、方法700は、エンコーダ(例えば、
図2のエンコーダ200)、デコーダ(例えば、
図3のデコーダ300)、又は装置(例えば、
図4の装置400)の1つ若しくは複数のソフトウェア若しくはハードウェアコンポーネントによって行うことができる。例えば、プロセッサ(例えば、
図4のプロセッサ402)は、方法700を行うことができる。幾つかの実施形態では、方法700は、コンピュータ(例えば、
図4の装置400)によって実行されるプログラムコードなどのコンピュータ実行可能命令を含む、コンピュータ可読媒体で具現化されたコンピュータプログラム製品によって実装されてもよい。
【0051】
[0060] ステップ702では、方法700は、映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを決定することを含み得る。幾つかの実施形態では、SBTが有効にされるか否かを示すフラグ(例えば、
図6の表1に示されるようなシンタックス要素sps_sbt_enabled_flag)が、SPSにおいて信号化され得る。例えば、0に等しいシンタックス要素sps_sbt_enabled_flagは、インター予測CUに対するSBTが、SPSを参照する映像シーケンス全体に対して無効にされることを指定することができる。そして、1に等しいシンタックス要素sps_sbt_enabled_flagは、インター予測CUに対するSBTが、SPSを参照する映像シーケンス全体に対して有効にされることを指定することができる。
【0052】
[0061] ステップ704では、方法700は、SPSにおいて、SBTを許容する最大変換ブロック(TB)サイズを示す第1のフラグの値を決定することを含み得る。第1のフラグは、第1の値又は第2の値に設定することができる。例えば、第1の値は1であり、第2の値は0である。最大TBサイズは、32又は64などでもよい。幾つかの実施形態では、方法700は、最大TBサイズが64であることに応答して、第1のフラグの値を第1の値に設定すること、及び最大TBサイズが32であることに応答して、第1のフラグの値を第2の値に設定することも含み得る。幾つかの実施形態では、第1のフラグは、
図6の表1のシンタックス要素sps_max_luma_transform_size_64_flagでもよい。
【0053】
[0062] ステップ706では、方法700は、SBTが有効にされること、及び第1のフラグの値が第1の値に等しいことに応答して、SBTを許容する最大符号化ユニット(CU)サイズを示す第2のフラグを信号化することを含み得る。SBTがディスイネーブルされること、又は第1のフラグの値が第2の値に等しいことに応答して、第2のフラグは信号化されない。例えば、第2のフラグは、
図6の表1に示されるようなシンタックス要素sps_sbt_max_size_64_flagでもよい。シンタックス要素sps_sbt_max_size_64_flagは、シンタックス要素sps_max_luma_transform_size_64_flag及びsps_sbt_enabled_flagが共に1である場合のみ信号化される。
【0054】
[0063] 幾つかの実施形態では、方法700は、SPSにおいて、SBTが有効にされるか否かを示す第3のフラグ(例えば、
図6の表1に示されるようなシンタックス要素sps_sbt_enabled_flag)を信号化すること、及びSPSにおいて第1のフラグ(例えば、
図6の表1のシンタックス要素sps_max_luma_transform_size_64_flag)を信号化することも含み得る。
【0055】
[0064] 幾つかの実施形態では、最大CUサイズは、32又は64でもよい。SBTを許容する最大CU幅又は高さは、(例えば、式1に従って)最大TBサイズ及び最大CUサイズの小さい方に基づいて決定されてもよい。
【0056】
[0065] 幾つかの開示実施形態では、シンタックス要素sps_sbt_max_size_64_flagは、全く信号化されない。この場合、SBTの最大許容CU幅及び高さは、シンタックス要素sps_max_luma_transform_size_64_flagに直接依存する。シンタックス要素sps_max_luma_transform_size_64_flagが0に等しければ、SBTを許容する最大CU幅及び高さは、32ルマサンプルである。シンタックス要素sps_max_luma_transform_size_64_flagが1に等しければ、SBTを許容する最大CU幅及び高さは、64ルマサンプルである。つまり、MaxSbtSizeがMaxTbSizeYに等しく設定される。
図8は、本開示の幾つかの実施形態による例示的な表2を示す。表2は、これらの実施形態を実装する例示的SPSシンタックスを示す。表2に示されるように、シンタックス要素sps_sbt_max_size_64_flagは、信号化されず、上記シンタックスから削除される。
図9は、本開示の幾つかの実施形態による例示的な表3を示す。表3(強調はイタリック体で示される)は、最大CU幅及び高さを設定するためにMaxTbSizeYを直接使用する例示的符号化ユニット(CU)シンタックス表を示す。MaxTbSizeYは、以下の式3に基づいて算出される。
MaxTbSizeY = sps_max_luma_transform_size_64_flag ? 64 : 32 (式3)
【0057】
[0066]
図10は、本開示の幾つかの実施形態による、別の例示的映像処理方法1000のフローチャートを示す。幾つかの実施形態では、方法1000は、エンコーダ(例えば、
図2のエンコーダ200)、デコーダ(例えば、
図3のデコーダ300)、又は装置(例えば、
図4の装置400)の1つ若しくは複数のソフトウェア若しくはハードウェアコンポーネントによって行うことができる。例えば、プロセッサ(例えば、
図4のプロセッサ402)は、方法1000を行うことができる。幾つかの実施形態では、方法1000は、コンピュータ(例えば、
図4の装置400)によって実行されるプログラムコードなどのコンピュータ実行可能命令を含む、コンピュータ可読媒体で具現化されたコンピュータプログラム製品によって実装されてもよい。
【0058】
[0067] ステップ1002では、方法1000は、映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することを含む。幾つかの実施形態では、第1のフラグは、
図8の表2に示されるようなシンタックス要素sps_sbt_enabled_flagでもよい。例えば、0に等しいシンタックス要素sps_sbt_enabled_flagは、インター予測CUに対するSBTが、このSPSを参照する映像シーケンス全体に対して無効にされることを指定することができる。そして、1に等しいシンタックス要素sps_sbt_enabled_flagは、インター予測CUに対するSBTが、このSPSを参照する映像シーケンス全体に対して有効にされることを指定することができる。
【0059】
[0068] ステップ1004では、方法1000は、SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することを含み得る。第2のフラグは、第1の値又は第2の値に設定することができる。例えば、第1の値は1であり、第2の値は0である。最大TBサイズは、32又は64などでもよい。幾つかの実施形態では、方法1000は、最大TBサイズが32であることに応答して、第2のフラグの値を0に設定すること、及び最大TBサイズが64であることに応答して、第2のフラグの値を1に設定することも含み得る。幾つかの実施形態では、第1のフラグは、
図8の表2のシンタックス要素sps_max_luma_transform_size_64_flagでもよい。
【0060】
[0069] SBTを許容する最大CUサイズは、SBTが有効にされることを示す第1のフラグに応答して、最大TBサイズに直接基づいて決定することができる。例えば、最大CUサイズは、最大TBサイズに等しくなるように決定される。最大CUサイズは、最大CU幅及び最大CU高さを含み得る。
【0061】
[0070] 幾つかの実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を行うために、デバイス(開示のエンコーダ及びデコーダなど)によって実行され得る。非一時的媒体の一般的な形態には、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又はその他の磁気データ記憶媒体、CD-ROM、その他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、RAM、PROM、及びEPROM、FLASH(登録商標)-EPROM又はその他のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、その他のメモリチップ又はカートリッジ、並びに上記のネットワーク化バージョンが含まれる。デバイスは、1つ若しくは複数のプロセッサ(CPU)、入出力インタフェース、ネットワークインタフェース、及び/又はメモリを含み得る。
【0062】
[0071] 実施形態は、以下の条項を用いてさらに説明することができる。
1.映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを決定することと、
SPSにおいて、SBTを許容する最大変換ブロック(TB)サイズを示す第1のフラグの値を決定することと、
SBTが有効にされること、及び第1のフラグの値が第1の値に等しいことに応答して、SBTを許容する最大符号化ユニット(CU)サイズを示す第2のフラグを信号化することと、
を含む、映像処理方法。
2.SBTがディスイネーブルされること、又は第1のフラグの値が第2の値に等しいことに応答して、第2のフラグが信号化されない、条項1に記載の方法。
3.SPSにおいて、SBTが有効にされるか否かを示す第3のフラグを信号化することと、
SPSにおいて第1のフラグを信号化することと、
をさらに含む、条項1又は2に記載の方法。
4.第1の値が1であり、及び第2の値が0である、条項2に記載の方法。
5.最大TBサイズが32又は64である、条項1~4の何れか一項に記載の方法。
6.最大TBサイズが64であることに応答して、第1のフラグの値を第1の値に設定することをさらに含む、条項5に記載の方法。
7.最大TBサイズが32であることに応答して、第1のフラグの値を第2の値に設定することをさらに含む、条項5に記載の方法。
8.SBTを許容する最大CUサイズが32又は64である、条項1~7の何れか一項に記載の方法。
9.SBTを許容する最大CU幅が、SBTを許容する最大TBサイズ及び最大CUサイズの小さい方に基づいて決定される、条項1~8の何れか一項に記載の方法。
10.SBTを許容する最大CU高さが、SBTを許容する最大TBサイズ及び最大CUサイズの小さい方に基づいて決定される、条項1~9の何れか一項に記載の方法。
11.映像処理装置であって、
命令を保存するための少なくとも1つのメモリと、
少なくとも1つのプロセッサとを含み、少なくとも1つのプロセッサは、命令を実行して、
映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを決定することと、
SPSにおいて、SBTを許容する最大変換ブロック(TB)サイズを示す第1のフラグの値を決定することと、
SBTが有効にされること、及び第1のフラグの値が第1の値に等しいことに応答して、SBTを許容する最大符号化ユニット(CU)サイズを示す第2のフラグを信号化することと、
を装置に行わせる、映像処理装置。
12.SBTがディスイネーブルされること、又は第1のフラグの値が第2の値に等しいことに応答して、第2のフラグが信号化されない、条項11に記載の装置。
13.少なくとも1つのプロセッサが、さらに命令を実行して、
SPSにおいて、SBTが有効にされるか否かを示す第3のフラグを信号化することと、
SPSにおいて第1のフラグを信号化することと、
を装置に行わせる、条項11又は12に記載の装置。
14.第1の値が1であり、及び第2の値が0である、条項12に記載の装置。
15.最大TBサイズが32又は64である、条項11~14の何れか一項に記載の装置。
16.最大TBサイズが64であることに応答して、第1のフラグの値を第1の値に設定することをさらに含む、条項15に記載の装置。
17.最大TBサイズが32であることに応答して、第1のフラグの値を第2の値に設定することをさらに含む、条項15に記載の装置。
18.SBTを許容する最大CUサイズが32又は64である、条項11~17の何れか一項に記載の装置。
19.SBTを許容する最大CU幅が、SBTを許容する最大TBサイズ及び最大CUサイズの小さい方に基づいて決定される、条項11~18の何れか一項に記載の装置。
20.SBTを許容する最大CU高さが、SBTを許容する最大TBサイズ及び最大CUサイズの小さい方に基づいて決定される、条項11~19の何れか一項に記載の装置。
21.命令セットを保存した非一時的コンピュータ可読記憶媒体であって、命令セットは、映像処理方法をコンピュータに行わせるように、少なくとも1つのプロセッサによって実行可能であり、映像処理方法は、
映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを決定することと、
SPSにおいて、SBTを許容する最大変換ブロック(TB)サイズを示す第1のフラグの値を決定することと、
SBTが有効にされること、及び第1のフラグの値が第1の値に等しいことに応答して、SBTを許容する最大符号化ユニット(CU)サイズを示す第2のフラグを信号化することと、
を含む、非一時的コンピュータ可読記憶媒体。
22.SBTがディスイネーブルされること、又は第1のフラグの値が第2の値に等しいことに応答して、第2のフラグが信号化されない、条項21に記載の非一時的コンピュータ可読記憶媒体。
23.少なくとも1つのプロセッサによって実行可能な命令セットが、
SPSにおいて、SBTが有効にされるか否かを示す第3のフラグを信号化することと、
SPSにおいて第1のフラグを信号化することと、
をコンピュータにさらに行わせる、条項21又は22に記載の非一時的コンピュータ可読記憶媒体。
24.第1の値が1であり、及び第2の値が0である、条項22に記載の非一時的コンピュータ可読記憶媒体。
25.最大TBサイズが32又は64である、条項21~24の何れか一項に記載の非一時的コンピュータ可読記憶媒体。
26.少なくとも1つのプロセッサによって実行可能な命令セットが、
最大TBサイズが64であることに応答して、第1のフラグの値を第1の値に設定することをコンピュータにさらに行わせる、条項25に記載の非一時的コンピュータ可読記憶媒体。
27.少なくとも1つのプロセッサによって実行可能な命令セットが、
最大TBサイズが32であることに応答して、第1のフラグの値を第2の値に設定することをコンピュータにさらに行わせる、条項25に記載の非一時的コンピュータ可読記憶媒体。
28.SBTを許容する最大CUサイズが32又は64である、条項21~27の何れか一項に記載の非一時的コンピュータ可読記憶媒体。
29.SBTを許容する最大CU幅が、SBTを許容する最大TBサイズ及び最大CUサイズの小さい方に基づいて決定される、条項21~28の何れか一項に記載の非一時的コンピュータ可読記憶媒体。
30.SBTを許容する最大CU高さが、SBTを許容する最大TBサイズ及び最大CUサイズの小さい方に基づいて決定される、条項21~29の何れか一項に記載の非一時的コンピュータ可読記憶媒体。
31.映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、
SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することと、
を含み、
SBTを許容する最大符号化ユニット(CU)サイズが、SBTが有効にされることを示す第1のフラグに応答して、最大TBサイズに直接基づいて決定される、映像処理方法。
32.SBTを許容する最大CUサイズが、最大CU幅又は最大CU高さである、条項31に記載の方法。
33.SBTを許容する最大CUサイズが、最大TBサイズに等しくなるように決定される、条項31又は32に記載の方法。
34.最大TBサイズが32又は64である、条項31~33の何れか一項に記載の方法。
35.最大TBサイズが32であることに応答して、第2のフラグの値を0に設定することをさらに含む、条項34に記載の方法。
36.最大TBサイズが64であることに応答して、第2のフラグの値を1に設定することをさらに含む、条項34に記載の方法。
37.映像処理装置であって、
命令を保存するための少なくとも1つのメモリと、
少なくとも1つのプロセッサとを含み、少なくとも1つのプロセッサは、命令を実行して、
映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、
SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することと、
を装置に行わせ、
SBTを許容する最大符号化ユニット(CU)サイズが、SBTが有効にされることを示す第1のフラグに応答して、最大TBサイズに直接基づいて決定される、映像処理装置。
38.SBTを許容する最大CUサイズが、最大CU幅又は最大CU高さである、条項37に記載の装置。
39.SBTを許容する最大CUサイズが、最大TBサイズに等しくなるように決定される、条項37又は38に記載の装置。
40.最大TBサイズが32又は64である、条項37~39の何れか一項に記載の装置。
41.少なくとも1つのプロセッサが、さらに命令を実行して、
最大TBサイズが32であることに応答して、第2のフラグの値を0に設定することを装置に行わせる、条項40に記載の装置。
42.少なくとも1つのプロセッサが、さらに命令を実行して、
最大TBサイズが64であることに応答して、第2のフラグの値を1に設定することを装置に行わせる、条項40に記載の装置。
43.命令セットを保存する非一時的コンピュータ可読記憶媒体であって、命令セットは、映像処理方法をコンピュータに行わせるように、少なくとも1つのプロセッサによって実行可能であり、映像処理方法は、
映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、
SBTを許容する最大変換ブロック(TB)サイズを示す第2のフラグを信号化することと、
を含み、
SBTを許容する最大符号化ユニット(CU)サイズが、SBTが有効にされることを示す第1のフラグに応答して、最大TBサイズに直接基づいて決定される、非一時的コンピュータ可読記憶媒体。
44.SBTを許容する最大CUサイズが、最大CU幅又は最大CU高さである、条項43に記載の非一時的コンピュータ可読記憶媒体。
45.SBTを許容する最大CUサイズが、最大TBサイズに等しくなるように決定される、条項43又は44に記載の非一時的コンピュータ可読記憶媒体。
46.最大TBサイズが32又は64である、条項43~45の何れか一項に記載の非一時的コンピュータ可読記憶媒体。
47.少なくとも1つのプロセッサによって実行可能な命令セットが、
最大TBサイズが32であることに応答して、第2のフラグの値を0に設定することをコンピュータにさらに行わせる、条項46に記載の非一時的コンピュータ可読記憶媒体。
48.少なくとも1つのプロセッサによって実行可能な命令セットが、
最大TBサイズが64であることに応答して、第2のフラグの値を1に設定することをコンピュータにさらに行わせる、条項46に記載の非一時的コンピュータ可読記憶媒体。
【0063】
[0072] 「第1の」及び「第2の」などの本明細書の関係語は、あるエンティティ又は動作を別のエンティティ又は動作と区別するためだけに使用されるものであり、これらのエンティティ又は動作間の実際の関係又は順序を必要とするもの、又は暗示するものではないことに留意されたい。また、「含む(comprising)」、「有する(having)」、「包含する(containing)」、及び「含む(including)」という語、並びに他の類似の形態は、意味が同等であること、及びこれらの語の何れか1つに続く1つ又は複数の項が、そのような1つ若しくは複数の項の網羅的列挙ではない点で、又は列挙された1つ若しくは複数の項のみに限定されない点で、オープンエンド形式であることが意図される。
【0064】
[0073] 本明細書では、特に別段の記載のない限り、「又は」という用語は、実行不可能でない限り、全ての可能な組み合わせを網羅する。例えば、データベースがA又はBを含み得ると記載される場合、特に別段の記載のない限り、又は実行不可能でない限り、データベースは、A、又はB、又はA及びBを含み得る。第2の例として、データベースがA、B、又はCを含み得ると記載される場合、特に別段の記載のない限り、又は実行不可能でない限り、データベースは、A、又はB、又はC、又はA及びB、又はA及びC、又はB及びC、又はA及びB及びCを含み得る。
【0065】
[0074] 上記の実施形態は、ハードウェア、又はソフトウェア(プログラムコード)、又はハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合、それは、上記のコンピュータ可読媒体に保存され得る。ソフトウェアは、プロセッサによる実行時に、開示の方法を行うことができる。本開示に記載したコンピューティングユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装され得る。当業者は、上記のモジュール/ユニットの内の複数が、1つのモジュール/ユニットとして統合され得ること、及び上記のモジュール/ユニットのそれぞれが、複数のサブモジュール/サブユニットにさらに分割され得ることも理解するだろう。
【0066】
[0075] 上述の明細書では、実施態様によって異なり得る多数の具体的詳細に関して、実施形態を説明した。記載した実施形態の特定の適応及び変更が行われ得る。ここに開示した発明の明細書及び実施を考慮して、他の実施形態が当業者には明らかとなり得る。上記明細書及び例は、単なる例示と見なされることが意図され、本発明の真の範囲及び精神は、以下の特許請求の範囲によって示される。また、図面に示されるステップの順序は、単に、説明のためのものであることが意図され、ステップの何れの特定の順序にも限定されることは意図されない。そのため、同じ方法を実施しながら、これらのステップが異なる順序で行われ得ることを当業者は理解できる。
【0067】
[0076] 図面及び明細書では、例示的実施形態を開示した。しかしながら、これらの実施形態に対して多くの変形形態及び変更形態を作ることができる。したがって、特定の用語が使用されるが、それらは、単に一般的及び説明的な意味で使用されるものであり、限定を意図したものではない。
【手続補正書】
【提出日】2022-04-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、
シーケンスパラメータセット(SPS)において、ルマサンプルの最大変換
サイズを示す第2のフラグを信号化することと、
を含み、
前記SBTを許容する最大符号化ユニット(CU)サイズが、前記SBTが有効にされることを示す前記第1のフラグに応答して、前記最大
変換サイズに直接基づいて決定される、映像処理方法。
【請求項2】
前記SBTを許容する前記最大CUサイズが、最大CU幅又は最大CU高さである、請求項1に記載の方法。
【請求項3】
前記SBTを許容する前記最大CUサイズが、前記最大
変換サイズに等しくなるように決定される、請求項1に記載の方法。
【請求項4】
前記最大
変換サイズが32又は64である、請求項1に記載の方法。
【請求項5】
前記最大
変換サイズが32であることに応答して、前記第2のフラグの値を0に設定することをさらに含む、請求項4に記載の方法。
【請求項6】
前記最大
変換サイズが64であることに応答して、前記第2のフラグの値を1に設定することをさらに含む、請求項4に記載の方法。
【請求項7】
映像処理装置であって、
命令を保存するための少なくとも1つのメモリと、
少なくとも1つのプロセッサと、とを含み、前記少なくとも1つのプロセッサが、前記命令を実行して、
映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、
シーケンスパラメータセット(SPS)において、ルマサンプルの最大変換
サイズを示す第2のフラグを信号化することと、
を前記装置に行わせ、
前記SBTを許容する最大符号化ユニット(CU)サイズが、前記SBTが有効にされることを示す前記第1のフラグに応答して、前記最大
変換サイズに直接基づいて決定される、映像処理装置。
【請求項8】
前記SBTを許容する前記最大CUサイズが、最大CU幅又は最大CU高さである、請求項7に記載の装置。
【請求項9】
前記SBTを許容する前記最大CUサイズが、前記最大
変換サイズに等しくなるように決定される、請求項7に記載の装置。
【請求項10】
前記最大
変換サイズが32又は64である、請求項7に記載の装置。
【請求項11】
前記少なくとも1つのプロセッサが、さらに前記命令を実行して、
前記最大
変換サイズが32であることに応答して、前記第2のフラグの値を0に設定することを前記装置に行わせる、請求項10に記載の装置。
【請求項12】
前記少なくとも1つのプロセッサが、さらに前記命令を実行して、
前記最大
変換サイズが64であることに応答して、前記第2のフラグの値を1に設定することを前記装置に行わせる、請求項10に記載の装置。
【請求項13】
命令セットを保存する非一時的コンピュータ可読記憶媒体であって、前記命令セットは、映像処理方法をコンピュータに行わせるように、少なくとも1つのプロセッサによって実行可能であり、前記映像処理方法は、
映像シーケンスのシーケンスパラメータセット(SPS)において、サブブロック変換(SBT)が有効にされるか否かを示す第1のフラグを信号化することと、
シーケンスパラメータセット(SPS)において、ルマサンプルの最大変換
サイズを示す第2のフラグを信号化することと、
を含み、
前記SBTを許容する最大符号化ユニット(CU)サイズが、前記SBTが有効にされることを示す前記第1のフラグに応答して、前記最大
変換サイズに直接基づいて決定される、非一時的コンピュータ可読記憶媒体。
【請求項14】
前記SBTを許容する前記最大CUサイズが、最大CU幅又は最大CU高さである、請求項13に記載の非一時的コンピュータ可読記憶媒体。
【請求項15】
前記SBTを許容する前記最大CUサイズが、前記最大
変換サイズに等しくなるように決定される、請求項13に記載の非一時的コンピュータ可読記憶媒体。
【請求項16】
前記最大
変換サイズが32又は64である、請求項13に記載の非一時的コンピュータ可読記憶媒体。
【請求項17】
前記少なくとも1つのプロセッサによって実行可能な前記命令セットが、
前記最大
変換サイズが32であることに応答して、前記第2のフラグの値を0に設定することを前記コンピュータにさらに行わせる、請求項16に記載の非一時的コンピュータ可読記憶媒体。
【請求項18】
前記少なくとも1つのプロセッサによって実行可能な前記命令セットが、
前記最大
変換サイズが64であることに応答して、前記第2のフラグの値を1に設定することを前記コンピュータにさらに行わせる、請求項16に記載の非一時的コンピュータ可読記憶媒体。
【請求項19】
前記第2のフラグがsps_max_luma_transform_size_64_flagである、請求項1に記載の方法。
【請求項20】
前記第2のフラグがsps_max_luma_transform_size_64_flagである、請求項7に記載の装置。
【国際調査報告】