特表 2022-533074 ビデオコーディングのためのデブロッキングフィルタ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-07-21

(54)【発明の名称】ビデオコーディングのためのデブロッキングフィルタ

(51)【国際特許分類】

   H04N 19/117 20140101AFI20220713BHJP

   H04N 19/86 20140101ALI20220713BHJP

   H04N 19/157 20140101ALI20220713BHJP

   H04N 19/176 20140101ALI20220713BHJP

【ＦＩ】

H04N19/117

H04N19/86

H04N19/157

H04N19/176

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021567799

(86)(22)【出願日】2020-05-11

(85)【翻訳文提出日】2021-11-11

(86)【国際出願番号】 CN2020089557

(87)【国際公開番号】W WO2020228661

(87)【国際公開日】2020-11-19

(31)【優先権主張番号】PCT/CN2019/086488

(32)【優先日】2019-05-11

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(71)【出願人】

【識別番号】520477474

【氏名又は名称】バイトダンス インコーポレイテッド

【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．

【住所又は居所原語表記】１２６５５ Ｗｅｓｔ Ｊｅｆｆｅｒｓｏｎ Ｂｏｕｌｅｖａｒｄ， Ｓｉｘｔｈ Ｆｌｏｏｒ， Ｓｕｉｔｅ Ｎｏ． １３７ Ｌｏｓ Ａｎｇｅｌｅｓ， Ｃａｌｉｆｏｒｎｉａ ９００６６ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ザン，リー

(72)【発明者】

【氏名】ズゥー，ウェイジア

(72)【発明者】

【氏名】ザン，カイ

(72)【発明者】

【氏名】リュウ，ホンビン

(72)【発明者】

【氏名】シュイ，ジィジォン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159KK03

5C159MA04

5C159MA05

5C159MA23

5C159MC11

5C159ME01

5C159PP04

5C159SS26

5C159TA69

5C159TB08

5C159TC02

5C159TC24

5C159TC26

5C159TD05

5C159TD12

5C159UA02

5C159UA05

5C159UA16

(57)【要約】

例示的な態様において、ビジュアルメディア処理のための方法であって、２つのビデオブロックの垂直エッジ及び／又は水平エッジにおける境界を識別するステップと、垂直エッジ又は水平エッジを横切る２つのビデオブロックのうちの少なくとも１つに基づくフィルタの境界強度の計算は、コンバインド・インター・イントラ予測（ＣＩＩＰ）モードを用いてコード化されるステップと、フィルタをオン又はオフにするべきかどうか決めるステップと、フィルタをオンにする場合のフィルタの強度を選択するその選択に基づいて、ビデオブロックへのデブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、を含む。

【特許請求の範囲】

【請求項1】

ビジュアルメディア処理のための方法であって、
２つのビデオブロックの垂直エッジ及び／又は水平エッジにおける境界を識別するステップと、
垂直エッジ又は水平エッジを横切る前記２つのビデオブロックのうちの少なくとも１つに基づくフィルタの境界強度の計算は、コンバインド・インター・イントラ予測（ＣＩＩＰ）モードを用いてコード化されるステップと、
前記フィルタをオン又はオフにするべきかどうか決めるステップと、
前記フィルタをオンにする場合の前記フィルタの強度を選択するステップと、
前記選択に基づいて、前記ビデオブロックへのデブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、
を含む方法。

【請求項2】

ＣＩＩＰコード化ブロックは、前記境界強度の計算において、イントラコード化ブロックとして処理される、
請求項１記載の方法。

【請求項3】

前記境界強度は、垂直又は水平エッジを横切る２つのビデオブロックのうちの少なくとも１つがＣＩＩＰでコード化される場合に、２として選択される、
請求項１記載の方法。

【請求項4】

前記境界強度は、垂直又は水平エッジを横切る２つのブロックのうちの一方のみがＣＩＩＰでコード化され、他方のビデオブロックがインターコード化される場合に、１として選択される、
請求項１記載の方法。

【請求項5】

前記境界強度は、垂直又は水平エッジを横切る２つのブロックのうちの１つのみがＣＩＩＰでコード化され、他方のビデオブロックがインター又はイントラブロックコピー（ＩＢＣ）コード化される場合に、１として選択される、
請求項１記載の方法。

【請求項6】

ビジュアルメディア処理のための方法であって、
ビジュアルメディアデータのビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバートに適用可能なコーディングスキームを決定するステップと、
前記コーディングスキームの決定に基づいて、前記ビデオブロックのコンバート中に、前記ビデオブロックへのインループフィルタの適用を選択的にイネーブル又はディセーブルにするステップと、
を含む、方法。

【請求項7】

前記インループフィルタは、デブロッキングフィルタ（ＤＢ）、サンプル適応オフセット（ＳＡＯ）フィルタ、及び／又は適応ループフィルタのうちの１つを含む、
請求項６記載の方法。

【請求項8】

前記コーディングスキームは、予測サンプル及び／又は動き情報及び／又は再構成サンプルを洗練化するためのオプティカルフローの使用を含む、
請求項６又は７記載の方法。

【請求項9】

前記予測サンプルを洗練化するために前記オプティカルフローを使用する前記コーディングスキームは、双方向オプティカルフロー（ＢＤＯＦ）を含む、
請求項８記載の方法。

【請求項10】

前記コーディングスキームの前記決定は、前記予測サンプルが前記双方向オプティカルフロー（ＢＤＯＦ）内に位置するかどうかを識別することを含み、
前記予測サンプルが前記双方向オプティカルフロー（ＢＤＯＦ）内に位置するという決定に応答して、前記インループフィルタの前記適用をディセーブルにする、
請求項９記載の方法。

【請求項11】

前記インループフィルタの境界強度及び／又はフィルタ強度のうちの少なくとも１つは、前記双方向オプティカルフロー（ＢＤＯＦ）の使用に基づいて決定される、
請求項１０記載の方法。

【請求項12】

前記コーディングスキームの前記決定は、前記予測サンプルが前記双方向オプティカルフロー（ＢＤＯＦ）内に位置するかどうかを識別することを含み、
前記インループフィルタの前記適用は、前記予測サンプルが前記双方向オプティカルフロー（ＢＤＯＦ）内に位置すると決定することに応答してイネーブルにされ、
さらに、前記インループフィルタは、前記ＢＤＯＦ内に位置しない予測サンプルに関連する他のインループフィルタよりも弱い強度を有する、
請求項９記載の方法。

【請求項13】

ビジュアルメディア処理のための方法であって、
ビジュアルメディアデータのビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバートに適用可能な変換マトリックスのタイプを決定するステップと、
前記変換マトリックスのタイプの前記決定に基づいて、前記ビデオブロックのコンバート中に、前記ビデオブロックへのデブロッキングフィルタ（ＤＢフィルタ）プロセスの適用を選択的にイネーブル又はディセーブルにするステップと、
を含む、方法。

【請求項14】

前記変換マトリックスのタイプは、ＤＣＴ－ＩＩ、ＤＳＴ－ＶＩＩ、ＤＣＴ－ＶＩＩＩ及び／又は変換スキップモードを含む、
請求項１３記載の方法。

【請求項15】

デブロッキングフィルタリングプロセスの前記適用は、クリッピング動作をさらに含む、
請求項１３又は１４記載の方法。

【請求項16】

前記クリッピング動作は、前記ＤＢフィルタに関して前記ビデオブロックのサンプルの位置に基づいて、位置依存する、
請求項１５記載の方法。

【請求項17】

前記クリッピング動作は、変換スキップコード化ビデオブロック内に位置するサンプルに対して、ディセーブルである、
請求項１６記載の方法。

【請求項18】

前記デブロッキングフィルタ（ＤＢフィルタ）プロセスは、変換スキップコード化ブロック上で、又は、前記ビデオブロックのコーディングが変換ベースコーディング技術から免除されているという決定に応じて、ディセーブルである、
請求項１７記載の方法。

【請求項19】

前記変換ベースコーディング技術は、残差差分パルスコード変調（ＲＤＰＣＭ）又は量子化残差差分パルスコード変調（ＱＲ－ＢＤＰＣＭ）を含む、
請求項１８記載の方法。

【請求項20】

前記ＤＢフィルタプロセスがサンプルのセット上でイネーブルである場合、前記セットに含まれる全てのサンプルは、前記クリッピング動作の同じパラメータに付される、
請求項１５記載の方法。

【請求項21】

位置依存のクリッピング動作のパラメータは、前記コンバートに適用できる変換マトリックスの基底関数に関連する、
請求項１６記載の方法。

【請求項22】

ビジュアルメディア処理のための方法であって、
ビジュアルメディアデータのビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバート中に、
前記ビデオブロックへのインループフィルタリングステップの適用を決定するステップであって、
前記インループフィルタリングステップは、フィルタされるべき前記ビデオブロック内のサンプルに適用されるクリッピング動作を含む、ステップと、
前記ビデオブロックに関連する１つ以上の条件を決定することに応答して、前記クリッピング動作を選択的にイネーブル又はディセーブルにするステップと、
を含む方法。

【請求項23】

前記ビデオブロックに関係する前記１つ以上の条件は、
（ａ）前記ビデオブロックの内容、又は、
（ｂ）シーケンスパラメータセット（ＳＰＳ）／ビデオパラメータセット（ＶＰＳ）／画像パラメータ一セット（ＰＰＳ）／画像ヘッダ／スライスヘッダ／タイルグループヘッダ／最大コーディングユニット（ＬＣＵ）／コーディングユニット（ＣＵ）／ＬＣＵ列／ＬＣＵグループに含まれるフィールド、
を含む、請求項２２記載の方法。

【請求項24】

前記コンバートは、ビデオブロックからビットストリーム表現を生成するステップを含む、
請求項１乃至２３いずれか１項記載の方法。

【請求項25】

前記コンバートは、前記ビットストリーム表現からビデオブロックの画素値を生成するステップを含む、
請求項１乃至２３いずれか１項記載の方法。

【請求項26】

請求項１乃至２３いずれか１項記載の方法を実装するように構成されたプロセッサを含むビデオエンコーダ装置。

【請求項27】

請求項１乃至２３いずれか１項記載の方法を実装するように構成されたプロセッサを含むビデオデコーダ装置。

【請求項28】

格納されたコードを有するコンピュータ可読媒体であって、
前記コードは、請求項１乃至２３いずれか１項記載の方法を、プロセッサによって実装するために、プロセッサ実行可能命令を実施する、
コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、パリ条約に基づく適用特許法及び／又は規則に基づいて２０１９年５月１１日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０８６４８８号の優先権及び利益を適時に主張するために行われる。法に基づくすべての目的のために、前述の出願の開示全体は、本出願の開示の一部として引用により援用される。

【0002】

本発明は、ビデオコーディング／デコーディング技術、デバイス及びシステムに関する。

【背景技術】

【0003】

ビデオ圧縮の進歩にもかかわらず、デジタルビデオは、依然として、インターネット及び他のデジタル通信ネットワークにおける最大の帯域幅使用を占めている。映像の受信・表示が可能な接続ユーザデバイスの数が増加するにつれて、デジタル映像の利用に対する帯域幅需要は増加し続けることが予想される。

【発明の概要】

【0004】

ビデオコーディング／デコーディング技術、特にイメージ／ビデオコーディングにおけるデブロッキングフィルタに関連するデバイス、システム及び方法について記載されている。記載された方法は、開発中の規格、例えば、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ及びｆｕｔｕｒｅ ｖｉｄｅｏ ｃｏｄｉｎｇ標準又はビデオコーデックに適用され得る。

【0005】

一態様では、開示された技術は、ビジュアルメディア処理のための方法を提供するために使用することができる。この方法は、２つのビデオブロックの垂直エッジ及び／又は水平エッジにおける境界を識別するステップと、垂直エッジ又は水平エッジを横切る２つのビデオブロックのうちの少なくとも１つに基づくフィルタの境界強度の計算は、コンバインド・インター・イントラ予測（ＣＩＩＰ）モードを用いてコード化されるステップと、フィルタをオン又はオフにするべきかどうかを決めるステップ（ｄｅｃｉｄｉｎｇ）と、フィルタをオンにする場合のフィルタの強度を選択するステップと、その選択に基づいて、ビデオブロックへのデブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、を含む。

【0006】

別の態様においては、開示された技術は、ビジュアルメディア処理のための方法を提供するために用いることができる。この方法は、ビジュアルメディアデータのビデオブロックとビデオブロックのビットストリーム表現との間のコンバートに適用可能なコーディングスキームを決定するステップと、コーディングスキームの決定に基づいて、ビデオブロックのコンバート中に、ビデオブロックへのインループフィルタの適用を選択的にイネーブル又はディセーブルにするステップと、を含む。

【0007】

さらに別の態様においては、開示された技術は、ビジュアルメディア処理のための方法を提供するために用いることができる。この方法は、ビジュアルメディアデータのビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバートに適用可能な変換マトリックスのタイプを決定するステップと、変換マトリックスのタイプの決定に基づいて、ビデオブロックのコンバート中に、ビデオブロックへのデブロッキング（ＤＢ）フィルタプロセスの適用を選択的にイネーブル又はディセーブルにするステップと、を含む。

【0008】

さらに別の態様においては、開示された技術は、ビジュアルメディア処理のための方法を提供するために用いることができる。この方法は、ビジュアルメディアデータのビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバート中に、ビデオブロックへのインループフィルタリングステップの適用を決定するステップであって、インループフィルタリングステップは、フィルタされるべき前記ビデオブロック内のサンプルに適用されるクリッピング動作を含む、ステップと、ビデオブロックに関連する１つ以上の条件を決定することに応答して、前記クリッピング動作を選択的にイネーブル又はディセーブルにするステップと、を含む。

【0009】

さらに別の態様では、上述の方法は、プロセッサ実行可能コードの形態で具体化され、コンピュータ読み取り可能プログラム媒体に格納される。

【0010】

さらに別の態様では、上述の方法を実行するように構成又は動作可能なデバイスが開示される。デバイスは、この方法を実装するようにプログラムされたプロセッサを含み得る。

【0011】

さらに別の態様では、ビデオデコーダ装置は、本明細書に記載される方法を実装し得る。

【0012】

さらに別の態様では、ビデオエンコーダ装置は、本明細書に記載の方法を実装合い得る。

【0013】

開示された技術の上記の態様及び特徴は、図面、明細書及び特許請求の範囲により詳細に記載されている。

【図面の簡単な説明】

【0014】

【図1】図１は、ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＶＶＣ）のエンコーダブロック図の例を示す。

【0015】

【図2】図２は、デブロッキングフィルタプロセスの例示的処理フローを示す。

【0016】

【図3】図３は、イントラコーディングモード、非ゼロ変換係数及び動き情報の存在、参照画像、動きベクトルの数、及び動きベクトルの差に基づいてＢｓ値がどのように計算されるかを示す。

【0017】

【図4】図４は、ＣＴＵ境界のＢｓ計算のための参照情報の一例を示す。

【0018】

【図5】フィルタのオン／オフ決定に関与する画素の例を示す。

【0019】

【図6A】図６Ａは、４×８及び８×４ブロックの分割の一例を示す。

【図6B】図６Ｂは、４×８、８×４及び４×４を除くすべてのブロックの分割の実施例を示す。

【0020】

【図7A】図７Ａは、４×４ブロックのためのアフィン線形加重イントラ予測（ＡＬＷＩＰ）の一例を示す。

【図7B】図７Ｂは、８×８ブロックのためのＡＬＷＩＰの一例を示す。

【図7C】図７Ｃは、８×４ブロックのためのＡＬＷＩＰの一例を示す。

【図7D】図７Ｄは、１６×１６ブロックのためのＡＬＷＩＰの一例を示す。

【0021】

【図8】図８は、ＪＥＭにおける二次変換の一例を示す。

【0022】

【図9】図９は、開示された技術の実施例に基づく低減二次変換（ＲＳＴ）の一例を示す。

【0023】

【図10】図１０は、サブブロック変換モードＳＢＴ－Ｖ及びＳＢＴ－Ｈの一例を示す。

【0024】

【図11】図１１は、サブブロックＭＶ ＶＳＢ及び画素Δｖ（ｉ，ｊ）の一例を示す。

【0025】

【図12】図１２は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法のフローチャートを示す。

【0026】

【図13】図１３は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法のフローチャートを示す。

【0027】

【図14】図１４は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法のフローチャートを示す。

【0028】

【図15】図１５は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法のフローチャートを示す。

【0029】

【図16】図１６は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法のフローチャートを示す。

【0030】

【図17】図１７は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法のフローチャートを示す。

【0031】

【図18】図１８は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法のフローチャートを示す。

【0032】

【図19】図１９は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法のフローチャートを示す。

【0033】

【図20】図２０は、本文書に記載されるビジュアルメディアデコーディング技術又はビジュアルメディアエンコーディング技術を実装するためのハードウェアプラットフォームの一例のブロック図である。

【0034】

【図21】図２１は、開示された技術が実装され得る実施例ビデオ処理システムのブロック図である。

【0035】

【図22】図２２は、ビジュアルメディア処理のための例示的方法のフローチャートを示す。

【0036】

【図23】図２３は、ビジュアルメディア処理のための例示的方法のフローチャートを示す。

【0037】

【図24】図２４は、ビジュアルメディア処理のための例示的方法のフローチャートを示す。

【0038】

【図25】図２５は、ビジュアルメディア処理のための例示的方法のフローチャートを示す。

【発明を実施するための形態】

【0039】

より高解像度のビデオに対する要求が高まっているため、ビデオコーディング方法及び技術は、現代の技術では至るところに存在している。ビデオコーデックは、典型的には、デジタルビデオを圧縮又は解凍する電子回路又はソフトウェアを含み、より高いコーディング効率を提供するために絶えず改良されている。ビデオコーデックは、圧縮されていないビデオを圧縮形式にコンバートする。ビデオ品質、ビデオを表現するために使用されるデータ量（ビットレートによって決定される）、エンコーディング及びデコーディングアルゴリズムの複雑さ、データ損失及びエラーに対する感度、編集の容易さ、ランダムアクセス、及びエンドツーエンド遅延（待ち時間）の間には複雑な関係がある。圧縮フォーマットは、通常、標準的なビデオ圧縮仕様、例えば、高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：ＨＥＶＣ）標準（Ｈ．２６５又はＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られている）、最終化される汎用ビデオコーディング（ＶＶＣ）標準、又は他の現在及び／又は将来のビデオコーディング標準に準拠している。

【0040】

いくつかの実施態様では、ジョイント探索モデル （ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）として知られる参照ソフトウェアを用いて、将来のビデオコーディング技術が調査される。ＪＥＭでは、サブブロックベース予測は、アフィン予測、代替時間動きベクトル予測（ＡＴＭＶＰ：ａｌｔｅｒｎａｔｉｖｅ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）、空間時間動きベクトル予測（ＳＴＭＶＰ：ｓｐａｔｉａｌ－ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）、双方向オプティカルフロー（ＢＩＯ：ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）、フレームレートアップコンバージョン（ＦＲＵＣ：Ｆｒａｍｅ－Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）、局所適応動きベクトル解像度（ＬＡＭＶＲ：Ｌｏｃａｌｌｙ Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ）、オーバーラップブロック動き補償（ＯＢＭＣ：Ｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）、局所照明補償（ＬＩＣ：Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）、デコーダ側動きベクトル洗練化（ＤＭＶＲ：Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎ）などのいくつかのコーディングツールに適応される。

【0041】

開示された技術の実施形態は、ランタイム性能を改善するために、既存のビデオコーディング標準（例えば、ＨＥＶＣ、Ｈ．２６５）及び将来の標準に適用され得る。本明細書は、解凍又はデコードされたデジタルビデオ又は画像の品質を改善するために、画像又はビデオビットストリームのデコーダによって使用され得る種々の技術を提供する。簡潔さのために、本明細書では、用語「ビデオ」は、一連の画像（伝統的にビデオと称される）と個々の画像の両方を含むために使用される。さらに、ビデオエンコーダは、さらなるエンコードのために使用されるデコードされたフレームを再構成するために、エンコードのプロセス中にこれらの技術を実装することもできる。

【0042】

本明細書では、説明の可読性を向上させるためにセクション見出しを使用しており、説明又は実施形態（及び／又は実装）を各セクションのみに限定するものではない。

【0043】

１ 典型的なビデオコーデックのコーディングフローの例
図１は、ＶＶＣのエンコーダブロック図の実施例を示し、３ループのフィルタブロック：デブロックフィルタ（ＤＦ）、サンプル適応オフセット（ＳＡＯ）及びＡＬＦを含む。所定のフィルタを使用するＤＦと異なり、ＳＡＯ及びＡＬＦが、現在画像のオリジナルサンプルを利用して、オフセットを加えることによって、また、フィルタ係数及びオフセットをシグナリングするコード化された追加情報（ｓｉｄｅ ｉｎｆｏｒｍａｔｉｏｎ）のぞれぞれで有限インパルス応答（ＦＩＲ）フィルタを適用することによって、オリジナルのサンプルと再構成されたサンプルとの間の平均二乗エラーを減少させる。ＡＬＦは、各画像の最終処理ステージに位置し、前のステージで生成されたアーチファクトを捕捉し修復しようとするツールと見なすことができる。

【0044】

２ ＨＥＶＣにおけるデブロッキングスキームの例
デブロッキングフィルタプロセスは、デコーディングプロセスと同じ順序で各ＣＵに対して実行される。まず垂直エッジをフィルタリング（水平フィルタリング）し、次に水平エッジをフィルタリング（垂直フィルタリング）する。フィルタリングは、ルマコンポーネントとクロマコンポーネントの両方について、フィルタリングされると決定された８×８ブロック境界に適用される。４×４ブロック境界は、複雑さを低減するために処理されない。

【0045】

図２は、デブロッキングフィルタプロセスの全体的な処理フローを示す。境界には、フィルタリングなし、弱フィルタリング、強フィルタリングの３つのフィルタリングステータスがある。各フィルタリング決定は、境界強度、Ｂｓ、及び閾値、β及びｔＣに基づく。

【0046】

２．１ 境界決定
フィルタリングプロセスには、ＣＵ境界、ＴＵ境界、ＰＵ境界の３種類の境界が含まれ得る。ＣＵの外側エッジであるＣＵ境界は、常にＴＵ境界又はＰＵ境界でもあるので、ＣＵ境界は常にフィルタリングに含まれる。ＰＵ形状が２Ｎ×Ｎ（Ｎ＞４）でＲＱＴ深さが１に等しい場合、８×８ブロックグリッドにおけるＴＵ境界とＣＵ内部の各ＰＵ間のＰＵ境界がフィルタリングに含まれる。例外の１つは、ＰＵ境界がＴＵ内にある場合、その境界はフィルタリングされないことである。

【0047】

２．２ 境界強度計算
図３は、Ｂｓ計算のためのフローチャートを示す。一般的に言えば、境界強度（Ｂｓ）は、境界に対してどの程度強いフィルタリングが必要であるかを反映する。Ｂｓが大きい場合は、強力なフィルタリングを考慮すべきである。ＰとＱをフィルタリングに関与するブロックとして定義すると、Ｐは境界の左側（垂直エッジの場合）又は上方（水平エッジの場合）に位置するブロック、Ｑは境界の右側（垂直エッジの場合）又は上方（水平エッジの場合）に位置するブロックを表す。図３は、イントラコーディングモード、非ゼロ変換係数及び動き情報の存在、参照画像、動きベクトルの数、及び動きベクトルの差に基づいてＢｓ値がどのように計算されるかを示す。

【0048】

Ｂｓは４×４ブロックベースで計算されるが、８×８グリッドに再マッピングされる。４×４グリッドのラインで構成される８画素に対応するＢｓの２つの値の最大値が、８×８グリッドの境界のＢｓとして選択される。

【0049】

図４は、ＣＴＵ境界のＢｓ計算のための参照情報の一例を示す。ラインバッファメモリ要求を低減するために、ＣＴＵ境界についてのみ、左側又は上側の２ブロック（４×４グリッド）毎の情報が、図４に示されるように再使用される。

【0050】

２．３ β及びｔＣの決定
弱フィルタリングプロセス、強フィルタ及び弱フィルタの選択、フィルタのオン／オフ決定、に関与する閾値βとｔＣは、それぞれ、ＱＰＰ及びＱＰＱ、Ｐ及びＱブロックのルマ量子化パラメータに基づいて導出した。β及びｔＣを導くために用いたＱは、次のように計算される。
Ｑ＝（（ＱＰＰ＋ＱＰＱ＋１）＞＞１）

【0051】

変数βは、Ｑに基づいて、表１に示すように導出される。Ｂｓが１より大きい場合、変数ｔＣは、入力としてＣｌｉｐ３（０，５５，Ｑ＋２）で、表１のように特定される。それ以外の場合（ＢＳが１以下）、変数ｔＣは、Ｑを入力として表１のように特定される。

【表1】

【0052】

２．４ 各４ラインに対するフィルタのオン／オフ決定
図５は、フィルタのオン／オフ決定に関する画素の例を示す。なお、以下の説明では、ｐＮＭは垂直エッジに関してＭ行目における左側のＮ番目のサンプル、又は、水平エッジに関してＭ列目における上側のＮ番目のサンプルを表し、ｑＮＭは垂直エッジに関してＭ行目における右側のＮ番目のサンプル、又は、水平エッジに関してＭ列目における下側のＮ番目のサンプルを表す。ｐＮＭ及びｑＮＭの例を図５に示す。

【0053】

なお、以下の説明では、ｐＮは垂直エッジに関する行における左側のＮ番目のサンプル、又は、水平エッジに関する列における上側のＮ番目のサンプルを表し、ｑＮは垂直エッジに関する行における右側のＮ番目のサンプル、又は、水平エッジに関関する列における下側のＮ番目のサンプルを表す。

【0054】

フィルタのＯＮ／ＯＦＦは、４ラインを単位として行う。図５は、フィルタのオン／オフ決定に関する画素の例を示す。最初の４ラインの赤い２つのボックス内の６画素は、４ラインに対するフィルタのオン／オフを決定するために使用される。２番目の４ラインの赤い２つのボックス内の６画素は、２番目の４行のフィルタのオン／オフを決定するために使用される。

【0055】

ｄｐ０＋ｄｑ０＋ｄｐ３＋ｄｑ３＜βの場合、第一の４ラインに対するフィルタリングがオンにされ、強／弱フィルタ選択プロセスが適用される。各変数は以下のように導出される：

【数1】

【0056】

条件が満たされないと、第一の４ラインに対するフィルタリングは行われない。さらに、条件が満たされると、ｄＥ、ｄＥｐ１、及びｄＥｐ２が弱フィルタリングプロセスに対して導出される。変数ｄＥは１に設定される。ｄｐ０＋ｄｐ３＜（β＋（β＞１））＞＞３である場合、可変ｄＥｐ１は１に等しく設定される。ｄｑ０＋ｄｑ３＜（β＋（β＞１））＞＞３である場合、可変ｄＥｑ１は１に等しく設定される。第二の４ラインに対して、上記と同様の方法で決定が行われる。

【0057】

２．５ ４ラインに対する強弱フィルタ選択
フィルタをイネーブルにすることを決めるために第一の４ラインをチェックした後、以下の２つの条件が満たされれば、第一の４ラインのフィルタに強フィルタを使用する。それ以外の場合、フィルタリングに弱フィルタが使用される。関与する画素は、図５に示すように、フィルタのオン／オフ決定に使用される画素と同じである。

【数2】

【0058】

同様に、以下の２つの条件が満たされれば、第二の４ラインのフィルタリングには強フィルタが使用される。それ以外の場合、フィルタリングに弱フィルタが使用される。

【数3】

【0059】

２．５．１ 強フィルタリング（Ｓｔｒｏｎｇ ｆｉｌｔｅｒｉｎｇ）
強フィルタリングについて、フィルタリングされた画素値は、以下の式によって得られる。３つの画素は、各Ｐ及びＱブロックに対する入力としてそれぞれ４つの画素を用いて変更される（ｍｏｄｉｆｉｅｄ）ことに留意されたい。

【数4】

【0060】

２．５．２ 弱フィルタリング（Ｗｅａｋ ｆｉｌｔｅｒｉｎｇ）
Δを次のように定義しよう。

【数5】

【0061】

最大２画素は、それぞれ、各Ｐブロック及びＱブロックに対する入力として３画素を用いて変更されることに留意すべきである。

【0062】

２．５．３ クロマフィルタリング
クロマフィルタリングのＢｓはルマから引き継がれる。Ｂｓ＞１であるか又はコード化されたクロマ係数が存在すれば、クロマフィルタリングが実行される。他のフィルタリングの決定はない。また、１つのフィルタだけがクロマに適用される。クロマに対してフィルタ選択プロセスは使用されない。フィルタされたサンプル値ｐ０’及びｑ０’は、以下のように導出される。

【数6】

【0063】

３ ＶＴＭ－４．０におけるデブロッキングスキームの例
現在のＶＴＭ、すなわちＶＴＭ－４．０では、ＪＶＥＴ－Ｍ０４７１に記載されているデブロッキングスキームが使用される。画像の垂直エッジは、最初にフィルタリングされる。その後、画像の水平エッジは、入力として垂直エッジフィルタリングプロセスによって変更されたサンプルを用いてフィルタリングされる。各ＣＴＵのＣＴＢの垂直エッジと水平エッジは、コーディング単位ベースで別々に処理される。コーディングユニット内のコーディングブロックの垂直エッジは、コーディングブロックの左側のエッジから開始して、幾何学的順序で、エッジを通って、コーディングブロックの右側に向かって進むようにフィルタリングされる。コーディングユニット内のコーディングブロックの水平エッジは、コーディングブロックの上部のエッジから始まって、その幾何学的順序で、エッジを通ってコード化ブロックの下部に向かって進無用にフィルタ負リングされる。

【0064】

３．１ 境界決定
フィルタリングは、８×８ブロック境界に適用される。さらに、それは変換ブロック境界又はコーディングサブブロック境界でなければならない（例えば、アフィン動き予測、ＡＴＭＶＰの使用による）。このような境界ではない場合、フィルタはディセーブルになる。

【0065】

３．２ 境界強度計算
変換ブロック境界／コーディングサブブロック境界について、８ｘ８グリッドに位置すれば、フィルタリングされ得、ｂＳ［ｘＤｉ］［ｙＤｊ］（ここで、［ｘＤｉ］［ｙＤｊ］は座標を示す）の設定は、このエッジに対して次のように定義される：

【0066】

‐ サンプルｐ０又はｑ０がイントラ予測モードでコード化されたコーディングユニットのコーディングブロック内にある場合、ｂＳ［ｘＤｉ］［ｙＤｊ］は２に設定される。

【0067】

‐ それ以外の場合、ブロックエッジも変換ブロックエッジであり、サンプルｐ０又はｑ０が１つ以上の非ゼロ変換係数レベルを含む変換ブロック内にあれば、ｂＳ［ｘＤｉ］［ｙＤｊ］は１に等しく設定される。

【0068】

‐ それ以外の場合、サンプルｐ０を含むコーディングサブブロックの予測モードがサンプルｑ０を含むコーディングサブブロックの予測モードと異なれば、ｂＳ［ｘＤｉ］［ｙＤｊ］は１に等しく設定される

【0069】

‐ それ以外の場合、以下の条件の１つ以上が真である場合、ｂＳ［ｘＤｉ］［ｙＤｊ］は１に等しく設定される：

【0070】

‐ サンプルｐ０を含むコーディングサブブロック及びサンプルｑ０を含むコーディングサブブロックは、両方ともＩＢＣ予測モードでコーディングされ、２つのコーディングサブブロックの予測に使用される動きベクトルの水平又は垂直コンポーネント間の絶対差は、４分の１ルマサンプルのユニットにおいて４以上である。

【0071】

‐ サンプルｐ０を含むコーディングサブブロックの予測に対して、サンプルｑ０を含むコーディングサブブロックの予測に対してとは異なる参照画像又は異なる数の動きベクトルが使用される。

【0072】

‐注１‐ ２つのコーディングサブブロックに使用される参照画像が同一であるか異なるかの決定は、参照画像リスト０へのインデックスを用いて予測が形成されるか、参照画像リスト１へのインデックスを用いて予測が形成されるかに関係なく、また参照画像リスト内のインデックス位置が異なるかどうかに関係なく、参照される画像のみに基づいて行われる。

【0073】

‐注２‐ （ｘＳｂ， ｙＳｂ）をカバーする左上のサンプルを有するコーディングサブブロックの予測に使用される運動ベクトルの数は、ＰｒｅｄＦｌａｇＬ０［ｘＳｂ］［ｙＳｂ］＋ＰｒｅｄＦｌａｇＬ１［ｘＳｂ］［ｙＳｂ］に等しい。

【0074】

‐ サンプルｐ０を含むコーディングサブブロックを予測するために１つの動きベクトルを使用し、サンプルｑ０を含むコーディングサブブロックを予測するために１つの動きベクトルを使用し、使用される動きベクトルの水平コンポーネント又は垂直コンポーネントの間の絶対差は、１／４ルマサンプルの単位において４以上である。

【0075】

‐ サンプルｐ０を含むコーディングサブブロックを予測するために２つの動きベクトルと２つの異なる参照画像を使用し、サンプルｑ０を含むコーディングサブブロックを予測するために同じ２つの参照画像についての２つの動きベクトルを使用し、同じ参照画像についての２つのコーディングサブブロックの予測に使用される２つの動きベクトルの水平コンポーネント又は垂直コンポーネントの間の絶対差は、１／４ルマのサンプルの単位で４以上である。

【0076】

‐ サンプルｐ０を含むコーディングサブブロックを予測するために、同じ参照画像に対する２つの動きベクトルを使用し、サンプルｑ０を含むコーディングサブブロックを予測するために同じ参照画像に対する２つの動きベクトルを使用し、以下の条件の両方が真である：

【0077】

‐ ２つのコーディングサブブロックの予測に使用されるリスト０動きベクトルの水平又は垂直コンポーネントの間の絶対差は、４分の１ルマサンプルで４以上であるか、又は、２つのコーディングサブブロックの予測に使用されるリスト１動きベクトルの水平又は垂直コンポーネントの間の絶対差は、４分の１ルマサンプルの単位で４以上である。

【0078】

‐ サンプルｐ０を含むコーディングサブブロックの予測に使用されるリスト０動きベクトルの水平又は垂直コンポーネントと、サンプルｑ０を含むコーディングサブブロックの予測に使用されるリスト１動きベクトルの水平又は垂直コンポーネントとの間の絶対差は、４分の１ルマサンプルの単位で４以上であるか、又はサンプルｐ０を含むコーディングサブブロックの予測に使用されるリスト１動きベクトルの水平又は垂直コンポーネントと、サンプルｑ０を含むコーディングサブブロックの予測に使用されるリスト０動きベクトルとの間の絶対差は、４分の１ルマサンプルの単位で４以上である。

【0079】

‐ それ以外の場合、変数ｂＳ［ｘＤｉ］［ｙＤｊ］は０に設定される。

【0080】

表２及び表３は、ＢＳの計算ルールを要約したものである。

【表2】

【表3】

【0081】

３．３ ルマコンポーネントのデブロッキング決定
このサブセクションでは、デブロッキング決定プロセスについて記載する。
より強力なルマフィルタは、条件１、条件２、条件３のすべてがＴＲＵＥの場合にのみ使用される。

【0082】

条件１は「ラージブロック条件（ｌａｒｇｅ ｂｌｏｃｋ ｃｏｎｄｉｔｉｏｎ）」である。
この条件は、Ｐ側とＱ側のサンプルが、それぞれ変数ｂＳｉｄｅＰｉｓＬａｒｇｅＢｌｋとｂＳｉｄｅＱｉｓＬａｒｇｅＢｌｋによって表されるラージブロックに属するかどうかを検出する。ｂＳｉｄｅＰｉｓＬａｒｇｅＢｌｋ及びｂＳｉｄｅＱｉｓＬａｒｇｅＢｌｋは以下のように定義される。

【数7】

【0083】

ｂＳｉｄｅＰｉｓＬａｒｇｅＢｌｋ及びｂＳｉｄｅＱｉｓＬａｒｇｅＢｌｋに基づいて、条件１は、以下のように定義される。

【0084】

【数8】

【0085】

次に、条件１が真の場合は、条件２をさらにチェックする。
まず、次の変数を導出する：

【数9】

【0086】

【数10】

セクション２．４．に示すように、ここでは、ｄ＝ｄｐ０＋ｄｑ０＋ｄｐ３＋ｄｑ３である。

【0087】

条件１及び条件２が有効である場合、ブロックのいずれかがサブブロックを使用するかどうかはさらにチェックされる：

【数11】

【0088】

最後に、条件１と条件２の両方が有効である場合、提案したデブロッキング方法は条件３（ラージブロック強フィルタ条件）をチェックし、これは以下のように定義される。

【0089】

条件３ 強フィルタ条件において、以下の変数が導出される：

【数12】

【0090】

ＨＥＶＣのように、ＳｔｒｏｎｇＦｉｌｔｅｒＣｏｎｄｉｔｉｏｎ＝（ｄｐｑは、（β＞＞２）未満であり、ｓｐ３＋ｓｑ３は（３＊β＞＞５）であり、Ａｂｓ（ｐ０－ｑ０）は（５＊ｔＣ＋１）＞＞１）未満である？ＴＲＵＥ：ＦＡＬＳＥ

【0091】

３．４ （より大きなブロックのために設計された）ルマに対するの強デブロッキングフィルタ
バイリニアフィルタは、境界の一側のサンプルがラージブロックに属する場合に使用される。ラージブロックに属するサンプルは、垂直エッジについては幅が３２以上であり、水平エッジについては高さが３２以上である場合に、定義される。バイリニアフィルタは、以下の通りである。

【0092】

ｉ＝０～Ｓｐ－１に対するブロック境界サンプルｐｉと、ｊ＝０～Ｓｑ－１に対するブロック境界サンプルｑｉ（ｐｉ及びｑｉは、上述のＨＥＶＣデブロッキングにおける垂直エッジをフィルタリングするための行内のｉ番目のサンプル、又は水平エッジをフィルタリングするための列内のｉ番目のサンプル）は、次のように線形補間で置き換えられる：

【数13】

【表4】

【0093】

３．５ クロマに対するデブロッキング制御
クロマ強フィルタ（ｃｈｒｏｍａ ｓｔｒｏｎｇ ｆｉｌｔｅｒｓ）をブロック境界の両側に使用する。ここで、クロマフィルタは、クロマエッジの両側が８（クロマ位置）以上の場合で、次の３つの条件を満たす場合に選択される：第一条件は、境界強度とラージブロックの決定のためのものである。提案のフィルタは、ブロックを直角に横切るブロック幅又は高さがクロマサンプルドメインにおいて８以上である場合に適用できる。第二及び第三条件は、基本的にＨＥＶＣルマデブロッキング決定と同じであり、オン／オフ決定及び強フィルタ決定である。

【0094】

第一決定では、表２に示すように、クロマフィルタリングのために境界強度（ｂＳ）が変更される。表２の条件は、順次チェックされる。１つの条件が満たされると、優先度の低い残りの条件はスキップされる。

【0095】

クロマデブロッキングは、ｂＳが２に等しい場合、又は、ラージブロック境界が検出された場合にｂＳが１に等しい場合に実行される。

【0096】

第二及び第三条件は、基本的にＨＥＶＣルマ強フィルタ決定と同じである。第二条件では：ｄはＨＥＶＣルマデブロッキングのように導出される。
ｄがβ未満のとき、第二条件は真である。

【0097】

第三条件では、ＳｔｒｏｎｇＦｉｌｔｅｒＣｏｎｄｉｔｉｏｎは次のように導出される：

【数14】

【0098】

ＨＥＶＣ設計と同様に、ＳｔｒｏｎｇＦｉｌｔｅｒＣｏｎｄｉｔｉｏｎ＝（ｄｐｑは（β＞＞２）未満、ｓｐ３＋ｓｑ３は（β＞＞３）未満、Ａｂｓ（ｐ０？ｑ０）は（５＊ｔＣ＋１）＞＞１）未満である。

【0099】

３．６ クロマに対する強デブロッキングフィルタ
以下のようにクロマに対する強デブロッキングフィルタを定義する：

【数15】

【0100】

提案のクロマフィルタは、４×４クロマサンプルグリッド上でデブロッキングを実行する。

【0101】

３．７ 位置依存クリッピング
位置依存クリッピングｔｃＰＤを、境界で７、５及び３サンプルを変更する強・長フィルタ（ｓｔｒｏｎｇ ａｎｄ ｌｏｎｇ ｆｉｌｔｅｒｓ）を含むルマフィルタリングプロセスの出力サンプルに適用した。量子化誤差分布を仮定して、より高い量子化ノイズを有することが期待され、したがって、真のサンプル値から再構成されたサンプル値のより高い偏差を有することが期待されるサンプルに対して、クリッピング値を増加させることを提案した。

【0102】

非対称フィルタでフィルタリングされた各Ｐ又はＱ境界に対して、セクション３．２の意思決定プロセスの結果に応じて、位置依存閾値テーブルは、副情報としてデコーダに提供される２つのテーブル（すなわち、以下に表に示すＴｃ７及びＴｃ３）から選択される：

【数16】

【0103】

短い対称フィルタでフィルタリングされたＰ又はＱ境界に対しては、より低い振幅の位置依存閾値が適用される：

【数17】

【0104】

閾値を定義した後、フィルタリングされたｐ’ｉ及びｑ’ｉサンプル値は、ｔｃＰ及びｔｃＱのクリッピング値に従ってクリップされる。

【数18】

ここで、ｐ’ｉとｑ’ｉはフィルタリングされたサンプル値、ｐ’ｉとｑ’ｊはクリッピング後の出力サンプル値、ｔｃＰｉとｔｃＱｉはＶＶＣのｔｃパラメータとｔｃＰＤとｔｃＱＤから導出されるクリッピング閾値である。関数Ｃｌｉｐ３は、ＶＶＣで指定したクリッピング関数である。

【0105】

３．８ サブブロック・デブロッキング調整
長フィルタとサブブロックの両方を使用した並列フレンドリデブロッキングをイネーブルにするには、長フィルタのルマ制御に示されるように、サブブロック・デブロッキング（ＡＦＦＩＮＥ、ＡＴＭＶＰ、又はＤＭＶＲ）を使用する側で最大５つのサンプルを変更するように制限される。さらに、サブブロック・デブロッキングは、ＣＵ又は暗黙的ＴＵ境界（ｉｍｐｌｉｃｉｔ ＴＵ ｂｏｕｎｄａｒｙ）に近い８ｘ８グリッド上のサブブロック境界が、各側で最大２つのサンプルを変更するように制限されるように調整される。

【0106】

以下は、ＣＵ境界に整列していないサブブロック境界に適用される。

【数19】

ここで、０に等しいエッジはＣＵ境界に対応し、２に等しい又は直交長－２に等しいエッジは、ＣＵ境界からのサブブロック境界８サンプルに対応する。ここで、ＴＵの暗黙的分割が用いられる場合、暗黙的ＴＵが真である。

【0107】

３．９ ルマ／クロマに対する４ＣＴＵ／２ＣＴＵラインバッファへの制限
水平エッジのフィルタリングは、水平エッジがＣＴＵ境界に整列される場合、ルマに対してはＳｐ＝３、クロマに対してはＳｐ＝１、Ｓｑ＝１に制限される。

【0108】

４ イントラサブブロックパーテション（ＩＳＰ）の例
図６Ａは、４×８及び８×４ブロックの分割の一例を示す。図６Ｂは、４×８、８×４及び４×４を除くすべてのブロックの分割の実施例を示す。

【0109】

ＪＶＥＴ－Ｍ０１０２では、表３に示すように、ブロックサイズ寸法（ｂｌｏｃｋ ｓｉｚｅ ｄｉｍｅｎｓｉｏｎｓ）に応じて、垂直又は水平に、ルマイントラ予測ブロックを２つ又は４つのサブパーテションに分割するＩＳＰを提案している。図６Ａ及び図６Ｂは、２つの可能性の例を示す。すべてのサブパーテションは、１６サンプル以上を有するという条件を満たす。ブロックサイズが４×Ｎ又はＮ×４（Ｎ＞８）の場合、可能であれば、１×Ｎ又はＮ×１のサブパーテションが存在してもよい。

【表5】

【0110】

これらのサブパーテションの各々について、エンコーダによって送信された係数をエントロピーデコードし、その後それらを逆量子化し、逆変換することによって、残差信号が生成される。その後、サブパーテションをイントラ予測し、最後に、残差信号を予測信号に加えることによって対応する再構成サンプルを得る。したがって、各サブパーテションの再構成値は、プロセスを繰り返す等の次のサブパーテションの予測値を生成するために利用可能である。すべてのサブパーテションは同じイントラモードを共有する。

【表6】

【0111】

５ アフィン線形加重イントラ予測（ＡＬＷＩＰ、別名マトリックスベースイントラ予測）の例
アフィン線形加重イントラ予測（ＡＬＷＩＰ、別名マトリックスベースイントラ予測（ＭＩＰ））は、ＪＶＥＴ－Ｎ０２１７において提唱される。

【0112】

５．１ マトリックスベクトル乗算による低減予測信号の生成
隣接する参照サンプルは、まず、平均化を介してダウンサンプリングされ、低減参照信号（ｒｅｄｕｃｅｄ ｒｅｆｅｒｅｎｃｅ ｓｉｇｎａｌ）
（外１）

（以下、ｐｒｅｄ＿ｒｅｄと記載する。）を生成する。その後、マトリックスベクトル積を計算し、オフセットを加えることによって、低減予測信号ｐｒｅｄ＿ｒｅｄを計算する：

【数20】

【0113】

ここでは、Ａは、Ｗ＝Ｈ＝４の場合に
（外２）

（以下、Ｗ＿ｒｅｄ・Ｈ＿ｒｅｄと記載する。）行及び４列、他のすべての場合に８列を有する。ｂはベクトルサイズＷ＿ｒｅｄ・Ｈ＿ｒｅｄである。

【0114】

５．２ ＡＬＷＩＰプロセス全体の説明
平均化、マトリックスベクトル乗算、及び線形補間の全プロセスは、図７Ａ～７Ｄの異なる形状について示されている。残りの形状は、図示のケースの１つと同様に扱われることに留意されたい。

【0115】

図７Ａは、４×４ブロックのためのアフィン線形加重イントラ予測（ＡＬＷＩＰ）の一例を示す。４×４ブロックが与えられた場合、ＡＬＷＩＰは境界の各軸に沿って２つの平均を取得する。マトリックスは、セットＳ_０から取得される。オフセットを加えた後、これにより１６の最終予測サンプルが得られる。線形補間は、予測信号を生成するために必須ではないしたがって、サンプル毎に、合計（４・１６）／（４・４）＝４の乗算が行われる。

【0116】

図７Ｂは、８×８ブロックのためのＡＬＷＩＰの一例を示す。８×８ブロックが与えられた場合、ＡＬＷＩＰは境界の各軸に沿って４つの平均を取得する。得られた８つの入力サンプルは、マトリックスベクトル乗算に入る。マトリックスは、セットＳ_１から取得される。これにより、予測ブロックの奇数位置に１６のサンプルが得られる。したがって、サンプル毎に、合計（８・１６）／（８・８）＝２の乗算が行われる。オフセットを加えた後、これらのサンプルは、低減された頂部境界を使用することによって垂直に補間される。水平補間は、元の左境界を使用して行われる。

【0117】

図７Ｃは、８×４ブロックのためのＡＬＷＩＰの一例を示す。８×４ブロックが与えられた場合、ＡＬＷＩＰは境界の横軸に沿って４つの平均を取得し、左境界の４つの元の境界値を取得する。得られた８つの入力サンプルは、マトリックスベクトル乗算に入る。マトリックスは、セットＳ_１から取得される。これにより、予測ブロックの奇数の水平位置及び各垂直位置に１６のサンプルが得られる。したがって、サンプル毎に、合計（８・１６）／（８・４）＝４の乗算が行われる。オフセットを加えた後、これらのサンプルは、元の左境界を使用することによって水平に補間される。転置されたケース（ｔｒａｎｓｐｏｓｅｄ ｃａｓｅ）はそれに応じて処理される。

【0118】

図７Ｄは、１６×１６ブロックのためのＡＬＷＩＰの一例を示す。１６×１６ブロックが与えられた場合、ＡＬＷＩＰは境界の各軸に沿って４つの平均を取得する。得られた８つの入力サンプルは、マトリックスベクトル乗算に入る。マトリックスは、セットＳ_２から取得される。これにより、予測ブロックの奇数位置に６４のサンプルが得られる。したがって、サンプル毎に、合計（８・６４）／（１６・１６）＝２の乗算が行われる。オフセットを加えた後、これらのサンプルは、頂部境界の８つの平均を使用することによって垂直に補間される。水平補間は、元の左境界を使用して行われる。この場合、補間プロセスはいかなる乗算も追加しない。したがって、ＡＬＷＩＰ予測を計算するには、サンプル毎に２回の乗算が必要である。

【0119】

より大きな形状について、手順は基本的に同じであり、サンプル毎の乗算の数が４未満であることを簡単に確認できる。

【0120】

Ｗ×８ブロック、ただしＷ＞８、のために、サンプルが奇数水平位置及び各垂直位置で与えられるので、水平補間のみが必要である。

【0121】

最後に、Ｗ×４ブロック、ただしＷ＞８、のために、Ａ_ｋはダウンサンプリングされたブロックの水平軸に沿った奇数エントリに対応するすべての行を除外することによって生じるマトリックスとする。このように、出力サイズは３２である、そして、また、水平補間だけは実行されないままである。転置されたケースはそれに応じて処理される。

【0122】

６ ＶＶＣにおけるマルチ変換集合（ＭＴＳ）の例
６．１ 明示的マルチ変換集合（ＭＴＳ）
ＶＴＭ４では、６４×６４までのサイズの大きなブロックサイズの変換が可能であり、これは主に高解像度ビデオ、例えば１０８０ｐ及び４Ｋシーケンスに有用である。高周波変換係数は、サイズ（幅又は高さ、又は幅及び高さの両方）が６４に等しい変換ブロックに対してゼロ出力され、その結果、低周波係数のみが保持される。たとえば、Ｍ×Ｎ変換ブロックでは、Ｍをブロック幅、Ｎをブロック高さとして、Ｍが６４に等しい場合、変換係数の左３２列のみが保持される。同様に、Ｎが６４に等しい場合、変換係数の上部３２行のみが保持される。大きなブロックに対して変換スキップモードを使用した場合、値をゼロにすることなくブロック全体が使用される。

【0123】

ＨＥＶＣで使用されてきたＤＣＴ‐ＩＩに加えて、マルチ変換選択（ＭＴＳ）スキームが、コーディングブロックインター及びイントラブロックの両方の残差コーディングに使用される。ＤＣＴ８／ＤＳＴ７から選択した複数の変換を使用する。新しく導入された変換マトリックスはＤＳＴ－ＶＩＩとＤＣＴ－ＶＩＩＩである。表７は、選択されたＤＳＴ／ＤＣＴの基底関数を示す。

【0124】

変換行列の直交性を維持するために、変換行列をＨＥＶＣにおける変換行列よりも正確に量子化した。変換された係数の中間値を、水平変換の後、垂直変換の後に、１６ビットの範囲内に維持するために、すべての係数は１０ビットとする。

【0125】

ＭＴＳスキームを制御するために、別々のイネーブルフラグが、それぞれイントラ及びインターに対してＳＰＳレベルで指定される。ＳＰＳでＭＴＳがイネーブルにされると、ＣＵレベルフラグはＭＴＳが適用されているか否かを示すためにシグナリングされる。ここでは、ＭＴＳはルマのみに適用される。ＭＴＳ ＣＵレベルフラグは、以下の条件が満たされたときにシグナリングされる。
‐ 幅、高さとも３２以下
‐ ＣＢＦフラグが１に等しい

【表7】

【0126】

ＭＴＳ ＣＵフラグがゼロに等しい場合、ＤＣＴ２は両方向に適用される。しかしながら、もしＭＴＳ ＣＵフラグが１に等しいなら、２つの他のフラグが水平方向と垂直方向のそれぞれの変換タイプを示すために追加的にシグナリングされる。変換及びシグナリングマッピングテーブルを表８に示す。変換マトリックスの精度については、８ビットの一次変換コアが使用される。したがって、ＨＥＶＣで使用される変換コアは、４点ＤＣＴ－２及びＤＳＴ－７、８点ＤＣＴ－２、１６点ＤＣＴ－２、３２点ＤＣＴ－２を含み、すべて同じに保たれる。また、６４点ＤＣＴ－２、４点ＤＣＴ－８、８点ＤＣＴ－８、１６点ＤＳＴ－７及びＤＣＴ－８、３２点ＤＣＴ－７及びＤＣＴ－８を含む他の変換コアは、８ビット一次変換コアを使用する。

【表8】

【0127】

大きなサイズのＤＳＴ－７及びＤＣＴ－８の複雑さを低減するために、サイズ（幅又は高さ、又は幅及び高さの両方）が３２に等しいＤＳＴ－７及びＤＣＴ－８ブロックに対しては、高周波変換係数がゼロ出力される。１６×１６のより低い周波領域内の係数のみが保持される。異なる変換が適用される場合に加えて、ＶＶＣは、ＨＥＶＣにおけるＴＳの概念に似た変換スキップ（ＴＳ）と称されるモードもサポートする。ＴＳはＭＴＳの特殊なケースとして取り扱われる。

【0128】

６．２ 暗黙的多重変換集合（ＭＴＳ）
ＩＳＰ、ＳＢＴ、及びＭＴＳは有効であるが、暗黙的のシグナリング（ｉｍｐｌｉｃｉｔ ｓｉｇｎａｌｉｎｇ）がある場合は、すべて暗黙的ＭＴＳとして取り扱われることに留意されたい。

【0129】

この特許文書では、暗黙的ＭＴＳがイネーブルかどうかを定義するためにｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄが使用される。

【0130】

８．７．４ スケール変換係数の変換プロセス
８．７．４．１ 全般
ｉｎｃｌｕｓｉｔＭｔｓＥｎａｂｌｅｄ変数は次のように導出される：
‐ ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しく、次の条件のいずれかが真の場合、ｉｎｃｌｕｓｉｔＭｔｓＥｎａｂｌｅｄが１に設定される：
‐ ＩｎｔｒａＳｕｂｐａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴと等しくない
‐ ｃｕ＿ｓｂｔ＿ｆｌａｇが１、Ｍａｘ（ｎＴｂＷ， ｎＴｂＨ）が３２以下
‐ ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは両方とも０であり、ＣｕＰｒｅｄＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］はＭＯＤＥ＿ＩＮＴＲＡと等しい
‐ それ以外の場合は、ｉｎｃｌｕｓｉｔＭｔｓＥｎａｂｌｅｄが０に設定される。

【0131】

水平変換カーネルを指定する変数ｔｒＴｙｐｅＨｏｒと垂直変換カーネルを指定する変数ｔｒＴｙｐｅＶｅｒは、次のように導出される：
‐ ｃＩｄｘが０より大きい場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは０に等しく設定される。
‐ それ以外の場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄが１に等しい場合、以下を適用する：
‐ ＩｎｔｒａＳｕｂｐａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴと等しくない場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは、ｉｎｔｒａＰｒｅｄＭｏｄｅに依存して表８－１５に指定される。
‐ それ以外の場合で、ｃｕ＿ｓｂｔ＿ｆｌａｇが１に等しい場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ及びｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇに依存して表８－１４に指定される。
‐ それ以外の場合（ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい）、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは以下のように導出される：

【数21】

‐ それ以外の場合、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］に依存して、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは表８－１３に指定される。

【表9】

【表10】

【0132】

７ ＪＶＥＴ－Ｎ０１９３で提案されている低減二次変換（ＲＳＴ：ｒｅｄｕｃｅｄ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）の例
７．１ ＪＥＭにおける非分離二次変換（ＮＳＳＴ：Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）
図８は、ＪＥＭにおける二次変換の一例を示す。ＪＥＭでは、二次変換を順一次変換と量子化（エンコーダにおいて）との間、及び量子化解除（ｄｅ－ｑｕａｎｔｉｚａｔｉｏｎ）と逆一次変換（デコーダ側において）の間に適用する。図８に示すように、４×４（又は８×８）の二次変換が実行されるのは、ブロックサイズに依存する。例えば、４×４二次変換は小さなブロック（すなわち、ｍｉｎ（ｗｉｄｔｈ， ｈｅｉｇｈｔ）＜８）に適用され、８×８二次変換は、８×８ブロック毎のより大きなブロック（すなわち、ｍｉｎ（ｗｉｄｔｈ， ｈｅｉｇｈｔ）＞４）に適用される。

【0133】

非分離可能変換の適用について、例として入力を用いて以下に述べる。非分離可能変換を適用するには、４×４入力ブロックＸ

【数22】

は、先ずベクトル
（外３）

として表される：

【数23】

【0134】

非分離可能変換は、

【数24】

として計算され、
ここで
（外４）

（以下、Ｆ＿ベクトルと記載する。）は変換係数ベクトルを表し、Ｔは１６×１６変換マトリックスとして計算される。１６×１係数ベクトルＦ＿ベクトルは、その後、そのブロックに対する走査順序（水平、垂直、又は対角）を使用して、４×４ブロックとして再編成される。より小さいインデックスを有する係数は、４×４係数ブロック内のより小さい走査インデックスに配置される。変換集合には合計３５の変換セットがあり、変換セットあたり３の非分離可能変換行列（カーネル）が使用される。イントラ予測モードから変換セットへのマッピングは、予め定義される。各変換セットに対して、選択された非分離可能な二次変換（ＮＳＳＴ：ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）候補は、明示的にシグナリングされた二次変換インデックスによってさらに指定される。インデックスは、変換係数の後、イントラＣＵ毎に一度ビットストリームでシグナリングされる。

【0135】

７．２ ＪＶＥＴ－Ｎ０１９３における還元二次変換（ＲＳＴ）
図９は、開示された技術の実施例に基づく減少した第２の変換（ＲＳＴ）の一例を示す。ＲＳＴ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ（ＬＦＮＳＴ））はＪＶＥＴ－Ｋ００９９に導入され、４変換セット（３５変換セットに代えて）はＪＶＥＴ－Ｌ０１３３に導入された。このＪＶＥＴ－Ｎ０１９３では、１６×４８及び１６×１６マトリックスは、それぞれ８×８及び４×４ブロックに対して使用される。表記の便宜上、１６×４８変換はＲＳＴ８ｘ８、１６×１６変換はＲＳＴ４ｘ４と表記される。

【0136】

７．３ ＲＳＴの適用
ＲＳＴの選択は、以下のように定められる：
‐ ４＊Ｎ又はＮ＊４ブロック（Ｎ≦８）について、ＲＳＴ４ｘ４を左上４＊４ＣＧ（例えば、４ｘ４、４ｘ８、８ｘ４）に適用する
‐ ４＊Ｎ又はＮ＊４ブロック（Ｎ＞８）について、ＲＳＴ４ｘ４を２つの隣接する左上４＊４ＣＧ（例えば４ｘ１６、１６ｘ４等）に、２回適用する
‐ すべての他のケースについて、二次変換を左上３つの４＊４ＣＧに適用して、左上４ｘ４ＣＧ及びゼロ係数を有する他の２つのＣＧを生成する。

【0137】

８ サブブロック変換の例
ｃｕ＿ｃｂｆが１に等しいインター予測ＣＵに対して、ｃｕ＿ｓｂｔ＿ｆｌａｇは、残差ブロック全体又は残差ブロックのサブ部分がデコードされるかどうかを示すためにシグナリングされ得る。前者の場合、ＣＵの変換タイプを決定するために、イントラＭＴＳ情報がさらに解析される。後者の場合、残差ブロックの一部は推定適応変換でコード化され、残差ブロックの他の部分はゼロ出力される。ＳＢＴはコンバインド・インター・イントラモードには適用されない。

【0138】

図１０は、サブブロック変換モードＳＢＴ－Ｖ及びＳＢＴ－Ｈの一例を示す。サブブロック変換では、位置依存変換を、ＳＢＴ－Ｖ及びＳＢＴ－Ｈ（ＤＣＴ－２を常に使用するクロマＴＢ）のルマ変換ブロックに適用する。ＳＢＴ‐Ｈ及びＳＢＴ‐Ｖの２つの位置は異なるコア変換と関連する。より詳しくは、各ＳＢＴ位置に対する水平及び垂直変換は、図１０に指定される。例えば、ＳＢＴ－Ｖ位置０に対する水平及び垂直変換は、それぞれＤＣＴ－８及びＤＳＴ－７である。残差ＴＵの一側が３２を超える場合、対応する変換はＤＣＴ－２に設定される。したがって、サブブロック変換は、残差ブロックのＴＵタイリング、ｃｂｆ、及び水平及び垂直変換を共同で指定し、これは、ブロックの主残差がブロックの一側にある場合のシンタックスショートカットと考えられる。

【0139】

９ ＪＶＥＴ－Ｎ００５４におけるジョイントクロマ残差コーディングの例
ＣｂとＣｒ残差は互いに反比例的に相関する（ｃｏｒｒｅｌａｔｅ ｉｎｖｅｒｓｅｌｙ）ように見えるので、この現象を利用し、クロマ残差のジョイントコーディングのためのモードを導入することを提案した。このモードでは、変換ユニットの２つのクロマブロックに単一残差が示されている。示された残差は、第一チャネル（典型的にはＣｂを表す）の予測ブロックに加算され、第二チャネル（典型的にはＣｒを表す）の予測ブロックから差し引かれる。

【0140】

ＣｂとＣｒの両方のコード化ブロックフラグ（ｃｂｆ）が真ならば、ジョイント残差モードはビットストリーム内のフラグで示される。モードがアクティブ化されると、単一の残差ブロックがデコードされる。ジョイント残差ブロックのビットストリーム構文とデコーディングプロセスは、ＶＴＭ－４内のＣｂ残差に従う。Ｃｒブロックの残差は、デコードされたジョイント残差をネガティブ化すること（ｎｅｇａｔｉｎｇ）によって生成される。単一の残差が２つのブロックの残差を表現するために使用されるので、このモードでは、クロマ残差の別個のコーディングに使用されるものよりも低いＱＰを使用することが望ましい場合が多い。ＣＥ試験では、ジョイントモードにクロマＱＰオフセット－１を使用し、別個のクロマコーディングには＋１を使用した（ＪＶＥＴ共通試験条件で規定）。

【0141】

１０ ＪＶＥＴ－Ｎ０２３６の例
この寄与は、サブブロックベースアフィン動き補償予測をオプティカルフローによって洗練化する方法を提案する。サブブロックベースアフィン動き補償が実行された後、予測サンプルは、オプティカルフローによる予測値洗練化（ＰＲＯＦ：ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ）と称される、オプティカルフロー方程式によって導出される差分を加えることによって洗練化される。提案した方法は、メモリアクセス帯域幅を増加させることなく、画素レベルの粒度でインター予測を達成できる。

【0142】

動き補償のより細かい粒度を達成するために、この寄与は、オプティカルフローによるサブブロックベースアフィン動き補償予測を洗練化する方法を提案する。サブブロックベースアフィン動き補償が実行された後、ルマ予測サンプルは、オプティカルフロー方程式によって導出された差分を加えることによって洗練化される。提案したＰＲＯＦ（オプティカルフローによる予測値洗練化）は、以下の４つのステップで記述される。

【0143】

ステップ１） サブブロックベースアフィン動き補償を行い、サブブロック予測Ｉ（ｉ，ｊ）を生成する。

【0144】

ステップ２） ３－ｔａｐフィルタ［－１，０，１］を用いて、各サンプル位置において、サブブロック予測の空間勾配ｇ_ｘ（ｉ，ｊ）及びｇ_ｙ（ｉ，ｊ）を計算する。

【数25】

【0145】

図１１は、サブブロックＭＶ ＶＳＢ及び画素Δｖ（ｉ，ｊ）の一例を示す。サブブロック予測は、勾配算出のために各側上で１画素拡張される。メモリ帯域幅と複雑性を低減するために、拡張境界上の画素は、参照画像の最も近い整数画素位置からコピーされる。したがって、パディング領域に対する追加の補間は回避される。

【0146】

ステップ３）オプティカルフロー方程式で計算したルマ予測洗練化（ΔＩ）。

【数26】

ここで、デルタＭＶ （Δｖ（ｉ，ｊ）として示される）は、図１１に示されるように、ｖ（ｉ，ｊ）で示される、サンプル位置（ｉ，ｊ）について計算された画素ＭＶと、画素（ｉ，ｊ）が属するサブブロックのサブブロックＭＶとの差である。

【0147】

サブブロック中心に対するアフィンモデルパラメータ及び画素位置はサブブロックからサブブロックに変更されないので、Δｖ（ｉ，ｊ）は最初のサブブロックについて計算することができ、同じＣＵ内の他のサブブロックについて再利用することができる。ｘとｙを画素位置からサブブロックの中心までの水平及び垂直オフセットとすると、Δｖ（ｘ，ｙ）は次の式で導出できる。、

【数27】

【0148】

４パラメータアフィンモデルでは、

【数28】

【0149】

６パラメータアフィンモデルでは、

【数29】

ここで、（ｖ_０ｘ，ｖ_０ｙ），（ｖ_１ｘ，ｖ_１ｙ），（ｖ_２ｘ，ｖ_２ｙ）は、左上、右上、左下の制御点動きベクトルであり、ｗ及びｈはＣＵの幅と高さである。

【0150】

ステップ４） 最後に、ルマ予測洗練化をサブブロック予測Ｉ（ｉ，ｊ）に加えた。最終的な予測Ｉ’は次式で表される。

【数30】

【0151】

１１ 既存の実装の欠点
いくつかの既存の実装（例えば、現在のＶＶＣ／ＶＴＭデブロッキング設計）では、以下の問題が発生する：

【0152】

（１） ＢＤＯＦは各予測サンプルを精緻化する。したがって、デブロッキングプロセスにおいてそれらを再度フィルタリングする必要はない。

【0153】

（２） ＣＩＩＰコード化ブロックは、まだイントラ予測プロセスを実行する必要がある間、デブロッキングフィルタプロセスにおいてインター予測モードとして取り扱われる。

【0154】

１２ デブロッキングフィルタリング（ＤＢ）における改善のための例示的方法
本開示の技術の実施形態は、既存の実施形態の欠点を克服し、それにより、より高いコーディング効率を有するビデオ符号化を提供する。開示された技術に基づくデブロッキングフィルタリング（ＤＢ）の改良は、現存及び将来の両方のビデオコーディング標準を向上させることができ、種々の実装について説明される以下の実施例において解明される。以下に提供される開示された技術の例は、全般的概念を説明するものであり、限定的なものとして解釈されることを意図するものではない。
例において、明示的にそうでないと示されない限り、これらの実施例に記載された種々の特徴を組み合わせることができる。

【0155】

開示された技術のいくつかの実施形態では、いくつかの方法でデブロッキングフィルタ（ＤＢ）プロセスを変更することが提案されている。しかしながら、本文書に提示された方法は、他の種類のインループフィルタリング方法（例えば、ＳＡＯ、ＡＬＦ）及び再構成後フィルタ（例えば、デブロッキングフィルタの前に、予測信号又は再構成信号に適用される、バイラテラルフィルタ、拡散フィルタ、予測信号又は再構成信号に適用されるＨａｄａｍａｒｄ変換ドメインフィルタ）にも適用可能であることに留意されたい。

【0156】

クロマコンポーネントは、Ｃｂ／Ｃｒ色コンポーネント、又はＲＧＢフォーマットのＢ／Ｒ色コンポーネントを表すことができることに留意されたい。以下の説明では、例として「Ｃｂ／Ｃｒ」を取り上げる。

【0157】

実施例１：ＤＢをイネーブルにするかどうか、及び／又は、ＤＢプロセスにおいてフィルタリングを適用する方法は、ＢＤＯＦ及び／又は、動き／予測サンプル／再構成サンプルを洗練化するためにオプティカルフローを使用する他のコーディングツールの使用に依存し得る。

【0158】

（ａ）一実施例において、ＢＤＯＦコーディングブロック内に位置するサンプルについては、ＤＢを適用する必要はない。

【0159】

（ｂ）あるいは、境界強度／フィルタ強度は、ＢＤＯＦの使用に依存し得る。

【0160】

（ｉ）あるいは、ＢＤＯＦ符号化ブロック内に位置するサンプルについては、より弱いフィルタが適用され得る。

【0161】

実施例２：ＤＢをイネーブルにするかどうか、及び／又は、ＤＢプロセスにおいてフィルタリングを適用する方法は、変換マトリックスのタイプ（例えば、ＤＣＴ－ＩＩ、ＤＳＴ－ＶＩＩ、ＤＣＴ－ＶＩＩＩ、変換スキップモード（識別マトリックス付き）、ＲＤＰＣＭ／ＱＲ－ＢＤＰＣＭモードなどの変換を適用しないコーディング方法）に依存する。

【0162】

（ａ）一実施例において、位置依存クリッピングは、特定の変換タイプでコード化されたブロック（例えば、変換スキップコード化ブロック）に位置するようにフィルタリングされるサンプルに対してディセーブルにされ得る。

【0163】

（ｉ）あるいは、さらに、フィルタリングされるべき全てのサンプルは、同じクリッピングパラメータを使用する。

【0164】

（ｂ）一実施例において、位置依存クリッピングパラメータは、そのブロックに適用される変換マトリックスに基づいて依存し得る。

【0165】

（ｃ）一実施例において、ＤＢは、変換スキップモードのブロック又はＲＤＰＣＭモードなどの変換を適用しないコーディング方法のブロックに対して実行されない場合がある。

【0166】

実施例３：クリッピング動作及び／又は位置依存クリッピングは、次の条件に基づいてディセーブルにされ得る：

【0167】

（ａ）ビデオコンテンツ（画面コンテンツ、自然コンテンツ等）

【0168】

（ｂ） ＳＰＳ／ＶＰＳ／ＰＰＳ／ＰＰＳ／画像ヘッダ／スライスヘッダ／タイルグループヘッダ／最大コーディングユニット（ＬＣＵ）／コーディングユニット（ＣＵ）／ＬＣＵ列／ＬＣＵｓグループにシグナリングされたメッセージ

【0169】

実施例４：ＤＢをイネーブルにするかどうか、及び／又は、ＤＢプロセスでフィルタリングを適用する方法は、コンバインド・イントラ・インター予測（ＣＩＩＰ：Ｃｏｍｂｉｎｅｄ Ｉｎｔｒａ－Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）の使用法に依存し得る。

【0170】

（ａ）一実施例において、ＣＩＩＰ符号化ブロックは、イントラコーディングブロックと同様に扱うことができる。

【0171】

（ｂ）一実施例において、エッジを横切る２つのブロックのうちの少なくとも１つがＣＩＩＰモードでコード化される場合、境界強度は２に設定される。

【0172】

（ｃ）あるいは、エッジを横切る２つのブロックのうち一方のみがＣＩＩＰモードでコード化され、他方がインターコード化される場合、境界強度は１に設定される。

【0173】

（ｄ）あるいは、エッジを横切る２つのブロックのうちの一方のみがＣＩＩＰモードでコード化され、他方がインターコード化又はＩＢＣコード化される場合、境界強度は１に設定される。

【0174】

実施例５：ＩＢＣコード化ブロックの境界強度（ＢＳ）は、動きベクトル差から独立であり得る。

【0175】

（ａ）一実施例では、隣接するブロックが両方ともＩＢＣコード化される場合、境界強度は、ＭＶ差に関係なく、また非ゼロ係数があるかどうかに関係なく、Ｍ（例えば、Ｍ＝０／１／２）に設定される。

【0176】

（ｂ）あるいは、ＢＳは、水平及び／又は垂直ＭＶ差がＭ０／Ｍ１－ｐｅｌｓ より大きいかどうかに依存する（Ｍ＞１）。

【0177】

（ｉ）一実施例において、Ｍ０とＭ１は両方とも４に設定される。

【0178】

（ｉｉ）一実施例において、Ｍ０は水平コンポーネントのＭＶ差に対して最小ＣＵ幅に設定され、Ｍ１は水平コンポーネントのＭＶ差に対して最小ＣＵ高さに設定される。

【0179】

（ｉｉｉ）一実施例において、水平コンポーネントのＭＶ差に対してＭ０が最小許容ＩＢＣコード化ＣＵ幅に設定され、水平コンポーネントのＭＶ差に対してＭ１が最小許容ＩＢＣコード化ＣＵ高さに設定される。

【0180】

（ｃ）あるいは、ＤＢは、２つのＩＢＣコード化ブロック間の境界には適用されない場合がある。

【0181】

（ｄ）あるいは、ＩＢＣコード化ブロックのサンプルにＤＢを適用されない場合がある。

【0182】

実施例６：Ｐ側又はＱ側の境界強度（ＢＳ）値が異なり得る。

【0183】

（ａ）一実施例において、Ｐ側又はＱ側のブロックは、それ自身の境界強度を有し得る。
Ｐ側又はＱ側で実施したデブロッキンングは、それぞれＰ側又はＱ側でのＢＳ値に基づき得る。

【0184】

（ｉ）一実施例において、Ｐ側のブロックがイントラブロックであり、Ｑ側のブロックがＲＤＰＣＭコード化ブロックである場合、デブロッキング条件はＰ側でチェックされ、デブロッキングはＰ側でのみ実行され得る。

【0185】

（ｉｉ）一実施例において、Ｐ側又はＱ側のＢＳは、両側のＱＰに依存し得る。

【0186】

（ｉｉｉ）一実施例において、Ｐ側又はＱ側のＢＳは、両側で使用されるＬＭＣＳ係数に依存し得る。

【0187】

実施例７：ＲＤＰＣＭコード化ブロックは、デブロッキングにおけるイントラブロックとして取り扱われることができる。

【0188】

（ａ）一実施例において、境界強度（ＢＳ）値は、ＲＤＰＣＭコード化ブロックがＰ側及び／又はＱ側にある場合、１又は２に設定され得る。

【0189】

実施例８：三角モードコード化ブロック内の斜めエッジは、デブロッキングされ得る。

【0190】

（ａ）一実施例において、現在ＶＶＣにおけるデブロッキングフィルタ及び／又はデブロッキング制御ロジックは、三角モードコード化ブロックにおける傾斜エッジにも適用し得る。

【0191】

実施例９：

【0192】

（ａ）一実施例において、パレットコード化ブロックがＱ側にあり、パレットモードでコード化されていないブロックがＰ側にある場合、デブロッキングをＰ側に適用し得る。

【0193】

（ｂ）一実施例において、パレットコード化ブロックがＰ側にあり、パレットモードでコード化されていないブロックがＱ側にある場合、デブロッキングをＱ側に適用し得る。

【0194】

（ｃ）一実施例において、Ｐ側及びＱ側の両方がパレットコード化ブロックである場合、デブロッキングは、両側に適用されない場合がある。

【0195】

実施例１０：ＤＭＶＲ又は他のデコーダ側動き洗練化コーディングツールでコード化された１つのブロック内のサブ領域は、サブブロック境界として取り扱われることがあり、フィルタリングされ得る。

【0196】

（ａ）一実施例において、サブ領域は、動きベクトル精密化が適用されるサブユニットとして定義される。

【0197】

（ｉ）一実施例において、サブ領域は、ＤＭＶＲコード化ブロック内のＭｘＮサブブロックとして定義され、ここで、Ｍ及びＮは、６４又は１６に設定され得る。

【0198】

実施例１１：ＤＢプロセスでＤＢをイネーブルにするかどうか、及び／又は、フィルタリングを適用する方法は、二次変換（別名、ＮＳＳＴ又はＲＳＴ又はＬＦＮＳＴ）が適用されるか否かに依存する。

【0199】

（ａ）一実施例において、ＲＳＴが適用されるサブ領域の境界は、変換ブロック境界又はコーディングサブブロック境界として取り扱われることができる。

【0200】

（ｉ）あるいは、ＲＳＴ適用サブ領域にあるサンプルは、フィルタリングされることもできる。

【0201】

（ｉｉ）あるいは、位置依存クリッピングは、ＲＳＴ適用サブ領域に対してディセーブルであり得る。

【0202】

実施例１２：デブロッキングがアフィンモードブロック内のサブブロック境界（例えば、インナーサブブロック境界）で実行されるかどうかは、インターウェーブ予測又は／及びＰＲＯＦ又は／及び位相変形アフィンサブブロック動き補償がブロックに適用されるかどうかに依存し得る。

【0203】

（ａ）一実施例において、デブロッキングは、インターウェーブ予測又は／及びＰＲＯＦ又は／及び位相変形アフィンサブブロック動き補償がブロックに適用されるときにディセーブルにされ得る。

【0204】

（ｂ）デブロッキングは、インターウェーブ予測又は／及びＰＲＯＦ又は／及び位相変形アフィンサブブロック動き補償がブロックに適用されない場合にイネーブルにされ得る。

【0205】

図１２は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法１２００のフローチャートを示す。ビデオ処理のための方法１２００は、ステップ１２１０において、ビデオブロックと、ビデオブロックのビットストリーム表現と、の間のコンバートに適用可能なコーディングスキームを決定するステップと、ステップ１２２０において、コーディングスキームの決定に基づいて、デブロッキングフィルタ（ＤＢ）プロセス、サンプル適応オフセット（ＳＡＯ）及び適用ループフィルタリング（ＡＬＦ）のうちの少なくとも１つを含むインループフィルタリングプロセスのモードを決定するステップと、ステップ１２３０において、インループのフィルタリングモードを使用するコンバートを実行するステップと、を含む。ビデオ処理のための方法１２００に関する付加的な特徴は、上記の実施例１、実施例２、実施例３、実施例１１で見出される。

【0206】

図１３は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法１３００のフローチャートを示す。ビデオ処理のための方法１３００は、ステップ１３１０において、コンバインド・イントラ・インター予測（ＣＩＩＰ）コーディングが現在ブロックに適用できると決定するステップと、ステップ１３２０において、現在ブロックと、現在ブロックのビットストリーム表現と、の間のコンバートを実行するステップと、ＣＩＩＰの使用に基づいて、デブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、ブロックと、垂直及び水平エッジとの間の境界を識別するステップと、境界強度を計算するステップと、フィルタをオン又はオフにするべきかどうか決めるステップと、フィルタ強度を選択するステップと、を含む。ビデオ処理のための方法１３００に関する付加的な特徴は、上記の実施例４で見出される。

【0207】

図１４は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法１４００のフローチャートを示す。ビデオ処理のための方法１４００は、ステップ１４１０において、隣接するブロックが両方ともイントラブロックコピー（ＩＢＣ）コード化されるかどうかを決定するステップと、ステップ１４２０において、その決定に基づいて、ブロックと、垂直及び水平エッジとの間の境界を識別するステップ、境界強度を計算するステップ、フィルタをオン又はオフにするべきかどうか決めるステップ、及び、フィルタ強度を選択するステップ、によって、デブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、を含む。境界強度は、動きベクトル差から独立である。ビデオ処理のための方法１４００に関する付加的な特徴は、上記の実施例５で見出される。

【0208】

図１５は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法１５００のフローチャートを示す。ビデオ処理のための方法１５００は、ステップ１５１０において、Ｐ側及びＱ側で境界強度を決定するステップと、ステップ１５２０において、その決定に基づいて、ブロックと、垂直及び水平エッジとの間の境界を識別するステップ、境界強度を計算するステップ、フィルタをオン又はオフにするべきかどうか決めるステップ、及び、フィルタ強度を選択するステップ、によって、Ｐ側及びＱ側におけるデブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、を含む。ビデオ処理のための方法１５００に関する付加的な特徴は、上記の実施例６で見出される。

【0209】

図１６は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法のフローチャート１６００を示す。ビデオ処理のための方法１６００は、ステップ１６１０において、残差差分パルスコード変調（ＲＤＰＣＭ）コード化ブロックを決定するステップと、ステップ１６２０において、その決定に基づいて、ブロックと、垂直及び水平エッジとの間の境界を識別するステップ、境界強度を計算するステップ、フィルタをオン又はオフにするべきかどうか決めるステップ、及び、フィルタ強度を選択するステップ、によって、Ｐ側及びＱ側におけるデブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、を含む。ＲＤＰＣＭコード化ブロックは、デブロッキングフィルタ（ＤＢ）プロセスのイントラブロックとして取り扱われる。ビデオ処理のための方法１６００に関する付加的な特徴は、上記の実施例７で見出される。

【0210】

図１７は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法１７００のフローチャートを示す。ビデオ処理のための方法１７００は、ステップ１７１０において、三角モードコード化ブロックの斜めエッジを決定するステップと、ステップ１７２０において、その決定に基づいて、ブロックと、垂直及び水平エッジとの間の境界を識別するステップ、境界強度を計算するステップ、フィルタをオン又はオフにするべきかどうか決めるステップ、及び、フィルタ強度を選択するステップ、によって、斜めエッジのデブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、を含む。ビデオ処理のための方法１７００に関する付加的な特徴は、上記の実施例８で見出される。

【0211】

図１８は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法１８００のフローチャートを示す。ビデオ処理のための方法１８００は、ステップ１８１０において、パレットコード化ブロックがＰ側又はＱ側にあるかどうか決定するステップと、ステップ１７２０において、その決定に基づいて、ブロックと、垂直及び水平エッジとの間の境界を識別するステップ、境界強度を計算するステップ、フィルタをオン又はオフにするべきかどうか決めるステップ、及び、フィルタ強度を選択するステップ、によって、斜めエッジにデブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、を含む。デブロックフィルタ（ＤＢ）プロセスは、パレットコード化ブロックがＰ側又はＱ側にある場合に一方の側に適用される。ビデオ処理のための方法１８００に関する付加的な特徴は、上記の実施例８で見出される。

【0212】

図１９は、開示された技術のいくつかの実施形態に基づくビデオ処理のための例示的方法１９００のフローチャートを示す。ビデオ処理のための方法１９００は、ステップ１９１０において、デコーダ側動きベクトル洗練化（ＤＭＶＲ）又は他のデコーダ側動き洗練化コード化ツールでコード化された１つのブロック内でサブ領域を決定するステップと、ステップ１９２０において、その決定に基づいて、ブロックと、垂直及び水平エッジとの間の境界を識別するステップ、境界強度を計算するステップ、フィルタをオン又はオフにするべきかどうか決めるステップ、及び、フィルタ強度を選択するステップ、サブ領域上でデブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、を含む。ビデオ処理のための方法１９００に関する付加的な特徴は、上記の実施例１０で見出される。

【0213】

図２０は、ビデオ処理装置２０００のブロック図である。装置２０００は、本明細書に記載される１つ以上の方法を実装するために使用され得る。装置２０００は、スマートフォン、タブレット、コンピュータ、Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ（ＩｏＴ）受信機などで具体化することができる。装置２０００は、１つ以上のプロセッサ６０２、１つ以上のメモリ２００４、及びビデオ処理ハードウェア２００６を含み得る。（１つ以上の）プロセッサ２００２は、本明細書に記載されている１つ以上の方法（方法１２００～１９００を含むがこれに限らず）を実施するように構成され得る。（１つ以上の）メモリ２００４は、ここに記載される方法及び技術を実施するために使用されるデータ及びコードを記憶するために使用され得る。ビデオ処理ハードウェア２００６は、ハードウェア回路において、本文書に記載されるいくつかの技術を実装するために使用され得る。

【0214】

いくつかの実施形態では、ビデオコーディング方法は、図２０に関して説明したようにハードウェアプラットフォーム上に実装される装置を使用して実装され得る。

【0215】

図２１は、本明細書に開示される様々な技術を実装し得る例示的なビデオ処理システム２１００を示すブロック図である。様々な実装は、システム２１００の構成要素の一部又は全部を含んでもよい。

【0216】

システム２１００は、ビデオコンテンツを受信するための入力２１０２を含むことができる。ビデオコンテンツは、生若しくは非圧縮フォーマット、例えば、８又は１０ビットのマルチコンポーネント画素値で受信されてもよく、又は、圧縮若しくはエンコードされたフォーマットで受信され得る。入力２１０２は、ネットワークインタフェース、周辺バスインタフェース、又は記憶インタフェースを表し得る。ネットワークインタフェースの例には、イーサネット、受動光ネットワークなどの有線インタフェース、及び、Ｗｉ－Ｆｉ又はセルラーインタフェースなどの無線インタフェースが含まれる。システム２１００は、本文書に記載される種々のコーディング又はエンコーディング方法を実装し得るコーディングコンポーネント２１０４を含み得る。コーディングコンポーネント２１０４は、コーディングコンポーネント２１０４の入力７０２から出力へのビデオの平均ビットレートを低減して、ビデオのコーディング表現を生成することができる。したがって、コーディング技術は、ビデオ圧縮又はビデオトランスコーディング技術と称されることがある。コーディングコンポーネント２１０４の出力は、コンポーネント２１０６によって表されるように、記憶されるか、又は接続された通信を介して送信され得る。入力２１０２で受信されたビデオの格納された又は通信されたビットストリーム（又はコーディングされた）表現は、表示インタフェース２１１０に送られる画素値又は表示可能なビデオを生成するために、コンポーネント２１０８によって使用され得る。ビットストリーム表現からユーザ可視の（ｕｓｅｒ－ｖｉｅｗａｂｌｅ）ビデオを生成するプロセスは、ビデオ解凍と称されることがある。さらにまた、特定のビデオ処理動作は、「コーディング」動作又はツールと称され、コーディングツール又は動作は、エンコーダで使用され、コーディングの結果をリバースする対応するデコーディングツール又は動作は、デコーダで実行されることが理解されるであろう。

【0217】

周辺バスインタフェース又はディスプレイインタフェースの実施例は、ユニバーサルシリアルバス（ＵＳＢ）又は高精細度マルチメディアインタフェース（ＨＤＭＩ（登録商標））又はディスプレイポートなどを含み得る。記憶インタフェースの実施例は、ＳＡＴＡ（シリアル・アドバンスド・テクノロジー・アタッチメント）、ＰＣＩ、ＩＤＥインタフェースなどが挙げられる。本明細書に記載される技術は、携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び／又はビデオ表示を実行することができる他のデバイスなどの種々の電子デバイスに具体化することができる。

【0218】

図２２は、ビジュアルメディア処理のための例示的方法のフローチャートを示す。このフローチャートのステップは、本明細書のセクション１２の実施例４に関連して述べられる。ステップ２２２０において、プロセスは、２つのビデオブロックの垂直エッジ及び／又は水平エッジにおける境界を識別する。ステップ２２０４において、プロセスは、垂直エッジ又は水平エッジを横切る前記２つのビデオブロックのうちの少なくとも１つに基づいてフィルタの境界強度を計算し、コンバインド・インター・イントラ予測（ＣＩＩＰ）モードを用いてコード化される。ステップ２２０６において、プロセスは、フィルタをオン又はオフにするべきかどうか決める。ステップ２２０８において、プロセスは、フィルタをオンにする場合のフィルタの強度を選択する。ステップ２２１０において、プロセスは、その選択に基づいて、ビデオブロックへのデブロッキングフィルタ（ＤＢ）プロセスを実行する。

【0219】

図２３は、ビジュアルメディア処理のための例示的方法のフローチャートを示す。このフローチャートのステップは、本明細書のセクション１２の実施例１に関連して述べられる。ステップ２３０２において、プロセスは、ビジュアルメディアデータのビデオブロックとビデオブロックのビットストリーム表現との間のコンバートに適用可能なコーディングスキームを決定する。コーディングスキームの決定に基づいて、ステップ２３０４において、プロセスは、ビデオブロックのコンバート中に、ビデオブロックへのインループフィルタの適用を選択的にイネーブル又はディセーブルにする。

【0220】

図２４は、ビジュアルメディア処理のための例示的方法のフローチャートを示す。このフローチャートのステップは、本明細書のセクション１２の実施例２に関連して述べられる。ステップ２４０２において、プロセスは、ビジュアルメディアデータのビデオブロックと、ビデオブロックのビットストリーム表現との間のコンバートに適用可能な変換マトリックスのタイプを決定する。変換マトリックスのタイプの決定に基づいて、ステップ２４０４において、プロセスは、ビデオブロックのコンバート中に、ビデオブロックへのデブロッキング（ＤＢ）フィルタプロセスの適用を選択的にイネーブル又はディセーブルにする。

【0221】

図２５は、ビジュアルメディア処理のための例示的方法のフローチャートを示す。このフローチャートのステップは、本明細書のセクション１２の実施例４に関連して述べられる。ステップ２５０２において、ビジュアルメディアデータのビデオブロックと前記ビデオブロックのビットストリーム表現との間のコンバート中に、プロセスは、ビデオブロックへのインループフィルタリングステップの適用を決定し、インループフィルタリングステップは、フィルタされるべきビデオブロック内のサンプルに適用されるクリッピング動作を含む。ステップ２５０４において、プロセスは、ビデオブロックに関連する１つ以上の条件を決定することに応答して、前記クリッピング動作を選択的にイネーブル又はディセーブルにする。

【0222】

本明細書に開示されるいくつかの実施形態は、ここで、条項ベースの形式で提示されている。

【0223】

Ｘ１． ビジュアルメディア処理のための方法であって、

【0224】

２つのビデオブロックの垂直エッジ及び／又は水平エッジにおける境界を識別するステップと、

【0225】

垂直エッジ又は水平エッジを横切る（ｃｒｏｓｓｉｎｇ）２つのビデオブロックのうちの少なくとも１つに基づくフィルタの境界強度の計算は、コンバインド・インター・イントラ予測（ＣＩＩＰ）モードを用いてコード化されるステップと、

【0226】

フィルタをオン又はオフにするべきかどうか決めるステップと、

【0227】

フィルタをオンにする場合のフィルタの強度を選択するステップと、

【0228】

その選択に基づいて、ビデオブロックへのデブロッキングフィルタ（ＤＢ）プロセスを実行するステップと、
を含む。

【0229】

Ｘ２． 条項Ｘ１の方法であって、ＣＩＩＰコード化ブロックは、境界強度の計算において、イントラコード化ブロックとして処理される。

【0230】

Ｘ３． 条項Ｘ１の方法であって、境界強度は、垂直又は水平エッジを横切る２つのビデオブロックのうちの少なくとも１つがＣＩＩＰでコード化される場合に、２として選択される。

【0231】

Ｘ４． 条項Ｘ１の方法であって、境界強度は、垂直又は水平エッジを横切る２つのブロックのうちの一方のみがＣＩＩＰでコード化され、他方のビデオブロックがインターコード化される場合に、１として選択される。

【0232】

Ｘ５． 条項Ｘ１の方法であって、境界強度は、エッジを横切る２つのブロックのうちの１つのみがＣＩＩＰでコード化され、他方のビデオブロックがインター又はイントラブロックコピー（ＩＢＣ）コード化される場合に、１として選択される。

【0233】

Ａ１． ビジュアルメディア処理のための方法であって、

【0234】

ビジュアルメディアデータのビデオブロックとビデオブロックのビットストリーム表現との間のコンバートに適用可能なコーディングスキームを決定するステップと、

【0235】

前記コーディングスキームの決定に基づいて、前記ビデオブロックのコンバート中に、前記ビデオブロックへのインループフィルタの適用を選択的にイネーブル又はディセーブルにするステップと、
を含む。

【0236】

Ａ２． 条項Ａ１の方法であって、インループフィルタは、デブロッキングフィルタ（ＤＢ）、サンプル適応オフセット（ＳＡＯ）フィルタ、及び／又は適応ループフィルタのうちの１つを含む。

【0237】

Ａ３． 条項Ａ１～Ａ２のいずれかの方法であって、コーディングスキームは、予測サンプル及び／又は動き情報及び／又は再構成サンプルを洗練化するためのオプティカルフローの使用を含む。

【0238】

Ａ４． 条項Ａ３の方法であって、予測サンプルを洗練化するためのオプティカルフローを使用するコーディングスキームは、双方向オプティカルフロー（ＢＤＯＦ）を含む。

【0239】

Ａ５． 条項Ａ４の方法であって、コーディングスキームの決定は、予測サンプルが双方向オプティカルフロー（ＢＤＯＦ）内に位置するかどうかを識別することを含み、予測サンプルが双方向オプティカルフロー（ＢＤＯＦ）内に位置するという決定に応答して、ループ内フィルタの適用をディセーブルにする。

【0240】

Ａ６． 条項Ａ５の方法であって、インループフィルタの境界強度及び／又はフィルタ強度のうちの少なくとも１つは、双方向オプティカルフロー（ＢＤＯＦ）の使用に基づいて決定される。

【0241】

Ａ７． 条項Ａ４の方法であって、
コーディングスキームの決定は、予測サンプルが双方向オプティカルフロー（ＢＤＯＦ）内に位置するかどうかを識別することを含み、
インループフィルタの適用は、予測サンプルが双方向オプティカルフロー（ＢＤＯＦ）内に位置することを決定することに応答してイネーブルにされ、
さらに、インループフィルタは、ＢＤＯＦ内に位置しない予測サンプルに関連する他のインループフィルタよりも弱い強度を有する。

【0242】

Ｂ１． ビジュアルメディア処理のための方法であって、

【0243】

ビジュアルメディアデータのビデオブロックとそのビデオブロックのビットストリーム表現との間のコンバートに適用可能な変換マトリックスのタイプを決定するステップと、

【0244】

変換マトリックスのタイプの決定に基づいて、ビデオブロックのコンバート中に、そのビデオブロックへのデブロッキング（ＤＢ）フィルタプロセスの適用を選択的にイネーブル又はディセーブルにするステップと、
を含む。

【0245】

Ｂ２． 条項Ｂ１の方法であって、変換マトリックスのタイプは、ＤＣＴ－ＩＩ、ＤＳＴ－ＶＩＩ、ＤＣＴ－ＶＩＩＩ及び／又は変換スキップモードを含む。

【0246】

Ｂ３． 条項Ｂ１～Ｂ２のいずれかの方法であって、デブロッキングフィルタリングプロセスの前記適用は、クリッピング動作をさらに含む。

【0247】

Ｂ４． 条項Ｂ３の方法であって、クリッピング動作は、ＤＢフィルタに関してビデオブロックのサンプルの位置に基づいて、位置に依存する。

【0248】

Ｂ５． 条項Ｂ４の方法であって、変換スキップコード化ビデオブロック内のサンプルに対して、クリッピング動作は、ディセーブルである。

【0249】

Ｂ６． 条項Ｂ５の方法であって、デブロッキングフィルタ（ＤＢ）プロセスは、変換スキップコード化ブロック上で、又は、ビデオブロックコーディングが変換ベースコーディング技術から免除され（ｅｘｅｍｐｔ）るという決定に応じて、デブロックフィルタ（ＤＢ）プロセスはディセーブルである。

【0250】

Ｂ７． 条項Ｂ６の方法であって、変換ベースコーディング技術は、残差差分パルスコード変調（ＲＤＰＣＭ：ｒｅｓｉｄｕｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｐｕｌｓｅ－ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）又は量子化残差差分パルスコード変調（ＱＲ－ＢＤＰＣＭ）を含む。

【0251】

Ｂ８． 条項Ｂ３の方法であって、ＤＢフィルタプロセスがサンプルのセット上でイネーブルである場合、そのセットに含まれる全てのサンプルは、クリッピング動作の同じパラメータに付される。

【0252】

Ｂ９． 条項Ｂ４の方法であって、位置に依存するクリッピング動作のパラメータは、コンバートに適用できる変換マトリックスの基底関数に関連する。

【0253】

Ｃ１． ビジュアルメディア処理のための方法であって、

【0254】

ビジュアルメディアデータのビデオブロックとビデオブロックのビットストリーム表現との間のコンバート中に、ビデオブロックへのインループフィルタリングステップの適用を決定するステップであって、インループフィルタリングステップは、フィルタされるべきビデオブロック内のサンプルに適用されるクリッピング動作を含む、ステップと、

【0255】

ビデオブロックに関連する１つ以上の条件を決定することに応答して、クリッピング動作を選択的にイネーブルにし又はディセーブルにするステップと、
を含む。

【0256】

Ｃ２． 条項Ｃ１の方法であって、ビデオブロックに関係する１つ以上の条件は、

【0257】

（ａ）ビデオブロックの内容、又は、

【0258】

（ｂ）シーケンスパラメータセット（ＳＰＳ）／ビデオパラメータセット（ＶＰＳ）／画像パラメータ一セット（ＰＰＳ）／画像ヘッダ／スライスヘッダ／タイルグループヘッダ／最大コーディングユニット（ＬＣＵ）／コーディングユニット（ＣＵ）／ＬＣＵ列／ＬＣＵグループに含まれるフィールド、
を含む。

【0259】

Ｃ３． 条項Ｘ１～Ｃ２のいずれかの方法であって、コンバートは、ビデオブロックからのビットストリーム表現を生成するステップを含む。

【0260】

Ｃ４． 条項Ｘ１～Ｃ２のいずれかの方法であって、コンバートは、ビットストリーム表現からのビデオブロックの画素値を生成するステップを含む。

【0261】

Ｃ５． 条項Ｘ１～Ｃ２のうちの１つ以上に記載された方法を実装するように構成されたプロセッサを含むビデオエンコーダ装置。

【0262】

Ｃ６． 条項Ｘ１～Ｃ２のうちの１つ以上に記載された方法を実装するように構成されたプロセッサを含むビデオデコーダ装置。

【0263】

Ｃ７． 格納されたコードを有するコンピュータ可読媒体であって、コードは、条項Ｘ１～Ｃ２のうちの１つ以上に記載された方法を、プロセッサによって実装するために、プロセッサ実行可能命令を実施する、

【0264】

本文書において、「ビデオ処理」又は「ビジュアルメディア処理」という用語は、ビデオエンコーディング、ビデオデコーディング、ビデオ圧縮又はビデオ解凍を指すことができる。例えば、ビデオ圧縮アルゴリズムは、ビデオの画素表現から対応するビットストリーム表現へ、又はその逆へのコンバートの間に適用されてもよい。現在ビデオブロックのビットストリーム表現は、例えば、構文によって定義されるように、ビットストリーム内の異なる場所に同時配置されるか又は拡散されるビットに対応し得る。例えば、ブロックは、変換されコーディングされたエラー残差値の観点から、また、ビットストリーム内のヘッダ及び他のフィールド内のビットを使用してコーディングされ得る。本願明細書において、ブロックは、コーディングユニット又は予測ユニット又は変換ユニット等の、実行される動作による画素のグループ化であり得る。さらに、コンバート中に、デコーダは、上記の解決策で説明されているように、決定に基づいて、いくつかのフィールドが存在するか、又は存在しない可能性があるという知識でビットストリームを解析することができる。同様に、エンコーダは、特定の構文フィールドが含まれるか含まれないかを決定し、それに応じて、コード化表現から構文フィールドを含めるか除外することによって、コード化表現を生成することができる。

【0265】

上記のことから、本明細書において、説明の目的で、本開示の技術の特定の実施形態を説明したが、本発明の範囲を逸脱することなく、種々の変更を行うことができることが理解されるであろう。したがって、現在開示されている技術は、添付の特許請求の範囲による場合を除き、限定されない。

【0266】

この特許文献に記載されている主題の実装及び機能動作は、本明細書に開示されている構造及びそれらの構造的均等物を含む、種々のシステム、デジタル電子回路、又はコンピュータ・ソフトウェア、ファームウェア、もしくはハードウェアにおいて、又はそれらの１つ以上の組み合わせにおいて実施することができる。本明細書に記載された主題の実装は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行するために、又はデータ処理装置の動作を制御するための、有形及び非一時的コンピュータ読み取り可能媒体上にエンコードされたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。コンピュータ読取可能媒体は、機械読取可能記憶装置、機械読取可能記憶基板、メモリデバイス、機械読取可能伝搬信号に影響を与える事項の合成、又はそれらの１つ以上の組み合わせであり得る。用語「データ処理ユニット」又は「データ処理装置」は、例えば、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ又はコンピュータを含む、データを処理するためのすべての装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組み合わせを構成するコードを含むことができる。

【0267】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル又は解釈された言語を含む、任意の形態のプログラミング言語で書かれることができ、それは、スタンドアロンプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、又は他のユニットとして、を含む、任意の形態で展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するものではない。プログラムは、他のプログラム又はデータを保持するファイルの一部分（例えば、マークアップ言語文書に記憶される１つ以上のスクリプト）、問題のプログラム専用の単一ファイル、又は複数のコーディネイトファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの一部分を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータ又は１つのサイトに配置されるか、又は複数のサイトに分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるようにデプロイすることができる。

【0268】

本明細書に記載されるプロセス及び論理フローは、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行することができ、入力データ上で動作して出力を生成することによって機能を実行することができる。プロセス及び論理フローはまた、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）などの特定目的論理回路（ｓｐｅｃｉａｌ ｐｕｒｐｏｓｅ ｌｏｇｉｃ ｃｉｒｃｕｉｔｒｙ）によって実行されることができ、また、装置は特定目的論理回路として実装されることができる。

【0269】

コンピュータプログラムの実行に適したプロセッサは、例えば、汎用及び専用マイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。概して、プロセッサは、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを記憶するための１つ以上のメモリデバイスである。概して、コンピュータはまた、データを記憶するための１つ以上の大容量記憶装置、例えば、磁気光ディスク、磁気光ディスク、又は光ディスクからデータを受信したり、そこにデータを転送したり、又はその両方のために動作可能に結合される。しかし、コンピュータは、かかるデバイスを有する必要はない。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ読取可能媒体は、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスのような半導体メモリデバイスを含む、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、特定目的論理回路によって補足されるか、又は内蔵され得る。

【0270】

明細書は、図面と共に、単に例示的とみなされるが、例示的は実施例を意味する。本明細書において、前後関係が別途明らかに指示しない限り、単数形「１つ（”ａ”，”ａｎ”）」及び「その（”ｔｈｅ”）」は複数形も含むことを目的とする。本明細書中で使用される場合、「又は」の使用は、文脈が他のことを明確に示さない限り、「及び／又は」を含むことが意図される。

【0271】

この特許文献には多くの詳細が含まれるが、これらは、いずれかの発明の範囲又は特許請求されることができるものを限定するものではなく、特定の発明の特定の実施形態に特有の特徴の説明と解釈されるべきである。別々の実施形態の文脈でこの特許文献に記載されている特定の特徴は、単一の実施形態で組み合わせて実施することもできる。反対に、単一の実施形態の文脈において説明される種々の特徴は、複数の実施形態において別々に、又は任意の適切なサブコンビネーションで実施することもできる。クレームされた組み合わせからの１つ以上の特徴として最初にそのようにクレームされたものであっても、はいくつかのケースではその組み合わせから切り離されることもでき、クレームされた組み合わせは、サブコンビネーション又はサブコンビネーション変形例に向けられることもできる。

【0272】

同様に、図面には特定の順序で操作又は動作が示されているが、これは、所望の結果を達成するために、かかる動作を、示された特定の順序で又は連続的な順序で実行すること、又は、例示されたすべての動作を実行することを要求するものとして理解されるべきではない。さらに、この特許文献に記載されている実施形態における種々のシステム構成要素の分離は、すべての実施形態においてかかる分離を必要とするものとして理解されるべきではない。

【0273】

この特許文献に記載され、説明されている内容に基づいて、少数の実施形態及び実施例のみが記載され、他の実施形態、拡張及び変形が行われ得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【手続補正書】

【提出日】2021-11-11

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオデータを処理する方法であって、
ビデオの２つのビデオブロックと、前記ビデオのビットストリームとの間のコンバート中の、前記２つのビデオブロックへのデブロッキングフィルタリングプロセスのために、前記２つのビデオブロックの垂直エッジ及び／又は水平エッジにおける境界を識別するステップと、
前記境界の境界強度を決定するステップと、
前記境界強度に基づいて、前記境界に対するフィルタをオンにするかオフにするかを決めるステップと、
前記フィルタをオンにする場合の前記フィルタの強度を選択するステップと、
前記選択に基づいて前記コンバートを実行するステップと、を含み、
前記垂直エッジ又は前記水平エッジを横切る前記２つのビデオブロックのうちの少なくとも１つが、コンバインド・インター・イントラ予測モードを用いてコード化される場合には、前記境界強度は２に等しく、
前記コンバインド・インター・イントラ予測モードにおいて、前記２つのビデオブロックのうちの少なくとも１つの予測信号を、少なくとも、イントラ予測信号及びインター予測信号に基づいて生成する、
方法。

【請求項2】

前記境界は、変換サブブロック境界、コーディングユニット境界又は予測サブブロック境界のうちの少なくとも１つである、
請求項１記載の方法。

【請求項3】

前記予測サブブロック境界は、サブブロックベースの時間動きベクトル予測モード又はアフィン動き補償モードによって導かれる予測ユニット境界を含む、
請求項２項記載の方法。

【請求項4】

デブロッキングフィルタリングプロセスは、予測サブブロック境界線の８×８グリッドに適用される、
請求項１乃至３いずれか１項記載の方法。

【請求項5】

前記２つのビデオブロックの両方がイントラブロックコピー予測モードを用いてコード化される場合、前記２つのビデオブロックの予測に用いられるブロックベクトルの水平又は垂直コンポーネント間の絶対差が閾値以上かどうかに基づいて、前記境界強度を決定する、
請求項１乃至４いずれか１項記載の方法。

【請求項6】

前記２つのビデオブロックの予測において、異なる参照画像又は異なる動きベクトルの数が用いられるかどうかに基づいて、前記境界強度を決定する、
請求項１乃至４いずれか１項記載の方法。

【請求項7】

前記境界のいずれかの一側におけるサンプルがラージブロックに属する場合、前記デブロッキングフィルタリングプロセスにおいて強デブロッキングフィルタが用いられ、ここで、前記ラージブロックに属するサンプルは、前記垂直エッジについては幅が３２以上であり、前記水平エッジについては高さが３２以上である場合に定義される、
請求項１乃至６いずれか１項記載の方法。

【請求項8】

強デブロッキングフィルタは、バイリニアフィルタである。
請求項７記載の方法。

【請求項9】

前記コンバートは前記２つのビデオブロックをビットストリームにエンコードすることを含む、
請求項１乃至８いずれか１項記載の方法。

【請求項10】

前記コンバートは前記２つのビデオブロックをビットストリームからデコードすることを含む、
請求項１乃至９いずれか１項記載の方法。

【請求項11】

ビデオデータを処理するための装置であって、プロセッサと、命令を有する非一時的メモリとを備え、
前記命令は、前記プロセッサによって実行される際に、前記プロセッサに：
ビデオの２つのビデオブロックと、前記ビデオのビットストリームとの間のコンバート中の、前記２つのビデオブロックへのデブロッキングフィルタリングプロセスのために、前記２つのビデオブロックの垂直エッジ及び／又は水平エッジにおける境界を識別させ、
前記境界の境界強度を決定させ
前記境界強度に基づいて、前記境界に対するフィルタをオンにするかオフにするかを決めさせ、
前記フィルタをオンにする場合の前記フィルタの強度を選択させ、
前記選択に基づいて前記コンバートを実行させ、
前記垂直エッジ又は前記水平エッジを横切る前記２つのビデオブロックのうちの少なくとも１つが、コンバインド・インター・イントラ予測モードを用いてコード化される場合には、前記境界強度は２に等しく、
前記コンバインド・インター・イントラ予測モードにおいて、前記２つのビデオブロックのうちの少なくとも１つの予測信号は、少なくとも、イントラ予測信号及びインター予測信号に基づいて生成される、
装置。

【請求項12】

命令を格納する非一時的コンピュータ読み出し可能格納媒体であって、
前記命令はプロセッサに、
ビデオの２つのビデオブロックと、前記ビデオのビットストリームとの間のコンバート中の、前記２つのビデオブロックへのデブロッキングフィルタリングプロセスのために、前記２つのビデオブロックの垂直エッジ及び／又は水平エッジにおける境界を識別させ、
前記境界の境界強度を決定させ
前記境界強度に基づいて、前記境界に対するフィルタをオンにするかオフにするかを決めさせ、
前記フィルタをオンにする場合の前記フィルタの強度を選択させ、
前記選択に基づいて前記コンバートを実行させ、
前記垂直エッジ又は前記水平エッジを横切る前記２つのビデオブロックのうちの少なくとも１つが、コンバインド・インター・イントラ予測モードを用いてコード化される場合には、前記境界強度は２に等しく、
前記コンバインド・インター・イントラ予測モードにおいて、前記２つのビデオブロックのうちの少なくとも１つの予測信号は、少なくとも、イントラ予測信号及びインター予測信号に基づいて生成される、
非一時的コンピュータ読み出し可能格納媒体。

【請求項13】

ビデオ処理装置によって実行される方法によって生成されるビデオのビットストリームを格納する非一時的コンピュータ読み出し可能格納媒体であって、前記方法は、
前記ビデオの２つのビデオブロックへのデブロッキングフィルタリングプロセスのために、前記２つのビデオブロックの垂直エッジ及び／又は水平エッジにおける境界を識別するステップと、
前記境界の境界強度を決定するステップと、
前記境界強度に基づいて、前記境界に対するフィルタをオンにするかオフにするかを決めるステップと、
前記フィルタをオンにする場合の前記フィルタの強度を選択するステップと、
前記選択に基づいてビットストリームを生成するステップと、を含み、
前記垂直エッジ又は前記水平エッジを横切る前記２つのビデオブロックのうちの少なくとも１つが、コンバインド・インター・イントラ予測モードを用いてコード化される場合には、前記境界強度は２に等しく、
前記コンバインド・インター・イントラ予測モードにおいて、前記２つのビデオブロックのうちの少なくとも１つの予測信号は、少なくとも、イントラ予測信号及びインター予測信号に基づいて生成される、
非一時的コンピュータ読み出し可能格納媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正の内容】

【0001】

関連出願の相互参照
本出願は、２０２０年５月１１日に出願された国際出願ＰＣＴ／ＣＮ２０２０／０８９５５７の国内段階であり、２０１９年５月１１日に出願された国際特許出願第ＰＣＴ／ＣＮ２０１９／０８６４８８号の優先権及び利益を適時に主張する。法に基づくすべての目的のために、前述の出願の開示全体は、本出願の開示の一部として引用により援用される。

【国際調査報告】