特表 2024-511652 組み合わせられたループフィルタ処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-14

(54)【発明の名称】組み合わせられたループフィルタ処理

(51)【国際特許分類】

   H04N 19/117 20140101AFI20240307BHJP

   H04N 19/182 20140101ALI20240307BHJP

   H04N 19/136 20140101ALI20240307BHJP

【ＦＩ】

H04N19/117

H04N19/182

H04N19/136

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023560449

(86)(22)【出願日】2022-01-31

(85)【翻訳文提出日】2023-11-28

(86)【国際出願番号】 SE2022050100

(87)【国際公開番号】W WO2022211693

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】63/167,803

(32)【優先日】2021-03-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】598036300

【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）

(74)【代理人】

【識別番号】100109726

【弁理士】

【氏名又は名称】園田 吉隆

(74)【代理人】

【識別番号】100150670

【弁理士】

【氏名又は名称】小梶 晴美

(74)【代理人】

【識別番号】100199705

【弁理士】

【氏名又は名称】仙波 和之

(74)【代理人】

【識別番号】100194294

【弁理士】

【氏名又は名称】石岡 利康

(72)【発明者】

【氏名】ストレム， ヤコブ

(72)【発明者】

【氏名】ウェナーストン， ペール

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159PP14

5C159PP15

5C159PP16

5C159RC11

5C159TA69

5C159TB08

5C159TC02

5C159TD13

5C159TD16

5C159UA02

5C159UA05

5C159UA16

(57)【要約】

１つまたは複数の画像を符号化するための方法が提供される。本方法は、第１のフィルタ処理された出力Ｉｆｉｒｓｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩｆｉｒｓｔ（ｘ，ｙ）を生成するために、第１のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することを含む。本方法は、第１のフィルタ処理された出力Ｉｆｉｒｓｔ（ｘ，ｙ）と、入力サンプルＩ（ｘ，ｙ）と、オリジナルサンプルＩｏｒｉｇ（ｘ，ｙ）とに少なくとも部分的に基づいて、第２のフィルタのためのパラメータを推定することを含む。本方法は、第２のフィルタ処理された出力Ｉｓｅｃｏｎｄ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩｓｅｃｏｎｄ（ｘ，ｙ）を生成するために、第２のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することであって、第２のフィルタで、フィルタ処理することが、第２のフィルタのために推定されたパラメータに少なくとも部分的に基づく、第２のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することを含む。本方法は、組み合わせられた出力ＩＣＯＭＢ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩｆｉｒｓｔ（ｘ，ｙ）＋ΔＩｓｅｃｏｎｄ（ｘ，ｙ）を生成することを含む。
【選択図】図１７

【特許請求の範囲】

【請求項1】

１つまたは複数の画像を符号化するための方法であって、前記方法は、
第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_{ｆｉｒｓｔ}（ｘ，ｙ）を生成するために、第１のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することと、
前記第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）と、前記入力サンプルＩ（ｘ，ｙ）と、オリジナルサンプルＩ_ｏｒｉｇ（ｘ，ｙ）とに少なくとも部分的に基づいて、第２のフィルタのためのパラメータを推定することと、
第２のフィルタ処理された出力Ｉ_{ｓｅｃｏｎｄ}（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_{ｓｅｃｏｎｄ}（ｘ，ｙ）を生成するために、前記第２のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することであって、前記第２のフィルタで、フィルタ処理することが、前記第２のフィルタのために推定された前記パラメータに少なくとも部分的に基づく、前記第２のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することと、
組み合わせられた出力Ｉ_ＣＯＭＢ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_{ｆｉｒｓｔ}（ｘ，ｙ）＋ΔＩ_{ｓｅｃｏｎｄ}（ｘ，ｙ）を生成することと
を含む、方法。

【請求項2】

前記第２のフィルタがサンプル適応オフセット（ＳＡＯ）フィルタを備える、請求項１に記載の方法。

【請求項3】

前記第２のフィルタのためのパラメータを推定することは、
前記入力サンプルＩ（ｘ，ｙ）中の各サンプルについて、前記サンプルに関連するクラスを識別することであって、前記サンプルに関連するクラスを識別することが、クラスのセットを生じ、クラスの前記セット中の各クラスが、前記クラスに関連するサンプルＩ（ｘ_ｉ，ｙ_ｉ）に対応する０個またはそれ以上の位置（ｘ_ｉ，ｙ_ｉ）に関連する、前記サンプルに関連するクラスを識別することと、
各クラスについて、（１）前記クラスに関連する各位置（ｘ_ｉ，ｙ_ｉ）について、前記第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ_ｉ，ｙ_ｉ）と前記オリジナルサンプルＩ_ｏｒｉｇ（ｘ_ｉ，ｙ_ｉ）との間の偏差を計算すること、および（２）計算された前記偏差に基づいてオフセットを決定することと
を含む、請求項２に記載の方法。

【請求項4】

（１）前記クラスに関連する各位置（ｘ_ｉ，ｙ_ｉ）について、前記第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ_ｉ，ｙ_ｉ）と前記オリジナルサンプルＩ_ｏｒｉｇ（ｘ_ｉ，ｙ_ｉ）との間の偏差を計算することが、

を算出することを含み、ここで、Ｎが、前記クラスに関連する位置（ｘ_ｉ，ｙ_ｉ）の数を表し、（２）計算された前記偏差に基づいてオフセットを決定することが、－ｒｏｕｎｄ（ｅｒｒ）として前記オフセットを算出することを含む、請求項３に記載の方法。

【請求項5】

前記第２のフィルタが適応ループフィルタ（ＡＬＦ）を備える、請求項１に記載の方法。

【請求項6】

前記第２のフィルタのためのパラメータを推定することは、
前記入力サンプルＩ（ｘ，ｙ）中の各サンプルについて、前記サンプルに関連するクラスを識別することであって、前記サンプルに関連するクラスを識別することが、クラスのセットを生じ、クラスの前記セット中の各クラスが、前記クラスに関連する前記サンプルＩ（ｘ_ｉ，ｙ_ｉ）に対応する０個またはそれ以上の位置（ｘ_ｉ，ｙ_ｉ）に関連する、前記サンプルに関連するクラスを識別することと、
各クラスについて、前記クラスに関連する各位置（ｘ_ｉ，ｙ_ｉ）について、前記第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ_ｉ，ｙ_ｉ）と前記オリジナルサンプルＩ_ｏｒｉｇ（ｘ_ｉ，ｙ_ｉ）との間の誤差を最小化するためのフィルタ係数を決定することと
を含む、請求項５に記載の方法。

【請求項7】

前記クラスに関連する各位置（ｘ_ｉ，ｙ_ｉ）について、前記第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ_ｉ，ｙ_ｉ）と前記オリジナルサンプルＩ_ｏｒｉｇ（ｘ_ｉ，ｙ_ｉ）との間の誤差を最小化するためのフィルタ係数を決定することが、ｅｒｒ＝Σ［Ｉ_{ｆｉｒｓｔ}（ｘ_ｋ，ｙ_ｋ）＋Ｆｉｌｔ（Ｉ（ｘ_ｋ，ｙ_ｋ））－Ｉ_ｏｒｉｇ（ｘ_ｋ，ｙ_ｋ）］^２を最小化することを含み、ここで、Ｆｉｌｔが、前記決定されたフィルタ係数を有するフィルタを表す、請求項６に記載の方法。

【請求項8】

前記第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）と、前記入力サンプルＩ（ｘ，ｙ）と、オリジナルサンプルＩ_ｏｒｉｇ（ｘ，ｙ）とに少なくとも部分的に基づいて、第２のフィルタのためのパラメータを推定することが、前記入力サンプルＩ（ｘ，ｙ）と変えられたオリジナルサンプルＩ_{ａｌｔｏｒｉｇ}（ｘ，ｙ）＝Ｉ_ｏｒｉｇ（ｘ，ｙ）－ΔＩ_{ｆｉｒｓｔ}（ｘ，ｙ）とに少なくとも部分的に基づいて、第２のフィルタのためのパラメータを推定することを含む、請求項１に記載の方法。

【請求項9】

前記第２のフィルタがバイラテラルフィルタ（ＢＩＦ）を備える、請求項１に記載の方法。

【請求項10】

第２のフィルタのための前記推定されたパラメータが、前記第２のフィルタのためのオン／オフスイッチを含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

エンコーダ（５００）の処理回路（５０２）によって実行されたとき、前記エンコーダ（５００）に、請求項１から１０のいずれか一項に記載の方法を実施させる命令（５４４）を備える、コンピュータプログラム（５４３）。

【請求項12】

請求項１１に記載のコンピュータプログラムを含んでいるキャリアであって、前記キャリアが、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体（５４２）のうちの１つである、キャリア。

【請求項13】

エンコーダ（５００）であって、ＵＥが、
処理回路（５０２）と、
メモリ（５４２）と
を備え、前記メモリが、前記処理回路によって実行可能な命令（５４４）を含んでおり、それにより、前記ＵＥが、請求項１から１０のいずれか一項に記載の方法を実施するように設定された、エンコーダ（５００）。

【請求項14】

１つまたは複数の画像を符号化するように設定されたエンコーダ（５００）であって、前記エンコーダが、請求項１から１０のいずれか一項に記載の方法を実施するように適応された、エンコーダ（５００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ビデオシーケンスおよび／または静止画像のコーディングおよび復号に関し、より詳細には、そのようなコーディングおよび復号において使用される組み合わせられたループフィルタ処理に関する。

【背景技術】

【0002】

ビデオシーケンスは、ピクチャとも呼ばれる、１つまたは複数の画像を含み得る。本開示では、画像およびピクチャという用語は互換的に使用される。スクリーン上で閲覧されるとき、画像はピクセルからなり、各ピクセルは、一般に、赤、緑および青の値（ＲＧＢ）を有する。しかしながら、ビデオシーケンスを符号化および復号するとき、画像は、しばしば、ＲＧＢを使用して表されないが、一般に、限定はしないが、ＹＣｂＣｒと、ＩＣＴＣＰと、非定輝度ＹＣｂＣｒと、定輝度ＹＣｂＣｒとを含む、別の色空間において表される。ＹＣｂＣｒの例をとる場合、ＹＣｂＣｒは、３つの成分、Ｙ、ＣｂおよびＣｒから構成される。ルーマと呼ばれ、輝度をほぼ表すＹは、フル解像度のものであるが、２つの他の成分、すなわち、クロマと呼ばれるＣｂおよびＣｒは、より小さい解像度のものであることがしばしばある。一般的な例は、１９２０×１０８０ＲＧＢピクセルを含んでいるＨＤビデオシーケンスであり、これは、しばしば、１９２０×１０８０解像度Ｙ成分と、９６０×５４０Ｃｂ成分と、９６０×５４０Ｃｒ成分とで表される。成分のエレメントは、サンプルと呼ばれる。上記の例では、したがって、Ｙ成分の１９２０×１０８０サンプルがあり、したがって、サンプルとピクセルとの間に直接の関係がある。したがって、本明細書では、ピクセルおよびサンプルという用語は、しばしば互換的に使用される。Ｃｂ成分およびＣｒ成分の場合、サンプルとピクセルとの間に直接の関係はなく、単一のＣｂサンプルが、一般に、いくつかのピクセルに影響を及ぼす。

【0003】

多くのビデオコーディング規格では、成分Ｙ、ＣｂおよびＣｒは、さらにブロックに区分される。一例として、アドバンストビデオコーディング（ＡＶＣ）では、画像は、同じ１６×１６ピクセルエリアを表す、１６×１６ Ｙサンプルおよび８×８ ＣｂおよびＣｒサンプルのマクロブロックに分割される。

【0004】

高効率ビデオコーディング（ＨＥＶＣ）では、画像は、コーディングツリーユニット（ＣＴＵ）に分割される。ＣＴＵは、ルーマサンプルのＮ×ＮブロックとＣｂのためのＭ×ＭクロマサンプルとＣｒのためのＭ×Ｍクロマサンプルとを有する。一例は、Ｎ＝６４およびＭ＝３２を使用することである。ＣＴＵは、４つの正方形ブロックにスプリットされ得、それらの正方形ブロックは、再帰的に、４つの正方形ブロックにスプリットされ得る。したがって、これは、ルートとしてのＣＴＵと、リーフとしてのコーディングユニット（ＣＵ）と呼ばれる正方形ブロックとをもつ、スプリッティングツリー（ｓｐｌｉｔｔｉｎｇ ｔｒｅｅ）を形成する。

【0005】

多用途ビデオコーディング（ＶＶＣ）では、画像は、コーディングツリーユニット（ＣＴＵ）に分割される。ＣＴＵは、ルーマサンプルのＮ×ＮブロックとＣｂのためのＭ×ＭクロマサンプルとＣｒのためのＭ×Ｍクロマサンプルとを有する。一般的な一例は、Ｎ＝１２８およびＭ＝６４を使用することである。ちょうどＨＥＶＣの場合のように、ＣＴＵは、次いで、より小さいブロックにスプリットされ得るが、これらは、正方形である必要はない。一例として、ブロックは、垂直スプリットを使用して２つのより小さいブロックにスプリットされ得、スプリットされたブロックは、オリジナルブロックと同じ幅を有するが、半分の高さを有する。このスプリットすることは、再帰的に続き、ＣＴＵがルートであり、リーフにおけるブロックがコーディングユニット（ＣＵ）と呼ばれる、スプリッティングツリーを形成し得る。これらのＣＵは、さらに変換ユニット、またはＴＵに分割され得る。デコーダでは、ＴＵのサンプルが、同じ画像中の前に復号されたブロックからのサンプルを使用すること（イントラ予測）、または前に復号された画像中のブロックからのサンプルを使用すること（インター予測）、またはその２つの組合せのいずれかによって、最初に予測される。

【0006】

前に識別されたように、再構成された画像ブロックを形成した直後の画像データのバイラテラルフィルタ処理が、ビデオ圧縮のために有益であり得る。Ｗｅｎｎｅｒｓｔｅｎら、［１］によって説明されるように、バイラテラルフィルタを使用して、維持された視覚的品質を伴ってビットレートを低減することが可能である。（括弧内の番号は、本開示の最後にリストされる参考文献を指す。）ビットレートの低減は、ＢＤレート（すなわち、Ｂｊｏｎｔｅｇａａｒｄレート差）で測定され、ここで、－１％の負のデルタＢＤレート数字は、同じ視覚的品質を維持しながら、なんとかしてビットレートを１％だけ低減したことを意味する。［１］におけるフィルタの場合、デルタＢＤレートは、３％のランタイム増加について－０．５％（符号化）、およびランダムアクセスについて０％（復号）であった。ランタイムは、シーケンスを符号化または復号するためにかかる時間であり、したがって、低いランタイム増加が望ましい。この場合のフィルタ処理は、ブロック再構成の直後に起こるので、このタイプのバイラテラルフィルタ処理をポスト再構成（ｐｏｓｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）バイラテラルフィルタ処理と呼ぶ。

【0007】

ＶＶＣでは、画像が再構成された後に、その画像は、フィルタ処理のいくつかの段階を通る。その場合、まだ符号化／復号されていない将来の画像の予測のために使用されるのは、その画像のフィルタ処理されたバージョンであり、フィルタ処理された画像は、したがって、コーディングループ内で使用されるので、これらのフィルタは、ループフィルタとして示される。これは、それらを、結果が予測のために使用されないフィルタ処理と区別するためのものであり、これは、ポストフィルタ処理と示される。ＶＶＣでは、３つのループフィルタ、すなわち、デブロッキングフィルタと、サンプル適応オフセット（ＳＡＯ）フィルタと、適応ループフィルタ（ＡＬＦ）とがある。ＳＡＯとＡＬＦの両方が、送信されたパラメータに依拠する。ＳＡＯは、たとえば、いくつかのサンプルが局所最大値をなす（サンプル値が、その左側のおよび右側のネイバーのものよりも高い）ので、それらのサンプルを識別する。ＳＡＯは、すべてのこれらの識別されたサンプルにオフセットを加算することができる。どんなオフセットを使用すべきかが、パラメータとしてエンコーダからデコーダに送られる。ＡＬＦの場合、１つまたは複数のＦＩＲフィルタを使用してサンプルがフィルタ処理される。これらのフィルタの係数が、パラメータとしてエンコーダからデコーダに送られ得る。

【0008】

［２］では、バイラテラルフィルタが、ＶＶＣのコーディング効率を改善するための追加のループフィルタとして使用され得ることが説明された。したがって、画像を構成するためにブロックが復号されるにつれてそれらのブロックをバイラテラルフィルタ処理する代わりに、画像全体が復号されるまで待ち、次いで、バイラテラルフィルタ処理を使用して画像全体をフィルタ処理することが可能である。本明細書では、このタイプのバイラテラルフィルタ処理をバイラテラルループフィルタ処理と呼ぶ。

【0009】

バイラテラルフィルタの代替形態として、アダマール領域においてフィルタ処理することも可能である。［３］において説明されるように、これは、ちょうどバイラテラルフィルタの場合と同様に、各ブロックを再構成した直後に行われるか（ポスト再構成アダマールフィルタ処理）、またはループフィルタとして行われるか（アダマールループフィルタ処理）のいずれかであり得る。

【0010】

他の代替形態は、ニューラルネットワークを使用して、再構成された画像をフィルタ処理することを含む。ＪＶＥＴ－Ｔ００７９－ｖ３［４］において説明されるように、ニューラルネットワークが、ＡＬＦループフィルタステップの後のまた別のループフィルタステップとして配置され得る。

【0011】

上記で説明されたように、バイラテラルフィルタ［１］およびアダマールフィルタ［３］など、いくつかのフィルタが、ポスト再構成フィルタとして配置され得る。しかしながら、ポスト再構成フィルタ処理は、フィルタ処理されていないサンプルが作り出されるポイントからそれらがフィルタ処理されたポイントまでのレイテンシがもたらされるという点で問題を伴う。これは、フィルタ処理されたサンプルが隣接ブロックの予測のために必要とされ得るので、問題になる。これは、小さいブロックをフィルタ処理することを回避することによって、およびブロック外のピクセルの使用を回避することによって避けられ得る。しかし残念ながら、これは、バイラテラルフィルタの場合、ＢＤレートに関して－０．５％（負数はより良い圧縮効率を示す）から約－０．３５％まで圧縮効率を低下させる。

【0012】

ループフィルタ処理は、約－０．４５％のより良い利得を得ることができるが、すべてのサンプルがタッチされなければならない別個の段階であることにおいて、別の欠点を有する。多用途ビデオコーディング規格（ＶＶＣ）は、３つのループフィルタ、すなわち、デブロッキングフィルタと、サンプル適応オフセット（ＳＡＯ）と呼ばれるフィルタと、適応ループフィルタ（ＡＬＦ）と呼ばれるフィルタとをすでに含んでいる。多くの連続したフィルタを有することは、フィルタが、一般に、少なくとも部分的に並列に適用されるので、ハードウェア実装形態を困難にすることがある。概念的に、ループフィルタ処理は、連続して起こるものと見なされ得る。デコーダが画像のすべてのブロックを再構成した後に、画像全体が、次いで、デブロッキングフィルタを使用してフィルタ処理される。これが終了したとき、デブロックされた画像全体が、次いで、ＳＡＯを使用してフィルタ処理され、それが終了したとき、画像全体がＡＬＦを使用してフィルタ処理される。しかしながら、現実のデコーダでは、これは、常に起こっていることであるとは限らない。レイテンシを回避するために、および数回、画像をメモリに書き込みおよびメモリから読み取る必要がないように、一般に起こることは、これらのプロセスが少なくとも部分的に並列に起こることである。これを、最後の２つのループフィルタ段階、すなわち、ＳＡＯおよびＡＬＦで例示する。ＳＡＯフィルタ処理がＡＬＦの前に起こる状況を仮定する。十分な数のサンプルがＳＡＯによって出力されるとすぐに、効率的なデコーダがＡＬＦフィルタ処理を開始し得る。ただし、ＡＬＦは、画像のいくつかの部分に関して極めて高速であり、他の部分に関して遅くなり得るが、ＳＡＯについてはその反対が当てはまり得る。ＡＬＦが高速であるとき、ＡＬＦは、ＳＡＯに追いつき得、ＡＬＦが続けるための十分なデータをＳＡＯが作り出すまで待たなければならないことになる。次いで、ＡＬＦが再び開始することができるとき、ＡＬＦは、画像データの遅いパッチに遭遇し、時間内で終了するのに苦労し得る。したがって、余分のループフィルタ段階を導入することは望ましくない。

【0013】

この問題を改善するために、１つのループフィルタ段階において２つのループフィルタを組み合わせることが可能である。これは、［５］において導入され、バイラテラルフィルタが、ＳＡＯと同じループフィルタ段階中に含まれた。これが働くやり方は、バイラテラルフィルタとＳＡＯの両方が同じ入力サンプルＩ（ｘ，ｙ）（前の段階からの、この場合、デブロッキングフィルタからの出力サンプル）を得ることである。その場合、両方のフィルタがサンプルごとにオフセットを作り出す。バイラテラルフィルタはΔＩ_ＢＩＦ（ｘ，ｙ）を作り出し、ＳＡＯはΔＩ_ＳＡＯ（ｘ，ｙ）を作り出す。出力サンプルＩ_ＣＯＭＢは、フィルタ処理されていないサンプルＩ（ｘ，ｙ）と２つのオフセットとの和、すなわち、Ｉ_ＣＯＭＢ＝Ｉ（ｘ，ｙ）＋ΔＩ_ＢＩＦ（ｘ，ｙ）＋ΔＩ_ＳＡＯ（ｘ，ｙ）である。このようにして、バイラテラルフィルタ処理とＳＡＯとは並列に起こることができ、余分のループフィルタ段階が必要とされない。ハードウェア実装形態が、サンプルごとに２つのフィルタを完全に同期させることを確実にすることができ、したがって、フィルタが他方のフィルタを待つ必要がない。

【0014】

しかしながら、これは、個々のループフィルタのパラメータ推定を困難にすることがある。上記で説明されたように、ＳＡＯでは、どのオフセットを使用すべきかなど、パラメータを推定することが必要である。バイラテラルフィルタ処理されなかったサンプルに対してＳＡＯ推定が起こる場合、過剰フィルタ処理（ｏｖｅｒ－ｆｉｌｔｅｒｉｎｇ）が起こることがある。一例として、ピクセル中で、入力強度値Ｉ（ｘ，ｙ）＝５００が、オリジナル値５１０と比較してあまりに低く、理想的には、１０強度レベル高くなるべきであると仮定する。バイラテラルフィルタは、これを、ΔＩＢＩＦ（ｘ，ｙ）＝１０を選択することによって、完全に補正することが可能であり得る。しかしながら、ＳＡＯパラメータ推定方法は、１０レベルも低い入力Ｉ（ｘ，ｙ）のみを得て、同じく、これを、ΔＩ_ＳＡＯ（ｘ，ｙ）＝１０を選択することによって補正し得る。その場合、結果は、組み合わせられた値Ｉ_ＣＯＭＢ＝Ｉ（ｘ，ｙ）＋ΔＩ_ＢＩＦ（ｘ，ｙ）＋ΔＩ_ＳＡＯ（ｘ，ｙ）＝５００＋１０＋１０＝５２０であることになり、これは、１０レベルも低いのではなく、１０レベルも高く、過剰補正であり、これは、フィルタ処理されていないピクセル値Ｉ（ｘ，ｙ）も同然のものである。オリジナル値は、異なる意味を有することがあることに留意されたい。一般に、オリジナルは、ただ、圧縮の前のピクチャである。しかしながら、時々、雑音除去または画像安定化など、何らかの前処理が、圧縮より前に行われ得る。オリジナル値は、異なる実施形態では、圧縮の前のピクチャを指し得、雑音除去または画像安定化など、前処理を含み得るか、または、そのような前処理が行われる前のピクチャを指し得る。

【0015】

したがって、すでにバイラテラルフィルタ処理されたサンプルに対してＳＡＯパラメータ推定が行われるソリューションが、［６］において提案される。これは、上記で説明された過剰フィルタ処理問題を回避する。

【発明の概要】

【0016】

図１０は、デコーダが同じループフィルタ段階における２つのフィルタをどのようにハンドリングするかを示す。前の段階、たとえば、デブロッキングからの出力が、バイラテラルフィルタ（ＢＩＦ）１００２とＳＡＯフィルタ１００３の両方に送られる。両方の段階がオフセットを計算し、これらは、前の段階からの出力と組み合わせられて、出力Ｉ_ＣＯＭＢ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_ＢＩＦ（ｘ，ｙ）＋ΔＩ_ＳＡＯ（ｘ，ｙ）を作り出す。出力はまた、その後クリッピングされ得る。

【0017】

図１１は、ＳＡＯフィルタ処理１００３がどのように機能するかをより詳細に示す。ここで、１１０１において、たとえば、１２８×１２８サイズの、ＣＴＵブロックからのいくつかのサンプルが、あるクラスに属するもの、たとえば、水平方向における局所最小値であるものとして識別される。どのクラスを使用すべきか（最小値、最大値など）が、ＳＡＯパラメータから取得され得る。次のステップ１１０２において、これらのサンプルは、ＳＡＯパラメータから取得されたオフセットと加算される。最終的に、すべてのサンプルについてのデルタΔＩ_ＳＡＯ（ｘ，ｙ）が計算される。これは、クラス外のすべてのサンプルについて０であり、クラス中のサンプルについてオフセットに等しいことになる。ＳＡＯパラメータはまた、ＳＡＯがこのＣＴＵについてオフにされるべきであることをシグナリングし得、その場合、ΔＩ_ＳＡＯ（ｘ，ｙ）は、ＣＴＵ中のすべてのサンプルについて０にセットされることに留意されたい。

【0018】

エンコーディング側では、上記で説明されたように、バイラテラルフィルタ処理を通していないサンプルＩ（ｘ，ｙ）をＳＡＯパラメータ推定に供給することは、ＳＡＯがＢＩＦと同じ補償を行い得るので、理想的でない。これは、図１に示されている。わかるように、ＳＡＯパラメータ推定プロセス１０３は、入力として前の段階からの出力Ｉ（ｘ，ｙ）を得るにすぎない。図５は、パラメータ推定がどのように機能するかをより詳細に示す。第１に、ステップ５０１において、前の段階からのサンプルＩ（ｘ，ｙ）が、どのサンプルがあるクラスに属するかを識別するために調査される。一例として、ＳＡＯは、サンプルが局所最大値である場合、たとえば、左側のサンプルと右側のサンプルとが両方とも現在のサンプル値よりも低い場合にトリガされ得る。次に、ステップ５０２において、これらのサンプルがオリジナル画像からどの程度偏差するかが計算される。たとえば、平均して局所最大値をなすすべてのサンプルがオリジナルよりも２強度レベル高いことが見つけられた場合、ｅｒｒは２であることになる。ステップ３において、オフセットが決定される。平均誤差を補償するように、オフセットを－ｒｏｕｎｄ（ｅｒｒ）であるようにセットすることがしばしば望ましい。しかしながら、時々、オフセットをシグナリングすることは費用がかかりすぎることがあり、または場合によっては別のクラスがより良好である（たとえば、代わりに、最大値の代わりに極小値を探すクラス）。したがって、どのクラスが最良の誤差を与えるか、またはＳＡＯフィルタがＣＴＵについて完全にオフにされるべきであるかどうかを決定するための論理もあり得る。１０３からの出力は、オフセットおよびどのクラスを使用すべきかなど、ＳＡＯパラメータである。上記で説明されたように、１０３への入力として前の段階からの出力Ｉ（ｘ，ｙ）を使用することに関する問題は、誤差が、Ｉ（ｘ，ｙ）に対して計算され、Ｉ（ｘ，ｙ）＋ΔＩ_ＢＩＦ（ｘ，ｙ）に対して計算されないことである。これは、計算されるオフセットが不正確であり得ることを意味する。

【0019】

同じく上記で説明されたように、これは、図２に示されている、［６］において提案されたソリューションによって矯正され得る。ここでは、前の段階からの出力Ｉ（ｘ，ｙ）を供給される代わりに、ＳＡＯパラメータ推定２０３は、代わりに、バイラテラルフィルタ処理された出力Ｉ_ＢＩＦ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_ＢＩＦ（ｘ，ｙ）を供給される。パラメータ推定の詳細は、図６において説明される。ここでは、６０２における誤差の計算は、Ｉ_ＢＩＦ（ｘ，ｙ）－Ｉ_ＯＲＩＧ（ｘ，ｙ）として正しく行われる。しかしながら、代わりに、別の問題がある。６０１におけるサンプルの識別が、今度は間違っている。これは、６０１において、これが、バイラテラルフィルタ処理されたサンプルに関して行われるが、デコーダでは、この決定が、バイラテラルフィルタ処理されていないサンプルＩ（ｘ，ｙ）に関して行われるためである。これは、ＳＡＯフィルタ処理ステップ１００３に前のステップからの出力Ｉ（ｘ，ｙ）が供給される、図１０において見られ得る。これは、ＳＡＯパラメータ推定ステップが、Ｉ_ＢＩＦ（ｘ，ｙ）におけるサンプルを最大値として識別し得るが、Ｉ（ｘ，ｙ）における最大値を探すことになるデコーダが、同じ位置において最大値を見つけないことがあることを意味する。

【0020】

したがって、どちらの場合も誤差があることになり、最良のＳＡＯパラメータが、図１および図２の従来技術の推定のいずれにおいても見つけられないことがある。

【0021】

本明細書で開示される実施形態は、前の段階からの出力Ｉ（ｘ，ｙ）とフィルタ処理されたバージョンＩ_ＢＩＦ（ｘ，ｙ）の両方をパラメータ推定モジュールに供給することによって、これらのパラメータ推定問題（すなわち、間違った参照に対してパラメータを計算すること、ならびに間違った分類を計算すること）を回避する。これは、ＢＩＦおよびＳＡＯについてだけでなく、並列に動作している２つのフィルタについても使用され得る、一般的なアイデアである。

【0022】

本明細書に組み込まれ、明細書の一部をなす添付の図面は、様々な実施形態を示している。

【図面の簡単な説明】

【0023】

【図1】関連技術のシステムによる、エンコーダの例示的なアーキテクチャである。

【図2】関連技術のシステムによる、エンコーダの例示的なアーキテクチャである。

【図3】一実施形態による、エンコーダの例示的なアーキテクチャである。

【図4】一実施形態による、エンコーダの例示的なアーキテクチャである。

【図5】関連技術のシステムによる、ＳＡＯパラメータ推定の例示的なアーキテクチャである。

【図6】関連技術のシステムによる、ＳＡＯパラメータ推定の例示的なアーキテクチャである。

【図7】一実施形態による、ＳＡＯパラメータ推定の例示的なアーキテクチャである。

【図8】関連技術のシステムによる、ＡＬＦパラメータ推定の例示的なアーキテクチャである。

【図9】一実施形態による、ＡＬＦパラメータ推定の例示的なアーキテクチャである。

【図10】一実施形態による、デコーダの例示的なアーキテクチャである。

【図11】一実施形態による、ＳＡＯフィルタ処理の例示的なアーキテクチャである。

【図12】一実施形態による、デコーダの例示的なアーキテクチャである。

【図13】一実施形態による、エンコーダの例示的なアーキテクチャである。

【図14】関連技術のシステムによる、デコーダの例示的なアーキテクチャである。

【図15】関連技術のシステムによる、エンコーダの例示的なアーキテクチャである。

【図16】一実施形態による、エンコーダの例示的なアーキテクチャである。

【図17】一実施形態によるフローチャートである。

【図18】一実施形態による、エンコーダのブロック図である。

【発明を実施するための形態】

【0024】

本明細書で開示される実施形態は、エンコーダが、両方のフィルタがデコーダ中で並列に動作している場合の一方のフィルタのためのパラメータを推定するためのやり方を提供する。アイデアは、第２のフィルタのパラメータを効率的に推定することである。これは、前の段階からのサンプルＩ（ｘ，ｙ）ならびに第１のフィルタからのフィルタ処理されたサンプルＩ_{ｆｉｒｓｔ}（ｘ，ｙ）の両方において供給することによって行われる。このようにして、両方の分類（検出、処理）が、正しく実施され、すなわち、ちょうどデコーダの場合のように実施されることになり、同時に、誤差計算が第１のフィルタについての結果を念頭に置いて行われることになる。代替的に、参照をオリジナルＩ_ＯＲＩＧ（ｘ，ｙ）からＩ_{ＡＬＴＯＲＩＧ}（ｘ，ｙ）＝Ｉ_ＯＲＩＧ（ｘ，ｙ）－（Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）－Ｉ（ｘ，ｙ））に変えることが可能である。

【0025】

図３は、一実施形態による、パラメータ推定がどのように行われるかを示す。前の段階からの出力サンプルＩ（ｘ，ｙ）が、３０１において取得され、次いで、バイラテラルフィルタ３０２でフィルタ処理され、ΔＩ_ＢＩＦ（ｘ，ｙ）を生じる。バイラテラルフィルタ３０２の出力、すなわち、Ｉ_ＢＩＦ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_ＢＩＦ（ｘ，ｙ）は、ＳＡＯパラメータ推定段階３０３に供給される。しかしながら、ＳＡＯパラメータ推定段階３０３は、前の段階からの出力サンプルＩ（ｘ，ｙ）ならびにオリジナルサンプルＩ_ＯＲＩＧ（ｘ，ｙ）をも得る。ＳＡＯフィルタ処理３０４は、推定されたＳＡＯパラメータを使用して、出力サンプルＩ（ｘ，ｙ）に対して実施され、ΔＩ_ＳＡＯ（ｘ，ｙ）を生じる。次いで、組合せＩ_ＣＯＭＢが、３０５においてＩ_ＣＯＭＢ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_ＢＩＦ（ｘ，ｙ）＋ΔＩ_ＳＡＯ（ｘ，ｙ）として計算される。

【0026】

図７は、ＳＡＯパラメータ推定３０３がどのように機能するかをより詳細に示す。どのサンプルがあるクラスに属するかの識別は、ステップ７０１において行われ、これは、入力として前の段階からのサンプルＩ（ｘ，ｙ）をとる。これは、バイラテラルフィルタ処理されたサンプルが使用された、図６中のステップ６０１とは異なる。７０２におけるオリジナルからの偏差の計算は、バイラテラルフィルタ処理されたサンプルＩ_ＢＩＦ（ｘ，ｙ）に対して行われる。これは、前の段階からのサンプルＩ（ｘ，ｙ）が使用される図５中のステップ５０３とは異なる。

【0027】

最終的に、ステップ７０３が、７０２において計算された偏差に基づいて、使用すべき最良のオフセットを決定する。このプロセス７０１、７０２および７０３は、ＳＡＯ中のすべての異なる分類子について行われ得る。

【0028】

図３および図７に示されている実施形態は、従来技術のソリューションの問題の両方を解決する。［６］とは対照的に、それは、図１０中のデコーダ１００３が行うのと同じやり方でサンプルを識別し、なぜなら、それは、その識別を前の段階からのサンプルＩ（ｘ，ｙ）に基づかせるからである。しかしながら、その実施形態はまた、それが、ステップ７０２におけるＩ_ＢＩＦ（ｘ，ｙ）を使用しているので、フィルタ処理中に過剰補償することを回避するために、バイラテラルフィルタ処理を考慮に入れて誤差を計算する。

【0029】

この技法は、バイラテラルフィルタ処理およびＳＡＯが使用される場合に適用されるだけでなく、概して、２つのフィルタが同じループフィルタ処理段を共有する限り、およびフィルタのうちの少なくとも１つが、エンコーダ中で推定される必要がある送信されたパラメータを使用するとき、使用され得る。

【0030】

これは、より一般的には、図１２のデコーダにおいて示されており、フィルタ１とフィルタ２とが、それらが両方とも前の段階の出力サンプルＩ（ｘ，ｙ）に対して動作しているので、同じループフィルタ処理段階を共有する。フィルタ２は、エンコーダが推定し、デコーダに送った、送信されたパラメータを使用する。２つのフィルタの出力が、１２０５において組み合わせられて、最終出力Ｉ_ＣＯＭＢ（ｘ，ｙ）を作り出す。

【0031】

そのような状況では、フィルタ２のためのパラメータが、一実施形態では、図１３に従って推定され得る。最初に、前の段階からの出力サンプルＩ（ｘ，ｙ）が、１３０１において取得され、ステップ１３０２においてフィルタ１を使用してフィルタ処理される。次いで、フィルタ２について、フィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）が前の段階からの出力サンプルＩ（ｘ，ｙ）および参照Ｉ_ＯＲＩＧ（ｘ，ｙ）とともにパラメータ推定ステップ１３０３に供給される。ステップ１３０３において、Ｉ（ｘ，ｙ）は、分類／処理／検出などがデコーダ中で行われることであるので、これのために使用されるべきであり、Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）は、パラメータを推定するために誤差を計算するとき、使用されるべきである。パラメータは、次いで、ステップ１３０４においてＩ（ｘ，ｙ）を処理するために使用され、得られたデルタは、１３０２からのデルタとともに使用されて、ステップ１３０５において、Ｉ_ＣＯＭＢ（ｘ，ｙ）を作り出す。

【0032】

ここでは、処理することの一般的な用語として「フィルタ」を使用することと、それは、有限インパルス応答フィルタ処理に制限されるべきでなく、わかるように、ニューラルネットワークを用いた処理など、より一般的な処理をも意味することができることとに留意されたい。

【0033】

同じループフィルタ段階において有することが有益であり得る２つのフィルタの一例は、［４］からのニューラルネットワークフィルタ、およびＡＬＦである。ただし、最初に、それが２つの異なるループフィルタ段階中で旧来どのように行われるかを見る。［４］において、２つのフィルタが、図１４に見られ得るように、異なるループフィルタ段階中にある。前の段階からの出力サンプルＩ（ｘ，ｙ）は、ステップ１４０１において、送信されたパラメータとともに取得され、結果は、サンプルごとのオフセットΔＩ_ＡＬＦ（ｘ，ｙ）である。これらは、次いで、前の段階からの出力サンプルＩ（ｘ，ｙ）と組み合わせられ、ＡＬＦフィルタ処理されたサンプルＩ_ＡＬＦ（ｘ，ｙ）を生じる。その後、ステップ１４０３は、ＡＬＦフィルタ処理されたサンプルのニューラルネットワークフィルタ処理を行う。

【0034】

この旧来の場合（両方のフィルタがそれら自体のループフィルタ段階中にある）におけるエンコーダは、図１５に示されている。ここでは、前の段階からの出力サンプルＩ（ｘ，ｙ）は、参照サンプルＩ_ＯＲＩＧ（ｘ，ｙ）とともにＡＬＦパラメータ推定ステップ１５０１に供給される。出力は、ＡＬＦパラメータであり、次いで、これを使用して、前の段階からの出力サンプルＩ（ｘ，ｙ）をフィルタ処理して、サンプルごとのＡＬＦオフセットを作り出し得、サンプルごとのＡＬＦオフセットは、次いで、ステップ１５０３においてＩ（ｘ，ｙ）と組み合わせられて、ＡＬＦフィルタ処理されたサンプルを作り出す。エンコーダは、次いで、１５０４においてニューラルネットワークフィルタ処理を進める。

【0035】

１５０１におけるＡＬＦパラメータ推定ステップは、図８においてより詳細に説明される。前のステップからの出力サンプルＩ（ｘ，ｙ）はステップ８０１に入力され、ステップ８０１は、局所的に周囲のサンプルに基づいて各サンプルをいくつかのクラスのうちの１つに分類するために使用される。ＶＶＣでは、サンプルが属することができる２５個のクラスがあり、各々が、異なるフィルタを有することができる。あらゆるサンプルが２５個のクラスのうちの１つに属するものとして分類された後に、ステップ８０２は、各クラスについて最良の有限インパルス応答（ＦＩＲ）フィルタを見つける。これは、誤差

を、あるクラスのすべてのサンプルｋについて最小化するフィルタ係数を見つけることによって、行われる。ＦＩＬＴ（Ｉ（ｘ_ｋ，ｙ_ｋ））は、位置（ｘ_ｋ，ｙ_ｋ）におけるＦＩＲフィルタの出力である。（ＦＩＬＴ（Ｉ（ｘ_ｋ，ｙ_ｋ））は、サンプルＩ（ｘ_ｋ，ｙ_ｋ）だけでなく、周囲のサンプルにも依存することに留意されたい。）ステップ８０３が、次いで、いくつかのフィルタがマージされるべきであるかどうかを確かめるために使用される。異なるクラスからの２つのフィルタが十分に類似する場合、それらのフィルタをマージし、１つのフィルタのみを送ることが有益であり得、なぜなら、これは、マージされたフィルタがその２つのクラスのいずれかについても最適でないことにより、ひずみがやや増え得るとしても、ビットを節約するからである。

【0036】

ループフィルタ段階の数を低減するために、代わりに、両方のフィルタを同じループフィルタ段階中に保つことが有益であり得る。これは、図４に示されており、［４］からのニューラルネットワークフィルタがフィルタ１として使用され、ＡＬＦがフィルタ２として使用される。実施形態では、他のニューラルネットワークフィルタも使用され得る。前の段階からの出力サンプルＩ（ｘ，ｙ）は、ニューラルネットワーク４０２でフィルタ処理され、ＩＮＮ（ｘ，ｙ）を作り出す。これは、しばしば、最初に、デルタΔＩ_ＮＮ（ｘ，ｙ）＝ＤＮＮ（Ｉ（ｘ，ｙ））を計算し、次いで、フィルタ処理された出力Ｉ_ＮＮ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_ＮＮ（ｘ，ｙ）を作り出すことによって、行われる。出力は、ＡＬＦパラメータ推定ステップ４０３に供給される。このステップは、前のステップからの出力サンプルＩ（ｘ，ｙ）、ならびに参照またはオリジナルサンプルＩ_ＯＲＩＧ（ｘ，ｙ）をも取得する。

【0037】

図９は、パラメータ推定ステップ４０３をより詳細に示す。第１のステップ９０１が、入力として前の段階からの出力サンプルＩ（ｘ，ｙ）を使用する。これは、分類が、ちょうどデコーダ中で行われるように起こることになることを意味する（入力として前のステップからの出力サンプルＩ（ｘ，ｙ）をも得る、図１４中の１４０１参照）。ステップ９０２が、特定のクラスについて最良のフィルタ係数を計算する。図８のステップ８０２について行われたように誤差

を最小化する代わりに、ステップ９０２は、誤差

を最小化する。
これは、それが、オリジナルにより近い、フィルタ処理されていないサンプルＩ（ｘ，ｙ）をもたらすフィルタ係数の代わりに、オリジナルにより近い、ＮＮフィルタ処理されたバージョンＩ_ＮＮ（ｘ，ｙ）をもたらすフィルタ係数を見つけることを試みることを意味する。これは、それが、フィルタ推定ステップ９０２がニューラルネットワーク（ＮＮ）フィルタによってすでに行われた改善を考慮に入れることになることを意味するので、重要な差である。

【0038】

最終的に、ステップ９０３は、いくつかのフィルタがマージされるべきであるか否かを決定する。

【0039】

結論として、ステップ９０１において前の段階からの出力サンプルＩ（ｘ，ｙ）を使用することは、エンコーダがデコーダと同じ分類を使用することになることを保証し、ステップ９０２においてＮＮフィルタ処理されたサンプルを使用することは、エンコーダが、ニューラルネットワークフィルタ処理ステップによってすでに実施された補正を考慮に入れることになることを保証する。

【0040】

代替実施形態

【0041】

代替実施形態が図１６に示されている。前のステップからの出力サンプルＩ（ｘ，ｙ）が、１６０１において取得され、１６０２においてフィルタ１に供給される。次いで、出力オフセットΔＩ_{ｆｉｒｓｔ}（ｘ，ｙ）が、ステップ１６０６に供給され、ステップ１６０６は、オリジナルＩ_ＯＲＩＧ（ｘ，ｙ）とフィルタ１からのフィルタオフセットΔＩ_{ｆｉｒｓｔ}（ｘ，ｙ）とから、新しい代替オリジナルＩ_{ＡＬＴＯＲＩＧ}（ｘ，ｙ）を作成する。この代替オリジナルは、次いで、オリジナルとしてフィルタ２パラメータ推定ステップ１６０３に供給される。ステップ１６０３は、前のステップからの出力サンプルＩ（ｘ，ｙ）をも受信する。したがって、この実施形態では、Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）は、フィルタ２パラメータ推定ステップ１６０３に供給されず、フィルタ２パラメータ推定ステップ１６０３は、したがって、図１３中の１３０３の場合のように３つではなく、２つの入力（Ｉ（ｘ，ｙ）およびＩ_{ＡＬＴＯＲＩＧ}（ｘ，ｙ））を有するにすぎない。

【0042】

フィルタ２がＳＡＯである場合、１６０３は、図５に従って実装され得るが、入力として、Ｉ_ＯＲＩＧ（ｘ，ｙ）ではなく、Ｉ_{ＡＬＴＯＲＩＧ}（ｘ，ｙ）を用いる。同様に、フィルタ２がＡＬＦである場合、１６０３は、図８に従って実装され得るが、入力として、Ｉ_ＯＲＩＧ（ｘ，ｙ）ではなく、Ｉ_{ＡＬＴＯＲＩＧ}（ｘ，ｙ）を用いる。概して、１６０３は、Ｉ_ＯＲＩＧ（ｘ，ｙ）がＩ_{ＡＬＴＯＲＩＧ}（ｘ，ｙ）に変更されることを除いて、それが、フィルタが（別のフィルタと並列でない）それ自体のループフィルタ段階を有する場合に行われたであろうように、実装され得る。

【0043】

図１７は、一実施形態によるフローチャートを示す。プロセス１７００は、１つまたは複数の画像を符号化するための方法である。方法は、ステップｓ１７０２から始まり得る。

【0044】

ステップｓ１７０２は、第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_{ｆｉｒｓｔ}（ｘ，ｙ）を生成するために、第１のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することを含む。

【0045】

ステップｓ１７０４は、第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）と、入力サンプルＩ（ｘ，ｙ）と、オリジナルサンプルＩ_ＯＲＩＧ（ｘ，ｙ）とに少なくとも部分的に基づいて、第２のフィルタのためのパラメータを推定することを含む。

【0046】

ステップｓ１７０６は、第２のフィルタ処理された出力Ｉ_{ｓｅｃｏｎｄ}（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_{ｓｅｃｏｎｄ}（ｘ，ｙ）を生成するために、第２のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することであって、第２のフィルタで、フィルタ処理することが、第２のフィルタのために推定されたパラメータに少なくとも部分的に基づく、第２のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することを含む。

【0047】

ステップｓ１７０８は、組み合わせられた出力Ｉ_ＣＯＭＢ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_{ｆｉｒｓｔ}（ｘ，ｙ）＋ΔＩ_{ｓｅｃｏｎｄ}（ｘ，ｙ）を生成することを含む。

【0048】

いくつかの実施形態では、第１のフィルタはバイラテラルフィルタを備え、いくつかの実施形態では、第２のフィルタはサンプル適応オフセット（ＳＡＯ）フィルタを備える。いくつかの実施形態では、第２のフィルタのためのパラメータを推定することは、入力サンプルＩ（ｘ，ｙ）中の各サンプルについて、サンプルに関連するクラスを識別することであって、サンプルに関連するクラスを識別することが、クラスのセットを生じ、クラスのセット中の各クラスが、クラスに関連するサンプルＩ（ｘ_ｉ，ｙ_ｉ）に対応する０個またはそれ以上の位置（ｘ_ｉ，ｙ_ｉ）に関連する、サンプルに関連するクラスを識別することと、各クラスについて、（１）クラスに関連する各位置（ｘ_ｉ，ｙ_ｉ）について、第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ_ｉ，ｙ_ｉ）とオリジナルサンプルＩ_ＯＲＩＧ（ｘ_ｉ，ｙ_ｉ）との間の偏差を計算すること、および（２）計算された偏差に基づいてオフセットを決定することとを含む。いくつかの実施形態では、（１）クラスに関連する各位置（ｘ_ｉ，ｙ_ｉ）について、第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ_ｉ，ｙ_ｉ）とオリジナルサンプルＩ_ｏｒｉｇ（ｘ_ｉ，ｙ_ｉ）との間の偏差を計算することは、

を算出することを含み、ここで、Ｎが、クラスに関連する位置（ｘ_ｉ，ｙ_ｉ）の数を表し、（２）計算された偏差に基づいてオフセットを決定することは、－ｒｏｕｎｄ（ｅｒｒ）としてオフセットを算出することを含む。

【0049】

いくつかの実施形態では、第１のフィルタはニューラルネットワークフィルタを備え、いくつかの実施形態では、第２のフィルタは適応ループフィルタ（ＡＬＦ）を備える。いくつかの実施形態では、第２のフィルタのためのパラメータを推定することは、入力サンプルＩ（ｘ，ｙ）中の各サンプルについて、サンプルに関連するクラスを識別することであって、サンプルに関連するクラスを識別することが、クラスのセットを生じ、クラスのセット中の各クラスが、クラスに関連するサンプルＩ（ｘ_ｉ，ｙ_ｉ）に対応する０個またはそれ以上の位置（ｘ_ｉ，ｙ_ｉ）に関連する、サンプルに関連するクラスを識別することと、各クラスについて、クラスに関連する各位置（ｘ_ｉ，ｙ_ｉ）について、第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ_ｉ，ｙ_ｉ）とオリジナルサンプルＩ_ＯＲＩＧ（ｘ_ｉ，ｙ_ｉ）との間の誤差を最小化するためのフィルタ係数を決定することとを含む。いくつかの実施形態では、クラスに関連する各位置（ｘ_ｉ，ｙ_ｉ）について、第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ_ｉ，ｙ_ｉ）とオリジナルサンプルＩ_ＯＲＩＧ（ｘ_ｉ，ｙ_ｉ）との間の誤差を最小化するためのフィルタ係数を決定することは、ｅｒｒ＝Σ［Ｉ_{ｆｉｒｓｔ}（ｘ_ｋ，ｙ_ｋ）＋Ｆｉｌｔ（Ｉ（ｘ_ｋ，ｙ_ｋ））－Ｉ_ＯＲＩＧ（ｘ_ｋ，ｙ_ｋ）］^２を最小化することを含み、ここで、Ｆｉｌｔが、決定されたフィルタ係数を有するフィルタを表す。

【0050】

いくつかの実施形態では、第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）と、入力サンプルＩ（ｘ，ｙ）と、オリジナルサンプルＩ_ＯＲＩＧ（ｘ，ｙ）とに少なくとも部分的に基づいて、第２のフィルタのためのパラメータを推定することは、入力サンプルＩ（ｘ，ｙ）と変えられたオリジナルサンプルＩ_{ＡＬＴＯＲＩＧ}（ｘ，ｙ）＝Ｉ_ＯＲＩＧ（ｘ，ｙ）－ΔＩ_{ｆｉｒｓｔ}（ｘ，ｙ）とに少なくとも部分的に基づいて、第２のフィルタのためのパラメータを推定することを含む。いくつかの実施形態では、第２のフィルタはバイラテラルフィルタ（ＢＩＦ）を備える。いくつかの実施形態では、第２のフィルタのための推定されたパラメータは、第２のフィルタのためのオン／オフスイッチを含む。

【0051】

図１８は、いくつかの実施形態による、エンコーダ１８００のブロック図である。図１８に示されているように、エンコーダ１８００は、１つまたは複数のプロセッサ（Ｐ）１８５５（たとえば、１つまたは複数の汎用マイクロプロセッサ、および／または、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、１つまたは複数の他のプロセッサなど）を含み得る処理回路（ＰＣ）１８０２であって、そのプロセッサが、単一のハウジングにおいてまたは単一のデータセンタにおいて共同サイト式であり得るかあるいは地理的に分散され得る（すなわち、エンコーダ１８００が分散コンピューティング装置であり得る）、処理回路（ＰＣ）１８０２と、少なくとも１つのネットワークインターフェース１８４８（たとえば、物理インターフェースまたはエアインターフェース）であって、エンコーダ１８００が、ネットワークインターフェース１８４８が（物理的にまたは無線で）接続されたネットワーク１８１０（たとえば、インターネットプロトコル（ＩＰ）ネットワーク）に接続された他のノードにデータを送信し、他のノードからデータを受信することを可能にするための送信機（Ｔｘ）１８４５および受信機（Ｒｘ）１８４７を備える（たとえば、ネットワークインターフェース１８４８が、エンコーダ１８００がデータを無線で送信／受信することを可能にするための１つまたは複数のアンテナを備えるアンテナ構成に結合され得る）、少なくとも１つのネットワークインターフェース１８４８と、１つまたは複数の不揮発性記憶デバイスおよび／または１つまたは複数の揮発性記憶デバイスを含み得るローカル記憶ユニット（別名「データ記憶システム」）１８０８とを備え得る。ＰＣ１８０２がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品（ＣＰＰ）１８４１が提供され得る。ＣＰＰ１８４１はコンピュータ可読媒体（ＣＲＭ）１８４２を含み、ＣＲＭ１８４２は、コンピュータ可読命令（ＣＲＩ）１８４４を備えるコンピュータプログラム（ＣＰ）１８４３を記憶する。ＣＲＭ１８４２は、磁気媒体（たとえば、ハードディスク）、光媒体、メモリデバイス（たとえば、ランダムアクセスメモリ、フラッシュメモリ）など、非一時的コンピュータ可読媒体であり得る。いくつかの実施形態では、コンピュータプログラム１８４３のＣＲＩ１８４４は、ＰＣ１８０２によって実行されたとき、ＣＲＩが、エンコーダ１８００に、本明細書で説明されるステップ（たとえば、フローチャートを参照しながら本明細書で説明されるステップ）を実施させるように設定される。他の実施形態では、エンコーダ１８００は、コードの必要なしに本明細書で説明されるステップを実施するように設定され得る。すなわち、たとえば、ＰＣ１８０２は、単に１つまたは複数のＡＳＩＣからなり得る。したがって、本明細書で説明される実施形態の特徴は、ハードウェアおよび／またはソフトウェアで実装され得る。

【0052】

様々な実施形態が本明細書で説明されたが、それらの実施形態は、限定ではなく、例として提示されたにすぎないことを理解されたい。したがって、本開示の広さおよび範囲は、上記で説明された例示的な実施形態のいずれによっても限定されるべきでない。その上、本明細書で別段に示されていない限り、またはコンテキストによって明確に否定されていない限り、上記で説明されたエレメントのそれらのすべての考えられる変形形態における任意の組合せが、本開示によって包含される。

【0053】

さらに、上記で説明され、図面に示されたプロセスは、ステップのシーケンスとして示されたが、これは、説明のためにのみ行われた。したがって、いくつかのステップが追加され得、いくつかのステップが省略され得、ステップの順序が並べ替えられ得、いくつかのステップが並行して実施され得ることが企図される。

【0054】

参考文献
［１］Ｐ．Ｗｅｎｎｅｒｓｔｅｎ、Ｊ．Ｓｔｒｏｍ、Ｙ．Ｗａｎｇ、Ｋ．Ａｎｄｅｒｓｓｏｎ、Ｒ．Ｓｊｏｂｅｒｇ、Ｊ．Ｅｎｈｏｒｎ、「Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、ＩＥＥＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＶＣＩＰ）、２０１７年１２月。［文書はｈｔｔｐ：／／ｗｗｗ．ｊａｃｏｂｓｔｒｏｍ．ｃｏｍ／ｐｕｂｌｉｃａｔｉｏｎｓ／Ｗｅｎｎｅｒｓｔｅｎ＿ｅｔ＿ａｌ＿ＶＣＩＰ２０１７．ｐｄｆからダウンロード可能］
［２］Ｊ．Ｓｔｒｏｍ、Ｐ．Ｗｅｎｎｅｒｓｔｅｎ、Ｊ．Ｅｎｈｏｒｎ、Ｒ．Ｓｊｏｂｅｒｇ、「ＣＥ１－ｒｅｌａｔｅｄ：Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ－ｆｒｅｅ ｂｉｌａｔｅｒａｌ ｌｏｏｐ ｆｉｌｔｅｒ」、ＪＶＥＴ－Ｎ０４９３、第１４回ＪＶＥＴ会議：ジュネーブ、ＣＨ、２０１９年３月１９～２７日。［文書はｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＶＥＴ－Ｎ０４９３－ｖ４．ｚｉｐからｚｉｐファイルとしてダウンロード可能］
［３］Ｓ．Ｉｋｏｎｉｎ、Ｖ．Ｓｔｅｐｉｎ、Ａ．Ｋａｒａｂｕｔｏｖ、Ｊ．Ｃｈｅｎ、「ＣＥ１：Ｈａｄａｍａｒｄ ｔｒａｎｓｆｏｒｍ ｄｏｍａｉｎ ｆｉｌｔｅｒ （ＣＥ１－２）」、ＪＶＥＴ－Ｎ０４７８、第１４回ＪＶＥＴ会議：ジュネーブ、ＣＨ、２０１９年３月１９～２７日。［文書はｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＶＥＴ－Ｎ０４７８－ｖ３．ｚｉｐからｚｉｐファイルとしてダウンロード可能］
［４］Ｈ．Ｗａｎｇ、Ｍ．Ｋａｒｃｚｅｗｉｃｚ、Ｊ．Ｃｈｅｎ、Ａ．Ｍ．Ｋｏｔｒａ、「ＡＨＧ１１：Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ－ｂａｓｅｄ Ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒ」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９のジョイントビデオエキスパートチーム（ＪＶＥＴ）第２０回会議、遠隔会議にて、２０２０年１０月７～１６日。［文書はｈｔｔｐｓ：／／ｊｖｅｔ－ｅｘｐｅｒｔｓ．ｏｒｇ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／２０＿Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ／ｗｇ１１／ＪＶＥＴ－Ｔ００７９－ｖ３．ｚｉｐからｚｉｐファイルとしてダウンロード可能］
［５］Ｊ．Ｓｔｒｏｍ、Ｐ．Ｗｅｎｎｅｒｓｔｅｎ、Ｊ．Ｅｎｈｏｒｎ、Ｄ．Ｌｉｕ、Ｋ．ＡｎｄｅｒｓｓｏｎおよびＲ．Ｓｊｏｂｅｒｇ、「Ｃｏｍｂｉｎｅｄ ｂｉｌａｔｅｒａｌ／ＳＡＯ ｌｏｏｐ ｆｉｌｔｅｒ」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントビデオエキスパートチーム（ＪＶＥＴ）第１５回会議：イェーテボリ、ＳＥ、２０１９年７月３～１２日。［文書はｈｔｔｐｓ：／／ｊｖｅｔ－ｅｘｐｅｒｔｓ．ｏｒｇ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１５＿Ｇｏｔｈｅｎｂｕｒｇ／ｗｇ１１／ＪＶＥＴ－Ｏ０５４８－ｖ７．ｚｉｐからｚｉｐファイルとしてダウンロード可能］
［６］ＣＯＭＢＩＮＥＤ ＬＯＯＰ ＦＩＬＴＥＲＩＮＧ ＦＯＲ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ、米国出願第６２／８６５５３３号、２０１９年６月２４日出願

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【手続補正書】

【提出日】2023-12-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

１つまたは複数の画像を符号化するための方法であって、前記方法は、
第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_{ｆｉｒｓｔ}（ｘ，ｙ）を生成するために、第１のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することと、
前記第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ，ｙ）と、前記入力サンプルＩ（ｘ，ｙ）と、オリジナルサンプルＩ_ｏｒｉｇ（ｘ，ｙ）とに少なくとも部分的に基づいて、第２のフィルタのためのパラメータを推定することであって、前記第２のフィルタがサンプル適応オフセット（ＳＡＯ）フィルタを備え、前記第２のフィルタのためのパラメータを推定することが、
前記入力サンプルＩ（ｘ，ｙ）中の各サンプルについて、前記サンプルに関連するクラスを識別することであって、前記サンプルに関連するクラスを識別することが、クラスのセットを生じ、クラスの前記セット中の各クラスが、前記クラスに関連するサンプルＩ（ｘ _ｉ ，ｙ _ｉ ）に対応する０個またはそれ以上の位置（ｘ _ｉ ，ｙ _ｉ ）に関連する、前記サンプルに関連するクラスを識別することと、
各クラスについて、（１）前記クラスに関連する各位置（ｘ _ｉ ，ｙ _ｉ ）について、前記第１のフィルタ処理された出力Ｉ _{ｆｉｒｓｔ} （ｘ _ｉ ，ｙ _ｉ ）と前記オリジナルサンプルＩ _ｏｒｉｇ （ｘ _ｉ ，ｙ _ｉ ）との間の偏差を計算すること、および（２）計算された前記偏差に基づいてオフセットを決定することと
を含む、第２のフィルタのためのパラメータを推定することと、
第２のフィルタ処理された出力Ｉ_{ｓｅｃｏｎｄ}（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_{ｓｅｃｏｎｄ}（ｘ，ｙ）を生成するために、前記第２のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することであって、前記第２のフィルタで、フィルタ処理することが、前記第２のフィルタのために推定された前記パラメータに少なくとも部分的に基づく、前記第２のフィルタで、入力サンプルＩ（ｘ，ｙ）をフィルタ処理することと、
組み合わせられた出力Ｉ_ＣＯＭＢ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋ΔＩ_{ｆｉｒｓｔ}（ｘ，ｙ）＋ΔＩ_{ｓｅｃｏｎｄ}（ｘ，ｙ）を生成することと
を含む、方法。

【請求項2】

（１）前記クラスに関連する各位置（ｘ_ｉ，ｙ_ｉ）について、前記第１のフィルタ処理された出力Ｉ_{ｆｉｒｓｔ}（ｘ_ｉ，ｙ_ｉ）と前記オリジナルサンプルＩ_ｏｒｉｇ（ｘ_ｉ，ｙ_ｉ）との間の偏差を計算することが、

を算出することを含み、ここで、Ｎが、前記クラスに関連する位置（ｘ_ｉ，ｙ_ｉ）の数を表し、（２）計算された前記偏差に基づいてオフセットを決定することが、－ｒｏｕｎｄ（ｅｒｒ）として前記オフセットを算出することを含む、請求項１に記載の方法。

【請求項3】

第２のフィルタのための前記推定されたパラメータが、前記第２のフィルタのためのオン／オフスイッチを含む、請求項１または２に記載の方法。

【請求項4】

エンコーダ（５００）の処理回路（５０２）によって実行されたとき、前記エンコーダ（５００）に、請求項１から３のいずれか一項に記載の方法を実施させる命令（５４４）を備える、コンピュータプログラム（５４３）。

【請求項5】

請求項４に記載のコンピュータプログラムを含んでいるキャリアであって、前記キャリアが、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体（５４２）のうちの１つである、キャリア。

【請求項6】

エンコーダ（５００）であって、ＵＥが、
処理回路（５０２）と、
メモリ（５４２）と
を備え、前記メモリが、前記処理回路によって実行可能な命令（５４４）を含んでおり、それにより、前記ＵＥが、請求項１から３のいずれか一項に記載の方法を実施するように設定された、エンコーダ（５００）。

【請求項7】

１つまたは複数の画像を符号化するように設定されたエンコーダ（５００）であって、前記エンコーダが、請求項１から３のいずれか一項に記載の方法を実施するように適応された、エンコーダ（５００）。

【国際調査報告】