特許 7350082 ループフィルタリング方法、装置およびコンピュータ記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-14

(45)【発行日】2023-09-25

(54)【発明の名称】ループフィルタリング方法、装置およびコンピュータ記憶媒体

(51)【国際特許分類】

   H04N 19/82 20140101AFI20230915BHJP

   H04N 19/86 20140101ALI20230915BHJP

【ＦＩ】

H04N19/82

H04N19/86

【請求項の数】 10

(21)【出願番号】P 2021552876

(86)(22)【出願日】2019-03-07

(65)【公表番号】

(43)【公表日】2022-06-15

(86)【国際出願番号】 CN2019077371

(87)【国際公開番号】W WO2020177133

(87)【国際公開日】2020-09-10

【審査請求日】2022-02-08

(73)【特許権者】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(72)【発明者】

【氏名】ワン、シューアイ

(72)【発明者】

【氏名】ワン、ミンツォー

(72)【発明者】

【氏名】マー、イェンチュオ

(72)【発明者】

【氏名】フオ、チュンイェン

(72)【発明者】

【氏名】ヤン、フーチョン

【審査官】田中 純一

(56)【参考文献】

【文献】国際公開第２０１９／０３１４１０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／０２１３５８７（ＵＳ，Ａ１）

【文献】欧州特許出願公開第３４５１６７０（ＥＰ，Ａ１）

【文献】Jihong Kang, et.al.，Multi-modal/multi-scale convolutional neural network based in-loop filter design for next generation video codec，2017 IEEE International Conference on Image Processing (ICIP)，2017年09月20日，pp.26-30

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

ループフィルタリング方法であって、
フィルタリングされる画像を取得することであって、前記フィルタリングされる画像は、符号化されるビデオ内の原画像を符号化するプロセスで生成されたものである、ことと、
前記フィルタリングされる画像に対応する補助情報を決定することであって、前記補助情報は、少なくともブロック分割情報を含む、ことと、
前記フィルタリングされる画像の融合情報を決定することであって、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分および対応する補助情報を融合することによって得られる、ことと、
前記融合情報に基づいて、前記フィルタリングされる画像のループフィルタリング出力を取得することであって、前記ループフィルタリング出力は、少なくとも１つの画像成分を含む、ことと、を含み、
前記フィルタリングされる画像に対応する補助情報を決定することは、
符号化されるビデオ内の原画像に対応する量子化パラメータを取得することと、
前記量子化パラメータに基づいて、前記フィルタリングされる画像に対応する量子化パラメータ情報を決定することと、を含む、前記ループフィルタリング方法。

【請求項2】

前記フィルタリングされる画像を取得することは、
符号化されるビデオ内の原画像に対してビデオ符号化処理を実行し、生成された再構成画像を前記フィルタリングされる画像として使用することを含む、
請求項１に記載のループフィルタリング方法。

【請求項3】

符号化されるビデオ内の原画像に対してビデオ符号化処理を実行して再構成画像を生成し、前記再構成画像に対してプリセットフィルタリング処理を実行し、プリセットフィルタリング処理後の前記再構成画像を前記フィルタリングされる画像として使用する、
請求項２に記載のループフィルタリング方法。

【請求項4】

メモリ及びプロセッサを含む、ループフィルタリング装置であって、
前記メモリは、プロセッサで実行可能なコンピュータプログラムを記憶するように構成され、
前記プロセッサは、
フィルタリングされる画像を取得し、前記フィルタリングされる画像は、符号化されるビデオ内の原画像を符号化するプロセスで生成されたものであり、
前記フィルタリングされる画像に対応する補助情報を決定し、前記補助情報は、少なくともブロック分割情報を含み、
前記フィルタリングされる画像の融合情報を決定し、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分および対応する補助情報を融合することによって得られ、
前記融合情報に基づいて、前記フィルタリングされる画像のループフィルタリング出力を取得するように構成され、前記ループフィルタリング出力は、少なくとも１つの画像成分を含み、
前記プロセッサはさらに、符号化されるビデオ内の原画像に対応する量子化パラメータを取得し、前記量子化パラメータに基づいて、前記フィルタリングされる画像に対応する量子化パラメータ情報を決定するように構成される、前記ループフィルタリング装置。

【請求項5】

前記プロセッサは、具体的に、符号化されるビデオ内の原画像に対してビデオ符号化処理を実行し、生成された再構成画像を前記フィルタリングされる画像として使用するように構成される、
請求項４に記載のループフィルタリング装置。

【請求項6】

前記プロセッサは、さらに、符号化されるビデオ内の原画像に対してビデオ符号化処理を実行して、再構成画像を生成し、前記再構成画像に対してプリセットフィルタリング処理を実行し、プリセットフィルタリング処理後の前記再構成画像を前記フィルタリングされる画像として使用するように構成される、
請求項５に記載のループフィルタリング装置。

【請求項7】

ループフィルタリング方法であって、
ビットストリームを復号化して、フィルタリングされる画像を決定することと、
前記フィルタリングされる画像に対応する補助情報を決定することであって、前記補助情報は、少なくともブロック分割情報を含む、ことと、
フィルタリングされる画像の融合情報を決定することであって、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分および対応する補助情報を融合することによって得られる、ことと、
前記融合情報に基づいて、前記フィルタリングされる画像のループフィルタリング出力を取得することであって、前記ループフィルタリング出力は、少なくとも１つの画像成分を含む、ことと、を含み、
前記フィルタリングされる画像に対応する量子化パラメータ情報を決定することは、
量子化パラメータを取得することと、
前記量子化パラメータに基づいて、前記フィルタリングされる画像に対応する量子化パラメータ情報を決定することと、を含む、前記ループフィルタリング方法。

【請求項8】

前記ビットストリームを復号化して、フィルタリングされる画像を決定することは、
前記ビットストリームを復号化して、前記フィルタリングされる画像として再構成画像を決定することを含む、
請求項７に記載のループフィルタリング方法。

【請求項9】

前記ビットストリームを復号化して、前記再構成画像を生成し、前記再構成画像に対してプリセットフィルタリング処理を実行し、プリセットフィルタリング処理後の前記再構成画像を前記フィルタリングされる画像として決定する、
請求項８に記載のループフィルタリング方法。

【請求項10】

メモリ及びプロセッサを含む、ループフィルタリング装置であって、
前記メモリは、プロセッサで実行可能なコンピュータプログラムを記憶するように構成され、
前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項７～９のいずれか一項に記載の方法を実現するように構成される、前記ループフィルタリング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願実施例は、画像処理技術分野に関し、特に、ループフィルタリング方法、装置およびコンピュータ記憶媒体に関する。

【背景技術】

【0002】

ビデオ符号化・復号化システムにでは、ブロックコーディングユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）ベースのハイブリッド符号化フレームワークが主にビデオ符号化に採用されている。隣接するＣＵは、異なる変換プロセス、異なる量子化パラメータ（ＱＰ：Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）、異なる予測方式、異なる参照画像フレームなどの異なる符号化パラメータを採用し、各ＣＵによって導入される誤差の大きさとその分布特性は相互に独立しているため、隣接するＣＵの境界の不連続性によってブロッキング効果が生成され、それにより、再構成された画像の主観的及び客観的な品質、さらには、後続の符号化・復号化の予測精度に影響を及ぼす。

【0003】

したがって、符号化・復号化プロセスにおいて、再構成された画像の主観的および客観的品質を向上させるために、ループフィルタが採用されている。従来のループフィルタ、例えば、デブロッキングフィルタ（ＤＢＦ：Ｄｅ－Ｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ）、サンプル適応オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタ、適応ループフィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）は、通常、歪み画像の特徴を手動で要約し、フィルタ構造の設計とフィルタ係数の構成は手動で実装される。これらの手動設計に依存するフィルタは、最適なフィルタにうまく適合せず、適応能力とフィルタリング効果が低く、符号化・復号化側の一貫性を確保するために、ローカル統計情報に依存するフィルタ関連パラメータをビットストリームに書き込む必要があり、これにより、コーディングのビット数が増加する。

【0004】

深層学習の急速な発展に伴い、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を介して、再構成された画像に対してフィルタリング処理を実行して、画像の歪みを除去することが業界で提案され、これは、従来のループフィルタと比較して、主観的及び客観的な品質を明らかに向上させる。しかしながら、現在のＣＮＮフィルタは、関連情報を完全かつ包括的に利用していないため、再構成された画像の主観的及び客観的な品質の向上には限界がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願実施例は、ブロック分割情報および／またはＱＰ情報などの符号化パラメータを補助情報として、入力される複数の画像成分と融合することにより、複数の画像成分間の関係を十分に利用するだけでなく、計算の複雑さを軽減し、符号化ビットレートを節約する同時に、さらに、ビデオの符号化・復号化プロセスで再構成された画像の主観的及び客観的な品質を向上させる、ループフィルタリング方法、装置およびコンピュータ記憶媒体を提供する。

【課題を解決するための手段】

【0006】

本願実施例の技術的解決策は、以下のように実現されることができる。

【0007】

第１態様によれば、本願実施例は、ループフィルタリング方法を提供し、前記方法は、
フィルタリングされる画像を取得することであって、ここで、前記フィルタリングされる画像は、符号化されるビデオ内の原画像のビデオ符号化プロセスで生成されたものであり、前記符号化されるビデオは、原画像フレームを含み、前記原画像フレームは、前記原画像を含む、ことと、
前記フィルタリングされる画像の融合情報を決定することであって、ここで、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分と、対応する補助情報を融合して得られたものである、ことと、
前記融合情報に基づいて、前記フィルタリングされる画像に対してループフィルタリング処理を実行して、フィルタリング後の前記フィルタリングされる画像の少なくとも１つの画像成分を取得することと、を含む。

【0008】

第２態様によれば、本願実施例は、ループフィルタリング装置を提供し、前記ループフィルタリング装置は、取得ユニット、決定ユニットおよびフィルタリングユニットを備え、ここで、
前記取得ユニットは、フィルタリングされる画像を取得するように構成され、ここで、前記フィルタリングされる画像は、符号化されるビデオ内の原画像のビデオ符号化プロセスで生成されたものであり、前記符号化されるビデオは、原画像フレームを含み、前記原画像フレームは、前記原画像を含み、
前記決定ユニットは、前記フィルタリングされる画像の融合情報を決定するように構成され、ここで、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分と、対応する補助情報を融合して得られたものであり、
前記フィルタリングユニットは、前記融合情報に基づいて、前記フィルタリングされる画像に対してループフィルタリング処理を実行して、フィルタリング後の前記フィルタリングされる画像の少なくとも１つの画像成分を取得するように構成される。

【0009】

第３態様によれば、本願実施例は、ループフィルタリング装置を提供し、前記ループフィルタリング装置は、メモリとプロセッサとを備え、ここで、
前記メモリは、前記プロセッサで実行可能なコンピュータプログラムを記憶するように構成され、
前記プロセッサは、前記コンピュータプログラムを実行することにより、第１態様に記載の方法のステップを実行するように構成される。

【0010】

第４態様によれば、本願実施例は、ループフィルタリングの実現プログラムが記憶されているコンピュータ記憶媒体を提供し、前記ループフィルタリングの実現プログラムが、少なくとも１つのプロセッサによって実行されるときに、第１態様に記載の方法のステップを実現する。

【発明の効果】

【0011】

本願実施例によるループフィルタリング方法、装置およびコンピュータ記憶媒体によれば、まず、フィルタリングされる画像を取得し、前記フィルタリングされる画像は、符号化されるビデオ内の原画像のビデオ符号化プロセスで生成されたものである。その後、前記フィルタリングされる画像の融合情報を決定し、ここで、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分と、対応する補助情報を融合して得られたものである。最後に、前記融合情報に基づいて、前記フィルタリングされる画像に対してループフィルタリング処理を実行して、フィルタリング後の前記フィルタリングされる画像の少なくとも１つの画像成分を取得する。、このようにして、ブロック分割情報および／またはＱＰ情報などの符号化パラメータを補助情報として、入力される複数の画像成分と融合することにより、複数の画像成分間の関係を十分に利用するだけでなく、これらの複数の画像成分に対して実行すべき複数回の完全なネットワークフォワード計算を効果的に回避し、さらに、計算の複雑さを軽減し、符号化ビットレートを節約する。さらに、ブロック分割情報および／またはＱＰ情報などの補助情報を融合することにより、フィルタリングをさらに支援することができ、ビデオの符号化・復号化プロセスで再構成された画像の主観的及び客観的な品質を向上させる。

【図面の簡単な説明】

【0012】

【図1】関連する技術的解決策による従来の符号化ブロック図の構成の例示的な構造図である。

【図2】本願実施例による、改良型符号化ブロック図の構成の例示的な構造図である。

【図3】本願実施例によるループフィルタリング方法の例示的なフローチャートである。

【図4】本願実施例によるブロック分割行列の例示的な構造図である。

【図5】本願実施例による従来のＣＮＮフィルタの構成の例示的な構造図である。

【図6A】本願実施例による別の従来のＣＮＮフィルタの構成の例示的な構造図である。

【図6B】本願実施例による別の従来のＣＮＮフィルタの構成の例示的な構造図である。

【図7】本願実施例によるループフィルタリングフレームワークの構成の例示的な構造図である。

【図8】本願実施例による別のループフィルタリングフレームワークの構成の例示的な構造図である。

【図9】本願実施例によるループフィルタリング装置の構成の例示的な構造図である。

【図10】本願実施例によるループフィルタリング装置の具体的なハードウェアの例示的な構造図である。

【発明を実施するための形態】

【0013】

本願実施例の特徴および技術的内容をより詳細に理解するために、以下、図面を参照して本願実施例の具現を詳細に説明し、添付の図面は、参照のみを目的とし、本願実施例を限定することを意図するものではない。

【0014】

ビデオ符号化・復号化システムにおいて、符号化されるビデオは、原画像フレームを含み、原画像フレームには、原画像が含まれ、当該原画像に対して、予測、変換、量子化、再構成、およびフィルタリングなどの複数のタイプの処理を実行し、これらの処理プロセスにおいて、処理されたビデオ画像は、原画像に対してピクセル値がオフセットされている可能性があり、視覚障害またはアーティファクトが発生する可能性がある。さらに、ほどんどのビデオ符号化・復号化システムに採用されているブロックＣＵベースのハイブリッドコーディングフレームワークでは、隣接する符号化ブロックに、異なる符号化パラメータ（例えば、異なる変換プロセス、異なるＱＰ、異なる予測方式、異なる参照画像フレームなど）が採用されており、各符号化ブロックによって導入される誤差の大きさとその分布特性は相互に独立しているため、隣接する符号化ブロックの境界の不連続性によってブロッキング効果が生成される。これらの歪みは、再構成された画像の主観的及び客観的な品質に影響を与えるだけでなく、再構成された画像が後続の符号化ピクセルの参照画像として使用される場合、後続の符号化・復号化の予測精度にも影響を与え、さらに、ビデオビットストリームのビット数に影響を与える可能性がある。したがって、常に、ループフィルタ（Ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒ）は通常、再構成された画像の主観的及び客観的な品質を向上させるために、ビデオ符号化・復号化システムに追加される。

【0015】

図１は、関連する技術的解決策による従来の符号化ブロック図の構成の例示的な構造図を示す。図１に示されるように、当該従来の符号化ブロック図１０は、変換および量子化ユニット１０１、逆変換および逆量子化ユニット１０２、予測ユニット１０３、フィルタリングユニット１０４、およびエントロピコーディングユニット１０５などのコンポーネントを備えることができる。ここで、予測ユニット１０３は、さらに、イントラ予測ユニット１０３１およびインター予測ユニット１０３２を備える。入力される原画像について、コーディングツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）は、事前分割によって取得することができ、１つのＣＴＵに対して、コンテンツ適応分割を実行し続けて、ＣＵを取得することができる。ＣＵは、通常、１つまたは複数の符号化ブロック（ＣＢ：Ｃｏｄｉｎｇ Ｂｌｏｃｋ）を含む。符号化ブロックに対して、イントラ予測ユニット１０３１によって実行されるイントラ予測、またはインター予測ユニット１０３２によって実行されるインター予測を実行して、残差情報を取得することができる。ビットレートをさらに低減するために、当該残差情報を変換および量子化ユニット１０１を介して変換する（残差情報をピクセルドメインから変換ドメインに変換し、取得された変換係数を量子化することを含む）。予測モードを決定した後、予測ユニット１０３は、さらに、選択されたイントラ予測データまたはインター予測データをエントロピコーディングユニット１０５に提供するように構成される。されに、逆変換および逆量子化ユニット１０２は、当該符号化ブロックを再構築するように構成され、すなわち、ピクセルドメインで残差ブロックを再構築するように構成される。当該再構築された残差ブロックの、ブロッキング効果を有するアーチファクトは、フィルタリングユニット１０４によって除去され、その後、当該再構築された残差ブロックを復号化画像キャッシュユニットに追加して、当該再構築された参照画像を生成する。エントロピコーディングユニット１０５は、様々な符号化パラメータおよび量子化された変換係数を符号化するように構成され、例えば、エントロピコーディングユニット１０５は、ヘッダ情報符号化およびコンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂ
ｉｎａｒｙ Ａｒｉｔｈｍａｔｉｃ Ｃｏｄｉｎｇ）アルゴリズムを採用することができ、決定された予測モードを示す符号化情報を符号化し、対応するビットストリームを出力するように構成されることができる。

【0016】

図１に示される従来の符号化ブロック図１０について、フィルタリングユニット１０４は、インループフィルタ（Ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒ）とも呼ばれるループフィルタであり、デブロッキングフィルタ（ＤＢＦ；Ｄｅ－Ｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ）１０４１、サンプル適応オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタ１０４２、および適応ループフィルタ（ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）１０４３などを含み得る。ここで、デブロッキングフィルタ１０４１は、デブロッキングフィルタリングを実現するように構成され、次世代のビデオ符号化規格Ｈ．２６６／バーサタイルビデオ符号化（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、原画像内のすべての符号化ブロックの境界について、まず、境界の両側の符号化パラメータに従って、境界強度を決定し、計算されたブロック境界のテクスチャ値に従って、デブロッキングを実行するか否かのフィルタリング決定を行う。最後に、境界強度とフィルタリング決定に従って、符号化ブロック境界の両側のピクセル情報に対して補正処理を実行する。ＶＶＣにおいて、デブロッキングフィルタリングが実行された後、高周波交流係数の量子化歪みを低減するために、ＳＡＯ技術、即ち、サンプル適応オフセットフィルタ１０４２が導入され、さらに、ピークのピクセルに負の値を加算し、谷のピクセルに正の値を加算することにより、ピクセルドメインから補正処理を実行する。ＶＶＣでは、デブロッキングフィルタリングおよびサンプル適応オフセットフィルタリングが実行された後、さらに、適応ループフィルタ１０４３を使用してフィルタリング処理を実行する必要があり、適応ループフィルタリングの場合、平均二乗最適フィルタは、原画像のピクセル値および歪み画像のピクセル値に基づいて計算される。しかし、これらのフィルタ（例えば、デブロッキングフィルタ１０４１、サンプル適応オフセットフィルタ１０４２および適応ループフィルタ１０４３など）には、正確な手動設計と大量の判断決定が必要であり、さらに、符号化側と復号化側の間の一貫性を確保するために、符号化側によって、ローカル統計情報に依存するフィルタ関連パラメータ（例えば、フィルタリング係数および当該フィルタを選択するか否かを示すフラグ（Ｆｌａｇ）値など）を、
ビットストリームに書き込む必要があるため、コーディングビット数が増加する。同時に、実際の最適化ターゲットの複雑な関数に対して、手動で設計されたフィルタの適合度はそれほど高くなく、フィルタリング効果を強化する必要がある。

【0017】

本願実施例は、ループフィルタリング方法を提供し、当該方法は、改良型符号化ブロック図に適用され、図１に示される従来の符号化ブロック図１０と比較すると、主な違いは、関連する技術的解決策において、デブロッキングフィルタ１０４１、サンプル適応オフセットフィルタ１０４２および適応ループフィルタ１０４３などの代わりに改良型ループフィルタが採用されていることである。本願実施例において、当該改良型ループフィルタは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）フィルタであってもよいし、深層学習によって構築された他のフィルタであってもよく、本願実施例では、特に限定されない。

【0018】

畳み込みニューラルネットワークフィルタを例にとると、図２を参照すると、本願実施例による改良型符号化ブロック図２０の構成の例示的な構造図を示す。図２に示されるように、従来の符号化ブロック図１０と比較して、改良型符号化ブロック図２０のフィルタリングユニット１０４は、ＣＮＮフィルタ２０１を含む。当該ＣＮＮフィルタ２０１は、図１のデブロッキングフィルタ１０４１、ＳＡＯフィルタ１０４２および適応ループフィルタ１０４３を完全に置き換えることができ、図１のデブロッキングフィルタ１０４１、ＳＡＯフィルタ１０４２および適応ループフィルタ１０４３のいずれか１つまたは２つを部分的に置き換えることもでき、また、図１のデブロッキングフィルタ１０４１、ＳＡＯフィルタ１０４２および適応ループフィルタ１０４３のいずれか１つまたは複数と組み合わせて使用することもできる。また、留意されたいこととして、図１または図２に示される各コンポーネント、例えば、変換および量子化ユニット１０１、逆変換および逆量子化ユニット１０２、予測ユニット１０３、フィルタリングユニット１０４、エントロピコーディングユニット１０５またはＣＮＮフィルタ２０１などについて、これらのコンポーネントは、仮想モジュールであってもよいし、ハードウェアモジュールであってもよい。さらに、当業者なら自明であるが、これらのユニットは、符号化ブロック図を限定することを意図しておらず、符号化ブロック図は、図に示されるものよりも多いまたは少ないコンポーネントを含み得るか、またはいくつかのコンポーネントが組み合わされるか、または異なるコンポーネント配置を採用することができる。

【0019】

本願実施例において、ＣＮＮフィルタ２０１は、フィルタリングネットワークトレーニング後に、符号化側および復号化側に直接展開することができ、このような場合、フィルタ関連パラメータを伝送する必要はない。当該ＣＮＮフィルタ２０１は、ブロック分割情報および／またはＱＰ情報などの補助情報を、入力される複数の画像成分と融合することもでき、このようにして、複数の画像成分間の関係を十分に利用するだけでなく、計算の複雑さを軽減し、符号化ビットレートを節約する同時に、さらに、ビデオの符号化・復号化プロセスで再構成された画像の主観的及び客観的な品質を向上させる。

【0020】

本願実施例のループフィルタリング方法は、符号化システムだけでなく、復号化システムにも適用できることに留意されたい。一般に、符号化ビットレートを節約する同時に、復号化システムの正しい復号化処理を確実にするために、本願実施例のループフィルタは、符号化システムと復号化システムの両方に展開される必要がある。以下、符号化システムへの適用を例として詳細に説明する。

【0021】

図３を参照すると、本願実施例によるループフィルタリング方法の例示的なフローチャートを示し、当該方法は、以下のステップを含み得る。

【0022】

ステップＳ３０１において、フィルタリングされる画像を取得し、ここで、前記フィルタリングされる画像は、符号化されるビデオ内の原画像のビデオ符号化プロセスで生成されたものであり、前記符号化されるビデオは、原画像フレームを含み、前記原画像フレームは、前記原画像を含む。

【0023】

ステップＳ３０２において、前記フィルタリングされる画像の融合情報を決定し、ここで、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分と、対応する補助情報を融合して得られたものである。

【0024】

Ｓ３０３において、前記融合情報に基づいて、前記フィルタリングされる画像に対してループフィルタリング処理を実行して、フィルタリング前記フィルタリングされる画像の少なくとも１つの画像成分を取得する。

【0025】

留意されたいこととして、原画像は、ＣＴＵに分割されることができ、またはＣＴＵはＣＵに分割されることができ、つまり、本願実施例におけるブロック分割情報は、ＣＴＵ分割情報を指すが、またはＣＵ分割情報を指すこともできる。したがって、本願実施例のループフィルタリング方法は、ＣＵレベルのループフィルタリングだけでなく、ＣＴＵレベルのループフィルタリングにも適用されることができ、本願実施例は、これに対して特に限定しない。

【0026】

本願実施例において、フィルタリングされる画像を取得し、ここで、前記フィルタリングされる画像は、符号化されるビデオ内の原画像のビデオ符号化プロセスで生成されたものであり、前記符号化されるビデオは、原画像フレームを含み、前記原画像フレームは、前記原画像を含み、前記フィルタリングされる画像の融合情報を決定し、ここで、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分と、対応する補助情報を融合して得られたものである。このようにして、複数の画像成分間の関係を十分に利用するだけでなく、これらの複数の画像成分に対して実行すべき複数回の完全なネットワークフォワード計算を効果的に回避し、さらに、計算の複雑さを減らし、符号化ビットレートを節約する。最後に、融合情報に基づいて、フィルタリングされる画像に対してループフィルタリング処理を実行して、前記フィルタリングされる画像フィルタリングされた少なくとも１つの画像成分を取得する。融合情報にブロック分割情報および／またはＱＰ情報などの補助情報を融入することにより、フィルタリングをさらに支援することができ、ビデオの符号化・復号化プロセスで再構成された画像の主観的及び客観的な品質を向上させる。

【0027】

いくつかの実施例において、画像成分は、第１画像成分、第２画像成分および第３画像成分を含み、ここで、前記第１画像成分は、輝度成分を表し、前記第２画像成分は、第１色度成分を表し、前記第３画像成分は、第２色度成分を表す。

【0028】

ビデオ画像では、通常、第１画像成分、第２画像成分および第３画像成分を使用して、原画像またはフィルタリングされる画像を表すことに留意されたい。ここで、輝度－色度成分表現法では、この３つの画像成分は、それぞれ、１つの輝度成分、１つの青彩（色差）成分および１つの赤彩（色差）成分であり、具体的に、輝度成分は、通常、符号Ｙで表され、青彩成分は、通常、符号Ｃｂ又はＵで表され、赤彩成分は、通常、符号Ｃｒ又はＶで表示される。本願実施例において、第１画像成分は、輝度成分Ｙであり得、第２画像成分は、青彩成分Ｕであり得、第３画像成分は、赤彩成分Ｖであり得るが、本願実施例では、特に限定されない。ここで、少なくとも１つの画像成分は、第１画像成分、第２画像成分、および第３画像成分のうちの１つまたは複数を表し、少なくとも２つの画像成分は、第１画像成分、第２画像成分および第３画像成分であってもよいし、第１画像成分および第２画像成分であってもよいし、第１画像成分および第３画像成分であってもよいし、第２画像成分および第３画像成分であってもよく、本願実施例では、特に限定されない。

【0029】

【0030】

４：２：０フォーマットのＹＵＶを例にとると、第１画像成分のサイズ情報は、第２画像成分または第３画像成分とは異なるため、第１画像成分および／または第２画像成分および／または第３画像成分を一度に改良型ループフィルタに入力するために、３つの画像成分の空間領域サイズ情報が同じになるように、この３つの画像成分をサンプリングまたは再結合する必要がある。

【0031】

いくつかの実施例において、３つの画像成分の空間領域サイズ情報が同じになるように、高解像度の画像成分に対してピクセル再配列処理（ダウンサンプリング処理とも呼ばれる）を実行することができる。具体的には、前記フィルタリングされる画像の少なくとも２つの画像成分を前記補助情報と融合する前に、前記方法は、
前記フィルタリングされる画像の少なくとも２つの画像成分から、高解像度の画像成分を選択することと、
前記高解像度の画像成分に対して、ピクセル再配列処理を実行することと、をさらに含む。

【0032】

【0033】

いくつかの実施例において、３つの画像成分の空間領域サイズ情報を同じにするために、低解像度の画像成分に対してアップサンプリング処理を実行することもできる。具体的には、前記フィルタリングされる画像の少なくとも２つの画像成分を前記補助情報と融合する前に、前記方法は、
前記フィルタリングされる画像の少なくとも２つの画像成分から低解像度の画像成分を選択することと、
前記低解像度の画像成分に対してアップサンプリング処理を実行することと、をさらに含む。

【0034】

高解像度の画像成分に対してサイズ情報に基づくピクセル再配列処理（即ち、下方調整）を実行することに加えて、本願実施例では、低解像度の画像成分に対してアップサンプリング処理（即ち、上方調整）も実行することができることに留意されたい。さらに、低解像度の画像成分については、アップサンプリング処理だけでなく、逆畳み込み処理を実行することもでき、さらに、超解像度処理を実行することもでき、この３つのタイプの処理で同じ効果が得られ、本願実施例では、特に限定されない。

【0035】

【0036】

いくつかの実施例において、前記フィルタリングされる画像を取得することは、
符号化されるビデオ内の原画像に対してビデオ符号化処理を実行して生成された再構成画像を、前記フィルタリングされる画像として使用すること、または、
符号化されるビデオ内の原画像に対してビデオ符号化処理を実行して再構成画像を生成し、前記再構成画像に対してプリセットフィルタリング処理を実行し、プリセットフィルタリング処理後の画像を前記フィルタリングされる画像として使用することを含む。

【0037】

改良型符号化ブロック図２０に基づいて、符号化されるビデオ内の原画像に対してビデオ符号化を実行するプロセスにおいて、原画像に対してビデオ符号化処理を実行する場合、当該原画像に対してＣＵ分割、予測、変換および量子化などの処理を実行することができ、後続の符号化される画像のビデオ符号化のための参照画像を取得するために、逆変換および逆量子化、再構成およびフィルタリングなどの処理も実行することができることに留意されたい。したがって、本願実施例におけるフィルタリングされる画像は、ビデオ符号化プロセスでの再構成によって生成された再構成画像であってもよいし、再確立画像に対して他のプリセットフィルタリング方法（例えば、デブロッキングフィルタリング方法）を使用して、プリセットフィルタリングを実行することによって得られた画像であってもよく、本願実施例では、特に限定されない。

【0038】

いくつかの実施例において、前記フィルタリングされる画像の融合情報を決定する前に、前記ループフィルタリング方法は、
前記フィルタリングされる画像に対応する補助情報を決定することをさらに含み、ここで、前記補助情報は、少なくともブロック分割情報および／または量子化パラメータ情報を含む。

【0039】

補助情報は、フィルタリング品質を向上させるためにフィルタリングを支援するために使用されることが理解できる。本願実施例において、補助情報は、ブロック分割情報（例えば、ＣＵ分割情報および／またはＣＴＵ分割情報）であってもよいし、量子化パラメータ情報であってもよいし、動きベクトル（ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）情報、予測方向情報などであってもよい。これらの情報は、独立して補助情報として使用することができ、補助情報として自由に組み合わせることもできる。例えば、ブロック分割情報を独立して補助情報として使用することも、ブロック分割情報および量子化パラメータ情報を補助情報として使用することも、ブロック分割情報およびＭＶ情報を補助情報として使用することもでき、本願実施例では、特に限定されない。

【0040】

また、原画像をＣＴＵに分割することも、ＣＴＵをＣＵに分割することもできるため、本願実施例のループフィルタリング方法は、ＣＵレベルのループフィルタリング（この場合、ブロック分割情報はＣＵ分割情報である）だけでなく、ＣＴＵレベルのループフィルタリング（この場合、ブロック分割情報はＣＴＵ分割情報である）にも適用されることができ、本願実施例では、特に限定されないことを理解されたい。以下では、ＣＵ分割情報をブロック分割情報として使用することを例として説明する。

【0041】

いくつかの実施例において、前記フィルタリングされる画像に対応する補助情報を決定することは、
符号化されるビデオ内の原画像に対してＣＵ分割を実行して、ＣＵ分割情報を取得し、前記ＣＵ分割情報を前記フィルタリングされる画像に対応するブロック分割情報として使用することを含む。

【0042】

さらに、いくつかの実施例において、前記ＣＵ分割情報を前記フィルタリングされる画像に対応するブロック分割情報として使用することは、
前記ＣＵ分割情報について、ＣＵ境界に対応する各画素点位置を第１値で埋め、他の画素点位置を第２値で埋めることによって、前記ＣＵ分割情報に対応する第１行列を取得することであって、ここで、前記第１値は前記第２値とは異なる、ことと、
前記第１行列を前記フィルタリングされる画像に対応するブロック分割情報として使用することと、を含む。

【0043】

第１値は、事前に設定された数値、アルファベットなどであり得、第２値も、事前に設定された数値、アルファベットなどであり得、第１値は、第２値とは異なることに留意されたい。例えば、第１値を２に設定し、第２値を１に設定することができるが、本願実施例では、特に限定されない。

【0044】

本願実施例において、ＣＵ分割情報は、フィルタリングされる画像のフィルタリング処理を支援するための補助情報として使用されることができる。つまり、符号化されるビデオ内の原画像のビデオ符号化プロセスにおいて、ＣＵ分割情報は、十分に利用され、フィルタリングをガイドするためにフィルタリングされる画像の少なくとも２つの画像成分と融合されることができる。

【0045】

具体的には、ＣＵ分割情報は、二次元行列、即ち、ＣＵｍａｐ行列、即ち、本願実施例における第１行列で表されるコーディングユニットマップ（ＣＵｍａｐ：Ｃｏｄｉｎｇ Ｕｎｉｔ Ｍａｐ）に変換されることができる。つまり、原画像を複数のＣＵに分割することができる。各ＣＵの境界に対応する各画素点位置を第１値で埋め、他の画素点位置を第２値で埋めることによって、ＣＵ分割情報を反映する第１行列を構築することができる。例示的に、図４を参照すると、本願実施例によるブロック分割行列の例示的な構造図を示す。図４に示されたように、当該図が１つのＣＴＵを示す場合、当該ＣＴＵを９つのＣＵに分割することができ、第１値を２に設定し、第２値を１に設定すると、各ＣＵの境界に対応する各画素点位置を２で埋め、他の画素点位置を１で埋める。つまり、２で埋められた画素点位置を使用してＣＵの境界を表し、これにより、ＣＵ分割情報、即ち、フィルタリングされる画像に対応する補助情報を決定することができる。

【0046】

いくつかの実施例において、前記フィルタリングされる画像に対応する補助情報を決定することは、
符号化されるビデオ内の原画像に対応する量子化パラメータを取得し、前記量子化パラメータを前記フィルタリングされる画像に対応する量子化パラメータ情報として使用することを含む。

【0047】

さらに、いくつかの実施例において、前記量子化パラメータを前記フィルタリングされる画像に対応する量子化パラメータ情報として使用することは、
前記原画像と同じサイズの第２行列を確立することであって、ここで、前記第２行列の各画素点位置はすべて、前記原画像に対応する量子化パラメータの正規化値で埋められる、ことと、
前記第２行列を前記フィルタリングされる画像に対応する量子化パラメータ情報として使用することと、を含む。

【0048】

異なる量子化パラメータに対応するフィルタリングされる画像は、その歪み程度も異なることに留意されたい。量子化パラメータ情報を融合すると、フィルタリングネットワークは、トレーニングプロセスで任意の量子化パラメータを処理する能力を適応的に備えることができる。

【0049】

本願実施例において、量子化パラメータ情報はまた、フィルタリングされる画像のフィルタリング処理を支援するための補助情報として使用されることができる。つまり、符号化されるビデオ内の原画像のビデオ符号化プロセスにおいて、量子化パラメータ情報は、十分に利用され、フィルタリングをガイドするためにフィルタリングされる画像の少なくとも２つの画像成分と融合されることができる。ここで、量子化パラメータ情報に対して正規化処理を実行することができ、又は量子化パラメータ情報に対して非正規化処理（例えば、分類処理、間隔分割処理など）を実行することもでき、以下では、量子化パラメータに対して正規化処理を実行することを例として詳細に説明する。

【0050】

【数1】

【0051】

【0052】

いくつかの実施例において、改良型ループフィルタは、畳み込みニューラルネットワークフィルタを含み得る。

【0053】

改良型ループフィルタは、フィルタリングされる画像に対するループフィルタリング処理を実現するように構成されることに留意されたい。ここで、改良型ループフィルタは、畳み込みニューラルネットワークフィルタであってもよいし、深層学習によって構築された他のフィルタであってもよく、本願実施例では、特に限定されない。ここで、畳み込みニューラルネットワークフィルタは、ＣＮＮフィルタとも呼ばれ、それは、畳み込み計算を含み、且つ、深層構造を持つフィードフォワードニューラルネットワークであり、深層学習の代表的なアルゴリズムの１つである。ＣＮＮフィルタの入力層は、符号化されるビデオ内の原画像の３つの画像成分（Ｙ／Ｕ／Ｖ）チャネルなどの多次元データを処理することができる。

【0054】

【0055】

【0056】

図５に示される従来のＣＮＮフィルタ５０または図６Ａおよび図６Ｂに示される従来のＣＮＮフィルタ６０の場合、異なる画像成分間の関係は考慮されておらず、各画像成分を独立して処理することはそれほど合理的ではない。さらに、入力側では、ブロック分割情報やＱＰ情報などの符号化パラメータが十分に利用されていないが、再構成画像の歪みは主にブロッキング効果によるものであり、ブロッキング効果の境界情報は、ＣＵ分割情報によって决定されたものである。したがって、ＣＮＮフィルタのフィルタリングネットワークは、境界領域に焦点を合わせる必要がある。さらに、量子化パラメータ情報をフィルタリングネットワークに融入することは、その一般化能力を向上させることに役立ち、フィルタリングネットワークが任意の品質の歪み画像をフィルタリングすることを可能にすることができる。したがって、本願実施例によるループフィルタリング方法によれば、ＣＮＮフィルタリング構造の設定が合理的であって、同じフィルタリングネットワークが複数の画像成分を同時に受信できるだけでなく、複数の画像成分間の関係も十分に考慮されており、フィルタリング処理後に、これらの画像成分の強調された画像をさらに同時に出力することができる。さらに、当該ループフィルタリング方法によれば、ブロック分割情報および／またはＱＰ情報などの符号化パラメータを補助情報として融合させてフィルタリングを支援することもできるため、フィルタリング品質を向上させることができる。

【0057】

いくつかの実施例において、前記フィルタリングされる画像の融合情報を決定することは、
前記フィルタリングされる画像の少なくとも２つの画像成分と、対応する補助情報に対して融合処理を実行して、前記フィルタリングされる画像の融合情報を取得することを含む。

【0058】

本願実施例における融合情報について、フィルタリングされる画像の第１画像成分、第２画像成分および第３画像成分を補助情報と融合して、融合情報を取得することができ、又はフィルタリングされる画像の第１画像成分、第２画像成分を補助情報と融合して、融合情報を取得することができ、又はフィルタリングされる画像の第１画像成分及び第３画像成分を補助情報と融合して、融合情報を取得することができ、又はフィルタリングされる画像の第２画像成分及び第３画像成分を補助情報と融合して、融合情報を取得することができ、本願実施例では、特に限定されないことに留意されたい。さらに、「前記フィルタリングされる画像の少なくとも２つの画像成分と、対応する補助情報に対して融合処理を実行」することは、まず、フィルタリングされる画像の少なくとも２つの画像成分を融合し、次に、融合された画像成分と補助情報を融合することであり得、又は、まず、フィルタリングされる画像の少なくとも２つの画像成分の各画像成分と、対応する補助情報をそれぞれ融合し、次に、処理された少なくとも２つの画像成分を融合することであり得る。つまり、本願実施例では、融合処理の具体的な方式を特に限定しないことに留意されたい。

【0059】

さらに、本願実施例における「前記融合情報に基づいて、前記フィルタリングされる画像に対してループフィルタリング処理を実行して、フィルタリング後の前記フィルタリングされる画像の少なくとも１つの画像成分を取得する」ことは、具体的には、フィルタリングされる画像の複数の画像成分（例えば、第１画像成分、第２画像成分および第３画像成分）と補助情報を融合して、フィルタリングネットワークに入力した後、フィルタリング後のフィルタリングされる画像の第１画像成分、またはフィルタリング後の第２画像成分、またはフィルタリング後の第３画像成分のみを出力することであり得るか、又はフィルタリング後のフィルタリングされる画像の第１画像成分およびフィルタリング後の第２画像成分を出力することであり得るか、又はフィルタリング後の第２画像成分およびフィルタリング後の第３画像成分を出力することであり得るか、又はフィルタリング後の第１画像成分およびフィルタリング後の第３画像成分を出力することであり得るか、又はフィルタリング後のフィルタリングされる画像の第１画像成分、フィルタリング後の第２画像成分、およびフィルタリング後の第３画像成分を出力することであり得、本願実施例では、特に限定されない。

【0060】

フィルタリングされる画像の３つの画像成分をフィルタリングネットワークに同時に入力することを例にとると、図７を参照すると、本願実施例によるループフィルタリングフレームワーク７０の構成の例示的な構造図を示す。図７に示されるように、当該ループフィルタリングフレームワーク７０は、フィルタリングされる画像の３つの画像成分（それぞれ、Ｙ、Ｕ、Ｖで表される）７０１、補助情報７０２、入力融合ユニット７０３、共同処理ユニット７０４、第１加算器７０５、第２加算器７０６、第３加算器７０７および３つのフィルタリングされた画像成分（それぞれ、Ｏｕｔ＿Ｙ、Ｏｕｔ＿Ｕ、Ｏｕｔ＿Ｖで表される）７０８を含み得る。ここで、入力融合ユニット７０３、共同処理ユニット７０４、第１加算器７０５、第２加算器７０６、および第３加算器７０７は、本願実施例における改良型ループフィルタを形成する。入力融合ユニット７０３は、フィルタリングされる画像の３つの画像成分７０１と、補助情報７０２とを融合して、共同処理ユニット７０４に入力するように構成される。共同処理ユニット７０４は、複数層の畳み込みフィルタリングネットワークを含み得、入力情報に対して畳み込み計算を実行するように構成される。具体的な畳み込み計算プロセスは、関連する技術的解決策に類似しているため、共同処理ユニット７０４によって実行される具体的なステップは説明されない。共同処理ユニット７０４の処理後、画像成分Ｙの残差情報、画像成分Ｕの残差情報、および画像成分Ｖの残差情報をそれぞれ取得することができる。フィルタリングされる画像の３つの画像成分７０１のうちの画像成分Ｙと、取得された画像成分Ｙの残差情報を第１加算器７０５に一緒に入力する場合、第１加算器７０５の出力は、フィルタリングされたＹ画像成分（Ｏｕｔ＿Ｙで表される）であり得る。フィルタリングされる画像の３つの画像成分７０１のうちの画像成分Ｕと、取得された画像成分Ｕの残差情報を第２加算器７０６に一緒に入力する場合、第２加算器７０６の出力は、フィルタリングされた画像成分Ｕ（Ｏｕｔ＿Ｕで表される）である。フィルタリングされる画像の３つの画像成分７０１のうちの画像成分Ｖと、取得された画像成分Ｖの残差情報を第３加算器７０７に一緒に入力する場合、第３加算器７０７の出力は、フィルタリングされた画像成分Ｖ（Ｏｕｔ＿Ｖで表される）であ
る。ここで、出力される成分について、フィルタリングされた画像成分Ｙのみを出力する必要がある場合、ループフィルタリングフレームワーク７０は、第２加算器７０６および第３加算器７０７を含まなくてもよい。フィルタリングされた画像成分Ｕのみを出力する必要がある場合、ループフィルタリングフレームワーク７０は、第１加算器７０５および第３加算器７０７を含まなくてもよい。フィルタリングされた画像成分Ｙおよびフィルタリングされた画像成分Ｕを出力する必要がある場合、ループフィルタリングフレームワーク７０は、第３加算器７０７を含まなくてもよく、本願実施例では、特に限定されない。

【0061】

フィルタリングされる画像の２つの画像成分をフィルタリングネットワークに同時に入力することを例にとると、図８を参照すると、本願実施例による別のループフィルタリングフレームワーク８０の構成の例示的な構造図を示す。図８に示されるように、ループフィルタリングフレームワーク８０は、フィルタリングされる画像の２つの画像成分（それぞれ、ＹおよびＵで表される）８０１、補助情報７０２、入力融合ユニット７０３、共同処理ユニット７０４、第１加算器７０５、第２加算器７０６、および２つのフィルタリングされた画像成分（それぞれ、Ｏｕｔ＿ＹおよびＯｕｔ＿Ｕで表される）８０２を含む。図７に示されるループフィルタリングフレームワーク７０との違いは、当該ループフィルタリングフレームワーク８０が、フィルタリングされる画像の２つの画像成分８０１と補助情報７０２をすべて融合して、共同処理ユニット７０４に入力することである。共同処理ユニット７０４の処理後、画像成分Ｙの残差情報および画像成分Ｕの残差情報をそれぞれ取得することができる。フィルタリングされる画像の２つの画像成分８０１のうちの画像成分Ｙと、取得された画像成分Ｙの残差情報を第１加算器７０５に一緒に入力する場合、第１加算器７０５の出力は、フィルタリングされた画像成分Ｙ（Ｏｕｔ＿Ｙで表される）であり、フィルタリングされる画像の２つの画像成分８０１のうちの画像成分Ｕと、取得された画像成分Ｕの残差情報を第２加算器７０６に一緒に入力する場合、第２加算器７０６の出力は、フィルタリングされた画像成分Ｕ（Ｏｕｔ＿Ｕで表される）である。ここで、出力される成分について、フィルタリングされた画像成分Ｙのみを出力する必要がある場合、ループフィルタリングフレームワーク７０は、第２加算器７０６を含まなくてもよい。フィルタリングされた画像成分Ｕのみを出力する必要がある場合、ループフィルタリングフレームワーク７０は、第１加算器７０５を含まなくてもよく、本願実施例では、特に限定されない。注意されるべきように、一度に、フィルタリングされる画像のシングル画像成分のみのフィルタリング処理を考慮する場合、関連する技術的解決策における従来のＣＮＮフィルタのフィルタリング処理方法のように、複数の画像成分間の融合を考慮する必要はなく、本願実施例では、詳細は省略されている。

【0062】

図７に示されるループフィルタリングフレームワーク７０を例にとると、深層学習ネットワーク（ＣＮＮなど）を採用してループフィルタリングを実行する。従来のＣＮＮフィルタとの違いは、本願実施例における改良型ループフィルタは、フィルタリングされる画像の３つの画像成分をフィルタリングネットワークに同時に入力することができ、さらに、符号化に関する他の補助情報（例えば、ブロック分割情報、量子化パラメータ情報、ＭＶ情報などの符号化パラメータ）を融合し、これらのすべての情報を融合して、一度にフィルタリングネットワークに入力することである。このようにして、３つの画像成分間の関係を十分に利用するだけでなく、符号化に関する他の補助情報も使用してフィルタリングを支援することにより、フィルタリング品質を向上させる。さらに、３つの画像成分を同時に処理することで、この３つの画像成分に対して、３回の完全なネットワークフォワード計算を実行する必要があるという問題も効果的に解決し、さらに、計算の複雑さを低減し、符号化ビットレートを節約する。例えば、ＶＴＭ３．０に基づき、関連する技術的解決策と比較すると、ある実験テスト中に、本願実施例によるループフィルタリング方法は、同じ程度の復元されたビデオ品質を前提として、画像成分Ｙについて６．４％のビットレート低減、画像成分Ｕについて９．８％のビットレート低減、および画像成分Ｖについて１１．６％のビットレート低減を同時に実現できることが実験的試験において見出されており、これにより、符号化ビットレートを節約することができる。

【0063】

上記の実施例によるループフィルタリング方法によれば、フィルタリングされる画像を取得し、前記フィルタリングされる画像は、符号化されるビデオ内の原画像のビデオ符号化プロセスで生成されたものであり、前記フィルタリングされる画像の融合情報を決定し、ここで、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分と、対応する補助情報を融合して得られたものであり、前記融合情報に基づいて、フィルタリングされる画像に対してループフィルタリング処理を実行して、フィルタリング後の前記フィルタリングされる画像の少なくとも１つの画像成分を取得する。このようにして、ブロック分割情報および／またはＱＰ情報などの符号化パラメータを補助情報として、入力される複数の画像成分と融合することにより、複数の画像成分間の関係を十分に利用するだけでなく、計算の複雑さを軽減し、符号化ビットレートを節約する同時に、さらに、ビデオの符号化・復号化プロセスで再構成された画像の主観的及び客観的な品質を向上させる。

【0064】

上記の実施例と同じ発明構想に基づいて、図９を参照すると、本願実施例によるループフィルタリング装置９０の構成の例示的な構造図を示す。当該ループフィルタリング装置９０は、取得ユニット９０１、決定ユニット９０２、およびフィルタリングユニット９０３を備えることができ、ここで、
前記取得ユニット９０１は、フィルタリングされる画像を取得するように構成され、ここで、前記フィルタリングされる画像は、符号化されるビデオ内の原画像のビデオ符号化プロセスで生成されたものであり、前記符号化されるビデオは、原画像フレームを含み、前記原画像フレームは、前記原画像を含み、
前記決定ユニット９０２は、前記フィルタリングされる画像の融合情報を決定するように構成され、ここで、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分と、対応する補助情報を融合して得られたものであり、
前記フィルタリングユニット９０３は、前記融合情報に基づいて、前記フィルタリングされる画像に対してループフィルタリング処理を実行して、フィルタリング後の前記フィルタリングされる画像の少なくとも１つの画像成分を取得するように構成される。

【0065】

上記の解決策では、前記取得ユニット９０１は、具体的に、符号化されるビデオ内の原画像に対してビデオ符号化処理を実行し、生成された再構成画像を前記フィルタリングされる画像として使用するように構成されるか、または、
前記取得ユニット９０１は、具体的に、符号化されるビデオ内の原画像に対してビデオ符号化処理を実行して、再構成画像を生成し、前記再構成画像に対してプリセットフィルタリング処理を実行し、プリセットフィルタリング処理後の画像を前記フィルタリングされる画像として使用するように構成される。

【0066】

上記の解決策では、前記決定ユニット９０２は、さらに、前記フィルタリングされる画像に対応する補助情報を決定するように構成され、ここで、前記補助情報は、少なくともブロック分割情報および／または量子化パラメータ情報を含む。

【0067】

上記の解決策では、図９を参照すると、前記ループフィルタリング装置９０は、さらに、分割ユニット９０４を備え、前記分割ユニット９０４は、符号化されるビデオ内の原画像に対してＣＵ分割を実行して、ＣＵ分割情報を取得し、前記ＣＵ分割情報を前記フィルタリングされる画像に対応するブロック分割情報として使用するように構成される。

【0068】

上記の解決策では、前記決定ユニット９０２は、具体的に、前記ＣＵ分割情報について、ＣＵ境界に対応する各画素点位置を第１値で埋め、他の画素点位置を第２値で埋めることによって、前記ＣＵ分割情報に対応する第１行列を取得し、前記第１行列を前記フィルタリングされる画像に対応するブロック分割情報として使用するように構成され、ここで、前記第１値は前記第２値とは異なる。

【0069】

上記の解決策では、前記取得ユニット９０１は、さらに、符号化されるビデオ内の原画像に対応する量子化パラメータを取得し、前記量子化パラメータを前記フィルタリングされる画像に対応する量子化パラメータ情報として使用するように構成される。

【0070】

上記の解決策では、前記決定ユニット９０２は、具体的に、前記原画像と同じサイズの第２行列を確立し、前記第２行列を前記フィルタリングされる画像に対応する量子化パラメータ情報として使用するように構成され、ここで、前記第２行列の各画素点位置はすべて、前記原画像に対応する量子化パラメータの正規化値で埋められる。

【0071】

上記の解決策では、図９を参照すると、前記ループフィルタリング装置９０は、さらに、融合ユニット９０５を備え、前記融合ユニット９０５は、前記フィルタリングされる画像の少なくとも２つの画像成分及び対応する補助情報に対して融合処理を実行して、前記フィルタリングされる画像の融合情報を取得するように構成される。

【0072】

上記の技術案において、図９を参照すると、前記ループフィルタリング装置９０は、さらに、サンプリングユニット９０６を備え、前記サンプリングユニット９０６は、前記フィルタリングされる画像の少なくとも２つの画像成分から低解像度の画像成分を選択し、前記低解像度の画像成分に対して、アップサンプリング処理を実行するように構成される。

【0073】

本実施例において、「ユニット」は、回路の一部、プロセッサの一部、プログラムまたはソフトウェアの一部等であってもよく、もちろん、モジュール式であってもよいし、または非モジュール式であってもよいことを理解されたい。さらに、本実施例における各構成部分は、１つの処理ユニットに統合されてもよく、各ユニットが物理的に別個に存在してもよく、２つ以上のユニットが１つのユニットに統合されてもよい。前述した統合ユニットは、ハードウェアの形で実現することができ、ソフトウェア機能モジュールの形で実現することもできる。

【0074】

前記統合されたユニットが、ソフトウェア機能モジュールの形で実装され、独立した製品として販売または使用されていない場合、１つのコンピュータ可読記憶媒体に記憶することができる、このような理解に基づいて、本実施例の技術的解決策は、本質でまたは先行技術に対して貢献のある部分または当該技術の解決策の全部または一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶されて、１つのコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスなどであリ得る）またはプロセッサ（ｐｒｏｃｅｓｓｏｒ）が本実施例に記載の方法のステップの全部または一部を実行させるために、いくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。

【0075】

したがって、本実施例は、ループフィルタリングの実現プログラムが記憶されているコンピュータ記憶媒体を提供し、前記ループフィルタリングの実現プログラムが、少なくとも１つのプロセッサによって実行されるときに、上記の実施例における方法のステップを実現する。

【0076】

上記のループフィルタリング装置９０の構成およびコンピュータ記憶媒体に基づいて、図１０を参照すると、本願実施例によるループフィルタリング装置９０の具体的なハードウェアの構造の例を示し、これは、ネットワークインターフェース１００１、メモリ１００２およびプロセッサ１００３を含み得る。各コンポーネントは、バスシステム１００４を介して一緒に結合される。理解できることとして、バスシステム１００４は、これらのコンポーネント間の接続通信を具現するために使用される。データバスに加えて、バスシステム１００４は、電力バス、制御バスおよびステータス信号バスを含む。しかしながら、説明を明確にするために、図１０では様々なバスをバスシステム１００４として表記されている。ここで、ネットワークインターフェース１００１は、別の外部ネットワーク要素と情報を送受信するプロセスにおいて信号を送受信するように構成され、
メモリ１００２は、プロセッサ１００３で実行可能なコンピュータプログラムを記憶するように構成され、
プロセッサ１００３は、前記コンピュータプログラムを実行することにより、以下のステップを実行するように構成され、前記ステップは、
フィルタリングされる画像を取得することであって、ここで、前記フィルタリングされる画像は、符号化されるビデオ内の原画像のビデオ符号化プロセスで生成されたものであり、前記符号化されるビデオは、原画像フレームを含み、前記原画像フレームは、前記原画像を含む、ことと、
前記フィルタリングされる画像の融合情報を決定することであって、ここで、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分と対応する補助情報を融合して得られたものである、ことと、
前記融合情報に基づいて、前記フィルタリングされる画像に対してループフィルタリング処理を実行して、フィルタリング後の前記フィルタリングされる画像の少なくとも１つの画像成分を取得することと、を含む。

【0077】

本願実施例におけるメモリ１００２は、揮発性メモリまたは不揮発性メモリであり得、または揮発性および不揮発性メモリの両方を含み得ることを理解されたい。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ ＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、またはフラッシュメモリであり得る。揮発性メモリは、外部キャッシュとして使用される、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり得る。例示的であるが限定的な説明ではないが、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ ＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ダブルデータレートの同期ダイナミックランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）、強化された同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ）、ダイナミックランダムアクセスメモリの同期接続（ＳＬＤＲＡＭ：Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ）およびダイレクトメモリバスランダムアクセスメモリ（ＤＲＲＡＭ：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ）など様々な形のＲＡＭを使用することができる。本明細書によって説明されるシステムおよび方法のメモリ１００２は、これらおよび任意の他の適切なタイプのメモリを含むがこれに限定されないことを意図する。

【0078】

プロセッサ１００３は、信号の処理能力を有する集積回路チップであり得る。実現プロセスにおいて、上記の方法の各ステップは、プロセッサ１００３内のハードウェアの集積論理回路またはソフトウェアの形の命令によって完了できる。上記のプロセッサ１００３は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または他のプログラマブルロジックデバイス、ディスクリートゲート、またはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。本願実施例で開示された各方法、ステップおよび論理ブロック図を実現または実行できる。汎用プロセッサは、マイクロプロセッサであり得、または当該プロセッサは、任意の従来のプロセッサなどであり得る。本願実施例で開示される方法のステップは、ハードウェア復号化プロセッサによって直接実行されてもよいし、復号化プロセッサ内のハードウェアとソフトウェアモジュールの組み合わせによって実行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、または電気的に消去可能なプログラマブルメモリ、レジスタなどの従来の記憶媒体に配置されることができる。当該記憶媒体は、メモリ１００３に配置され、プロセッサ１００３は、メモリ１００２内の情報を読み取り、そのハードウェアと組み合わせて前記方法のステップを完了する。

【0079】

本明細書に記載のこれらの実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはそれらの組み合わせで実現されることができることを理解することができる。ハードウェアの実現に対して、処理ユニットは、１つの或複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、デジタル信号プロセッシング（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）、デジタル信号処理機器（ＤＳＰＤ：ＤＳＰ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、汎用プロセッサ、コントローラ、マイクロコントローラ、本願に記載の機能を実行するように構成される他の電子ユニットまたはその組み合わせに実現される。

【0080】

ソフトウェアを用いた実行の場合、本明細書に記載の機能を実行するモジュール（プロセス、関数など）を介して、本明細書に記載の技術を実現することができる。ソフトウェアコードは、メモリに記憶され、プロセッサによって実行されることができる。メモリは、プロセッサ内またはプロセッサ外に実装することができる。

【0081】

例示的に、別の実施例として、プロセッサ１００３は、さらに、前記コンピュータプログラムを実行することにより、上記の実施例における方法のステップを実行するように構成される。

【0082】

本願実施例で説明された技術的解決は、競合することなく、任意に組み合わせることができることに留意されたい。

【0083】

上記は、本願の具体的な実施形態に過ぎず、本願の保護範囲はこれに限定されない。当業者は、本願で開示された技術的範囲内で容易に想到し得る変更または置換は、すべて本願の保護範囲に含まれるべきである。したがって、本願の保護範囲は、特許請求の保護範囲に従うものとする。

【産業上の利用可能性】

【0084】

本願実施例では、まず、フィルタリングされる画像を取得し、前記フィルタリングされる画像は、符号化されるビデオ内の原画像のビデオ符号化プロセスで生成されたものである。その後、前記フィルタリングされる画像の融合情報を決定し、ここで、前記融合情報は、前記フィルタリングされる画像の少なくとも２つの画像成分と、対応する補助情報を融合して得られたものである。、最後に、前記融合情報に基づいて、前記フィルタリングされる画像に対してループフィルタリング処理を実行して、フィルタリング後の前記フィルタリングされる画像の少なくとも１つの画像成分を取得する。このようにして、ブロック分割情報および／またはＱＰ情報などの符号化パラメータを補助情報として、入力される複数の画像成分と融合することにより、複数の画像成分間の関係を十分に利用するだけでなく、これらの複数の画像成分に対して実行すべき複数回の完全なネットワークフォワード計算を効果的に回避し、さらに、計算の複雑さを軽減し、符号化ビットレートを節約する。さらに、ブロック分割情報および／またはＱＰ情報などの補助情報を融合することにより、フィルタリングをさらに支援することができ、ビデオの符号化・復号化プロセスで再構成された画像の主観的及び客観的な品質を向上させる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】