▶ グァンドン オッポ モバイル テレコミュニケーションズ コーポレーション リミテッドの特許一覧
特表2022-526107フィルタリング方法、装置、エンコーダ及びコンピュータ記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-23
(54)【発明の名称】フィルタリング方法、装置、エンコーダ及びコンピュータ記憶媒体
(51)【国際特許分類】
H04N 19/117 20140101AFI20220516BHJP
H04N 19/85 20140101ALI20220516BHJP
H04N 19/186 20140101ALI20220516BHJP
【ＦＩ】
H04N19/117
H04N19/85
H04N19/186
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021556289
(86)(22)【出願日】2019-09-05
(85)【翻訳文提出日】2021-09-16
(86)【国際出願番号】 CN2019104499
(87)【国際公開番号】W WO2020192020
(87)【国際公開日】2020-10-01
(31)【優先権主張番号】62/822,951
(32)【優先日】2019-03-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(74)【代理人】
【識別番号】100096921
【弁理士】
【氏名又は名称】吉元 弘
(72)【発明者】
【氏名】マー、イェンチュオ
(72)【発明者】
【氏名】ワン、シューアイ
(72)【発明者】
【氏名】フオ、チュンイェン
(72)【発明者】
【氏名】チャン、ウェイ
(72)【発明者】
【氏名】ワン、ミンツォー
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK03
5C159LA00
5C159LB05
5C159LC09
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159ME11
5C159PP16
5C159TA68
5C159TB08
5C159TC11
5C159TC26
5C159TC28
5C159UA11
5C159UA16
(57)【要約】
本願の実施例はフィルタリング方法、装置、エンコーダ及びコンピュータ記憶媒体を開示し、該方法は、フィルタリング対象画素情報を取得することと、少なくとも１種類の辺情報を取得することと、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得することと、を含む。本願の実施例は更にフィルタリング装置、エンコーダ及びコンピュータ記憶媒体を提供する。
【特許請求の範囲】
【請求項1】
フィルタリング方法であって、フィルタリング対象画素情報を取得することと、
少なくとも１種類の辺情報を取得することと、
前記フィルタリング対象画素情報の少なくとも２種類の成分及び前記少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得することと、を含む、フィルタリング方法。
【請求項2】
前記フィルタリング対象画素情報の少なくとも２種類の成分及び前記少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得することは、それぞれ前記少なくとも２種類の成分のうちの各成分を処理して、処理後の少なくとも２種類の成分を取得することと、
前記少なくとも１種類の辺情報及び前記処理後の少なくとも２種類の成分に基づいて融合処理して、前記フィルタリング対象画素情報の融合情報を取得することと、
前記融合情報を処理して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得することと、を含む、請求項１に記載の方法。
【請求項3】
それぞれ前記少なくとも２種類の成分のうちの各成分を処理して、処理後の少なくとも２種類の成分を取得することは、それぞれ前記少なくとも２種類の成分のうちの各成分に対して成分処理を行って、前記処理後の少なくとも２種類の成分を取得することを含む、請求項２に記載の方法。
【請求項4】
各成分に対応する第１辺情報を取得した場合、それに対応して、それぞれ前記少なくとも２種類の成分のうちの各成分を処理して、処理後の少なくとも２種類の成分を取得することは、それぞれ前記少なくとも２種類の成分のうちの各成分及び各成分に対応する第１辺情報を融合処理して、前記処理後の少なくとも２種類の成分を取得することを含み、
前記第１辺情報は少なくともブロック分割情報及び／又は量子化パラメータ情報を含む、請求項２に記載の方法。
【請求項5】
前記少なくとも１種類の辺情報及び前記処理後の少なくとも２種類の成分に基づいて融合処理して、前記フィルタリング対象画素情報の融合情報を取得することは、前記処理後の少なくとも２種類の成分及び各成分に対応する第１辺情報を融合処理して、前記フィルタリング対象画素情報の融合情報を取得することを含む、請求項４に記載の方法。
【請求項6】
前記融合情報を処理して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得することは、前記融合情報に対して連携処理及び分岐処理を行って、前記少なくとも２種類の成分のうちの少なくとも１種類の成分に対応する残差情報を取得することと、
前記少なくとも２種類の成分のうちの少なくとも１種類の成分と前記少なくとも１種類の成分に対応する残差情報を加算演算して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得することと、を含む、請求項２に記載の方法。
【請求項7】
各成分に対応する第２辺情報を取得した場合、それに対応して、それぞれ前記少なくとも２種類の成分のうちの各成分を処理して、処理後の少なくとも２種類の成分を取得することは、それぞれ前記少なくとも２種類の成分のうちの各成分及び各成分に対応する第２辺情報を融合処理して、前記処理後の少なくとも２種類の成分を取得することを含み、
前記第２辺情報は前記第１辺情報と異なる、請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記少なくとも１種類の辺情報及び前記処理後の少なくとも２種類の成分に基づいて融合処理して、前記フィルタリング対象画素情報の融合情報を取得することは、前記処理後の少なくとも２種類の成分及び各成分に対応する第２辺情報を融合処理して、前記フィルタリング対象画素情報の融合情報を取得することを含む、請求項７に記載の方法。
【請求項9】
前記ニューラルネットワークの構造は少なくとも１つの連携処理段階及び１つの独立処理段階を含み、前記連携処理段階において、すべての成分が一緒に処理され、
前記独立処理段階において、各成分が前記ニューラルネットワークの１つの独立した分岐において処理される、請求項１に記載の方法。
【請求項10】
フィルタリング装置であって、フィルタリング対象画素情報を取得するように構成される第１取得モジュールと、
少なくとも１種類の辺情報を取得するように構成される第２取得モジュールと、
前記フィルタリング対象画素情報の少なくとも２種類の成分及び前記少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得するように構成される決定モジュールと、を備える、フィルタリング装置。
【請求項11】
エンコーダであって、プロセッサと、前記プロセッサの実行可能命令が記憶される記憶媒体とを備え、前記記憶媒体が通信バスを介して操作の実行前記プロセッサに頼り、前記命令が前記プロセッサにより実行されるとき、上記請求項１～９のいずれか１項に記載のフィルタリング方法が実行される、エンコーダ。
【請求項12】
コンピュータ記憶媒体であって、実行可能命令が記憶され、前記実行可能命令が１つ又は複数のプロセッサにより実行されるとき、前記プロセッサは前記請求項１～９のいずれか１項に記載のフィルタリング方法を実行する、コンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願の実施例はビデオ画像処理技術分野に関し、特にフィルタリング方法、装置、エンコーダ及びコンピュータ記憶媒体に関する。
【背景技術】
【0002】
ビデオコーデックシステムにおいて、多くのビデオ符号化で採用されるのはブロック状符号化ユニット（ＣＵ、Ｃｏｄｉｎｇ Ｕｎｉｔ）に基づく混合符号化フレームワークであり、隣接するＣＵが異なる符号化パラメータ、例えば異なる変換過程、異なる量子化パラメータ（ＱＰ、Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）、異なる予測方式、異なる参照画像フレーム等を用い、且つ各ＣＵに導入された誤差の大きさ及びその分布特性が互いに独立し、隣接するＣＵ境界の不連続性によりブロッキング効果が発生するため、再構成画像の主観的及び客観的品質が影響され、ひいては後続の符号化／復号化の予測精度が影響される。
【0003】
そこで、符号化／復号化過程において、前処理フィルタはオリジナル画像を前処理することに用いられ、ビデオ解像度を低減することに用いられ、符号化して表示する必要のあるビデオ解像度がオリジナルビデオの解像度より低いため、より少ないビットで表示することができ、それにより全体の符号化効率を向上させることができ、後処理フィルタはインループフィルタリング後のビデオを処理して、ビデオを出力し、ビデオ解像度を向上させることに用いられる。前処理フィルタ及び後処理フィルタについては、現在、ニューラルネットワークに基づくフィルタは複数の基本ユニットで構成される場合が多く、ニューラルネットワークの入力はシングル入力又はマルチ入力であり、即ち、入力は１つの画像成分又は複数の画像成分であり、即ち従来の畳み込みニューラルネットワークの複雑性はより高く、且つ現在の畳み込みニューラルネットワーク（ＣＮＮ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）フィルタは関連情報を十分に総合利用していないため、再構成画像の品質の向上が制限されてしまう。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願の実施例はフィルタリング方法、装置、エンコーダ及びコンピュータ記憶媒体を提供し、ニューラルネットワークに基づくフィルタリング方法の複雑性を低減することができ、再構成画像の画像品質の向上に役立つ。
【課題を解決するための手段】
【0005】
本願の実施例の技術案は以下のように実現されることができる。
【0006】
第１態様では、本願の実施例はフィルタリング方法を提供し、前記方法は、
フィルタリング対象画素情報を取得することと、
少なくとも１種類の辺情報を取得することと、
前記フィルタリング対象画素情報の少なくとも２種類の成分及び前記少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得することと、を含む。
フィルタリング対象画素情報を取得することと、
少なくとも１種類の辺情報を取得することと、
前記フィルタリング対象画素情報の少なくとも２種類の成分及び前記少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得することと、を含む。
【0007】
第２態様では、本願の実施例はフィルタリング装置を提供し、前記フィルタリング装置は、
フィルタリング対象画素情報を取得するように構成される第１取得モジュールと、
少なくとも１種類の辺情報を取得するように構成される第２取得モジュールと、
前記フィルタリング対象画素情報の少なくとも２種類の成分及び前記少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得するように構成される決定モジュールと、を備える。
フィルタリング対象画素情報を取得するように構成される第１取得モジュールと、
少なくとも１種類の辺情報を取得するように構成される第２取得モジュールと、
前記フィルタリング対象画素情報の少なくとも２種類の成分及び前記少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、前記フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得するように構成される決定モジュールと、を備える。
【0008】
第３態様では、本願の実施例はエンコーダを提供し、前記エンコーダは、
プロセッサと、前記プロセッサの実行可能命令が記憶される記憶媒体とを備え、前記記憶媒体が通信バスを介して操作の実行前記プロセッサに頼り、前記命令が前記プロセッサにより実行されるとき、上記１つ又は複数の実施例に記載のフィルタリング方法が実行される。
プロセッサと、前記プロセッサの実行可能命令が記憶される記憶媒体とを備え、前記記憶媒体が通信バスを介して操作の実行前記プロセッサに頼り、前記命令が前記プロセッサにより実行されるとき、上記１つ又は複数の実施例に記載のフィルタリング方法が実行される。
【0009】
第４態様では、本願の実施例はコンピュータ記憶媒体を提供し、実行可能命令がそれに記憶され、前記実行可能命令が１つ又は複数のプロセッサにより実行されるとき、前記プロセッサは上記１つ又は複数の実施例に記載のフィルタリング方法を実行する。
【発明の効果】
【0010】
本願の実施例はフィルタリング方法、装置、エンコーダ及びコンピュータ記憶媒体を提供し、まず、フィルタリング装置はフィルタリング対象画素情報を取得し、少なくとも１種類の辺情報を取得し、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得する。即ち、本願の実施例では、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報を取得し、ニューラルネットワークに基づくフィルタに入力して処理し、フィルタリング過程において、少なくとも１種類の成分の辺情報を融合することにより、フィルタリング後の画素情報を取得する。そうすると、複数の種類の成分の間の関係を十分に利用するだけではなく、少なくとも２種類の成分に対して完全なネットワークフォワード計算を複数回行う必要があるという問題も効果的に回避し、ひいては計算複雑性を低減し、符号化率を節約し、符号化／復号化過程において前処理フィルタリング後に取得した画像及び後処理フィルタリング後に取得した画像の品質を向上させ、それにより再構成画像の品質を向上させる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
本願の実施例の特徴及び技術的内容をより詳しく理解するために、以下に図面を参照しながら本願の実施例の実現を詳しく説明し、添付の図面は参照・説明のためのものに過ぎず、本願の実施例を限定するためのものではない。
【0013】
ビデオコーデックシステムにおいて、符号化対象ビデオはオリジナル画像フレームを含み、オリジナル画像フレームにオリジナル画像が含まれ、該オリジナル画像に対して様々な処理、例えば予測、変換、量子化、再構成及びフィルタリング等が行われ、これらの処理過程において、処理済みビデオ画像はオリジナル画像に対して画素値が既にオフセットされた可能性があり、それにより視覚障害又は虚像が生じてしまう。また、多くのビデオコーデックシステムで採用されるブロック状ＣＵに基づく混合符号化フレームワークにおいて、隣接する符号化ブロックが異なる符号化パラメータ（例えば、異なる変換過程、異なるＱＰ、異なる予測方式、異なる参照画像フレーム等）を用いるため、各符号化ブロックによる誤差の大きさ及びその分布特性の相互独立、隣接する符号化ブロックの境界の不連続性によってブロッキング効果が発生する。これらの歪みは再構成画像ブロックの主観的及び客観的品質に影響し、再構成画像ブロックが後続の符号化画素の参照画像とされれば、後続の符号化／復号化の予測精度にも影響し、更にビデオビットストリームにおけるビットのサイズに影響する。従って、再構成画像の主観的及び客観的品質を向上させるように、ビデオコーデックシステムに前処理フィルタ及び後処理フィルタが追加される場合が多い。
【0014】
図１は従来の符号化ブロック図の構造模式図である。図１に示すように、該従来の符号化ブロック図１０は、変換及び量子化ユニット１０１、逆変換及び逆量子化ユニット１０２、予測ユニット１０３、インループフィルタリングユニット１０４、並びにエントロピー符号化ユニット１０５等の部材を含んでもよく、予測ユニット１０３は更にイントラ予測ユニット１０３１及びインター予測ユニット１０３２を含む。入力されたオリジナル画像については、初期分割によって符号化ツリーユニット（ＣＴＵ、Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）を取得することができ、１つのＣＴＵに対して引き続きコンテンツ適応分割を行えば、ＣＵを取得することができ、ＣＵは一般的に１つ又は複数の符号化ブロック（ＣＢ、Ｃｏｄｉｎｇ Ｂｌｏｃｋ）を含む。符号化ブロックに対してイントラ予測ユニット１０３１によるイントラ予測又はインター予測ユニット１０３２によるインター予測を行って、残差情報を取得することができる。該残差情報について変換及び量子化ユニット１０１によって該符号化ブロックに対して変換することは、残差情報を画素フィールドから変換フィールドに変換することと、ビットレートを更に減少させるために、取得された変換係数を量子化することと、を含む。予測モードを決定した後、予測ユニット１０３は更に、選択されたイントラ予測データ又はインター予測データをエントロピー符号化ユニット１０５に提供することに用いられる。また、逆変換及び逆量子化ユニット１０２は該符号化ブロックの再構築に使用され、画素フィールドにおいて残差ブロックを再構築し、該再構築された残差ブロックはインループフィルタリングユニット１０４によってブロッキング効果アーティファクトを除去し、次に、再構築された参照画像を生成するために、該再構築された残差ブロックを復号画像キャッシュユニットに追加する。エントロピー符号化ユニット１０５は様々な符号化パラメータ及び量子化後の変換係数を符号化することに用いられ、例えば、エントロピー符号化ユニット１０５はヘッダー情報符号化及びコンテキストベースの適応２値算術符号化（ＣＡＢＡＣ、Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍａｔｉｃ Ｃｏｄｉｎｇ）アルゴリズムを用い、決定された予測モードを示す符号化情報を符号化して、対応のビットストリームを出力することに用いられてもよい。
【0015】
図１における従来の符号化ブロック図１０において、インループフィルタリングユニット１０４はループフィルタであり、ループ内フィルタ（Ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒ）とも称され、デブロッキングフィルタ（ＤＢＦ、Ｄｅ－Ｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ）、サンプル適応オフセット（ＳＡＯ、Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタ及び適応ループフィルタ（ＡＬＦ、Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）等を含んでもよい。
【0016】
図１における従来の符号化ブロック図１０において、前処理フィルタリングユニット１０６は入力されたオリジナルビデオフレームを受信して、オリジナルビデオフレームにおけるオリジナル画像フレームに対して前処理フィルタリングを行うことに用いられ、それによりビデオの解像度を低減し、後処理フィルタリングユニット１０７はインループフィルタリング後のビデオフレームを受信して、インループフィルタリング後のビデオフレームに対して後処理フィルタリングを行うことに用いられ、それによりビデオの解像度を向上させる。そうすると、ビデオの符号化／復号化過程において比較的に少ないビットで再構成ビデオフレームを取得することができ、それにより全体の符号化／復号化の効率を向上させることができる。ところが、現在、前処理フィルタ及び後処理フィルタのいずれでも採用されるニューラルネットワークの入力はシングル入力又はマルチ入力であり、即ち、１つの画像成分又は複数の画像成分を入力して、即ち従来の畳み込みニューラルネットワークの複雑性は比較的に高く、且つ現在のＣＮＮフィルタは関連情報を十分に総合利用していないため、再構成画像の品質の向上が制限されてしまう。
【0017】
図１における符号化ブロック図に類似し、図２は従来の復号化ブロック図の構造模式図である。図２に示すように、該従来の復号化ブロック図２０は、エントロピー符号化ユニット２０１、逆量子化及び逆変換ユニット２０２、予測ユニット２０３、インループフィルタリングユニット２０４、並びに後処理フィルタリングユニット２０５等の部材を含んでもよく、予測ユニット２０３は更にイントラ予測ユニット２０３１及びインター予測ユニット２０３２を含む。なお、ビデオ復号化過程はビデオ符号化過程と逆の過程であり、ビデオ復号化過程において取得された後処理フィルタリング後の画像を再構成ビデオフレームとして決定する。図２から分かるように、復号化過程においては符号化過程における前処理フィルタリングユニットに関わらない。
【0018】
本願の実施例はフィルタリング方法を提供し、該方法はフィルタリング装置に適用され、該フィルタリング装置はエンコーダの前処理フィルタ及び後処理フィルタに設置されてもよく、デコーダの後処理フィルタに設置されてもよく、ここで本願の実施例は具体的に限定しない。
【0019】
図３は本願の実施例に係る選択可能なフィルタリング方法の模式的なフローチャートである。図３に示すように、該フィルタリング方法は、
フィルタリング対象画素情報を取得するＳ３０１と、
少なくとも１種類の辺情報を取得するＳ３０２と、
フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得するＳ３０３と、を含んでもよい。
フィルタリング対象画素情報を取得するＳ３０１と、
少なくとも１種類の辺情報を取得するＳ３０２と、
フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得するＳ３０３と、を含んでもよい。
【0020】
上記フィルタリング対象画素情報とは画素値で示されるフィルタリング対象画像ブロックを指し、且つ該フィルタリング対象画像ブロックは３種類の画像成分を含み、上記少なくとも２種類の成分は３種類の画像成分のうちのいずれか２種類の画像成分又は３種類の画像成分であってもよく、画像成分は第１画像成分、第２画像成分及び第３画像成分を含んでもよい。本願の実施例は第１画像成分で輝度成分を示し、第２画像成分で第１色度成分を示し、第３画像成分で第２色度成分を示す場合を例として説明する。
【0021】
上記少なくとも１種類の辺情報は第１種類の画像成分に対応する辺情報、第２種類の画像成分に対応する辺情報、第３種類の画像成分の辺情報のうちの少なくとも１種類の辺情報であってもよい。
【0022】
なお、オリジナル画像フレームはＣＴＵに分割されることができ、又はＣＴＵによりＣＵに分割され、即ち、本願の実施例のブロック分割情報とはＣＴＵ分割情報を指してもよく、ＣＵ分割情報を指してもよい。そうすると、本願の実施例のフィルタリング方法はＣＵレベルの前処理フィルタリング又は後処理フィルタリングに適用できるだけではなく、ＣＴＵレベルの前処理フィルタリング又は後処理フィルタリングにも適用でき、本願の実施例は具体的に限定しない。
【0023】
フィルタリング対象画素情報は画素値で示される符号化対象ビデオにおけるオリジナル画像ブロックであり、又は、フィルタリング対象画素情報は画素値で示される符号化対象ビデオがビデオ符号化過程においてインループフィルタリング処理された後に取得した画像ブロックである。
【0024】
なお、符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化を行う過程において、オリジナル画像に対してビデオ符号化処理を行うときには、ＣＵ分割、予測、変換及び量子化等の処理を行い、且つ、後続の符号化対象画像に対してビデオ符号化を行うための参照画像を取得するために、更に逆変換及び逆量子化、再構成並びにフィルタリング等の処理を行ってもよい。即ち、フィルタリング対象画素情報はエンコーダに入力されたばかりのオリジナル画像における画像ブロックであってもよく、これは前処理フィルタに適用される場合であり、インループフィルタリング処理後に取得したばかりの画像ブロックであってもよく、これは後処理フィルタに適用される場合であり、このようにして、フィルタリング対象画素情報を取得する。
【0025】
即ち、フィルタリング対象画素情報を取得した後、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報を取得することができる。
【0026】
なお、ビデオ画像において、一般的に第１画像成分、第２画像成分及び第３画像成分でオリジナル画像又はフィルタリング対象画像を示す。輝度－色度成分表示方法において、この３つの画像成分はそれぞれ１つの輝度成分、１つの青色色度（色差）成分及び１つの赤色色度（色差）成分であり、具体的に、輝度成分は一般的に符号Ｙで示され、青色色度成分は一般的に符号Ｃｂで示されるが、Ｕで示されてもよく、赤色色度成分は一般的に符号Ｃｒで示されるが、Ｖで示されてもよい。
【0027】
本願の実施例では、少なくとも１種類の成分は第１画像成分、第２画像成分及び第３画像成分のうちの１種類又は複数の種類を示すが、少なくとも２種類の成分は第１画像成分、第２画像成分及び第３画像成分であってもよく、第１画像成分及び第２画像成分であってもよく、第１画像成分及び第３画像成分であってもよく、ひいては第２画像成分及び第３画像成分であってもよく、本願の実施例はいずれも具体的に限定しない。
【0028】
次世代のビデオ符号化標準（ＶＶＣ、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）において、その対応のテストモデルはＶＶＣテストモデル（ＶＴＭ、ＶＶＣ Ｔｅｓｔ Ｍｏｄｅｌ）である。ＶＴＭでテストを実施するとき、現在の標準テストシーケンスはＹＵＶが４：２：０のフォーマットであることを用い、該フォーマットの符号化対象ビデオにおける各フレーム画像はいずれも３種類の成分、即ち１つの輝度成分Ｙ並びに２つの色度成分Ｕ及びＶで構成されてもよい。符号化対象ビデオにおけるオリジナル画像の高さがＨであり、幅がＷであると仮定すれば、第１画像成分に対応するサイズ情報はＨ×Ｗであり、第２画像成分又は第３画像成分に対応するサイズ情報はいずれも
である。尚、本願の実施例はＹＵＶが４：２：０のフォーマットであることを例として説明するが、本願の実施例のフィルタリング方法は他のサンプリングフォーマットにも適用できる。
【数1】
【0029】
ＹＵＶが４：２：０のフォーマットであることを例として、第１画像成分と第２画像成分又は第３画像成分のサイズ情報が異なるため、第１画像成分及び／又は第２画像成分及び／又は第３画像成分をニューラルネットワークに基づくフィルタに一括で入力するために、この３種類の成分をサンプリング又は再構成処理する必要がある。それにより３種類の成分の空きフィールドサイズ情報を同じにする。
【0030】
いくつかの実施例では、高解像度の画像成分に対して画素再配列処理（ダウンサンプリング処理と称されてもよい）を行ってもよく、それにより３種類の成分の空きフィールドサイズ情報を同じにする。具体的に、Ｓ３０２の前に、更にフィルタリング対象画素情報の少なくとも２種類の成分に対して、高解像度の画像成分を選択して、高解像度の画像成分に対して画素再配列処理を行ってもよい。
【0031】
なお、オリジナル画像に含まれる３種類の成分について他の処理を行う前に、この３種類の成分はオリジナル画像成分である。第１画像成分が輝度成分、第２画像成分が第１色度成分、第３画像成分が第２色度成分である場合、高解像度の画像成分は第１画像成分であり、このとき、第１画像成分に対して画素再配列処理を行う必要がある。
【0032】
例示的に、２×２サイズのオリジナル画像を例として、それを４つのチャネルに変換し、即ち２×２×１のテンソルを１×１×４のテンソルに配列し、そうすると、オリジナル画像の第１画像成分のサイズ情報がＨ×Ｗである場合、フィルタリングする前に画素再配列処理によってそれを
に変換することができる。第２画像成分及び第３画像成分のサイズ情報がいずれも
であるため、３つの画像成分の空きフィールドサイズ情報を同じにすることができる。その後、画素再配列処理後の３つの画像成分をマージした後、
に変換して前処理フィルタ又は後処理フィルタに入力する。
【数2】
【数3】
【数4】
【0033】
いくつかの実施例では、更に低解像度の画像成分に対してアップサンプリング処理を行ってもよく、それにより３種類の成分の空きフィールドサイズ情報を同じにする。具体的に、フィルタリング対象画素情報の少なくとも２種類の成分に対して、低解像度の成分を選択して、低解像度の成分に対してアップサンプリング処理を行ってもよい。
【0034】
なお、高解像度の成分に対してサイズ情報の画素再配列処理（即ち、下向き調整）を行うことができる以外に、本願の実施例では、低解像度の成分に対してアップサンプリング処理（即ち、上向き調整）を行ってもよい。また、低解像度の成分に対して、アップサンプリング処理を行うことができるだけではなく、デコンボリューション処理を行うこともでき、ひいては超解像度処理等を行うこともできる。それらは処理効果が同じであり、本願の実施例は具体的に限定しない。
【0035】
更に、オリジナル画像に含まれる３種類の成分について他の処理を行う前に、この３種類の成分はオリジナル画像成分である。第１画像成分が輝度成分、第２画像成分が第１色度成分、第３画像成分が第２色度成分である場合、低解像度の画像成分は第２画像成分又は第３画像成分であり、このとき、第２画像成分又は第３画像成分に対してアップサンプリング処理を行う必要がある。
【0036】
例示的に、オリジナル画像の第２画像成分及び第３画像成分のサイズ情報がいずれも
である場合、フィルタリングする前にアップサンプリング処理によってそれをＨ×Ｗに変換することができる。第１画像成分のサイズ情報がＨ×Ｗであるため、これで３つの画像成分の空きフィールドサイズ情報を同じにすることができ、そしてアップサンプリング処理後の第２画像成分及びアップサンプリング処理後の第３画像成分は第１画像成分の解像度と一致することになる。
【数5】
【0037】
辺情報はフィルタリングを補助することに用いられてもよく、フィルタリング品質を向上させる。辺情報はブロック分割情報（例えば、ＣＵ分割情報及び／又はＣＴＵ分割情報）であってもよく、量子化パラメータ情報であってもよく、ひいては動きベクトル（ＭＶ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）情報、予測方向情報等であってもよい。これらの情報は独立して辺情報とされてもよく、任意に組み合わせて辺情報とされてもよく、例えば、ブロック分割情報が独立して辺情報とされ、又は、ブロック分割情報と量子化パラメータ情報が共同で辺情報とされ、又は、ブロック分割情報とＭＶ情報が共同で辺情報とされる等のケースがあり、本願の実施例は具体的に限定しない。
【0038】
そうすると、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報を取得した後、少なくとも２種類の成分及び少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して処理し、ここで、該処理は成分処理、融合処理、連携処理及び分岐処理等の処理方式を含んでもよく、本願の実施例は具体的に限定しない。
【0039】
ここに至ると、取得されたフィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報を入力値としてニューラルネットワークに基づくフィルタに入力すれば、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得することができる。
【0040】
ニューラルネットワークの構造は少なくとも１つの連携処理段階及び１つの独立処理段階を含み、連携処理段階においては、すべての成分が一緒に処理され、独立処理段階においては、各成分がニューラルネットワークの１つの独立した分岐において処理される。
【0041】
フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得するために、選択可能な実施例では、Ｓ３０３は、
それぞれ少なくとも２種類の成分のうちの各成分を処理して、処理後の少なくとも２種類の成分を取得するＳ３０３１と、
少なくとも１種類の辺情報及び処理後の少なくとも２種類の成分に基づいて融合処理して、フィルタリング対象画素情報の融合情報を取得するＳ３０３２と、
融合情報を処理して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得するＳ３０３３と、を含んでもよい。
それぞれ少なくとも２種類の成分のうちの各成分を処理して、処理後の少なくとも２種類の成分を取得するＳ３０３１と、
少なくとも１種類の辺情報及び処理後の少なくとも２種類の成分に基づいて融合処理して、フィルタリング対象画素情報の融合情報を取得するＳ３０３２と、
融合情報を処理して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得するＳ３０３３と、を含んでもよい。
【0042】
Ｓ３０３１において、該処理過程は分岐段階として見なされてもよく、それぞれ少なくとも２種類の成分を取得することに用いられ、融合情報は少なくとも、少なくとも２種類の成分を融合して取得した情報を含み、Ｓ３０３２については、該処理過程はマージ段階として見なされてもよく、少なくとも２種類の成分を融合することに用いられる。そうすると、本願の実施例はカスケード処理構造を用い、入力された複数の種類の成分を融合処理することにより、複数の種類の成分の間の関係を十分に利用するだけではなく、この複数の種類の成分に対して完全なネットワークフォワード計算を複数回行う必要があるという問題も効果的に回避し、これにより計算複雑性を低減し、符号化率を節約する。最後に、融合情報を処理して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得する。そうすると、融合情報によって更にフィルタリングを補助することができ、符号化／復号化過程におけるビデオ再構成画像の主観的及び客観的品質を向上させる。
【0043】
処理後の少なくとも２種類の成分を取得するために、選択可能な実施例では、Ｓ３０３１は、
それぞれ少なくとも２種類の成分のうちの各成分に対して成分処理を行って、処理後の少なくとも２種類の成分を取得することを含んでもよい。
それぞれ少なくとも２種類の成分のうちの各成分に対して成分処理を行って、処理後の少なくとも２種類の成分を取得することを含んでもよい。
【0044】
ここで、オリジナル画像ブロックのオリジナル画像成分ＹＵＶを取得し、Ｙ、Ｕ及びＶをそれぞれ処理して、フィルタリング対象画像ブロックのＹＵＶを取得し、即ち、フィルタリング対象画像ブロックの少なくとも２種類の成分がＹＵ、又はＹＶ、又はＵＶであってもよいことが得られる。
【0045】
処理後の少なくとも２種類の成分を取得するために、選択可能な実施例では、各成分に対応する第１辺情報を取得した場合、それに対応して、Ｓ３０３１は、
それぞれ少なくとも２種類の成分のうちの各成分及び各成分に対応する第１辺情報を融合処理して、処理後の少なくとも２種類の成分を取得することを含んでもよく、
第１辺情報は少なくともブロック分割情報及び／又は量子化パラメータ情報を含む。
それぞれ少なくとも２種類の成分のうちの各成分及び各成分に対応する第１辺情報を融合処理して、処理後の少なくとも２種類の成分を取得することを含んでもよく、
第１辺情報は少なくともブロック分割情報及び／又は量子化パラメータ情報を含む。
【0046】
理解されるように、第１辺情報はフィルタリングを補助し、フィルタリング品質を向上させることに用いられてもよい。第１辺情報はブロック分割情報（例えば、ＣＵ分割情報及び／又はＣＴＵ分割情報）であってもよく、量子化パラメータ情報であってもよく、ひいては動きベクトル（ＭＶ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）情報、予測方向情報等であってもよい。これらの情報は独立して第１辺情報とされてもよく、任意に組み合わせて第１辺情報とされてもよく、例えば、ブロック分割情報が独立して第１辺情報とされ、又は、ブロック分割情報と量子化パラメータ情報が共同で第１辺情報とされ、又は、ブロック分割情報とＭＶ情報が共同で第１辺情報等とされる等のケースがあり、本願の実施例は具体的に限定しない。
【0047】
なお、Ｓ３０３１は第１分岐段階として見なされてもよい。そうすると、フィルタリング対象画素情報の少なくとも２種類の成分に対して、それぞれ成分処理（例えば、深層学習）を行うことができ、それにより処理後の少なくとも２種類の成分を取得することができる。また、更に各成分に対応する第１辺情報を対応の成分に追加することができ、それにより処理後の少なくとも２種類の成分を取得する。即ち、第１分岐段階において、第１辺情報を融合してもよく、第１辺情報を融合しなくてもよく、本願の実施例は具体的に限定しない。
【0048】
更に、いくつかの実施例では、ＣＵ分割情報をフィルタリング対象画素情報の各成分に対応するブロック分割情報とすることができ、ＣＵ分割情報に対して、ＣＵ境界に対応する各画素点位置で第１値を充填し、他の画素点位置で第２値を充填して、ＣＵ分割情報に対応する第１行列を取得し、第１値と第２値は異なり、第１行列をフィルタリング対象画素情報の各成分に対応するブロック分割情報とする。
【0049】
なお、第１値は予め設定された数値、アルファベット等であってもよく、第２値も予め設定された数値、アルファベット等であってもよく、第１値と第２値は異なり、例えば、第１値は２に設定されてもよく、第２値は１に設定されてもよいが、本願の実施例は具体的に限定しない。
【0050】
本願の実施例では、ＣＵ分割情報を第１辺情報としてフィルタリング対象画素情報のフィルタリング処理を補助することができる。即ち、符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化を行う過程において、ＣＵ分割情報を十分に利用して、フィルタリング対象画素情報の少なくとも２種類の成分と融合した後にフィルタリングするように指導することができる。
【0051】
具体的に、ＣＵ分割情報を１つの符号化ユニットマップ（ＣＵｍａｐ、Ｃｏｄｉｎｇ Ｕｎｉｔ Ｍａｐ）に変換し、且つ２次元行列、即ちＣＵｍａｐ行列、即ち本願の実施例の第１行列で示す。即ち、オリジナル画像の第１画像成分を例とし、それを複数のＣＵに分割することができ、各ＣＵ境界に対応する各画素点位置において第１値で充填し、他の画素点位置において第２値で充填し、そうすると、ＣＵ分割情報を示す第１行列を構築することができる。例示的に、図４は本願の実施例に係るブロック分割行列の構造模式図である。図４に示すように、該図が１つのＣＴＵを示す場合、該ＣＴＵを９つのＣＵに分割することができる。第１値が２に設定され、第２値が１に設定されると仮定すれば、各ＣＵ境界に対応する各画素点位置において２で充填し、他の画素点位置において１で充填し、即ち、２で充填される画素点位置でＣＵの境界を示し、それによりＣＵ分割情報、即ちフィルタリング対象画素情報の第１画像成分に対応する第１辺情報を決定することができる。
【0052】
更に、第１画像成分が輝度成分であり、第２画像成分と第３画像成分がいずれも色度成分である場合、第１画像成分のＣＵ分割情報と第２画像成分又は第３画像成分のＣＵ分割情報とは異なる可能性がある。従って、第１画像成分のＣＵ分割情報と第２画像成分又は第３画像成分のＣＵ分割情報とが異なる場合、それぞれフィルタリング対象画素情報の第１画像成分に対応するＣＵ分割情報とフィルタリング対象画素情報の第２画像成分又は第３画像成分に対応するＣＵ分割情報とを決定する必要があり、次に、それを第１辺情報として対応の第１画像成分又は第２画像成分又は第３画像成分に融合する。第１画像成分のＣＵ分割情報と第２画像成分又は第３画像成分のＣＵ分割情報とが同じである場合、第１画像成分又は第２画像成分又は第３画像成分のＣＵ分割情報のみを決定してもよく、次に、決定されたＣＵ分割情報を第１辺情報として対応の第１画像成分又は第２画像成分又は第３画像成分に融合する。そうすると、後に取得される少なくとも２種類の新しい成分を容易に融合することができ、それによってフィルタリング対象画素情報に対して前処理フィルタリング又は後処理フィルタリングを行うことができる。
【0053】
いくつかの実施例では、それぞれ各成分に対応する第１辺情報を決定することは、符号化対象ビデオにおけるオリジナル画像に基づいて、それぞれオリジナル画像ブロックの少なくとも２種類の成分のうちの各成分に対応する量子化パラメータを取得し、量子化パラメータをフィルタリング対象画素情報の各成分に対応する量子化パラメータ情報とすることであってもよい。
【0054】
更に、いくつかの実施例では、量子化パラメータをフィルタリング対象画素情報の各成分に対応する量子化パラメータ情報とすることは、それぞれオリジナル画像の各成分のサイズと同じ第２行列を構築し、第２行列における各画素点位置にいずれもオリジナル画像の各成分に対応する量子化パラメータの正規化値が充填され、第２行列をフィルタリング対象画素情報の各成分に対応する量子化パラメータ情報とすることであってもよい。
【0055】
なお、異なる量子化パラメータに対応するフィルタリング対象画素情報は、その歪み度が異なる。量子化パラメータ情報が融合されれば、フィルタリングネットワークは訓練過程においていかなる量子化パラメータを処理する機能を適応的に有することができる。
【0056】
本願の実施例では、更に量子化パラメータ情報を第１辺情報としてフィルタリング対象画像ブロックのフィルタリング処理を補助することができる。即ち、符号化対象ビデオにおけるオリジナル画像に対してビデオ符号化を行う過程において、量子化パラメータ情報を十分に利用して、それをフィルタリング対象画素情報の少なくとも２種類の成分と融合した後にフィルタリングするように指導することができる。量子化パラメータ情報は正規化処理を行ってもよく、量子化パラメータ情報は非正規化処理（例えば、分類処理、区間分割処理等）を行ってもよい。以下、量子化パラメータの正規化処理を例として詳しく説明する。
【0057】
具体的に、量子化パラメータ情報を、量子化パラメータ情報を示す第２行列に変換する。即ち、オリジナル画像の第１画像成分を例とし、オリジナル画像の第１画像成分のサイズと同じ行列を構築し、該行列における各画素点位置にいずれもオリジナル画像の第１画像成分に対応する量子化パラメータの正規化値が充填され、量子化パラメータの正規化値はＱＰｍａｘ（ｘ，ｙ）で示され、即ち、
式（１）において、ＱＰはオリジナル画像の第１画像成分に対応する量子化パラメータ値を示し、ｘはオリジナル画像の第１画像成分における各画素点位置の横座標値を示し、ｙはオリジナル画像の第１画像成分における各画素点位置の縦座標値を示し、ＱＰｍａｘは量子化パラメータの最大値を示し、一般的に、ＱＰｍａｘの値は５１であるが、ＱＰｍａｘは他の値、例えば２９、３１等であってもよく、本願の実施例は具体的に限定しない。
【数6】
【0058】
処理後の少なくとも２種類の成分を取得するために、選択可能な実施例では、各成分に対応する第２辺情報を取得した場合、それに対応して、Ｓ３０３１は、
それぞれ少なくとも２種類の成分のうちの各成分及び各成分に対応する第２辺情報を融合処理して、処理後の少なくとも２種類の成分を取得することを含んでもよく、
第２辺情報は第１辺情報と異なる。
それぞれ少なくとも２種類の成分のうちの各成分及び各成分に対応する第２辺情報を融合処理して、処理後の少なくとも２種類の成分を取得することを含んでもよく、
第２辺情報は第１辺情報と異なる。
【0059】
フィルタリング対象画素情報の融合情報を取得するために、選択可能な実施例では、Ｓ３０３２は、
処理後の少なくとも２種類の成分及び各成分に対応する第１辺情報を融合処理して、フィルタリング対象画素情報の融合情報を取得することを含んでもよい。
処理後の少なくとも２種類の成分及び各成分に対応する第１辺情報を融合処理して、フィルタリング対象画素情報の融合情報を取得することを含んでもよい。
【0060】
フィルタリング対象画素情報の融合情報を取得するために、選択可能な実施例では、Ｓ３０３２は、
処理後の少なくとも２種類の成分及び各成分に対応する第２辺情報を融合処理して、フィルタリング対象画素情報の融合情報を取得することを含んでもよい。
処理後の少なくとも２種類の成分及び各成分に対応する第２辺情報を融合処理して、フィルタリング対象画素情報の融合情報を取得することを含んでもよい。
【0061】
なお、第１辺情報であるかそれとも第２辺情報であるかにかかわらず、いずれもフィルタリングを補助し、フィルタリング品質を向上させることに用いられてもよい。第１辺情報及び第２辺情報はブロック分割情報、量子化パラメータ情報、ＭＶ情報及び予測方向情報等のうちの１種類又は複数の種類であってもよく、即ち、第１辺情報がブロック分割情報である場合、第２辺情報は量子化パラメータ情報であってもよく、又は、第１辺情報が量子化パラメータ情報である場合、第２辺情報はブロック分割情報であってもよく、又は、第１辺情報がブロック分割情報及び量子化パラメータ情報である場合、第２辺情報はＭＶ情報であってもよく、又は、第１辺情報がブロック分割情報である場合、第２辺情報は量子化パラメータ情報及びＭＶ情報であってもよく、本願の実施例は具体的に限定しない。
【0062】
更に、第１辺情報と第２辺情報の融合段階は同じであってもよく、異なってもよい。第１分岐段階はそれぞれフィルタリング対象画素情報の少なくとも２種類の成分を取得することに対応する処理段階を示すことに用いられ、マージ段階はフィルタリング対象画素情報の融合情報を決定することに対応する処理段階を示すことに用いられ、第２分岐段階は融合処理後にそれぞれ各成分の残差情報を決定することに対応する処理段階を示すことに用いられると仮定する。この場合、第１辺情報の融合段階は第１分岐段階、マージ段階又は第２分岐段階のうちのいずれか１つであってもよく、第２辺情報の融合段階も第１分岐段階、マージ段階又は第２分岐段階のうちのいずれか１つであってもよく、即ち、第１辺情報の融合段階は第１分岐段階であってもよく、第２辺情報の融合段階はマージ段階であってもよく、又は、第１辺情報の融合段階はマージ段階であってもよく、第２辺情報の融合段階は第１分岐段階であってもよく、又は、第１辺情報の融合段階は第２分岐段階であってもよく、第２辺情報の融合段階はマージ段階であってもよく、又は、第１辺情報の融合段階は第１分岐段階であってもよく、第２辺情報の融合段階は第２分岐段階であってもよく、又は、第１辺情報の融合段階は第１分岐段階であってもよく、第２辺情報の融合段階も第１分岐段階であってもよく、又は、第１辺情報の融合段階はマージ段階であってもよく、第２辺情報の融合段階もマージ段階であってもよく、本願の実施例は具体的に限定しない。
【0063】
フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得するために、選択可能な実施例では、Ｓ３０３３は、
融合情報に対して連携処理及び分岐処理を行って、少なくとも２種類の成分のうちの少なくとも１種類の成分に対応する残差情報を取得することと、
少なくとも２種類の成分のうちの少なくとも１種類の成分と少なくとも１種類の成分に対応する残差情報を加算演算して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得することと、を含んでもよい。
融合情報に対して連携処理及び分岐処理を行って、少なくとも２種類の成分のうちの少なくとも１種類の成分に対応する残差情報を取得することと、
少なくとも２種類の成分のうちの少なくとも１種類の成分と少なくとも１種類の成分に対応する残差情報を加算演算して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得することと、を含んでもよい。
【0064】
なお、本願の実施例の前処理フィルタリング又は後処理フィルタリングに採用されるのは複数段階のカスケード処理構造、例えば分岐－マージ－分岐処理構造、分岐－マージ処理構造、又はマージ－分岐処理構造等であり、本願の実施例は具体的に限定しない。
【0065】
具体的に、まずそれぞれフィルタリング対象画素情報の少なくとも２種類の成分を取得する必要があり、即ち第１分岐段階の必要があり、次に、少なくとも２種類の成分を融合する必要があり、即ちマージ段階の必要があり、そうすると、すべての情報が融合処理された後、複数の種類の成分、例えば第１画像成分、第２画像成分及び第３画像成分を同時に出力する必要がある場合、融合情報に対して連携処理を行うことにより、それぞれ第１画像成分に対応する残差情報、第２画像成分に対応する残差情報及び第３画像成分に対応する残差情報を取得し、次に、第１画像成分と第１画像成分に対応する残差情報を加算演算し、第２画像成分と第２画像成分に対応する残差情報を加算演算し、第３画像成分と第３画像成分に対応する残差情報を加算演算して、それぞれフィルタリング対象画素情報をフィルタリングした後の第１画像成分、フィルタリング対象画素情報をフィルタリングした後の第２画像成分及びフィルタリング対象画素情報をフィルタリングした後の第３画像成分を取得し、該処理過程は即ち第２分岐段階であり、そうすると、この前処理フィルタリング又は後処理フィルタリング過程全体は分岐－マージ－分岐処理構造を用いる。
まずフィルタリング対象画素情報の少なくとも２種類の成分を取得する必要があり、即ち第１分岐段階の必要があり、次に、少なくとも２種類の成分を融合する必要があり、即ちマージ段階の必要があり、そうすると、すべての情報が融合処理された後、１種類の成分のみ、例えば第１画像成分を出力する必要がある場合、融合情報に対して連携処理を行うことにより、第１画像成分に対応する残差情報を取得し、次に、第１画像成分と第１画像成分に対応する残差情報を加算演算して、フィルタリング対象画素情報をフィルタリングした後の第１画像成分を取得し、該処理過程に第２分岐段階が存在せず、そうすると、この前処理フィルタリング又は後処理フィルタリング過程全体は分岐－マージ処理構造を用いる。
まずフィルタリング対象画素情報の少なくとも２種類の成分を取得する必要があり、即ち第１分岐段階の必要があり、次に、少なくとも２種類の成分を融合する必要があり、即ちマージ段階の必要があり、そうすると、すべての情報が融合処理された後、１種類の成分のみ、例えば第１画像成分を出力する必要がある場合、融合情報に対して連携処理を行うことにより、第１画像成分に対応する残差情報を取得し、次に、第１画像成分と第１画像成分に対応する残差情報を加算演算して、フィルタリング対象画素情報をフィルタリングした後の第１画像成分を取得し、該処理過程に第２分岐段階が存在せず、そうすると、この前処理フィルタリング又は後処理フィルタリング過程全体は分岐－マージ処理構造を用いる。
【0066】
また、それぞれフィルタリング対象画素情報の少なくとも２種類の成分を取得する必要がなく、即ち第１分岐段階の必要がなければ、直接にフィルタリング対象画素情報の少なくとも２種類の成分を融合処理してもよく、即ち直接にマージ段階に入る。すべての情報が融合処理された後、複数の種類の成分を同時に出力する必要があるため、第２分岐段階が更に存在する必要があり、そうすると、この前処理フィルタリング又は後処理フィルタリング過程全体はマージ－分岐処理構造を用いる。
【0067】
更に、本願の実施例の前処理フィルタリング又は後処理フィルタリングは更に多くのカスケード処理構造、例えば分岐－マージ－分岐－マージ－分岐処理構造等を用いてもよい。これらのカスケード処理構造については、本願の実施例は代表的なカスケード構造、例えば分岐－マージ－分岐処理構造を用いてもよく、代表的なカスケード構造より少ないカスケード処理構造、例えば分岐－マージ処理構造又はマージ－分岐処理構造等を用いてもよく、ひいては代表的なカスケード構造より多いカスケード処理構造、例えば分岐－マージ－分岐－マージ－分岐処理構造等を用いてもよく、本願の実施例は具体的に限定しない。
【0068】
前処理フィルタ又は後処理フィルタは畳み込みニューラルネットワークフィルタを含んでもよい。
【0069】
なお、前処理フィルタ又は後処理フィルタは畳み込みニューラルネットワークフィルタであってもよく、深層学習により構築される他のフィルタであってもよく、本願の実施例は具体的に限定しない。ここで、畳み込みニューラルネットワークフィルタは、ＣＮＮフィルタとも称され、畳み込み計算を含んで深層構造を有するフィードフォワードニューラルネットワークであり、深層学習の代表的なアルゴリズムの１つである。ＣＮＮフィルタの入力層は多次元データ、例えば符号化対象ビデオにおけるオリジナル画像の３つの画像成分（Ｙ／Ｕ／Ｖ）チャネルを処理することができる。
【0070】
図５は本願の実施例に係る従来のＣＮＮフィルタの構造模式図である。図５に示すように、該従来のＣＮＮフィルタ５０は前世代のビデオ符号化標準Ｈ．２６５／高効率ビデオ符号化（ＨＥＶＣ、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に基づいて改善されたものであり、２層の畳み込みネットワーク構造を含み、デブロッキングフィルタ及びサンプル適応オフセットフィルタを代替することができる。フィルタリング対象画像（Ｆｉｎで示される）を従来のＣＮＮフィルタ５０の入力層に入力した後、第１層の畳み込みネットワークＦ１（畳み込みカーネルのサイズが３×３であり、６４枚の特徴マップを含むと仮定する）及び第２層の畳み込みネットワークＦ２（畳み込みカーネルのサイズが５×５であり、３２枚の特徴マップを含むと仮定する）を通過した後、１つの残差情報Ｆ３を取得し、次に、フィルタリング対象画像Ｆｉｎと残差情報Ｆ３を加算演算して、最終的に該従来のＣＮＮフィルタ５０が出力したフィルタリング後の画像（Ｆｏｕｔで示される）を取得する。該畳み込みネットワーク構造は残差ニューラルネットワークとも称され、フィルタリング対象画像に対応する残差情報を出力することに用いられる。該従来のＣＮＮフィルタ６０において、それぞれフィルタリング対象画像の３つの画像成分を独立して処理するが、同じフィルタリングネットワーク及びフィルタリングネットワークの関連パラメータを共有する。
【0071】
図６Ａは本願の実施例に係る他の従来のＣＮＮフィルタの構造模式図であり、図６Ｂは本願の実施例に係るまた更に他の従来のＣＮＮフィルタの構造模式図である。図６Ａ及び図６Ｂに示すように、該従来のＣＮＮフィルタ６０は２つのフィルタリングネットワークを使用し、図６Ａに示されるフィルタリングネットワークは第１画像成分を出力することのみに用いられ、図６Ｂに示されるフィルタリングネットワークは第２画像成分又は第３画像成分を出力することのみに用いられる。符号化対象ビデオにおけるオリジナル画像の高さがＨであり、幅がＷであると仮定すれば、第１画像成分に対応するサイズ情報はＨ×Ｗであり、第１画像成分に対して画素再配列処理を行って、
に変換することができる。第２画像成分又は第３画像成分に対応するサイズ情報がいずれも
であるため、この３つの画像成分をマージすると、
に変換して従来のＣＮＮフィルタ６０に入力する。図６Ａに示されるフィルタリングネットワークによれば、入力層ネットワークはフィルタリング対象画像Ｆｉｎ（畳み込みカーネルのサイズがＮ×Ｎであり、チャネル数が６であると仮定する）を受信した後、第１層の畳み込みネットワークＦ１－Ｙ（畳み込みカーネルのサイズがＬ１×Ｌ１であり、畳み込みカーネルの数がＭであり、チャネル数が６であると仮定する）及び第２層の畳み込みネットワークＦ２－Ｙ（畳み込みカーネルのサイズがＬ２×Ｌ２であり、畳み込みカーネルの数が４であり、チャネル数がＭであると仮定する）を通過した後、１つの残差情報Ｆ３－Ｙ（畳み込みカーネルのサイズがＮ×Ｎであり、チャネル数が４であると仮定する）を取得し、次に、入力されたフィルタリング対象画像Ｆｉｎと残差情報Ｆ３－Ｙを加算演算して、最終的に従来のＣＮＮフィルタ６０が出力したフィルタリング後の第１画像成分（Ｆｏｕｔ－Ｙで示される）を取得する。図６Ｂに示されるフィルタリングネットワークによれば、入力層ネットワークはフィルタリング対象画像Ｆｉｎ（畳み込みカーネルのサイズがＮ×Ｎであり、チャネル数が６であると仮定する）を受信した後、第１層の畳み込みネットワークＦ１－Ｕ（畳み込みカーネルのサイズがＬ１×Ｌ１であり、畳み込みカーネルの数がＭであり、チャネル数が６であると仮定する）及び第２層の畳み込みネットワークＦ２－Ｕ（畳み込みカーネルのサイズがＬ２×Ｌ２であり、畳み込みカーネルの数が２であり、チャネル数がＭであると仮定する）を通過した後、１つの残差情報Ｆ３－Ｕ（畳み込みカーネルのサイズがＮ×Ｎであり、チャネル数が２であると仮定する）を取得し、次に、入力されたフィルタリング対象画像Ｆｉｎと残差情報Ｆ３－Ｕを加算演算して、最終的に従来のＣＮＮフィルタ６０が出力したフィルタリング後の第２画像成分又はフィルタリング後の第３画像成分（Ｆｏｕｔ－Ｕで示される）を取得する。
【数7】
【数8】
【数9】
【0072】
図５に示される従来のＣＮＮフィルタ５０、又は図６Ａ及び図６Ｂに示される従来のＣＮＮフィルタ６０については、異なる画像成分の間の関係を考慮していないため、各画像成分を独立して処理することは合理的ではない。また、入力側においてブロック分割情報、ＱＰ情報等の符号化パラメータを十分に利用していない。しかし、再構成画像の歪みは主にブロッキング効果によるものであるが、ブロッキング効果の境界情報はＣＵ分割情報によって決定されるものであり、即ち、ＣＮＮフィルタにおけるフィルタリングネットワークは境界領域に重点を置いて注目すべきである。また、量子化パラメータ情報をフィルタリングネットワークに融合することはその汎化性を向上させることにも役立ち、いかなる品質の歪み画像もフィルタリングすることができる。従って、本願の実施例に係るフィルタリング方法は、ＣＮＮフィルタリング構造の設定が合理的であり、同じフィルタリングネットワークが複数の画像成分を同時に受信することができるだけではなく、この複数の画像成分の間の関係を十分に考慮して、フィルタリング処理後にこれらの画像成分の強化画像を同時に出力することもできる。また、該フィルタリング方法は更にブロック分割情報及び／又はＱＰ情報等の符号化パラメータを符号化情報として融合してフィルタリングを補助することができ、それによりフィルタリング品質を向上させる。
【0073】
なお、本願の実施例のＳ３０３１は、具体的に、フィルタリング対象画素情報の第１画像成分、第２画像成分及び第３画像成分に対してそれぞれ各成分に対応する辺情報（例えば、第１辺情報又は第２辺情報）を決定し、融合処理後に３つの画像成分を取得することであってもよく、フィルタリング対象画素情報の第１画像成分及び第２画像成分に対してそれぞれ各成分に対応する辺情報を決定し、融合処理後に２つの画像成分を取得することであってもよく、フィルタリング対象画素情報の第１画像成分及び第３画像成分に対してそれぞれ各成分に対応する辺情報を決定し、融合処理後に２つの成分を取得することであってもよく、ひいては、フィルタリング対象画素情報の第２画像成分及び第３画像成分に対してそれぞれ各成分に対応する辺情報を決定し、融合処理後に２つの新しい成分を取得することであってもよく、本願の実施例は具体的に限定しない。
【0074】
更に、フィルタリング対象画素情報の融合情報については、少なくとも２種類の成分が直接融合されて取得したものであってもよく、少なくとも２種類の成分及び対応の辺情報（例えば、第１辺情報又は第２辺情報）が一緒に融合されて取得したものであってもよく、本願の実施例は具体的に限定しない。
【0075】
融合情報は少なくとも２種類の成分が直接融合されて取得したものであれば、融合情報を取得するようにフィルタリング対象画素情報の第１画像成分、第２画像成分及び第３画像成分を融合することであってもよく、融合情報を取得するようにフィルタリング対象画素情報の第１画像成分及び第２画像成分を融合することであってもよく、融合情報を取得するようにフィルタリング対象画素情報の第１画像成分及び第３画像成分を融合することであってもよく、ひいては、融合情報を取得するようにフィルタリング対象画素情報の第２画像成分及び第３画像成分を融合することであってもよい。
【0076】
融合情報は少なくとも２種類の成分及び対応の辺情報（例えば、第１辺情報又は第２辺情報）が一緒に融合されて取得したものであれば、融合情報を取得するようにフィルタリング対象画素情報の第１画像成分、第２画像成分及び第３画像成分を辺情報と融合することであってもよく、融合情報を取得するようにフィルタリング対象画素情報の第１画像成分、第２画像成分を辺情報と融合することであってもよく、融合情報を取得するようにフィルタリング対象画素情報の第１画像成分、第３画像成分を辺情報と融合することであってもよく、ひいては、融合情報を取得するようにフィルタリング対象画素情報の第２画像成分、第３画像成分を辺情報と融合することであってもよい。具体的に、「少なくとも２種類の成分及び対応の符号化情報（例えば、第１辺情報又は第２辺情報）が一緒に融合されて取得する」は、まずフィルタリング対象画素情報の少なくとも２種類の成分を融合し、次に、辺情報と融合することであってもよく、まずそれぞれフィルタリング対象画素情報の少なくとも２種類の成分のうちの各成分と対応の辺情報を融合処理し、次に、処理後の少なくとも２種類の成分を融合することであってもよく、即ち、融合処理の具体的な方式については、本願の実施例は具体的に限定しない。
【0077】
また、本願の実施例のＳ３０３は、具体的に、フィルタリング対象画素情報の複数の種類の成分（例えば、第１画像成分、第２画像成分及び第３画像成分）及び辺情報（例えば、第１辺情報又は第２辺情報）をフィルタに融合・入力した後、フィルタリング対象画素情報をフィルタリングした後の第１画像成分、又はフィルタリング後の第２画像成分、又はフィルタリング後の第３画像成分のみを出力してもよく、フィルタリング対象画素情報をフィルタリングした後の第１画像成分及びフィルタリング後の第２画像成分、又はフィルタリング後の第２画像成分及びフィルタリング後の第３画像成分、又はフィルタリング後の第１画像成分及びフィルタリング後の第３画像成分、ひいては、フィルタリング対象画素情報をフィルタリングした後の第１画像成分、フィルタリング後の第２画像成分及びフィルタリング後の第３画像成分を出力してもよく、本願の実施例は具体的に限定しない。
【0078】
フィルタリング対象画素情報の３種類の成分をニューラルネットワークに基づくフィルタに同時に入力し、且つ分岐－マージ－分岐のカスケード処理構造を用いる場合を例として、図７は本願の実施例に係る選択可能なフィルタリングフレームワークの構造模式図である。図７に示すように、該フィルタリングフレームワーク７０は、フィルタリング対象画素情報の３種類の成分（それぞれＹ、Ｕ、Ｖで示される）７０１、第１分岐ユニット７０２、第１辺情報７０３、Ｙ画像成分第１処理ユニット７０４、Ｕ画像成分第１処理ユニット７０５、Ｖ画像成分第１処理ユニット７０６、第２辺情報７０７、入力融合ユニット７０８、連携処理ユニット７０９、第２分岐ユニット７１０、Ｙ画像成分第２処理ユニット７１１、Ｕ画像成分第２処理ユニット７１２、Ｖ画像成分第２処理ユニット７１３、第１加算器７１４、第２加算器７１５、第３加算器７１６、及びフィルタリング後の３つの画像成分（それぞれＯｕｔ＿Ｙ、Ｏｕｔ＿Ｕ、Ｏｕｔ＿Ｖで示される）７１７を含んでもよい。具体的に、フィルタリング対象画像ブロックの３つの画像成分７０１は第１分岐ユニット７０２を通過した後、３チャネルの信号、即ちＹ画像成分、Ｕ画像成分及びＶ画像成分に分割され、第１チャネルのＹ画像成分及び対応の第１辺情報７０３はＹ画像成分第１処理ユニット７０４に入り、第２チャネルのＵ画像成分及び対応の第１辺情報７０３はＵ画像成分第１処理ユニット７０５に入り、第３チャネルのＶ画像成分及び対応の第１辺情報７０３はＶ画像成分第１処理ユニット７０６に入り、そうすると、３チャネルの新しい画像成分が出力される。入力融合ユニット７０８はこの３チャネルの新しい画像成分及び第２辺情報７０７を融合し、次に連携処理ユニット７０９に入力することに用いられ、連携処理ユニット７０９は複数層の畳み込みフィルタリングネットワークを含み、入力された情報に対して畳み込み計算を行うことに用いられる。具体的な畳み込み計算過程は関連の技術案に類似するため、連携処理ユニット７０９の具体的な実行ステップについて説明しない。連携処理ユニット７０９を通過した後、改めて３チャネルの信号に分割するように第２分岐ユニット７１０に入り、次に、この３チャネルの信号をそれぞれＹ画像成分第２処理ユニット７１１、Ｕ画像成分第２処理ユニット７１２及びＶ画像成分第２処理ユニット７１３に入力し、それにより順にＹ画像成分の残差情報、Ｕ画像成分の残差情報及びＶ画像成分の残差情報を取得することができる。フィルタリング対象画像ブロックの３つの画像成分７０１のうちのＹ画像成分と取得されたＹ画像成分の残差情報を一緒に第１加算器７１４に入力すれば、第１加算器７１４の出力はフィルタリング後のＹ画像成分（Ｏｕｔ＿Ｙで示される）であり、フィルタリング対象画像の３つの画像成分７０１のうちのＵ画像成分と取得されたＵ画像成分の残差情報を一緒に第２加算器７１５に入力すれば、第２加算器７１５の出力はフィルタリング後のＵ画像成分（Ｏｕｔ＿Ｕで示される）であり、フィルタリング対象画像ブロックの３つの画像成分７０１のうちのＶ画像成分と取得されたＶ画像成分の残差情報を一緒に第３加算器７１６に入力すれば、第３加算器７１６の出力はフィルタリング後のＶ画像成分（Ｏｕｔ＿Ｖで示される）である。ここで、成分の出力については、フィルタリング後のＹ画像成分のみを出力する必要がある場合、フィルタリングフレームワーク７０は第２分岐ユニット７１０、第２加算器７１５及び第３加算器７１６を含まなくてもよく、フィルタリング後のＵ画像成分のみを出力する必要がある場合、フィルタリングフレームワーク７０は第２分岐ユニット７１０、第１加算器７１４及び第３加算器７１６を含まなくてもよく、フィルタリング後のＹ画像成分及びフィルタリング後のＵ画像成分を出力する必要がある場合、フィルタリングフレームワーク７０は第３加算器７１６を含まなくてもよく、本願の実施例は具体的に限定しない。
【0079】
フィルタリング対象画素情報の２種類の成分をニューラルネットワークに基づくフィルタに同時に入力し、且つ分岐－マージのカスケード処理構造を用いる場合を例として、図８は本願の実施例に係る他の選択可能なフィルタリングフレームワークの構造模式図である。図８に示すように、該フィルタリングフレームワーク８０は、フィルタリング対象画素情報の２種類の成分（それぞれＹとＵで示される）８０１、第１分岐ユニット７０２、第１辺情報７０３、Ｙ画像成分第１処理ユニット７０４、Ｕ画像成分第１処理ユニット７０５、入力融合ユニット７０８、連携処理ユニット７０９、Ｙ画像成分第２処理ユニット７１１、第１加算器７１４、及びフィルタリング後の１つの画像成分（Ｏｕｔ＿Ｙで示される）８０２を含んでもよい。具体的に、フィルタリング対象画像ブロックの２つの画像成分８０１は第１分岐ユニット７０２を通過した後、２チャネルの信号、即ちＹ画像成分及びＵ画像成分に分割され、第１チャネルのＹ画像成分及び対応の第１辺情報７０３はＹ画像成分第１処理ユニット７０４に入り、第２チャネルのＵ画像成分及び対応の第１辺情報７０３はＵ画像成分第１処理ユニット７０５に入り、そうすると、２チャネルの新しい画像成分が出力される。入力融合ユニット７０８はこの２チャネルの新しい画像成分を融合し、次に連携処理ユニット７０９に入力することに用いられ、連携処理ユニット７０９を通過した後、単一の画像成分（即ち、フィルタリング後のＹ画像成分）のみを出力する必要があるため、第２分岐ユニット７１０に入る必要がなく、直接にＹ画像成分第２処理ユニット７１１に入力してもよく、次に、Ｙ画像成分の残差情報を取得し、フィルタリング対象画像ブロックの２つの画像成分８０１のうちのＹ画像成分と取得されたＹ画像成分の残差情報を一緒に第１加算器７１４に入力し、第１加算器７１４の出力はフィルタリング後のＹ画像成分（Ｏｕｔ＿Ｙで示される）である。
【0080】
なお、Ｙ画像成分及びＵ画像成分又はＶ画像成分のサイズ情報は異なってもよいため、図７に示されるフィルタリングフレームワーク７０又は図８に示されるフィルタリングフレームワーク８０において、アップサンプリング処理を行うように、更にＵ画像成分第１処理ユニット７０５及びＶ画像成分第１処理ユニット７０６の前にアップサンプリングユニット（又は、デコンボリューションユニット又は超解像ユニット）を追加してもよく、それによりアップサンプリング処理後のＵ画像成分又はアップサンプリング処理後のＶ画像成分はＹ画像成分の解像度に一致するように維持し、後続に前処理フィルタリング及び後処理フィルタリングを行うことに役立つ。また、図７に示されるフィルタリングフレームワーク７０を例として、本願の実施例の前処理フィルタ及び後処理フィルタは少なくとも入力融合ユニット７０８、連携処理ユニット７０９、第１加算器７１４、第２加算器７１５及び第３加算器７１６を備えてもよいが、第１分岐ユニット７０２、Ｙ画像成分第１処理ユニット７０４、Ｕ画像成分第１処理ユニット７０５、Ｖ画像成分第１処理ユニット７０６等を備えてもよく、ひいては、第２分岐ユニット７１０、Ｙ画像成分第２処理ユニット７１１、Ｕ画像成分第２処理ユニット７１２、Ｖ画像成分第２処理ユニット７１３等を備えてもよく、本願の実施例は具体的に限定しない。
【0081】
また、本願の実施例に係るフィルタリング方法は分岐－マージ－分岐処理構造、例えば図７に示されるフィルタリングフレームワーク７０を用いてもよく、より少ない分岐－マージ処理構造、例えば図８に示されるフィルタリングフレームワーク８０を用いてもよく、より少ないマージ－分岐処理構造を用いてもよく、ひいては、より少ないマージ－分岐処理構造又はより多い分岐－マージ－分岐－マージ－分岐処理構造を用いてもよく、本願の実施例は具体的に限定しない。
【0082】
更に、第１辺情報と第２辺情報はすべてフィルタリング処理、例えば図７に示されるフィルタリングフレームワーク７０に参加してもよく、第１辺情報と第２辺情報はフィルタリング処理、例えば図８に示されるフィルタリングフレームワーク８０に選択的に参加してもよく、第２辺情報はフィルタリング処理に参加しない。本願の実施例では、第１辺情報と第２辺情報がすべてフィルタリング処理に参加することであってもよく、第１辺情報がフィルタリング処理に参加しないことであってもよく、第２辺情報がフィルタリング処理に参加しないことであってもよく、ひいては、第１辺情報と第２辺情報がいずれもフィルタリング処理に参加しないことであってもよく、本願の実施例は具体的に限定しない。
【0083】
更に、第１辺情報及び第２辺情報の融合段階は同じであってもよく、異なってもよく、即ち、第１辺情報と第２辺情報は同一段階においてフィルタリング処理に参加してもよく、異なる段階においてフィルタリング処理に参加してもよく、本願の実施例は具体的に限定しない。例えば、依然として図７に示されるフィルタリングフレームワーク７０を例として、第１辺情報７０３と第２辺情報７０７はいずれも第１分岐ユニット７０２に対応する段階においてフィルタリング処理に参加してもよく、又は、第１辺情報７０３と第２辺情報７０７はいずれも入力融合ユニット７０８に対応する段階においてフィルタリング処理に参加してもよく、又は、第１辺情報７０３と第２辺情報７０７はいずれも第２分岐ユニット７１０に対応する段階においてフィルタリング処理に参加してもよく、又は、第１辺情報７０３は第１分岐ユニット７０２に対応する段階においてフィルタリング処理に参加し、第２辺情報７０７は入力融合ユニット７０８に対応する段階においてフィルタリング処理に参加し、又は、第１辺情報７０３は第１分岐ユニット７０２に対応する段階の前にフィルタリング処理に参加し、第２辺情報７０７は入力融合ユニット７０８に対応する段階においてフィルタリング処理に参加し、又は、第１辺情報７０３は第１分岐ユニット７０２に対応する段階の前にフィルタリング処理に参加し、第２辺情報７０７は第２分岐ユニット７１０に対応する段階においてフィルタリング処理に参加し、又は、第１辺情報７０３は入力融合ユニット７０８に対応する段階においてフィルタリング処理に参加し、第２辺情報７０７は第２分岐ユニット７１０に対応する段階においてフィルタリング処理に参加し、即ち、第１辺情報７０３と第２辺情報７０７はカスケード処理構造において融合段階を柔軟に選択してもよく、本願の実施例は具体的に限定しない。
【0084】
図７に示されるフィルタリングフレームワーク７０を例として、それは深層学習ネットワーク（例えば、ＣＮＮ）を用いてフィルタリングを行い、従来のＣＮＮフィルタとの相違点は、本願の実施例のフィルタはカスケード処理構造を用い、フィルタリング対象画素情報の３種類の成分をフィルタリングネットワークに同時に入力することができ、且つ他の符号化に関連する辺情報（例えば、ブロック分割情報、量子化パラメータ情報、ＭＶ情報等の符号化パラメータ）が融合され、そしてこれらの辺情報が同一段階又は異なる段階においてフィルタリングネットワークに融合されることができる、ということにある。そうすると、３種類の成分の間の関係を十分に利用するだけではなく、他の符号化に関連する符号化情報も使用してフィルタリングを補助し、フィルタリング品質を向上させる。また、３種類の成分を同時に処理することによって、更にこの３種類の成分に対して完全なネットワークフォワード計算を３回行う必要があるという問題を効果的に回避し、これにより計算複雑性を低減し、符号化率を節約する。
【0085】
図９は本願の実施例に係るまた更に他の選択可能なフィルタリングフレームワークの構造模式図である。図９に示すように、該フィルタリングフレームワーク９０は、フィルタリング対象画素情報の３種類の成分（それぞれＹ、Ｕ、Ｖで示される）９０１、第１辺情報９０２、Ｙ画像成分第１処理ユニット９０３、Ｕ画像成分第１処理ユニット９０４、Ｖ画像成分第１処理ユニット９０５、第２辺情報９０６、融合ユニット９０７、連携処理ユニット９０８、分岐ユニット９０９、Ｙ画像成分第２処理ユニット９１０、Ｕ画像成分第２処理ユニット９１１、Ｖ画像成分第２処理ユニット９１２、第１加算器９１３、第２加算器９１４、第３加算器９１５、及びフィルタリング後の３つの画像成分（それぞれＯｕｔ＿Ｙ、Ｏｕｔ＿Ｕ、Ｏｕｔ＿Ｖで示される）９１６を含んでもよい。具体的に、フィルタリング対象画素情報の３種類の成分９０１は成分処理を経て、３チャネルの信号、即ちＹ画像成分、Ｕ画像成分及びＶ画像成分に分割され、第１チャネルのＹ画像成分及び対応の第１辺情報９０２はＹ画像成分第１処理ユニット９０３に入り、第２チャネルのＵ画像成分及び対応の第１辺情報７０３はＵ画像成分第１処理ユニット９０４に入り、第３チャネルのＶ画像成分及び対応の第１辺情報９０２はＶ画像成分第１処理ユニット９０５に入り、そうすると、３チャネルの新しい画像成分が出力される。融合ユニット９０７はこの３チャネルの新しい画像成分及び第２辺情報９０６を融合し、次に連携処理ユニット９０８に入力することに用いられ、連携処理ユニット９０８は複数層の畳み込みフィルタリングネットワークを含み、入力された情報に対して畳み込み計算を行うことに用いられる。具体的な畳み込み計算過程は関連の技術案に類似するため、連携処理ユニット９０８の具体的な実行ステップについて説明しない。連携処理ユニット９０８を通過した後、改めて３チャネルの信号に分割するように分岐ユニット９０９に入り、次に、この３チャネルの信号をそれぞれＹ画像成分第２処理ユニット９１０、Ｕ画像成分第２処理ユニット９１１及びＶ画像成分第２処理ユニット９１２に入力し、それにより順にＹ画像成分の残差情報、Ｕ画像成分の残差情報及びＶ画像成分の残差情報を取得することができる。フィルタリング対象画素情報の３種類の成分９０１のうちのＹ画像成分と取得されたＹ画像成分の残差情報を一緒に第１加算器９１３に入力し、第１加算器９１３の出力はフィルタリング後のＹ画像成分（Ｏｕｔ＿Ｙで示される）であり、フィルタリング対象画素情報の３種類の成分９０１のうちのＵ画像成分と取得されたＵ画像成分の残差情報を一緒に第２加算器９１４に入力し、第２加算器９１４の出力はフィルタリング後のＵ画像成分（Ｏｕｔ＿Ｕで示される）であり、フィルタリング対象画素情報の３種類の成分９０１のうちのＶ画像成分と取得されたＶ画像成分の残差情報を一緒に第３加算器９１５に入力し、第３加算器９１５の出力はフィルタリング後のＶ画像成分（Ｏｕｔ＿Ｖで示される）である。ここで、成分の出力については、フィルタリング後のＹ画像成分のみを出力する必要がある場合、フィルタリングフレームワーク９０は分岐ユニット９０９、第２加算器９１４及び第３加算器９１５を含まなくてもよく、フィルタリング後のＵ画像成分のみを出力する必要がある場合、フィルタリングフレームワーク９０は分岐ユニット９０９、第１加算器９１３及び第３加算器９１５を含まなくてもよく、フィルタリング後のＹ画像成分及びフィルタリング後のＵ画像成分を出力する必要がある場合、フィルタリングフレームワーク９０は第３加算器９１５を含まなくてもよく、本願の実施例は具体的に限定しない。
【0086】
本願の実施例に係るニューラルネットワークアーキテクチャは各成分及び辺情報を合理的且つ効果的に利用することができ、より高い符号化性能を得ることができる。
【0087】
本願の実施例はフィルタリング方法を提供し、まず、フィルタリング装置はフィルタリング対象画素情報を取得し、少なくとも１種類の辺情報を取得し、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得する。即ち、本願の実施例では、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報を取得し、ニューラルネットワークに基づくフィルタに入力して処理し、フィルタリング過程において、少なくとも１種類の成分の辺情報を融合することにより、フィルタリング後の画素情報を取得する。そうすると、複数の種類の成分の間の関係を十分に利用するだけではなく、少なくとも２種類の成分に対して完全なネットワークフォワード計算を複数回行う必要があるという問題も効果的に回避し、ひいては計算複雑性を低減し、符号化率を節約し、符号化／復号化過程において前処理フィルタリング後に取得した画像及び後処理フィルタリング後に取得した画像の品質を向上させ、それにより再構成画像の品質を向上させる。
【0088】
同じ発明構想に基づいて、図１０は本願の実施例に係る選択可能なフィルタリング装置の構造模式図である。図１０に示すように、該フィルタリング装置は第１取得モジュール１０１、第２取得モジュール１０２及び決定モジュール１０３を備えてもよく、
第１取得モジュール１０１は、フィルタリング対象画素情報を取得するように構成され、
第２取得モジュール１０２は、少なくとも１種類の辺情報を取得するように構成され、
決定モジュール１０３は、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得するように構成される。
第１取得モジュール１０１は、フィルタリング対象画素情報を取得するように構成され、
第２取得モジュール１０２は、少なくとも１種類の辺情報を取得するように構成され、
決定モジュール１０３は、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得するように構成される。
【0089】
上記解決手段では、決定モジュール１０３は、
それぞれ少なくとも２種類の成分のうちの各成分を処理して、処理後の少なくとも２種類の成分を取得するように構成される第１処理サブモジュールと、
少なくとも１種類の辺情報及び処理後の少なくとも２種類の成分に基づいて融合処理して、フィルタリング対象画素情報の融合情報を取得するように構成される融合サブモジュールと、
融合情報を処理して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得するように構成される第２処理サブモジュールと、を備えてもよい。
それぞれ少なくとも２種類の成分のうちの各成分を処理して、処理後の少なくとも２種類の成分を取得するように構成される第１処理サブモジュールと、
少なくとも１種類の辺情報及び処理後の少なくとも２種類の成分に基づいて融合処理して、フィルタリング対象画素情報の融合情報を取得するように構成される融合サブモジュールと、
融合情報を処理して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得するように構成される第２処理サブモジュールと、を備えてもよい。
【0090】
上記解決手段では、第１処理サブモジュールは具体的に、
それぞれ少なくとも２種類の成分のうちの各成分に対して成分処理を行って、処理後の少なくとも２種類の成分を取得するように構成されてもよい。
それぞれ少なくとも２種類の成分のうちの各成分に対して成分処理を行って、処理後の少なくとも２種類の成分を取得するように構成されてもよい。
【0091】
上記解決手段では、各成分に対応する第１辺情報を取得した場合、それに対応して、第１処理サブモジュールは具体的に、
それぞれ少なくとも２種類の成分のうちの各成分及び各成分に対応する第１辺情報を融合処理して、処理後の少なくとも２種類の成分を取得するように構成されてもよく、
第１辺情報は少なくともブロック分割情報及び／又は量子化パラメータ情報を含む。
それぞれ少なくとも２種類の成分のうちの各成分及び各成分に対応する第１辺情報を融合処理して、処理後の少なくとも２種類の成分を取得するように構成されてもよく、
第１辺情報は少なくともブロック分割情報及び／又は量子化パラメータ情報を含む。
【0092】
上記解決手段では、融合サブモジュールは具体的に、
処理後の少なくとも２種類の成分及び各成分に対応する第１辺情報を融合処理して、フィルタリング対象画素情報の融合情報を取得するように構成されてもよい。
処理後の少なくとも２種類の成分及び各成分に対応する第１辺情報を融合処理して、フィルタリング対象画素情報の融合情報を取得するように構成されてもよい。
【0093】
上記解決手段では、第２処理サブモジュールは具体的に、
融合情報に対して連携処理及び分岐処理を行って、少なくとも２種類の成分のうちの少なくとも１種類の成分に対応する残差情報を取得し、
少なくとも２種類の成分のうちの少なくとも１種類の成分と少なくとも１種類の成分に対応する残差情報を加算演算して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得するように構成されてもよい。
融合情報に対して連携処理及び分岐処理を行って、少なくとも２種類の成分のうちの少なくとも１種類の成分に対応する残差情報を取得し、
少なくとも２種類の成分のうちの少なくとも１種類の成分と少なくとも１種類の成分に対応する残差情報を加算演算して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を取得するように構成されてもよい。
【0094】
上記解決手段では、各成分に対応する第２辺情報を取得した場合、それに対応して、第１処理サブモジュールは具体的に、
それぞれ少なくとも２種類の成分のうちの各成分及び各成分に対応する第２辺情報を融合処理して、処理後の少なくとも２種類の成分を取得するように構成されてもよく、
第２辺情報は第１辺情報と異なる。
それぞれ少なくとも２種類の成分のうちの各成分及び各成分に対応する第２辺情報を融合処理して、処理後の少なくとも２種類の成分を取得するように構成されてもよく、
第２辺情報は第１辺情報と異なる。
【0095】
上記解決手段では、融合サブモジュールは具体的に、
処理後の少なくとも２種類の成分及び各成分に対応する第２辺情報を融合処理して、フィルタリング対象画素情報の融合情報を取得するように構成されてもよい。
処理後の少なくとも２種類の成分及び各成分に対応する第２辺情報を融合処理して、フィルタリング対象画素情報の融合情報を取得するように構成されてもよい。
【0096】
上記解決手段では、ニューラルネットワークの構造は少なくとも１つの連携処理段階及び１つの独立処理段階を含み、連携処理段階において、すべての成分が一緒に処理され、独立処理段階において、各成分がニューラルネットワークの１つの独立した分岐において処理される。
【0097】
理解されるように、本実施例では、「ユニット」は一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェア等であってもよく、当然ながら、モジュールであってもよく、モジュール化されていないものであってもよい。且つ、本実施例の各構成部分は１つの処理ユニットに統合されてもよく、各ユニットは独立して物理的に存在してもよく、２つ以上のユニットが１つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形式で実現されてもよく、ソフトウェア機能モジュールの形式で実現されてもよい。
【0098】
前記統合されたユニットはソフトウェア機能モジュールの形式で実現され、独立した製品として販売又は使用されるときは、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本実施例の技術案の本質的又は従来技術に貢献する部分、又は該技術案の全部又は一部はソフトウェア製品の形式で具現されてもよい。該コンピュータソフトウェア製品は、１台のコンピュータ装置（パーソナルコンピュータ、サーバ又はネットワーク装置等であってもよい）又はｐｒｏｃｅｓｓｏｒ（プロセッサ）に本実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む１つの記憶媒体に記憶される。そして、上記記憶媒体はＵＳＢメモリ、ポータブルハードディスク、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
【0099】
図１１は本願の実施例に係る選択可能なエンコーダの構造模式図である。図１１に示すように、本願の実施例はエンコーダ１１００を提供し、
プロセッサ１１０１と、プロセッサ１１０１実行可能命令が記憶される記憶媒体１１０２とを備え、記憶媒体１１０２は通信バス１１０３を介してプロセッサ１１０１による操作の実行に頼り、命令がプロセッサ１１０１により実行されるとき、上記実施例のフィルタリング方法が実行される。
プロセッサ１１０１と、プロセッサ１１０１実行可能命令が記憶される記憶媒体１１０２とを備え、記憶媒体１１０２は通信バス１１０３を介してプロセッサ１１０１による操作の実行に頼り、命令がプロセッサ１１０１により実行されるとき、上記実施例のフィルタリング方法が実行される。
【0100】
なお、実際の応用では、端末の各コンポーネントは通信バス１１０３によって一体に結合される。理解されるように、通信バス１１０３はこれらのコンポーネント間の接続通信を実現することに用いられる。通信バス１１０３はデータバスのほか、更に電源バス、制御バス及び状態信号バスを含む。しかしながら、明確に説明するために、図１１では、様々なバスはいずれも通信バス１１０３と記される。
【0101】
本願の実施例はコンピュータ記憶媒体を提供し、実行可能命令がそれに記憶され、前記実行可能命令が１つ又は複数のプロセッサにより実行されるとき、前記プロセッサは上記１つ又は複数の実施例に記載のフィルタリング方法を実行する。
【0102】
理解されるように、本願の実施例では、メモリは揮発性メモリ又は不揮発性メモリであってもよく、又は、揮発性メモリ及び不揮発性メモリの両方を含んでもよい。不揮発性メモリは読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能読み出し専用メモリ（ＰＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ、Ｅｒａｓａｂｌｅ ＰＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ、Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）又はフラッシュメモリであってもよい。揮発性メモリは外部キャッシュメモリとして使用されるランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。例示的な説明であって制限的ではないが、多くの形式のＲＡＭ、例えばスタティックランダムアクセスメモリ（ＳＲＡＭ、Ｓｔａｔｉｃ ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ、Ｄｙｎａｍｉｃ ＲＡＭ）、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ、Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ダブルデータレートシンクロナスダイナミックランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ、Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）、拡張型シンクロナスダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ、Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ）、シンクリンクダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ、Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ）及びダイレクトラムバスランダムアクセスメモリ（ＤＲＲＡＭ、Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ）が利用可能である。本明細書に説明されるシステム及び方法のメモリはこれらのメモリ及び任意の他の適切なタイプのメモリを含むが、それらに限らないように意図されるものである。
【0103】
プロセッサは信号処理機能を有する集積回路チップでありうる。実現過程において、上記方法の各ステップはプロセッサにおけるハードウェアの集積論理回路又はソフトウェア形式の命令で行われてもよい。上記プロセッサは汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のプログラマブルロジックデバイス、個別ゲート又はトランジスタロジックデバイス、個別ハードウェアコンポーネントであってもよい。本願の実施例に開示される各方法、ステップ及び論理ブロックを実現又は実行することができる。汎用プロセッサはマイクロプロセッサであってもよく、又は該プロセッサはいかなる通常のプロセッサ等であってもよい。本願の実施例に開示される方法のステップはハードウェア復号プロセッサで遂行し、又は復号プロセッサにおけるハードウェア及びソフトウェアモジュールの組み合わせで遂行するように直接具現されてもよい。ソフトウェアモジュールはランダムアクセスメモリ、フラッシュメモリ、読み出し専用メモリ、プログラム可能読み出し専用メモリ又は電気消去可能プログラム可能メモリ、レジスタ等の本分野で成熟している記憶媒体に位置してもよい。該記憶媒体はメモリに位置し、プロセッサはメモリにおける情報を読み取り、そのハードウェアと組み合わせて上記方法のステップを行う。
【0104】
理解されるように、本明細書に説明されるこれらの実施例はハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はそれらの組み合わせで実現されてもよい。ハードウェアによる実現については、処理ユニットは１つ又は複数の特定用途向け集積回路（ＡＳＩＣ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、デジタルシグナルプロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理装置（ＤＳＰＤ、ＤＳＰ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本願に記載の機能を実行するための他の電子ユニット又はそれらの組み合わせにおいて実現されてもよい。
【0105】
ソフトウェアによる実現については、本明細書に記載の機能モジュール（例えば、過程、関数等）を実行することにより本明細書に記載の技術を実現することができる。ソフトウェアコードはメモリに記憶されてもよく、且つプロセッサにより実行される。メモリはプロセッサにおいて実現されてもよく、又はプロセッサの外部で実現されてもよい。
【0106】
なお、本明細書では、用語「含む」又はそのいかなる変形は非排他的包含を網羅することが意図され、それにより、一連の要素を含む過程、方法、物品又は装置はそれらの要素を含むだけではなく、明確に列挙しない他の要素も含み、又はこのような過程、方法、物品又は装置固有の要素も含む。特に制限しない限り、語句「〇〇を含む」により限定される要素は、該要素を含む過程、方法、物品又は装置には他の同じ要素が更に存在することを排除しない。
【0107】
上記本願の実施例の番号は説明のためのものに過ぎず、実施例の優劣を代表しない。
【0108】
上記実施形態の説明によれば、当業者であれば明確に理解できるように、上記実施例の方法はソフトウェア＋必須な汎用ハードウェアプラットフォームの方式で実現されてもよく、当然ながら、ハードウェアで実現されてもよいが、多くの場合には前者は好適な実施形態である。このような理解に基づいて、本願の技術案の本質的又は従来技術に貢献する部分はソフトウェア製品の形式で具現されてもよく、該コンピュータソフトウェア製品は、１台の端末（携帯電話、コンピュータ、サーバ又はネットワーク装置等であってもよい）に本願の各実施例に記載の方法を実行させるための若干の命令を含む１つの記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶される。
【0109】
以上は図面を参照しながら本願の実施例を説明したが、本願は上記具体的な実施形態に制限されず、上記具体的な実施形態は模式的なものに過ぎず、制限的なものではない。当業者であれば、本願の示唆に基づいて、本願の主旨及び特許請求の範囲から逸脱することなく、更に多くの変形を行うことができ、それらはいずれも本願の保護範囲内に含まれる。
【産業上の利用可能性】
【0110】
本願の実施例では、まず、フィルタリング装置はフィルタリング対象画素情報を取得し、少なくとも１種類の辺情報を取得し、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報をニューラルネットワークに基づくフィルタに入力して、フィルタリング対象画素情報をフィルタリングした後の少なくとも１種類の成分を出力して取得する。即ち、本願の実施例では、フィルタリング対象画素情報の少なくとも２種類の成分及び少なくとも１種類の辺情報を取得し、ニューラルネットワークに基づくフィルタに入力して処理し、フィルタリング過程において、少なくとも１種類の成分の辺情報を融合することにより、フィルタリング後の画素情報を取得する。そうすると、複数の種類の成分の間の関係を十分に利用するだけではなく、少なくとも２種類の成分に対して完全なネットワークフォワード計算を複数回行う必要があるという問題も効果的に回避し、ひいては計算複雑性を低減し、符号化率を節約し、符号化／復号化過程において前処理フィルタリング後に取得した画像及び後処理フィルタリング後に取得した画像の品質を向上させ、それにより再構成画像の品質を向上させる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】