特表2022-525235 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ グァンドン　オッポ　モバイル　テレコミュニケーションズ　コーポレーション　リミテッドの特許一覧

特表2022-525235フィルタリング方法及び装置、コンピュータ記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-05-11

(54)【発明の名称】フィルタリング方法及び装置、コンピュータ記憶媒体

(51)【国際特許分類】

H04N 19/80 20140101AFI20220428BHJP

H04N 19/117 20140101ALI20220428BHJP

H04N 19/14 20140101ALI20220428BHJP

H04N 19/182 20140101ALI20220428BHJP

【ＦＩ】

H04N19/80

H04N19/117

H04N19/14

H04N19/182

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021555871

(86)(22)【出願日】2019-09-12

(85)【翻訳文提出日】2021-09-15

(86)【国際出願番号】 CN2019105799

(87)【国際公開番号】W WO2020192034

(87)【国際公開日】2020-10-01

(31)【優先権主張番号】62/822,949

(32)【優先日】2019-03-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧＯＰＰＯＭＯＢＩＬＥＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳＣＯＲＰ．，ＬＴＤ．

【住所又は居所原語表記】Ｎｏ．１８ＨａｉｂｉｎＲｏａｄ，Ｗｕｓｈａ，Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ，Ｇｕａｎｇｄｏｎｇ５２３８６０Ｃｈｉｎａ

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田昌司

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口智也

(74)【代理人】

【識別番号】100120385

【弁理士】

【氏名又は名称】鈴木健之

(72)【発明者】

【氏名】マー、イェンチュオ

(72)【発明者】

【氏名】ワン、シューアイ

(72)【発明者】

【氏名】フオ、チュンイェン

(72)【発明者】

【氏名】チャン、ウェイ

(72)【発明者】

【氏名】ワン、ミンツォー

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MC11

5C159ME01

5C159PP04

5C159RC11

5C159SS26

5C159TA68

5C159TB10

5C159TC02

5C159TD08

5C159UA02

5C159UA05

5C159UA11

(57)【要約】

本願の実施例はフィルタリング方法及び装置、コンピュータ記憶媒体を提供する。方法は、フィルタリング待ちの画素情報を取得することと、エッジ情報を決定することと、フィルタリング待ちの画素情報及びエッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力し、フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなることと、を含む。

【特許請求の範囲】

【請求項1】

フィルタリング方法であって、
フィルタリング待ちの画素情報を取得することと、
エッジ情報を決定することと、
前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力し、前記フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなることと、を含むフィルタリング方法。

【請求項2】

前記フィルターはオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成され、又は、
前記フィルターはオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成され、前記オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在する請求項１に記載の方法。

【請求項3】

前記フィルターはオフラインフィルタリングモデルによって形成され、オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在し、
前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力することは、
前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づく前記オフラインフィルタリングモデルに入力して、前記フィルタリング後画素を出力することを含む請求項１に記載の方法。

【請求項4】

前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力することは、
前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づく前記オフラインフィルタリングモデルに入力して、中間フィルタリング後画素を出力し、前記中間フィルタリング後画素及び前記エッジ情報をニューラルネットワークに基づく前記オンラインフィルタリングモデルに入力して、前記フィルタリング後画素を出力すること、又は、
前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づく前記オンラインフィルタリングモデルに入力して、中間フィルタリング後画素を出力し、前記中間フィルタリング後画素及び前記エッジ情報をニューラルネットワークに基づく前記オフラインフィルタリングモデルに入力して、前記フィルタリング後画素を出力することを含む請求項２に記載の方法。

【請求項5】

前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力した後、前記方法は更に、
前記フィルタリング後画素に基づいて、前記フィルターに対してオンライン訓練を行い、オンラインフィルタリングパラメータを得ることと、
前記オンラインフィルタリングパラメータに基づいて前記フィルターのオンライン部を訓練した後、後続のフィルタリング待ちの画素情報及び前記エッジ情報を更新後のフィルターに入力してフィルタリングし、後続のフィルタリング後画素を得ることと、
前記オンラインフィルタリングパラメータをビデオビットストリームに書き込むことと、を含む請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記オフラインフィルタリングモデルはオフラインで訓練されるフィルターであり、前記オフラインフィルタリングモデルは更にオフラインで訓練されるパラメータを含み、
前記オンラインフィルタリングモデルはオンラインで訓練されるフィルターであり、前記オンラインフィルタリングモデルはオンラインで訓練されるパラメータを含む請求項１～４のいずれか一項に記載の方法。

【請求項7】

ニューラルネットワークに基づく前記フィルターは、後処理フィルタリング、インループフィルタリング、前処理フィルタリング及び予測プロセスに適用される請求項６に記載の方法。

【請求項8】

ニューラルネットワークに基づく前記フィルターは後処理フィルタリングに適用される場合、復号化側に設置され、
ニューラルネットワークに基づく前記フィルターはインループ処理フィルタリングに適用される場合、復号化側及び符号化側に設置され、
ニューラルネットワークに基づく前記フィルターは前処理フィルタリングに適用される場合、符号化側に設置される請求項７に記載の方法。

【請求項9】

ビデオを符号化するためのフィルタリング方法であって、
適応フィルターのフィルタリングパラメータを決定することと、
前記フィルタリングパラメータ及びエッジ情報に基づいて、前記適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得ることと、
符号化される必要がある前記フィルタリングパラメータの一部である第１フィルタリングパラメータを決定することと、
前記第１フィルタリングパラメータを符号化し、ビデオビットストリームに書き込むことと、を含むフィルタリング方法。

【請求項10】

前記適応フィルターは、
前記適応フィルターが１つのニューラルネットワークフィルターであることを含む請求項９に記載の方法。

【請求項11】

前記適応フィルターは、
前記適応フィルターが第１ニューラルネットワークフィルターと第２ニューラルネットワークフィルターのカスケードフィルターであることを含む請求項９に記載の方法。

【請求項12】

前記適応フィルターのフィルタリングパラメータを決定することは、
オフライン訓練によって前記ニューラルネットワークフィルターの第２フィルタリングパラメータを決定し、前記第２フィルタリングパラメータは前記ニューラルネットワークフィルターのすべてのパラメータであることと、
オンライン訓練によって前記ニューラルネットワークフィルターの第３フィルタリングパラメータを決定し、前記第２フィルタリングパラメータは前記ニューラルネットワークフィルターの一部のパラメータであることと、
前記第３フィルタリングパラメータを使用して前記第２フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の前記第２フィルタリングパラメータを前記ニューラルネットワークフィルターのすべてのフィルタリングパラメータとすることと、を含む請求項９に記載の方法。

【請求項13】

前記第１フィルタリングパラメータを決定することは、
前記第３フィルタリングパラメータを前記第１フィルタリングパラメータとすることを含む請求項１２に記載の方法。

【請求項14】

前記適応フィルターのフィルタリングパラメータを決定することは、
オフライン訓練によって前記第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定することと、
オンライン訓練によって前記第２ニューラルネットワークフィルターの第４フィルタリングパラメータを決定し、前記第４フィルタリングパラメータは前記第２ニューラルネットワークフィルターのすべてのパラメータであることと、を含む請求項１１に記載の方法。

【請求項15】

前記第１フィルタリングパラメータを決定することは、
前記第４フィルタリングパラメータを前記第１フィルタリングパラメータとすることを含む請求項１４に記載の方法。

【請求項16】

前記適応フィルターのフィルタリングパラメータを決定することは、
オフライン訓練によって前記第１ニューラルネットワークフィルターの第５フィルタリングパラメータを決定し、前記第５フィルタリングパラメータは前記第１ニューラルネットワークフィルターのすべてのパラメータであることと、
オンライン訓練によって前記ニューラルネットワークフィルターの第６フィルタリングパラメータを決定し、前記第６フィルタリングパラメータは前記第１ニューラルネットワークフィルターの一部のパラメータであることと、
前記第６フィルタリングパラメータを使用して前記第５フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の前記第５フィルタリングパラメータを前記第１ニューラルネットワークフィルターのフィルタリングパラメータとすることと、
前記ビデオ又は画像の符号化プロセスにおいて、オンライン訓練によって前記第２ニューラルネットワークフィルターの第７フィルタリングパラメータを決定し、前記第７フィルタリングパラメータは前記第２ニューラルネットワークフィルターのすべてのパラメータであることと、を含む請求項１１に記載の方法。

【請求項17】

前記第１フィルタリングパラメータを決定することは、
前記第６フィルタリングパラメータ及び前記第７フィルタリングパラメータを前記第１フィルタリングパラメータとすることを含む請求項１６に記載の方法。

【請求項18】

前記オフライン訓練は、前記ビデオ又は画像の符号化を開始する前に、１つ又は複数の画像を使用してニューラルネットワークフィルターを訓練するプロセスであることと、
前記オンライン訓練は、前記ビデオ又は画像の符号化プロセスにおいて、符号化待ちのビデオシーケンスにおける１つ又は複数の画像を使用してニューラルネットワークフィルターを訓練するプロセスであることと、を更に含む請求項１２～１７のいずれか一項に記載の方法。

【請求項19】

前記適応フィルターは前記ビデオの符号化に使用される前処理フィルター、又はインループフィルターであることを更に含むことを特徴とする請求項９～１７のいずれか一項に記載の方法。

【請求項20】

ビデオビットストリームを復号化するためのフィルタリング方法であって、
ビデオビットストリームを解析し、適応フィルターの第１フィルタリングパラメータを決定し、前記第１フィルタリングパラメータは前記適応フィルターのすべてのフィルタリングパラメータの一部であることと、
前記第１フィルタリングパラメータに基づいて、前記適応フィルターのすべてのフィルタリングパラメータを決定することと、
前記すべてのフィルタリングパラメータ及びエッジ情報に基づいて、前記適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得ることと、を含むフィルタリング方法。

【請求項21】

前記適応フィルターは、
前記適応フィルターが１つのニューラルネットワークフィルターであることを含む請求項２０に記載の方法。

【請求項22】

前記適応フィルターは、
前記適応フィルターはカスケードされる、タイプが異なる２つ又は複数のニューラルネットワークフィルターであることを含む請求項２０に記載の方法。

【請求項23】

前記適応フィルターは、
前記適応フィルターが第１ニューラルネットワークフィルターと第２ニューラルネットワークフィルターのカスケードフィルターであることを含む請求項２２に記載の方法。

【請求項24】

前記適応フィルターのすべてのフィルタリングパラメータを決定することは、
前記ニューラルネットワークフィルターの第２フィルタリングパラメータを決定し、前記第２フィルタリングパラメータは前記ニューラルネットワークフィルターのすべてのパラメータであることと、
前記第１フィルタリングパラメータを使用して前記第２フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の前記第２フィルタリングパラメータを前記ニューラルネットワークフィルターのすべてのフィルタリングパラメータとすることと、を含む請求項２１に記載の方法。

【請求項25】

前記ニューラルネットワークフィルターの第２フィルタリングパラメータを決定することは、
オフライン訓練によって前記ニューラルネットワークフィルターの第２フィルタリングパラメータを決定すること、又は、
前記ビデオビットストリームを復号化する前に、前記第２フィルタリングパラメータを取得することを含む請求項２４に記載の方法。

【請求項26】

前記適応フィルターのすべてのフィルタリングパラメータを決定することは、
前記第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定することと、
前記第１フィルタリングパラメータを前記第２ニューラルネットワークフィルターのすべてのフィルタリングパラメータとすることと、を含む請求項２３に記載の方法。

【請求項27】

前記第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定することは、
オフライン訓練によって前記第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定すること、又は、
前記ビデオビットストリームを復号化する前に、前記第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを取得することを含む請求項２６に記載の方法。

【請求項28】

前記適応フィルターのすべてのフィルタリングパラメータを決定することは、
前記第１ニューラルネットワークフィルターの第５フィルタリングパラメータを決定し、前記第５フィルタリングパラメータは前記第１ニューラルネットワークフィルターのすべてのパラメータであることと、
前記第１フィルタリングパラメータにおける一部のパラメータを第６フィルタリングパラメータとし、前記第６フィルタリングパラメータは前記第１ニューラルネットワークフィルターの一部のパラメータであることと、
前記第６フィルタリングパラメータを使用して前記第５フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の前記第５フィルタリングパラメータを前記第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータとすることと、
前記第１フィルタリングパラメータにおける残りのパラメータを前記第２ニューラルネットワークフィルターのすべてのパラメータとすることと、を含む請求項２３に記載の方法。

【請求項29】

前記第１ニューラルネットワークフィルターの第５フィルタリングパラメータを決定することは、
オフライン訓練によって前記第５フィルタリングパラメータを決定すること、又は、
前記ビデオビットストリームを復号化する前に、前記第５フィルタリングパラメータを取得することを含む請求項２８に記載の方法。

【請求項30】

前記オフライン訓練は、前記ビデオビットストリームを解析する前に、１つ又は複数の画像を使用してニューラルネットワークフィルターを訓練するプロセスであることを更に含むことを特徴とする請求項２４～２９のいずれか一項に記載の方法。

【請求項31】

前記適応フィルターは前記ビデオビットストリームの復号化に使用されるインループフィルター又は後処理フィルターであることを更に含むことを特徴とする請求項２４～２９のいずれか一項に記載の方法。

【請求項32】

フィルタリング装置であって、
フィルタリング待ちの画素情報を取得するように設定される第１取得部と、
エッジ情報を決定するように設定される第１決定部と、
前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力するように設定され、前記フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなる第１フィルタリング部と、を備えるフィルタリング装置。

【請求項33】

【請求項34】

前記フィルターはオフラインフィルタリングモデルによって形成され、オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在し、
前記第１フィルタリング部は更に、前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づく前記オフラインフィルタリングモデルに入力して、前記フィルタリング後画素を出力するように設定される請求項３２に記載のフィルタリング装置。

【請求項35】

前記第１フィルタリング部は更に、
前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づく前記オフラインフィルタリングモデルに入力して、中間フィルタリング後画素を出力し、前記中間フィルタリング後画素及び前記エッジ情報をニューラルネットワークに基づく前記オンラインフィルタリングモデルに入力して、前記フィルタリング後画素を出力するように設定され、又は、
前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づく前記オンラインフィルタリングモデルに入力して、中間フィルタリング後画素を出力し、前記中間フィルタリング後画素及び前記エッジ情報をニューラルネットワークに基づく前記オフラインフィルタリングモデルに入力して、前記フィルタリング後画素を出力するように設定される請求項３３に記載のフィルタリング装置。

【請求項36】

前記フィルターは訓練部及び書き込み部を更に備え、
前記第１訓練部は、前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力した後、前記フィルタリング後画素に基づいて、前記フィルターに対してオンライン訓練を行い、オンラインフィルタリングパラメータを得るように設定され、
前記第１フィルタリング部は更に、前記オンラインフィルタリングパラメータに基づいて前記フィルターのオンライン部を訓練した後、後続のフィルタリング待ちの画素情報及び前記エッジ情報を更新後のフィルターに入力してフィルタリングし、後続のフィルタリング後画素を得るように設定され、
前記第１書き込み部は、前記オンラインフィルタリングパラメータをビデオビットストリームに書き込むように設定される請求項３２～３５のいずれか一項に記載のフィルタリング装置。

【請求項37】

【請求項38】

ニューラルネットワークに基づく前記フィルターは、後処理フィルタリング、インループフィルタリング、前処理フィルタリング及び予測プロセスに適用される請求項３７に記載のフィルタリング装置。

【請求項39】

【請求項40】

ビデオを符号化するためのフィルタリング装置であって、第２決定部、第２フィルタリング部、及び第２書き込み部を備え、
前記第２決定部は、適応フィルターのフィルタリングパラメータを決定するように設定され、
前記第２フィルタリング部は、前記フィルタリングパラメータ及びエッジ情報に基づいて、前記適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得るように設定され、
前記第２決定部は更に、第１フィルタリングパラメータを決定するように設定され、前記第１フィルタリングパラメータは符号化される必要がある前記フィルタリングパラメータの一部であり、
前記第２書き込み部は、前記第１フィルタリングパラメータを符号化し、ビデオビットストリームに書き込むように設定されるフィルタリング装置。

【請求項41】

ビデオビットストリームを復号化するためのフィルタリング装置であって、
ビデオビットストリームを解析し、適応フィルターの、前記適応フィルターのすべてのフィルタリングパラメータの一部である第１フィルタリングパラメータを決定し、前記第１フィルタリングパラメータに基づいて、前記適応フィルターのすべてのフィルタリングパラメータを決定するように設定される第３決定部と、
前記すべてのフィルタリングパラメータ及びエッジ情報に基づいて、前記適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得るように設定される第３フィルタリング部と、を備えるフィルタリング装置。

【請求項42】

フィルタリング装置であって、
実行可能命令を記憶するためのメモリと、
前記メモリに記憶される実行可能命令を実行すると、請求項１～８のいずれか一項に記載の方法、又は９～１９のいずれか一項に記載の方法、又は２０～３１のいずれか一項に記載の方法を実現するためのプロセッサと、を備えるフィルタリング装置。

【請求項43】

コンピュータ記憶媒体であって、プロセッサにより実行されると、請求項１～８のいずれか一項に記載の方法、又は９～１９のいずれか一項に記載の方法、又は２０～３１のいずれか一項に記載の方法を実現するための実行可能命令が記憶されるコンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願の実施例はビデオコーデックの技術分野に関し、特にフィルタリング方法及び装置、コンピュータ記憶媒体に関する。

【背景技術】

【0002】

ビデオコーデックシステムでは、画像／ビデオフィルタリングはフィルターによって実現され、前処理フィルターはオリジナル画像を前処理して、ビデオの解像度を低下させることに用いられる。符号化表示対象のビデオの解像度がオリジナルビデオの解像度よりも低い必要があるため、より少ないビットを使用して表現でき、それにより全体的な符号化効率を向上させることができる。後処理フィルターはインループフィルタリング後のビデオを処理してビデオを出力し、ビデオの解像度を向上させることに用いられる。ループフィルターは再構成画像の主観的及び客観的な品質を向上させることに用いられる。

【0003】

前処理フィルター、ループフィルター及び後処理フィルターについては、いずれも畳み込みニューラルネットワークによって実現される。畳み込みニューラルネットワークに基づくフィルターは２種類に大別され、一方はオフラインで訓練されるものであり、他方はオンラインで訓練されるものである。オフラインで訓練されるフィルターの場合、ニューラルネットワークのすべての重みパラメータは訓練完了後、符号化側と復号化側に同時に設定できるが、重み係数が固定されているため、ビデオコンテンツによってはフィルターの性能が低下する可能性がある。オンラインで訓練されるフィルターの場合、ネットワークの重みパラメータは頻繁に再訓練及び更新される必要があるため、重み係数をビットストリームにおいて伝送する必要があり、計算量及び複雑さが高く、非常に狭い範囲のビデオコンテンツの処理に適用され、制限されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願の実施例はフィルタリング方法及び装置、コンピュータ記憶媒体を提供し、フィルタリング装置のフィルタリング性能を向上させることができ、適用範囲が広い。

【課題を解決するための手段】

【0005】

本願の実施例の技術案は以下のように実現できる。

【0006】

本願の実施例はフィルタリング方法を提供し、
フィルタリング待ちの画素情報を取得することと、
エッジ情報を決定することと、
前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力し、前記フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなることと、を含む。

【0007】

本願の実施例は更に、ビデオを符号化するためのフィルタリング方法を提供し、
適応フィルターのフィルタリングパラメータを決定することと、
前記フィルタリングパラメータ及びエッジ情報に基づいて、前記適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得ることと、
符号化される必要がある前記フィルタリングパラメータの一部である第１フィルタリングパラメータを決定することと、
前記第１フィルタリングパラメータを符号化し、ビデオビットストリームに書き込むことと、を含む。

【0008】

本願の実施例は更に、ビデオビットストリームを復号化するためのフィルタリング方法を提供し、
ビデオビットストリームを解析し、適応フィルターの第１フィルタリングパラメータを決定し、前記第１フィルタリングパラメータは前記適応フィルターのすべてのフィルタリングパラメータの一部であることと、
前記第１フィルタリングパラメータに基づいて、前記適応フィルターのすべてのフィルタリングパラメータを決定することと、
前記すべてのフィルタリングパラメータ及びエッジ情報に基づいて、前記適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得ることと、を含む。

【0009】

本願の実施例はフィルタリング装置を提供し、
フィルタリング待ちの画素情報を取得するように設定される第１取得部と、
エッジ情報を決定するように設定される第１決定部と、
前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力するように設定され、前記フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなる第１フィルタリング部と、を備える。

【0010】

本願の実施例は更に、ビデオを符号化するためのフィルタリング装置を提供し、第２決定部、第２フィルタリング部、及び第２書き込み部を備え、
前記第２決定部は、適応フィルターのフィルタリングパラメータを決定するように設定され、
前記第２フィルタリング部は、前記フィルタリングパラメータ及びエッジ情報に基づいて、前記適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得るように設定され、
前記第２決定部は更に、第１フィルタリングパラメータを決定するように設定され、前記第１フィルタリングパラメータは符号化される必要がある前記フィルタリングパラメータの一部であり、
前記第２書き込み部は、前記第１フィルタリングパラメータを符号化し、ビデオビットストリームに書き込むように設定される。

【0011】

本願の実施例は更に、ビデオを復号化するためのフィルタリング装置を提供し、
ビデオビットストリームを解析し、適応フィルターの、前記適応フィルターのすべてのフィルタリングパラメータの一部である第１フィルタリングパラメータを決定し、前記第１フィルタリングパラメータに基づいて、前記適応フィルターのすべてのフィルタリングパラメータを決定するように設定される第３決定部と、
前記すべてのフィルタリングパラメータ及びエッジ情報に基づいて、前記適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得るように設定される第３フィルタリング部と、を備える。

【0012】

本願の実施例は更にフィルタリング装置を提供し、
実行可能命令を記憶するためのメモリと、
前記メモリに記憶される実行可能命令を実行すると、本願の実施例に係るフィルタリング方法を実現するためのプロセッサと、を備える。

【0013】

本願の実施例はコンピュータ記憶媒体を提供し、プロセッサにより実行されると、本願の実施例に係るフィルタリング方法を実現するための実行可能命令が記憶される。

【発明の効果】

【0014】

本願の実施例は以下の有益な効果を有する。

【0015】

フィルタリング装置はフィルタリング待ちの画素情報に対して、フィルタリング待ちのビデオフレームのエッジ情報を決定し、エッジ情報及びフィルタリング待ちの画素をフィルターに入力してフィルタリングし、フィルタリング後画素を出力する。フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなるため、フィルタリングする時、オフラインフィルタリング部を使用でき、非常に広い範囲のビデオのフィルタリングに適用できるとともに、オンラインフィルタリング部のパラメータの更新を確保し、フィルタリング性能の低下を回避することができ、即ちフィルタリング装置のフィルタリング性能を向上させ、適用範囲が広い。

【図面の簡単な説明】

【0016】

【図1】図１は本願の実施例に係る符号化ブロック図の構造模式図である。

【図2】図２は本願の実施例に係る復号化ブロック図の構造模式図である。

【図3】図３は本願の実施例に係るフィルタリング方法の選択可能なフローチャートである。

【図4】図４は本願の実施例に係るブロック分割行列の構造模式図である。

【図5】図５は本願の実施例に係るフィルターの接続方式の模式図１である。

【図6】図６は本願の実施例に係るフィルターの接続方式の模式図２である。

【図7】図７は本願の実施例に係るフィルターの接続方式の模式図３である。

【図8】図８は本願の実施例に係るフィルターの接続方式の模式図４である。

【図9】図９は本願の実施例に係るフィルターの接続方式の模式図５である。

【図10】図１０は本願の実施例に係るフィルタリング方法の他の選択可能なフローチャートである。

【図11】図１１は本願の実施例に係るフィルタリング装置の選択可能な構造模式図である。

【図12】図１２は本願の実施例に係るフィルタリング装置の他の選択可能な構造模式図である。

【発明を実施するための形態】

【0017】

本願の実施例の特徴及び技術的内容をより詳しく理解するために、以下、図面を参照しながら本願の実施例の実現を詳細に説明し、図面は単に参考・説明用のものであり、本願の実施例を限定するものではない。

【0018】

ビデオコーデックシステムでは、符号化待ちのビデオはオリジナルビデオフレームを含み、オリジナルビデオフレームはオリジナル画像を含み、該オリジナル画像に対して、例えば、予測、変換、量子化、再構成及びフィルタリング等の様々な処理を行う。これらの処理プロセスでは、処理済みのビデオ画像はオリジナル画像に対して画素値シフトが発生する可能性があり、その結果、視覚的障害又はアーティファクトを引き起こしてしまう。また、ほとんどのビデオコーデックシステムに使用されるブロック符号化ユニット（ＣＵ、ＣｏｄｉｎｇＵｎｉｔ）に基づくハイブリッド符号化フレームワークでは、隣接する符号化ブロックは異なる符号化パラメータ（例えば、異なる変換プロセス、異なる量子化パラメータ（ＱＰ、ＱｕａｎｔｉｚａｔｉｏｎＰａｒａｍｅｔｅｒ）、異なる予測方式、異なる参照画像フレーム等）を使用し、各符号化ブロックにより導入される誤差の大きさ及びその分布特性が相互に独立し、隣接する符号化ブロックの境界が不連続であるため、ブロック効果が発生する。これらの歪みは再構成画像ブロックの主観的及び客観的な品質に悪影響を与えてしまい、再構成画像ブロックは後続の符号化画素の参照画像とする場合、後続のコーデックの予測精度にも悪影響を与え、更にビデオビットストリームにおけるビットの大きさに悪影響を与えてしまう。従って、ビデオコーデックシステムでは、再構成画像の主観的及び客観的な品質を向上させるために、前処理フィルター、後処理フィルターやインループフィルター（Ｉｎ－ＬｏｏｐＦｉｌｔｅｒ）等を追加する場合が多い。

【0019】

図１は従来の符号化ブロック図の構造模式図である。図１に示すように、該従来の符号化ブロック図１０は変換及び量子化ユニット１０１、逆変換及び逆量子化ユニット１０２、予測ユニット１０３、インループフィルタリングユニット１０４、エントロピー符号化ユニット１０５、前処理フィルタリングユニット１０６及び後処理フィルタリングユニット１０７等の部材を備え、予測ユニット１０３はイントラ予測ユニット１０３１及びインター予測ユニット１０３２を更に備える。入力されるオリジナル画像に対して、一次分割によって符号化ツリーユニット（ＣＴＵ、ＣｏｄｉｎｇＴｒｅｅＵｎｉｔ）を得ており、１つのＣＴＵに対してコンテンツ適応分割を継続し、ＣＵを得ており、ＣＵは一般的に１つ又は複数の符号化ブロック（ＣＢ、ＣｏｄｉｎｇＢｌｏｃｋ）を含む。符号化ブロックに対して、イントラ予測ユニット１０３１によるイントラ予測又はインター予測ユニット１０３２によるインター予測を行い、残差情報が得られる。該残差情報については変換及び量子化ユニット１０１によって該符号化ブロックに対して変換し、残差情報を画素領域から変換領域に変換し、得た変換係数を量子化することを含み、それによってビットレートを更に減少させる。予測モードを決定した後、予測ユニット１０３は更に、選択したイントラ予測データ又はインター予測データをエントロピー符号化ユニット１０５に提供することに用いられる。また、逆変換及び逆量子化ユニット１０２は該符号化ブロックの再構成に用いられ、画素領域で残差ブロックを再構成し、該再構成残差ブロックはインループフィルタリングユニット１０４によってブロッキングアーティファクトを除去し、次に該再構成残差ブロックを復号化画像バッファユニットに追加し、再構成された参照画像を生成することに用いる。エントロピー符号化ユニット１０５は様々な符号化パラメータ及び量子化後の変換係数を符号化することに用いられ、例えば、エントロピー符号化ユニット１０５はヘッダ情報符号化及びコンテキストベースの適応バイナリ算術符号化（ＣＡＢＡＣ、Ｃｏｎｔｅｘｔ－ｂａｓｅｄＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍａｔｉｃＣｏｄｉｎｇ）アルゴリズムを使用し、決定した予測モードを示す符号化情報を符号化し、対応するビットストリームを出力することに用いられてもよい。

【0020】

図１における従来の符号化ブロック図１０について、インループフィルタリングユニット１０４はループフィルターであり、インループフィルターとも呼ばれ、デブロッキングフィルター（ＤＢＦ、Ｄｅ－ＢｌｏｃｋｉｎｇＦｉｌｔｅｒ）、サンプル適応オフセット（ＳＡＯ、ＳａｍｐｌｅＡｄａｐｔｉｖｅＯｆｆｓｅｔ）フィルター及び適応ループフィルター（ＡＬＦ、ＡｄａｐｔｉｖｅＬｏｏｐＦｉｌｔｅｒ）等が含まれてもよい。デブロッキングフィルターはデブロッキングフィルタリングを実現することに用いられる。次世代のビデオ符号化標準Ｈ．２６６／多機能ビデオ符号化（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ、ＶＶＣ）では、オリジナル画像におけるすべての符号化ブロックの境界に対して、まず、境界の両側の符号化パラメータに基づいて境界強度の判定を行い、算出したブロック境界のテクスチャ値に基づいてデブロッキングのフィルタリングポリシーを行うか否かを判断し、最終的に、境界強度、フィルタリングポリシーに基づいて符号化ブロックの境界の両側の画素情報に対して補正処理を行う。ＶＶＣでは、デブロッキングフィルタリングを実行した後、高周波交流係数の量子化歪みを軽減させるために、更にＳＡＯ技術、即ちサンプル適応オフセットフィルターを導入し、更に、画素領域において、ピークの画素に負の値を追加し、谷の画素に正の値を追加することで、補償処理を行う。ＶＶＣでは、デブロッキングフィルタリングとサンプル適応オフセットフィルタリングを実行した後、更に適応ループフィルターを使用してフィルタリング処理を行う必要がある。適応ループフィルタリングについて、オリジナル画像の画素値及び歪み画像の画素値に基づいて平均二乗の意味での最適フィルターを算出する。

【0021】

図１における従来の符号化ブロック図１０について、前処理フィルタリングユニット１０６は入力したオリジナルビデオフレームを受信し、オリジナルビデオフレームに対して前処理フィルタリングを行って、ビデオの解像度を低減させることに用いられ、後処理フィルタリングユニット１０７は、インループフィルタリング後のビデオフレームを受信し、インループフィルタリング後のビデオフレームに対して後処理フィルタリングを行って、ビデオの解像度を向上させることに用いられる。このように、ビデオのコーデックプロセスでは少ないビットを使用して再構成ビデオフレームを得ることができ、それにより、全体的なコーデックの効率を向上させることができる。現在、前処理フィルター及び後処理フィルターの両方に使用されるニューラルネットワークの入力は単一入力又は多入力であり、即ち単一の画像成分又は複数の画像成分を入力し、これにより、画像再構成を実現する。

【0022】

図１における符号化ブロック図と類似し、図２は従来の復号化ブロック図の構造模式図である。図２に示すように、該従来の復号化ブロック図２０はエントロピー符号化ユニット２０１、逆量子化・逆変換ユニット２０２、予測ユニット２０３、インループフィルタリングユニット２０４及び後処理フィルタリングユニット２０５等の部材を備え、予測ユニット２０３はイントラ予測ユニット２０３１及びインター予測ユニット２０３２を更に備える。なお、ビデオ復号化プロセスはビデオ符号化プロセスと反対又は逆のプロセスであり、ビデオ復号化プロセスでは、得た後処理フィルタリング後の画像を再構成ビデオフレームとして決定する。図２からわかるように、復号化プロセスは符号化プロセスにおける前処理フィルタリングユニットを使用せず、後処理フィルタリングユニット及びインループフィルタリングユニットのみを使用する。

【0023】

本願の実施例では、前処理フィルタリングユニット、後処理フィルタリングユニット及びインループフィルタリングユニットはいずれもフィルターの１種である。本願の実施例におけるフィルターは畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ、ＣＮＮ）フィルターであってもよく、深層学習によって構築される他のフィルターであってもよく、本願の実施例では特に限定しない。

【0024】

畳み込みニューラルネットワークフィルターを例とし、畳み込みニューラルネットワークフィルターは図１における前処理フィルタリングユニット、後処理フィルタリングユニット及びインループフィルタリングユニットを代替してもよく、図１における前処理フィルタリングユニット、後処理フィルタリングユニット及びインループフィルタリングユニットのうちの任意の１つ又は２つを部分的に代替してもよく、更に図１における前処理フィルタリングユニット、後処理フィルタリングユニット及びインループフィルタリングユニットのうちの任意の１つ又は複数と組み合わせて使用してもよい。更に注意されるように、図１に示す各々の部材、例えば、変換及び量子化ユニット１０１、逆変換及び逆量子化ユニット１０２、予測ユニット１０３、インループフィルタリングユニット１０４、エントロピー符号化ユニット１０５、前処理フィルタリングユニット１０６及び後処理フィルタリングユニット１０７は、仮想モジュールであってもよく、ハードウェアモジュールであってもよい。また、当業者が理解できるように、これらのユニットは符号化ブロック図を限定するものではなく、符号化ブロック図は図示よりも多い又は少ない部材を備え、又はいくつかの部材を組み合わせ、又は異なる部材配置を採用するようにしてもよい。

【0025】

本願の実施例では、畳み込みニューラルネットワークフィルターはインループフィルタリングユニットとする場合、フィルタリングネットワーク訓練を行った後、符号化側及び復号化側に直接に配備されてもよい。そして、該畳み込みニューラルネットワークフィルターは、更にエッジ情報等の補助情報及び入力したフィルタリング待ちの画像を処理してもよい。このように、画像のエッジ情報の関係を十分に利用するだけではなく、コーデックプロセスにおけるビデオの再構成画像の主観的及び客観的な品質を更に向上させる。畳み込みニューラルネットワークフィルターは後処理フィルタリングユニットとする場合、フィルタリングネットワーク訓練を行った後、復号化側に直接に配備されてもよい。畳み込みニューラルネットワークフィルターは前処理フィルタリングユニットとする場合、フィルタリングネットワーク訓練を行った後、符号化側に直接に配備されてもよい。

【0026】

なお、本願の実施例に係るフィルタリング方法は、フィルターのタイプが異なる場合、符号化システム及び／又は復号化システムに適用できる。例えば、符号化ビットレートを節約するとともに、復号化システムによる正確な復号化処理を確保できるために、符号化システムと復号化システムは本願の実施例のインループフィルターを同期に配備する必要がある。

【0027】

本願の実施例では、どのフィルターが畳み込みニューラルネットワークフィルターを使用するかに関係なく、畳み込みニューラルネットワークに基づくフィルターは２種類に大別され、一方はオフラインで訓練されるものであり、他方はオンラインで訓練されるものである。オフラインで訓練されるフィルターの場合、ニューラルネットワークのすべての重みパラメータは訓練完了後、符号化側と復号化側に同時に設定できるが、重み係数が固定されているため、ビデオコンテンツによってはフィルターの性能が低下する可能性がある。オンラインで訓練されるフィルターの場合、ネットワークの重みパラメータは頻繁に再訓練及び更新される必要があるため、重み係数をビットストリームにおいて伝送する必要があり、計算量及び複雑さが高く、非常に狭い範囲のビデオコンテンツの処理に適用され、制限されている。

【0028】

上記状況に対して、本願の実施例はフィルタリング装置に適用されるフィルタリング方法を提供する。該フィルタリング装置はエンコーダの前処理フィルター及びインループフィルター内に設置されてもよく、デコーダのインループフィルター及び後処理フィルター内に設置されてもよく、他の予測プロセスに使用されるフィルターに作用してもよく、ここで本願の実施例では特に限定しない。

【0029】

即ち、ニューラルネットワークに基づくフィルターは、後処理フィルタリング、インループフィルタリング、前処理フィルタリング及び予測プロセスに適用される。

【0030】

本願の実施例では、ニューラルネットワークに基づくフィルターは後処理フィルタリングに適用される場合、復号化側に設置される。ニューラルネットワークに基づくフィルターはインループ処理フィルタリングに適用される場合、復号化側と符号化側に設置される。ニューラルネットワークに基づくフィルターは前処理フィルタリングに適用される場合、符号化側に設置される。

【0031】

図３は本願の実施例に係る選択可能なフィルタリング方法の模式的なフローチャートである。図３に示すように、該フィルタリング方法は以下のステップＳ１０１～Ｓ１０３を含む。

【0032】

Ｓ１０１、フィルタリング待ちの画素情報を取得する。

【0033】

Ｓ１０２、エッジ情報を決定する。

【0034】

Ｓ１０３、フィルタリング待ちの画素情報及びエッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力し、フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなる。

【0035】

Ｓ１０１において、本願の実施例では、フィルタリング待ちのビデオフレームは、符号化待ちのビデオにおけるオリジナル画像に対してビデオ符号化を行う過程で生成される。符号化待ちのビデオはオリジナル画像フレームを含み、オリジナル画像フレームはオリジナル画像を含む。

【0036】

なお、本願の実施例では、フィルタリング待ちのビデオフレームは複数フレームの画像を含む。フィルタリング装置はフィルタリングを行う際に、各フレームの画像のフィルタリング待ちの画素情報に対してフィルタリングを行う。

【0037】

Ｓ１０２において、フィルタリング待ちのビデオフレームにおける各フレームの画像には、対応するエッジ情報、即ち各フレームの画像のフィルタリング待ちの画素情報に対応するエッジ情報を有する。エッジ情報は各フレームの画像の境界情報を表す。

【0038】

なお、本願の実施例では、オリジナル画像はＣＴＵに分割されてもよく、又はＣＴＵからＣＵに分割されてもよい。即ち、本願の実施例におけるエッジ情報とはＣＴＵ分割情報を指してもよく、ＣＵ分割情報を指してもよい。このように、本願の実施例に係るフィルタリング方法は、ＣＵレベルのフィルタリングに適用できるだけではなく、ＣＴＵレベルのフィルタリングに適用でき、本願の実施例では特に限定しない。以下、ＣＵ分割情報をエッジ情報とすることを例に説明する。

【0039】

本願の実施例では、符号化待ちのビデオにおけるオリジナル画像に基づいて、それぞれオリジナル画像に対して符号化ユニット（ＣＵ）分割を行い、ＣＵ分割情報を得る。ＣＵ分割情報に対して、ＣＵ境界に対応する各画素位置に第１値を充填し、他の画素位置に第２値を充填し、ＣＵ分割情報に対応する第１行列を得る。第１値と第２値は異なる。ここでの第１行列は各フレームの画像のエッジ情報である。

【0040】

なお、第１値は予め設定された数値、アルファベット等であってもよく、第２値も予め設定された数値、アルファベット等であってもよく、第１値と第２値は異なればよく、例えば、第１値は２としてもよく、第２値は１としてもよく、本願の実施例では限定しない。

【0041】

Ｓ１０３において、フィルタリング装置がフィルターによって、エッジ情報と組み合わせてフィルタリング待ちのビデオフレームのフィルタリング待ちの画素情報をフィルタリングし、フィルタリング後画素を得ることは、最終的にフィルタリング画像を得ると理解されてもよい。フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなる。

【0042】

本願の実施例では、フィルタリング装置はＣＵ情報を補助情報としてフィルタリング待ちのビデオフレームのフィルタリング処理を補助してもよい。即ち、符号化待ちのビデオにおけるオリジナル画像に対してビデオ符号化を行う過程では、ＣＵ分割情報を十分に利用して、フィルタリング待ちのビデオフレームと融合した後、フィルタリングを指導することができる。

【0043】

本願のいくつかの実施例では、ＣＵ分割情報を１つの符号化ユニットマップ（ＣｏｄｉｎｇＵｎｉｔＭａｐ、ＣＵｍａｐ）に変換し、ＣＵｍａｐ行列であって、本願の実施例における第１行列でもある二次元行列で示す。即ち、オリジナル画像を例とし、複数のＣＵに分割し、各ＣＵの境界に対応する各画素位置に第１値を充填し、他の画素位置に第２値を充填するようにしてもよく、このように、ＣＵ分割情報を反映する第１行列を構築できる。例示的に、図４に示すように、本願の実施例に係るブロック分割行列の構造模式図である。図４に示すように、該図は１つのＣＴＵを示す場合、該ＣＴＵを９つのＣＵに分割してもよい。第１値を２とし、第２値を１とすると仮定する場合、このように、各ＣＵの境界に対応する各画素位置に２を充填し、他の画素位置に１を充填する。即ち、２で充填された画素位置はＣＵの境界を示し、それによりＣＵ分割情報、即ち、フィルタリング待ちのビデオフレームの１フレームの画像のエッジ情報を決定できる。

【0044】

なお、本願の実施例では、ＣＵ分割情報は画像成分レベルに基づいて対応付けられてもよく、本願の実施例では限定しない。

【0045】

本願の実施例では、フィルターはオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成される。又は、フィルターはオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成され、オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在する。又は、フィルターはオフラインフィルタリングモデルによって形成され、オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在する。

【0046】

フィルターがオフラインフィルタリングモデルによって形成される場合、フィルタリング装置がフィルターによって、エッジ情報と組み合わせてフィルタリング待ちのビデオフレームのフィルタリング待ちの画素情報をフィルタリングし、フィルタリング後画素を得る実現プロセスは、フィルタリング装置がオフラインフィルタリングモデルを用いて、エッジ情報と組み合わせてフィルタリング待ちのビデオフレームをフィルタリングし、フィルタリング画像を得ており、即ち、フィルタリング待ちの画素情報及びエッジ情報をニューラルネットワークに基づくオフラインフィルタリングモデルに入力して、フィルタリング後画素を出力することであってもよい。

【0047】

フィルターがオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成される場合、又は、フィルターがオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成される場合、フィルタリング装置がフィルターによって、エッジ情報と組み合わせてフィルタリング待ちのビデオフレームのフィルタリング待ちの画素情報をフィルタリングし、フィルタリング画像、即ちフィルタリング後画素を得る実現プロセスは、
フィルタリング装置がオフラインフィルタリングモデルを用いて、エッジ情報と組み合わせてフィルタリング待ちのビデオフレームをフィルタリングし、中間フィルタリング画像を得ており、オンラインフィルタリングモデルを用いて、エッジ情報と組み合わせて中間フィルタリング画像をフィルタリングし、フィルタリング画像を得ること、又は、
フィルタリング装置がオンラインフィルタリングモデルを用いて、エッジ情報と組み合わせてフィルタリング待ちのビデオフレームをフィルタリングし、中間フィルタリング画像を得ており、オフラインフィルタリングモデルを用いて、エッジ情報と組み合わせて中間フィルタリング画像をフィルタリングし、フィルタリング画像を得ることであり、即ち、
フィルタリング待ちの画素情報及びエッジ情報をニューラルネットワークに基づくオフラインフィルタリングモデルに入力して、中間フィルタリング後画素を出力し、中間フィルタリング後画素及びエッジ情報をニューラルネットワークに基づくオンラインフィルタリングモデルに入力して、フィルタリング後画素を出力すること、又は、
フィルタリング待ちの画素情報及びエッジ情報をニューラルネットワークに基づくオンラインフィルタリングモデルに入力して、中間フィルタリング後画素を出力し、中間フィルタリング後画素及びエッジ情報をニューラルネットワークに基づくオフラインフィルタリングモデルに入力して、フィルタリング後画素を出力することである。

【0048】

即ち、本願の実施例では、フィルターはオンライン畳み込みニューラルネットワークとオフライン畳み込みニューラルネットワークを組み合わせて形成されるものであってもよい。例えば、１つのオフラインモデルと１つのオンラインモデルをカスケードしたものであり、又は、１つのオフラインモデルで形成されるが、一部がオンラインで訓練されてもよいものであり、又は、１つのオフラインモデル（一部がオンラインで訓練されてもよい）と１つのオンラインモデルをカスケードしたものであり、本願の実施例では限定しない。

【0049】

オフラインフィルタリングモデルはオフラインで訓練されるフィルターであり、オフラインで訓練されるパラメータを更に含む。

【0050】

オンラインフィルタリングモデルはオンラインで訓練されるフィルターであり、オンラインで訓練されるパラメータを含む。

【0051】

具体的に、オフラインフィルタリングモデルはオフラインで訓練されるフィルターを指す。畳み込みニューラルネットワークについて、大量のピクチャを用いて訓練を行い、訓練セットから分割されるピクチャにおいてテストを行う必要がある。性能が非常に効果的である場合、ビデオコーデック技術のインループ／後処理フィルター等のフィルターに適用できる。畳み込みニューラルネットワークのすべての重みパラメータ（即ち、パラメータ）は訓練完了後、符号化側と復号化側に同時に設定できる。

【0052】

オンラインフィルタリングモデルはオンラインで訓練されるフィルターを指す。畳み込みニューラルネットワークはランダムアクセスフラグメント（ビデオシーケンスにおける符号化されたばかりのいくつかのビデオフレーム）に基づいて訓練される場合が多く、更新済みのパラメータを得て、パラメータを更新した更新オンラインフィルタリングモデルを用いて同一のビデオシーケンスの後続フレームを処理する。このような畳み込みニューラルネットワークは規模が小さいため、非常に狭い範囲のビデオシーケンスの処理のみに適用できる。

【0053】

例示的に、フィルターはオンラインフィルタリングモデル１（Ｏｎ－ｌｉｎｅｔｒａｉｎｄＮＮ）とオフラインフィルタリングモデル２（Ｏｆｆ－ｌｉｎｅｔｒａｉｎｄＮＮ）をカスケードすることによって形成される。図５に示すカスケード順序又は図６に示すカスケード順序のいずれかを使用できる。図５のフィルターについて、フィルタリング装置はフィルタリング待ちの画素情報４及びそれに対応するエッジ情報３（Ｓｉｄｅｉｎｆｏｒｍａｔｉｏｎ）をオフラインフィルタリングモデル２に入力し、オフラインフィルタリングを経て、中間フィルタリング後画素５を得ており、中間フィルタリング後画素５及びエッジ情報３を更にオンラインフィルタリングモデル１に入力し、オンラインフィルタリングを行い、フィルタリング後画素６をフィルタリング出力（Ｆｉｌｔｅｒｅｄｏｕｔｐｕｔ）する。図６のフィルターについて、フィルタリング装置はフィルタリング待ちの画素情報４及びそれに対応するエッジ情報３をオンラインフィルタリングモデル１に入力し、オンラインフィルタリングを経て、中間フィルタリング後画素５を得ており、中間フィルタリング後画素５及びエッジ情報３を更にオフラインフィルタリングモデル２に入力し、オフラインフィルタリングを行い、フィルタリング後画素６をフィルタリング出力する。

【0054】

例示的に、フィルターはオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成され、オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在する。図７に示すカスケード順序又は図８に示すカスケード順序のいずれかを使用できる。図７に示すように、フィルタリング装置はフィルタリング待ちの画素情報４及びそれに対応するエッジ情報３をオフラインフィルタリングモデル２に入力し、オフライン－オンラインハイブリッドフィルタリングを経て、中間フィルタリング後画素５を得ており、中間フィルタリング後画素５及びエッジ情報３を更にオンラインフィルタリングモデル１に入力し、オンラインフィルタリングを行い、フィルタリング後画素６をフィルタリング出力する。図８のフィルターについて、フィルタリング装置はフィルタリング待ちの画素情報４及びそれに対応するエッジ情報３をオンラインフィルタリングモデル１に入力し、オンラインフィルタリングを経て、中間フィルタリング後画素５を得ており、中間フィルタリング後画素５及びエッジ情報３を更にオフラインフィルタリングモデル２に入力し、オフライン－オンラインハイブリッドフィルタリングを行い、フィルタリング後画素６をフィルタリング出力する。

【0055】

【0056】

理解できるように、オフラインフィルタリングモデルは、利点として、性能が優れ、重み係数を別途伝送する必要がないが、欠点として、シーケンスへの適応能力が不足する。オンラインフィルタリングモデルは、利点としてシーケンスへの適応能力があるが、欠点として、重み係数を伝送する必要がある。オフラインフィルタリング部とオンラインフィルタリング部を組み合わせることで、オフラインフィルタリングモデルの性能を発揮できるとともに、オンラインフィルタリングモデルによってビデオの客観的な品質を向上させることができる。即ち、本願の実施例に係るフィルタリング装置は、異なるビデオのフィルタリング処理では、汎化能力とシーケンス適応性をバランスよく両立させ、複雑さが低い場合、より優れた符号化性能を図ることができる。

【0057】

なお、本願の実施例では、フィルタリング装置は、フィルタリング待ちの画素情報及びエッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力した後、フィルタリング後画素に基づいて、フィルターに対してオンライン訓練を行い、オンラインフィルタリングパラメータを得ており、オンラインフィルタリングパラメータに基づいてフィルターのオンライン部を訓練した後、後続のフィルタリング待ちの画素情報及びエッジ情報を更新後のフィルターに入力してフィルタリングし、後続のフィルタリング後画素を得ており、オンラインフィルタリングパラメータをビデオビットストリームに書き込む。

【0058】

即ち、本願の実施例では、ニューラルネットワークはランダムアクセスフラグメント（ビデオシーケンスにおける符号化されたばかりのいくつかのビデオフレームの画素情報）に基づいて訓練される場合が多く、訓練後、直ちに同一のシーケンスの後続フレーム、即ち、後続フレームの画素情報に使用される。このようなニューラルネットワークは規模が小さいため、非常に狭い範囲のビデオコンテンツのみに適用できる。訓練し得た重みパラメータ（即ち、オンラインフィルタリングパラメータ）は頻繁に再訓練及び更新される必要がある。従って、重み係数はビットストリームにおいて伝送される必要がある。

【0059】

以下、フィルタリング待ちのビデオフレームのフィルタリング待ちの画素情報を例に、オンラインフィルタリングパラメータを説明する。

【0060】

本願のいくつかの実施例では、図３をもとに、図１０に示すように、Ｓ１０３の実現の選択可能な実現プロセスは以下のステップＳ１０３１～Ｓ１０３６を含んでもよい。

【0061】

Ｓ１０３１、フィルターによって、エッジ情報におけるｉフレーム目の画像のエッジ情報と組み合わせて、フィルタリング待ちのビデオフレームのｉフレーム目の画像のフィルタリング待ちの画素情報をフィルタリングし、ｉフレーム目のフィルタリング画像を得ており、ｉは１以上Ｎ以下であり、Ｎはフィルタリング待ちのビデオフレームの総数である。

【0062】

Ｓ１０３２、ｉ＋Ｈフレーム目の画像のフィルタリング処理が完了するまで、ｉ＋１フレーム目の画像のフィルタリング待ちの画素情報に対してフィルタリング処理を行い続け、ｉフレーム目のフィルタリング画像～ｉ＋Ｈフレーム目のフィルタリング画像を得ており、Ｈは１を超えＮ－ｉ未満である。

【0063】

Ｓ１０３３、ｉフレーム目のフィルタリング画像～ｉ＋Ｈフレーム目のフィルタリング画像を用いて、フィルターに対してオンラインフィルタリング部の訓練を行い、オンラインフィルタリング部のパラメータ更新情報を得る。

【0064】

Ｓ１０３４、パラメータ更新情報を用いて更新後オンラインフィルタリング部を得る。

【0065】

Ｓ１０３５、更新後オンラインフィルタリング部及びオフラインフィルタリング部を用いて、エッジ情報におけるｉ＋Ｈ＋１フレーム目の画像のエッジ情報と組み合わせて、ｉ＋Ｈ＋１フレーム目のフィルタリング画像のパラメータ更新情報に対してフィルタリング処理を行い、ｉ＋Ｈ＋１フレーム目のフィルタリング画像を得る。

【0066】

Ｓ１０３６、Ｎフレーム目の画像のフィルタリング処理が完了するまで、ｉ＋Ｈ＋２フレーム目の画像のパラメータ更新情報に対してフィルタリング処理を行い続け、ｉ＋Ｈ＋１フレーム目のフィルタリング画像～Ｎフレーム目のフィルタリング画像を得ており、１フレーム目のフィルタリング画像～Ｎフレーム目のフィルタリング画像はフィルタリング画像である。

【0067】

本願の実施例では、フィルターはいずれもオフラインフィルタリング部とオンラインフィルタリング部を有するものである。相違点として、場合によって、あるオンラインフィルタリング部は、オンラインフィルタリングモデルによって直接に実現されるが、あるオンラインフィルタリング部は、オフラインフィルタリングモデルにおける一部のパラメータがオンラインで訓練されて得ることによって実現され、後者は上記２種のオンラインフィルタリングを組み合わせて実現される。

【0068】

理解できるように、オンラインフィルタリング部はランダムアクセスフラグメント（ビデオシーケンスにおけるフィルタリングされたばかりのいくつかのビデオフレーム）に基づいて訓練され、更新済みのパラメータを得ており、パラメータを更新した更新オンラインフィルタリング部を用いて同一のビデオシーケンスの後続フレームを処理する。

【0069】

本願の実施例では、フィルタリング待ちのビデオフレームはＮフレームの画像を含んでもよい。Ｎはフィルタリング待ちのビデオフレームの総数であり、Ｎは１より大きい正の整数であり、Ｎの数値はフィルタリング待ちのビデオフレームのフレーム数に応じて決められ、本願の実施例では限定しない。

【0070】

このように、本願の実施例では、フィルタリング装置はフィルタリング待ちのビデオフレームにおけるｉフレーム目の画像をフィルタリングする場合、ｉフレーム目の画像及び該ｉフレーム目の画像のエッジ情報をフィルターに入力し、オンラインフィルタリングとオフラインフィルタリングを経た後、ｉフレーム目のフィルタリング画像を出力し、ｉは１から始まり、即ち、フィルタリング装置は１フレーム目の画像からフィルタリングを開始する。ｉフレーム目の画像のフィルタリングを完了させた後、該フィルタリング装置は、ｉ＋Ｈフレーム目の画像のフィルタリング処理が完了するまで、ｉ＋１フレーム目の画像に対してフィルタリング処理を行い続け、ｉフレーム目のフィルタリング画像～ｉ＋Ｈフレーム目のフィルタリング画像を得ており、Ｈは１を超えＮ－ｉ未満である。即ち、フィルタリング装置はオンラインフィルタリング部及びオフラインフィルタリング部を含むフィルターを用いてフィルタリング待ちのビデオフレームをフィルタリングする場合、所定のシーケンスのフレーム画像をフィルタリングした後、フィルタリング済みのｉ＋Ｈフレームの画像及びｉ＋Ｈフレームのフィルタリング画像（ｉフレーム目のフィルタリング画像～ｉ＋Ｈフレーム目のフィルタリング画像）を訓練サンプルとして使用し、フィルターにおけるオンライン部を再び訓練してもよい。訓練結果がｉ＋Ｈフレームのフィルタリング画像に最も近い出力結果を得る時、この時のオンラインフィルタリング部のパラメータ更新情報を取得し、パラメータ更新情報を用いて、更新後オンラインフィルタリング部を得る。フィルタリング装置は更新後オンラインフィルタリング部を用いて、既存のオフラインフィルタリング部及びｉ＋Ｈ＋１フレーム目の画像のエッジ情報と組み合わせて、ｉ＋Ｈ＋１フレーム目のフィルタリング画像に対してフィルタリング処理を行い、ｉ＋Ｈ＋１フレーム目のフィルタリング画像を得る。Ｎフレーム目の画像のフィルタリング処理が完了するまで、ｉ＋Ｈ＋２フレーム目の画像に対してフィルタリング処理を行い続け、ｉ＋Ｈ＋１フレーム目のフィルタリング画像～Ｎフレーム目のフィルタリング画像を得る。１フレーム目のフィルタリング画像～Ｎフレーム目のフィルタリング画像はフィルタリング画像である。

【0071】

なお、本願の実施例では、フィルタリング装置はＨ－ｉフレームをフィルタリングした後、フィルターのオンラインフィルタリング部の更新を開始できる。Ｈの具体的な値は実際のニーズ及び具体的な設計に応じて決められ、本願の実施例では限定しない。

【0072】

更に、ｉ＋Ｈ＋１フレーム目の画像～Ｎフレーム目の画像のフィルタリング処理について、Ｈ－ｉフレームの画像の処理を行った後、Ｎフレーム目の画像がまだ処理されていない時、オンラインフィルタリング部の再更新を行い、更新後のオンラインフィルタリング部を用いて、Ｎフレーム目の画像のフィルタリングが完了するまで、後続フレームのフィルタリングを行い続けるようにしてもよい。即ち、フィルタリング装置は１つの固定フレーム数の画像をフィルタリングした後、オンラインフィルタリング部のオンラインフィルタリングパラメータの更新を開始してもよく、オンラインフィルタリング部の更新を行うたびにフィルタリング済みのフレームの数が異なってもよく、本願の実施例では限定しない。更新停止条件は、最終フレームの画像のフィルタリングが完了することである。

【0073】

本願のいくつかの実施例では、オンラインフィルタリング部はオンラインフィルタリングモデルであってもよく、オフラインモデルにおける一部の畳み込みニューラルネットワークの階層がパラメータをオンラインで更新でき、パラメータ更新情報（即ち、オンラインフィルタリングパラメータ）を得るものであってもよく、これら２種のオンラインフィルタリング部の組み合わせであってもよく、本願の実施例では限定しない。

【0074】

例示的に、フィルターはオンラインフィルタリングモデル１（Ｏｎ－ｌｉｎｅｔｒａｉｎｄＮＮ）とオフラインフィルタリングモデル２（Ｏｆｆ－ｌｉｎｅｔｒａｉｎｄＮＮ）をカスケードすることによって形成される。図５に示すカスケード順序又は図６に示すカスケード順序のいずれかを使用できる。図５のフィルター及び図６のフィルターについて、フィルタリング装置がフィルタリング待ちの画素情報４及びそれに対応するエッジ情報３（Ｓｉｄｅｉｎｆｏｒｍａｔｉｏｎ）をオフラインフィルタリングモデル２及びオンラインフィルタリングモデル１に入力して、フィルタリングするプロセスにおいて、前の１つのフレームのフィルタリング結果を用いてフィルターに対してオンライン部のオンライン訓練を行い、即ち、オンラインフィルタリングモデル１を訓練し、パラメータ更新情報（即ち、オンラインフィルタリングパラメータ）を得るようにしてもよい。それによりオンラインフィルタリングパラメータに基づいてフィルターのオンライン部を訓練した後、後続のフィルタリング待ちの画素情報及びエッジ情報を更新後フィルターに入力してフィルタリングし、後続のフィルタリング後画素を得る。

【0075】

例示的に、フィルターはオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成され、オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在する。図７に示すカスケード順序又は図８に示すカスケード順序のいずれかを使用できる。図７及び図８に示すように、フィルタリング装置がフィルタリング待ちの画素情報４及びそれに対応するエッジ情報３（Ｓｉｄｅｉｎｆｏｒｍａｔｉｏｎ）をオフラインフィルタリングモデル２（オフライン－オンラインハイブリッドフィルタリング）とオンラインフィルタリングモデル１に入力してフィルタリングするプロセスにおいて、前の１つのフレームのフィルタリング結果を用いてフィルターに対してオンライン部のオンライン訓練を行い、即ち、オフラインフィルタリングモデル２におけるオンライン部及びオンラインフィルタリングモデル１を訓練し、パラメータ更新情報（即ち、オンラインフィルタリングパラメータ）を得るようにしてもよい。それによりオンラインフィルタリングパラメータに基づいてフィルターのオンライン部を訓練した後、後続のフィルタリング待ちの画素情報及びエッジ情報を更新後フィルターに入力してフィルタリングし、後続のフィルタリング後画素を得る。

【0076】

例示的に、フィルターはオフラインフィルタリングモデルによって形成され、オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在する。図９に示すように、フィルタリング装置はフィルタリング待ちの画素情報１及びそれに対応するエッジ情報２をオフラインフィルタリングモデル３に入力し、オフライン－オンラインハイブリッドフィルタリングを経て、フィルタリング後画素４をフィルタリング出力する。それと同時に、前の１つのフレームのフィルタリング結果を用いてオフラインフィルタリングモデル３に対してオンライン部のオンライン訓練を行い、即ち、オフラインフィルタリングモデル３のオンライン部を訓練し、パラメータ更新情報（即ち、オンラインフィルタリングパラメータ）を得るようにしてもよい。それによりオンラインフィルタリングパラメータに基づいてフィルターのオンライン部を訓練した後、後続のフィルタリング待ちの画素情報及びエッジ情報を更新後フィルターに入力してフィルタリングし、後続のフィルタリング後画素を得る。

【0077】

理解できるように、フィルタリング装置はフィルタリング待ちのビデオフレームに対して、フィルタリング待ちのビデオフレームのエッジ情報を決定し、エッジ情報及びフィルタリング待ちのビデオフレームをフィルターに入力してフィルタリングし、フィルタリング画像を出力する。フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなるため、フィルタリングする時、オフラインフィルタリング部を使用でき、非常に広い範囲のビデオのフィルタリングに適用できるとともに、オンラインフィルタリング部のオンラインフィルタリングパラメータの更新を確保し、更新済みのオンラインフィルタリング部を使用してフィルタリング待ちのビデオフレームの後続フレームのフィルタリングを行うことができる。それによりフィルタリング性能の低下を回避し、フィルタリング装置のフィルタリング性能を向上させるだけではなく、適用範囲が広い。

【0078】

本願の実施例は更に、ビデオを符号化するためのフィルタリング方法を提供し、符号化側に適用される。該方法は、適応フィルターのフィルタリングパラメータを決定することと、フィルタリングパラメータ及びエッジ情報に基づいて、適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得ることと、符号化される必要があるフィルタリングパラメータの一部である第１フィルタリングパラメータを決定することと、第１フィルタリングパラメータを符号化し、ビデオビットストリームに書き込むことと、を含む。

【0079】

第１フィルタリングパラメータはオンラインフィルタリングパラメータ、即ち、パラメータ更新情報である。

【0080】

本願のいくつかの実施例では、適応フィルターは１つのニューラルネットワークフィルターである。

【0081】

本願のいくつかの実施例では、適応フィルターは第１ニューラルネットワークフィルターと第２ニューラルネットワークフィルターのカスケードフィルターである。

【0082】

本願のいくつかの実施例では、適応フィルターのフィルタリングパラメータを決定することは、オフライン訓練によってニューラルネットワークフィルターの第２フィルタリングパラメータを決定し、第２フィルタリングパラメータはニューラルネットワークフィルターのすべてのパラメータであることと、オンライン訓練によってニューラルネットワークフィルターの第３フィルタリングパラメータを決定し、第２フィルタリングパラメータはニューラルネットワークフィルターの一部のパラメータであることと、第３フィルタリングパラメータを使用して第２フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の第２フィルタリングパラメータをニューラルネットワークフィルターのすべてのフィルタリングパラメータとすることと、を含む。

【0083】

本願のいくつかの実施例では、第１フィルタリングパラメータを決定することは、第３フィルタリングパラメータを第１フィルタリングパラメータとすることを含む。

【0084】

本願のいくつかの実施例では、適応フィルターのフィルタリングパラメータを決定することは、オフライン訓練によって第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定することと、オンライン訓練によって第２ニューラルネットワークフィルターの第４フィルタリングパラメータを決定し、第４フィルタリングパラメータは第２ニューラルネットワークフィルターのすべてのパラメータであることと、を含む。

【0085】

本願のいくつかの実施例では、第１フィルタリングパラメータを決定することは、第４フィルタリングパラメータを第１フィルタリングパラメータとすることを含む。

【0086】

本願のいくつかの実施例では、適応フィルターのフィルタリングパラメータを決定することは、オフライン訓練によって第１ニューラルネットワークフィルターの第５フィルタリングパラメータを決定し、第５フィルタリングパラメータは第１ニューラルネットワークフィルターのすべてのパラメータであることと、オンライン訓練によってニューラルネットワークフィルターの第６フィルタリングパラメータを決定し、第６フィルタリングパラメータは第１ニューラルネットワークフィルターの一部のパラメータであることと、第６フィルタリングパラメータを使用して第５フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の第５フィルタリングパラメータを第１ニューラルネットワークフィルターのフィルタリングパラメータとすることと、ビデオ又は画像の符号化プロセスにおいて、オンライン訓練によって第２ニューラルネットワークフィルターの第７フィルタリングパラメータを決定し、第７フィルタリングパラメータは第２ニューラルネットワークフィルターのすべてのパラメータであることと、を含む。

【0087】

本願のいくつかの実施例では、第１フィルタリングパラメータを決定することは、第６フィルタリングパラメータ及び第７フィルタリングパラメータを第１フィルタリングパラメータとすることを含む。

【0088】

本願のいくつかの実施例では、オフライン訓練は、ビデオ又は画像の符号化を開始する前に、１つ又は複数の画像を使用してニューラルネットワークフィルターを訓練するプロセスであり、
オンライン訓練は、ビデオ又は画像の符号化プロセスにおいて、符号化待ちのビデオシーケンスにおける１つ又は複数の画像を使用してニューラルネットワークフィルターを訓練するプロセスである。

【0089】

本願のいくつかの実施例では、適応フィルターはビデオの符号化に使用される前処理フィルター、又はインループフィルターである。

【0090】

なお、フィルターのパラメータ更新方式（画像適応、又はシーケンス適応）はランダムアクセスセグメント、又はシーケンス適応を使用してもよく、本願の実施例では限定しない。

【0091】

理解できるように、フィルタリング装置は符号化側に位置する場合、適応フィルターのフィルタリングパラメータを決定し、フィルタリングパラメータ及びエッジ情報に基づいて、適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得ており、第１フィルタリングパラメータを決定し、第１フィルタリングパラメータは符号化される必要があるフィルタリングパラメータの一部（オンラインフィルタリングパラメータ）であり、第１フィルタリングパラメータを符号化し、ビデオビットストリームに書き込む。フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなるため、フィルタリングする時、オフラインフィルタリング部を使用でき、非常に広い範囲のビデオのフィルタリングに適用できるとともに、オンラインフィルタリング部のいくつかのモデルの更新を確保し、フィルタリング性能の低下を回避することができ、即ちフィルタリング装置のフィルタリング性能を向上させ、適用範囲が広い。

【0092】

本願の実施例は更に、ビデオを復号化するためのフィルタリング方法を提供し、復号化側に適用される。該方法は、ビデオビットストリームを解析し、適応フィルターの第１フィルタリングパラメータを決定し、第１フィルタリングパラメータは適応フィルターのすべてのフィルタリングパラメータの一部であることと、
第１フィルタリングパラメータに基づいて、適応フィルターのすべてのフィルタリングパラメータを決定することと、
すべてのフィルタリングパラメータ及びエッジ情報に基づいて、適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得ることと、を含む。

【0093】

なお、第１フィルタリングパラメータはオンラインフィルタリングパラメータ、即ち、パラメータ更新情報である。

【0094】

本願のいくつかの実施例では、適応フィルターは１つのニューラルネットワークフィルターである。

【0095】

本願のいくつかの実施例では、適応フィルターはカスケードされる、タイプが異なる２つ又は複数のニューラルネットワークフィルターである。

【0096】

【0097】

本願のいくつかの実施例では、適応フィルターのすべてのフィルタリングパラメータを決定することは、ニューラルネットワークフィルターの第２フィルタリングパラメータを決定し、第２フィルタリングパラメータはニューラルネットワークフィルターのすべてのパラメータであることと、第１フィルタリングパラメータを使用して第２フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の第２フィルタリングパラメータをニューラルネットワークフィルターのすべてのフィルタリングパラメータとすることと、を含む。

【0098】

本願のいくつかの実施例では、ニューラルネットワークフィルターの第２フィルタリングパラメータを決定することは、オフライン訓練によってニューラルネットワークフィルターの第２フィルタリングパラメータを決定すること、又は、ビデオビットストリームを復号化する前に、第２フィルタリングパラメータを取得することを含む。

【0099】

本願のいくつかの実施例では、適応フィルターのすべてのフィルタリングパラメータを決定することは、第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定することと、第１フィルタリングパラメータを第２ニューラルネットワークフィルターのすべてのフィルタリングパラメータとすることと、を含む。

【0100】

本願のいくつかの実施例では、第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定することは、オフライン訓練によって第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定すること、又は、ビデオビットストリームを復号化する前に、第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを取得することを含む。

【0101】

本願のいくつかの実施例では、適応フィルターのすべてのフィルタリングパラメータを決定することは、第１ニューラルネットワークフィルターの第５フィルタリングパラメータを決定し、第５フィルタリングパラメータは第１ニューラルネットワークフィルターのすべてのパラメータであることと、第１フィルタリングパラメータにおける一部のパラメータを第６フィルタリングパラメータとし、第６フィルタリングパラメータは第１ニューラルネットワークフィルターの一部のパラメータであることと、第６フィルタリングパラメータを使用して第５フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の第５フィルタリングパラメータを第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータとすることと、第１フィルタリングパラメータにおける残りのパラメータを第２ニューラルネットワークフィルターのすべてのパラメータとすることと、を含む。

【0102】

本願のいくつかの実施例では、第１ニューラルネットワークフィルターの第５フィルタリングパラメータを決定することは、オフライン訓練によって第５フィルタリングパラメータを決定すること、又は、ビデオビットストリームを復号化する前に、第５フィルタリングパラメータを取得することを含む。

【0103】

本願のいくつかの実施例では、オフライン訓練は、ビデオビットストリームを解析する前に、１つ又は複数の画像を使用してニューラルネットワークフィルターを訓練するプロセスである。

【0104】

本願のいくつかの実施例では、適応フィルターはビデオビットストリームの復号化に使用されるインループフィルター又は後処理フィルターである。

【0105】

なお、フィルターのパラメータ更新方式（画像適応、又はシーケンス適応）はシーケンス適応を使用してもよく、本願の実施例では限定しない。

【0106】

理解できるように、フィルタリング装置は復号化側に位置する場合、ビデオビットストリームを解析し、適応フィルターの第１フィルタリングパラメータを決定し、第１フィルタリングパラメータは適応フィルターのすべてのフィルタリングパラメータの一部（オンラインフィルタリングパラメータ）であり、第１フィルタリングパラメータに基づいて、適応フィルターのすべてのフィルタリングパラメータ（オンラインフィルタリングパラメータ及びオフラインフィルタリングパラメータ）を決定し、すべてのフィルタリングパラメータ及びエッジ情報に基づいて、適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得る。フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなるため、フィルタリングする時、オフラインフィルタリング部を使用でき、非常に広い範囲のビデオのフィルタリングに適用できるとともに、オンラインフィルタリング部のいくつかのモデルの更新を確保し、フィルタリング性能の低下を回避することができ、即ちフィルタリング装置のフィルタリング性能を向上させ、適用範囲が広い。

【0107】

同じ技術的構想に基づいて、図１１は本願の実施例に係る選択可能なフィルタリング装置の構造模式図である。図１１に示すように、該フィルタリング装置１は、取得部１１、決定部１２及びフィルタリング部１３を備えてもよく、
第１取得部１１は、フィルタリング待ちの画素情報を取得するように設定され、
第１決定部１２は、エッジ情報を決定するように設定され、
第１フィルタリング部１３は、前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力するように設定され、前記フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなる。

【0108】

本願のいくつかの実施例では、前記フィルターはオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成され、又は、
前記フィルターはオンラインフィルタリングモデルとオフラインフィルタリングモデルをカスケードすることによって形成され、前記オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在する。

【0109】

本願のいくつかの実施例では、前記フィルターはオフラインフィルタリングモデルによって形成され、オフラインフィルタリングモデルに一部のオンラインで訓練されるパラメータが存在し、
前記第１フィルタリング部１３は更に、前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づく前記オフラインフィルタリングモデルに入力して、前記フィルタリング後画素を出力するように設定される。

【0110】

本願のいくつかの実施例では、前記第１フィルタリング部１３は更に、前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づく前記オフラインフィルタリングモデルに入力して、中間フィルタリング後画素を出力し、前記中間フィルタリング後画素及び前記エッジ情報をニューラルネットワークに基づく前記オンラインフィルタリングモデルに入力して、前記フィルタリング後画素を出力するように設定され、又は、前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づく前記オンラインフィルタリングモデルに入力して、中間フィルタリング後画素を出力し、前記中間フィルタリング後画素及び前記エッジ情報をニューラルネットワークに基づく前記オフラインフィルタリングモデルに入力して、前記フィルタリング後画素を出力するように設定される。

【0111】

本願のいくつかの実施例では、前記フィルターは訓練部１４及び書き込み部１５を更に備え、
前記第１訓練部１４は、前記フィルタリング待ちの画素情報及び前記エッジ情報をニューラルネットワークに基づくフィルターに入力して、フィルタリング後画素を出力した後、前記フィルタリング後画素に基づいて、前記フィルターに対してオンライン訓練を行い、オンラインフィルタリングパラメータを得るように設定される。

【0112】

前記第１フィルタリング部１３は更に、前記オンラインフィルタリングパラメータに基づいて前記フィルターのオンライン部を訓練した後、後続のフィルタリング待ちの画素情報及び前記エッジ情報を更新後のフィルターに入力してフィルタリングし、後続のフィルタリング後画素を得るように設定され、
前記第１書き込み部１５は、前記オンラインフィルタリングパラメータをビデオビットストリームに書き込むように設定される。

【0113】

本願のいくつかの実施例では、前記オフラインフィルタリングモデルはオフラインで訓練されるフィルターであり、前記オフラインフィルタリングモデルは更にオフラインで訓練されるパラメータを含む。

【0114】

前記オンラインフィルタリングモデルはオンラインで訓練されるフィルターであり、前記オンラインフィルタリングモデルはオンラインで訓練されるパラメータを含む。

【0115】

本願のいくつかの実施例では、ニューラルネットワークに基づく前記フィルターは、後処理フィルタリング、インループフィルタリング、前処理フィルタリング及び予測プロセスに適用される。

【0116】

本願のいくつかの実施例では、ニューラルネットワークに基づく前記フィルターは後処理フィルタリングに適用される場合、復号化側に設置され、
ニューラルネットワークに基づく前記フィルターはインループ処理フィルタリングに適用される場合、復号化側及び符号化側に設置され、
ニューラルネットワークに基づく前記フィルターは前処理フィルタリングに適用される場合、符号化側に設置される。

【0117】

本願の実施例は更に、ビデオを符号化するためのフィルタリング装置を提供し、第２決定部２０、第２フィルタリング部２１、及び第２書き込み部２２を備え、
前記第２決定部２０は、適応フィルターのフィルタリングパラメータを決定するように設定され、
前記第２フィルタリング部２１は、前記フィルタリングパラメータ及びエッジ情報に基づいて、前記適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得るように設定され、
前記第２決定部２０は更に、符号化される必要がある前記フィルタリングパラメータの一部である第１フィルタリングパラメータを決定するように設定され、
前記第２書き込み部２２は、前記第１フィルタリングパラメータを符号化し、ビデオビットストリームに書き込むように設定される。

【0118】

本願のいくつかの実施例では、適応フィルターは１つのニューラルネットワークフィルターである。

【0119】

【0120】

本願のいくつかの実施例では、前記第２決定部２０は更に、オフライン訓練によってニューラルネットワークフィルターの第２フィルタリングパラメータを決定し、第２フィルタリングパラメータはニューラルネットワークフィルターのすべてのパラメータであり、オンライン訓練によってニューラルネットワークフィルターの第３フィルタリングパラメータを決定し、第２フィルタリングパラメータはニューラルネットワークフィルターの一部のパラメータであり、第３フィルタリングパラメータを使用して第２フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の第２フィルタリングパラメータをニューラルネットワークフィルターのすべてのフィルタリングパラメータとするように設定される。

【0121】

本願のいくつかの実施例では、前記第２決定部２０は更に、第３フィルタリングパラメータを第１フィルタリングパラメータとするように設定される。

【0122】

本願のいくつかの実施例では、前記第２決定部２０は更に、オフライン訓練によって第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定し、オンライン訓練によって第２ニューラルネットワークフィルターの第４フィルタリングパラメータを決定するように設定され、第４フィルタリングパラメータは第２ニューラルネットワークフィルターのすべてのパラメータである。

【0123】

本願のいくつかの実施例では、前記第２決定部２０は更に、第４フィルタリングパラメータを第１フィルタリングパラメータとするように設定される。

【0124】

本願のいくつかの実施例では、前記第２決定部２０は更に、オフライン訓練によって第１ニューラルネットワークフィルターの第５フィルタリングパラメータを決定し、第５フィルタリングパラメータは第１ニューラルネットワークフィルターのすべてのパラメータであり、オンライン訓練によってニューラルネットワークフィルターの第６フィルタリングパラメータを決定し、第６フィルタリングパラメータは第１ニューラルネットワークフィルターの一部のパラメータであり、第６フィルタリングパラメータを使用して第５フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の第５フィルタリングパラメータを第１ニューラルネットワークフィルターのフィルタリングパラメータとし、ビデオ又は画像の符号化プロセスにおいて、オンライン訓練によって第２ニューラルネットワークフィルターの第７フィルタリングパラメータを決定し、第７フィルタリングパラメータは第２ニューラルネットワークフィルターのすべてのパラメータであるように設定される。

【0125】

本願のいくつかの実施例では、前記第２決定部２０は更に、第６フィルタリングパラメータ及び第７フィルタリングパラメータを第１フィルタリングパラメータとするように設定される。

【0126】

【0127】

本願のいくつかの実施例では、適応フィルターはビデオの符号化に使用される前処理フィルター、又はインループフィルターである。

【0128】

【0129】

本願の実施例は更に、ビデオビットストリームを復号化するためのフィルタリング装置を提供し、第３決定部３０及び第３フィルタリング部３１を備え、
前記第３決定部３０は、ビデオビットストリームを解析し、適応フィルターの、前記適応フィルターのすべてのフィルタリングパラメータの一部である第１フィルタリングパラメータを決定し、前記第１フィルタリングパラメータに基づいて、前記適応フィルターのすべてのフィルタリングパラメータを決定するように設定され、
前記第３フィルタリング部３１は、前記すべてのフィルタリングパラメータ及びエッジ情報に基づいて、前記適応フィルターを使用して入力画素をフィルタリングし、フィルタリング後画素を得るように設定される。

【0130】

本願のいくつかの実施例では、適応フィルターは１つのニューラルネットワークフィルターである。

【0131】

本願のいくつかの実施例では、適応フィルターはカスケードされる、タイプが異なる２つ又は複数のニューラルネットワークフィルターである。

【0132】

【0133】

本願のいくつかの実施例では、前記第３決定部３０は更に、ニューラルネットワークフィルターの第２フィルタリングパラメータを決定し、第２フィルタリングパラメータはニューラルネットワークフィルターのすべてのパラメータであり、第１フィルタリングパラメータを使用して第２フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の第２フィルタリングパラメータをニューラルネットワークフィルターのすべてのフィルタリングパラメータとするように設定される。

【0134】

本願のいくつかの実施例では、前記第３決定部３０は更に、オフライン訓練によってニューラルネットワークフィルターの第２フィルタリングパラメータを決定し、又は、ビデオビットストリームを復号化する前に、第２フィルタリングパラメータを取得するように設定される。

【0135】

本願のいくつかの実施例では、前記第３決定部３０は更に、第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定し、第１フィルタリングパラメータを第２ニューラルネットワークフィルターのすべてのフィルタリングパラメータとするように設定される。

【0136】

本願のいくつかの実施例では、前記第３決定部３０は更に、オフライン訓練によって第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを決定し、又は、ビデオビットストリームを復号化する前に、第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータを取得するように設定される。

【0137】

本願のいくつかの実施例では、前記第３決定部３０は更に、第１ニューラルネットワークフィルターの第５フィルタリングパラメータを決定し、第５フィルタリングパラメータは第１ニューラルネットワークフィルターのすべてのパラメータであり、第１フィルタリングパラメータにおける一部のパラメータを第６フィルタリングパラメータとし、第６フィルタリングパラメータは第１ニューラルネットワークフィルターの一部のパラメータであり、第６フィルタリングパラメータを使用して第５フィルタリングパラメータにおける対応するフィルタリングパラメータを更新し、更新後の第５フィルタリングパラメータを第１ニューラルネットワークフィルターのすべてのフィルタリングパラメータとし、第１フィルタリングパラメータにおける残りのパラメータを第２ニューラルネットワークフィルターのすべてのパラメータとするように設定される。

【0138】

本願のいくつかの実施例では、前記第３決定部３０は更に、オフライン訓練によって第５フィルタリングパラメータを決定し、又は、ビデオビットストリームを復号化する前に、第５フィルタリングパラメータを取得するように設定される。

【0139】

【0140】

【0141】

【0142】

理解できるように、本願の実施例では、「ユニット」は回路の一部、プロセッサの一部、プログラム又はソフトウェアの一部等であってもよく、勿論、モジュールであってもよく、モジュール化されていないものであってもよい。そして、本実施例の各構成部分は１つの処理ユニットに集積されてもよく、各ユニットは別々に物理的に存在してもよく、２つ以上のユニットは１つのユニットに集積されてもよい。上記集積されたユニットはハードウェアの形態で実現されてもよく、ソフトウェア機能モジュールの形態で実現されてもよい。

【0143】

前記集積されたユニットはソフトウェア機能モジュールの形態で実現され独立した製品として販売又は使用される場合、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本実施例の技術案は本質的に又は従来技術に貢献する部分又は該技術案のすべて又は一部はソフトウェア製品の形態で実施されてもよい。該コンピュータソフトウェア製品は１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク装置等であってもよい）又はｐｒｏｃｅｓｓｏｒ（プロセッサ）に本実施例に係る方法の全部又は一部のステップを実行させるための複数の命令を含む。上記記憶媒体は、Ｕディスク、モバイルディスク、読み出し専用メモリ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な種々の媒体を含む。

【0144】

図１２は本願の実施例に係る選択可能なフィルタリング装置の構造模式図である。本願の実施例はフィルタリング装置を提供し、
実行可能命令を記憶するためのメモリ１７と、
前記メモリ１７に記憶される実行可能命令を実行すると、本願の実施例に係るフィルタリング方法を実現するためのプロセッサ１６と、を備える。

【0145】

なお、実際の応用では、端末の各ユニットは通信バス１８を介して結合される。理解できるように、通信バス１８はこれらのユニット間の接続通信を実現することに用いられる。通信バス１８は、データバスに加えて、電源バス、制御バス及び状態信号バスを更に含むが、説明の明瞭さから、図１２には各種のバスは通信バス１８と総称して示されている。

【0146】

【0147】

理解できるように、本願の実施例におけるメモリは揮発性メモリ又は不揮発性メモリであってもよく、又は揮発性及び不揮発性メモリの両方を含んでもよい。不揮発性メモリは読み出し専用メモリ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰｒｏｇｒａｍｍａｂｌｅＲＯＭ、ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥｒａｓａｂｌｅＰＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥｌｅｃｔｒｉｃａｌｌｙＥＰＲＯＭ、ＥＥＰＲＯＭ）又はフラッシュメモリであってもよい。揮発性メモリはランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）であってもよく、外部高速キャッシュメモリとして機能する。制限的ではなく例示的に説明すると、様々な形態のＲＡＭは使用可能であり、例えば、スタティックランダムアクセスメモリ（ＳｔａｔｉｃＲＡＭ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤｙｎａｍｉｃＲＡＭ、ＤＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ＳｙｎｃｈｒｏｎｏｕｓＤＲＡＭ、ＳＤＲＡＭ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＤｏｕｂｌｅＤａｔａＲａｔｅＳＤＲＡＭ、ＤＤＲＳＤＲＡＭ）、拡張同期ダイナミックランダムアクセスメモリ（ＥｎｈａｎｃｅｄＳＤＲＡＭ、ＥＳＤＲＡＭ）、シンクリンクダイナミックランダムアクセスメモリ（ＳｙｎｃｈｌｉｎｋＤＲＡＭ、ＳＬＤＲＡＭ）及びダイレクトラムバスランダムアクセスメモリ（ＤｉｒｅｃｔＲａｍｂｕｓＲＡＭ、ＤＲＲＡＭ）が挙げられる。本明細書に記載のシステム及び方法のメモリはこれら及び任意の適切なタイプのメモリを含むが、これらに限定されない。

【0148】

プロセッサは信号処理能力を有する集積回路チップでありうる。実現過程では、上記方法の各ステップはプロセッサにおけるハードウェアの集積論理回路又はソフトウェアの形態の命令によって行われてもよい。上記プロセッサは汎用プロセッサ、デジタル信号プロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアユニットであってもよい。本願の実施例に開示されている各方法、ステップ及び論理ブロック図を実現又は実行できる。汎用プロセッサはマイクロプロセッサであってもよく、又は、該プロセッサは任意の通常のプロセッサ等であってもよい。本願の実施例に開示されている方法のステップは直接にハードウェアデコードプロセッサによって実行されてもよく、又はデコードプロセッサのハードウェアとソフトウェアモジュールの組み合わせによって実行されてもよい。ソフトウェアモジュールはランダムアクセスメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ又は電気的消去可能プログラマブルメモリ、レジスタ等の本分野の成熟した記憶媒体に位置してもよい。該記憶媒体はメモリに位置し、プロセッサはメモリにおける情報を読み取り、そのハードウェアと組み合わせて上記方法のステップを実行する。

【0149】

理解できるように、本明細書で説明されたこれらの実施例はハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はこれらの組み合わせによって実現されてもよい。ハードウェアによって実現される場合、処理ユニットは１つ又は複数の特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔｓ、ＡＳＩＣ）、デジタル信号プロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤｅｖｉｃｅ、ＤＳＰＤ）、プログラマブルロジックデバイス（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ、ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、ＦＰＧＡ）、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本願に記載の機能を実行するための他の電子ユニット又はこれらの組み合わせにおいて実現されてもよい。

【0150】

ソフトウェアによって実現される場合、本明細書に記載の機能を実行するモジュール（例えば、プロセス、関数等）によって本明細書に記載の技術を実現してもよい。ソフトウェアコードはメモリに記憶され、プロセッサによって実行される。メモリはプロセッサ内又はプロセッサの外部で実現される。

【0151】

なお、本明細書では、「備える」、「含む」又はその任意の変形のような用語は非排他的な包含をカバーすることを意味するため、一連の要素を含むプロセス、方法、物品又は装置はこれらの要素を含むだけではなく、明示的にリストされていない他の要素、又はこれらプロセス、方法、物品又は装置に固有の要素を更に含む。これ以上の制限がない場合、「１つの…を含む」という文で限定される要素は、該要素を含むプロセス、方法、物品又は装置に別の同一要素が含まれることを除外しない。

【0152】

上記本願の実施例の番号は単に説明用のものであり、実施例の優劣を表すものではない。

【0153】

以上の実施形態の説明により当業者が明確に理解できるように、上記実施例の方法をソフトウェアと必要な汎用ハードウェアプラットフォームの組み合わせによって実現してもよく、勿論、ハードウェアによって実現してもよいが、多くの場合、前者はより好ましい実施形態である。このような理解に基づいて、本願の技術案は本質的に又は従来技術に貢献する部分はソフトウェア製品の形態で実現されてもよい。該コンピュータソフトウェア製品は１つの記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、１台の端末（携帯電話、コンピュータ、サーバ、又はネットワーク装置等であってもよい）に本願の各実施例に記載の方法を実行させるための複数の命令を含む。

【0154】

以上は図面を参照しながら本願の実施例を説明したが、本願は上記具体的な実施形態に限らず、上記具体的な実施形態は模式的なものであって、制限のものではない。当業者は本願の示唆に基づいて、本願の趣旨及び特許請求の範囲を逸脱せずに、更に種々の変更を行うことができ、これらの変更はいずれも本願の保護範囲内に属する。

【産業上の利用可能性】

【0155】

本願の実施例では、フィルタリング装置はフィルタリング待ちのビデオフレームのフィルタリング待ちの画素情報に対して、フィルタリング待ちのビデオフレームのエッジ情報を決定し、エッジ情報及びフィルタリング待ちの画素情報をフィルターに入力してフィルタリングし、フィルタリング後画素を出力する。フィルターはオンラインフィルタリング部とオフラインフィルタリング部を組み合わせてなるため、フィルタリングする時、オフラインフィルタリング部を使用でき、非常に広い範囲のビデオのフィルタリングに適用できるとともに、オンラインフィルタリング部のいくつかのモデルの更新を確保し、フィルタリング性能の低下を回避することができ、即ちフィルタリング装置のフィルタリング性能を向上させ、適用範囲が広い。

【図1】