特許 7026065 画像復号装置、画像復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-16

(45)【発行日】2022-02-25

(54)【発明の名称】画像復号装置、画像復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20220217BHJP

   H04N 19/136 20140101ALI20220217BHJP

   H04N 19/176 20140101ALI20220217BHJP

   H04N 19/82 20140101ALI20220217BHJP

【ＦＩ】

H04N19/117

H04N19/136

H04N19/176

H04N19/82

【請求項の数】 5

(21)【出願番号】P 2019044644

(22)【出願日】2019-03-12

(65)【公開番号】P2020150358

(43)【公開日】2020-09-17

【審査請求日】2021-01-27

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ特許業務法人

(74)【代理人】

【識別番号】110001106

【氏名又は名称】キュリーズ特許業務法人

(72)【発明者】

【氏名】河村 圭

(72)【発明者】

【氏名】内藤 整

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１９／０４６２９５（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０３１４１０（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０５６６６５（ＷＯ，Ａ１）

【文献】Yu-Ling Hsiao et al.，AHG9: Convolutional neural network loop filter，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0159-v1，13th Meeting: Marrakech, MA，2019年01月，pp.1-6

【文献】Yuanying Dai et al.，AHG9: CNN-based In-Loop Filter proposed by USTC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0510-v2，2019年01月，pp.1-3

【文献】Hujun Yin et al.，AHG9: Adaptive convolutional neural network loop filter，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0566，13th Meeting: Marrakesh，2019年01月，pp.1-9

【文献】Kei Kawamura, Yoshitaka Kidani and Sei Naito，CE13-related: Adaptive CNN based in-loop filtering with boundary weights，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0712，14th Meeting: Geneva, CH，2019年03月，pp.1-2

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する境界強度算出部と、
前記境界強度に基づいて、重み係数を決定する重み係数決定部と、
ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像に対して前記重み係数を乗算した後、フィルタ前画像に加算することによって、フィルタ後画像を生成する差分フィルタ加算部とを備えることを特徴とする画像復号装置。

【請求項2】

前記境界強度算出部は、前記境界強度として、垂直方向に延びるブロック境界の境界強度及び水平方向に延びる前記ブロック境界の境界強度のそれぞれを決定することを特徴とする請求項１に記載の画像復号装置。

【請求項3】

前記重み係数決定部は、前記境界強度及び予測モードに基づいて、前記重み係数を決定することを特徴とする請求項１又は２に記載の画像復号装置。

【請求項4】

入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する工程と、
前記境界強度に基づいて、重み係数を決定する工程と、
ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像に対して前記重み係数を乗算した後、フィルタ前画像に加算することによって、フィルタ後画像を生成する工程とを有することを特徴とする画像復号方法。

【請求項5】

コンピュータを、画像復号装置として機能させるプログラムであって、
前記画像復号装置は、
入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する境界強度算出部と、
前記境界強度に基づいて、重み係数を決定する重み係数決定部と、
ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像に対して前記重み係数を乗算した後、フィルタ前画像に加算することによって、フィルタ後画像を生成する差分フィルタ加算部とを備えることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

【背景技術】

【0002】

従来、イントラ予測又はインター予測、予測残差信号の変換・量子化、エントロピー符号化を用いた画像符号化方式が提案されている（例えば、非特許文献１参照）。

【0003】

かかる画像符号化方式を採用する画像符号化装置は、以下のような処理を行う。
- 入力画像を複数のブロックに分割する。
- 分割したブロック単位（１つ又は複数の変換ユニット）で、入力画像からイントラ予測画像又はインター予測画像の差分である残差信号を、変換ユニットごとに変換及び量子化してレベル値を生成する。
- 生成したレベル値をサイド情報（画素値の再構成に必要な予測モードや動きベクトル等の関連情報）と共にエントロピー符号化して符号化データを生成する。

【0004】

一方、かかる画像符号化方式に対応する画像復号方式を採用する画像復号装置は、上述の画像符号化装置で行われる手順と逆の手順により、符号化データから出力画像を得る。具体的には、画像復号装置は、以下のような処理を行う。
- 符号化データから得られたレベル値を逆量子化及び逆変換して残差信号を生成する。
- かかる残差信号をイントラ予測画像又はインター予測画像に加算してフィルタ前局所復号画像を生成する。
- かかるフィルタ前局所復号画像を用いて、イントラ予測を行うと同時に、インループフィルタ（例えば、デブロックフィルタ）を適用してフィルタ後局所復号画像を生成し、フレームバッファに蓄積する。

【0005】

ここで、フレームバッファは、適宜、インター予測にフィルタ後局所復号画像を供給する。

【0006】

なお、符号化データからサイド情報及びレベル値を得る処理は「パース処理」と呼ばれ、かかるサイド情報及びレベル値を用いて画素値を再構成することは「復号処理」と呼ばれる。

【0007】

次に、非特許文献２に記載の畳込みニューラルネットワーク（以下、ＣＮＮ）に基づくインループフィルタ方式について述べる。

【0008】

ここで、色形式として４：２：０を想定すると、輝度画像（Ｌｕｍａ）及び色差画像（Ｃｈｒｏｍａ）の画素数は４：１：１となる。そこで、輝度４画素及び色差２画素をパッキングして６チャネルとする。

【0009】

さらに、幅ｗ、高さｈ、入力チャネル数ｃ、フィルタ数ｆとし、「ｗ×ｈ×ｃ×ｆ」で表記されるレイヤを定義する。具体的には、「Ｌ１＝３×３×６×８」、「Ｌ２＝３×３×８×８」及び「Ｌ３＝３×３×８×６」の３レイヤを導入する。

【0010】

かかるインループフィルタ方式のフィルタ処理は、図６に示すように、以下の処理を行う。
- フィルタ前画像（輝度画像及び色差画像）をパッキングしてフィルタ前パッキング画像を得る。
- かかるフィルタ群Ｌ１～Ｌ３をフィルタ前パッキング画像に適用する。
- フィルタ後画像をアンパッキングして輝度画像及び色差画像に戻して差分フィルタ画像を得る。
- フィルタ前画像と差分フィルタ画像とを加算する。

【0011】

なお、約１秒ごとに、実際に符号化された画像を用いて学習することによって、かかるフィルタＬ１～Ｌ３のフィルタ係数を決定する。

【0012】

かかるフィルタ処理では、画像符号化装置が、符号化ブロックごとに、かかるフィルタ処理の適用の有無について判定し、フラグにより、画像復号装置に対してシグナリングする。また、学習により得られたフィルタ係数は、量子化してサイド情報として、画像符号化装置から画像復号装置にシグナリングされる。

【先行技術文献】

【非特許文献】

【0013】

【文献】ＩＴＵ-Ｔ Ｈ.２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ

【文献】ＡＨＧ９：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｌｏｏｐ ｆｉｌｔｅｒ、ＪＶＥＴ-Ｍ０１５９ｖ１

【発明の概要】

【発明が解決しようとする課題】

【0014】

しかしながら、既存のＣＮＮに基づくインループフィルタ方式のフィルタ処理では、ビットストリームから得られる予測モード等のサイド情報を利用していないため、過度にフィルタ処理が適用されて符号化性能が低下するという問題点があった。

【0015】

そこで、本発明は、上述の課題に鑑みてなされたものであり、ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像を適切に補正することができ、符号化性能を改善することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0016】

本発明の第１の特徴は、画像復号装置であって、入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する境界強度算出部と、前記境界強度に基づいて、重み係数を決定する重み係数決定部と、入力された差分フィルタ画像とフィルタ前画像と前記重み係数とに基づいて、フィルタ後画像を生成する差分フィルタ加算部とを備えることを要旨とする。

【0017】

本発明の第２の特徴は、画像復号方法であって、入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する工程と、前記境界強度に基づいて、重み係数を決定する工程と、入力された差分フィルタ画像とフィルタ前画像と前記重み係数とに基づいて、フィルタ後画像を生成する工程とを有することを要旨とする。

【0018】

本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する境界強度算出部と、前記境界強度に基づいて、重み係数を決定する重み係数決定部と、入力された差分フィルタ画像とフィルタ前画像と前記重み係数とに基づいて、フィルタ後画像を生成する差分フィルタ加算部とを備えることを要旨とする。

【発明の効果】

【0019】

本発明によれば、ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像を適切に補正することができ、符号化性能を改善することができる画像復号装置、画像復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0020】

【図1】一実施形態に係る画像処理システム１の構成の一例を示す図である。

【図2】一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。

【図3】一実施形態に係る画像符号化装置１００のインループフィルタ部１０８及び画像復号装置２００のインループフィルタ部２０６の機能ブロックの一例を示す図である。

【図4】一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。

【図5】一実施形態に係る画像符号化装置１００のインループフィルタ部１０８及び画像復号装置２００のインループフィルタ部２０６の動作の一例を示すフローチャートである。

【図6】従来技術を説明するための図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態について図面を参照しながら、説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0022】

（第１実施形態）
図１は、本発明の第１実施形態に係る画像処理システム１の機能ブロックの一例を示す図である。画像処理システム１は、動画像を符号化して符号化データを生成する画像符号化装置１００と、画像符号化装置１００により生成された符号化データを復号する画像復号装置２００とを備える。画像符号化装置１００と画像復号装置２００との間では、上述の符号化データが、例えば、伝送路を介して送受信される。

【0023】

＜画像符号化装置１００＞
図２は、画像符号化装置１００の機能ブロックの一例を示す図である。図２に示すように、画像符号化装置１００は、インター予測部１０１と、イントラ予測部１０２と、変換・量子化部１０３と、エントロピー符号化部１０４と、逆変換・逆量子化部１０５と、減算部１０６と、加算部１０７と、インループフィルタ部１０８と、フレームバッファ１０９とを備える。

【0024】

インター予測部１０１は、入力画像及びフレームバッファ１０９から入力されるフィルタ後局所復号画像（後述）を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。

【0025】

イントラ予測部１０２は、入力画像及びフィルタ前局所復号画像（後述）を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。

【0026】

変換・量子化部１０３は、減算部１０６から入力される残差信号に対して直交変換処理を行い、かかる直交変換処理により得られる変換係数に対して量子化処理を行い、かかる量子化処理により得られる量子化されたレベル値を出力するように構成されている。

【0027】

エントロピー符号化部１０４は、変換・量子化部１０３から入力される量子化されたレベル値及びサイド情報をエントロピー符号化して符号化データとして出力するように構成されている。

【0028】

逆変換・逆量子化部１０５は、変換・量子化部１０３から入力される量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた変換係数に対して逆直交変換処理を行い、かかる逆直交変換処理により得られる逆直交変換された残差信号を出力するように構成されている。

【0029】

減算部１０６は、入力画像とイントラ予測画像或いはインター予測画像との差分である残差信号を出力するように構成されている。

【0030】

加算部１０７は、逆変換・逆量子化部１０５から入力される逆直交変換された残差信号とイントラ予測画像或いはインター予測画像とを加算して得られるフィルタ前局所復号画像を出力するように構成されている。

【0031】

インループフィルタ部１０８は、加算部１０７から入力されるフィルタ前局所復号画像に対して、デブロッキングフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。

【0032】

フレームバッファ１０９は、フィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部１０１に供給する。

【0033】

以下、図３を参照して、本実施形態に係る画像符号化装置１００のインループフィルタ部１０８について説明する。図３は、本実施形態に係る画像符号化装置１００のインループフィルタ部１０８の機能ブロックの一例を示す図である。

【0034】

図３に示すように、本実施形態に係る画像符号化装置１００のインループフィルタ部１０８は、境界強度算出部１０８Ａと、境界強度算出部１０８Ｂと、垂直重み決定部１０８Ｃと、水平重み決定部１０８Ｄと、差分フィルタ加算部１０８Ｅとを備える。

【0035】

また、インループフィルタ部１０８の入力の前段階或いはインループフィルタ部１０８の出力の後段階において、デブロッキングフィルタや適応ループフィルタやサンプル適応オフセットフィルタ等の任意のフィルタを用いたフィルタ処理が行われてもよい。

【0036】

すなわち、インループフィルタ部１０８の入力であるフィルタ前画像は、他のフィルタ用いたフィルタ処理により得られたフィルタ後画像である。

【0037】

また、インループフィルタ部１０８の入力である差分フィルタ画像は、ＣＮＮに基づく差分ネットワーク構成によるモデルをフィルタ前画像に適用して得られた画像である。なお、かかるモデルは、任意である。ただし、かかるモデルは、ブロック境界の主観画質を改善することを目的としたモデルである。

【0038】

境界強度算出部１０８Ａ/１０８Ｂは、入力されたサイド情報に基づいて、境界強度を算出して出力するように構成されている。

【0039】

ここで、境界強度算出部１０８Ａ/１０８Ｂは、既存のデブロッキングフィルタを用いたフィルタ処理における境界強度と同一となるように、かかる境界強度を算出するように構成されていてもよい。

【0040】

なお、かかるサイド情報は、イントラ予測モードやインター予測モード等を識別する予測モード種別や、ブロック内に非ゼロ係数が存在するか否かについて表すフラグや、動きベクトルや、参照画像番号を含む。

【0041】

また、境界強度は、符号化処理により主観的に目立つブロック境界（エッジ）が生じやすいかどうかについて表しており、「０」、「１」、「２」の３段階で表される。ここで、「０」は、ブロック境界が無いことを示し、「１」は、弱いブロック境界があることを示し、「２」は、強いブロック境界があることを示す。

【0042】

例えば、境界強度算出部１０８Ａ/１０８Ｂは、ブロック境界を挟む２つのブロックにおいて少なくとも一方のブロックにイントラ予測モードが適用されていれば、境界強度を「２」に設定するように構成されていてもよい。

【0043】

また、境界強度算出部１０８Ａ/１０８Ｂは、ブロック境界を挟む２つのブロックにおいて少なくとも片方のブロック内に非ゼロ係数が存在するかについて表すフラグが有効であり、且つ、かかるブロック境界が変換ブロックの境界である場合、境界強度を「１」に設定するように構成されていてもよい。

【0044】

また、境界強度算出部１０８Ａ/１０８Ｂは、ブロック境界を挟む２つのブロックの動きベクトルの差の絶対値が１画素以上である場合、境界強度を「１」に設定するように構成されていてもよい。

【0045】

また、境界強度算出部１０８Ａ/１０８Ｂは、ブロック境界を挟む２つのブロックの動き補償の参照画像番号が異なる場合、境界強度を「１」に設定するように構成されていてもよい。

【0046】

また、境界強度算出部１０８Ａ/１０８Ｂは、ブロック境界を挟む２つのブロックの動き補償の動きベクトルの数が異なる場合、境界強度を「１」に設定するように構成されていてもよい。

【0047】

なお、境界強度算出部１０８Ａ/１０８Ｂは、上述の場合以外には、境界強度を「０」に設定するように構成されていてもよい。

【0048】

ここで、境界強度算出部１０８Ａは、垂直方向に延びるブロック境界に係る境界強度を算出するように構成されており、境界強度算出部１０８Ｂは、水平方向に延びるブロック境界に係る境界強度を算出するように構成されている。

【0049】

垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄは、それぞれ境界強度算出部１０８Ａ/１０８Ｂから入力された境界強度に基づいて、差分フィルタ画像とフィルタ前画像とを加算する際に用いられる重み係数を決定するように構成されている重み決定部の一例である。

【0050】

例えば、垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄは、境界強度が「２」である場合、ブロック境界から４画素ずつに、ブロック境界に近いところから４画素ずつに、「４/４」、「３/４」、「２/４」、「１/４」というように、重み係数を決定するように構成されていてもよい。

【0051】

同様に、垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄは、境界強度が「１」である場合、ブロック境界から４画素ずつに、ブロック境界に近いところから４画素ずつに、「４/８」、「３/８」、「２/８」、「１/８」というように、重み係数を決定するように構成されていてもよい。

【0052】

なお、垂直エッジ重み決定部１０８Ｃは、垂直方向に延びるブロック境界に係る重み係数を決定するように構成されており、水平エッジ重み決定部１０８Ｄは、水平方向に延びるブロック境界に係る重み係数を決定するように構成されている。

【0053】

差分フィルタ加算部１０８Ｅは、入力されたフィルタ前画像と差分フィルタ画像と重み係数とに基づいて、フィルタ後画像を生成して出力するように構成されている。

【0054】

具体的には、差分フィルタ加算部１０８Ｅは、差分フィルタ画像に対して重み係数を乗算した後、フィルタ前画像に加算することによって、フィルタ後画像を生成するように構成されている。

【0055】

なお、本実施形態では、境界強度算出部１０８Ａと境界強度算出部１０８Ｂとが別々に設けられ、垂直エッジ重み決定部１０８Ｃと水平エッジ重み決定部１０８Ｄとが別々に設けられているが、本発明は、かかるケースに限定されず、境界強度算出部１０８Ａ及び境界強度算出部１０８Ｂの代わりに境界強度算出部１０８ＡＢ（図示せず）が設けられ、垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄの代わりに重み決定部１０８ＣＤ（図示せず）が設けられていてもよい。

【0056】

かかる場合、境界強度算出部１０８ＡＢは、垂直方向及び水平方向に関わらずブロック境界の境界強度を算出するように構成されており、重み決定部１０８ＣＤは、垂直方向及び水平方向に関わらずブロック境界に係る重み係数を決定するように構成されている。

【0057】

なお、本実施形態では、重み決定部１０８ＣＤと差分加算部１０８Ｅとが別々に設けられているが、本発明は、かかるケースに限定されず、境界強度算出部１０８ＡＢの代わりに境界検出部１０８Ｆ（図示せず）が設けられ、重み決定部１０８ＣＤ及び差分加算部１０８Ｅの代わりにフィルタ補正部１０８Ｇ（図示せず）が設けられていてもよい。

【0058】

かかる場合、境界検出部１０８Ｆは、ブロック境界の境界強度に関わらずブロック境界領域（エッジ領域）を検出（決定）するように構成されており、フィルタ補正部１０８Ｇは、ブロック境界に係る重み係数に関わらずブロック境界領域に係る差分フィルタ画像によってフィルタ前画像を補正するように構成されている。

【0059】

＜画像復号装置２００＞
図４は、本実施形態に係る画像復号装置２００のブロック図である。図３に示すように、本実施形態に係る画像復号装置２００は、エントロピー復号部２０１と、逆変換・逆量子化部２０２と、インター予測部２０３と、イントラ予測部２０４と、加算部２０５と、インループフィルタ部２０６と、フレームバッファ２０７とを備える。

【0060】

エントロピー復号部２０１は、符号化データをエントロピー復号し、量子化されたレベル値や、サイド情報を出力するように構成されている。

【0061】

逆変換・逆量子化部２０２は、エントロピー復号部２０１から入力される量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた結果に対して逆直交変換処理を行って残差信号として出力するように構成されている。

【0062】

インター予測部２０３は、フレームバッファ２０７から入力されるフィルタ後局所復号画像を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。

【0063】

イントラ予測部２０４は、加算部２０５から入力されるフィルタ前局所復号画像を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。

【0064】

加算部２０５は、逆変換・逆量子化部２０２から入力される残差信号と予測画像（インター予測部２０３から入力されるインター予測画像或いはイントラ予測部２０４から入力されるイントラ予測画像）とを加算して得られるフィルタ前局所復号画像を出力するように構成されている。

【0065】

ここで、予測画像とは、インター予測部２０３から入力されるインター予測画像及びイントラ予測部２０４から入力されるイントラ予測画像のうち、エントロピー復号により得られた最も高い符号化性能の期待される予測方法により算出された予測画像のことである。

【0066】

インループフィルタ部２０６は、加算部２０５から入力されるフィルタ前局所復号画像に対してデブロックフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。

【0067】

フレームバッファ２０７は、インループフィルタ２０６から入力されるフィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部２０３に供給するとともに、復号済み画像として出力するように構成されている。

【0068】

図３に示すように、本実施形態に係る画像復号装置２００のインループフィルタ部２０６は、境界強度算出部１０８Ａと、境界強度算出部１０８Ｂと、垂直重み決定部１０８Ｃと、水平重み決定部１０８Ｄと、差分フィルタ加算部１０８Ｅとを備える。ここで、インループフィルタ部２０６の各機能は、上述のインループフィルタ部１０８の各機能と統一であるため、説明を省略する。

【0069】

以下、図５を参照して、本実施形態に係るインループフィルタ部１０８/２０６の動作の一例について説明する。

【0070】

図５に示すように、ステップＳ１０１において、インループフィルタ部１０８/２０６は、入力されたサイド情報に基づいて、上述の境界強度を算出する。

【0071】

ステップＳ１０２において、インループフィルタ部１０８/２０６は、算出された境界強度及びフィルタ前画像に基づいて、上述の重み係数を決定する。

【0072】

ステップＳ１０３において、インループフィルタ部１０８/２０６は、入力された差分フィルタ画像、フィルタ前画像及び重み係数に基づいて、フィルタ画像を生成する。

【0073】

本実施形態に係る画像処理システム１によれば、ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像を適切に補正することができ、符号化性能を改善することができる。

【0074】

（第２実施形態）
以下、本発明の第２実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。

【0075】

本実施形態において、インループフィルタ部１０８/２０６の垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄは、入力された境界強度及び予測モードに基づいて、上述の重み係数を出力するように構成されている。

【0076】

例えば、垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄは、かかる境界強度が「１」以上である場合に、イントラ予測が適用されているブロックに対しては、ブロック境界に近いところから順に、「４/４」、「３/４」、「２/４」、「１/４」と重み係数を決め、インター予測が適用されているブロックに対しては、ブロック境界に近いところから順に、「４/８」、「３/８」、「２/８」、「１/８」と重み係数を決めるように構成されていてもよい。

【0077】

（第３実施形態）
以下、本発明の第３実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。

【0078】

本実施形態において、インループフィルタ部１０８/２０６の差分フィルタ加算部１０８Ｅは、入力されたフィルタ前画像と差分フィルタ画像と重み係数と量子化パラメータとに基づいて、上述のフィルタ後画像を生成して出力するように構成されている。

【0079】

具体的には、差分フィルタ加算部１０８Ｅは、学習に利用した量子化パラメータを基準として処理対象ブロックの量子化パラメータに応じた重み係数を決定し、入力された差分フィルタ画像に対して量子化パラメータにより決定した重み係数を乗算し、入力された重み係数を乗算し、フィルタ前画像に加算し、フィルタ後画像を生成するように構成されている。

【0080】

例えば、差分フィルタ加算部１０８Ｅは、量子化パラメータＱＰ＝３２でモデルを学習した場合、処理対象ブロックにおいて、「ＱＰ＝２２」であれば「１２/６４」と重み係数を決定し、「ＱＰ＝３７」であれば「９０/６４」と量子化パラメータに比例した非負の重み係数を決定するように構成されていてもよい。

【符号の説明】

【0081】

１…画像処理システム
１００…画像符号化装置
１０１、２０３…インター予測部
１０２、２０４…イントラ予測部
１０３…変換・量子化部
１０４…エントロピー符号化部
１０５、２０２…逆変換・逆量子化部
１０６…減算部
１０７、２０５…加算部
１０８、２０６…インループフィルタ部
１０８Ａ、１０８Ｂ…境界強度算出部
１０８Ｃ…垂直重み決定部
１０８Ｄ…水平重み決定部
１０８Ｅ…差分フィルタ加算部
１０９、２０７…フレームバッファ
２００…画像復号装置
２０１…エントロピー復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】