特許 7544722 符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20240827BHJP

   H04N 19/136 20140101ALI20240827BHJP

   H04N 19/154 20140101ALI20240827BHJP

   H04N 19/176 20140101ALI20240827BHJP

   H04N 19/82 20140101ALI20240827BHJP

   H04N 19/86 20140101ALI20240827BHJP

【ＦＩ】

H04N19/117

H04N19/136

H04N19/154

H04N19/176

H04N19/82

H04N19/86

【請求項の数】 15

(21)【出願番号】P 2021543783

(86)(22)【出願日】2020-09-01

(86)【国際出願番号】 JP2020033129

(87)【国際公開番号】W WO2021045059

(87)【国際公開日】2021-03-11

【審査請求日】2023-08-01

(31)【優先権主張番号】P 2019159971

(32)【優先日】2019-09-02

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2019160251

(32)【優先日】2019-09-03

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】根本 慎平

【審査官】山▲崎▼ 雄介

(56)【参考文献】

【文献】米国特許出願公開第２０１３／０２５９１２０（ＵＳ，Ａ１）

【文献】国際公開第２０１２／１６５０９５（ＷＯ，Ａ１）

【文献】特開２００８－１８２５６２（ＪＰ，Ａ）

【文献】VAN DER AUWERA, Geert et al.，AHG6: Quantization Matrices and Deblocking Filtering，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JCTVC-I0280 (version 2)，2012年04月25日，pp. 1-10

【文献】SATO, Kazushi，On Deblocking Filter and DC Component of Quantization Matrices，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JCTVC-J0186 (version 2)，2012年07月11日，pp. 1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

画像をブロック単位に分割し、ブロック単位で前記画像を符号化する符号化装置であって、
前記画像をブロック単位に分割した符号化対象ブロックと前記符号化対象ブロックを予測することにより生成した予測ブロックとの差である予測残差に変換処理及び量子化処理を行う変換・量子化部と、
前記変換・量子化部により生成された変換係数に逆量子化処理及び逆変換処理することで前記予測残差を復元する逆量子化・逆変換部と、
前記復元した予測残差と前記予測ブロックとを合成することにより前記符号化対象ブロックを復元する合成部と、
前記復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとの境界にフィルタ処理するデブロッキングフィルタと、
前記量子化処理及び前記逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、
前記量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータであって、前記量子化行列は、前記１つのブロック内の成分ごとに設定される値からなる行列であり、
前記フィルタ制御部は、前記量子化行列の代表値を導出する代表値導出部を有し、
前記代表値は、前記量子化行列の低域成分のみを構成する複数の値の重み付き平均値であり、前記重み付きにおいて、前記複数の値のうち、前記量子化行列の最低域に相当する１つの値の重みが他の値の重みよりも大きく、
前記フィルタ制御部は、前記代表値に基づいて前記フィルタ強度を制御することを特徴とする符号化装置。

【請求項2】

前記フィルタ制御部は、前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列と、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列とに基づいて、前記フィルタ強度を制御することを特徴とする請求項１に記載の符号化装置。

【請求項3】

前記代表値導出部は、
前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化行列の前記代表値と、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化行列の前記代表値とを導出することを特徴とする請求項２に記載の符号化装置。

【請求項4】

前記フィルタ制御部は、
前記代表値導出部が導出した前記代表値に基づいて、前記符号化対象ブロック及び前記隣接ブロックのそれぞれについてオフセット値を算出するオフセット算出部と、
前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータと、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータと、前記オフセット算出部が算出した前記オフセット値とに基づいて、前記フィルタ強度を制御するための閾値を導出する閾値導出部と、をさらに有することを特徴とする請求項３に記載の符号化装置。

【請求項5】

前記変換・量子化部により生成された前記変換係数を符号化して符号化ストリームを出力するエントロピー符号化部をさらに備え、
前記フィルタ制御部は、前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列と、複数の量子化行列の候補のそれぞれについて規定されたオフセット値からなる配列とに基づいて、前記デブロッキングフィルタのフィルタ強度を制御し、
前記エントロピー符号化部は、前記配列を前記符号化ストリームに含めて伝送することを特徴とする請求項１に記載の符号化装置。

【請求項6】

前記フィルタ制御部は、前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列と、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列とに基づいて、前記フィルタ強度を制御することを特徴とする請求項５に記載の符号化装置。

【請求項7】

前記フィルタ制御部は、
前記配列に基づいて、前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化行列に対応するオフセット値と、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化行列に対応するオフセット値とを導出するオフセット導出部を有することを特徴とする請求項６に記載の符号化装置。

【請求項8】

前記フィルタ制御部は、
前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータと、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータと、前記オフセット導出部が導出した前記オフセット値とに基づいて、前記フィルタ強度を制御するための閾値を導出する閾値導出部をさらに有することを特徴とする請求項７に記載の符号化装置。

【請求項9】

画像を分割して生成したブロック単位で復号を行う復号装置であって、
符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部と、
前記エントロピー復号部が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、
前記復元した予測残差と前記復号対象ブロックを予測して生成した予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、
前記復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタと、
前記逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、
前記量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータであって、前記量子化行列は、前記１つのブロック内の成分ごとに設定される値からなる行列であり、
前記フィルタ制御部は、前記量子化行列の代表値に基づいて前記フィルタ強度を制御し、
前記代表値は、前記量子化行列の低域成分のみを構成する複数の値の重み付き平均値であり、前記重み付きにおいて、前記複数の値のうち、前記量子化行列の最低域に相当する１つの値の重みが他の値の重みよりも大きいことを特徴とする復号装置。

【請求項10】

前記エントロピー復号部は、前記符号化ストリームを復号することで、複数の量子化行列の候補のそれぞれについて規定されたオフセット値からなる配列をさらに出力し、
前記フィルタ制御部は、前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列と、前記配列とに基づいて、前記デブロッキングフィルタのフィルタ強度を制御することを特徴とする請求項９に記載の復号装置。

【請求項11】

前記フィルタ制御部は、前記復号対象ブロックに対する前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列と、前記隣接ブロックに対する前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列とに基づいて、前記フィルタ強度を制御することを特徴とする請求項１０に記載の復号装置。

【請求項12】

前記フィルタ制御部は、
前記配列に基づいて、前記復号対象ブロックに対する前記逆量子化処理で用いた前記量子化行列に対応するオフセット値と、前記隣接ブロックに対する前記逆量子化処理で用いた前記量子化行列に対応するオフセット値とを導出するオフセット導出部を有することを特徴とする請求項１１に記載の復号装置。

【請求項13】

前記フィルタ制御部は、
前記復号対象ブロックに対する前記逆量子化処理で用いた前記量子化パラメータと、前記隣接ブロックに対する前記逆量子化処理で用いた前記量子化パラメータと、前記オフセット導出部が導出した前記オフセット値とに基づいて、前記フィルタ強度を制御するための閾値を導出する閾値導出部をさらに有することを特徴とする請求項１２に記載の復号装置。

【請求項14】

コンピュータを請求項１に記載の符号化装置として機能させることを特徴とするプログラム。

【請求項15】

コンピュータを請求項９に記載の復号装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

ＭＰＥＧ（Moving Picture Experts Group）の委員会で勧告された規格群のシリーズなどに代表されるブロック単位で符号化処理を行う映像符号化方式では、ブロック単位で異なる条件で符号化が行われるため、ブロック間の品質が均一でないという特徴がある。

【0003】

この特徴は、映像の部分領域の信号特性に応じて、例えば、人間の検知しやすい信号特性の領域であれば高品質の信号に符号化し、検知しにくい領域であれば低品質の信号に符号化するように制御することにより視覚的に画質の劣化を感じさせない符号化制御が行えるというメリットがある。反面、ブロック単位で符号化を制御するため、ブロック境界に画質の品質差が顕在化し、ブロック状の歪みが検知される場合がある。

【0004】

このような信号の劣化を低減するため、近年の符号化方式ではデブロッキングフィルタ処理が一般的に用いられる。デブロッキングフィルタは、信号のギャップを低減するためのフィルタであるため、一般的には低域通過フィルタの特性を持つ。

【0005】

デブロッキングフィルタを固定的に適用すると、高品質領域同士の境界部においては、フィルタ処理による信号劣化が品質改善よりも大きく作用することがあり、逆に過度に低品質に符号化処理された領域同士の境界部においては、フィルタが十分に効果を発揮できない。

【0006】

このような状況に鑑みて、従来の映像符号化方式では、量子化パラメータ（具体的には、境界を挟むブロックの量子化パラメータの平均値）に基づいてデブロッキングフィルタのフィルタ強度を制御している（例えば、非特許文献１参照）。ここで、量子化パラメータとは、１つのブロックに対して１つの値が設定され、このブロックの量子化の粗さ（ステップサイズ）を規定するパラメータをいう。

【先行技術文献】

【非特許文献】

【0007】

【文献】Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６），“Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

【発明の開示】

【0008】

画像が分割されたブロック内の品質を制御するパラメータは、上述した量子化パラメータのほかに、視覚による知覚強度に応じた品質制御のために、ブロック内の周波数特性を制御する量子化行列（スケーリングリストまたはスケーリングファクターと呼ばれることもある）が用いられている。

【0009】

量子化行列は、ブロックサイズに応じてi×j要素の成分ごとに設定される値（重み付け係数）からなる行列であって、変換係数の低周波から高周波にわたる成分ごとに量子化の粗さを調整するために用いられる。

【0010】

しかしながら、従来の映像符号化方式は、ブロック単位で設定される一意のパラメータである量子化パラメータを考慮してデブロッキングフィルタのフィルタ強度を制御しているものの、フィルタ強度の制御において量子化行列を考慮していない。

【0011】

このため、量子化行列に起因するブロックノイズの発生に対してはデブロッキングフィルタのフィルタ強度を制御する方法がなく、デブロッキングフィルタによるブロック歪みの低減効果が不十分であるという問題がある。

【0012】

そこで、本発明は、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供することを目的とする。

【0013】

第１の態様に係る符号化装置は、画像をブロック単位に分割し、ブロック単位で前記画像を符号化する符号化装置であって、前記画像をブロック単位に分割した符号化対象ブロックと前記符号化対象ブロックを予測することにより生成した予測ブロックとの差である予測残差に変換処理及び量子化処理を行う変換・量子化部と、前記変換・量子化部により生成された変換係数に逆量子化処理及び逆変換処理することで前記予測残差を復元する逆量子化・逆変換部と、前記復元した予測残差と前記予測ブロックとを合成することにより前記符号化対象ブロックを復元する合成部と、前記復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとの境界にフィルタ処理するデブロッキングフィルタと、前記量子化処理及び前記逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、前記量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータであって、前記量子化行列は、前記１つのブロック内の成分ごとに設定される値からなる行列であることを要旨とする。

【0014】

第２の態様に係る復号装置は、画像を分割して生成したブロック単位で復号を行う復号装置であって、符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部と、前記エントロピー復号部が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、前記復元した予測残差と前記復号対象ブロックを予測して生成した予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、前記復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタと、前記逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、前記量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータであって、前記量子化行列は、前記１つのブロック内の成分ごとに設定される値からなる行列であることを要旨とする。

【0015】

第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させることを要旨とする。

【0016】

第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させることを要旨とする。

【0017】

本発明によれば、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0018】

【図1】実施形態に係る符号化装置の構成を示す図である。

【図2】量子化行列の一例を示す図である。

【図3】実施形態に係るデブロッキングフィルタの動作例を示す図である。

【図4】実施形態に係る符号化装置のフィルタ制御部の構成を示す図である。

【図5】実施形態に係る復号装置の構成を示す図である。

【図6】実施形態に係る復号装置のフィルタ制御部の構成を示す図である。

【図7】実施形態に係るフィルタ制御部の動作フロー例を示す図である。

【図8】変更例に係る符号化装置のフィルタ制御部の構成を示す図である。

【図9】変更例に係る復号装置のフィルタ制御部の構成を示す図である。

【図10】変更例に係るフィルタ制御部の動作フロー例を示す図である。

【発明を実施するための形態】

【0019】

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0020】

＜符号化装置の構成＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。符号化装置１は、画像を分割して得たブロック単位で符号化を行う装置である。

【0021】

図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、デブロッキングフィルタ１６０と、フィルタ制御部１６１と、メモリ１７０と、予測部１８０とを有する。

【0022】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず矩形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

【0023】

ブロック分割部１００は、輝度信号と色差信号とに対してブロック分割を行う。以下において、ブロック分割の形状が輝度信号と色差信号とで同じである場合について主として説明するが、輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

【0024】

減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１８０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0025】

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

【0026】

変換部１２１は、減算部１１０から出力される予測残差に対して変換処理を行って周波数成分ごとの変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理（変換）とは、画素領域の信号を周波数領域の信号に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）、及びそれらを整数化した変換等をいう。また、変換処理には画素領域の信号を周波数領域の信号に変換することなくスケーリング等により調整する変換スキップを含んでもよい。

【0027】

量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。また、量子化部１２２は、量子化処理に関する情報（具体的には、量子化処理で用いた量子化パラメータ及び量子化行列の情報）を、エントロピー符号化部１３０、逆量子化部１４１、及びフィルタ制御部１６１に出力する。

【0028】

ここで、量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータである。具体的には、量子化パラメータは、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さ（ステップサイズ）を定めるパラメータである。

【0029】

量子化行列は、１つのブロック内の成分ごとに設定される値からなる行列である。具体的には、量子化行列は、ブロックサイズに応じてi×j要素の成分ごとに設定される値（重み付け係数）からなる行列であって、変換係数の低周波から高周波にわたる成分ごとに量子化の粗さを調整するために用いられる。

【0030】

図２は、量子化行列の一例を示す図である。図２において、ｉ×ｊ＝４×４である一例を示している。図２に示す例では、量子化行列は、水平方向、垂直方向の次数がそれぞれ大きくなるほど、大きな値を有する。このような量子化行列では、より右下に配列された要素に係る変換係数、つまり高域の変換係数ほど低い精度で量子化される。そのため、低域ほど濃淡や色相の空間的変化に鋭敏であるという人間の視覚特性を活用し、主観的な画質を劣化させずに量子化によって高域での情報量を低減することが許容される。

【0031】

なお、量子化行列は、符号化対象ブロックの予測モード（イントラ予測、インター予測の別）、ブロックサイズ（例えば、２ｘ２、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４）、及び１つの輝度・２つの色差信号（ＲＧＢ信号の場合は、Ｒ信号、Ｂ信号、Ｇ信号）のそれぞれの組み合わせについて設定可能である。

【0032】

エントロピー符号化部１３０は、量子化部１２２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。

【0033】

また、エントロピー符号化部１３０は、ブロック分割部１００から各符号化対象ブロックのサイズ・形状等の情報を取得し、量子化部１２２から量子化処理に関する情報を取得し、予測部１８０から予測に関する情報（例えば、予測モードや動きベクトルの情報）を取得し、これらの情報の符号化も行う。

【0034】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

【0035】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される変換係数を、量子化パラメータ及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

【0036】

逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１がＤＣＴを行った場合には、逆変換部１４２は逆ＤＣＴを行う。逆変換部１４２は、逆量子化部１４１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0037】

合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１８０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復元（復号）し、復元したブロック単位の復号画像（復元ブロック）をデブロッキングフィルタ１６０に出力する。

【0038】

デブロッキングフィルタ１６０は、復元ブロックと当該復元ブロックに隣接する隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ１７０に出力する。フィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減するための処理であって、隣り合う２つのブロックのブロック境界における信号のギャップを平滑化するフィルタ処理である。デブロッキングフィルタ１６０は、一般的に信号の変動を緩やかにするローパスフィルタとして構成されている。

【0039】

図３は、本実施形態に係るデブロッキングフィルタ１６０の動作例を示す図である。図３に示す例では、デブロッキングフィルタ１６０は、８×８画素のブロックごとのブロック境界を対象としてフィルタ処理を行う。また、デブロッキングフィルタ１６０は、４行又は４列を単位としてフィルタ処理を行う。図３に示すブロックＰ及びＱでは、デブロッキングフィルタ１６０のフィルタ処理の１単位であり、ブロックサイズが４×４画素である一例を示している。ブロックＰ及びＱのそれぞれは、サブブロックと呼ばれてもよい。デブロッキングフィルタ１６０の動作の詳細については後述する。

【0040】

フィルタ制御部１６１は、デブロッキングフィルタ１６０を制御する。具体的には、フィルタ制御部１６１は、対象ブロック対のブロック境界に対するフィルタ処理を行うか否かを示す境界強度（Ｂｓ：Ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）、及びデブロッキングフィルタ１６０のフィルタ強度を制御する。境界強度Ｂｓとは、フィルタ処理を適用するか否か、及びそのフィルタ処理の種類を決定するためのパラメータをいう。なお、フィルタ処理を行うか否かの制御は、境界強度Ｂｓを１以上とするか又はゼロとするかの制御とみなすことができる。

【0041】

フィルタ制御部１６１は、対象ブロック対の境界近傍領域における画素値の変動や、予測モード、量子化パラメータ、動き補償予測（インター予測）に用いる動きベクトルの値に基づいて、デブロッキングフィルタ１６０を制御する。

【0042】

詳細については後述するが、本実施形態に係るフィルタ制御部１６１は、量子化部１２０における量子化処理及び逆量子化部１４１における逆変換処理に用いた量子化パラメータ及び量子化行列に基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御する。

【0043】

このように、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、量子化行列も考慮してデブロッキングフィルタのフィルタ強度を制御することにより、量子化行列に起因するブロックノイズの発生に対してデブロッキングフィルタ１６０のフィルタ強度を制御可能になり、デブロッキングフィルタ１６０によるブロック歪みの低減効果を向上させることができる。

【0044】

メモリ１７０は、デブロッキングフィルタ１６０から出力される復元ブロックをフレーム単位で復号画像として蓄積する。メモリ１７０は、記憶している復号画像を予測部１８０に出力する。

【0045】

予測部１８０は、ブロック単位で予測処理を行うことにより、符号化対象ブロックに対応する予測ブロックを生成し、生成した予測ブロックを減算部１１０及び合成部１５０に出力する。予測部１８０は、インター予測部１８１と、イントラ予測部１８２と、切替部１８３とを有する。

【0046】

インター予測部１８１は、メモリ１７０に記憶された復号画像を参照画像として用いて、ブロックマッチング等の手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１８３に出力する。インター予測部１８１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１８１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。

【0047】

イントラ予測部１８２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。イントラ予測部１８２は、メモリ１７０に記憶された復号画像のうち、符号化対象ブロックに隣接する復号済み画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１８３に出力する。また、イントラ予測部１８２は、選択したイントラ予測モードに関する情報をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。

【0048】

切替部１８３は、インター予測部１８１から出力されるインター予測ブロックとイントラ予測部１８２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

【0049】

このように、本実施形態に係る符号化装置１は、符号化対象ブロックと符号化対象ブロックを予測して得た予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部１２０と、変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部１４０と、復元した予測残差と予測ブロックとを合成して符号化対象ブロックを復元する合成部１５０と、復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタ１６０と、量子化処理及び逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御するフィルタ制御部１６１とを有する。

【0050】

次に、本実施形態に係るフィルタ制御部１６１の構成について説明する。本実施形態に係るフィルタ制御部１６１は、符号化対象ブロックに対する量子化処理及び逆量子化処理で用いた量子化パラメータ及び量子化行列と、隣接ブロックに対する量子化処理及び逆量子化処理で用いた量子化パラメータ及び量子化行列とに基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御する。以下において、符号化対象ブロック又はそのサブブロックがブロックＰであり、隣接ブロック又はそのサブブロックがブロックＱであるものとする。

【0051】

図４は、本実施形態に係るフィルタ制御部１６１の構成を示す図である。図４に示すように、本実施形態に係るフィルタ制御部１６１は、境界強度決定部１６１ａと、代表値導出部１６１ｂと、オフセット算出部１６１ｃと、閾値導出部１６１ｄと、フィルタ強度制御部１６１ｅとを有する。

【0052】

境界強度決定部１６１ａは、例えば下記の表１に基づいて境界強度Ｂｓを決定し、決定した境界強度Ｂｓの値を閾値導出部１６１ｄ及びフィルタ強度制御部１６１ｅに出力する。本実施形態では、境界強度Ｂｓの値は０，１，２のいずれかとする。なお、輝度信号と色差信号のブロックに対する境界強度をそれぞれ算出してもよいし、輝度信号と色差信号のブロックの境界強度の組み合わせを一つの境界強度として判定してもよい。

【0053】

【表1】

【0054】

表１に示すように、境界強度決定部１６１ａは、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合、Ｂｓの値を２とする。

【0055】

一方、境界強度決定部１６１ａは、ブロックＰ及びＱの両方にインター予測が適用されており、且つ少なくとも以下の（ａ）乃至（ｄ）の中の１つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。

【0056】

（ａ）ブロックＰ及びＱの少なくとも一方が有意な変換係数（すなわち、非ゼロ変換係数）を含むこと。

【0057】

（ｂ）ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。

【0058】

（ｃ）ブロックＰ及びＱの動きベクトルの差の絶対値が閾値（例えば１画素）以上であること。

【0059】

境界強度決定部１６１ａは、決定した境界強度Ｂｓの値が０の場合、ブロックＰ及びＱの境界に対するフィルタ処理を行わないようデブロッキングフィルタ１６０を制御する。

【0060】

代表値導出部１６１ｂは、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化行列の代表値ｍ_ｐｐを導出するとともに、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化行列の代表値ｍ_ｐｑを導出し、導出した代表値ｍ_ｐｐ及びｍ_ｐｑをオフセット算出部１６１ｃに出力する。以下において、代表値ｍ_ｐｐ及びｍ_ｐｑを特に区別しないときは単に代表値ｍ_ｐと呼ぶ。

【0061】

代表値導出部１６１ｂが導出する代表値ｍ_ｐとしては、次の１）乃至３）のいずれかとする。

【0062】

１）代表値ｍ_ｐは、量子化行列の低域成分を構成する複数の値の平均値である。

【0063】

直交変換された予測残差を量子化行列で量子化するケースにおいて、最もブロック歪みに影響をおよぼす低域成分に限定してｍ_ｐを導出する。具体的には、代表値導出部１６１ｂは、次の式（１）に示すように、低域、ｉ＜ｓ，ｊ＜ｔ（例えば、ｓ＝ｔ＝４）を満たすｍ［ｊ］［ｉ］の平均値を代表値ｍ_ｐとする。

【0064】

【数1】

【0065】

一般的に、量子化行列は、ｉ，ｊが０に近いほど低域に対する重み付け係数を意味し、人間の視覚特性を考慮して重み付けが小さくなるが、ｉ，ｊが大きくなるにしたがって重み付けが大きくなる（図２参照）。また、一般的に、変換係数は、ｉ，ｊが０に近いほど大きく、ｉ，ｊが大きくなるほど小さくなる傾向がある。このため、低域成分に限定してｍ_ｐを導出することとしている。

【0066】

２）代表値ｍ_ｐは、量子化行列の最低域に相当する１つの値である。

【0067】

直交変換された予測残差を量子化行列で量子化するケースにおいて、代表値導出部１６１ｂは、次の式（２）に示すように、最もブロック歪みに影響を与える最低域の係数ｍ［０］［０］を代表値ｍ_ｐとする。

【0068】

m_p=m[0][0] (2)
この方法は、最低域のみのブロック歪みへの影響のみを考慮したもので、上述した１）の方法に比べてデブロッキングフィルタ制御への影響は少ないが、１つの係数の代入のみで実現されるため、非常に軽量な実現方法である。

【0069】

３）代表値ｍ_ｐは、量子化行列の全成分を構成する複数の値の重み付き平均値である。

【0070】

代表値導出部１６１ｂは、量子化行列の全係数の量子化行列を考慮して代表値ｍ_ｐを導出する。全係数を用いることで高域にも多数の係数が発生するケースについて効果的にデブロッキングフィルタ制御に反映することができる。量子化行列（ＭｘＮ）は、一般的に高域に対して大きな重み付け係数が用いられることから、広域の係数を含めて平均化すると極端に代表値ｍ_ｐの値が大きくなる傾向がある。そこで、代表値導出部１６１ｂは、視覚特性を考慮し、次の式（３）に示すように、低域成分の重みを大きくして量子化行列の重み付けを用って平均化する。

【0071】

【数2】

【0072】

ここで、ｃ［ｊ］［ｉ］は、１．０以下の少数であり、一般的に高域において０に近づく重み付けを有する。具体的な値はシステムによって設計する。

【0073】

なお、上述した１）の方法と３）の方法とを組み合わせてもよい。具体的には、代表値導出部１６１ｂは、量子化行列の低域成分に限定してｍ_ｐを導出しつつ、量子化行列の最低域の係数の重みを大きくした重み付け平均を行ってもよい。

【0074】

オフセット算出部１６１ｃは、代表値導出部１６１ｂが導出した代表値ｍ_ｐｐ及びｍ_ｐｑに基づいて、ブロックＰ及びＱのそれぞれについてオフセット値を算出する。

【0075】

具体的には、オフセット算出部１６１ｃは、代表値ｍ_ｐｐを用いて、ブロックＰに対するオフセット値ＱｐｐＯｆｆｓｅｔを算出し、算出したオフセット値ＱｐｐＯｆｆｓｅｔを閾値導出部１６１ｄに出力する。例えば、オフセット算出部１６１ｃは、次の式（４）によりオフセット値ＱｐｐＯｆｆｓｅｔを算出する。

【0076】

QppOffset=log₂(m_pp/ｍ_ｄ)×6 (4)
ただし、ｍ_ｄはデフォルトの量子化行列の値としてシステムに規定される値である。本例では例えばｍ_ｄを１６に設定する。

【0077】

同様に、オフセット算出部１６１ｃは、代表値ｍ_ｐqを用いて、ブロックＱに対するオフセット値ＱｐｑＯｆｆｓｅｔを算出し、算出したオフセット値ＱｐｑＯｆｆｓｅｔを閾値導出部１６１ｄに出力する。例えば、オフセット算出部１６１ｃは、次の式（５）によりオフセットＱｐｑＯｆｆｓｅｔを算出する。

【0078】

QpqOffset=log₂(m_pq/ｍ_ｄ)×6 (5)
式（４）及び（５）において、量子化パラメータＱｐが対数関数によって増減するパラメータであって、代表値ｍ_ｐをｍ_ｄで除算して対数をとっている。

【0079】

なお、オフセット算出部１６１ｃでは、ハードウェアでの実装などにおいては、除算やｌｏｇ_２関数の処理の代わりにルックアップテーブルを用いて、式（４）及び式（５）を実装してもよい。

【0080】

例えば式（４）の処理の代わりにルックアップテーブルＬＵＴをＬＵＴ［］＝｛１８，２１，２３，２６，２９，３２，３６，４１，４６，５１，５８，６４，７２，８１，９１，１０２，１１５，１２８，１４４，１６２，１８２，２０４，２２９，２５６｝としたとき、下記の処理によりＱｐｐＯｆｆｓｅｔを算出してもよい。
if (m_pp<m_d)
{
sign = -1
M = m_d × m_d / m_pp
}
else
{
sign = 1
M = m_pp
}
Q = 0
while (M >= LUT[Q])
{
Q++
}
QppOffset = sign × Q

【0081】

同様に、式（５）の処理の代わりに、下記の処理によりQpqOffsetを算出してもよい。
if (m_pq<m_d)
{
sign = -1
M = m_d × m_d / m_pq
}
else
{
sign = 1
M = m_pq
}
Q = 0
while (M >= LUT[Q])
{
Q++
}
QpqOffset = sign × Q

【0082】

なお、上記はルックアップテーブルを用いたＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔの算出の一例であり、量子化行列の代表値ｍ_ｐｐ及びｍ_ｑｑに基づいてｍ_ｄにより除算および対数処理をＬＵＴで算出していれば、上記の例には限らない。

【0083】

閾値導出部１６１ｄは、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐ_Ｐと、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐ_Ｑと、オフセット算出部１６１ｃが算出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔとに基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御するための閾値β及びｔ_Ｃを導出し、導出した閾値β及びｔ_Ｃをフィルタ強度制御部１６１ｅに出力する。

【0084】

第１に、閾値導出部１６１ｄは、例えば次の式（６）により変数ｑＰを算出する。

【0085】

qP=((Qp_Q+QpqOffset+Qp_P+QppOffset+1)>>1) (6)
ここで、“>>”はシフト演算子（右シフト演算）を示す。式（６）は、基本的には、ブロックＰの量子化パラメータＱｐ_Ｐと、ブロックＱの量子化パラメータＱｐ_Ｑとの平均を求める計算式であるが、この計算式において量子化行列に基づくオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔが導入されている。なお、式（６）の計算式は一例に過ぎないものであって、量子化行列に基づくオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔが反映されたものであれば他の計算式を用いてもよい。

【0086】

第２に、閾値導出部１６１ｄは、例えば次の式（７）により、閾値βを導出するためのＱを算出する。

【0087】

Q=Clip3(0,63,qP+(slice_beta_offset_div2<<1)) (7)
ここで、“<<”はシフト演算子（左シフト演算）を示す。“Ｃｌｉｐ３（Ｘ，Ｙ，Ｚ）”は、ＺがＸより小さければＸを返し、ＺがＹより大きければＹを返し、それ以外の場合はＺを返すクリップ演算子である。slice_beta_offset_div2は、復号装置２にシグナリングするパラメータの１つである。

【0088】

また、閾値導出部１６１ｄは、例えば次の式（８）により、閾値ｔ_Ｃを導出するためのＱを算出する。

【0089】

Q=Clip3(0,65,qP+2*(bS?1)+(slice_tc_offset_div2<<1)) (8)
ここで、“bS”は境界強度決定部１６１ａが出力するＢｓ値である。slice_tc_offset_div2は、復号装置２にシグナリングするパラメータの１つである。

【0090】

第３に、閾値導出部１６１ｄは、次の表２により、それぞれ算出したＱから閾値β及びｔ_Ｃを導出する。

【0091】

【表2】

【0092】

フィルタ強度制御部１６１ｅは、境界強度決定部１６１ａが出力する境界強度Ｂｓの値と、閾値導出部１６１ｄが出力する閾値β及びｔ_Ｃとに基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御する。

【0093】

フィルタ強度制御部１６１ｅは、境界強度Ｂｓの値が１又は２の場合には、次の式（９）を満たす場合にのみ、フィルタ処理を行うようデブロッキングフィルタ１６０を制御してもよい（図３参照）。

【0094】

【数3】

【0095】

また、フィルタ強度制御部１６１ｅは、フィルタ処理を行う場合、以下の条件式（１０）乃至（１５）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用してもよい（図３参照）。

【0096】

【数4】

【0097】

このように、本実施形態に係るフィルタ制御部１６１は、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、量子化行列も考慮してデブロッキングフィルタ１６０のフィルタ強度を制御する。これにより、量子化行列に起因するブロックノイズの発生に対してデブロッキングフィルタ１６０のフィルタ強度を制御可能になり、デブロッキングフィルタ１６０によるブロック歪みの低減効果を向上させることができる。

【0098】

＜復号装置の構成＞
次に、本実施形態に係る復号装置の構成について、上述した符号化装置の構成との相違点を主として説明する。図５は、本実施形態に係る復号装置２の構成を示す図である。復号装置２は、符号化ストリームから復号対象ブロックを復号する装置である。

【0099】

図５に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、デブロッキングフィルタ２３０と、フィルタ制御部２３１と、メモリ２４０と、予測部２５０とを有する。

【0100】

エントロピー復号部２００は、符号化装置１により生成された符号化ストリームを復号し、各種のシグナリング情報を復号する。具体的には、エントロピー復号部２００は、復号対象ブロックに適用された量子化処理に関する情報を取得し、取得した情報を逆量子化部２１１及びフィルタ制御部２３１に出力する。また、エントロピー復号部２００は、復号対象ブロックに適用された予測に関する情報（例えば、予測種別情報、動きベクトル情報）を取得し、取得した情報を予測部２５０及びフィルタ制御部２３１に出力する。

【0101】

また、エントロピー復号部２００は、符号化ストリームを復号し、量子化された変換係数を取得し、取得した変換係数を逆量子化・逆変換部２１０（逆量子化部２１１）に出力する。

【0102】

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

【0103】

逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化変換係数を、量子化パラメータ及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

【0104】

逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0105】

合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２５０から出力される予測ブロックとを画素単位で合成することにより、復号対象ブロックを復元（復号）し、復元ブロックをデブロッキングフィルタ２３０に出力する。

【0106】

デブロッキングフィルタ２３０は、符号化装置１のデブロッキングフィルタ１６０と同様な動作を行う。デブロッキングフィルタ２３０は、合成部２２０から出力される復元ブロックと当該復元ブロックに隣接するブロックとからなるブロック対（ブロックＰ及びＱ）の境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ２４０に出力する。

【0107】

フィルタ制御部２３１は、エントロピー復号部２００から出力される情報に基づいて、符号化装置１のフィルタ制御部１６１と同様な動作を行う。フィルタ制御部２３１は、例えば、表１に示した方法で境界強度Ｂｓを選択し、式（１）乃至式（１５）によりデブロッキングフィルタ１６０のフィルタ強度を制御する。

【0108】

メモリ２４０は、デブロッキングフィルタ２３０から出力される復元ブロックをフレーム単位で復号画像として記憶する。メモリ２４０は、フレーム単位の復号画像を復号装置２の外部に出力する。

【0109】

予測部２５０は、ブロック単位で予測を行う。予測部２５０は、インター予測部２５１と、イントラ予測部２５２と、切替部２５３とを有する。

【0110】

インター予測部２５１は、メモリ２４０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２５１は、エントロピー復号部２００から出力される動きベクトル情報を用いてインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２５３に出力する。

【0111】

イントラ予測部２５２は、メモリ２４０に記憶された復号画像のうち復号対象ブロックに隣接する参照画素を参照し、エントロピー復号部２００から出力される情報に基づいて、復号対象ブロックをイントラ予測により予測する。そして、イントラ予測部２５２は、イントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２５３に出力する。

【0112】

切替部２５３は、インター予測部２５１から出力されるインター予測ブロックとイントラ予測部２５２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

【0113】

このように、本実施形態に係る復号装置２は、符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部２００と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部２１０と、復元した予測残差と復号対象ブロックを予測して得た予測ブロックとを合成して復号対象ブロックを復元する合成部２２０と、復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタ２３０と、逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、デブロッキングフィルタ２３０のフィルタ強度を制御するフィルタ制御部２３１とを有する。

【0114】

次に、本実施形態に係るフィルタ制御部２３１の構成について説明する。図６は、本実施形態に係るフィルタ制御部２３１の構成を示す図である。図６に示すように、本実施形態に係るフィルタ制御部２３１は、境界強度決定部２３１ａと、代表値導出部２３１ｂと、オフセット算出部２３１ｃと、閾値導出部２３１ｄと、フィルタ強度制御部２３１ｅとを有する。

【0115】

境界強度決定部２３１ａ、代表値導出部２３１ｂ、オフセット算出部２３１ｃ、閾値導出部２３１ｄ、及びフィルタ強度制御部２３１ｅは、符号化装置１の境界強度決定部１６１ａ、代表値導出部１６１ｂ、オフセット算出部１６１ｃ、閾値導出部１６１ｄ、及びフィルタ強度制御部１６１ｅとそれぞれ同様な動作を行う。

【0116】

＜フィルタ制御部の動作例＞
次に、本実施形態に係るフィルタ制御部１６１及びフィルタ制御部２３１の動作例について説明する。フィルタ制御部１６１及びフィルタ制御部２３１は同じ動作を行うため、ここではフィルタ制御部２３１を例に挙げて説明する。図７は、本実施形態に係るフィルタ制御部２３１の動作フロー例を示す図である。

【0117】

図７に示すように、ステップＳ１において、境界強度決定部２３１ａは、表１に示した方法により境界強度Ｂｓを決定し、決定した境界強度Ｂｓの値を閾値導出部２３１ｄ及びフィルタ強度制御部２３１ｅに出力する。決定された境界強度Ｂｓの値が０である場合、ステップＳ２以降の処理を行わずに、ブロックＰ及びＱの境界に対するフィルタ処理を行わない。

【0118】

ステップＳ２において、代表値導出部２３１ｂは、ブロックＰに対する逆量子化処理で用いた量子化行列の代表値ｍ_ｐｐを導出するとともに、ブロックＱに対する逆量子化処理で用いた量子化行列の代表値ｍ_ｐｑを導出し、導出した代表値ｍ_ｐｐ及びｍ_ｐｑをオフセット算出部２３１ｃに出力する。代表値導出部２３１ｂが導出する代表値ｍ_ｐとしては、上述した１）乃至３）のいずれかを用いる。

【0119】

ステップＳ３において、オフセット算出部２３１ｃは、代表値導出部２３１ｂが導出した代表値ｍ_ｐｐ及びｍ_ｐｑに基づいて、ブロックＰ及びＱのそれぞれについてオフセット値を算出する。具体的には、オフセット算出部２３１ｃは、代表値ｍ_ｐｐを用いて、上述した式（４）によりブロックＰに対するオフセット値ＱｐｐＯｆｆｓｅｔを算出し、算出したオフセット値ＱｐｐＯｆｆｓｅｔを閾値導出部２３１ｄに出力する。同様に、オフセット算出部２３１ｃは、代表値ｍ_ｐqを用いて、上述した式（５）によりブロックＱに対するオフセット値ＱｐｑＯｆｆｓｅｔを算出し、算出したオフセット値ＱｐｑＯｆｆｓｅｔを閾値導出部２３１ｄに出力する。

【0120】

ステップＳ４において、閾値導出部２３１ｄは、ブロックＰに対する逆量子化処理で用いた量子化パラメータＱｐ_Ｐと、ブロックＱに対する逆量子化処理で用いた量子化パラメータＱｐ_Ｑと、オフセット算出部２３１ｃが算出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔとに基づいて、上述した式（６）により変数ｑＰを算出する。

【0121】

ステップＳ５において、閾値導出部２３１ｄは、変数ｑＰに基づいて、上述した式（７）及び式（８）により変数Ｑを算出し、算出した変数Ｑから表２により閾値β及びｔ_Ｃを導出する。

【0122】

ステップＳ６において、フィルタ強度制御部２３１ｅは、境界強度決定部２３１ａが出力する境界強度Ｂｓの値と、閾値導出部２３１ｄが出力する閾値β及びｔ_Ｃとに基づいて、デブロッキングフィルタ２３０のフィルタ強度を制御する。

【0123】

このように、本実施形態に係るフィルタ制御部２３１は、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、量子化行列も考慮してデブロッキングフィルタ２３０のフィルタ強度を制御する。これにより、量子化行列に起因するブロックノイズの発生に対してデブロッキングフィルタ２３０のフィルタ強度を制御可能になり、デブロッキングフィルタ２３０によるブロック歪みの低減効果を向上させることができる。

【0124】

＜変更例＞
次に、実施形態の変更例について、上述の実施形態との相違点を主として説明する。

【0125】

まず、本変更例に係る符号化装置１について説明する。本変更例に係る符号化装置１において、エントロピー符号化部１３０は、複数の量子化行列の候補のそれぞれについて規定されたオフセット値からなる配列（以下、「オフセット配列」と呼ぶ）を符号化ストリームに含めて復号装置に伝送する。具体的には、オフセット配列は、符号化対象ブロックの予測モード、ブロックサイズ、及び信号種別（１つの輝度・２つの色差信号）の組み合わせに応じて設定される各量子化行列についてオフセット値を格納したものである。詳細については後述するが、オフセット値は、デブロッキングフィルタ処理におけるフィルタ強度を制御するために用いられる。

【0126】

図８は、本変更例に係るフィルタ制御部１６１の構成を示す図である。図８に示すように、本変更例に係るフィルタ制御部１６１は、境界強度決定部１１６１ａと、オフセット導出部１１６１ｂと、閾値導出部１１６１ｃと、フィルタ強度制御部１１６１ｄとを有する。

【0127】

境界強度決定部１１６１ａは、例えば上記の表１に基づいて境界強度Ｂｓを決定し、決定した境界強度Ｂｓの値を閾値導出部１１６１ｃ及びフィルタ強度制御部１１６１ｄに出力する。本変更例では、境界強度Ｂｓの値は０，１，２のいずれかとする。なお、輝度信号と色差信号のブロックに対する境界強度をそれぞれ算出してもよいし、輝度信号と色差信号のブロックの境界強度の組み合わせを一つの境界強度として判定してもよい。

【0128】

表１に示すように、境界強度決定部１１６１ａは、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合、Ｂｓの値を２とする。

【0129】

一方、境界強度決定部１１６１ａは、ブロックＰ及びＱの両方にインター予測が適用されており、且つ少なくとも以下の（ａ）乃至（ｄ）の中の１つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。

【0130】

（ａ）ブロックＰ及びＱの少なくとも一方が有意な変換係数（すなわち、非ゼロ変換係数）を含むこと。

【0131】

（ｂ）ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。

【0132】

（ｃ）ブロックＰ及びＱの動きベクトルの差の絶対値が閾値（例えば１画素）以上であること。

【0133】

境界強度決定部１１６１ａは、決定した境界強度Ｂｓの値が０の場合、ブロックＰ及びＱの境界に対するフィルタ処理を行わないようデブロッキングフィルタ１６０を制御する。

【0134】

オフセット導出部１１６１ｂは、上述したオフセット配列に基づいて、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化行列に対応するオフセット値ＱｐｐＯｆｆｓｅｔと、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化行列に対応するオフセット値ＱｐｑＯｆｆｓｅｔとを導出する。

【0135】

例えば、オフセット導出部１１６１ｂは、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化行列の番号をｋとした場合、オフセット配列中のオフセット値ｍ［ｋ］を取得し、取得したオフセット値ｍ［ｋ］をＱｐｐＯｆｆｓｅｔとする。ここで、ｋは、予測モード、ブロックサイズ、及び信号種別の組み合わせに応じて定まるブロック種別を示すインデックス値であってもよい。オフセット導出部１１６１ｂは、オフセット値ｍ［ｋ］を次の式（１６）のようにして変換してＱｐｐＯｆｆｓｅｔとしてもよい。

【0136】

QppOffset=log₂(m_pp/ｍ_d)×6 (16)
ただし、ｍ_dはデフォルトの量子化行列の値としてシステムに規定される値である。本例では例えばｍ_dを１６に設定する。

【0137】

同様に、オフセット導出部１１６１ｂは、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化行列の番号をｌとした場合、オフセット配列中のオフセット値ｍ［ｌ］を取得し、取得したオフセット値ｍ［ｌ］をＱｐｑＯｆｆｓｅｔとする。ここで、ｌは、予測モード、ブロックサイズ、及び信号種別の組み合わせに応じて定まるブロック種別を示すインデックス値であってもよい。オフセット導出部１１６１ｂは、オフセット値ｍ［ｌ］を次の式（１７）のようにして変換してＱｐｑＯｆｆｓｅｔとしてもよい。

【0138】

QpqOffset=log₂(m_pq/ｍ_d)×6 (17)
式（１６）及び（１７）において、量子化パラメータＱｐが対数関数によって増減するパラメータであって、代表値ｍ_pをｍ_dで除算して対数をとっている。

【0139】

なお、オフセット導出部１１６１ｂでは、ハードウェアでの実装などにおいては、除算やｌｏｇ₂関数の処理の代わりにルックアップテーブルを用いて、式（１６）及び式（１７）を実装してもよい。

【0140】

例えば式（１６）の処理の代わりにルックアップテーブルＬＵＴをＬＵＴ［］＝｛１８，２１，２３，２６，２９，３２，３６，４１，４６，５１，５８，６４，７２，８１，９１，１０２，１１５，１２８，１４４，１６２，１８２，２０４，２２９，２５６｝としたとき、下記の処理によりＱｐｐＯｆｆｓｅｔを算出してもよい。
if (m_pp<m_d)
[
sign = -1
M = m_d × m_d / m_pp
]
else
[
sign = 1
M = m_pp
]
Q = 0
while (M >= LUT[Q])
[
Q++
]
QppOffset = sign × Q

【0141】

同様に、式（１７）の処理の代わりに、下記の処理によりQpqOffsetを算出してもよい。
if (m_pq<m_d)
[
sign = -1
M = m_d × m_d / m_pq
]
else
[
sign = 1
M = m_pq
]
Q = 0
while (M >= LUT[Q])
[
Q++
]
QpqOffset = sign × Q

【0142】

なお、上記はルックアップテーブルを用いたＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔの算出の一例であり、上記の例には限らない。

【0143】

閾値導出部１１６１ｃは、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐ_Pと、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐ_Qと、オフセット導出部１１６１ｂが導出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔとに基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御するための閾値β及びｔ_Cを導出し、導出した閾値β及びｔ_Cをフィルタ強度制御部１１６１ｄに出力する。

【0144】

第１に、閾値導出部１１６１ｃは、例えば次の式（１８）により変数ｑＰを算出する。

【0145】

qP=((Qp_Q+QpqOffset+Qp_P+QppOffset+1)>>1) (18)
ここで、“>>”はシフト演算子（右シフト演算）を示す。式（１８）は、基本的には、ブロックＰの量子化パラメータＱｐ_Pと、ブロックＱの量子化パラメータＱｐ_Qとの平均を求める計算式であるが、この計算式において量子化行列に基づくオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔが導入されている。なお、式（１８）の計算式は一例に過ぎないものであって、量子化行列に基づくオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔが反映されたものであれば他の計算式を用いてもよい。

【0146】

第２に、閾値導出部１１６１ｃは、例えば次の式（１９）により、閾値βを導出するためのＱを算出する。

【0147】

Q=Clip3(0,63,qP+(slice_beta_offset_div2<<1)) (19)
ここで、“<<”はシフト演算子（左シフト演算）を示す。“Ｃｌｉｐ３（Ｘ，Ｙ，Ｚ）”は、ＺがＸより小さければＸを返し、ＺがＹより大きければＹを返し、それ以外の場合はＺを返すクリップ演算子である。slice_beta_offset_div2は、復号装置２にシグナリングするパラメータの１つである。

【0148】

また、閾値導出部１１６１ｃは、例えば次の式（２０）により、閾値ｔ_Cを導出するためのＱを算出する。

【0149】

Q=Clip3(0,65,qP+2*(bS-1)+(slice_tc_offset_div2<<1)) (20)
ここで、“bS”は境界強度決定部１１６１ａが出力するＢｓ値である。slice_tc_offset_div2は、復号装置２にシグナリングするパラメータの１つである。

【0150】

第３に、閾値導出部１１６１ｃは、上記の表２により、それぞれ算出したＱから閾値β及びｔ_Cを導出する。

【0151】

フィルタ強度制御部１１６１ｄは、境界強度決定部１１６１ａが出力する境界強度Ｂｓの値と、閾値導出部１１６１ｃが出力する閾値β及びｔ_Cとに基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御する。

【0152】

フィルタ強度制御部１１６１ｄは、境界強度Ｂｓの値が１又は２の場合には、上記の式（９）を満たす場合にのみ、フィルタ処理を行うようデブロッキングフィルタ１６０を制御してもよい（図３参照）。

【0153】

また、フィルタ強度制御部１１６１ｄは、フィルタ処理を行う場合、上記の条件式（１０）乃至（１５）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用してもよい（図３参照）。

【0154】

このように、本変更例に係るフィルタ制御部１６１は、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、量子化行列も考慮してデブロッキングフィルタ１６０のフィルタ強度を制御する。これにより、量子化行列に起因するブロックノイズの発生に対してデブロッキングフィルタ１６０のフィルタ強度を制御可能になり、デブロッキングフィルタ１６０によるブロック歪みの低減効果を向上させることができる。

【0155】

次に、本変更例に係る復号装置２について説明する。

【0156】

本変更例に係る復号装置２において、エントロピー復号部２００は、符号化装置１により生成された符号化ストリームを復号し、各種のシグナリング情報を復号する。具体的には、エントロピー復号部２００は、復号対象ブロックに適用された量子化処理に関する情報を取得し、取得した情報を逆量子化部２１１及びフィルタ制御部２３１に出力する。また、エントロピー復号部２００は、復号対象ブロックに適用された予測に関する情報（例えば、予測種別情報、動きベクトル情報）を取得し、取得した情報を予測部２５０及びフィルタ制御部２３１に出力する。さらに、エントロピー復号部２００は、オフセット配列を取得し、取得したオフセット配列をフィルタ制御部２３１に出力する。

【0157】

このように、本変更例に係る復号装置２は、符号化ストリームを復号することで、複数の量子化行列の候補のそれぞれについて規定されたオフセット値からなる配列と、復号対象ブロックに対応する変換係数とを出力するエントロピー復号部２００と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部２１０と、復元した予測残差と復号対象ブロックを予測して得た予測ブロックとを合成して復号対象ブロックを復元する合成部２２０と、復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタ２３０と、逆量子化処理で用いた量子化パラメータ及び量子化行列と、オフセット配列とに基づいて、デブロッキングフィルタ２３０のフィルタ強度を制御するフィルタ制御部２３１とを有する。

【0158】

次に、本変更例に係るフィルタ制御部２３１の構成について説明する。図９は、本変更例に係るフィルタ制御部２３１の構成を示す図である。図９に示すように、本変更例に係るフィルタ制御部２３１は、境界強度決定部２２３１ａと、オフセット導出部２２３１ｂと、閾値導出部２２３１ｃと、フィルタ強度制御部２２３１ｄとを有する。

【0159】

境界強度決定部２２３１ａ、オフセット導出部２２３１ｂ、閾値導出部２２３１ｃ、及びフィルタ強度制御部２２３１ｄは、符号化装置１の境界強度決定部１１６１ａ、オフセット導出部１１６１ｂ、閾値導出部１１６１ｃ、及びフィルタ強度制御部１１６１ｄとそれぞれ同様な動作を行う。

【0160】

次に、本変更例に係るフィルタ制御部１６１及びフィルタ制御部２３１の動作例について説明する。フィルタ制御部１６１及びフィルタ制御部２３１は同じ動作を行うため、ここではフィルタ制御部２３１を例に挙げて説明する。図１０は、本変更例に係るフィルタ制御部２３１の動作フロー例を示す図である。

【0161】

図１０に示すように、ステップＳ１１において、境界強度決定部２２３１ａは、表１に示した方法により境界強度Ｂｓを決定し、決定した境界強度Ｂｓの値を閾値導出部２２３１ｃ及びフィルタ強度制御部２２３１ｄに出力する。決定された境界強度Ｂｓの値が０である場合、ステップＳ１２以降の処理を行わずに、ブロックＰ及びＱの境界に対するフィルタ処理を行わない。

【0162】

ステップＳ１２において、オフセット導出部２２３１ｂは、符号化装置１から伝送されたオフセット配列に基づいて、ブロックＰに対する逆量子化処理で用いた量子化行列に対応するオフセット値ＱｐｐＯｆｆｓｅｔを算出するとともに、ブロックＱに対する逆量子化処理で用いた量子化行列に対応するオフセット値ＱｐｑＯｆｆｓｅｔを算出し、オフセット導出部２２３１ｂ算出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔを閾値導出部２２３１ｃに出力する。

【0163】

ステップＳ１３において、閾値導出部２２３１ｃは、ブロックＰに対する逆量子化処理で用いた量子化パラメータＱｐ_Pと、ブロックＱに対する逆量子化処理で用いた量子化パラメータＱｐ_Qと、オフセット導出部２２３１ｂが導出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔとに基づいて、上述した式（１８）により変数ｑＰを算出する。

【0164】

ステップＳ１４において、閾値導出部２２３１ｃは、変数ｑＰに基づいて、上述した式（１９）及び式（２０）により変数Ｑを算出し、算出した変数Ｑから表２により閾値β及びｔ_Cを導出する。

【0165】

ステップＳ１５において、フィルタ強度制御部２２３１ｄは、境界強度決定部２２３１ａが出力する境界強度Ｂｓの値と、閾値導出部２２３１ｃが出力する閾値β及びｔ_Cとに基づいて、デブロッキングフィルタ２３０のフィルタ強度を制御する。

【0166】

このように、本変更例に係るフィルタ制御部２３１は、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、量子化行列も考慮してデブロッキングフィルタ２３０のフィルタ強度を制御する。これにより、量子化行列に起因するブロックノイズの発生に対してデブロッキングフィルタ２３０のフィルタ強度を制御可能になり、デブロッキングフィルタ２３０によるブロック歪みの低減効果を向上させることができる。

【0167】

＜その他の実施形態＞
上述の実施形態に係る符号化装置１および復号装置２では、フィルタ制御部１６１及び２３１においてブロックＰに適用される量子化行列の代表値およびブロックＱに適用される量子化行列の代表値を用いて対象ブロック対ごとにオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔを算出するよう構成されている。

【0168】

しかしながら、処理の簡略化のために、予測モード（イントラ予測、インター予測の別）、ブロックサイズ（例えば、２ｘ２、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４）、及び１つの輝度・２つの色差信号（ＲＧＢ信号の場合は、Ｒ信号、Ｂ信号、Ｇ信号）のそれぞれの組み合わせについて設定された量子化行列について、オフセット値を算出しメモリに保存しておき、対象ブロック対の各ブロックが輝度信号であるか、あるいは２つの色差信号のどちらであるか、予測モード、ブロックサイズに基づいて、オフセット値をメモリから呼び出すよう構成してもよい。

【0169】

符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0170】

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

【0171】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0172】

本願は、日本国特許出願第２０１９-１５９９７１号（２０１９年９月２日出願）及び日本国特許出願第２０１９-１６０２５１号（２０１９年９月３日出願）の優先権を主張し、それらの内容のすべてが参照により本願明細書に組み込まれている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】