特許 7069421 符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-09

(45)【発行日】2022-05-17

(54)【発明の名称】符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20220510BHJP

   H04N 19/157 20140101ALI20220510BHJP

   H04N 19/176 20140101ALI20220510BHJP

   H04N 19/86 20140101ALI20220510BHJP

【ＦＩ】

H04N19/117

H04N19/157

H04N19/176

H04N19/86

【請求項の数】 4

(21)【出願番号】P 2021527662

(86)(22)【出願日】2020-06-23

(86)【国際出願番号】 JP2020024676

(87)【国際公開番号】W WO2020262409

(87)【国際公開日】2020-12-30

【審査請求日】2021-12-17

(31)【優先権主張番号】P 2019117924

(32)【優先日】2019-06-25

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】キュリーズ特許業務法人

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】根本 慎平

【審査官】岩井 健二

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１２７０９０（ＵＳ，Ａ１）

【文献】国際公開第２０１８／１２３４４４（ＷＯ，Ａ１）

【文献】国際公開第２０１４／００２８９７（ＷＯ，Ａ１）

【文献】Benjamin Bross, Jianle Chen and Shan Liu，Versatile Video Coding (Draft 5)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N1001 (version 7)，14th Meeting: Geneva, CH，2019年05月，pp.265-266

【文献】Shunsuke Iwamura, Shimpei Nemoto and Atsuro Ichigaya，Non-CE5: Boundary strength derivation of deblocking filter for transform-skipped block，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0656，15th Meeting: Gothenburg, SE，2019年06月，pp.1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

画像を分割して得たブロックを符号化する符号化装置であって、
前記ブロックと前記ブロックを予測して得た予測ブロックとの差を表す残差信号に対して変換処理及び量子化処理を行う変換・量子化部と、
前記変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行うことで前記残差信号を復元する逆量子化・逆変換部と、
前記復元した残差信号と前記予測ブロックとを合成することで前記ブロックを復元する合成部と、
前記復元したブロックと前記復元したブロックに隣接するブロックとからなる２つのブロックの境界に対するフィルタ処理を行うデブロッキングフィルタと、
前記２つのブロックについて適用された変換処理に関する情報に基づいて前記デブロッキングフィルタを制御するフィルタ制御部と、を備え、
前記フィルタ制御部は、前記２つのブロックに変換スキップが適用されていることを前記情報が示す場合、前記フィルタ処理を行わないよう前記デブロッキングフィルタを制御し、
前記フィルタ制御部は、
前記変換係数に非ゼロ係数が存在するか否かを前記２つのブロックのそれぞれについて判定し、
前記２つのブロックの少なくとも一方に非ゼロ係数が存在し、且つ、前記２つのブロックのうち非ゼロ係数が存在するブロックに前記変換スキップが適用されていないことを前記情報が示す場合、前記フィルタ処理を行うよう前記デブロッキングフィルタを制御し、
前記２つのブロックに非ゼロ係数が存在する場合には、当該２つのブロックに前記変換スキップが適用されていることを前記情報が示す場合に限り、前記フィルタ処理を行わないよう前記デブロッキングフィルタを制御する、符号化装置。

【請求項2】

画像を分割して得たブロックを復号する復号装置であって、
符号化ストリームを復号することで、前記ブロックに対応する量子化変換係数を出力するエントロピー復号部と、
前記エントロピー復号部が出力する変換係数に対して逆量子化処理及び逆変換処理を行うことで残差信号を復元する逆量子化・逆変換部と、
前記復元した残差信号と前記ブロックを予測して得た予測ブロックとを合成することで前記ブロックを復元する合成部と、
前記復元したブロックと前記復元したブロックに隣接するブロックとからなる２つのブロックの境界に対するフィルタ処理を行うデブロッキングフィルタと、
前記２つのブロックについて適用された変換処理に関する情報に基づいて前記デブロッキングフィルタを制御するフィルタ制御部と、を備え、
前記フィルタ制御部は、前記２つのブロックに変換スキップが適用されていることを前記情報が示す場合、前記フィルタ処理を行わないよう前記デブロッキングフィルタを制御し、
前記フィルタ制御部は、
前記変換係数に非ゼロ係数が存在するか否かを前記２つのブロックのそれぞれについて判定し、
前記２つのブロックの少なくとも一方に非ゼロ係数が存在し、且つ、前記２つのブロックのうち非ゼロ係数が存在するブロックに前記変換スキップが適用されていないことを前記情報が示す場合、前記フィルタ処理を行うよう前記デブロッキングフィルタを制御し、
前記２つのブロックに非ゼロ係数が存在する場合には、当該２つのブロックに前記変換スキップが適用されていることを前記情報が示す場合に限り、前記フィルタ処理を行わないよう前記デブロッキングフィルタを制御する、復号装置。

【請求項3】

コンピュータを請求項１に記載の符号化装置として機能させることを特徴とするプログラム。

【請求項4】

コンピュータを請求項２に記載の復号装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、及び次世代の符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、符号化ループ内フィルタとして、ブロック単位で符号化処理を行うときのブロックの境界部分の歪みを抑制するためのデブロッキングフィルタが採用されている（例えば、非特許文献１参照）。

【0003】

デブロッキングフィルタを制御するフィルタ制御部は、符号化対象ブロックとその隣接ブロックとからなる２つのブロックのうち少なくとも一方にイントラ予測が適用される場合、当該２つのブロックの境界に対するデブロッキングフィルタを適用する。

【0004】

フィルタ制御部は、２つのブロックいずれに対してもインター予測が適用される場合であって、２つのブロックに適用する動きベクトルの差が予め規定した閾値以上である場合には、当該２つのブロックの境界にデブロッキングフィルタを適用するよう制御する。これは、動きベクトルが異なる場合にはブロック境界に不連続性を生じる可能性が高いためである。

【0005】

フィルタ制御部は、２つのブロックのうち少なくとも一方のブロックに非ゼロ係数が存在する場合には、動きベクトルの差が閾値未満であっても、当該２つのブロックの境界にデブロッキングフィルタを適用するよう制御する。これは、非ゼロ係数の逆変換により、残差信号のエネルギーがブロック全体に分布するため、動きベクトルが同一であったとしても両ブロックの境界に不連続性が生じる可能性が高いためである。

【0006】

また、ＨＥＶＣ及びＶＶＣでは、残差信号に変換を適用しない変換スキップが導入されている。変換スキップでは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）やＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等の変換を施すことなく、残差信号をスケーリングして変換係数とする。このため、急峻なエッジを含む残差信号や局所的な領域のみエネルギーが高い残差信号に対して変換スキップを選択することで、エントロピー増大を抑制できる。

【先行技術文献】

【非特許文献】

【0007】

【文献】Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６）， “Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

【発明の開示】

【0008】

第１の態様に係る符号化装置は、画像を分割して得たブロックを符号化する符号化装置であって、前記ブロックと前記ブロックを予測して得た予測ブロックとの差を表す残差信号に対して変換処理及び量子化処理を行う変換・量子化部と、前記変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行うことで前記残差信号を復元する逆量子化・逆変換部と、前記復元した残差信号と前記予測ブロックとを合成することで前記ブロックを復元する合成部と、前記復元したブロックと前記復元したブロックに隣接するブロックとからなる２つのブロックの境界に対するフィルタ処理を行うデブロッキングフィルタと、前記２つのブロックについて適用された前記変換処理の種別に基づいて前記デブロッキングフィルタを制御するフィルタ制御部とを備えることを要旨とする。

【0009】

第２の態様に係る復号装置は、画像を分割して得たブロックを復号する復号装置であって、符号化ストリームを復号することで、前記ブロックに対応する量子化変換係数を出力するエントロピー復号部と、前記エントロピー復号部が出力する変換係数に対して逆量子化処理及び逆変換処理を行うことで残差信号を復元する逆量子化・逆変換部と、前記復元した残差信号と前記ブロックを予測して得た予測ブロックとを合成することで前記ブロックを復元する合成部と、前記復元したブロックと前記復元したブロックに隣接するブロックとからなる２つのブロックの境界に対するフィルタ処理を行うデブロッキングフィルタと、前記２つのブロックについて適用された前記逆変換処理の種別に基づいて前記デブロッキングフィルタを制御するフィルタ制御部とを備えることを要旨とする。

【0010】

第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させることを要旨とする。

【0011】

第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させることを要旨とする。

【図面の簡単な説明】

【0012】

【図1】実施形態に係る符号化装置の構成を示す図である。

【図2】実施形態に係るデブロッキングフィルタの動作例を示す図である。

【図3】実施形態に係るフィルタ制御部の動作の具体例を示す図である。

【図4】実施形態に係る復号装置の構成を示す図である。

【図5】実施形態に係るフィルタ制御部の動作例を示す図である。

【発明を実施するための形態】

【0013】

２つのブロックのうち少なくとも一方のブロックに非ゼロ係数が存在する場合であっても、当該非ゼロ係数が存在するブロックに変換スキップが適用されている場合には、非ゼロ係数はスケーリング等の調整の上、そのまま出力される。このため、ブロック全体にエネルギーが分布することはなく、ブロック間の不連続性が生じない。

【0014】

従来のデブロッキングフィルタ制御では、変換スキップを含む変換種別を考慮してデブロッキングフィルタを制御していないため、上記のようにブロック間の不連続性が生じない場合であってもデブロッキングフィルタを適用しうる。よって、復号された画像にぼやけが生じ、画質の低下や符号化効率の低下を引き起こす懸念がある。

【0015】

そこで、本開示は、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させることを目的とする。

【0016】

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0017】

＜符号化装置の構成＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。符号化装置１は、画像を分割して得た符号化対象ブロックを符号化する装置である。

【0018】

図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、デブロッキングフィルタ１６０と、フィルタ制御部１６１と、メモリ１７０と、予測部１８０とを有する。

【0019】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず矩形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

【0020】

ブロック分割部１００は、輝度信号と色差信号とに対してブロック分割を行う。以下において、ブロック分割の形状が輝度信号と色差信号とで同じである場合について主として説明するが、輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

【0021】

減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１８０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。以下において、ブロック単位の予測残差からなる信号を残差信号と呼ぶ。

【0022】

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

【0023】

変換部１２１は、減算部１１０から出力される残差信号に対して変換処理を行って周波数成分ごとの変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理（変換）とは、画素領域の信号を周波数領域の信号に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、及びそれらを整数化した変換等をいう。

【0024】

本実施形態において、変換部１２１は、残差信号に対する変換を行わない変換スキップを含む複数種別の変換処理の中から選択された種別の変換処理を行う。具体的には、変換部１２１は、水平方向及び垂直方向のそれぞれについて、残差信号に対して適用する変換処理の種別を選択する。例えば、ＤＣＴ２、ＤＳＴ７、ＤＣＴ８等の変換（それらを整数化した変換を含む）の候補のうち、どの変換を適用するかを選択する。変換部１２１は、選択した変換処理の種別を示す変換種別情報をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。

【0025】

変換部１２１は、変換スキップを選択できる。例えば、変換部１２１は、急峻なエッジを含む残差信号や局所的な領域のみエネルギーが高い残差信号に対して変換スキップを選択する。変換部１２１は、変換スキップを選択した場合、ＤＣＴやＤＳＴ等の変換を施すことなく、残差信号をスケーリング処理等により調整したものを変換係数として出力する。変換部１２１は、水平方向及び垂直方向の一方にのみ変換スキップを適用できてもよいし、両方に変換スキップを適用できてもよい。以下において、変換スキップを水平方向及び垂直方向の両方に適用する場合について主として説明する。

【0026】

なお、変換部１２１は、例えば符号化対象ブロックごとの発生情報量と信号歪みとの線形結合が最小となるように最適化（すなわち、ＲＤ最適化）することによって変換処理の種別を選択してもよいし、符号化対象ブロックのブロックサイズや分割形状、予測処理の種別に基づいて変換処理の種別を選択してもよい。

【0027】

量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。

【0028】

エントロピー符号化部１３０は、量子化部１２２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。

【0029】

エントロピー符号化部１３０は、ブロック分割部１００から各符号化対象ブロックのサイズ・形状等の情報を取得し、変換部１２１から変換種別情報を取得し、予測部１８０から予測に関する情報（例えば、予測モードや動きベクトルの情報）を取得し、これらの情報の符号化も行う。

【0030】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

【0031】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

【0032】

逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１がＤＣＴを行った場合には、逆変換部１４２は逆ＤＣＴを行う。逆変換部１４２は、逆量子化部１４１から出力される変換係数に対して逆変換処理を行って残差信号を復元し、復元した残差信号である復元残差信号を合成部１５０に出力する。但し、変換部１２１が変換スキップを適用した場合、逆変換部１４２は逆変換処理をせずに、変換部１２１が行った係数の調整の逆処理を行う。

【0033】

合成部１５０は、逆変換部１４２から出力される復元残差信号を、予測部１８０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元残差信号の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復元（復号）し、復元したブロック単位の復号画像（復元ブロック）をデブロッキングフィルタ１６０に出力する。

【0034】

デブロッキングフィルタ１６０は、復元ブロックと当該復元ブロックに隣接するブロックとからなる２つのブロック（以下、「フィルタ対象ブロック対」と呼ぶ）の境界に対するフィルタ処理であるデブロッキングフィルタ処理を行い、デブロッキングフィルタ処理後の復元ブロックをメモリ１７０に出力する。デブロッキングフィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減するための処理であって、フィルタ対象ブロック対の境界における信号のギャップを平滑化するフィルタ処理である。デブロッキングフィルタ１６０は、一般的に信号の変動を緩やかにするローパスフィルタとして構成されている。

【0035】

フィルタ制御部１６１は、デブロッキングフィルタ１６０を制御する。具体的には、フィルタ制御部１６１は、フィルタ対象ブロック対に対するデブロッキングフィルタ処理を行うか否か、及びデブロッキングフィルタ１６０のフィルタ強度（ＢＳ：Ｂｏｕｎｄａｒｙ Ｓｔｒｅｎｇｔｈ）を制御する。フィルタ強度ＢＳとは、デブロッキングフィルタ処理により画素の補正をどの程度許容するかのパラメータをいう。なお、デブロッキングフィルタ処理を行うか否かの制御は、フィルタ強度ＢＳを１以上とするか又はゼロとするかの制御とみなすことができる。

【0036】

具体的には、フィルタ制御部１６１は、フィルタ対象ブロック対の境界近傍領域における画素値の変動や、予測モード、量子化パラメータ、動き補償予測（インター予測）に用いる動きベクトルの値に基づいて、デブロッキングフィルタ１６０を制御する。本実施形態において、フィルタ制御部１６１は、フィルタ対象ブロック対について適用された変換処理の種別が変換スキップであるか否かにさらに基づいてデブロッキングフィルタ１６０を制御する。

【0037】

図２は、本実施形態に係るデブロッキングフィルタ１６０の動作例を示す図である。図２において、ブロックＱは、符号化対象ブロックに対応する復元ブロックであり、ブロックＰは、このブロックＱに隣接する復元ブロックである。

【0038】

図２に示す例では、デブロッキングフィルタ１６０がデブロッキングフィルタ処理を行うブロックサイズは８×８画素である。フィルタ制御部１６１は、例えば下記の表１に基づいてフィルタ強度ＢＳを求める。本実施形態では、フィルタ強度ＢＳの値は０，１，２のいずれかとする。

【0039】

【表1】

図２及び表１に示すように、フィルタ制御部１６１は、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合、ＢＳの値を２とする。

【0040】

一方、フィルタ制御部１６１は、ブロックＰ及びＱの両方に動き補償予測（インター予測）が適用されており、且つ少なくとも以下の（ア）、（イ）、（ウ）の中の１つの条件を満たす場合には、ＢＳ値を１とし、その他の場合には、ＢＳ値を０とする。

【0041】

（ア）ブロックＰ及びＱの動きベクトルの差の絶対値が閾値（例えば１画素）以上であること。

【0042】

（イ）ブロックＰ及びＱの少なくとも一方が有意な変換係数（すなわち、非ゼロ係数）を含み、当該非ゼロ係数を含むブロックが変換スキップブロックではないこと。

【0043】

（ウ）ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。

【0044】

フィルタ制御部１６１は、フィルタ強度ＢＳの値が０の場合にはデブロッキングフィルタ処理を行わないようデブロッキングフィルタ１６０を制御する。以下、図２に示す垂直ブロック境界を例に説明する。

【0045】

フィルタ制御部１６１は、フィルタ強度ＢＳの値が１又は２の場合には、次式（１）を満たす場合にのみ、デブロッキングフィルタ処理を行うようデブロッキングフィルタ１６０を制御してもよい。

【0046】

【数1】

【0047】

なお、フィルタ制御部１６１は、デブロッキングフィルタ処理を行う場合、以下の条件式（２）～（７）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用してもよい。

【0048】

【数2】

但し、閾値β及びｔ_Cの値は、隣接するブロックＰとブロックＱの量子化パラメータの平均値Ｑ_avに応じて変わる。

【0049】

メモリ１７０は、デブロッキングフィルタ１６０から出力される復元ブロックをフレーム単位で復号画像として蓄積する。メモリ１７０は、記憶している復号画像を予測部１８０に出力する。

【0050】

予測部１８０は、ブロック単位で予測処理を行うことにより、符号化対象ブロックに対応する予測ブロックを生成し、生成した予測ブロックを減算部１１０及び合成部１５０に出力する。予測部１８０は、インター予測部１８１と、イントラ予測部１８２と、切替部１８３とを有する。

【0051】

インター予測部１８１は、メモリ１７０に記憶された復号画像を参照画像として用いて、ブロックマッチング等の手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１８３に出力する。インター予測部１８１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１８１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。

【0052】

イントラ予測部１８２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。イントラ予測部１８２は、メモリ１７０に記憶された復号画像のうち、符号化対象ブロックに隣接する復号済み画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１８３に出力する。また、イントラ予測部１８２は、選択したイントラ予測モードに関する情報をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。

【0053】

切替部１８３は、インター予測部１８１から出力されるインター予測ブロックとイントラ予測部１８２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

【0054】

このように、本実施形態に係る符号化装置１は、符号化対象ブロックと符号化対象ブロックを予測して得た予測ブロックとの差を表す残差信号に対して変換処理及び量子化処理を行う変換・量子化部１２０と、変換・量子化部１２０により得た変換係数に対して逆量子化処理及び逆変換処理を行うことで残差信号を復元する逆量子化・逆変換部１４０と、復元した残差信号と予測ブロックとを合成することで符号化対象ブロックを復元する合成部１５０と、復元したブロックと当該復元したブロックに隣接するブロックとからなる２つのブロック（フィルタ対象ブロック対）の境界に対するフィルタ処理を行うデブロッキングフィルタ１６０とを有する。

【0055】

次に、本実施形態に係るフィルタ制御部１６１の動作の詳細について説明する。

【0056】

上述したように、フィルタ制御部１６１は、符号化対象ブロックに対応する復元ブロックと当該復元ブロックに隣接するブロックとからなるフィルタ対象ブロック対のうち少なくとも一方にイントラ予測が適用される場合、フィルタ対象ブロック対の境界に対するデブロッキングフィルタを適用する。これは、イントラ予測が適用される場合にはブロック境界に不連続性を生じる可能性が高いためである。

【0057】

また、フィルタ制御部１６１は、フィルタ対象ブロック対いずれに対してもインター予測が適用される場合であって、フィルタ対象ブロック対に適用する動きベクトルの差が予め規定した閾値以上である場合には、当該フィルタ対象ブロック対の境界にデブロッキングフィルタを適用する。これは、動きベクトルが異なる場合にはブロック境界に不連続性を生じる可能性が高いためである。

【0058】

さらに、フィルタ制御部１６１は、フィルタ対象ブロック対のうち少なくとも一方のブロックに非ゼロ係数が存在する場合には、動きベクトルの差が閾値未満であっても、当該フィルタ対象ブロック対の境界にデブロッキングフィルタを適用する。これは、非ゼロ係数の逆変換により、残差信号のエネルギーがブロック全体に分布するため、動きベクトルが同一であったとしても両ブロックの境界に不連続性が生じる可能性が高いためである。

【0059】

しかしながら、フィルタ対象ブロック対のうち少なくとも一方のブロックに非ゼロ係数が存在する場合であっても、当該非ゼロ係数が存在するブロックに変換スキップが適用されている場合には、非ゼロ係数はスケーリング等の調整の上、そのまま出力される。このため、ブロック全体にエネルギーが分布することはなく、ブロック間の不連続性が生じない。

【0060】

そこで、本実施形態では、フィルタ制御部１６１は、フィルタ対象ブロック対の少なくとも一方に非ゼロ係数が存在し、且つ、当該フィルタ対象ブロック対のうち非ゼロ係数が存在するブロックに変換スキップが適用されている場合には、デブロッキングフィルタ処理を適用しないようデブロッキングフィルタ１６０を制御する。これにより、ブロック間の不連続性が生じない場合におけるデブロッキングフィルタ処理を不要とすることで、復号された画像にぼやけが生じたり、画質の低下や符号化効率の低下を引き起こしたりすることを防止できる。

【0061】

図３は、本実施形態に係るフィルタ制御部１６１の動作の具体例を示す図である。図３において、ブロックＰ及びブロックＱはフィルタ対象ブロック対を構成し、各ブロックにインター予測が適用されているものとする。また、図３におけるブロック内の矢印は動きベクトルを表しており、ブロックＰの動きベクトル及びブロックＱの動きベクトルが同一であるものとする。

【0062】

図３（ａ）に示すように、フィルタ制御部１６１は、フィルタ対象ブロック対のいずれにも非ゼロ係数が存在しない場合、フィルタ対象ブロック対の境界に対するデブロッキングフィルタ処理を適用しない。

【0063】

図３（ｂ）に示すように、フィルタ制御部１６１は、フィルタ対象ブロック対の少なくとも一方に非ゼロ係数が存在し、且つ、当該非ゼロ係数が存在するブロックに変換スキップが適用されていない場合、フィルタ対象ブロック対の境界に対するデブロッキングフィルタ処理を適用する。具体的には、フィルタ制御部１６１は、ブロックＰに非ゼロ係数が存在し、且つ、ブロックＰに変換スキップが適用されていないため、フィルタ対象ブロック対の境界に対するデブロッキングフィルタ処理を適用する。

【0064】

図３（ｃ）に示すように、フィルタ制御部１６１は、フィルタ対象ブロック対の少なくとも一方に非ゼロ係数が存在し、且つ、当該非ゼロ係数が存在するブロックに変換スキップが適用されている場合、フィルタ対象ブロック対の境界に対するデブロッキングフィルタ処理を適用しない。具体的には、フィルタ制御部１６１は、ブロックＰに非ゼロ係数が存在し、且つ、ブロックＰに変換スキップ（ＴｒａｎＳｋｉｐ）が適用されているため、フィルタ対象ブロック対の境界に対するデブロッキングフィルタ処理を適用しない。

【0065】

図３（ｄ）に示すように、フィルタ制御部１６１は、フィルタ対象ブロック対の両方に非ゼロ係数が存在し、且つ、当該非ゼロ係数が存在するブロックに変換スキップが適用されていない場合、フィルタ対象ブロック対の境界に対するデブロッキングフィルタ処理を適用する。具体的には、フィルタ制御部１６１は、ブロックＰ及びＱの両方に非ゼロ係数が存在し、ブロックＰに変換スキップ（ＴｒａｎＳｋｉｐ）が適用されており、ブロックＱに変換スキップ（ＴｒａｎＳｋｉｐ）が適用されていないため、フィルタ対象ブロック対の境界に対するデブロッキングフィルタ処理を適用する。

【0066】

＜復号装置の構成＞
次に、本実施形態に係る復号装置の構成について、上述した符号化装置の構成との相違点を主として説明する。図４は、本実施形態に係る復号装置２の構成を示す図である。復号装置２は、符号化ストリームから復号対象ブロックを復号する装置である。

【0067】

図４に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、デブロッキングフィルタ２３０と、フィルタ制御部２３１と、メモリ２４０と、予測部２５０とを有する。

【0068】

エントロピー復号部２００は、符号化装置１により生成された符号化ストリームを復号し、各種のシグナリング情報を復号する。具体的には、エントロピー復号部２００は、復号対象ブロックに適用された変換処理に関する情報（例えば、変換種別情報）を取得し、取得した情報を逆変換部２１２及びフィルタ制御部２３１に出力する。また、エントロピー復号部２００は、復号対象ブロックに適用された予測に関する情報（例えば、予測種別情報、動きベクトル情報）を取得し、取得した情報を予測部２５０及びフィルタ制御部２３１に出力する。

【0069】

また、エントロピー復号部２００は、符号化ストリームを復号し、量子化された変換係数を取得し、取得した変換係数を逆量子化・逆変換部２１０（逆量子化部２１１）に出力する。

【0070】

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

【0071】

逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

【0072】

逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って残差信号を復元し、復元した残差信号（復元残差信号）を合成部２２０に出力する。本実施形態において、逆変換部２１２は、エントロピー復号部２００から出力される変換種別情報に基づいて、逆変換を行わない変換スキップを含む複数種別の逆変換処理の中から選択された種別の逆変換処理を行う。変換スキップの場合、逆変換部２１２は逆変換処理をせずに、符号化装置１の変換部１２１が行った係数の調整の逆処理を行う。

【0073】

合成部２２０は、逆変換部２１２から出力される残差信号と、予測部２５０から出力される予測ブロックとを画素単位で合成することにより、復号対象ブロックを復元（復号）し、復元ブロックをデブロッキングフィルタ２３０に出力する。

【0074】

デブロッキングフィルタ２３０は、符号化装置１のデブロッキングフィルタ１６０と同様な動作を行う。デブロッキングフィルタ２３０は、合成部２２０から出力される復元ブロックと当該復元ブロックに隣接するブロックとからなるフィルタ対象ブロック対の境界に対するデブロッキングフィルタ処理を行い、デブロッキングフィルタ処理後の復元ブロックをメモリ２４０に出力する。

【0075】

フィルタ制御部２３１は、エントロピー復号部２００から出力される情報に基づいて、符号化装置１のフィルタ制御部１６１と同様な動作を行う。フィルタ制御部２３１は、例えば表１に示した方法でフィルタ強度ＢＳを選択し、選択したフィルタ強度ＢＳに応じてデブロッキングフィルタ２３０を制御する。

【0076】

メモリ２４０は、デブロッキングフィルタ２３０から出力される復元ブロックをフレーム単位で復号画像として記憶する。メモリ２４０は、フレーム単位の復号画像を復号装置２の外部に出力する。

【0077】

予測部２５０は、ブロック単位で予測を行う。予測部２５０は、インター予測部２５１と、イントラ予測部２５２と、切替部２５３とを有する。

【0078】

インター予測部２５１は、メモリ２４０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２５１は、エントロピー復号部２００から出力される動きベクトル情報を用いてインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２５３に出力する。

【0079】

イントラ予測部２５２は、メモリ２４０に記憶された復号画像のうち復号対象ブロックに隣接する参照画素を参照し、エントロピー復号部２００から出力される情報に基づいて、復号対象ブロックをイントラ予測により予測する。そして、イントラ予測部２５２は、イントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２５３に出力する。

【0080】

切替部２５３は、インター予測部２５１から出力されるインター予測ブロックとイントラ予測部２５２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

【0081】

このように、本実施形態に係る復号装置２は、符号化ストリームを復号することで、復号対象ブロックに対応する量子化変換係数を出力するエントロピー復号部２００と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行うことで残差信号を復元する逆量子化・逆変換部２１０と、復元した残差信号と復号対象ブロックを予測して得た予測ブロックとを合成することでブロックを復元する合成部２２０と、復元したブロックと当該復元したブロックに隣接するブロックとからなるフィルタ対象ブロック対の境界に対するフィルタ処理を行うデブロッキングフィルタ２３０と、フィルタ対象ブロック対について適用された逆変換処理の種別に基づいてデブロッキングフィルタ２３０を制御するフィルタ制御部２３１とを有する。

【0082】

ここで、フィルタ制御部２３１は、図３に示したような動作を行う。具体的には、フィルタ制御部２３１は、フィルタ対象ブロック対の少なくとも一方に非ゼロ係数が存在し、且つ、フィルタ対象ブロック対のうち非ゼロ係数が存在するブロックに変換スキップが適用されていない場合、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。

【0083】

一方、フィルタ制御部２３１は、フィルタ対象ブロック対の少なくとも一方に非ゼロ係数が存在し、且つ、フィルタ対象ブロック対のうち非ゼロ係数が存在するブロックに変換スキップが適用されている場合、デブロッキングフィルタ処理を行わないようデブロッキングフィルタ２３０を制御する。これにより、ブロック間の不連続性が生じない場合におけるデブロッキングフィルタ処理を不要とすることで、復号された画像にぼやけが生じたり、画質の低下や符号化効率の低下を引き起こしたりすることを防止できる。

【0084】

＜フィルタ制御部の動作例＞
次に、本実施形態に係るフィルタ制御部１６１及びフィルタ制御部２３１の動作例について説明する。フィルタ制御部１６１及びフィルタ制御部２３１は同じ動作を行うため、ここではフィルタ制御部２３１を例に挙げて説明する。図５は、本実施形態に係るフィルタ制御部２３１の動作例を示す図である。

【0085】

図５に示すように、ステップＳ１において、フィルタ制御部２３１は、ブロックＰ及びＱからなるフィルタ対象ブロック対の少なくとも一方にイントラ予測が適用されているか否かを判定する。フィルタ対象ブロック対の少なくとも一方にイントラ予測が適用されている場合（ステップＳ１：ＹＥＳ）、ステップＳ２において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、フィルタ強度ＢＳ＝２を選択する。

【0086】

フィルタ対象ブロック対のいずれもイントラ予測が適用されていない場合（ステップＳ１：ＮＯ）、ステップＳ３において、フィルタ制御部２３１は、対象ブロック対の動きベクトルの差が閾値以上であるか否かを判定する。対象ブロック対の動きベクトルの差が閾値以上である場合（ステップＳ３：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、フィルタ強度ＢＳ＝１を選択する。

【0087】

対象ブロック対の動きベクトルの差が閾値以上ではない場合（ステップＳ３：ＮＯ）、ステップＳ５において、フィルタ制御部２３１は、対象ブロック対の少なくとも一方に非ゼロ係数が含まれるか否かを判定する。対象ブロック対の少なくとも一方に非ゼロ係数が含まれていない場合（ステップＳ５：ＮＯ）、ステップＳ７において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行わないようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、フィルタ強度ＢＳ＝０を選択する。

【0088】

対象ブロック対の少なくとも一方に非ゼロ係数が含まれている場合（ステップＳ５：ＹＥＳ）、ステップＳ６において、フィルタ制御部２３１は、非ゼロ係数が含まれるブロックに変換スキップが適用されているか否かを判定する。非ゼロ係数が含まれるブロックに変換スキップが適用されていない場合（ステップＳ６：ＮＯ）、ステップＳ４において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、フィルタ強度ＢＳ＝１を選択する。一方、非ゼロ係数が含まれるブロックに変換スキップが適用されている場合（ステップＳ６：ＹＥＳ）、ステップＳ７において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行わないようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、フィルタ強度ＢＳ＝０を選択する。

【0089】

＜その他の実施形態＞
符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0090】

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

【0091】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0092】

本願は、日本国特許出願第２０１９－１１７９２４号（２０１９年６月２５日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

【図1】

【図2】

【図3】

【図4】

【図5】