特許 7483725 符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20240508BHJP

   H04N 19/157 20140101ALI20240508BHJP

   H04N 19/176 20140101ALI20240508BHJP

   H04N 19/86 20140101ALI20240508BHJP

【ＦＩ】

H04N19/117

H04N19/157

H04N19/176

H04N19/86

【請求項の数】 9

(21)【出願番号】P 2021543092

(86)(22)【出願日】2020-08-28

(86)【国際出願番号】 JP2020032782

(87)【国際公開番号】W WO2021040036

(87)【国際公開日】2021-03-04

【審査請求日】2023-07-28

(31)【優先権主張番号】P 2019157240

(32)【優先日】2019-08-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】根本 慎平

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１８／１２３４４４（ＷＯ，Ａ１）

【文献】Shunsuke Iwamura, Shimpei Nemoto and Atsuro Ichigaya，Non-CE5: Boundary strength derivation of deblocking filter for transform-skipped block，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0656，15th Meeting: Gothenburg, SE，2019年06月，pp.1-6

【文献】Anand Meher Kotra et al.，AHG18/Non-CE5: Boundary strength fix for coding units using BCW，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0109-v2，16th Meeting: Geneva, CH，2019年10月，pp.1-6

【文献】Chia-Ming Tsai et al.，CE5-related: Deblocking considering prediction weights in BCW and TPM，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0161-v2，16th Meeting: Geneva, CH，2019年10月，pp.1-6

【文献】Xuewei Meng et al.，AHG18/Non-CE5: Deblocking for TPM and BCW，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0269-v2，16th Meeting: Geneva, CH，2019年10月，pp.1-7

【文献】Shunsuke Iwamura et al.，[AHG18][Non-CE5] Proposed cleanup of deblocking filter process，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0586-v2，16th Meeting: Geneva, CH，2019年10月，pp.1-12

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

画像を分割して得たブロック単位で符号化を行う符号化装置であって、
複数の重み係数からなる重み係数セットから選択した重み係数を用いて複数の参照画像に対して重み付き平均を行って、符号化対象ブロックの予測ブロックを生成する予測部と、
前記符号化対象ブロックと前記予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部と、
前記変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行って前記予測残差を復元する逆量子化・逆変換部と、
前記復元した予測残差と前記予測ブロックとを合成して前記符号化対象ブロックを復元する合成部と、
前記復元した符号化対象ブロックと隣接ブロックとからなる２つのブロックの境界部分に対するフィルタ処理を行うデブロッキングフィルタと、
前記予測部が前記２つのブロックのそれぞれに適用した前記重み係数に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部と、を備えることを特徴とする符号化装置。

【請求項2】

前記フィルタ制御部は、前記２つのブロックの一方に適用した前記重み係数と前記２つのブロックの他方に適用した前記重み係数とが同じであるか否かに基づいて、前記デブロッキングフィルタを制御することを特徴とする請求項１に記載の符号化装置。

【請求項3】

前記フィルタ制御部は、
前記２つのブロックの一方に適用した前記重み係数と前記２つのブロックの他方に適用した前記重み係数とが同じであることに基づいて、前記フィルタ処理を行わないように前記デブロッキングフィルタを制御し、
前記２つのブロックの一方に適用した前記重み係数と前記２つのブロックの他方に適用した前記重み係数とが異なることに基づいて、前記フィルタ処理を行うように前記デブロッキングフィルタを制御することを特徴とする請求項２に記載の符号化装置。

【請求項4】

画像を分割して得たブロック単位で復号を行う復号装置であって、
符号化ストリームを復号することで、復号対象ブロックに対応する量子化変換係数を出力するエントロピー復号部と、
前記エントロピー復号部が出力する量子化変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、
重み係数を制御するフラグに基づいて選択した重み係数を用いて複数の参照画像に対して重み付き平均を行って、前記復号対象ブロックの予測ブロックを生成する予測部と、
前記復元した予測残差と前記予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、
前記復元した復号対象ブロックと隣接ブロックとからなる２つのブロックの境界部分に対するフィルタ処理を行うデブロッキングフィルタと、
前記フラグに基づいて、前記デブロッキングフィルタを制御するフィルタ制御部と、を備えることを特徴とする復号装置。

【請求項5】

前記予測部は、複数の重み係数からなる重み係数セットから選択した前記重み係数を用いて前記重み付き平均を行って、前記予測ブロックを生成し、
前記フィルタ制御部は、前記予測部が前記２つのブロックのそれぞれに適用した前記重み係数に基づいて、前記デブロッキングフィルタを制御することを特徴とする請求項４に記載の復号装置。

【請求項6】

前記フィルタ制御部は、前記２つのブロックのいずれか一方に適用した前記重み係数と前記２つのブロックの他方に適用した前記重み係数とが同じであるか否かに基づいて、前記デブロッキングフィルタを制御することを特徴とする請求項５に記載の復号装置。

【請求項7】

前記フィルタ制御部は、
前記２つのブロックのいずれか一方に適用した前記重み係数と前記２つのブロックの他方に適用した前記重み係数とが同じであることに基づいて、前記フィルタ処理を行わないように前記デブロッキングフィルタを制御し、
前記２つのブロックのいずれか一方に適用した前記重み係数と前記２つのブロックの他方に適用した前記重み係数とが異なることに基づいて、前記フィルタ処理を行うように前記デブロッキングフィルタを制御することを特徴とする請求項６に記載の復号装置。

【請求項8】

コンピュータを請求項１に記載の符号化装置として機能させることを特徴とするプログラム。

【請求項9】

コンピュータを請求項４に記載の復号装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、及び次世代の符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、符号化ループ内フィルタとしてデブロッキングフィルタが採用されている（例えば、非特許文献１参照）。デブロッキングフィルタは、ブロック単位で符号化処理を行うときのブロックの境界部分の歪みを抑制するためのループ内フィルタである。

【0003】

デブロッキングフィルタを制御するフィルタ制御部は、符号化対象ブロックとその隣接ブロックとからなる２つのブロックのうち少なくとも一方にイントラ予測が適用される場合、当該２つのブロックの境界部分に対するデブロッキングフィルタを適用する。フィルタ制御部は、互いに隣接する２つのブロックいずれにもインター予測が適用される場合、当該２つのブロックのそれぞれの動きベクトルの値及び参照先（参照画像）の一致度に応じて、当該２つのブロックの境界部分にデブロッキングフィルタを適用するか否かを決定する。

【0004】

一方、ＶＶＣでは、ＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）と呼ばれる重み付き双予測技術が採用される予定である。従来の双予測は単に２つの参照画の平均により予測画像を生成するものであるが、重み付き双予測は２つの参照画像を重み付き平均（加重平均）することで予測画像を生成する。この加重平均に用いる重み係数は、予め規定された複数の重み係数のセットから選択される。

【先行技術文献】

【非特許文献】

【0005】

【文献】Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６）， “Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

【発明の開示】

【0006】

互いに隣接する２つのブロックいずれにもインター予測が適用される場合において、各ブロックの動きベクトルの値及び参照先の一致度が高くても、次のような問題が生じ得る。具体的には、各ブロックに重み付き双予測が適用されており、且つ各ブロックに適用された重み係数が互いに異なる場合には、ブロック間の不連続性が高くなるため、視覚的な劣化を生じてしまう問題がある。

【0007】

そこで、本発明は、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供する。

【0008】

第１の態様に係る符号化装置は、画像を分割して得たブロック単位で符号化を行う符号化装置であって、複数の重み係数からなる重み係数セットから選択した重み係数を用いて複数の参照画像に対して重み付き平均を行って、符号化対象ブロックの予測ブロックを生成する予測部と、前記符号化対象ブロックと前記予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部と、前記変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行って前記予測残差を復元する逆量子化・逆変換部と、前記復元した予測残差と前記予測ブロックとを合成して前記符号化対象ブロックを復元する合成部と、前記復元した符号化対象ブロックと隣接ブロックとからなる２つのブロックの境界部分に対するフィルタ処理を行うデブロッキングフィルタと、前記予測部が前記２つのブロックのそれぞれに適用した前記重み係数に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部とを備えることを要旨とする。

【0009】

第２の態様に係る復号装置は、画像を分割して得たブロック単位で復号を行う復号装置であって、符号化ストリームを復号することで、復号対象ブロックに対応する量子化変換係数を出力するエントロピー復号部と、前記エントロピー復号部が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、複数の重み係数からなる重み係数セットから選択した重み係数を用いて複数の参照画像に対して重み付き平均を行って、前記復号対象ブロックの予測ブロックを生成する予測部と、前記復元した予測残差と前記予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、前記復元した復号対象ブロックと隣接ブロックとからなる２つのブロックの境界部分に対するフィルタ処理を行うデブロッキングフィルタと、前記予測部が前記２つのブロックのそれぞれに適用した前記重み係数に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部とを備えることを要旨とする。

【0010】

第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させることを要旨とする。

【0011】

第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させることを要旨とする。

【0012】

本発明によれば、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係る符号化装置の構成を示す図である。

【図2】実施形態に係るデブロッキングフィルタの動作例を示す図である。

【図3】実施形態に係るフィルタ制御部の動作の具体例を説明するための図である。

【図4】実施形態に係る復号装置の構成を示す図である。

【図5】実施形態に係るフィルタ制御部の動作フロー例を示す図である。

【発明を実施するための形態】

【0014】

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0015】

＜符号化装置＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。符号化装置１は、画像を分割して得たブロック単位で符号化を行う装置である。

【0016】

図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、デブロッキングフィルタ１６０と、フィルタ制御部１６１と、メモリ１７０と、予測部１８０とを有する。

【0017】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず矩形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

【0018】

ブロック分割部１００は、輝度信号と色差信号とに対してブロック分割を行う。以下において、ブロック分割の形状が輝度信号と色差信号とで同じである場合について主として説明するが、輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

【0019】

減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１８０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0020】

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

【0021】

変換部１２１は、減算部１１０から出力される予測残差に対して変換処理を行って周波数成分ごとの変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理（変換）とは、画素領域の信号を周波数領域の信号に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）、及びそれらを整数化した変換等をいう。

【0022】

量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。

【0023】

エントロピー符号化部１３０は、量子化部１２２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、ブロック分割部１００から各符号化対象ブロックのサイズ・形状等の情報を取得し、予測部１８０から予測に関する情報（例えば、予測モードや動きベクトルの情報）を取得し、これらの情報の符号化も行う。

【0024】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

【0025】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

【0026】

逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１がＤＣＴを行った場合には、逆変換部１４２は逆ＤＣＴを行う。逆変換部１４２は、逆量子化部１４１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0027】

合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１８０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復元（復号）し、復元したブロック単位の復号画像（復元ブロック）をデブロッキングフィルタ１６０に出力する。

【0028】

デブロッキングフィルタ１６０は、復元ブロックと当該復元ブロックに隣接する隣接ブロックとからなる２つのブロック（以下、「対象ブロック対」と呼ぶ）の境界部分に対してフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ１７０に出力する。フィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減するための処理であって、対象ブロック対の境界部分における信号のギャップを平滑化するフィルタ処理である。デブロッキングフィルタ１６０は、一般的に信号の変動を緩やかにするローパスフィルタとして構成されている。

【0029】

フィルタ制御部１６１は、デブロッキングフィルタ１６０を制御する。具体的には、フィルタ制御部１６１は、対象ブロック対に対するフィルタ処理を行うか否か、及びデブロッキングフィルタ１６０の境界強度（Ｂｓ：Ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）を制御する。境界強度Ｂｓとは、フィルタ処理を適用するか否か、及びそのフィルタ処理の種類を決定するためのパラメータをいう。なお、フィルタ処理を行うか否かの制御は、境界強度Ｂｓを１以上とするか又はゼロとするかの制御とみなすことができる。

【0030】

フィルタ制御部１６１は、対象ブロック対の境界近傍領域における画素値の変動や、予測モード、量子化パラメータ、動き補償予測（インター予測）に用いる動きベクトルの値に基づいて、デブロッキングフィルタ１６０を制御する。フィルタ制御部１６１の動作の詳細については後述する。

【0031】

メモリ１７０は、デブロッキングフィルタ１６０から出力される復元ブロックをフレーム単位で復号画像として蓄積する。メモリ１７０は、記憶している復号画像を予測部１８０に出力する。

【0032】

予測部１８０は、ブロック単位で予測処理を行うことにより、符号化対象ブロックに対応する予測ブロックを生成し、生成した予測ブロックを減算部１１０及び合成部１５０に出力する。予測部１８０は、インター予測部１８１と、イントラ予測部１８２と、切替部１８３とを有する。

【0033】

インター予測部１８１は、メモリ１７０に記憶された復号画像を参照画像として用いて、ブロックマッチング等の手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１８３に出力する。インター予測部１８１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１８１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。

【0034】

本実施形態において、インター予測部１８１は、２つの参照画像を重み付き平均（加重平均）することでインター予測ブロックを生成する重み付き双予測部１８１ａを有する。この加重平均に用いる重み係数は、予め規定された複数の重み係数のセットから選択される。具体的には、重み付き双予測部１８１ａは、一方の参照画像を“Ｐ₀”、他方の参照画像を“Ｐ₁”、重み係数を“ｗ”としたとき、次の式（１）によりインター予測ブロックを生成する。

【0035】

【数1】

【0036】

ここで、重み係数“ｗ”は、－２，２，４，６，１０からなるセットから選択される。このような重み付き双予測によれば、２つの参照画像を単に平均してインター予測ブロックを生成する従来の双予測に比べて予測精度を改善できる。

【0037】

イントラ予測部１８２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。イントラ予測部１８２は、メモリ１７０に記憶された復号画像のうち、符号化対象ブロックに隣接する復号済み画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１８３に出力する。また、イントラ予測部１８２は、選択したイントラ予測モードに関する情報をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。

【0038】

切替部１８３は、インター予測部１８１から出力されるインター予測ブロックとイントラ予測部１８２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

【0039】

このように、本実施形態に係る符号化装置１は、複数の重み係数からなる重み係数セットから選択した重み係数を用いて複数の参照画像に対して重み付き平均を行って、符号化対象ブロックの予測ブロックを生成する重み付き双予測部１８１ａと、符号化対象ブロックと予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部１２０と、変換・量子化部１２０により得た変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部１４０と、復元した予測残差と予測ブロックとを合成して符号化対象ブロックを復元する合成部１５０と、復元した符号化対象ブロックと隣接ブロックとからなる２つのブロックの境界部分に対するフィルタ処理を行うデブロッキングフィルタ１６０とを有する。

【0040】

次に、本実施形態に係るデブロッキングフィルタ１６０及びフィルタ制御部１６１の動作について説明する。図２は、本実施形態に係るデブロッキングフィルタ１６０の動作例を示す図である。図２において、ブロックＱは、符号化対象ブロックに対応する復元ブロックであり、ブロックＰは、このブロックＱに隣接する復元ブロックである。

【0041】

図２に示す例では、デブロッキングフィルタ１６０がフィルタ処理を行うブロックサイズは８×８画素である。フィルタ制御部１６１は、例えば下記の表１に基づいて境界強度Ｂｓを求める。本実施形態では、境界強度Ｂｓの値は０，１，２のいずれかとする。

【0042】

【表1】

【0043】

図２及び表１に示すように、フィルタ制御部１６１は、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合、Ｂｓの値を２とする。

【0044】

一方、フィルタ制御部１６１は、ブロックＰ及びＱの両方に動き補償予測（インター予測）が適用されており、且つ少なくとも以下の（ａ）乃至（ｄ）の中の１つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。

【0045】

（ａ）ブロックＰ及びＱの少なくとも一方が有意な変換係数（すなわち、非ゼロ変換係数）を含むこと。

【0046】

（ｂ）ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。

【0047】

（ｃ）ブロックＰ及びＱの動きベクトルの差の絶対値が閾値（例えば１画素）以上であること。

【0048】

（ｄ）ブロックＰ及びＱの重み付き双予測の重み係数が異なること。

【0049】

なお、本発明における動き補償予測においては、参照画像として符号化対象のフレームを基準として時間的に過去や未来の復号済みのフレームを利用することができる。例えばブロックＰ及びブロックＱが予測画像を生成する双予測で用いる２つの参照画素をそれぞれＰ０、Ｐ１及びＱ０及びＱ１とする場合には、Ｐ０及びＱ０が過去の復号済みフレームを参照し、Ｐ１及びＱ１が未来の復号済みフレームを参照する場合がある。このような場合には、前述のように、双予測によるブロックＰの予測ブロック（Ｐｂｉ－ｐｒｅｄ）及び双予測によるブロックＱの予測ブロック（Ｑｂｉ－ｐｒｅｄ）を生成するそれぞれの動きベクトルの値及び参照先の一致度及びＰｂｉ－ｐｒｅｄ及びＱｂｉ－ｐｒｅｄを生成するために用いた重み係数が一致しているかをもとに、Ｂｓ値を判定する。

【0050】

一方、Ｐ０及びＱ１が過去の復号済みフレームを参照し、Ｐ１及びＱ０が未来の復号済みフレームを参照する場合や、Ｐ１及びＱ０が過去の復号済みフレームを、Ｐ０及びＱ１が未来の復号済みフレームを参照する場合のように、Ｐ０及びＱ０、Ｐ１及びＱ１の動きベクトルが指し示す参照先が異なる場合であっても、次の処理を行ってもよい。具体的には、Ｐ０及びＱ１の動きベクトルの値及び参照先の一致度が高く、かつＰ１及びＱ０の動きベクトルの値及び参照先の一致度が高い場合には、ブロックＰの予測画像生成に用いた重み係数とブロックＱの予測画像生成に用いた重み係数とが一定の条件を満たしているか否かに応じてＢｓ値を判定してもよい。

【0051】

例えば、ブロックＰの予測画像生成に用いた重み係数Ｗｐが２であり、ブロックＱの予測画像生成に用いた重み係数Ｗｑが６であった場合であっても、Ｐ１及びＱ０の動きベクトルの値及び参照先の一致度が高い場合には、
Ｗｐ＝８－Ｗｑ
を満たす場合には、Ｂｓ値を０とする。

【0052】

なお、前記重み係数ｗ＝－２，２，４，６，１０を示す重みフラグをそれぞれ０，１，２，３，４として割り当ててもよい。具体的には、Ｗｐが２である場合には、ブロックＰの重みフラグＦｐは１となる。一方、Ｗｑが６である場合には、ブロックＱの重みフラグＦｑは３となる。このように各ブロックに適用する重み係数を前述のような０から４の重みフラグを用いて表す。このように重み係数を示すフラグを割り当てる場合には、ブロックP及びブロックQに割り当てられたフラグを基にBs値を判定する。

【0053】

例えばＰ０及びＱ０、Ｐ１及びＱ１の動きベクトルの値及び参照先の一致度が高い場合であって、それぞれのブロックに適用する重みＷｐ及びＷｑに対応するフラグＦｐ及びＦｑの値が同一である場合にはBs値を０とする。一方、Ｐ０及びＱ１、Ｐ１及びＱ０の動きベクトルの値及び参照先の一致度が高い場合であって、前記Ｆｐ及びＦｑが
Ｆｐ＝Ｎ－１－Ｆｑ
を満たす場合にはＢｓ値を０とする。ただしＮは選択可能なフラグの数であり、上記の例では５である。

【0054】

フィルタ制御部１６１は、境界強度Ｂｓの値が０の場合にはフィルタ処理を行わないようデブロッキングフィルタ１６０を制御する。以下、図２に示す垂直ブロック境界を例に説明する。

【0055】

フィルタ制御部１６１は、境界強度Ｂｓの値が１又は２の場合には、次式（１）を満たす場合にのみ、フィルタ処理を行うようデブロッキングフィルタ１６０を制御してもよい。

【0056】

【数2】

【0057】

なお、フィルタ制御部１６１は、フィルタ処理を行う場合、以下の条件式（２）～（７）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用してもよい。

【0058】

【数3】

【0059】

但し、閾値β及びｔ_Cの値は、隣接するブロックＰとブロックＱの量子化パラメータの平均値Ｑ_avに応じて変わる。

【0060】

このように、本実施形態に係るフィルタ制御部１６１は、上記（ｄ）のように、ブロックＰ及びＱのうち一方に適用した重み係数と他方に適用した重み係数とが同じであることに基づいて、フィルタ処理を行わないようにデブロッキングフィルタ１６０を制御する。一方、本実施形態に係るフィルタ制御部１６１は、ブロックＰ及びＱのうち一方に適用した重み係数と他方に適用した重み係数とが異なることに基づいて、フィルタ処理を行うようにデブロッキングフィルタ１６０を制御する。

【0061】

これにより、互いに隣接する２つのブロックいずれにもインター予測が適用される場合において、各ブロックに重み付き双予測が適用されており、且つ各ブロックに適用された重み係数が互いに異なる場合には、デブロッキングフィルタ１６０のフィルタ処理を適用することで、ブロック間の不連続性に起因する視覚的な劣化を抑制できる。

【0062】

次に、本実施形態に係るフィルタ制御部１６１の動作の具体例について説明する。図３は、本実施形態に係るフィルタ制御部１６１の動作の具体例を説明するための図である。

【0063】

図３に示すように、ブロックＰ及びＱに適用した予測がどちらも双予測であるものとする。また、ブロックＰ及びＱのいずれも非ゼロ変換係数を含まないものとする。

【0064】

ブロックＰが双予測に用いる２つの動きベクトルは、Ｐ０及びＰ１である。ブロックＱが双予測に用いる２つの動きベクトルは、Ｑ０及びＱ１である。Ｐ０及びＱ０の参照先が同一のフレームであって、かつＰ１及びＱ１の参照先が同一のフレームである。また、Ｐ０とＱ０の動きベクトルの値の差が閾値以下であり、且つＰ１とＱ１の動きベクトルの値の差が閾値以下である。

【0065】

このような場合、上記の（ａ）乃至（ｃ）のいずれの条件も満たされないことになる。しかしながら、ブロックＰ及びＱに重み付き双予測が適用されており、且つ各ブロックに適用された重み係数“ｗ”が異なる場合には、ブロックＰとブロックＱとの間で不連続性が生じ得る。

【0066】

本実施形態においては、上記の（ｄ）の条件を新たに導入している。このため、上記の（ａ）乃至（ｃ）のいずれの条件も満たされない場合であっても、上記の（ｄ）の条件が満たされた場合には、Ｂｓ値を１とすることで、デブロッキングフィルタ１６０のフィルタ処理を行うように制御できる。

【0067】

＜復号装置の構成＞
次に、本実施形態に係る復号装置の構成について、上述した符号化装置の構成との相違点を主として説明する。図４は、本実施形態に係る復号装置２の構成を示す図である。復号装置２は、符号化ストリームから復号対象ブロックを復号する装置である。

【0068】

図４に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、デブロッキングフィルタ２３０と、フィルタ制御部２３１と、メモリ２４０と、予測部２５０とを有する。

【0069】

エントロピー復号部２００は、符号化装置１により生成された符号化ストリームを復号し、各種のシグナリング情報を復号する。具体的には、エントロピー復号部２００は、復号対象ブロックに適用された予測に関する情報（例えば、予測種別情報、動きベクトル情報）を取得し、取得した情報を予測部２５０及びフィルタ制御部２３１に出力する。

【0070】

また、エントロピー復号部２００は、符号化ストリームを復号し、量子化された変換係数を取得し、取得した変換係数を逆量子化・逆変換部２１０（逆量子化部２１１）に出力する。

【0071】

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

【0072】

逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

【0073】

逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0074】

合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２５０から出力される予測ブロックとを画素単位で合成することにより、復号対象ブロックを復元（復号）し、復元ブロックをデブロッキングフィルタ２３０に出力する。

【0075】

デブロッキングフィルタ２３０は、符号化装置１のデブロッキングフィルタ１６０と同様な動作を行う。デブロッキングフィルタ２３０は、合成部２２０から出力される復元ブロックと当該復元ブロックに隣接するブロックとからなる対象ブロック対の境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ２４０に出力する。

【0076】

フィルタ制御部２３１は、エントロピー復号部２００から出力される情報に基づいて、符号化装置１のフィルタ制御部１６１と同様な動作を行う。フィルタ制御部２３１は、例えば表１に示した方法で境界強度Ｂｓを選択し、選択した境界強度Ｂｓに応じてデブロッキングフィルタ２３０を制御する。

【0077】

メモリ２４０は、デブロッキングフィルタ２３０から出力される復元ブロックをフレーム単位で復号画像として記憶する。メモリ２４０は、フレーム単位の復号画像を復号装置２の外部に出力する。

【0078】

予測部２５０は、ブロック単位で予測を行う。予測部２５０は、インター予測部２５１と、イントラ予測部２５２と、切替部２５３とを有する。

【0079】

インター予測部２５１は、メモリ２４０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２５１は、エントロピー復号部２００から出力される動きベクトル情報を用いてインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２５３に出力する。

【0080】

本実施形態において、インター予測部２５１は、２つの参照画像を重み付き平均（加重平均）することでインター予測ブロックを生成する重み付き双予測部２５１ａを有する。重み付き双予測部２５１ａは、上記の式（１）によりインター予測ブロックを生成する。

【0081】

イントラ予測部２５２は、メモリ２４０に記憶された復号画像のうち復号対象ブロックに隣接する参照画素を参照し、エントロピー復号部２００から出力される情報に基づいて、復号対象ブロックをイントラ予測により予測する。そして、イントラ予測部２５２は、イントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２５３に出力する。

【0082】

切替部２５３は、インター予測部２５１から出力されるインター予測ブロックとイントラ予測部２５２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

【0083】

このように、本実施形態に係る復号装置２は、符号化ストリームを復号することで、復号対象ブロックに対応する量子化変換係数を出力するエントロピー復号部２００と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部２１０と、複数の重み係数からなる重み係数セットから選択した重み係数を用いて複数の参照画像に対して重み付き平均を行って、復号対象ブロックの予測ブロックを生成する重み付き双予測部２５１ａと、復元した予測残差と予測ブロックとを合成して復号対象ブロックを復元する合成部２２０と、復元した復号対象ブロックと隣接ブロックとからなる２つのブロックの境界部分に対するフィルタ処理を行うデブロッキングフィルタ２３０とを有する。

【0084】

ここで、フィルタ制御部２３１は、図３に示したような動作を行う。すなわち、フィルタ制御部２３１は、上記の（ａ）乃至（ｃ）のいずれの条件も満たされない場合であっても、上記の（ｄ）の条件が満たされた場合には、Ｂｓ値を１とする。これにより、ブロックＰ及びＱの重み付き双予測の重み係数が異なる場合には、デブロッキングフィルタ１６０のフィルタ処理を行うように制御できる。

【0085】

＜フィルタ制御部の動作例＞
次に、本実施形態に係るフィルタ制御部１６１及びフィルタ制御部２３１の動作例について説明する。フィルタ制御部１６１及びフィルタ制御部２３１は同じ動作を行うため、ここではフィルタ制御部２３１を例に挙げて説明する。図５は、本実施形態に係るフィルタ制御部２３１の動作フロー例を示す図である。

【0086】

図５に示すように、ステップＳ１において、フィルタ制御部２３１は、ブロックＰ及びＱからなる対象ブロック対の少なくとも一方にイントラ予測が適用されているか否かを判定する。対象ブロック対の少なくとも一方にイントラ予測が適用されている場合（ステップＳ１：ＹＥＳ）、ステップＳ２において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝２を選択する。

【0087】

対象ブロック対のいずれもイントラ予測が適用されていない場合（ステップＳ１：ＮＯ）、すなわち、対象ブロック対の両方にインター予測が適用されている場合、ステップＳ３において、フィルタ制御部２３１は、対象ブロック対の少なくとも一方に非ゼロ変換係数が含まれるか否かを判定する。対象ブロック対の少なくとも一方に非ゼロ変換係数が含まれる場合（ステップＳ３：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。

【0088】

対象ブロック対のいずれにも非ゼロ変換係数が含まれていない場合（ステップＳ３：ＮＯ）、すなわち、予測ブロックをそのまま復元ブロックとする場合、ステップＳ５において、フィルタ制御部２３１は、対象ブロック対の動きベクトルの数及び参照画像（参照先フレーム）が異なるか否かを判定する。対象ブロック対の動きベクトルの数及び参照画像が異なる場合（ステップＳ５：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。

【0089】

対象ブロック対の動きベクトルの数及び参照画像が同じである場合（ステップＳ５：ＮＯ）、ステップＳ６において、フィルタ制御部２３１は、対象ブロック対の動きベクトルの差が閾値以上であるか否かを判定する。対象ブロック対の動きベクトルの差が閾値以上である場合（ステップＳ６：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。

【0090】

対象ブロック対の動きベクトルの差が閾値未満である場合（ステップＳ６：ＮＯ）、例えば、対象ブロック対の動きベクトルの値が同じである場合、ステップＳ７において、フィルタ制御部２３１は、対象ブロック対の重み付き双予測の重み係数“ｗ”が異なるか否かを判定する。対象ブロック対の重み付き双予測の重み係数“ｗ”が異なる場合（ステップＳ７：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。

【0091】

一方、対象ブロック対の重み付き双予測の重み係数“ｗ”が同じである場合（ステップＳ７：ＮＯ）、ステップＳ８において、フィルタ制御部２３１は、フィルタ処理を行わないようにデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝０を選択する。

【0092】

＜その他の実施形態＞
符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0093】

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

【0094】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0095】

なお、本願は日本国特許出願第２０１９－１５７２４０号（２０１９年８月２９日出願）の優先権を主張し、その内容のすべてが参照により本願明細書に組み込まれている。

【図1】

【図2】

【図3】

【図4】

【図5】