特開2023-162377デブロッキングフィルタ装置、復号装置、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162377
(43)【公開日】2023-11-08
(54)【発明の名称】デブロッキングフィルタ装置、復号装置、及びプログラム
(51)【国際特許分類】
H04N 19/117 20140101AFI20231031BHJP
H04N 19/157 20140101ALI20231031BHJP
H04N 19/176 20140101ALI20231031BHJP
H04N 19/186 20140101ALI20231031BHJP
H04N 19/86 20140101ALI20231031BHJP
【ＦＩ】
H04N19/117
H04N19/157
H04N19/176
H04N19/186
H04N19/86
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023141346
(22)【出願日】2023-08-31
(62)【分割の表示】P 2022530590の分割
【原出願日】2021-06-08
(31)【優先権主張番号】P 2020101293
(32)【優先日】2020-06-10
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】岩村 俊輔
(72)【発明者】
【氏名】根本 慎平
(72)【発明者】
【氏名】近藤 雄一
(72)【発明者】
【氏名】井口 和久
(72)【発明者】
【氏名】市ヶ谷 敦郎
(57)【要約】 （修正有）
【課題】画質の劣化を抑制するデブロッキングフィルタ装置、復号装置及びプログラムを提供する。
【解決手段】復号装置２において、第１再構成ブロックと第１再構成ブロックに隣接する第２再構成ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタは、第１再構成ブロック及び第２再構成ブロックの少なくとも一方が、Ｃｂ色差成分及びＣｒ色差成分のそれぞれの予測残差から１つの合同予測残差を生成するＪＣＣＲ（Ｊｏｉｎｔ ｃｏｄｉｎｇ ｏｆ ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ）を用いて符号化されているか否かに基づいて、デブロッキングフィルタの境界フィルタ強度を制御する。
【選択図】図３
【解決手段】復号装置２において、第１再構成ブロックと第１再構成ブロックに隣接する第２再構成ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタは、第１再構成ブロック及び第２再構成ブロックの少なくとも一方が、Ｃｂ色差成分及びＣｒ色差成分のそれぞれの予測残差から１つの合同予測残差を生成するＪＣＣＲ（Ｊｏｉｎｔ ｃｏｄｉｎｇ ｏｆ ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ）を用いて符号化されているか否かに基づいて、デブロッキングフィルタの境界フィルタ強度を制御する。
【選択図】図３
【特許請求の範囲】
【請求項1】
第１再構成ブロックと前記第１再構成ブロックに隣接する第２再構成ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタと、
前記第１再構成ブロック及び前記第２再構成ブロックの少なくとも一方が、所定処理を用いて符号化されているか否かに基づいて、前記デブロッキングフィルタの境界フィルタ強度を制御するフィルタ制御部と、を備え、
前記所定処理は、色成分ごとの予測残差を更新するための更新処理により新たな予測残差を生成する符号化ツールであり、
前記フィルタ制御部は、前記第１再構成ブロック及び前記第２再構成ブロックの少なくとも一方が前記所定処理を用いて符号化されている場合、前記フィルタ処理を行うように前記境界フィルタ強度を制御する
デブロッキングフィルタ装置。
前記第１再構成ブロック及び前記第２再構成ブロックの少なくとも一方が、所定処理を用いて符号化されているか否かに基づいて、前記デブロッキングフィルタの境界フィルタ強度を制御するフィルタ制御部と、を備え、
前記所定処理は、色成分ごとの予測残差を更新するための更新処理により新たな予測残差を生成する符号化ツールであり、
前記フィルタ制御部は、前記第１再構成ブロック及び前記第２再構成ブロックの少なくとも一方が前記所定処理を用いて符号化されている場合、前記フィルタ処理を行うように前記境界フィルタ強度を制御する
デブロッキングフィルタ装置。
【請求項2】
前記フィルタ制御部は、前記第１再構成ブロック及び前記第２再構成ブロックの両方に非ゼロの変換係数が存在しない場合であっても、前記第１再構成ブロック及び前記第２再構成ブロックの少なくとも一方が前記所定処理を用いて符号化されている場合には、前記フィルタ処理を行うように前記境界フィルタ強度を制御する
請求項１に記載のデブロッキングフィルタ装置。
請求項１に記載のデブロッキングフィルタ装置。
【請求項3】
請求項１又は２に記載のデブロッキングフィルタ装置と、
前記所定処理を用いて符号化されているか否かを示すフラグを前記第１再構成ブロック及び前記第２再構成ブロックのそれぞれについて取得するエントロピー復号部と、を備え、
前記フィルタ制御部は、前記第１再構成ブロック及び前記第２再構成ブロックのそれぞれについての前記フラグに基づいて、前記デブロッキングフィルタの境界フィルタ強度を制御する
復号装置。
前記所定処理を用いて符号化されているか否かを示すフラグを前記第１再構成ブロック及び前記第２再構成ブロックのそれぞれについて取得するエントロピー復号部と、を備え、
前記フィルタ制御部は、前記第１再構成ブロック及び前記第２再構成ブロックのそれぞれについての前記フラグに基づいて、前記デブロッキングフィルタの境界フィルタ強度を制御する
復号装置。
【請求項4】
前記フィルタ制御部は、前記第１再構成ブロック及び前記第２再構成ブロックの少なくとも一方のブロックの前記フラグが“１”である場合、前記フィルタ処理を行うように前記境界フィルタ強度を制御する
請求項３に記載の復号装置。
請求項３に記載の復号装置。
【請求項5】
前記エントロピー復号部は、非ゼロの変換係数を含むか否かを示すｔｕ＿ｃｏｄｅｄ＿ｆｌａｇを前記第１再構成ブロック及び前記第２再構成ブロックのそれぞれについてさらに取得し、
前記フィルタ制御部は、前記第１再構成ブロック及び前記第２再構成ブロックのそれぞれについての前記ｔｕ＿ｃｏｄｅｄ＿ｆｌａｇにさらに基づいて、前記デブロッキングフィルタの境界フィルタ強度を制御する
請求項３又は４に記載の復号装置。
前記フィルタ制御部は、前記第１再構成ブロック及び前記第２再構成ブロックのそれぞれについての前記ｔｕ＿ｃｏｄｅｄ＿ｆｌａｇにさらに基づいて、前記デブロッキングフィルタの境界フィルタ強度を制御する
請求項３又は４に記載の復号装置。
【請求項6】
前記フィルタ制御部は、前記第１再構成ブロック及び前記第２再構成ブロックの少なくとも一方のブロックの前記ｔｕ＿ｃｏｄｅｄ＿ｆｌａｇが“１”である場合、前記フィルタ処理を行うように前記境界フィルタ強度を制御する
請求項５に記載の復号装置。
請求項５に記載の復号装置。
【請求項7】
コンピュータを請求項１又は２に記載のデブロッキングフィルタ装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デブロッキングフィルタ装置、復号装置、及びプログラムに関する。
【背景技術】
【0002】
ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、及び次世代の符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、ループ内フィルタとして、ブロック単位で符号化処理を行うときのブロックの境界部分の歪みを抑制するためのデブロッキングフィルタが採用されている。デブロッキングフィルタの制御では、隣接する２つのブロックのうち少なくとも一方のブロックに非ゼロの変換係数が存在するか否かに応じて、デブロッキングフィルタの境界フィルタ強度（ｂｏｕｎｄａｒｙ ｆｉｌｔｅｒｉｎｇ ｓｔｒｅｎｇｔｈ）を制御する。これは、非ゼロの変換係数の逆変換により、予測残差のエネルギーがブロック全体に分布するため、両ブロックの境界に不連続性が生じる可能性が高いためである。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】ＪＶＥＴ－Ｑ２００１ “Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ８）”
【発明の概要】
【0004】
第１の態様に係るデブロッキングフィルタ装置は、第１再構成ブロックと前記第１再構成ブロックに隣接する第２再構成ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタと、前記第１再構成ブロック及び前記第２再構成ブロックの少なくとも一方が、Ｃｂ色差成分及びＣｒ色差成分のそれぞれの予測残差から１つの合同予測残差を生成するＪＣＣＲ（Ｊｏｉｎｔ ｃｏｄｉｎｇ ｏｆ ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ）を用いて符号化されているか否かに基づいて、前記デブロッキングフィルタの境界フィルタ強度を制御するフィルタ制御部と、を備える。
【0005】
第２の態様に係る復号装置は、第１の態様に係るデブロッキングフィルタ装置と、前記ＪＣＣＲを用いて符号化されているか否かを示すフラグを前記第１再構成ブロック及び前記第２再構成ブロックのそれぞれについて取得するエントロピー復号部と、を備え、前記フィルタ制御部は、前記第１再構成ブロック及び前記第２再構成ブロックのそれぞれについての前記フラグに基づいて、前記デブロッキングフィルタの境界フィルタ強度を制御する。
【0006】
第３の態様に係るプログラムは、コンピュータを第１の態様に係るデブロッキングフィルタ装置として機能させる。
【図面の簡単な説明】
【0007】
【図1】実施形態に係る符号化装置の構成を示す図である。
【図2】実施形態に係るデブロッキングフィルタの動作を説明するための図である。
【図3】実施形態に係る復号装置の構成を示す図である。
【図4】実施形態に係るフィルタ制御部の動作例を示す図である。
【図5】変更例２に係る符号化装置の構成を示す図である。
【図6】変更例２に係る復号装置の構成を示す図である。
【発明を実施するための形態】
【0008】
ＶＶＣ規格案では、入力映像のクロマフォーマットが４：４：４である場合、予測残差の色空間（ＲＧＢ空間）をＹＣｇＣｏ空間に変換し、色空間変換後の予測残差に対して変換処理・エントロピー符号化処理等の符号化処理を行う適応色変換（ＡＣＴ：Ａｄａｐｔｉｖｅ Ｃｏｌｏｕｒ Ｔｒａｎｓｆｏｒｍ）と呼ばれる技術が採用されている（非特許文献１参照）。符号化装置は、符号化対象ブロックごとにＡＣＴを適用するか否かを制御可能であり、符号化対象ブロックごとにＡＣＴ適用フラグをストリーム出力する。復号装置は、ＡＣＴを用いて符号化されたブロックに対してエントロピー復号・逆変換処理等を行って予測残差を復元し、復元した予測残差の色空間（ＹＣｇＣｏ空間）をＲＧＢ空間に逆変換する。
【0009】
上述した従来の技術では、復号装置は、隣接する２つのブロックのうち少なくとも一方のブロックに非ゼロの変換係数が存在する場合、当該２つのブロックの境界にデブロッキングフィルタを適用する。一方、隣接する２つのブロックの両ブロックに非ゼロの変換係数が存在しない場合、当該２つのブロックの境界にデブロッキングフィルタを適用しないことも可能である。
【0010】
しかしながら、ＡＣＴが適用されたブロックについては、逆変換処理により変換係数から予測残差が復元された後、色空間逆変換により予測残差の色空間がＹＣｇＣｏ空間からＲＧＢ空間に逆変換される。このため、ある色成分のブロックに非ゼロの変換係数が存在する場合、色空間逆変換の際に当該非ゼロの変換係数が他の色成分のブロックに影響を与えることになる。
【0011】
よって、ＡＣＴを用いて符号化されたブロックに対して、非ゼロの変換係数の有無に基づくデブロッキングフィルタ制御を適用すると、デブロッキングフィルタの境界フィルタ強度を適切に制御できずに画質の劣化を引き起こす懸念がある。
【0012】
他の符号化ツールである予測残差合同符号化（Ｊｏｉｎｔ ｃｏｄｉｎｇ ｏｆ ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ：ＪＣＣＲ）が適用される場合も、上記と同様な問題が生じ得る。
【0013】
そこで、本開示は、画質の劣化を抑制するデブロッキングフィルタ装置、復号装置、及びプログラムを提供することを目的とする。
【0014】
図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【0015】
【0016】
図１に示すように、符号化装置１は、ブロック分割部１００と、残差生成部１１０と、切替部１１１と、色空間変換部１１２と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、切替部１４３と、色空間逆変換部１４４と、合成部１５０と、デブロッキングフィルタ１６０と、メモリ１７０と、予測部１８０とを有する。
【0017】
ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを残差生成部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化処理を行う単位（すなわち、符号化対象ブロック）であり、且つ復号装置が復号処理を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。
【0018】
入力画像は、ＲＧＢ信号であって、クロマフォーマットが４：４：４であってもよい。ＲＧＢ空間は、第１色空間の一例である。「Ｒ」成分は第１成分に相当し、「Ｇ」成分は第２成分に相当し、「Ｂ」成分は第３成分に相当する。ブロック分割部１００は、画像を構成するＲ成分、Ｇ成分、及びＢ成分のそれぞれに対してブロック分割を行うことでブロックを出力する。以下の符号化装置の説明において、各色成分を区別しないときは単に符号化対象ブロックと呼ぶ。
【0019】
残差生成部１１０は、ブロック分割部１００が出力する符号化対象ブロックと、符号化対象ブロックを予測部１８０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、残差生成部１１０は、符号化対象ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を切替部１１１に出力する。本実施形態において、残差生成部１１０は、各色成分の符号化対象ブロックと、各色成分の予測ブロックとの差分により各色成分の予測残差を生成する。
【0020】
切替部１１１は、残差生成部１１０が出力する各色成分の予測残差を変換・量子化部１２０及び色空間変換部１１２のいずれか一方に出力する。切替部１１１は、色空間変換処理（ＡＣＴ処理）を行わない場合は予測残差を変換・量子化部１２０に出力し、ＡＣＴ処理を行う場合は予測残差を色空間変換部１１２に出力する。
【0021】
色空間変換部１１２は、各色成分の予測残差に対してＡＣＴ処理を行い、ＡＣＴ処理後の予測残差を変換・量子化部１２０に出力する。色空間変換部１１２は、符号化対象ブロックの予測残差のＲ成分、Ｇ成分、及びＢ成分について下記のような変換計算を行うことで、新たな予測残差を生成する。
【0022】
Ｃｏ＝Ｒ－Ｂ
ｔ＝Ｂ＋（Ｃｏ＞＞１）
Ｃｇ＝Ｇ－ｔ
Ｙ＝ｔ＋（Ｃｇ＞＞１）
ｔ＝Ｂ＋（Ｃｏ＞＞１）
Ｃｇ＝Ｇ－ｔ
Ｙ＝ｔ＋（Ｃｇ＞＞１）
【0023】
但し、「＞＞」は右シフト演算を表す。また、「Ｙ」成分は第１成分に相当し、「Ｃｇ」成分は第２成分に相当し、「Ｃｏ」成分は第３成分に相当する。このようなＹＣｇＣｏ空間は、第２色空間の一例である。
【0024】
切替部１１１及び色空間変換部１１２は、符号化対象ブロックごとに色変換処理を行うか否かを制御可能である。エントロピー符号化部１３０は、当該符号化ブロックに対して色変換処理を行ったか否かを示すフラグ（ＡＣＴ適用フラグ）をビットストリーム中でシグナリングする。
【0025】
なお、色空間変換部１１２におけるＡＣＴ処理は各色成分に対する加算・減算・乗算・除算・シフト処理などにより新たな色成分により構成される予測残差を生成すればよい。また、ＡＣＴ処理は、すべての色成分に影響を及ぼす変換である必要はない。例えば、色空間変換部１１２は、第１成分を変更せずに維持し、第２成分と第３成分との平均値を新たな第２成分とし、第２成分と第３成分との差分を新たな第３成分とする、というＡＣＴ処理を適用してもよい。
【0026】
変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。
【0027】
変換部１２１は、切替部１１１又は色空間変換部１１２が出力する予測残差（ＡＣＴ処理の適用の有無にかかわらず予測残差と呼ぶ）に対して変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。具体的には、変換部１２１は、各色成分の予測残差に対してブロック単位で変換処理を行うことで各色成分の変換係数を生成する。変換処理は、例えばＤＣＴやＤＳＴ、離散ウェーブレット変換などの周波数変換であればよい。また、変換部１２１は、変換処理に関する情報をエントロピー符号化部１３０に出力する。
【0028】
変換処理には、ＨＥＶＣやＶＶＣ規格案で採用されている、変換処理を行わない変換スキップを含む。ＨＥＶＣの変換スキップモードでは水平及び垂直の変換処理を行わずに、予測残差に対しスケーリングを施すことによって変換係数としているが、本実施形態に係る変換スキップは、水平のみ変換処理を適用する変換や垂直のみ変換処理を適用する変換も含む。また、変換部１２１は、変換処理により得られた変換係数に対してさらに変換処理を適用する二次変換処理を行ってもよい。また、二次変換処理は、変換係数の一部の領域のみに適用してもよい。
【0029】
量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ及びスケーリングリストを用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。また、量子化部１２２は、量子化処理に関する情報（具体的には、量子化処理で用いた量子化パラメータ及びスケーリングリストの情報）を、エントロピー符号化部１３０及び逆量子化部１４１に出力する。
【0030】
エントロピー符号化部１３０は、量子化部１２２が出力する量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行ってビットストリーム（符号化データ）を生成し、ビットストリームを復号側に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等を用いることができる。また、エントロピー符号化部１３０は、変換部１２１から入力された変換処理に関する情報をビットストリームに含めて復号側にシグナリングしたり、予測部１８０から入力された予測処理に関する情報をビットストリームに含めて復号側にシグナリングしたりする。
【0031】
さらに、エントロピー符号化部１３０は、ＡＣＴの適用有無を示す色空間変換フラグを符号化対象ブロックごとにビットストリームに含めて復号側にシグナリングする。このような色空間変換フラグをＡＣＴ適用フラグとも呼ぶ。ＡＣＴ適用フラグがオン（“１”）の場合、対応する符号化対象ブロックにＡＣＴが適用されることを示す。ＡＣＴ適用フラグがオフ（“０”）の場合、対応する符号化対象ブロックにＡＣＴが適用されないことを示す。なおＡＣＴ適用フラグの代わりにＡＣＴ非適用フラグを用いてもよい。その場合には、ＡＣＴ非適用フラグがオン（“１”）の場合、対応する符号化対象ブロックにＡＣＴが適用されないことを示す。ＡＣＴ非適用フラグがオフ（“０”）の場合、対応する符号化対象ブロックにＡＣＴが適用されることを示す。
【0032】
逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。
【0033】
逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及びスケーリングリストを用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。
【0034】
逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を切替部１４３に出力する。
【0035】
切替部１４３は、逆変換部１４２が出力する各色成分の復元予測残差を合成部１５０及び色空間逆変換部１４４のいずれか一方に出力する。切替部１４３は、ＡＣＴが適用されたブロックについては復元予測残差を合成部１５０に出力し、ＡＣＴが適用されていないブロックについては復元予測残差を色空間逆変換部１４４に出力する。
【0036】
色空間逆変換部１４４は、色空間変換部１１２が行うＡＣＴ処理の逆処理である色空間逆変換処理（逆ＡＣＴ処理）を行い、逆ＡＣＴ処理後の予測残差を合成部１５０に出力する。具体的には、復元後の予測残差のＹ成分、Ｃｇ成分、Ｃｏ成分を用いて下記のような逆変換計算を行うことにより、ＹＣｇＣｏ空間からＲＧＢ空間への逆変換を行う。
【0037】
ｔ＝Ｙ－（Ｃｇ＞＞１）
Ｇ＝Ｃｇ＋ｔ
Ｂ＝ｔ－（Ｃｏ＞＞１）
Ｒ＝Ｃｏ＋Ｂ
Ｇ＝Ｃｇ＋ｔ
Ｂ＝ｔ－（Ｃｏ＞＞１）
Ｒ＝Ｃｏ＋Ｂ
【0038】
合成部１５０は、逆変換部１４２又は色空間逆変換部１４４が出力する復元予測残差を、予測部１８０が出力する予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復元（再構成）し、復元済みブロックをデブロッキングフィルタ１６０に出力する。なお、復元済みブロックは、再構成ブロックと呼ばれることもある。
【0039】
デブロッキングフィルタ１６０は、合成部１５０が出力する復元済みブロックに対してフィルタ処理を行い、フィルタ処理後の復元済みブロックをメモリ１７０に出力する。フィルタ制御部１６１は、デブロッキングフィルタ１６０を制御する。デブロッキングフィルタ１６０及びフィルタ制御部１６１の詳細については後述する。
【0040】
メモリ１７０は、デブロッキングフィルタ１６０が出力するフィルタ処理後の復元済みブロックを記憶し、復元済みブロックをフレーム単位で復元済み画像として蓄積する。メモリ１７０は、記憶している復元済みブロック若しくは復元済み画像を予測部１８０に出力する。
【0041】
予測部１８０は、ブロック単位で予測処理を行う。予測部１８０は、符号化対象ブロックに対するイントラ予測及びインター予測などの予測処理を施すことにより色成分ごとの予測ブロックを生成する。予測部１８０は、インター予測部１８１と、イントラ予測部１８２と、切替部１８３とを有する。
【0042】
インター予測部１８１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部１８１は、メモリ１７０に記憶された復元済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１８３に出力する。ここで、インター予測部１８１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１８１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。
【0043】
イントラ予測部１８２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部１８２は、メモリ１７０に記憶された復元済み画像のうち、符号化対象ブロックの周辺にある復元済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１８３に出力する。イントラ予測部１８２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。
【0044】
切替部１８３は、インター予測部１８１が出力するインター予測ブロックとイントラ予測部１８２が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを残差生成部１１０及び合成部１５０に出力する。
【0045】
次に、本実施形態に係るデブロッキングフィルタ１６０及びフィルタ制御部１６１について説明する。
【0046】
デブロッキングフィルタ１６０は、復元済みブロック（第１ブロック）と当該復元済みブロックに隣接する復元済みブロック（第２ブロック）とからなる２つのブロックのブロック境界に対するフィルタ処理を行い、フィルタ処理後の各復元済みブロックをメモリ１７０に出力する。フィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減するための処理であって、隣り合う２つのブロックのブロック境界における信号のギャップを平滑化するフィルタ処理である。
【0047】
フィルタ制御部１６１は、デブロッキングフィルタ１６０を制御する。具体的には、フィルタ制御部１６１は、ブロック対のブロック境界に対するフィルタ処理を行うか否かを示す境界フィルタ強度（Ｂｓ：Ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）、及びデブロッキングフィルタ１６０のフィルタ強度を制御する。境界フィルタ強度Ｂｓとは、フィルタ処理を適用するか否か、及びそのフィルタ処理の種類を決定するためのパラメータをいう。なお、フィルタ処理を行うか否かの制御は、境界フィルタ強度Ｂｓを１以上とするか又はゼロとするかの制御とみなすことができる。
【0048】
図２は、本実施形態に係るデブロッキングフィルタ１６０の動作を説明するための図である。図２に示す例では、デブロッキングフィルタ１６０は、８×８画素のブロックごとのブロック境界を対象としてフィルタ処理を行う。また、デブロッキングフィルタ１６０は、４行又は４列を単位としてフィルタ処理を行う。図２に示すブロックＰ（第１再構成ブロック）及びブロックＱ（第２再構成ブロック）では、デブロッキングフィルタ１６０のフィルタ処理の１単位であり、ブロックサイズが４×４画素である一例を示している。ブロックＰ及びＱのそれぞれは、サブブロックと呼ばれてもよい。ブロックＱは、符号化対象ブロックに対応する復元済みブロックであり、ブロックＰは、このブロックＱに隣接する復元済みブロックである。
【0049】
フィルタ制御部１６１は、下記の表１に基づいて境界フィルタ強度Ｂｓを決定する。本実施形態では、境界フィルタ強度Ｂｓの値は０，１，２のいずれかとする。
【0050】
【表1】
【0051】
図２及び表１に示すように、フィルタ制御部１６１は、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合、Ｂｓ値を２とする。
【0052】
フィルタ制御部１６１は、ブロックＰ及びＱの両方に動き補償予測（インター予測）が適用されており、且つ少なくとも以下の（ａ）乃至（ｄ）の中の１つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。
【0053】
（ａ）ブロックＰ及びＱの動きベクトルの差の絶対値が閾値（例えば１画素）以上であること。
【0054】
（ｂ）ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。
【0055】
（ｃ）ブロックＰ及びＱの少なくとも一方が有意な変換係数（すなわち、非ゼロの変換係数）を含むこと。
【0056】
（ｄ）ブロックＰ及びＱの少なくとも一方にＡＣＴが適用されていること。
【0057】
フィルタ制御部１６１は、境界フィルタ強度Ｂｓの値が０の場合にはデブロッキングフィルタ処理を行わないようデブロッキングフィルタ１６０を制御する。以下、図２に示す垂直ブロック境界を例に説明する。
【0058】
フィルタ制御部１６１は、境界フィルタ強度Ｂｓの値が１又は２の場合には、次式（１）を満たす場合に、デブロッキングフィルタ処理を行うようデブロッキングフィルタ１６０を制御してもよい。
【0059】
【数1】
【0060】
なお、フィルタ制御部１６１は、デブロッキングフィルタ処理を行う場合、以下の条件式（２）～（７）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用してもよい。
【0061】
【数2】
【0062】
但し、閾値β及びｔＣの値は、隣接するブロックＰとブロックＱの量子化パラメータの平均値Ｑａｖに応じて変わる。
【0063】
＜復号装置の構成＞
次に、本実施形態に係る復号装置について、符号化装置１との相違点を主として説明する。図３は、本実施形態に係る復号装置２の構成を示す図である。
次に、本実施形態に係る復号装置について、符号化装置１との相違点を主として説明する。図３は、本実施形態に係る復号装置２の構成を示す図である。
【0064】
図３に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、切替部２１５と、色空間逆変換部２１６と、合成部２２０と、デブロッキングフィルタ２３０と、メモリ２４０と、予測部２５０とを有する。
【0065】
エントロピー復号部２００は、符号化データ（ビットストリーム）を復号し、復号対象ブロックに対応する量子化変換係数を取得し、取得した量子化変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、変換処理及び量子化処理に関する情報を取得し、変換処理及び量子化処理に関する情報を逆量子化・逆変換部２１０に出力する。さらに、エントロピー復号部２００は、予測処理に関する情報を取得し、予測処理に関する情報を予測部２５０に出力する。エントロピー復号部２００は、復号対象ブロックごとの色空間変換フラグを取得し、取得した色空間変換フラグを切替部２１５及びフィルタ制御部２３１に出力する。
【0066】
逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。
【0067】
逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及びスケーリングリストを用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。
【0068】
逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元予測残差を切替部２１５に出力する。
【0069】
切替部２１５は、色空間変換フラグに基づいて、逆変換部２１２が出力する各色成分の予測残差を合成部２２０及び色空間逆変換部２１６のいずれか一方に出力する。切替部１１１は、色空間逆変換処理（ＡＣＴ）が適用されたブロックについては予測残差を変換・量子化部１２０に出力し、ＡＣＴが適用されたブロックについては予測残差を色空間逆変換部２１６に出力する。
【0070】
色空間逆変換部２１６は、符号化装置１の色空間変換部１１２が行うＡＣＴ処理の逆処理である色空間逆変換処理（逆ＡＣＴ処理）を行い、逆ＡＣＴ処理後の予測残差を合成部２２０に出力する。具体的には、色空間逆変換部２１６は、復元後の予測残差のＹ成分、Ｃｇ成分、Ｃｏ成分を用いて下記のような逆変換計算を行う。
【0071】
ｔ＝Ｙ－（Ｃｇ＞＞１）
Ｇ＝Ｃｇ＋ｔ
Ｂ＝ｔ－（Ｃｏ＞＞１）
Ｒ＝Ｃｏ＋Ｂ
Ｇ＝Ｃｇ＋ｔ
Ｂ＝ｔ－（Ｃｏ＞＞１）
Ｒ＝Ｃｏ＋Ｂ
【0072】
合成部２２０は、切替部２１５又は色空間逆変換部２１６が出力する予測残差と、予測部２５０が出力する予測ブロックとを画素単位で合成することにより、元のブロックを復号（再構成）し、復元済みブロックをデブロッキングフィルタ２３０に出力する。
【0073】
デブロッキングフィルタ２３０は、合成部２２０が出力する復元済みブロックに対してフィルタ処理を行い、フィルタ処理後の復元済みブロックをメモリ２４０に出力する。具体的には、デブロッキングフィルタ２３０は、復元済みブロック（第１ブロック）と当該復元済みブロックに隣接する復元済みブロック（第２ブロック）とからなる２つのブロックのブロック境界に対するフィルタ処理を行い、フィルタ処理後の各復元済みブロックをメモリ２４０に出力する。デブロッキングフィルタ２３０の機能は、符号化装置１のデブロッキングフィルタ１６０の機能と同様である。
【0074】
フィルタ制御部２３１は、デブロッキングフィルタ２３０を制御する。フィルタ制御部２３１は、デブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、ブロック対のブロック境界に対するフィルタ処理を行うか否かを示す境界フィルタ強度（Ｂｓ：Ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）、及びデブロッキングフィルタ２３０のフィルタ強度を制御する。フィルタ制御部２３１の機能は、符号化装置１のフィルタ制御部１６１の機能と同様である。フィルタ制御部２３１の機能は、上記の表１に基づいて境界フィルタ強度Ｂｓを決定する。
【0075】
すなわち、本実施形態に係るフィルタ制御部２３１は、隣接するブロックＰ及びブロックＱの少なくとも一方が適応色変換（ＡＣＴ）を用いて符号化されているか否かに基づいて、デブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを制御する。
【0076】
上述したように、エントロピー復号部２００は、適応色変換を用いて符号化されているか否かを示すフラグ（色空間変換フラグ）をブロックＰ及びブロックＱのそれぞれについて取得する。フィルタ制御部２３１は、ブロックＰ及びブロックＱのそれぞれについての色空間変換フラグに基づいて、デブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを制御する。
【0077】
フィルタ制御部２３１は、ブロックＰ及びブロックＱの少なくとも一方が適応色変換を用いて符号化されている場合、デブロッキングフィルタ２３０によるフィルタ処理を行うように境界フィルタ強度Ｂｓを制御する（すなわち、境界フィルタ強度Ｂｓ＝１を設定する）。具体的には、フィルタ制御部２３１は、ブロックＰ及びブロックＱの両方に非ゼロの変換係数が存在しない場合であっても、ブロックＰ及びブロックＱの少なくとも一方が適応色変換を用いて符号化されている場合には、デブロッキングフィルタ２３０によるフィルタ処理を行うように境界フィルタ強度Ｂｓを制御する。
【0078】
メモリ２４０は、合成部２２０が出力する復元済みブロックを記憶し、復元済みブロックをフレーム単位で復元済み画像として蓄積する。メモリ２４０は、復元済みブロック若しくは復元済み画像を予測部２５０に出力する。また、メモリ２４０は、フレーム単位の復元済み画像を復号装置２の外部に出力する。
【0079】
予測部２５０は、ブロック単位で色成分ごとに予測を行う。予測部２５０は、インター予測部２５１と、イントラ予測部２５２と、切替部２５３とを有する。
【0080】
インター予測部２５１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２５１は、エントロピー復号部２００が出力するインター予測に関する情報（例えば、動きベクトル情報）に基づいて、メモリ２４０に記憶された復元済み画像を参照画像として用いて符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部２５３に出力する。
【0081】
イントラ予測部２５２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２５２は、エントロピー復号部２００が出力するイントラ予測に関する情報（例えば、イントラ予測モード情報）に応じたイントラ予測モードを用いて、メモリ２４０に記憶された復元済み画像のうち符号化対象ブロックの周辺にある復元済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２５３に出力する。
【0082】
切替部２５３は、インター予測部２５１が出力するインター予測ブロックとイントラ予測部２５２が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。
【0083】
このように、本実施形態に係る復号装置２は、符号化ストリームを復号することで、ブロックＰに対応する変換係数を出力するエントロピー復号部２００と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行うことで、ブロックＰ（第１ブロック）に対応する予測残差を復元する逆量子化・逆変換部２１０と、復元した予測残差とブロックＰを予測して得た予測ブロックとを合成することでブロックＰを復元する合成部２２０と、復元したブロックＰと、ブロックＰに隣接する復元済みのブロックＱ（第２ブロック）との境界に対するフィルタ処理を行うデブロッキングフィルタ２３０と、ブロックＰ及びブロックＱの少なくとも一方が適応色変換（ＡＣＴ）を用いて符号化されているか否かに基づいて、デブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを制御するフィルタ制御部２３１とを有する。
【0084】
ＡＣＴが適用されたブロックについては、逆変換処理により変換係数から予測残差が復元された後、色空間逆変換（逆ＡＣＴ）により予測残差の色空間がＹＣｇＣｏ空間からＲＧＢ空間に逆変換される。このため、ある色成分のブロックに非ゼロの変換係数が存在する場合、色空間逆変換の際に当該非ゼロの変換係数が他の色成分のブロックに影響を与えることになる。
【0085】
このため、本実施形態に係るフィルタ制御部２３１は、非ゼロの変換係数の有無に基づくデブロッキングフィルタ２３０の境界フィルタ強度Ｂｓの制御だけではなく、ＡＣＴの適用有無を考慮してデブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを制御する。これにより、デブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを適切に制御可能になるため、ＡＣＴを適用する場合であっても画質の劣化を抑制できる。
【0086】
＜フィルタ制御部の動作＞
次に、本実施形態に係るフィルタ制御部１６１及びフィルタ制御部２３１の動作について説明する。符号化側のフィルタ制御部１６１及び復号側のフィルタ制御部２３１は同じ動作を行うため、ここでは復号側のフィルタ制御部２３１を例に挙げて説明する。図４は、本実施形態に係るフィルタ制御部２３１の動作例を示す図である。なお、図４に示す判定の順序は一例であって、判定の順序を変更してもよい。
次に、本実施形態に係るフィルタ制御部１６１及びフィルタ制御部２３１の動作について説明する。符号化側のフィルタ制御部１６１及び復号側のフィルタ制御部２３１は同じ動作を行うため、ここでは復号側のフィルタ制御部２３１を例に挙げて説明する。図４は、本実施形態に係るフィルタ制御部２３１の動作例を示す図である。なお、図４に示す判定の順序は一例であって、判定の順序を変更してもよい。
【0087】
図４に示すように、ステップＳ１において、フィルタ制御部２３１は、ブロックＰ及びＱからなるブロック対の少なくとも一方にイントラ予測が適用されているか否かを判定する。ブロック対の少なくとも一方にイントラ予測が適用されている場合（ステップＳ１：ＹＥＳ）、ステップＳ２において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界フィルタ強度Ｂｓ＝２を設定する。
【0088】
ブロック対のいずれもイントラ予測が適用されていない場合（ステップＳ１：ＮＯ）、ステップＳ３において、フィルタ制御部２３１は、対象ブロック対の動きベクトルの差が閾値以上であるか否かを判定する。対象ブロック対の動きベクトルの差が閾値以上である場合（ステップＳ３：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界フィルタ強度Ｂｓ＝１を設定する。
【0089】
ブロック対の動きベクトルの差が閾値以上ではない場合（ステップＳ３：ＮＯ）、ステップＳ５において、フィルタ制御部２３１は、ブロック対の動きベクトルの数又は参照画像が異なるか否かを判定する。ブロック対の動きベクトルの数又は参照画像が異なる場合（ステップＳ５：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界フィルタ強度Ｂｓ＝１を設定する。
【0090】
ブロック対の動きベクトルの数又は参照画像が同じである場合（ステップＳ５：ＮＯ）、ステップＳ６において、フィルタ制御部２３１は、ブロック対の少なくとも一方のブロックに非ゼロの変換係数が含まれるか否かを判定する。ブロック対の少なくとも一方に非ゼロの変換係数が含まれている場合（ステップＳ６：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界フィルタ強度Ｂｓ＝１を設定する。
【0091】
ブロック対のいずれのブロックにも非ゼロの変換係数が含まれていない場合（ステップＳ６：ＮＯ）、ステップＳ７において、フィルタ制御部２３１は、エントロピー復号部２００が出力する各ブロックの色空間変換フラグに基づいて、ブロック対の少なくとも一方のブロックがＡＣＴを用いて符号化されているか否かを判定する。ブロック対の少なくとも一方のブロックがＡＣＴを用いて符号化されている場合（ステップＳ７：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界フィルタ強度Ｂｓ＝１を設定する。一方、ブロック対のいずれのブロックもＡＣＴを用いて符号化されていない場合（ステップＳ７：ＮＯ）、ステップＳ８において、フィルタ制御部２３１は、デブロッキングフィルタ処理を行わないようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界フィルタ強度Ｂｓ＝０を設定する。
【0092】
＜変更例１＞
復号側のフィルタ制御部２３１は、ブロック対（ブロックＰ及びブロックＱ）の少なくとも一方のブロックが非ゼロの変換係数を含むか否かを、符号化装置１からシグナリングされるフラグに基づいて判定してもよい。
復号側のフィルタ制御部２３１は、ブロック対（ブロックＰ及びブロックＱ）の少なくとも一方のブロックが非ゼロの変換係数を含むか否かを、符号化装置１からシグナリングされるフラグに基づいて判定してもよい。
【0093】
具体的には、符号化装置１のエントロピー符号化部１３０は、非ゼロの変換係数を含むか否かを示すフラグ（ｔｕ＿ｃｏｄｅｄ＿ｆｌａｇ）をブロックごとに符号化ストリームに含める。例えば、エントロピー符号化部１３０は、非ゼロの変換係数を含むブロックについてはフラグ（ｔｕ＿ｃｏｄｅｄ＿ｆｌａｇ）を“１”とし、非ゼロの変換係数を含まないブロックについてはフラグ（ｔｕ＿ｃｏｄｅｄ＿ｆｌａｇ）を“０”とする。
【0094】
復号装置２のエントロピー復号部２００は、ブロックごとにフラグ（ｔｕ＿ｃｏｄｅｄ＿ｆｌａｇ）を取得し、取得したフラグ（ｔｕ＿ｃｏｄｅｄ＿ｆｌａｇ）をフィルタ制御部２３１に出力する。フィルタ制御部２３１は、フラグ（ｔｕ＿ｃｏｄｅｄ＿ｆｌａｇ）が“１”であるブロックについては非ゼロの変換係数を含まないと解釈する。そして、フィルタ制御部２３１は、下記の表２に示すようにデブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを設定する。
【0095】
【表2】
【0096】
表２に示すように、フィルタ制御部２３１は、ブロック対の少なくとも一方のブロックのｔｕ＿ｃｏｄｅｄ＿ｆｌａｇが“１”である場合、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界フィルタ強度Ｂｓ＝１を設定する。
【0097】
＜変更例２＞
上述したように、ＡＣＴが適用されたブロックについては、逆変換処理により変換係数から予測残差が復元された後、逆ＡＣＴにより予測残差の色空間がＹＣｇＣｏ空間からＲＧＢ空間に逆変換される。このため、ある色成分のブロックに非ゼロの変換係数が存在する場合、逆ＡＣＴの際に当該非ゼロの変換係数が他の色成分のブロックに影響を与える。
上述したように、ＡＣＴが適用されたブロックについては、逆変換処理により変換係数から予測残差が復元された後、逆ＡＣＴにより予測残差の色空間がＹＣｇＣｏ空間からＲＧＢ空間に逆変換される。このため、ある色成分のブロックに非ゼロの変換係数が存在する場合、逆ＡＣＴの際に当該非ゼロの変換係数が他の色成分のブロックに影響を与える。
【0098】
このため、ＡＣＴが適用される場合、非ゼロの変換係数の有無に基づくデブロッキングフィルタ２３０の境界フィルタ強度Ｂｓの制御は適切に機能しない。このため、本変更例では、変換係数ではなく、逆変換処理後の予測残差に基づいてデブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを制御する。これにより、逆ＡＣＴの際に非ゼロの変換係数が他の色成分のブロックに影響を与えても、当該影響を受けた後の予測残差に基づいてデブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを適切に制御できる。
【0099】
すなわち、本変更例に係るフィルタ制御部１６１及びフィルタ制御部２３１は、下記の表３に基づいてデブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを設定する。
【0100】
【表3】
【0101】
図５は、本変更例に係る符号化装置１の構成を示す図である。
【0102】
図５に示すように、符号化装置１において、フィルタ制御部１６１には、合成部１５０に入力される予測残差（復元予測残差）と同じ予測残差が入力される。ＡＣＴが適用されるブロックについては、逆ＡＣＴ後の予測残差がフィルタ制御部１６１に入力されることになる。フィルタ制御部１６１は、ブロック対（ブロックＰ及びブロックＱ）の少なくとも一方のブロックの復元予測残差が非ゼロの値を含む場合、デブロッキングフィルタ処理を行うようデブロッキングフィルタ１６０を制御する。具体的には、フィルタ制御部１６１は、境界フィルタ強度Ｂｓ＝１を設定する。
【0103】
図６は、本変更例に係る復号装置２の構成を示す図である。
【0104】
図６に示すように、復号装置２において、フィルタ制御部２３１には、合成部２２０に入力される予測残差（復元予測残差）と同じ予測残差が入力される。ＡＣＴが適用されるブロックについては、逆ＡＣＴ後の予測残差がフィルタ制御部２３１に入力されることになる。フィルタ制御部２３１は、ブロック対（ブロックＰ及びブロックＱ）の少なくとも一方のブロックの復元予測残差が非ゼロの値を含む場合、デブロッキングフィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界フィルタ強度Ｂｓ＝１を設定する。
【0105】
［第２実施形態］
上述の実施形態及びその変更例において、符号化ツールの１つであるＡＣＴが適用される一例について説明した。しかしながら、他の符号化ツールである予測残差合同符号化（Ｊｏｉｎｔ ｃｏｄｉｎｇ ｏｆ ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ：ＪＣＣＲ）が適用される場合も、上記と同様な問題が生じ得る。このため、上述の実施形態及びその変更例をＪＣＣＲに適用し、上述の実施形態及びその変更例におけるＡＣＴをＪＣＣＲと適宜読み替えてもよい。例えば、次の表４に示すような境界フィルタ強度Ｂｓの制御とすることができる。
上述の実施形態及びその変更例において、符号化ツールの１つであるＡＣＴが適用される一例について説明した。しかしながら、他の符号化ツールである予測残差合同符号化（Ｊｏｉｎｔ ｃｏｄｉｎｇ ｏｆ ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ：ＪＣＣＲ）が適用される場合も、上記と同様な問題が生じ得る。このため、上述の実施形態及びその変更例をＪＣＣＲに適用し、上述の実施形態及びその変更例におけるＡＣＴをＪＣＣＲと適宜読み替えてもよい。例えば、次の表４に示すような境界フィルタ強度Ｂｓの制御とすることができる。
【0106】
【表4】
【0107】
ＪＣＣＲは、色差成分の係数符号化モードである（非特許文献１参照）。ＪＣＣＲでは、符号化装置１は、第１色差成分（Ｃｂ成分）及び第２色差成分（Ｃｒ成分）のそれぞれの予測残差の相関を利用して、第１色差成分の予測残差及び第２色差成分の予測残差から、１つの合同予測残差を生成する。例えば、符号化装置１は、第２色差成分の予測残差を正負反転したものを第１色差成分の予測残差と合成して合同予測残差を生成する。そして、符号化装置１は、生成した合同予測残差に対して変換処理、量子化処理及びエントロピー符号化処理を行って伝送する。
【0108】
復号装置２は、伝送された合同予測残差から第１色差成分の予測残差及び第２色差成分の予測残差を再構成する。このように、２つの色差成分について１つの合同予測残差のみを伝送することで、符号化効率を向上させている。
【0109】
このように、本実施形態に係るデブロッキングフィルタ装置は、第１再構成ブロック（ブロックＰ）と第２再構成ブロック（ブロックＱ）との境界に対するフィルタ処理を行うデブロッキングフィルタ（１６０、２３０）と、第１再構成ブロック（ブロックＰ）及び第２再構成ブロック（ブロックＱ）の少なくとも一方が、Ｃｂ色差成分及びＣｒ色差成分のそれぞれの予測残差から１つの合同予測残差を生成するＪＣＣＲ（Ｊｏｉｎｔ ｃｏｄｉｎｇ ｏｆ ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ）を用いて符号化されているか否かに基づいて、デブロッキングフィルタ（１６０、２３０）の境界フィルタ強度Ｂｓを制御するフィルタ制御部（１６１、２３１）と、を備える。
【0110】
フィルタ制御部（１６１、２３１）は、第１再構成ブロック（ブロックＰ）及び第２再構成ブロック（ブロックＱ）の少なくとも一方がＪＣＣＲを用いて符号化されている場合、デブロッキングフィルタ（１６０、２３０）によるフィルタ処理を行うように境界フィルタ強度Ｂｓを制御してもよい。
【0111】
フィルタ制御部（１６１、２３１）は、第１再構成ブロック（ブロックＰ）及び第２再構成ブロック（ブロックＱ）の両方に非ゼロの変換係数が存在しない場合であっても、第１再構成ブロック（ブロックＰ）及び第２再構成ブロック（ブロックＱ）の少なくとも一方がＪＣＣＲを用いて符号化されている場合には、デブロッキングフィルタ（１６０、２３０）によるフィルタ処理を行うように境界フィルタ強度Ｂｓを制御してもよい。
【0112】
本実施形態において、復号装置２のエントロピー復号部２００は、ＪＣＣＲを用いて符号化されているか否かを示すフラグを第１再構成ブロック（ブロックＰ）及び第２再構成ブロック（ブロックＱ）のそれぞれについて取得してもよい。フィルタ制御部２３１は、第１再構成ブロック（ブロックＰ）及び第２再構成ブロック（ブロックＱ）のそれぞれについてのフラグに基づいて、デブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを制御してもよい。例えば、フィルタ制御部２３１は、第１再構成ブロック（ブロックＰ）及び第２再構成ブロック（ブロックＱ）の少なくとも一方のブロックの前記フラグが“１”である場合、デブロッキングフィルタ２３０によるフィルタ処理を行うように境界フィルタ強度Ｂｓを制御してもよい。
【0113】
本実施形態において、復号装置２のエントロピー復号部２００は、非ゼロの変換係数を含むか否かを示すｔｕ＿ｃｏｄｅｄ＿ｆｌａｇを第１再構成ブロック（ブロックＰ）及び第２再構成ブロック（ブロックＱ）のそれぞれについてさらに取得してもよい。フィルタ制御部２３１は、第１再構成ブロック（ブロックＰ）及び第２再構成ブロック（ブロックＱ）のそれぞれについてのｔｕ＿ｃｏｄｅｄ＿ｆｌａｇにさらに基づいて、デブロッキングフィルタ２３０の境界フィルタ強度Ｂｓを制御してもよい。例えば、フィルタ制御部２３１は、第１再構成ブロック（ブロックＰ）及び第２再構成ブロック（ブロックＱ）の少なくとも一方のブロックのｔｕ＿ｃｏｄｅｄ＿ｆｌａｇが“１”である場合、デブロッキングフィルタ２３０によるフィルタ処理を行うように境界フィルタ強度Ｂｓを制御してもよい。
【0114】
ＪＣＣＲが適用される第１色差成分（Ｃｂ成分）及び第２色差成分（Ｃｒ成分）の各ブロックについては、上述したｔｕ＿ｃｏｄｅｄ＿ｆｌａｇが“１”に設定されるものの、実際には一方の色成分に変換係数が存在しないことになる。このため、上述した変更例２と同様に、ある色成分について、非ゼロの変換係数が存在するか否かの判定に変えて、再構成された予測残差が非ゼロの値を含むか否かの判定を用いることが好ましい。
【0115】
［その他の実施形態］
上述した実施形態において、デブロッキングフィルタ（１６０、２３０）の制御として境界フィルタ強度Ｂｓを制御する一例について主として説明した。しかしながら、境界フィルタ強度Ｂｓの制御に限らず、フィルタ長の制御や、複数のフィルタの切り替え制御を行ってもよい。
上述した実施形態において、デブロッキングフィルタ（１６０、２３０）の制御として境界フィルタ強度Ｂｓを制御する一例について主として説明した。しかしながら、境界フィルタ強度Ｂｓの制御に限らず、フィルタ長の制御や、複数のフィルタの切り替え制御を行ってもよい。
【0116】
上述した符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。
【0117】
符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。
【0118】
以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0119】
本願は、日本国特許出願第２０２０－１０１２９３号（２０２０年６月１０日出願）の優先権を主張し、その内容のすべてが参照により本願明細書に組み込まれている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】