特許 6998846 画像復号装置、画像符号化装置、画像処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-23

(45)【発行日】2022-01-18

(54)【発明の名称】画像復号装置、画像符号化装置、画像処理システム及びプログラム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20220111BHJP

   H04N 19/159 20140101ALI20220111BHJP

   H04N 19/176 20140101ALI20220111BHJP

【ＦＩ】

H04N19/117

H04N19/159

H04N19/176

【請求項の数】 12

(21)【出願番号】P 2018161923

(22)【出願日】2018-08-30

(65)【公開番号】P2020036223

(43)【公開日】2020-03-05

【審査請求日】2020-08-11

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ特許業務法人

(74)【代理人】

【識別番号】110001106

【氏名又は名称】キュリーズ特許業務法人

(72)【発明者】

【氏名】海野 恭平

(72)【発明者】

【氏名】河村 圭

(72)【発明者】

【氏名】内藤 整

(72)【発明者】

【氏名】木谷 佳隆

【審査官】山▲崎▼ 雄介

(56)【参考文献】

【文献】国際公開第２０１８／０６６２４１（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０５６６６５（ＷＯ，Ａ１）

【文献】国際公開第２０１１／１４５６０１（ＷＯ，Ａ１）

【文献】国際公開第２０１０／００１９１１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１３／０２９４５２５（ＵＳ，Ａ１）

【文献】国際公開第２０１４／０４５９１９（ＷＯ，Ａ１）

【文献】Kyohei Unno, et al.，CE2:Extended Deblocking Filter (CE2.2.1.2)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10-18 July 2018，JVET-K0393-v1，2018年07月04日，http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=3913

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備え、
前記制御部は、
第１条件が満たされている場合に、前記閾値として第１閾値を設定し、
前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定し、
前記第１条件は、前記ブロック境界の境界強度が所定値以上であるという条件であり、
前記第２条件は、前記ブロック境界の境界強度が所定値未満であるという条件である、画像復号装置。

【請求項2】

対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備え、
前記制御部は、
第１条件が満たされている場合に、前記閾値として第１閾値を設定し、
前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定し、
前記第１条件は、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるという条件である、画像復号装置。

【請求項3】

前記第２条件は、前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでないという条件である、請求項２に記載の画像復号装置。

【請求項4】

前記第１閾値を指定するための情報要素を含む制御データを受信する受信部を備える、請求項１乃至請求項３のいずれか１項に記載の画像復号装置。

【請求項5】

前記第２閾値を指定するための情報要素を含む制御データを受信する受信部を備える、請求項４に記載の画像復号装置。

【請求項6】

対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備え、
前記制御部は、
第１条件が満たされている場合に、前記閾値として第１閾値を設定し、
前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定し、
前記第１条件は、前記ブロック境界の境界強度が所定値以上であるという条件であり、
前記第２条件は、前記ブロック境界の境界強度が所定値未満であるという条件である、画像符号化装置。

【請求項7】

画像符号化装置及び画像復号装置を備える画像処理システムであって、
前記画像符号化装置及び前記画像復号装置は、
対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備え、
前記制御部は、
第１条件が満たされている場合に、前記閾値として第１閾値を設定し、
前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定し、
前記第１条件は、前記ブロック境界の境界強度が所定値以上であるという条件であり、
前記第２条件は、前記ブロック境界の境界強度が所定値未満であるという条件である、画像処理システム。

【請求項8】

プログラムであって、コンピュータに、
対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するステップＡと、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定するステップＢと、を実行させ、
前記ステップＢは、
第１条件が満たされている場合に、前記閾値として第１閾値を設定するステップと、
前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定するステップと、を含み、
前記第１条件は、前記ブロック境界の境界強度が所定値以上であるという条件であり、
前記第２条件は、前記ブロック境界の境界強度が所定値未満であるという条件である、プログラム。

【請求項9】

対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備え、
前記制御部は、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記ブロック境界の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、
前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記ブロック境界の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する、画像復号装置。

【請求項10】

対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備え、
前記制御部は、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記ブロック境界の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、
前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記ブロック境界の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する、画像符号化装置。

【請求項11】

画像符号化装置及び画像復号装置を備える画像処理システムであって、
前記画像符号化装置及び前記画像復号装置は、
対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、
前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備え、
前記制御部は、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記ブロック境界の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、
前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記ブロック境界の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する、画像処理システム。

【請求項12】

プログラムであって、コンピュータに、
対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するステップＡと、
前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定するステップＢと、を実行させ、
前記ステップＢは、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定するステップと、
前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記ブロック境界の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定するステップと、
前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記ブロック境界の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定するステップと、を含む、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像復号装置、画像符号化装置、画像処理システム及びプログラムに関する。

【背景技術】

【0002】

従来、イントラ予測（フレーム内予測）又はインター予測（フレーム間予測）によって生成される予測信号と入力画像信号との差分である予測残差信号を生成し、予測残差信号の変換処理及び量子化処理を行う技術（例えば、ＨＥＶＣ；Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が提案されている（例えば、非特許文献１）。

【0003】

このような画像処理技術において、ブロック（予測ブロック、変換ブロックなど）のサイズに応じて、ブロック境界に適用するフィルタ処理の強度を変更する技術も提案されている（例えば、特許文献１、２）。

【先行技術文献】

【非特許文献】

【0004】

【文献】ＩＴＵ－Ｔ Ｈ．２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ

【特許文献】

【0005】

【文献】特開２０１１－２２３３０２号公報

【文献】特開２０１７－０６９８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した画像処理技術では、フィルタ処理の強度を変更するか否かを判定するためのブロックのブロックサイズの閾値が一定である。

【0007】

しかしながら、発明者等は、鋭意検討の結果、上述した閾値が一定であるケースよりも、上述した閾値を適切に使い分けたケースの方が効果的にブロックノイズを低減することが可能であることを見出した。

【0008】

そこで、本発明は、上述した課題を解決するためになされたものであり、フィルタ処理の適用によってブロックノイズを効果的に低減することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

第１の特徴に係る画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。

【0010】

第２の特徴に係る画像符号化装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。

【0011】

第３の特徴に係る画像処理システムは、画像符号化装置及び画像復号装置を備える。前記画像符号化装置及び前記画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。

【0012】

第４の特徴に係るプログラムは、コンピュータに、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するステップＡと、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定するステップＢと、を実行させる。前記ステップＢは、第１条件が満たされている場合に、前記閾値として第１閾値を設定するステップと、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定するステップと、を含む。

【0013】

第５の特徴に係る画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備える。前記制御部は、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する。

【0014】

第６の特徴に係る画像符号化装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備える。前記制御部は、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する。

【0015】

第７の特徴に係る画像処理システムは、画像符号化装置及び画像復号装置を備える。前記画像符号化装置及び前記画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定する制御部と、を備える。前記制御部は、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定し、前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定する。

【0016】

第８の特徴に係るプログラムは、コンピュータに、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するステップＡと、前記フィルタ処理として、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を適用するか否かを決定するステップＢと、を実行させる。前記ステップＢは、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上である場合に、前記超強フィルタ処理を適用すると決定するステップと、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、或いは、前記境界部分の境界強度が所定値以上である場合に、前記超強フィルタ処理として第１超強フィルタ処理を適用すると決定するステップと、前記対象ブロック及び前記隣接ブロックの双方がイントラ予測ブロックでない場合に、或いは、前記境界部分の境界強度が所定値未満である場合に、前記超強フィルタ処理として前記第１超強フィルタ処理よりも平滑度合いが小さい第２超強フィルタ処理を適用すると決定するステップと、を含む。

【発明の効果】

【0017】

一態様によれば、フィルタ処理の適用によってブロックノイズを効果的に低減することを可能とする画像復号装置、画像符号化装置、画像処理システム及びプログラムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】図１は、実施形態に係る画像処理システム１０を示す図である。

【図2】図２は、実施形態に係る画像符号化装置１００を示す図である。

【図3】図３は、実施形態に係るインループフィルタ処理部１５０を示す図である。

【図4】図４は、実施形態に係るブロックサイズを説明するための図である。

【図5】図５は、実施形態に係るフィルタ処理を説明するための図である。

【図6】図６は、実施形態に係る画像復号装置２００を示す図である。

【図7】図７は、実施形態に係るインループフィルタ処理部２５０を示す図である。

【図8】図８は、実施形態に係るフィルタ適用方法を説明するための図である。

【図9】図９は、変更例１に係るフィルタ適用方法を説明するための図である。

【図10】図１０は、変更例２に係るフィルタ適用方法を説明するための図である。

【図11】図１１は、変更例３に係るフィルタ適用方法を説明するための図である。

【図12】図１２は、変更例４に係るフィルタ適用方法を説明するための図である。

【発明を実施するための形態】

【0019】

以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。

【0020】

但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。

【0021】

［開示の概要］
開示の概要に係る画像復号装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。

【0022】

開示の概要に係る画像復号装置では、ブロック境界に適用するフィルタ処理の強度を設定する際に参照される閾値を使い分けることによって、フィルタ処理の適用によってブロックノイズを効果的に低減することができる。

【0023】

開示の概要に係る画像符号化装置は、対象ブロックと前記対象ブロックに隣接する隣接ブロックとのブロック境界にフィルタ処理を適用するフィルタ処理部と、前記対象ブロック及び前記隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、前記フィルタ処理の強度を設定する制御部と、を備える。前記制御部は、第１条件が満たされている場合に、前記閾値として第１閾値を設定し、前記第１条件とは異なる第２条件が満たされている場合に、前記閾値として前記第１閾値とは異なる第２閾値を設定する。

【0024】

開示の概要に係る画像符号化装置では、ブロック境界に適用するフィルタ処理の強度を設定する際に参照される閾値を使い分けることによって、フィルタ処理の適用によってブロックノイズを効果的に低減することができる。

【0025】

開示の概要としては、上述した画像復号装置の動作に係る画像復号方法が提供されてもよく、上述した画像符号化装置の動作に係る画像符号化方法が提供されてもよい。開示の概要としては、上述した画像復号装置及び画像符号化装置を有する画像処理システムが提供されてもよい。開示の概要としては、上述した画像復号装置の動作に係るプログラムが提供されてもよく、上述した画像符号化装置の動作に係るプログラムが提供されてもよい。

【0026】

開示の概要では、上述した非特許文献１で知られている弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理を新たに導入するにあたって、超強フィルタ処理を適用する際に参照される閾値の使い分けについて主として説明する。すなわち、開示の概要では、超強フィルタ処理を適切に適用することによってブロックノイズを効果的に低減することができる。

【0027】

［実施形態］
（画像処理システム）
以下において、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る実施形態に係る画像処理システム１０を示す図である。

【0028】

図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成する。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成する。符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

【0029】

（画像符号化装置）
以下において、実施形態に係る画像符号化装置について説明する。図２は、実施形態に係る画像符号化装置１００を示す図である。

【0030】

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

【0031】

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定する。インター予測部１１１は、予測ブロック及び動きベクトルに基づいて予測信号を予測ブロック毎に生成する。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力する。参照フレームは、対象フレームとは異なるフレームである。

【0032】

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成する。イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力する。参照ブロックは、予測対象のブロック（以下、対象ブロック）について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

【0033】

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力する。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する。

【0034】

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算し、フィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力する。フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

【0035】

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得する。さらに、変換・量子化部１３１は、係数レベル値の量子化を行ってもよい。変換処理は、予測残差信号を周波数成分信号に変換する処理である。変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。

【0036】

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

【0037】

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力する。例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

【0038】

符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化する。制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズなどのサイズデータを含んでもよい。

【0039】

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力する。例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

【0040】

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積する。フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

【0041】

（インループフィルタ処理部）
以下において、実施形態に係るインループフィルタ処理部について説明する。図３は、実施形態に係るインループフィルタ処理部１５０を示す図である。

【0042】

図３に示すように、インループフィルタ処理部１５０は、対象ブロック境界検出部１５１と、隣接ブロック境界検出部１５２と、境界強度判定部１５３と、フィルタ処理決定部１５４と、フィルタ処理部１５５とを有する。ここで、末尾に“Ａ”が付されている構成は、垂直方向のブロック境界に対するデブロッキングフィルタ処理に関する構成であり、末尾に“Ｂ”が付されている構成は、水平方向のブロック境界に対するデブロッキングフィルタ処理に関する構成である。ここでは、垂直方向のブロック境界に対するデブロッキングフィルタ処理が行われた後に、水平方向のブロック境界に対するデブロッキングフィルタ処理が行われるケースについて例示する。

【0043】

デブロッキングフィルタ処理は、上述したように、符号化ブロックに対して適用されてもよく、予測ブロックに対して適用されてもよく、変換ブロックに対して適用されてもよい。すなわち、対象ブロック及び隣接ブロックは、符号化ブロックであってもよく、予測ブロックであってもよく、変換ブロックであってもよい。

【0044】

垂直方向のブロック境界に対するデブロッキングフィルタ処理及び水平方向のブロック境界に対するデブロッキングフィルタ処理は同様の処理であるため、以下においては、垂直方向のブロック境界に対するデブロッキングフィルタ処理について説明する。

【0045】

対象ブロック境界検出部１５１Ａは、対象ブロックのブロックサイズを示す制御データに基づいて、対象ブロックの境界を検出する。後述するフィルタ決定処理に用いるブロックサイズは、例えばブロック境界の方向と直交する方向のサイズとすることができる。ここでは、垂直方向のブロック境界に対するデブロッキングフィルタ処理について説明しているため、ブロックサイズは、水平方向のサイズである。例えば、図４に示すケースでは、対象ブロックのブロックサイズは“Ｘ”である。

【0046】

隣接ブロック境界検出部１５２Ａは、隣接ブロックのブロックサイズを示す制御データに基づいて、隣接ブロックの境界を検出する。ここでは、垂直方向のブロック境界に対するデブロッキングフィルタ処理について説明しているため、ブロックサイズは、水平方向のサイズである。例えば、図４に示すケースでは、隣接ブロックのブロックサイズは“Ｙ”である。

【0047】

なお、ブロックサイズについては、本実施形態ではブロック境界の方向と直交する方向のサイズを用いる場合の例を説明するが、予め決めておけばブロック境界の方向とブロックサイズ判定の方法の組み合わせは自由である。例えば、ブロックサイズは、ブロック境界の方向と同じ方向のサイズとすることもできる。また、ブロックサイズは、水平方向及び垂直方向のサイズのうちいずれか小さいほうのサイズ、あるいはいずれか大きい方のサイズ、とすることもできる。

【0048】

境界強度判定部１５３Ａは、対象ブロックと隣接ブロックとのブロック境界の境界強度を判定する。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックがイントラ予測ブロックであるか否かを示す制御データに基づいてブロック境界の境界強度を判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックに非零の直交変換係数が含まれるか否か及びブロック境界が変換ブロックの境界であるか否かを示す制御データに基づいてブロック境界の境界強度を判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの差の絶対値が閾値（例えば、１画素）以上であるか否かを示す制御データに基づいてブロック境界の境界強度を判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの予測で参照される参照ブロックが異なるか否かを示す制御データに基づいてブロック境界の境界強度を判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの数が異なるか否かを示す制御データに基づいてブロック境界の境界強度を判定してもよい。

【0049】

例えば、境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、ブロック境界の境界強度が“２”であると判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックが非零の直交変換係数を含み、かつ、ブロック境界が変換ブロックの境界である場合に、ブロック境界の境界強度が“１”であると判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの差の絶対値が閾値（例えば、１画素）以上である場合に、ブロック境界の境界強度が“１”であると判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの予測で参照される参照ブロックが異なる場合に、ブロック境界の境界強度が“１”であると判定してもよい。境界強度判定部１５３Ａは、対象ブロック及び隣接ブロックの予測動きベクトルの数が異なる場合に、ブロック境界の境界強度が“１”であると判定してもよい。境界強度判定部１５３Ａは、上述した条件がいずれも満たされない場合に、ブロック境界の境界強度が“０”であると判定してもよい。境界強度の値が大きいほど、ブロック境界で生じるブロック歪みが大きい可能性が高い。

【0050】

フィルタ処理決定部１５４Ａは、ブロック境界に適用するデブロッキングフィルタ処理の種類を決定する。デブロッキングフィルタ処理としては、非特許文献１で知られている弱フィルタ処理及び強フィルタ処理に加えて、弱フィルタ処理及び強フィルタ処理よりも平滑度合いが大きい超強フィルタ処理が新たに導入される。

【0051】

例えば、フィルタ処理決定部１５４Ａは、ブロック境界の境界強度、対象ブロック及び隣接ブロックに含まれる量子化パラメータなどに基づいて、フィルタ処理を適用するか否か、弱フィルタ処理及び強フィルタ処理のいずれのフィルタ処理を境界ブロックに適用するかを決定してもよい。例えば、フィルタ処理決定部１５４Ａは、図５の上段に示す判定画素（Ｐ００～Ｐ０３０、Ｐ０３～Ｐ０３３、Ｑ００～Ｑ３０、Ｑ０３～Ｑ３３）の量子化パラメータを用いて、フィルタ処理を適用するか否か、弱フィルタ処理及び強フィルタ処理のいずれのフィルタ処理を境界ブロックに適用するかを決定してもよい。フィルタ処理決定部１５４Ａは、ブロック境界の境界強度が“０”である場合に、デブロッキングフィルタ処理を適用しないと決定してもよい。

【0052】

実施形態では、フィルタ処理決定部１５４Ａは、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、フィルタ処理の強度を設定する制御部を構成する。詳細には、フィルタ処理決定部１５４Ａは、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックのブロックサイズと閾値との比較結果に基づいて、超強フィルタ処理を適用するか否かを決定する。

【0053】

このようなケースにおいて、フィルタ処理決定部１５４Ａは、第１条件が満たされている場合に、閾値として第１閾値（Ｔｈ１）を設定する。フィルタ処理決定部１５４Ａは、第１条件とは異なる第２条件が満たされている場合に、閾値として第１閾値（Ｔｈ１）とは異なる第２閾値（Ｔｈ２）を設定する。実施形態では、第１条件は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるという条件である。第２条件は、対象ブロック及び隣接ブロックの双方がイントラ予測ブロックでないという条件である。このようなケースにおいて、第１閾値（Ｔｈ１）は、第２閾値（Ｔｈ２）よりも小さくてもよい。すなわち、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、超強フィルタ処理が選択されやすくてもよい。

【0054】

フィルタ処理部１５５Ａは、フィルタ処理決定部１５４Ａの決定に基づいてデブロッキング前画像に対する処理を行う。デブロッキング前画像に対する処理は、フィルタ処理なし、弱フィルタ処理、強フィルタ処理、超強フィルタ処理などである。

【0055】

例えば、フィルタ処理部１５５Ａは、ブロック境界にフィルタ処理を適用する場合には、図５の下段に示すように、適用画素（Ｐ００～Ｐ２０、Ｐ０１～Ｐ２１、Ｐ０２～Ｐ２２、Ｐ０３～Ｐ２３、Ｑ００～Ｑ２０、Ｑ０１～Ｑ２１、Ｑ０２～Ｑ２２、Ｑ０３～Ｑ２３）に対してフィルタ処理を適用してもよい。

【0056】

（画像復号装置）
以下において、実施形態に係る画像復号装置について説明する。図６は、実施形態に係る画像復号装置２００を示す図である。

【0057】

図６に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。

【0058】

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号する。例えば、復号は、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

【0059】

復号部２１０は、符号化データの復号処理によって制御データを取得してもよい。上述したように、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズなどのサイズデータを含んでもよい。制御データは、第２成分の予測サンプルの生成に用いる入力ソースを示す情報要素を含んでもよい。

【0060】

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

【0061】

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算し、フィルタ処理前復号信号をイントラ予測部２６２及びインループフィルタ処理部２５０に出力する。フィルタ処理前復号信号は、イントラ予測部２６２で用いる参照ブロックを構成する。

【0062】

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームの情報に基づいて予測信号を予測ブロック毎に生成する。インター予測部２４１は、予測信号を加算器２３０に出力する。

【0063】

イントラ予測部２６２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部２６２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成する。イントラ予測部２６２は、予測信号を加算器２３０に出力する。

【0064】

インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力する。例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

【0065】

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積する。フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

【0066】

（インループフィルタ処理部）
以下において、実施形態に係るインループフィルタ処理部について説明する。図７は、実施形態に係るインループフィルタ処理部２５０を示す図である。

【0067】

図７に示すように、インループフィルタ処理部２５０は、対象ブロック境界検出部２５１と、隣接ブロック境界検出部２５２と、境界強度判定部２５３と、フィルタ処理決定部２５４と、フィルタ処理部２５５とを有する。ここで、末尾に“Ａ”が付されている構成は、垂直方向のブロック境界に対するデブロッキングフィルタ処理に関する構成であり、末尾に“Ｂ”が付されている構成は、水平方向のブロック境界に対するデブロッキングフィルタ処理に関する構成である。ここでは、垂直方向のブロック境界に対するデブロッキングフィルタ処理が行われた後に、水平方向のブロック境界に対するデブロッキングフィルタ処理が行われるケースについて例示する。

【0068】

デブロッキングフィルタ処理は、上述したように、符号化ブロックに対して適用されてもよく、予測ブロックに対して適用されてもよく、変換ブロックに対して適用されてもよい。すなわち、対象ブロック及び隣接ブロックは、符号化ブロックであってもよく、予測ブロックであってもよく、変換ブロックであってもよい。

【0069】

垂直方向のブロック境界に対するデブロッキングフィルタ処理及び水平方向のブロック境界に対するデブロッキングフィルタ処理は同様の処理であるため、以下においては、垂直方向のブロック境界に対するデブロッキングフィルタ処理について説明する。

【0070】

対象ブロック境界検出部２５１Ａは、対象ブロック境界検出部１５１Ａと同様に、対象ブロックのブロックサイズを示す制御データに基づいて、対象ブロックの境界を検出する。

【0071】

隣接ブロック境界検出部２５２Ａは、隣接ブロック境界検出部１５２Ａと同様に、隣接ブロックのブロックサイズを示す制御データに基づいて、隣接ブロックの境界を検出する。

【0072】

境界強度判定部２５３Ａは、境界強度判定部１５３Ａと同様に、対象ブロックと隣接ブロックとのブロック境界の境界強度を判定する。ブロック境界の境界強度の判定方法は上述した通りである。

【0073】

フィルタ処理決定部２５４Ａは、フィルタ処理決定部１５４Ａと同様に、ブロック境界に適用するデブロッキングフィルタ処理の種類を決定する。デブロッキングフィルタ処理の種類の決定方法は上述した通りである。

【0074】

フィルタ処理部２５５Ａは、フィルタ処理部１５５Ａと同様に、フィルタ処理決定部２５４Ａの決定に基づいてデブロッキング前画像に対する処理を行う。デブロッキング前画像に対する処理は、フィルタ処理なし、弱フィルタ処理、強フィルタ処理、超強フィルタ処理などである。

【0075】

（フィルタ適用方法）
以下において、実施形態に係るフィルタ適用方法について説明する。図８は、実施形態に係るフィルタ適用方法を示す図である。図８に示すフィルタ適用方法は、インループフィルタ処理部１５０及びインループフィルタ処理部２５０によって行われる方法であり、画像符号化方法及び画像復号方法の一例である。ここでは、画像復号装置２００を例に挙げて説明する。

【0076】

図８に示すように、ステップＳ１０において、画像復号装置２００は、ブロック境界の境界強度が１以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ１１の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ１４の処理を行う。

【0077】

ステップＳ１１において、画像復号装置２００は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ１２の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ１３の処理を行う。ここで、判定結果がＹＥＳであるケースは、第１条件が満たされているケースである。判定結果がＮＯであるケースは、第２条件が満たされているケースである。

【0078】

ステップＳ１２において、画像復号装置２００は、対象ブロック及び隣接ブロックの双方のブロックサイズが第１閾値（Ｔｈ１）以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ１５の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ１６の処理を行う。

【0079】

ステップＳ１３において、画像復号装置２００は、対象ブロック及び隣接ブロックの双方のブロックサイズが第２閾値（Ｔｈ２）以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ１５の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ１６の処理を行う。ここで、第２閾値（Ｔｈ２）は、第１閾値（Ｔｈ１）よりも大きくてもよい。

【0080】

ステップＳ１４において、画像復号装置２００は、ブロック境界に対してフィルタ処理を適用しない。

【0081】

ステップＳ１５において、画像復号装置２００は、ブロック境界に対して超強フィルタ処理を適用する。

【0082】

ステップＳ１６において、画像復号装置２００は、従来処理を行う。従来処理は、ブロック境界の境界強度、対象ブロック及び隣接ブロックに含まれる量子化パラメータなどに基づいて、フィルタ処理を適用するか否か、弱フィルタ処理及び強フィルタ処理のいずれのフィルタ処理を境界ブロックに適用するかを決定する処理である。

【0083】

（作用及び効果）
開示の概要に係る画像符号化装置１００及び画像復号装置２００では、ブロック境界に適用するフィルタ処理の強度を設定する際に参照される閾値を使い分けることによって、フィルタ処理の適用によってブロックノイズを効果的に低減することができる。

【0084】

開示の概要に係る画像符号化装置１００及び画像復号装置２００では、第１閾値（Ｔｈ１）が第２閾値（Ｔｈ２）よりも小さく、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、超強フィルタ処理が選択されやすくてもよい。このような構成によれば、超強フィルタ処理を適切に適用することによってブロックノイズを効果的に低減することができる。

【0085】

［変更例１］
以下において、実施形態の変更例１について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0086】

実施形態では、第１条件は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるという条件である。第２条件は、対象ブロック及び隣接ブロックの双方がイントラ予測ブロックでないという条件である。これに対して、変更例１では、第１条件は、ブロック境界の境界強度が所定値（例えば、２）以上であるという条件である。第２条件は、ブロック境界の境界強度が所定値（例えば、２）未満であるという条件である。

【0087】

（フィルタ適用方法）
以下において、変更例１に係るフィルタ適用方法について説明する。図９は、変更例１に係るフィルタ適用方法を示す図である。図９に示すフィルタ適用方法は、インループフィルタ処理部１５０及びインループフィルタ処理部２５０によって行われる方法であり、画像符号化方法及び画像復号方法の一例である。ここでは、画像復号装置２００を例に挙げて説明する。

【0088】

図９に示すフローは、ステップＳ１１に代えてステップＳ２１が行われる点を除いて、図８に示すフローと同様であるため、以下においては、ステップＳ２１についてのみ説明する。

【0089】

図９に示すように、ステップＳ２１において、画像復号装置２００は、ブロック境界の境界強度が２以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ２２の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ２３の処理を行う。ここで、判定結果がＹＥＳであるケースは、第１条件が満たされているケースである。判定結果がＮＯであるケースは、第２条件が満たされているケースである。

【0090】

［変更例２］
以下において、実施形態の変更例２について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0091】

変更例２では、画像符号化装置１００は、第１閾値を指定するための情報要素を含む制御データを画像復号装置２００に送信する。同様に、画像符号化装置１００は、第２閾値を指定するための情報要素を含む制御データを画像復号装置２００に送信する。言い換えると、画像復号装置２００は、第１閾値を指定するための情報要素を含む制御データを画像符号化装置１００から受信する。同様に、画像復号装置２００は、第２閾値を指定するための情報要素を含む制御データを画像符号化装置１００から受信する。

【0092】

例えば、画像符号化装置１００から画像復号装置２００に送信されるビットストリームに含まれるヘッダは、超強フィルタフラグ、第１閾値及び第２閾値を示す情報要素、超強フィルタを適用すべきブロック（すなわち、対象ブロック及び隣接ブロック）の種類を示す情報要素を含む。ヘッダは、シーケンス毎に設けられるシーケンスヘッダであってもよく、ピクチャ毎に設けられるピクチャヘッダであってもよく、スライス毎に設けられるスライスヘッダであってもよい。

【0093】

超強フィルタフラグは、超強フィルタ処理を適用するブロックが存在するか否かを示すフラグである。超強フィルタフラグがオンである場合に、超強フィルタ処理を適用するブロックが存在しており、超強フィルタフラグがオフである場合に、超強フィルタ処理を適用するブロックが存在していない。

【0094】

例えば、ピクチャヘッダにおいて、デブロッキングフィルタをピクチャに適用するか否かを示す１ビットフラグ（例えば、“ｐｐｓ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”）の下位情報要素として、“ｐｐｓ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”と称される１ビットフラグが超強フィルタフラグとして導入されてもよい。例えば、スライスヘッダにおいて、デブロッキングフィルタをスライスに適用するか否かを示す１ビットフラグ（例えば、“ｓｌｉｃｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”）の下位情報要素として、“ｓｌｉｃｅ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”と称される１ビットフラグが超強フィルタフラグとして導入されてもよい。

【0095】

第１閾値及び第２閾値を示す情報要素は、特に限定されるものではないが、２を底とする対数で表される値であってもよく、予め定められた最小値に対する差分で表される値であってもよい。超強フィルタフラグがオンである場合に、第１閾値及び第２閾値としてデフォルト値が用いられる場合には、第１閾値及び第２閾値を示す情報要素が省略されてもよい。

【0096】

例えば、ピクチャヘッダにおいて、“ｐｐｓ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”が０である場合に、すなわち、超強フィルタ処理が適用されるブロックが存在する場合に、第１閾値は、“ｐｐｓ＿ｌｏｇ２＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｔｈ１＿ｍｉｎｕｓ３”という情報要素で表され、第２閾値は、“ｐｐｓ＿ｌｏｇ２＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｔｈ２＿ｍｉｎｕｓ３”という情報要素で表されてもよい。例えば、スライスヘッダにおいて、“ｓｌｉｃｅ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”が０である場合に、すなわち、超強フィルタ処理が適用されるブロックが存在する場合に、第１閾値は、“ｓｌｉｃｅ＿ｌｏｇ２＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｔｈ１＿ｍｉｎｕｓ３”という情報要素で表され、第２閾値は、“ｓｌｉｃｅ＿ｌｏｇ２＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｔｈ２＿ｍｉｎｕｓ３”という情報要素で表されてもよい。

【0097】

対象ブロック及び隣接ブロックの種類を示す情報要素は、符号化ブロック、予測ブロック及び変換ブロックなどの種類を示す情報要素である。このような情報要素で示されるブロックのブロック境界において超強フィルタ処理が適用される。

【0098】

（フィルタ適用方法）
以下において、変更例２に係るフィルタ適用方法について説明する。図１０は、変更例２に係るフィルタ適用方法を示す図である。図１０に示すフィルタ適用方法は、画像符号化装置１００で行われる処理について説明する。

【0099】

ステップＳ３０において、画像符号化装置１００は、超強フィルタ処理を適用するか否かを判定する。画像符号化装置１００は、判定結果がＹＥＳである場合には、ステップＳ３２の処理を行う。画像符号化装置１００は、判定結果がＮＯである場合には、ステップＳ３１の処理を行う。

【0100】

ステップＳ３１において、画像符号化装置１００は、超強フィルタフラグにオフを示す値をセットする。

【0101】

ステップＳ３２において、画像符号化装置１００は、超強フィルタフラグにオンを示す値をセットする。

【0102】

ステップＳ３３において、画像符号化装置１００は、第１閾値及び第２閾値を示す情報要素をセットする。

【0103】

ステップＳ３４において、画像符号化装置１００は、超強フィルタ処理を適用すべきブロック（対象ブロック及び隣接ブロック）の種類を示す情報要素をセットする。

【0104】

なお、画像復号装置２００においては、超強フィルタフラグがオンである場合に、ステップＳ３３及びステップＳ３４でセットされる情報要素の復号を行えばよい。すなわち、画像復号装置２００においては、超強フィルタフラグがオフである場合に、ステップＳ３３及びステップＳ３４でセットされる情報要素の復号を省略してもよい。

【0105】

また、前記の超強フィルタ処理を適用すべきブロックの種類を示す情報要素を伝送しないという構成も可能である。この場合は、前記ステップＳ３４の代わりに、図８や図９で説明した判定フローを用いることで、ブロック境界ごとにどのフィルタ処理を適用するか決定することができる。

【0106】

［変更例３］
以下において、実施形態の変更例３について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0107】

変更例３では、超強フィルタ処理として、第１超強フィルタ処理及び第２超強フィルタ処理が導入されるケースについて説明する。第２超強フィルタ処理は、第１超強フィルタ処理よりも平滑度合いが小さいフィルタ処理である。

【0108】

画像符号化装置１００及び画像復号装置２００は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックのブロックサイズが閾値以上場合に、超強フィルタ処理を適用すると決定する。変更例３では、対象ブロック及び隣接ブロックの双方のブロックサイズが閾値（Ｔｈ）以上である場合に、強フィルタ処理を適用すると決定する。

【0109】

このような前提下において、画像符号化装置１００及び画像復号装置２００は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックである場合に、超強フィルタ処理として第１超強フィルタ処理を適用すると決定する。

【0110】

一方で、画像符号化装置１００及び画像復号装置２００は、対象ブロック及び隣接ブロックの双方がイントラ予測ブロックでない場合に、超強フィルタ処理として第２超強フィルタ処理を適用すると決定する。

【0111】

変更例３では、対象ブロック及び隣接ブロックのブロックサイズと比較すべき閾値は１種類であってもよい。このような閾値は、変更例２と同様に、画像符号化装置１００から画像復号装置２００に送信される制御データ（例えば、各種ヘッダ）に含まれる情報要素によって指定されてもよい。

【0112】

（フィルタ適用方法）
以下において、変更例３に係るフィルタ適用方法について説明する。図１１は、変更例３に係るフィルタ適用方法を示す図である。図１１に示すフィルタ適用方法は、インループフィルタ処理部１５０及びインループフィルタ処理部２５０によって行われる方法であり、画像符号化方法及び画像復号方法の一例である。ここでは、画像復号装置２００を例に挙げて説明する。

【0113】

図１１に示すように、ステップＳ４０において、画像復号装置２００は、ブロック境界の境界強度が１以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ４１の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ４３の処理を行う。

【0114】

ステップＳ４１において、画像復号装置２００は、対象ブロック及び隣接ブロックの双方のブロックサイズが閾値（Ｔｈ）以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ４２の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ４６の処理を行う。

【0115】

ステップＳ４２において、画像復号装置２００は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ４４の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ４５の処理を行う。ここで、判定結果がＹＥＳであるケースは、第１条件が満たされているケースである。判定結果がＮＯであるケースは、第２条件が満たされているケースである。

【0116】

ステップＳ４３において、画像復号装置２００は、ブロック境界に対してフィルタ処理を適用しない。

【0117】

ステップＳ４４において、画像復号装置２００は、ブロック境界に対して第１超強フィルタ処理を適用する。

【0118】

ステップＳ４５において、画像復号装置２００は、ブロック境界に対して第２超強フィルタ処理を適用する。

【0119】

ステップＳ４６において、画像復号装置２００は、従来処理を行う。従来処理は、ブロック境界の境界強度、対象ブロック及び隣接ブロックに含まれる量子化パラメータなどに基づいて、フィルタ処理を適用するか否か、弱フィルタ処理及び強フィルタ処理のいずれのフィルタ処理を境界ブロックに適用するかを決定する処理である。

【0120】

（作用及び効果）
変更例３では、画像符号化装置１００及び画像復号装置２００は、対象ブロック及び隣接ブロックのブロックサイズに基づいて、超強フィルタ処理を適用するか否かを判定した上で、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるか否かに応じて、第１超強フィルタ処理及び第２超強フィルタ処理を使い分ける。このような構成によれば、フィルタ処理の適用によってブロックノイズを効果的に低減することができる。

【0121】

［変更例４］
以下において、実施形態の変更例４について説明する。以下においては、変更例３に対する相違点について主として説明する。

【0122】

変更例３では、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるか否かに基づいて、第１超強フィルタ処理及び第１超強フィルタ処理が使い分けられる。これに対して、変更例４では、ブロック境界の境界強度が所定値（例えば、２）以上であるか否かに基づいて、第１超強フィルタ処理及び第１超強フィルタ処理が使い分けられる。

【0123】

すなわち、変更例４において、画像符号化装置１００及び画像復号装置２００は、ブロック境界の境界強度が所定値（例えば、２）以上である場合に、超強フィルタ処理として第１超強フィルタ処理を適用すると決定する。

【0124】

一方で、画像符号化装置１００及び画像復号装置２００は、ブロック境界の境界強度が所定値（例えば、２）未満である場合に、超強フィルタ処理として第２超強フィルタ処理を適用すると決定する。

【0125】

（フィルタ適用方法）
以下において、変更例４に係るフィルタ適用方法について説明する。図１２は、変更例４に係るフィルタ適用方法を示す図である。図１２に示すフィルタ適用方法は、インループフィルタ処理部１５０及びインループフィルタ処理部２５０によって行われる方法であり、画像符号化方法及び画像復号方法の一例である。ここでは、画像復号装置２００を例に挙げて説明する。

【0126】

図１２に示すフローは、ステップＳ４２に代えてステップＳ５２が行われる点を除いて、図１１に示すフローと同様であるため、以下においては、ステップＳ５２についてのみ説明する。

【0127】

図１２に示すように、ステップＳ５２において、画像復号装置２００は、ブロック境界の境界強度が２以上であるか否かを判定する。画像復号装置２００は、判定結果がＹＥＳである場合には、ステップＳ５４の処理を行う。画像復号装置２００は、判定結果がＮＯである場合には、ステップＳ５５の処理を行う。

【0128】

［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

【0129】

実施形態では特に触れていないが、上述したフィルタ処理は、輝度信号に適用される処理であってもよい。輝度信号に対するフィルタ処理の適用方法は、色差信号に対するフィルタ処理の適用方法と異なっていてもよい。

【0130】

実施形態では、対象ブロック及び隣接ブロックの双方のブロックサイズが第１閾値（Ｔｈ１）又は第２閾値（Ｔｈ２）以上である場合に、超強フィルタ処理が適用されるケースを例示した。しかしながら、実施形態はこれに限定されるものではない。対象ブロック及び隣接ブロックの少なくともいずれか１つブロックのブロックサイズが第１閾値（Ｔｈ１）又は第２閾値（Ｔｈ２）以上である場合に、超強フィルタ処理が適用されてもよい。

【0131】

実施形態では、第１閾値（Ｔｈ１）が第２閾値（Ｔｈ２）よりも小さいケースを例示した。しかしながら、実施形態はこれに限定されるものではない。第１閾値（Ｔｈ１）は、第２閾値（Ｔｈ２）よりも大きくてもよい。

【0132】

実施形態では、第１条件は、対象ブロック及び隣接ブロックの少なくともいずれか１つのブロックがイントラ予測ブロックであるという条件である。しかしながら、実施形態はこれに限定されるものではない。第１条件は、他の条件を含んでもよい。他の条件は、対象ブロック及び隣接ブロックに含まれる量子化パラメータが所定条件を満たすことであってもよく、ブロック境界の境界強度が閾値（例えば、２）以上であることであってもよい。

【0133】

実施形態では、第２条件は、対象ブロック及び隣接ブロックの双方がイントラ予測ブロックでないという条件である。しかしながら、実施形態はこれに限定されるものではない。第１条件は、他の条件を含んでもよい。他の条件は、対象ブロック及び隣接ブロックに含まれる量子化パラメータが所定条件を満たすことであってもよく、ブロック境界の境界強度が閾値（例えば、２）以上であることであってもよい。

【0134】

実施形態では、第１閾値及び第２閾値は、超強フィルタ処理の適用可否の判定に用いられる。しかしながら、実施形態はこれに限定されるものではない。第１閾値及び第２閾値は、超強フィルタ処理以外のフィルタ処理の適用可否の判定に用いられてもよい。

【0135】

変更例２では、制御データ（例えば、ヘッダ）が第１閾値及び第２閾値を示す情報要素を含むケースについて例示した。しかしながら、変更例２はこれに限定されるものではない。第１閾値及び第２閾値のいずれか１つがデフォルト値である場合には、制御データは、デフォルト値以外の閾値を示す情報要素を含んでいてもよい。

【0136】

変更例２では、超強フィルタフラグは、超強フィルタ処理を適用するブロックが存在するか否かを示すフラグであるケースについて例示した。しかしながら、変更例２はこれに限定されるものではない。例えば、超強フィルタフラグは、第１閾値及び第２閾値のいずれの閾値を用いるかを示すフラグであってもよい。このようなケースにおいて、超強フィルタフラグがオンである場合には、第１閾値が用いられ、かつ、第１閾値を示す情報要素が制御データに含まれてもよい。一方で、超強フィルタフラグがオフである場合には、第２閾値が用いられ、かつ、第２閾値はデフォルト値であってもよい。

【0137】

変更例２では、超強フィルタ処理が適用されるブロックが存在するか否かを示すフラグ（例えば、“ｐｐｓ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”又は“ｓｌｉｃｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”）は、超強フィルタフラグ（“ｐｐｓ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”又は“ｓｌｉｃｅ＿ｓｔｒｏｎｇｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ”）と別に定義されるケースについて例示した。しかしながら、変更例２はこれに限定されるものではない。これらのフラグは１つのフラグ（例えば、“ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｍｏｄｅ＿ｆｌａｇ”と称してもよい）に統合されてもよい。このような１つのフラグは、フィルタ処理なし（例えば、０）、従来処理（例えば、１）、超強フィルタ処理（例えば、２）を指定するフラグであってもよい。

【0138】

実施形態では特に触れていないが、画像符号化装置１００及び画像復号装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0139】

或いは、画像符号化装置１００及び画像復号装置２００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

【符号の説明】

【0140】

１０…画像処理システム、１００…画像符号化装置、１１１…インター予測部、１１２…イントラ予測部、１２１…減算器、１２２…加算器、１３１…変換・量子化部、１３２…逆変換・逆量子化部、１４０…符号化部、１５０…インループフィルタ処理部、１５１…対象ブロック境界検出部、１５２…隣接ブロック境界検出部、１５３…境界強度判定部、１５４…フィルタ決定部、１５５…フィルタ処理部、１６０…フレームバッファ、２００…画像復号装置、２１０…復号部、２２０…逆変換・逆量子化部、２３０…加算器、２４１…インター予測部、２４２…イントラ予測部、２５０…インループフィルタ処理部、２５１…対象ブロック境界検出部、２５２…隣接ブロック境界検出部、２５３…境界強度判定部、２５４…フィルタ決定部、２５５…フィルタ処理部、２６０…フレームバッファ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】