ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144523
(43)【公開日】2024-10-11
(54)【発明の名称】画像処理装置、及び画像処理方法
(51)【国際特許分類】
H04N 19/117 20140101AFI20241003BHJP
H04N 19/176 20140101ALI20241003BHJP
H04N 19/186 20140101ALI20241003BHJP
H04N 19/82 20140101ALI20241003BHJP
H04N 19/86 20140101ALI20241003BHJP
H04N 19/157 20140101ALI20241003BHJP
【ＦＩ】
H04N19/117
H04N19/176
H04N19/186
H04N19/82
H04N19/86
H04N19/157
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2024117798
(22)【出願日】2024-07-23
(62)【分割の表示】P 2023092309の分割
【原出願日】2018-12-20
(31)【優先権主張番号】P 2018065130
(32)【優先日】2018-03-29
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2018106367
(32)【優先日】2018-06-01
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】池田 優
(57)【要約】
【課題】画像処理装置及び画像処理方法を提供する。
【解決手段】本開示に係る画像処理装置は、復号画像のブロック境界を対象とし、直交変換で得る色差成分に関する色差関連パラメータを用いて算出した境界強度に基づき、前記復号画像の色差成分へのデブロックフィルタ適用要否を判定し、判定結果に基づき前記対象の近傍に位置する画素の色差成分にデブロックフィルタを適用し、前記境界強度は、前記色差関連パラメータに基づき、前記境界強度の算出対象の前記ブロック境界を挟むブロックに、前記色差成分における第１及び第２成分の夫々に対して独立して有意係数の有無を判定することで、前記第１及び前記第２成分夫々に対して独立に算出され、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向のサイズに基づく判定と、により前記デブロックフィルタ適用要否を判定する。
【選択図】図７
【解決手段】本開示に係る画像処理装置は、復号画像のブロック境界を対象とし、直交変換で得る色差成分に関する色差関連パラメータを用いて算出した境界強度に基づき、前記復号画像の色差成分へのデブロックフィルタ適用要否を判定し、判定結果に基づき前記対象の近傍に位置する画素の色差成分にデブロックフィルタを適用し、前記境界強度は、前記色差関連パラメータに基づき、前記境界強度の算出対象の前記ブロック境界を挟むブロックに、前記色差成分における第１及び第２成分の夫々に対して独立して有意係数の有無を判定することで、前記第１及び前記第２成分夫々に対して独立に算出され、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向のサイズに基づく判定と、により前記デブロックフィルタ適用要否を判定する。
【選択図】図７
【特許請求の範囲】
【請求項1】
符号化ストリームを復号して復号画像を生成する復号部と、
前記復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、
を備え、
前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、
前記判定部は、
前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、
画像処理装置。
前記復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、
を備え、
前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、
前記判定部は、
前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、
画像処理装置。
【請求項2】
前記判定部は、前記境界強度がインター予測に関連する値を有する場合に、前記ラージブロック判定を行う、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記色差成分は、Ｕ成分およびＶ成分からなり、前記第１の成分は前記Ｕ成分であり、前記第２の成分は前記Ｖ成分である、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項4】
前記色差関連パラメータは、前記直交変換の変換ブロック内に有意係数が含まれるか否かを示すフラグを含む、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記境界強度は、複数のビットにより表現され、
前記複数のビットには、各成分に対応するビットが少なくとも１つずつ含まれる、請求項１に記載の画像処理装置。
前記複数のビットには、各成分に対応するビットが少なくとも１つずつ含まれる、請求項１に記載の画像処理装置。
【請求項6】
前記フィルタリング部は、前記デブロックフィルタとして、ウィークフィルタ、またはストロングフィルタを前記ブロック境界の近傍に位置する画素の色差成分に適用する、請求項１に記載の画像処理装置。
【請求項7】
前記ストロングフィルタの係数は、前記ストロングフィルタの適用対象範囲の中心位置において２であり、その他の位置において１である、請求項６に記載の画像処理装置。
【請求項8】
前記フィルタリング部は、前記ブロック境界から両側３画素までを前記ストロングフィルタの適用対象範囲とし、前記適用対象範囲の中心位置の両側の３画素を参照画素として、前記適用対象範囲に含まれる画素の色差成分に前記ストロングフィルタを適用する、請求項６に記載の画像処理装置。
【請求項9】
前記フィルタリング部は、前記ブロック境界から５画素以上離れた画素の代わりに、前記ブロック境界から４画素目の画素値を、パディングすることで前記参照画素の画素値として用いる、請求項８に記載の画像処理装置。
【請求項10】
前記フィルタリング部は、量子化パラメータに基づいて特定されるパラメータtCに基づくクリッピング処理を行って、前記ストロングフィルタを適用する、請求項８に記載の画像処理装置。
【請求項11】
前記判定部は、前記ブロック境界の近傍に位置する画素の色差成分に適用される前記デブロックフィルタのフィルタ強度をさらに判定し、
前記フィルタリング部は、前記判定部により判定された前記フィルタ強度に応じて、前記ウィークフィルタ、または前記ストロングフィルタを前記ブロック境界の近傍に位置する画素の色差成分に適用する、請求項６に記載の画像処理装置。
前記フィルタリング部は、前記判定部により判定された前記フィルタ強度に応じて、前記ウィークフィルタ、または前記ストロングフィルタを前記ブロック境界の近傍に位置する画素の色差成分に適用する、請求項６に記載の画像処理装置。
【請求項12】
前記判定部は、前記デブロックフィルタ適用要否の判定後に、前記フィルタ強度を判定する、請求項１１に記載の画像処理装置。
【請求項13】
前記判定部は、前記ブロック境界の近傍に位置する画素の色差成分の波形に基づいて前記フィルタ強度を判定する、請求項１２に記載の画像処理装置。
【請求項14】
前記判定部は、前記ブロック境界の近傍に位置する画素のうち、２つのラインに含まれる画素の色差成分の平坦度に関する条件、連続性に関する条件、及びギャップに関する条件に基づいて前記フィルタ強度を判定し、
前記フィルタリング部は、前記平坦度に関する条件、前記連続性に関する条件、前記ギャップに関する条件のうち、全ての条件が満たされると判定された場合に前記ストロングフィルタを適用し、少なくとも１つの条件が満たされないと判定された場合に前記ウィークフィルタを適用する、請求項１３に記載の画像処理装置。
前記フィルタリング部は、前記平坦度に関する条件、前記連続性に関する条件、前記ギャップに関する条件のうち、全ての条件が満たされると判定された場合に前記ストロングフィルタを適用し、少なくとも１つの条件が満たされないと判定された場合に前記ウィークフィルタを適用する、請求項１３に記載の画像処理装置。
【請求項15】
符号化ストリームを復号して復号画像を生成することと、
前記復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定することと、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、
を含み、
前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、
前記判定することは、
前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、
画像処理方法。
前記復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定することと、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、
を含み、
前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、
前記判定することは、
前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、
画像処理方法。
【請求項16】
ローカル復号による処理で復号された復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、
前記フィルタリング部により前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、
を備え、
前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、
前記判定部は、
前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、
画像処理装置。
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、
前記フィルタリング部により前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、
を備え、
前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、
前記判定部は、
前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、
画像処理装置。
【請求項17】
ローカル復号による処理で復号された復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定することと、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、
前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化することと、
を含み、
前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、
前記判定することは、
前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、
画像処理方法。
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、
前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化することと、
を含み、
前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、
前記判定することは、
前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【0002】
映像符号化方式の標準仕様の１つであるH.265/HEVCでは、符号化の際に生じるブロック歪みに起因する画質の劣化を抑制するために、復号画像のブロック境界にデブロックフィルタが適用される。H.265/HEVCでは、輝度成分に適用され得るデブロックフィルタがウィークフィルタとストロングフィルタの２種類である一方で、色差成分に適用され得るデブロックフィルタはウィークフィルタの１種類のみであった。
【0003】
また、現在、H.265/HEVCよりも符号化効率をさらに向上することを目的として、ITU-TとISO/IECとの共同の標準化団体であるJVET（Joint Video Experts Team）により、次世代の映像符号化方式であるFVC（Future Video Coding）の標準化作業が進められている（例えば、非特許文献１参照）。
【0004】
FVCの標準化作業では、下記非特許文献２において、色差成分に適用され得るデブロックフィルタを、輝度成分に適用され得るデブロックフィルタと同様に２種類に変更し、色差成分に対してもストロングフィルタが適用され得る手法が提案されている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】J. Chen， E. Alshina， G. J. Sullivan， J.-R. Ohm， J. Boyce，“Algorithm Description of Joint Exploration Test Model (JEM7)”， JVET-G1001， Joint Video Exploration Team (JVET) of ITU－T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13－21 July 2017
【非特許文献2】Seung-Hwan Kim， Jie Zhao， Misra Kiran and Andrew Segall， “Improvement of chroma deblocking filter”， JVET-D0108， Joint Video Exploration Team (JVET) of ITU－T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15－21 October 2016
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記のようなデブロックフィルタの適用要否は、ブロック境界の境界強度を用いて判定されており、ブロック境界の境界強度の算出は、色差成分の情報が用いられることなく、輝度成分の情報に基づいて行われていた。しかし、復号画像の色差成分に対するデブロックフィルタの適用要否を、輝度成分の情報に基づいて特定される境界強度を用いて判定すると、適切にデブロックフィルタを適用できず、ブロック歪みが残ってしまう恐れがあった。
【0007】
そこで、本開示では、復号画像の色差成分に対して、より適切にデブロックフィルタを適用することが可能な仕組みを提案する。
【課題を解決するための手段】
【0008】
本開示によれば、符号化ストリームを復号して復号画像を生成する復号部と、前記復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、を備え、前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、前記判定部は、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、画像処理装置が提供される。
【0009】
また、本開示によれば、符号化ストリームを復号して復号画像を生成することと、前記復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定することと、前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、を含み、前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、前記判定することは、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、画像処理方法が提供される。
【0010】
また、本開示によれば、ローカル復号による処理で復号された復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、前記フィルタリング部により前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、を備え、前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、前記判定部は、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、画像処理装置が提供される。
【0011】
また、本開示によれば、ローカル復号による処理で復号された復号画像のブロック境界を対象とし、直交変換により得られる色差成分の変換係数に関する情報である色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定することと、前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化することと、を含み、前記境界強度は、前記色差関連パラメータに基づいて、前記境界強度の算出対象である前記ブロック境界を挟むブロックに、前記色差成分に含まれる成分のうち第１の成分の有意係数が存在するか否か、及び、第２の成分の有意係数が存在するか否か、を独立に判定することにより、前記第１の成分および前記第２の成分それぞれに対して独立に算出され、前記判定することは、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックの前記ブロック境界と直交する方向と平行な方向とのうち前記直交する方向のサイズが８より大きいか否かに基づくラージブロック判定と、により、前記デブロックフィルタ適用要否を判定する、画像処理方法が提供される。
【発明の効果】
【0012】
以上説明したように本開示によれば、復号画像の色差成分に対して、より適切にデブロックフィルタを適用することが可能である。
【0013】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0014】
【図1】HEVCにおけるｂＳの算出について説明するための表である。
【図2】非特許文献２におけるｂＳの算出について説明するための表である。
【図3】垂直のブロック境界ＢＢを挟んで隣接する、２つのブロックＢｐ及びブロックＢｑ内の色差成分（Ｕ成分、Ｖ成分）の画素の一例を示す説明図である。
【図4】本開示の一実施形態におけるｂＳの算出について説明するための表である。
【図5】同実施形態にかかる画像処理装置の一態様である画像符号化装置１０の構成の一例を示すブロック図である。
【図6】同実施形態にかかる画像処理装置の一態様である画像復号装置６０の構成の一例を示すブロック図である。
【図7】同実施形態にかかるデブロックフィルタ２６の詳細な構成の一例を示すブロック図である。
【図8】境界強度算出部２６１により算出されるｂＳの一例を示す表である。
【図9】同実施形態にかかるデブロックフィルタ２６による処理の流れの一例を示すフローチャートである。
【図10】境界強度算出部２６１により実行される境界強度算出処理の流れを説明するためのフローチャートである。
【図11】境界強度算出部２６１により算出されるｂＳの変形例を示す表である。
【図13】ハードウェア構成例を示す説明図である。
【図14】ｂＳの算出の一変形例を示す表である。
【発明を実施するための形態】
【0015】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0016】
また、本明細書で開示される範囲は、実施例の内容に限定されるものではなく、出願当時において公知となっている以下の参照文献REF1～REF3の内容も、参照により本明細書に組み込まれる。つまり、以下の参照文献REF1～REF3に記載されている内容もサポート要件について判断する際の根拠となる。例えば、参照文献REF2に記載されているQuad-Tree Block Structure、参照文献REF3に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、特許請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、特許請求の範囲のサポート要件を満たすものとする。
REF1：Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
REF2：Recommendation ITU-T H.265,(12/2016) “High efficiency video coding”, December 2016
REF3：J. Chen， E. Alshina， G. J. Sullivan， J.-R. Ohm， J. Boyce，“Algorithm Description of Joint Exploration Test Model (JEM7)”， JVET-G1001， Joint Video Exploration Team (JVET) of ITU－T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13－21 July 2017
REF1：Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
REF2：Recommendation ITU-T H.265,(12/2016) “High efficiency video coding”, December 2016
REF3：J. Chen， E. Alshina， G. J. Sullivan， J.-R. Ohm， J. Boyce，“Algorithm Description of Joint Exploration Test Model (JEM7)”， JVET-G1001， Joint Video Exploration Team (JVET) of ITU－T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13－21 July 2017
【0017】
また、以下では、特に記載のない場合、ＹＵＶ４２０フォーマットの信号を例に説明を行い、輝度成分をＹ成分、色差成分をＵ成分、Ｖ成分として表すことがある。ただし、以下に説明する技術は、ＹＵＶ４４４フォーマットやＹＵＶ４２２フォーマット等、他のフォーマットの信号に対しても同様に適用することが可能である。また、輝度成分と色差成分の表現は、対象とする信号に応じて異なるものであり、例えば輝度成分と色差成分がＹＣｂＣｒで表現される信号に対しても、以下に説明する技術を同様に適用することが可能である。
【0018】
また、本明細書において用いられる以下の用語は、下記のように定義される。
色差関連パラメータとは、色差に関連するパラメータ全般を意味する。例えば、色差関連パラメータは、各ＴＵ（Transform Unit）に含まれる色差成分の変換係数や、各ＴＵにおける色差成分の有意係数（非ゼロの変換係数）の有無を示すフラグ等、色差成分の変換係数に関する情報を含み得る。ただし、色差関連パラメータはかかる例に限定されず、色差に関連する多様なパラメータであり得る。
デブロックフィルタ適用要否とは、デブロックフィルタを適用すべきか否かを意味する。例えばデブロックフィルタ適用要否を判定すること、とは、デブロックフィルタを適用すべきか否かを判定することを意味する。また、デブロックフィルタ適用要否の判定結果とは、デブロックフィルタを適用すべきか否かを判定した結果であり、例えば当該判定結果は、適用すべき、あるいは適用しなくてよい、のいずれかを示す情報であり得る。
ラージブロック判定とは、判定対象となるブロックが大きなブロックであるか否かの判定を意味する。本明細書において、判定対象となるブロックは、後述するように、ブロック境界を挟むブロックであり得る。また、ラージブロック判定は、ブロックの大きさ（ブロックサイズ）を所定の閾値と比較することにより行われ得る。なお、ラージブロック判定が行われるケースや、ラージブロック判定の詳細については後述する。
色差関連パラメータとは、色差に関連するパラメータ全般を意味する。例えば、色差関連パラメータは、各ＴＵ（Transform Unit）に含まれる色差成分の変換係数や、各ＴＵにおける色差成分の有意係数（非ゼロの変換係数）の有無を示すフラグ等、色差成分の変換係数に関する情報を含み得る。ただし、色差関連パラメータはかかる例に限定されず、色差に関連する多様なパラメータであり得る。
デブロックフィルタ適用要否とは、デブロックフィルタを適用すべきか否かを意味する。例えばデブロックフィルタ適用要否を判定すること、とは、デブロックフィルタを適用すべきか否かを判定することを意味する。また、デブロックフィルタ適用要否の判定結果とは、デブロックフィルタを適用すべきか否かを判定した結果であり、例えば当該判定結果は、適用すべき、あるいは適用しなくてよい、のいずれかを示す情報であり得る。
ラージブロック判定とは、判定対象となるブロックが大きなブロックであるか否かの判定を意味する。本明細書において、判定対象となるブロックは、後述するように、ブロック境界を挟むブロックであり得る。また、ラージブロック判定は、ブロックの大きさ（ブロックサイズ）を所定の閾値と比較することにより行われ得る。なお、ラージブロック判定が行われるケースや、ラージブロック判定の詳細については後述する。
【0019】
なお、説明は以下の順序で行うものとする。
１．概要
１－１．既存のデブロックフィルタ
１－２．本開示にかかる技術の概要
２．装置の概要
２－１．画像符号化装置
２－２．画像復号装置
３．デブロックフィルタ
３－１．構成例
３－２．処理の流れ
３－３．変形例
４．ハードウェア構成例
５．むすび
１．概要
１－１．既存のデブロックフィルタ
１－２．本開示にかかる技術の概要
２．装置の概要
２－１．画像符号化装置
２－２．画像復号装置
３．デブロックフィルタ
３－１．構成例
３－２．処理の流れ
３－３．変形例
４．ハードウェア構成例
５．むすび
【0020】
＜１．概要＞
［１－１．既存の手法］
［１－１．既存の手法］
【0021】
HEVC等の既存の画像符号化方式におけるデブロックフィルタにかかる処理は、適用要否判定処理、フィルタ強度の判定処理、及びフィルタリング処理（フィルタ適用処理）を含む。以下では、既存のデブロックフィルタにかかる処理について、HEVCのデブロックフィルタを例に説明する。なお、以下では、復号画像（符号化時にローカル復号された画像も含む）の色差成分に対するデブロックフィルタについて主に説明し、復号画像の輝度成分に対するデブロックフィルタに関する説明は適宜省略する。
【0022】
デブロックフィルタにかかる処理として、まず適用要否判定処理が行われる。適用要否判定処理は、復号画像のブロック境界（Block Boundary）にデブロックフィルタを適用すべきか否かを判定する処理である。なお、HEVCにおいて、ブロック境界は、参照文献REF2に記載されているQuad-Tree Block Structureのブロック構造に基づいて特定される。具体的には、最小のブロック単位である８×８画素ブロック(サンプルグリッド)のエッジのうち、ＴＵ（Transform Unit）境界あるいはＰＵ（Prediction Unit）境界のうち少なくともいずれか一方であるという条件を満たすエッジが、HEVCにおけるブロック境界として特定される。
【0023】
適用要否判定処理は、ブロック境界の境界強度（Boundary Strength：以下、ｂＳと呼ぶ場合がある）に基づいて行われる。HEVCにおいてｂＳは、特定されたブロック境界の４ラインごとに算出される。ブロック境界が垂直境界である場合には、上記ラインは、垂直境界と直交する行に相当する。また、ブロック境界が水平境界である場合には、上記ラインは、水平境界と直交する列に相当する。
【0024】
図１は、HEVCにおけるｂＳの算出について説明するための表である。図１に示すように、HEVCにおいてｂＳは、イントラ予測に関する条件である条件Ａ、Ｙ成分の有意係数に関する条件である条件Ｂ１、及び動きベクトル（ＭＶ）と参照ピクチャに関する条件である条件Ｂ２の真偽（満たされるか満たされないか）に基づいて算出される。図１を参照すると、条件Ａが真である場合にｂＳは２に設定される。また、条件Ａが偽であり、条件Ｂ１、条件Ｂ２のうち少なくとも一方が真である場合にｂＳは１に設定される。そして、条件Ａ、条件Ｂ１、及び条件Ｂ２がいずれも偽である場合にｂＳは０に設定される。なお、図１に示す条件Ａ、条件Ｂ１、条件Ｂ２は、以下のような条件である。
【0025】
-条件Ａ：ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟むＣＵ（Coding Unit）のうち、少なくともいずれか一方の符号化モードがイントラ予測モードである
-条件Ｂ１：ブロック境界がＴＵ境界であり、ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＴＵのうち、少なくともいずれか一方にＹ成分の有意係数が存在する
-条件Ｂ２：ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＣＵの間で、ＭＶの差の絶対値が１画素以上、または、動き補償の参照ピクチャが異なるか、ＭＶの数が異なる
-条件Ｂ１：ブロック境界がＴＵ境界であり、ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＴＵのうち、少なくともいずれか一方にＹ成分の有意係数が存在する
-条件Ｂ２：ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＣＵの間で、ＭＶの差の絶対値が１画素以上、または、動き補償の参照ピクチャが異なるか、ＭＶの数が異なる
【0026】
さらに、HEVCにおいては、上記のように設定されたｂＳが１以上であるブロック境界を対象に、復号画像の輝度成分（Ｙ成分）に対するデブロックフィルタが適用され得る。そのため、HEVCにおいて、条件Ｂ１、条件Ｂ２が満たされるか否かに応じて、復号画像の輝度成分に対するデブロックフィルタの適用要否の判定結果は異なり得る。
【0027】
なお、HEVCにおいて、復号画像の輝度成分に対するデブロックフィルタとして、フィルタ強度が大きいストロングフィルタと、フィルタ強度が小さいウィークフィルタとが用意されている。ｂＳが１以上である場合、復号画像の輝度成分に対するデブロックフィルタに関する処理は、さらなる条件に基づくさらなる適用要否判定処理が行われた後に、フィルタ強度の判定処理、フィルタリング処理と続く。これらの処理の詳細については上記参照文献REF2に記載されており、ここでの説明は省略する。
【0028】
一方で、HEVCにおける復号画像の色差成分（Ｕ成分、Ｖ成分）に対するデブロックフィルタは、ｂＳが２であるブロック境界のみを対象として適用される。そのため、図１に示すように、条件Ｂ１、条件Ｂ２が満たすか否かは、HEVCにおいて、復号画像の色差成分に対するデブロックフィルタの適用要否判定に影響を与えない。
【0029】
また、HEVCにおいて、復号画像の色差成分に対して適用され得るデブロックフィルタはウィークフィルタのみである。そのため、復号画像の色差成分について、フィルタ強度の判定処理は不要であり、ｂＳが２である場合には、復号画像の色差成分に対してウィークフィルタが適用される。
【0030】
ところで、上記参照文献REF3に記載されるように、FVCにおけるQTBT Block Structureによるブロック分割では、HEVCにおけるQuad-Tree Block Structureによるブロック分割よりも、さらに大きなサイズのブロックが選択され得る。フラットな領域（領域内の画素値の変化が小さい領域）におけるブロックのサイズが大きい場合、ブロック歪みが発生し易い。そのため、より大きなサイズのブロックが選択され得るFVCにおいて、HEVCと同様に復号画像の色差成分に対して適用され得るデブロックフィルタをウィークフィルタのみとした場合、色差成分において、顕著なブロック歪みが残ってしまう恐れがあった。このような状況に鑑み、復号画像の色差成分に対するデブロックフィルタを改善することが望まれている。
【0031】
例えば、非特許文献２では、色差成分に適用され得るデブロックフィルタを、輝度成分に適用され得るデブロックフィルタと同様に２種類に変更し、色差成分に対しても、ストロングフィルタを適用し得る手法が提案されている。また、非特許文献２では、ｂＳが２である場合のみならず、ｂＳが１の場合であっても、復号画像の色差成分に対してデブロックフィルタが適用され得ることが記載されている。
【0032】
図２は、非特許文献２におけるｂＳの算出について説明するための表である。図２に示すように、非特許文献２において、図２に示したHEVCの例と同様に、上述した条件Ａ、条件Ｂ１、条件Ｂ２に基づいてｂＳが算出される。ただし、上述したように、非特許文献２では、ｂＳが２である場合のみならず、ｂＳが１の場合であっても復号画像の色差成分に対してデブロックフィルタが適用され得る。そのため、図２に示すように、非特許文献２において、条件Ｂ１、条件Ｂ２が満たされるか否かに応じて、復号画像の色差成分（Ｕ成分、Ｖ成分）に対するデブロックフィルタの適用要否の判定結果は異なり得る。
【0033】
以下では、非特許文献２において復号画像の色差成分に適用され得るデブロックフィルタに関する、適用要否判定処理、フィルタ強度の判定処理、及びフィルタリング処理について、図３を参照しながら説明する。図３は、垂直のブロック境界ＢＢを挟んで隣接する、２つのブロックＢｐ及びブロックＢｑ内の色差成分（Ｕ成分、Ｖ成分）の画素の一例を示す説明図である。なお、ここでは垂直境界を例にとって説明するが、当然ながら、ここで説明される事項は水平境界にも同様に適用可能である。また、図３には、色差成分においてブロックＢｐ及びブロックＢｑが４×４である例を示しているが、ここで説明される事項は、他のサイズのブロックにも同様に適用可能である。
【0034】
図３の例において、ブロックＢｐ内の色差成分の画素は、pi,jという記号で示されている。iは列のインデックス、jは行のインデックスである。列のインデックスiは、ブロック境界ＢＢに近い列から順に（図中の左から右へ）０，１，２，３と付番されている。行のインデックスjは、上から下へ０，１，２，３と付番されている。一方、ブロックＢｑ内の色差成分の画素は、ｑk,jという記号で示されている。kは列のインデックス、jは行のインデックスである。列のインデックスkは、ブロック境界ＢＢに近い列から順に（図中の右から左へ）０，１，２，３と付番されている
【0035】
図２を参照して説明したようにｂＳが算出された後、以下のように３つの条件を用いて、適用要否判定処理、及びフィルタ強度の判定処理が行われる。かかる処理は、ＹＵＶ４２０フォーマットの場合、色差成分における２ラインごとに行われ、例えば図３に示す例ではラインＬ１１とラインＬ１２に関する判定と、ラインＬ２１とラインＬ２２に関する判定が別々に行われる。なお、ラインごとの判定は、判定対象のラインの画素を用いて行われる。以下では、ラインＬ１１とラインＬ１２を例に、適用要否判定処理、フィルタ強度の判定処理、及びフィルタリング処理について説明する。
【0036】
まず、適用要否判定処理では、以下の条件Ｃ９１、及び条件Ｃ９２が真であるか否かが順に判定される。
【0037】
-条件Ｃ９１：(bS==2||bS==1&&(block_width＞16&&block_height＞16)))
-条件Ｃ９２：d＜beta
-条件Ｃ９２：d＜beta
【0038】
なお、上記の条件Ｃ９１においてblock_width、及びblock_heightは、図３に示したように、それぞれ判定の対象となるブロック境界にかかるブロック（例えばＣＵ）の水平方向のサイズと垂直方向のサイズである。
【0039】
また、上記条件Ｃ９２における変数betaは、エッジ判定閾値であり、変数betaの初期値は、量子化パラメータに応じて与えられる。また変数betaの値は、スライスヘッダ内のパラメータでユーザにより指定可能である。また、上記条件Ｃ９２における変数dは、以下の式（１）～（７）により算出される。
【0040】
dp0=Abs(p2,0-2*p1,0+p0,0) …（１）
dp1=Abs(p2,1-2*p1,1+p0,1) …（２）
dq0=Abs(q2,0-2*q1,0+q0,0) …（３）
dq1=Abs(q2,1-2*q1,1+q0,1) …（４）
dpq0=dp0+dq0 …（５）
dpq1=dp1+dq1 …（６）
d=dpq0+dpq1 …（７）
dp1=Abs(p2,1-2*p1,1+p0,1) …（２）
dq0=Abs(q2,0-2*q1,0+q0,0) …（３）
dq1=Abs(q2,1-2*q1,1+q0,1) …（４）
dpq0=dp0+dq0 …（５）
dpq1=dp1+dq1 …（６）
d=dpq0+dpq1 …（７）
【0041】
なお、上記条件Ｃ９２は、参照されるラインが異なることを除いて、HEVCにおいて輝度成分に適用されるデブロックフィルタの適用要否判定処理において用いられる条件（以下、輝度成分における条件と呼ぶ）と同様である。輝度成分における条件では１ライン目の画素と４ライン目の画素が参照されて、４ラインごとに判定が行われていた。一方、ＹＵＶ４２０フォーマットでは、色差成分（Ｕ成分、Ｖ成分）の画素密度が輝度成分の画素密度の半分であるため、上記条件Ｃ９２では、１ライン目であるラインＬ１１の画素と２ライン目であるラインＬ１２の画素が参照されて２ラインごとに判定が行われる。
【0042】
上記条件Ｃ９１、条件Ｃ９２のうち少なくともいずれか一方が偽である場合には、復号画像の色差成分にデブロックフィルタが適用されない。一方、上記条件Ｃ９１、条件Ｃ９２の両方が真である場合、処理はフィルタ強度の判定処理へ進む。
【0043】
フィルタ強度の判定処理では、ストロングフィルタとウィークフィルタとのうち、いずれのフィルタを適用するか判定するため、以下の条件Ｃ９３が真であるか否かが判定される。
【0044】
-条件Ｃ９３：(block_width＞16&&block_height＞16)
【0045】
なお、上記の条件Ｃ９３におけるblock_width、及びblock_heightは、条件Ｃ９１におけるblock_width、及びblock_heightと同様に、それぞれ判定の対象となるブロック境界にかかるブロックの水平方向のサイズと垂直方向のサイズである。
【0046】
上記条件Ｃ９３が真である場合には、対象となるブロック境界において復号画像の色差成分にストロングフィルタが適用され、上記条件Ｃ９３が偽である場合には、対象となるブロック境界において復号画像の色差成分にウィークフィルタが適用される。
【0047】
非特許文献２において色差成分に適用されるストロングフィルタは、HEVCにおいて輝度成分に適用されるストロングフィルタと同様であり、以下の式（８）～（１３）のように表される。
【0048】
p0′=Clip3(p0-2*tc,p0+2*tC,(p2+2*p1+2*p0+2*q0+q1+4)＞＞3) …（８）
p1′=Clip3(p1-2*tc,p1+2*tC,(p2+p1+p0+q0+2)＞＞2) …（９）
p2′=Clip3(p2-2*tc,p2+2*tC,(2*p3+3*p2+p1+p0+q0+4)＞＞3) …（１０）
q0′=Clip3(q0-2*tc,q0+2*tC,(p1+2p0+2q0+2q1+q2+4)＞＞3) …（１１）
q1′=Clip3(q1-2*tc,q1+2*tC,(p0+q0+q1+q2+2)＞＞2) …（１２）
q2′=Clip3(q2-2*tc,q2+2*tC,(p0+q0+q1+3*q2+2*q3+4)＞＞3) …（１３）
p1′=Clip3(p1-2*tc,p1+2*tC,(p2+p1+p0+q0+2)＞＞2) …（９）
p2′=Clip3(p2-2*tc,p2+2*tC,(2*p3+3*p2+p1+p0+q0+4)＞＞3) …（１０）
q0′=Clip3(q0-2*tc,q0+2*tC,(p1+2p0+2q0+2q1+q2+4)＞＞3) …（１１）
q1′=Clip3(q1-2*tc,q1+2*tC,(p0+q0+q1+q2+2)＞＞2) …（１２）
q2′=Clip3(q2-2*tc,q2+2*tC,(p0+q0+q1+3*q2+2*q3+4)＞＞3) …（１３）
【0049】
なお、上記の式（８）～（１３）において、pi、及びqkはデブロックフィルタ適用前の色差成分の画素値である。また、pi′、及びqk′は、デブロックフィルタ適用後の色差成分の画素値である。ここで、i及びkはそれぞれ上述したブロックＢｐ、ブロックＢｑ内の列のインデックスであり、式（８）～（１３）では行のインデックスは省略されている。また、tCは量子化パラメータに応じて与えられるパラメータである。また、Clip3(a,b,c)は、値cをa≦c≦bの範囲でクリップするクリッピング処理を表す。
【0050】
非特許文献２において色差成分に適用されるウィークフィルタは、HEVCにおいて色差成分に適用されるウィークフィルタと同一であるため、ここでの説明は省略する。
【0051】
以上、非特許文献２において復号画像の色差成分に適用され得るデブロックフィルタに関する処理について説明した。上述した手法によれば、輝度成分に対してだけでなく、色差成分に対しても、条件に応じてストロングフィルタを適用することが可能である。
【0052】
しかし、図２を参照して説明したように、非特許文献２においてｂＳの算出に用いられる条件Ｂ１はHEVCの場合と同様に輝度成分（Ｙ成分）の有意係数の有無に依存しており、その他の条件を含めても、色差成分（Ｕ成分、Ｖ成分）の情報が用いられていない。しかし、輝度成分の空間パターンと色差成分それぞれの空間パターンとは、必ずしも一致しない。したがって、色差成分に対するデブロックフィルタの適用要否の判定を、輝度成分の情報に基づく条件に従って行うと、ブロック歪みが発生しているにもかかわらず、適切にデブロックフィルタが適用されず、ブロック歪みが残ってしまう恐れがあった。
【0053】
また、ｂＳが１の場合、非特許文献２において適用要否判定処理に用いられる条件Ｃ９１が真となるためには、判定の対象となるブロック境界にかかるブロックの水平方向のサイズと垂直方向のサイズの両方が１６より大きい必要がある。しかし、参照文献REF3に記載されるように、FVCにおけるブロック（例えばＣＵ）の形状は、正方形だけでなく、非正方形の長方形であり得る。そして、ブロック歪みは、ブロック境界と同一方向のサイズよりも、ブロック境界と直交する方向のサイズに依存して発生し易い傾向がある。そのため、ブロックの形状によっては、非特許文献２の適用要否判定処理では、適切にデブロックフィルタが適用されず、ブロック歪みが残ってしまう恐れがあった。
【0054】
また、非特許文献２におけるストロングフィルタは、HEVCにおいて適用されるストロングフィルタと同様である。一方、上述したように、FVCでは、HEVCにおけるブロック分割よりも、さらに大きなサイズのブロックが選択され得るため、非特許文献２におけるストロングフィルタを適用したとしても、十分にブロック歪みを軽減できない恐れがあった。
【0055】
［１－２．本開示の一実施形態の概要］
そこで、上記事情を一着眼点にして本開示の一実施形態を創作するに至った。本開示の一実施形態による画像処理装置は、復号画像の色差に関連する色差関連パラメータを用いて算出された境界強度（ｂＳ）に基づいて、復号画像の色差成分に対するデブロックフィルタ適用の要否を判定する適用要否判定処理を行う。以下、本開示の一実施形態の概要について説明する。
そこで、上記事情を一着眼点にして本開示の一実施形態を創作するに至った。本開示の一実施形態による画像処理装置は、復号画像の色差に関連する色差関連パラメータを用いて算出された境界強度（ｂＳ）に基づいて、復号画像の色差成分に対するデブロックフィルタ適用の要否を判定する適用要否判定処理を行う。以下、本開示の一実施形態の概要について説明する。
【0056】
図４は、本実施形態におけるｂＳの算出について説明するための表である。図４に示すように、イントラ予測に関する条件である条件Ａ、Ｙ成分の有意係数に関する条件である条件Ｂ１－Ｙ、Ｕ成分の有意係数に関する条件である条件Ｂ１－Ｕ、Ｖ成分の有意係数に関する条件である条件Ｂ１－Ｖ、及びＭＶと参照ピクチャに関する条件である条件Ｂ２に基づいて算出される。
【0057】
図４を参照すると、条件Ａが真である場合にｂＳは１６に設定される。また、条件Ａが偽であり、条件Ｂ２が真である場合、ｂＳは１に設定される。そして、条件Ａと条件Ｂ２とが偽であり、かつ条件Ｂ１－Ｙ、条件Ｂ１－Ｕ、及び条件Ｂ１－Ｖのうちいずれか１つでも真である場合、ｂＳは２～１４の間の値に設定される。そして、条件Ａ、条件Ｂ１－Ｙ、条件Ｂ１－Ｕ、条件Ｂ１－Ｖ、及び条件Ｂ２がいずれも偽である場合にｂＳは０に設定される。なお、図４に示す条件Ａ、条件Ｂ１－Ｙ、条件Ｂ２は、それぞれ図１を参照して説明した条件Ａ、条件Ｂ１、条件Ｂ２と同一である。また、本実施形態にかかるｂＳの算出方法については後により詳細に説明する。
【0058】
また、図４に示す条件Ｂ１－Ｕ、及び条件Ｂ１－Ｖは、条件Ｂ１－ＹにおけるＹ成分の有意係数の有無の代わりに、それぞれＵ成分の有意係数の有無、及びＶ成分の有意係数の有無を判定に用いる条件に相当し、以下のように表現される。なお、以下の条件Ｂ１－Ｕ、及び条件Ｂ１－Ｖの真偽は、各ＴＵにおける色差成分の有意係数の有無を示すフラグ（色差関連パラメータの一例）に基づいて判定することが可能である。
【0059】
-条件Ｂ１－Ｕ：ブロック境界がＴＵ境界であり、ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＴＵのうち、少なくともいずれか一方にＵ成分の有意係数が存在する
-条件Ｂ１－Ｖ：ブロック境界がＴＵ境界であり、ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＴＵのうち、少なくともいずれか一方にＶ成分の有意係数が存在する
-条件Ｂ１－Ｖ：ブロック境界がＴＵ境界であり、ｂＳ算出対象のラインのうち最も上のラインの画素を含みブロック境界を挟む２つのＴＵのうち、少なくともいずれか一方にＶ成分の有意係数が存在する
【0060】
本実施形態では、上記のような色差に関連する条件Ｂ１－Ｕ、条件Ｂ１－Ｖを用いて算出されたｂＳに基づいて、復号画像の色差成分に対するデブロックフィルタ適用要否の判定が行われる。かかる構成により、色差成分に対してより適切にデブロックフィルタを適用することが可能となる。
【0061】
また、本実施形態では、後述するように、ブロック境界と直交する方向のサイズにさらに基づいて、復号画像の色差成分に対するデブロックフィルタ適用要否の判定が行われる。かかる構成により、ブロックの形状が非正方形の長方形の場合であってもより適切にデブロックフィルタを適用することが可能となる。
【0062】
また、本実施形態では、後述するように、非特許文献２におけるストロングフィルタよりも強度が大きい（ローパス特性が強い）ストロングフィルタが復号画像の色差成分に対して適用され得る。また、かかるストロングフィルタをより適切に適用するため、本実施形態では、非特許文献２におけるフィルタ強度の判定処理とは異なる方法でフィルタ強度の判定が行われる。かかる構成により、よりブロック歪みを軽減し得る。
【0063】
以上、本開示の一実施形態の概要について説明した。以下では、上述した効果を実現するための、本実施形態の構成、及び動作について順次詳細に説明する。
【0064】
＜２．装置の概略構成＞
まず、図５及び図６を用いて、本明細書で開示する技術を適用可能な一例としての装置の概略構成を説明する。本明細書で開示する技術は、例えば、画像符号化装置及び画像復号装置に適用可能である。
まず、図５及び図６を用いて、本明細書で開示する技術を適用可能な一例としての装置の概略構成を説明する。本明細書で開示する技術は、例えば、画像符号化装置及び画像復号装置に適用可能である。
【0065】
［２－１．画像符号化装置］
図５は、本開示の一実施形態にかかる画像処理装置の一態様である画像符号化装置１０の構成の一例を示すブロック図である。
図５は、本開示の一実施形態にかかる画像処理装置の一態様である画像符号化装置１０の構成の一例を示すブロック図である。
【0066】
図５を参照すると、画像符号化装置１０は、並び替えバッファ１１、制御部１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部２１、逆直交変換部２２、加算部２３、インループフィルタ２４、フレームメモリ３０、スイッチ３１、モード設定部３２、イントラ予測部４０及びインター予測部５０を備える。
【0067】
並び替えバッファ１１は、符号化すべき映像を構成する一連の画像を、符号化処理にかかるGOP（Group of Pictures）構造に応じて並び替える。並び替えバッファ１１は、並び替え後の画像を制御部１２、減算部１３、イントラ予測部４０、及びインター予測部５０へ出力する。
【0068】
制御部１２は、外部、または予め指定された処理単位のブロックサイズに基づいて、画像を処理単位のブロックへ分割する。制御部１２によるブロック分割により、Quad-Tree Block Structure、またはQTBT（Quad Tree Plus Binary Tree） Block StructureのＣＵが処理単位として形成されてもよい。また、制御部１２は、符号化処理にかかるパラメータを、例えば、RDO（Rate-Distortion Optimization）に基づいて決定する。決定されたパラメータは、各部へ供給される。
【0069】
減算部１３は、並び替えバッファ１１から入力される画像と予測画像との差分である予測誤差を算出し、算出した予測誤差を直交変換部１４へ出力する。
【0070】
直交変換部１４は、各領域内に設定される１つ以上の変換ブロック（ＴＵ）の各々について直交変換処理を実行する。ここでの直交変換は例えば、離散コサイン変換または離散サイン変換等であってよい。より具体的には、直交変換部１４は、減算部１３から入力される予測誤差を、変換ブロックごとに、空間領域の画像信号から周波数領域の変換係数に変換する。そして、直交変換部１４は、変換係数を量子化部１５へ出力する。
【0071】
また、直交変換部１４は、直交変換により得られた変換係数に基づいて、各ＴＵにおける有意係数の有無を示すフラグを成分ごと（Ｙ成分、Ｕ成分、Ｖ成分ごと）に生成し、可逆符号化部１６及びインループフィルタ２４へ出力してもよい。なお、直交変換部１４により生成される、各ＴＵにおけるＵ成分の有意係数の有無を示すフラグ、及び各ＴＵにおけるＶ成分の有意係数の有無を示すフラグは、色差関連パラメータに含まれる。
【0072】
量子化部１５には、直交変換部１４から入力される変換係数、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は変換係数を量子化し、量子化後の変換係数（以下、量子化データとも呼ぶ）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化スケールを切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【0073】
可逆符号化部１６は、量子化部１５から入力される量子化データを符号化することにより、符号化ストリームを生成する。また、可逆符号化部１６は、デコーダにより参照される様々なパラメータを符号化して、符号化パラメータを符号化ストリームへ挿入する。可逆符号化部１６により符号化されるパラメータは、上述した制御部１２により決定されたパラメータを含み得る。
【0074】
さらに、可逆符号化部１６により符号化されるパラメータは、色差関連パラメータを含み得る。可逆符号化部１６により符号化される色差関連パラメータは、例えば上述したように直交変換部１４から入力される各ＴＵにおけるＵ成分の有意係数の有無を示すフラグ、及び各ＴＵにおけるＶ成分の有意係数の有無を示すフラグを含む。可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【0075】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリ等の記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェースまたは周辺機器との接続インタフェース等）へ出力する。
【0076】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【0077】
逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。ローカルデコーダは、符号化されたデータから復号画像をローカル復号する役割を有する。
【0078】
逆量子化部２１は、量子化部１５により使用されたものと同じ量子化パラメータで量子化データを逆量子化し、変換係数を復元する。そして、逆量子化部２１は、復元した変換係数を逆直交変換部２２へ出力する。
【0079】
逆直交変換部２２は、逆量子化部２１から入力される変換係数について逆直交変換処理を実行することにより、予測誤差を復元する。そして、逆直交変換部２２は、復元した予測誤差を加算部２３へ出力する。
【0080】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差とイントラ予測部４０またはインター予測部５０から入力される予測画像とを加算することにより、復号画像（リコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像をインループフィルタ２４及びフレームメモリ３０へ出力する。
【0081】
インループフィルタ２４は、復号画像の画質の向上を目的として一連のインループフィルタを適用する。例えば、参照文献REF3の「2.5. In-loop filtering」に記載されているように、４つのインループフィルタが、バイラテラルフィルタ、デブロックフィルタ、適応オフセットフィルタ、及び適応ループフィルタの順番で適用されてもよい。図５に示すインループフィルタ２４は、例えばバイラテラルフィルタ２５、デブロックフィルタ２６ａ、適応オフセットフィルタ２７、及び適応ループフィルタ２８を含み、上記４つのインループフィルタが順に適用され得る。しかしながら、インループフィルタ２４はかかる構成に限定されず、４つのインループフィルタのうち、いずれのフィルタを適用するか、また、どのような順番で適用するかは、適宜選択可能であり得る。なお、デブロックフィルタ２６ａについては、後に詳細に説明する。
【0082】
インループフィルタ２４は、インループフィルタが適用された復号画像をフレームメモリ３０へ出力する。
【0083】
フレームメモリ３０は、加算部２３から入力されるフィルタリング前の復号画像、及びインループフィルタ２４から入力されるインループフィルタが適用された復号画像を記憶媒体を用いて記憶する。
【0084】
スイッチ３１は、イントラ予測のために使用されるフィルタリング前の復号画像をフレームメモリ３０から読み出し、読み出した復号画像を参照画像としてイントラ予測部４０に供給する。また、スイッチ３１は、インター予測のために使用されるフィルタリング後の復号画像をフレームメモリ３０から読み出し、読み出した復号画像を参照画像としてインター予測部５０に供給する。
【0085】
モード設定部３２は、イントラ予測部４０及びインター予測部５０から入力されるコストの比較に基づいて、ブロックごとに予測符号化モードを設定する。モード設定部３２は、イントラ予測モードを設定したブロックについては、イントラ予測部４０により生成される予測画像を減算部１３及び加算部２３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、モード設定部３２は、インター予測モードを設定したブロックについては、インター予測部５０により生成される予測画像を減算部１３及び加算部２３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。
【0086】
イントラ予測部４０は、原画像及び復号画像に基づいて、イントラ予測処理を実行する。例えば、イントラ予測部４０は、探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、イントラ予測部４０は、コストが最小となる予測モードを最適な予測モードとして選択する。また、イントラ予測部４０は、選択した最適な予測モードに従って予測画像を生成する。そして、イントラ予測部４０は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、対応するコスト、及び予測画像を、モード設定部３２へ出力する。
【0087】
インター予測部５０は、原画像及び復号画像に基づいて、インター予測処理（動き補償）を実行する。例えば、インター予測部５０は、ある探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、インター予測部５０は、コストが最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部５０は、選択した最適な予測モードに従って予測画像を生成する。そして、インター予測部５０は、インター予測に関する情報、対応するコスト、及び予測画像を、モード設定部３２へ出力する。
【0088】
［２－２．画像復号装置］
続いて、以上のように符号化されたデータの復号について説明する。図６は、本実施形態にかかる画像処理装置の一態様である画像復号装置６０の構成の一例を示すブロック図である。図６を参照すると、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、インループフィルタ６６、並び替えバッファ７２、Ｄ／Ａ（Digital to Analogue）変換部７３、フレームメモリ８０、セレクタ８１ａ及び８１ｂ、イントラ予測部９０並びにインター予測部１００を備える。
続いて、以上のように符号化されたデータの復号について説明する。図６は、本実施形態にかかる画像処理装置の一態様である画像復号装置６０の構成の一例を示すブロック図である。図６を参照すると、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、インループフィルタ６６、並び替えバッファ７２、Ｄ／Ａ（Digital to Analogue）変換部７３、フレームメモリ８０、セレクタ８１ａ及び８１ｂ、イントラ予測部９０並びにインター予測部１００を備える。
【0089】
蓄積バッファ６１は、図示しない伝送部（例えば、通信インタフェースまたは周辺機器との接続インタフェース等）を介して画像符号化装置１０から受信される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【0090】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号し、量子化データを生成する。可逆復号部６２は、生成した量子化データを逆量子化部６３へ出力する。
【0091】
また、可逆復号部６２は、符号化ストリームから、各種のパラメータをパースする。可逆復号部６２によりパースされるパラメータは、例えば、イントラ予測に関する情報、及びインター予測に関する情報を含み得る。可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部１００へ出力する。
【0092】
また、可逆復号部６２によりパースされるパラメータは、色差関連パラメータを含み得る。可逆復号部６２は、色差関連パラメータを、インループフィルタ６６へ出力する。なお、可逆復号部６２によりパースされる色差関連パラメータは、例えば上述した各ＴＵにおけるＵ成分の有意係数の有無を示すフラグ、及び各ＴＵにおけるＶ成分の有意係数の有無を示すフラグを含む。
【0093】
逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、変換係数を復元する。逆量子化部６３は、復元した変換係数を逆直交変換部６４へ出力する。
【0094】
逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数について逆直交変換を行うことにより、予測誤差を生成する。逆直交変換部６４は、生成した予測誤差を加算部６５へ出力する。
【0095】
加算部６５は、逆直交変換部６４から入力される予測誤差と、セレクタ７１ｂから入力される予測画像とを加算することにより、復号画像を生成する。そして、加算部６５は、生成した復号画像をインループフィルタ６６及びフレームメモリ８０へ出力する。
【0096】
インループフィルタ６６は、復号画像の画質の向上を目的として一連のインループフィルタを適用する。例えば、参照文献REF3の「2.5. In-loop filtering」に記載されているように、４つのインループフィルタが、バイラテラルフィルタ、デブロックフィルタ、適応オフセットフィルタ、及び適応ループフィルタの順番で適用されてもよい。図６に示すインループフィルタ６６は、例えばバイラテラルフィルタ６７、デブロックフィルタ２６ｂ、適応オフセットフィルタ６９、及び適応ループフィルタ７０を含み、上記４つのインループフィルタが順に適用され得る。しかしながら、インループフィルタ６６はかかる構成に限定されず、４つのインループフィルタのうち、いずれのフィルタを適用するか、また、どのような順番で適用するかは、適宜選択可能であり得る。なお、デブロックフィルタ２６ｂについては、後に詳細に説明する。
【0097】
インループフィルタ６６は、インループフィルタが適用された復号画像を並び替えバッファ７２及びフレームメモリ８０へ出力する。
【0098】
並び替えバッファ７２は、インループフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像を生成する。そして、並び替えバッファ７２は、生成した画像をＤ／Ａ変換部７３へ出力する。
【0099】
Ｄ／Ａ変換部７３は、並び替えバッファ７２から入力されるデジタル形式の画像をアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部７３は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、映像を表示させる。
【0100】
フレームメモリ８０は、加算部６５から入力されるフィルタリング前の復号画像、及びインループフィルタ６６から入力されるインループフィルタが適用された復号画像を記憶媒体を用いて記憶する。
【0101】
セレクタ８１ａは、可逆復号部６２により取得される予測モード情報に応じて、画像内のブロックごとに、フレームメモリ８０からの画像の出力先をイントラ予測部９０とインター予測部１００との間で切り替える。例えば、セレクタ８１ａは、イントラ予測モードが指定された場合には、フレームメモリ８０から供給されるフィルタリング前の復号画像を参照画像としてイントラ予測部９０へ出力する。また、セレクタ８１ａは、インター予測モードが指定された場合には、フィルタリング後の復号画像を参照画像としてインター予測部１００へ出力する。
【0102】
セレクタ８１ｂは、可逆復号部６２により取得される予測モード情報に応じて、加算部６５へ供給すべき予測画像の出力元をイントラ予測部９０とインター予測部１００との間で切り替える。例えば、セレクタ８１ｂは、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像を加算部６５へ供給する。また、セレクタ８１ｂは、インター予測モードが指定された場合には、インター予測部１００から出力される予測画像を加算部６５へ供給する。
【0103】
イントラ予測部９０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ８０からの参照画像とに基づいてイントラ予測処理を行い、予測画像を生成する。そして、イントラ予測部９０は、生成した予測画像をセレクタ８１ｂへ出力する。
【0104】
インター予測部１００は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ８０からの参照画像とに基づいてインター予測処理を行い、予測画像を生成する。そして、インター予測部１００は、生成した予測画像をセレクタ８１ｂへ出力する。
【0105】
＜３．デブロックフィルタ＞
［３－１．デブロックフィルタの構成例］
本節では、図５に示した画像符号化装置１０のデブロックフィルタ２６ａ及び図６に示した画像復号装置６０のデブロックフィルタ２６ｂの構成の一例を説明する。なお、デブロックフィルタ２６ａ及びデブロックフィルタ２６ｂの構成は、共通であってよい。したがって、以下の説明では、特に両者を区別する必要が無い場合には、デブロックフィルタ２６ａ及びデブロックフィルタ２６ｂをデブロックフィルタ２６と総称する。
［３－１．デブロックフィルタの構成例］
本節では、図５に示した画像符号化装置１０のデブロックフィルタ２６ａ及び図６に示した画像復号装置６０のデブロックフィルタ２６ｂの構成の一例を説明する。なお、デブロックフィルタ２６ａ及びデブロックフィルタ２６ｂの構成は、共通であってよい。したがって、以下の説明では、特に両者を区別する必要が無い場合には、デブロックフィルタ２６ａ及びデブロックフィルタ２６ｂをデブロックフィルタ２６と総称する。
【0106】
本実施形態にかかるデブロックフィルタ２６は、上述したように、色差に関連する色差関連パラメータを用いて算出されたｂＳに基づいて、復号画像の色差成分に対するデブロックフィルタ適用要否を判定する。また、本実施形態にかかるデブロックフィルタ２６は、上述したように、ブロック境界と直交する方向のサイズにさらに基づいて、復号画像の色差成分に対するデブロックフィルタ適用要否を判定する。また、本実施形態にかかるデブロックフィルタ２６は、上述したように、非特許文献２におけるストロングフィルタよりも強度が大きい（ローパス特性が強い）ストロングフィルタを復号画像の色差成分に対して適用し得る。また、かかるストロングフィルタをより適切に適用するため、本実施形態では、非特許文献２におけるフィルタ強度の判定処理とは異なる方法でフィルタ強度を判定する。なお、以下では、主に復号画像の色差成分に対して適用されるデブロックフィルタに関するデブロックフィルタ２６の機能について説明し、輝度成分に対して適用されるデブロックフィルタに関するデブロックフィルタ２６の機能については適宜省略する。
【0107】
図７は、本実施形態にかかるデブロックフィルタ２６の詳細な構成の一例を示すブロック図である。図７を参照すると、デブロックフィルタ２６は、境界強度算出部２６１と、判定部２６３と、フィルタリング部２６９とを有する。
【0108】
（１）境界強度算出部
境界強度算出部２６１は、復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いてｂＳ（境界強度）を算出する。ＹＵＶ４２０フォーマットの信号が対象である場合、境界強度算出部２６１は、復号画像の輝度成分における４ライン単位、すなわち復号画像の色差成分における２ライン単位でｂＳを算出する。
境界強度算出部２６１は、復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いてｂＳ（境界強度）を算出する。ＹＵＶ４２０フォーマットの信号が対象である場合、境界強度算出部２６１は、復号画像の輝度成分における４ライン単位、すなわち復号画像の色差成分における２ライン単位でｂＳを算出する。
【0109】
本実施形態において境界強度算出部２６１がｂＳの算出に用いる色差関連パラメータは、各ＴＵにおけるＵ成分の有意係数の有無を示すフラグ、及び各ＴＵにおけるＶ成分の有意係数の有無を示すフラグを含む。図７に示されるように、境界強度算出部２６１には、各ＴＵにおける各成分（Ｙ成分、Ｕ成分、Ｖ成分）の有意係数の有無を示すフラグが直交変換部１４、あるいは可逆復号部６２から入力される。
【0110】
境界強度算出部２６１は、図４を参照して説明した条件Ａ、条件Ｂ１－Ｙ、条件Ｂ１－Ｕ、条件Ｂ１－Ｖ、及び条件Ｂ２に基づいてｂＳを算出する。つまり、境界強度算出部２６１は、ｂＳの算出対象であるブロック境界を挟むＴＵに、色差成分の有意係数が存在するか否かに基づいてｂＳを算出する。さらに、本実施形態にかかる境界強度算出部２６１は、ｂＳの算出対象であるブロック境界を挟むＴＵに、Ｙ成分、Ｕ成分、Ｖ成分の各成分の有意係数が存在するか否かを独立に判定することにより、ｂＳを算出し得る。かかる構成により、図２を参照して説明したようにＹ成分の有意係数が存在するか否かに基づいてｂＳを算出するよりも、Ｕ成分、Ｖ成分に適したｂＳが算出され、より適切にデブロックフィルタを適用することが可能となる。
【0111】
図８を参照して、境界強度算出部２６１によるｂＳの算出についてより詳細に説明する。図８は、境界強度算出部２６１により算出されるｂＳの一例を示す表である。境界強度算出部２６１により算出されるｂＳは、複数のビットにより表現され得る。図８に示される例では、ｂＳは５ビットで表現される。また、当該複数のビットには、Ｙ成分、Ｕ成分、Ｖ成分の各成分に対応するビットが少なくとも１つずつ含まれるように、ｂＳが算出されてもよい。かかる構成により、後述する判定部２６３がｂＳに基づいてデブロックフィルタ適用要否を判定する際に、判定の対象となる成分ごとに対応するｂＳのビットを参照することで、容易に判定を行うことが可能となる。
【0112】
また、境界強度算出部２６１は、ｂＳに含まれる各ビットが各条件の真偽に対応するようにｂＳを算出してもよい。図８に示す例では、各条件が真である場合、当該条件に対応するビットが１であり、各条件が偽である場合、当該条件に対応するビットが０であるようにｂＳが算出される。また、図８に示す例では、ｂＳが５ビットで表現され、ｂＳの５ビット目がイントラ予測に関する条件Ａと、ｂＳの４ビット目がＹ成分の有意係数に関する条件Ｂ１－Ｙと、ｂＳの３ビット目がＵ成分の有意係数に関する条件Ｂ１－Ｕと、ｂＳの２ビット目がＶ成分の有意係数に関する条件Ｂ１－Ｖと、ｂＳの１ビット目がＭＶと参照ピクチャに関する条件Ｂ２と、それぞれ対応している。ただし、ｂＳの各ビットと各条件との対応は、図８に示した例に限定されない。例えば、Ｙ成分、Ｕ成分、Ｖ成分の各成分にそれぞれ対応するｂＳの４ビット目、３ビット目、２ビット目の順番が入れ替えられてもよい。
【0113】
（２）判定部
判定部２６３は、図７に示すように、復号画像の色差成分に対するデブロックフィルタ適用要否を判定する適用要否判定部２６５と、当該復号画像の色差成分に適用されるデブロックフィルタのフィルタ強度を判定するフィルタ強度判定部２６７とを含む。以下、適用要否判定部２６５、及びフィルタ強度判定部２６７の機能について順次説明を行う。
判定部２６３は、図７に示すように、復号画像の色差成分に対するデブロックフィルタ適用要否を判定する適用要否判定部２６５と、当該復号画像の色差成分に適用されるデブロックフィルタのフィルタ強度を判定するフィルタ強度判定部２６７とを含む。以下、適用要否判定部２６５、及びフィルタ強度判定部２６７の機能について順次説明を行う。
【0114】
なお、以下の説明では、復号画像の色差成分に対するデブロックフィルタ適用要否、及びフィルタ強度の判定について主に説明し、輝度成分に対する判定については適宜説明を省略する。また、本実施形態にかかる適用要否判定部２６５、及びフィルタ強度判定部２６７は、Ｕ成分とＶ成分のそれぞれについて独立に、デブロックフィルタ適用要否、及びフィルタ強度を判定する。
【0115】
適用要否判定部２６５は、復号画像のブロック境界を対象とし、境界強度算出部２６１により上述したように算出されたｂＳ（境界強度）に基づいて、当該復号画像の色差成分に対するデブロックフィルタ適用要否を判定する。
【0116】
また、適用要否判定部２６５は、さらに当該ブロック境界を挟むブロックのブロックサイズに基づいて当該復号画像の色差成分に対するデブロックフィルタ適用要否を判定してもよい。なお、以下ではかかるブロックサイズに基づく判定をラージブロック判定と呼称する場合がある。また、適用要否判定部２６５は、全てのブロック境界に対して常にラージブロック判定を行う必要はなく、ｂＳに応じてラージブロック判定を行うか否かを決定してもよい。なお、ラージブロック判定が行われるケースや、ラージブロック判定の詳細については後述する。
【0117】
本実施形態にかかる適用要否判定部２６５は、以下の条件Ｃ１の判定と、条件Ｃ２の判定とにより、デブロックフィルタ適用要否を判定する。
【0118】
-条件Ｃ１：(bS==16||（条件Ｃ１１&&条件Ｃ１２）)
-条件Ｃ２：d＜beta
-条件Ｃ２：d＜beta
【0119】
上記の条件Ｃ１における条件Ｃ１１は、ラージブロック判定を行うか否かを判定するための条件であり、条件Ｃ１２はラージブロック判定にかかる条件である。ｂＳが１６である場合、すなわちイントラ予測に関する条件Ａが満たされる場合には、ラージブロック判定を行う必要なく条件Ｃ１は真であると判定され得る。そのため、ラージブロック判定を行うか否かを判定するための条件Ｃ１１は、ｂＳがインター予測に関連する値を有する場合に真となり得る。なお、このように、ｂＳが１６である場合にラージブロック判定をスキップして条件Ｃ１を真と判定することにより、ラージブロック判定にかかる処理量を抑制することができる。
【0120】
また、条件Ｃ１の条件Ｃ１１が偽である場合にも、条件Ｃ１２の判定（ラージブロック判定）は行われず、条件Ｃ１が偽と判定される。かかる構成により、ラージブロック判定にかかる処理量を抑制することができる。
【0121】
条件Ｃ１１は、各成分の有意係数に関する条件、あるいは上述した条件Ｂ２が真である場合に真となってよい。つまり、条件Ｃ１１は、判定対象となる成分によって異なってよい。例えば、判定対象がＵ成分である場合の条件Ｃ１１は以下の条件Ｃ１１－Ｕのような条件であってよく、判定対象がＶ成分である場合の条件Ｃ１１は以下の条件Ｃ１１－Ｖのような条件であってよい。
【0122】
-条件Ｃ１１－Ｕ：(bS&0x04||bS&0x01)
-条件Ｃ１１－Ｖ：(bS&0x02||bS&0x01)
-条件Ｃ１１－Ｖ：(bS&0x02||bS&0x01)
【0123】
また、適用要否判定部２６５は、ブロック境界を挟むブロックにおける前記ブロック境界と直交する方向のサイズに基づいてラージブロック判定を行う。かかる構成により、ブロックの形状が非正方形の長方形の場合に、ブロック歪みの発生に影響を与えやすい、ブロック境界と直交する方向のサイズに基づいて、デブロックフィルタの適用要否を判定することが可能となる。
【0124】
また、適用要否判定部２６５は、ブロック境界を挟むブロックにおけるブロック境界と直交する方向のサイズが所定の閾値より大きいか否かに基づいてラージブロック判定を行ってもよい。このラージブロック判定で用いられる閾値は限定されるものではないが、例えば１６であってもよい。ブロック境界と直交する方向のサイズが小さく、特に１６以下の場合には、ブロックノイズが目立ちにくいため、かかる構成により、不要なデブロックフィルタの適用を回避することが可能となる。例えば、ラージブロック判定にかかる条件Ｃ１２は、以下のような条件であってよい。
【0125】
-条件Ｃ１２：(EDGE_VER&&block_width＞16)||(EDGE_HOR&&block_height＞16)
【0126】
なお、上記の条件Ｃ１２において、EDGE_VERは、判定の対象となるブロック境界が垂直境界であることを意味し、EDGE_HORは、判定の対象となるブロック境界が水平境界であることを意味する。
【0127】
また、上記の条件Ｃ２は、上述した条件Ｃ９２と同一であるため、ここでの説明は省略する。なお、上記の条件Ｃ２の判定は、条件Ｃ１が真であった場合に行われ、条件Ｃ１が偽であった場合には、条件Ｃ２の判定が行われることなく、デブロックフィルタを適用しないと判定される。条件Ｃ２の判定は、上述した式（１）～（７）のように変数dを算出する処理を要し、条件Ｃ１の判定よりも処理量が大きいため、条件Ｃ１の後に条件Ｃ２の判定を行うことにより、処理量を抑制することが可能である。
【0128】
また、フィルタ強度判定部２６７は、上述したように条件Ｃ１、条件Ｃ２によりデブロックフィルタ適用要否が判定された後に、復号画像の色差成分に適用されるデブロックフィルタのフィルタ強度をさらに判定する。本実施形態で適用され得るデブロックフィルタは、後述するように、より弱い強度を有するウィークフィルタと、より強い強度を有するストロングフィルタの２種類であってよい。そして、後述するフィルタリング部２６９は、フィルタ強度判定部２６７により判定されたフィルタ強度に応じて、ウィークフィルタとストロングフィルタのいずれかを適用する。
【0129】
フィルタ強度判定部２６７は、デブロックフィルタを適用すると判定された場合に、フィルタ強度を判定する。フィルタ強度の判定をデブロックフィルタ適用要否の判定よりも後に行うことにより、フィルタ強度の判定にかかる処理を抑制することが可能となる。
【0130】
また、フィルタ強度判定部２６７は、ブロック境界の近傍に位置する画素の色差成分の波形に基づいて、フィルタ強度を判定する。以下、波形に基づく判定について説明する。フィルタ強度判定部２６７は、以下の波形に基づく条件Ｃ３により、フィルタ強度を判定する。
【0131】
-条件Ｃ３：（条件Ｃ３１&&条件Ｃ３２&&条件Ｃ３３）
-条件Ｃ３１：|p3-p0|+|q3-q0|＜(beta＞＞3)
-条件Ｃ３２：|p2-2*p1+p0|+|q2-2*q1+q0|＜(beta＞＞2)
-条件Ｃ３３：|p0-q0|＜((tc*5+1)＞＞1)
-条件Ｃ３１：|p3-p0|+|q3-q0|＜(beta＞＞3)
-条件Ｃ３２：|p2-2*p1+p0|+|q2-2*q1+q0|＜(beta＞＞2)
-条件Ｃ３３：|p0-q0|＜((tc*5+1)＞＞1)
【0132】
フィルタ強度判定部２６７は、ブロック境界の近傍に位置する画素のうち、２つのラインに含まれる画素について、上記の条件Ｃ３の判定を行う。上記Ｃ３で用いられる条件Ｃ３１、条件Ｃ３２、条件Ｃ３３はラインごとに判定される。なお、条件Ｃ３１、条件Ｃ３２、条件Ｃ３３におけるpi、qk、pi′、qk′、beta、及びtCについては、既に上記で説明したためここでの説明は省略する。
【0133】
条件Ｃ３１、条件Ｃ３２、及び条件Ｃ３３は、各ラインに含まれる画素を用いて判定する条件である。より具体的には条件Ｃ３１は、各ラインに含まれる画素の色差成分のブロック内における平坦度に関する条件である。また、条件Ｃ３２は、各ラインに含まれる画素の色差成分のブロック内における連続性の判定に関する条件である。また、条件Ｃ３３は、各ラインに含まれる画素の色差成分のブロック間のギャップ（差分）に関する条件であり、より具体的にはブロック境界に隣接する画素値を用いて、ブロック間のギャップを判定するための条件である。
【0134】
条件Ｃ３１が真である場合には、各ブロック内において色差成分の波形の平坦度が高い。また、条件Ｃ３２が真である場合には、各ブロック内において色差成分の波形は連続性が高い。また、条件Ｃ３２が真である場合には、色差成分の波形はブロック境界において大きなギャップを有する。
【0135】
上記のように、条件Ｃ３は、上記の条件Ｃ３１、条件Ｃ３２、条件Ｃ３３の全てが真である場合に真と判定される。また、フィルタ強度判定部２６７は上記の条件Ｃ３をラインごとに判定する。ただし、上述したようにフィルタ強度は２ライン単位で判定される。つまり、連続する２つのラインの両方において上記の条件Ｃ３が真である場合に当該２つラインにストロングフィルタが適用され、偽である場合に当該２つのラインにウィークフィルタが適用されるように、フィルタ強度が判定される。
【0136】
（３）フィルタリング部
フィルタリング部２６９は、適用要否判定部２６５によるデブロックフィルタ適用要否の判定結果に基づいて、ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用する。また、上述したようにフィルタリング部２６９は、フィルタ強度判定部２６７により判定されたフィルタ強度に応じて、ウィークフィルタ、またはストロングフィルタをデブロックフィルタとして適用する。
フィルタリング部２６９は、適用要否判定部２６５によるデブロックフィルタ適用要否の判定結果に基づいて、ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用する。また、上述したようにフィルタリング部２６９は、フィルタ強度判定部２６７により判定されたフィルタ強度に応じて、ウィークフィルタ、またはストロングフィルタをデブロックフィルタとして適用する。
【0137】
本実施形態にかかるフィルタリング部２６９により、色差成分に対して適用されるウィークフィルタは、例えば上述した非特許文献２やHEVCにおいて復号画像の色差成分に対して適用されるウィークフィルタと同一であってよい。一方、本実施形態において色差成分に対して適用されるストロングフィルタは、非特許文献２において色差成分に対して適用されるストロングフィルタ（HEVCにおいて輝度成分に対して適用されるストロングフィルタ）とは異なってよい。以下、本実施形態において、色差成分に対して適用されるストロングフィルタの例について説明する。
【0138】
本実施形態において色差成分に対して適用されるストロングフィルタの係数は、ストロングフィルタの適用対象範囲の中心位置において２であり、その他の位置において１であってよい。また、フィルタリング部２６９は、ブロック境界から両側３画素までをストロングフィルタの適用対象範囲とし、適用対象範囲の中心位置の両側の３画素を参照画素として、適用対象範囲に含まれる画素の色差成分にストロングフィルタを適用してもよい。例えば、p0を適用対象範囲の中心位置としたストロングフィルタは、以下の式（１４）のように表される。
【0139】
p0′=Clip3(p0-w*tC,p0+w*tC,((p3+p2+p1+2*p0+q0+q1+q2+4)＞＞3)) …（１４）
【0140】
なお、上記の式（１４）においてwは適宜設定され得る重みであり、例えば１、あるいは２に設定されてもよい。また、Clip3(a,b,c)は、上述したように値cをa≦c≦bの範囲でクリップするクリッピング処理を表す。
【0141】
このようなストロングフィルタを適用することにより、上述した非特許文献２において色差成分に対して適用されるストロングフィルタよりも強いデブロックフィルタを適用することが可能となる。
【0142】
ところで、ストロングフィルタの適用対象範囲の中心位置がブロック境界から２画素目、または３画素目の場合、参照画素には、ブロック境界から５画素以上離れた画素が含まれる。しかし、ブロック境界から５画素以上離れた画素は、フィルタ強度の判定に用いられておらず、参照画素として用いるのに適さない場合がある。そのため、フィルタリング部２６９は、ブロック境界から５画素以上離れた画素の代わりに、ブロック境界から４画素目の画素の画素値を、パディングすることで参照画素の画素値として用いてもよい。
【0143】
例えば、p1を適用対象範囲の中心位置としたストロングフィルタは、以下の式（１５）のように表される。
p1′=Clip3(p1-w*tC,p1+w*tC,((p4+p3+p2+2*p1+p0+q0+q1+4)＞＞3))
=Clip3(p1-w*tC,p1+w*tC,((p3+p3+p2+2*p1+p0+q0+q1+4)＞＞3))
=Clip3(p1-w*tC,p1+w*tC,((2*p3+p2+2*p1+p0+q0+q1+4)＞＞3)) …（１５）
p1′=Clip3(p1-w*tC,p1+w*tC,((p4+p3+p2+2*p1+p0+q0+q1+4)＞＞3))
=Clip3(p1-w*tC,p1+w*tC,((p3+p3+p2+2*p1+p0+q0+q1+4)＞＞3))
=Clip3(p1-w*tC,p1+w*tC,((2*p3+p2+2*p1+p0+q0+q1+4)＞＞3)) …（１５）
【0144】
同様に、p2を適用対象範囲の中心位置としたストロングフィルタは、以下の式（１６）のように表される。
p2′=Clip3(p2-w*tC,p2+w*tC,((p5+p4+p3+2*p2+p1+p0+q0+4)＞＞3))
=Clip3(p2-w*tC,p2+w*tC,((p3+p3+p3+2*p2+p1+p0+q0+4)＞＞3))
=Clip3(p2-w*tC,p2+w*tC,((3*p3+2*p2+p1+p0+q0+4)＞＞3)) …（１６）
p2′=Clip3(p2-w*tC,p2+w*tC,((p5+p4+p3+2*p2+p1+p0+q0+4)＞＞3))
=Clip3(p2-w*tC,p2+w*tC,((p3+p3+p3+2*p2+p1+p0+q0+4)＞＞3))
=Clip3(p2-w*tC,p2+w*tC,((3*p3+2*p2+p1+p0+q0+4)＞＞3)) …（１６）
【0145】
また、同様に、q0～q3を適用対象範囲の中心位置としたストロングフィルタは、それぞれ以下の式（１７）～（１９）のように表される。
q0′=Clip3(q0-w*tC,q0+w*tC,((p2+p1+p0+2*q0+q1+q2+q3+4)＞＞3)) …（１７）
q1′=Clip3(q1-w*tC,q1+w*tC,((p1+p0+q0+2*q1+q2+2*q3+4)＞＞3)) …（１８）
q2′=Clip3(q2-w*tC,q2+w*tC,((p0+q0+q1+2*q2+3*q3+4)＞＞3)) …（１９）
q0′=Clip3(q0-w*tC,q0+w*tC,((p2+p1+p0+2*q0+q1+q2+q3+4)＞＞3)) …（１７）
q1′=Clip3(q1-w*tC,q1+w*tC,((p1+p0+q0+2*q1+q2+2*q3+4)＞＞3)) …（１８）
q2′=Clip3(q2-w*tC,q2+w*tC,((p0+q0+q1+2*q2+3*q3+4)＞＞3)) …（１９）
【0146】
［３－２．処理の流れ］
以上、本実施形態にかかるデブロックフィルタ２６の構成例について説明した。続いて、本実施形態にかかるデブロックフィルタ２６による処理の流れについて説明する。図９は、本実施形態にかかるデブロックフィルタ２６による処理の流れの一例を示すフローチャートである。なお、以下では、デブロックフィルタ２６による処理のうち、本実施形態の特徴に関する処理について説明を行い、他の処理についての説明は適宜省略する。
以上、本実施形態にかかるデブロックフィルタ２６の構成例について説明した。続いて、本実施形態にかかるデブロックフィルタ２６による処理の流れについて説明する。図９は、本実施形態にかかるデブロックフィルタ２６による処理の流れの一例を示すフローチャートである。なお、以下では、デブロックフィルタ２６による処理のうち、本実施形態の特徴に関する処理について説明を行い、他の処理についての説明は適宜省略する。
【0147】
まず、境界強度算出部２６１により、ｂＳ（境界強度）が算出される（Ｓ１０）。ここで、図１０を参照して、ｂＳの算出方法についてより詳細に説明する。図１０は、境界強度算出部２６１により実行される境界強度算出処理（Ｓ１０）の流れを説明するためのフローチャートである。
【0148】
まず、境界強度算出部２６１はｂＳを０に初期化する（Ｓ１０２）。続いて、境界強度算出部２６１は、イントラ予測に関する条件である条件Ａの真偽を判定する（Ｓ１０４）。条件Ａが真である場合（Ｓ１０４においてＹＥＳ）、ｂＳは１６に設定される（Ｓ１０６）。
【0149】
一方、条件Ａが偽である場合（Ｓ１０４においてＮＯ）、境界強度算出部２６１は、動きベクトル（ＭＶ）と参照ピクチャに関する条件である条件Ｂ２の真偽を判定する（Ｓ１０８）。条件Ｂ２が真（Ｓ１０８においてＹＥＳ）である場合、ｂＳは１に設定される（Ｓ１１０）。
【0150】
一方、条件Ｂ２が偽である場合（Ｓ１０８においてＮＯ）、境界強度算出部２６１は、Ｙ成分の有意係数の有無に関する条件である条件Ｂ１-Ｙの真偽を判定する（Ｓ１１２）。条件Ｂ１-Ｙが真（Ｓ１１２においてＹＥＳ）である場合、ｂＳに８が加算された（Ｓ１１４）後に、処理はステップＳ１１６へ進む。一方、条件Ｂ１-Ｙが偽（Ｓ１１２においてＮＯ）である場合、処理はそのままステップＳ１１６へ進む。
【0151】
ステップＳ１１６において、境界強度算出部２６１は、Ｕ成分の有意係数の有無に関する条件である条件Ｂ１-Ｕの真偽を判定する。条件Ｂ１-Ｕが真（Ｓ１１６においてＹＥＳ）である場合、ｂＳに４が加算された（Ｓ１１８）後に、処理はステップＳ１２０へ進む。一方、条件Ｂ１-Ｕが偽（Ｓ１１６においてＮＯ）である場合、処理はそのままステップＳ１２０へ進む。
【0152】
ステップＳ１２０において、境界強度算出部２６１は、Ｖ成分の有意係数の有無に関する条件である条件Ｂ１-Ｖの真偽を判定する。条件Ｂ１-Ｖが真（Ｓ１２０においてＹＥＳ）である場合、ｂＳに２が加算された（Ｓ１２２）後に、境界強度算出処理（Ｓ１０）は終了する。条件Ｂ１-Ｖが偽（Ｓ１２０においてＮＯ）である場合、境界強度算出処理（Ｓ１０）はそのまま終了する。
【0153】
図９に戻ってデブロックフィルタ２６による処理の流れの説明を続ける。ステップＳ２０において、判定部２６３の適用要否判定部２６５が、上述した条件Ｃ１の真偽を判定する。条件Ｃ１が偽である場合（Ｓ２０においてＮＯ）、処理は終了する。
【0154】
一方、条件Ｃ１が真である場合（Ｓ２０においてＹＥＳ）、適用要否判定部２６５は、上述した条件Ｃ２の真偽を判定する（Ｓ３０）。条件Ｃ２が偽である場合（Ｓ３０においてＮＯ）、処理は終了する。
【0155】
一方、条件Ｃ２が真である場合（Ｓ３０においてＹＥＳ）、判定部２６３のフィルタ強度判定部２６７は、上述した条件Ｃ３の真偽を判定することにより、フィルタ強度を判定する（Ｓ４０）。条件Ｃ３が真である場合（Ｓ４０においてＹＥＳ）、フィルタリング部２６９はブロック境界の近傍に位置する画素の色差成分にストロングフィルタを適用する（Ｓ５０）。一方、条件Ｃ３が偽である場合（Ｓ４０においてＮＯ）、フィルタリング部２６９はブロック境界の近傍に位置する画素の色差成分にウィークフィルタを適用する（Ｓ６０）。
【0156】
以上、本実施形態にかかるデブロックフィルタ２６による処理の流れについて説明した。なお、図９、図１０を参照して説明した上述の処理は、例えばＹＵＶ４２０フォーマットの場合、復号画像の輝度成分における４ライン単位、すなわち復号画像の色差成分における２ライン単位で行われ得る。
【0157】
［３－３．変形例］
図１１は、境界強度算出部２６１により算出されるｂＳの変形例を示す表である。図８の例と同様、ｂＳは、ここでも５ビットで表現されている。また、ｂＳの複数のビットには、Ｙ成分、Ｕ成分、Ｖ成分の各成分に対応するビットが少なくとも１つずつ含まれる。ｂＳの５ビット目（最上位ビット）がイントラ予測に関する条件Ａと、ｂＳの４ビット目がＹ成分の有意係数に関する条件Ｂ１－Ｙと、ｂＳの３ビット目がＵ成分の有意係数に関する条件Ｂ１－Ｕと、ｂＳの２ビット目がＶ成分の有意係数に関する条件Ｂ１－Ｖと、ｂＳの１ビット目（最下位ビット）がＭＶと参照ピクチャに関する条件Ｂ２と、それぞれ対応する。
図１１は、境界強度算出部２６１により算出されるｂＳの変形例を示す表である。図８の例と同様、ｂＳは、ここでも５ビットで表現されている。また、ｂＳの複数のビットには、Ｙ成分、Ｕ成分、Ｖ成分の各成分に対応するビットが少なくとも１つずつ含まれる。ｂＳの５ビット目（最上位ビット）がイントラ予測に関する条件Ａと、ｂＳの４ビット目がＹ成分の有意係数に関する条件Ｂ１－Ｙと、ｂＳの３ビット目がＵ成分の有意係数に関する条件Ｂ１－Ｕと、ｂＳの２ビット目がＶ成分の有意係数に関する条件Ｂ１－Ｖと、ｂＳの１ビット目（最下位ビット）がＭＶと参照ピクチャに関する条件Ｂ２と、それぞれ対応する。
【0158】
図８の例とは異なり、本変形例では、特に条件Ｂ１－Ｙが偽である（よって、ｂＳが８未満である）場合に、ｂＳの１ビット目が１に設定される。結果的に、図８の例ではｂＳが０、１、２、４、６、８、１０、１２、１４または１６という１０通りの値のうちのいずれかをとるのに対し、本変形例では、ｂＳは０、１、２、３、４、５、６、７、８、１０、１２、１４または１６という１３通りの値のうちのいずれかをとる。
【0159】
図１２Ａ及び図１２Ｂは、図１１の変形例に対応する境界強度算出処理の流れの一例を説明するためのフローチャートである。処理の開始の前に、ｂＳは０に初期化されているものとする。図１２Ａを参照すると、まず、境界強度算出部２６１は、イントラ予測に関する条件である条件Ａの真偽を判定する（Ｓ１５０）。条件Ａが真である場合には、ｂＳは１６に設定され（Ｓ１５２）、境界強度算出処理は終了する。
【0160】
条件Ａが偽である場合、境界強度算出部２６１は、Ｙ成分の有意係数の有無に関する条件である条件Ｂ１-Ｙの真偽を判定する（Ｓ１５４）。条件Ｂ１-Ｙが真である場合にはｂＳに８が加算され（Ｓ１５６）、条件Ｂ１-Ｙが偽である場合には８の加算はスキップされる（Ｓ１５８）。次に、Ｕ成分の有意係数の有無に関する条件である条件Ｂ１-Ｕの真偽が判定され（Ｓ１６０）、条件Ｂ１-Ｕが真である場合にはｂＳに４が加算され（Ｓ１６２）、条件Ｂ１-Ｕが偽である場合には４の加算はスキップされる（Ｓ１６４）。次に、Ｖ成分の有意係数の有無に関する条件である条件Ｂ１-Ｖの真偽が判定され（Ｓ１６６）、条件Ｂ１-Ｖが真である場合にはｂＳに２が加算され（Ｓ１６８）、条件Ｂ１-Ｖが偽である場合には２の加算はスキップされる（Ｓ１７０）。
【0161】
図１２Ｂを参照すると、その後の処理は、Ｙ成分の有意係数の有無に関する条件である条件Ｂ１-Ｙが真であったかまたは偽であったかに依存して分岐する（Ｓ１７２）。条件Ｂ１-Ｙが真であった場合には、ｂＳの４ビット目が１に等しく、よってｂＳは８以上の値（１４、１２、１０または８）に設定されており（Ｓ１７４）、後述するＭＶチェックが実行されることなく境界強度算出処理は終了する。
【0162】
一方、条件Ｂ１-Ｙが偽であった場合には、境界強度算出部２６１は、ＭＶチェックを実行する（Ｓ１７６）。ここでのＭＶチェックは、動きベクトルと参照ピクチャに関する条件である条件Ｂ２の真偽の判定を意味する。条件Ｂ２が真である場合にはｂＳに１が加算され（Ｓ１７８）、条件Ｂ２が偽である場合には１の加算はスキップされる（Ｓ１８０）。
【0163】
＜４．ハードウェア構成例＞
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【0164】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0165】
図１３に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
【0166】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、及びドライブ８１５が接続されている。
【0167】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【0168】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0169】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
【0170】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
【0171】
その他、このプログラムは、ROM８０２や記憶部８１３に、予めインストールしておくこともできる。
【0172】
＜５．むすび＞
以上説明したように、本開示の実施形態によれば、復号画像の色差成分に対して、より適切にデブロックフィルタを適用することが可能である。
以上説明したように、本開示の実施形態によれば、復号画像の色差成分に対して、より適切にデブロックフィルタを適用することが可能である。
【0173】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0174】
（色差関連パラメータ）
例えば、上記実施形態では、色差関連パラメータとして各ＴＵにおける色差成分の有意係数の有無を示すフラグが用いられる例を説明したが、本技術はかかる例に限定されない。例えば色差成分の変換係数そのものが、色差関連パラメータに含まれてもよい。かかる場合、境界強度算出部２６１は、色差成分の変換係数から、各ＴＵにおける色差成分の有意係数の有無を判定することで、ｂＳを算出してもよい。また、上記実施形態に関連して、条件Ｂ１－Ｙ、Ｂ１－ＵまたはＢ１－Ｖが満たされるか否かのみならず、条件Ｂ２が満たされるか否かに応じてｂＳの値が異なる例を図４に示した。しかしながら、図１４に示す代替的な例のように、例えば処理コストの増大を抑制するために、色差成分Ｕ及びＶの両方について条件Ｂ２が満たされるかの判定が省略されてもよい。
例えば、上記実施形態では、色差関連パラメータとして各ＴＵにおける色差成分の有意係数の有無を示すフラグが用いられる例を説明したが、本技術はかかる例に限定されない。例えば色差成分の変換係数そのものが、色差関連パラメータに含まれてもよい。かかる場合、境界強度算出部２６１は、色差成分の変換係数から、各ＴＵにおける色差成分の有意係数の有無を判定することで、ｂＳを算出してもよい。また、上記実施形態に関連して、条件Ｂ１－Ｙ、Ｂ１－ＵまたはＢ１－Ｖが満たされるか否かのみならず、条件Ｂ２が満たされるか否かに応じてｂＳの値が異なる例を図４に示した。しかしながら、図１４に示す代替的な例のように、例えば処理コストの増大を抑制するために、色差成分Ｕ及びＶの両方について条件Ｂ２が満たされるかの判定が省略されてもよい。
【0175】
（ラージブロック判定の閾値）
上記実施形態では、ラージブロック判定で用いられる閾値が１６である例を説明したが、本技術はかかる例に限定されず、８や３２に設定されてもよい。また、ＹＵＶ４４４フォーマットの場合、ＹＵＶ４２０フォーマットで用いられる閾値以上の閾値がラージブロック判定において用いられてもよい。
上記実施形態では、ラージブロック判定で用いられる閾値が１６である例を説明したが、本技術はかかる例に限定されず、８や３２に設定されてもよい。また、ＹＵＶ４４４フォーマットの場合、ＹＵＶ４２０フォーマットで用いられる閾値以上の閾値がラージブロック判定において用いられてもよい。
【0176】
（ストロングフィルタ）
上記実施形態では、式（１５）～（１９）で表現されるストロングフィルタが色差成分に対して適用される例を説明したが、本技術において適用されるストロングフィルタはかかる例に限定されない。色差成分に対して適用されるストロングフィルタは、ウィークフィルタよりもフィルタ強度が強いフィルタであればよい。例えば非特許文献２において色差成分に対して適用されるストロングフィルタ（HEVCにおいて輝度成分に対して適用されるストロングフィルタ）が本技術において色差成分に対して適用されてもよい。
上記実施形態では、式（１５）～（１９）で表現されるストロングフィルタが色差成分に対して適用される例を説明したが、本技術において適用されるストロングフィルタはかかる例に限定されない。色差成分に対して適用されるストロングフィルタは、ウィークフィルタよりもフィルタ強度が強いフィルタであればよい。例えば非特許文献２において色差成分に対して適用されるストロングフィルタ（HEVCにおいて輝度成分に対して適用されるストロングフィルタ）が本技術において色差成分に対して適用されてもよい。
【0177】
（本技術の適用対象）
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
【0178】
（ブロック）
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、及び特性等は限定されない。例えば、「ブロック」には、上述の参照文献REF１～REF３に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、及び特性等は限定されない。例えば、「ブロック」には、上述の参照文献REF１～REF３に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
【0179】
（処理単位）
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
【0180】
また、上記実施形態では、２ライン単位で色差成分へのデブロックフィルタ処理が行われているが、本技術はかかる例に限定されない。例えば、ＹＵＶ４４４フォーマットの場合、４ライン単位で色差成分へのデブロックフィルタ処理が行われてもよい。かかる場合、適用要否判定部２６５は、上述した条件Ｃ３の判定において、１ライン目と３ライン目を参照さして、判定を行ってもよい。
【0181】
（制御情報）
以上において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
以上において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
【0182】
（ブロックサイズ情報）
本技術を適用するブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
本技術を適用するブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
【0183】
（その他）
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識
別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識
別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【0184】
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連付けられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【0185】
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【0186】
本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【0187】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【0188】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0189】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【0190】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしてもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしてもよい。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしてもよいし、他のプログラムの処理と組み合わせて実行されるようにしてもよい。
【0191】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0192】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
符号化ストリームを復号して復号画像を生成する復号部と、
前記復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、
を備える、画像処理装置。
（２）
前記色差関連パラメータは、色差成分の変換係数に関する情報を含み、
前記境界強度は、前記境界強度の算出対象である前記ブロック境界を挟むブロックに前記色差成分の有意係数が存在するか否かに基づいて算出される、前記（１）に記載の画像処理装置。
（３）
前記境界強度は、前記境界強度の算出対象である前記ブロック境界を挟むブロックに各成分の有意係数が存在するか否かを独立に判定することにより算出される、前記（２）に記載の画像処理装置。
（４）
前記境界強度は、複数のビットにより表現され、
前記複数のビットには、各成分に対応するビットが少なくとも１つずつ含まれる、前記（１）～（３）のいずれか一項に記載の画像処理装置。
（５）
前記判定部は、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックのブロックサイズを用いたラージブロック判定とにより、前記デブロックフィルタ適用要否を判定する、前記（１）～（４）のいずれか一項に記載の画像処理装置。
（６）
前記判定部は、前記境界強度がインター予測に関連する値を有する場合に、前記ラージブロック判定を行う、前記（５）に記載の画像処理装置。
（７）
前記判定部は、前記ブロック境界を挟むブロックにおける前記ブロック境界と直交する方向のサイズに基づいて、前記ラージブロック判定を行う、前記（５）または（６）に記載の画像処理装置。
（８）
前記判定部は、前記ブロック境界を挟むブロックにおける前記ブロック境界と直交する方向のサイズが１６より大きいか否かに基づいて、前記ラージブロック判定を行う、前記（７）に記載の画像処理装置。
（９）
前記フィルタリング部は、前記デブロックフィルタとして、ウィークフィルタ、またはストロングフィルタを前記ブロック境界の近傍に位置する画素の色差成分に適用する、前記（１）～（８）のいずれか一項に記載の画像処理装置。
（１０）
前記ストロングフィルタの係数は、前記ストロングフィルタの適用対象範囲の中心位置において２であり、その他の位置において１である、前記（９）に記載の画像処理装置。
（１１）
前記フィルタリング部は、前記ブロック境界から両側３画素までを前記ストロングフィルタの適用対象範囲とし、前記適用対象範囲の中心位置の両側の３画素を参照画素として、前記適用対象範囲に含まれる画素の色差成分に前記ストロングフィルタを適用する、前記（９）または（１０）に記載の画像処理装置。
（１２）
前記フィルタリング部は、前記ブロック境界から５画素以上離れた画素の代わりに、前記ブロック境界から４画素目の画素値をパディングすることで前記参照画素の画素値として用いる、前記（１１）に記載の画像処理装置。
（１３）
前記フィルタリング部は、量子化パラメータに基づいて特定されるパラメータtCに基づくクリッピング処理を行って、前記ストロングフィルタを適用する、前記（１０）～（１２）のいずれか一項に記載の画像処理装置。
（１４）
前記判定部は、前記ブロック境界の近傍に位置する画素の色差成分に適用される前記デブロックフィルタのフィルタ強度をさらに判定し、
前記フィルタリング部は、前記判定部により判定された前記フィルタ強度に応じて、前記ウィークフィルタ、または前記ストロングフィルタを前記ブロック境界の近傍に位置する画素の色差成分に適用する、前記（９）～（１３）のいずれか一項に記載の画像処理装置。
（１５）
前記判定部は、前記デブロックフィルタ適用要否の判定後に、前記フィルタ強度を判定する、前記（１４）に記載の画像処理装置。
（１６）
前記判定部は、前記ブロック境界の近傍に位置する画素の色差成分の波形に基づいて前記フィルタ強度を判定する、前記（１５）に記載の画像処理装置。
（１７）
前記判定部は、前記ブロック境界の近傍に位置する画素のうち、２つのラインに含まれる画素の色差成分の平坦度に関する条件、連続性に関する条件、及びギャップに関する条件に基づいて前記フィルタ強度を判定し、
前記フィルタリング部は、前記平坦度に関する条件、前記連続性に関する条件、前記ギャップに関する条件のうち、全ての条件が満たされると判定された場合に前記ストロングフィルタを適用し、少なくとも１つの条件が満たされないと判定された場合に前記ウィークフィルタを適用する、前記（１６）に記載の画像処理装置。
（１８）
符号化ストリームを復号して復号画像を生成することと、
前記復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定することと、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、
を含む画像処理方法。
（１９）
ローカル復号された復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、
前記フィルタリング部により前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、
を備える画像処理装置。
（２０）
ローカル復号された復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定することと、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、
前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化することと、
を含む画像処理方法。
（１）
符号化ストリームを復号して復号画像を生成する復号部と、
前記復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、
を備える、画像処理装置。
（２）
前記色差関連パラメータは、色差成分の変換係数に関する情報を含み、
前記境界強度は、前記境界強度の算出対象である前記ブロック境界を挟むブロックに前記色差成分の有意係数が存在するか否かに基づいて算出される、前記（１）に記載の画像処理装置。
（３）
前記境界強度は、前記境界強度の算出対象である前記ブロック境界を挟むブロックに各成分の有意係数が存在するか否かを独立に判定することにより算出される、前記（２）に記載の画像処理装置。
（４）
前記境界強度は、複数のビットにより表現され、
前記複数のビットには、各成分に対応するビットが少なくとも１つずつ含まれる、前記（１）～（３）のいずれか一項に記載の画像処理装置。
（５）
前記判定部は、前記境界強度に基づく判定と、前記ブロック境界を挟むブロックのブロックサイズを用いたラージブロック判定とにより、前記デブロックフィルタ適用要否を判定する、前記（１）～（４）のいずれか一項に記載の画像処理装置。
（６）
前記判定部は、前記境界強度がインター予測に関連する値を有する場合に、前記ラージブロック判定を行う、前記（５）に記載の画像処理装置。
（７）
前記判定部は、前記ブロック境界を挟むブロックにおける前記ブロック境界と直交する方向のサイズに基づいて、前記ラージブロック判定を行う、前記（５）または（６）に記載の画像処理装置。
（８）
前記判定部は、前記ブロック境界を挟むブロックにおける前記ブロック境界と直交する方向のサイズが１６より大きいか否かに基づいて、前記ラージブロック判定を行う、前記（７）に記載の画像処理装置。
（９）
前記フィルタリング部は、前記デブロックフィルタとして、ウィークフィルタ、またはストロングフィルタを前記ブロック境界の近傍に位置する画素の色差成分に適用する、前記（１）～（８）のいずれか一項に記載の画像処理装置。
（１０）
前記ストロングフィルタの係数は、前記ストロングフィルタの適用対象範囲の中心位置において２であり、その他の位置において１である、前記（９）に記載の画像処理装置。
（１１）
前記フィルタリング部は、前記ブロック境界から両側３画素までを前記ストロングフィルタの適用対象範囲とし、前記適用対象範囲の中心位置の両側の３画素を参照画素として、前記適用対象範囲に含まれる画素の色差成分に前記ストロングフィルタを適用する、前記（９）または（１０）に記載の画像処理装置。
（１２）
前記フィルタリング部は、前記ブロック境界から５画素以上離れた画素の代わりに、前記ブロック境界から４画素目の画素値をパディングすることで前記参照画素の画素値として用いる、前記（１１）に記載の画像処理装置。
（１３）
前記フィルタリング部は、量子化パラメータに基づいて特定されるパラメータtCに基づくクリッピング処理を行って、前記ストロングフィルタを適用する、前記（１０）～（１２）のいずれか一項に記載の画像処理装置。
（１４）
前記判定部は、前記ブロック境界の近傍に位置する画素の色差成分に適用される前記デブロックフィルタのフィルタ強度をさらに判定し、
前記フィルタリング部は、前記判定部により判定された前記フィルタ強度に応じて、前記ウィークフィルタ、または前記ストロングフィルタを前記ブロック境界の近傍に位置する画素の色差成分に適用する、前記（９）～（１３）のいずれか一項に記載の画像処理装置。
（１５）
前記判定部は、前記デブロックフィルタ適用要否の判定後に、前記フィルタ強度を判定する、前記（１４）に記載の画像処理装置。
（１６）
前記判定部は、前記ブロック境界の近傍に位置する画素の色差成分の波形に基づいて前記フィルタ強度を判定する、前記（１５）に記載の画像処理装置。
（１７）
前記判定部は、前記ブロック境界の近傍に位置する画素のうち、２つのラインに含まれる画素の色差成分の平坦度に関する条件、連続性に関する条件、及びギャップに関する条件に基づいて前記フィルタ強度を判定し、
前記フィルタリング部は、前記平坦度に関する条件、前記連続性に関する条件、前記ギャップに関する条件のうち、全ての条件が満たされると判定された場合に前記ストロングフィルタを適用し、少なくとも１つの条件が満たされないと判定された場合に前記ウィークフィルタを適用する、前記（１６）に記載の画像処理装置。
（１８）
符号化ストリームを復号して復号画像を生成することと、
前記復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定することと、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、
を含む画像処理方法。
（１９）
ローカル復号された復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定する判定部と、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用するフィルタリング部と、
前記フィルタリング部により前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化する符号化部と、
を備える画像処理装置。
（２０）
ローカル復号された復号画像のブロック境界を対象とし、色差に関連する色差関連パラメータを用いて算出された境界強度に基づいて、前記復号画像の色差成分に対するデブロックフィルタ適用要否を判定することと、
前記デブロックフィルタ適用要否の判定結果に基づいて、前記ブロック境界の近傍に位置する画素の色差成分にデブロックフィルタを適用することと、
前記デブロックフィルタが適用された前記復号画像を用いて、画像を符号化することと、
を含む画像処理方法。
【符号の説明】
【0193】
１０ 画像符号化装置
１６ 可逆符号化部
２６ デブロックフィルタ
６０ 画像復号装置
６２ 可逆復号部
２６１ 境界強度算出部
２６３ 判定部
２６５ 適用要否判定部
２６７ フィルタ強度判定部
２６９ フィルタリング部
１６ 可逆符号化部
２６ デブロックフィルタ
６０ 画像復号装置
６２ 可逆復号部
２６１ 境界強度算出部
２６３ 判定部
２６５ 適用要否判定部
２６７ フィルタ強度判定部
２６９ フィルタリング部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】
【図14】