特許 7485838 画像復号装置、画像復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-08

(45)【発行日】2024-05-16

(54)【発明の名称】画像復号装置、画像復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20240509BHJP

   H04N 19/136 20140101ALI20240509BHJP

   H04N 19/182 20140101ALI20240509BHJP

   H04N 19/82 20140101ALI20240509BHJP

【ＦＩ】

H04N19/117

H04N19/136

H04N19/182

H04N19/82

【請求項の数】 3

(21)【出願番号】P 2023120159

(22)【出願日】2023-07-24

(62)【分割の表示】P 2021144756の分割

【原出願日】2019-06-20

(65)【公開番号】P2023129555

(43)【公開日】2023-09-14

【審査請求日】2023-07-24

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】海野 恭平

(72)【発明者】

【氏名】河村 圭

(72)【発明者】

【氏名】内藤 整

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０２０／１２６４１１（ＷＯ，Ａ１）

【文献】Benjamin Bross, Jianle Chen and Shan Liu，Versatile Video Coding (Draft 5)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N1001 (version 7)，14th Meeting: Geneva, CH，2019年05月29日，pp.45-46, 97-101, 284-291

【文献】Jonathan Taquet et al.，CE5: Results of tests CE5-3.1 to CE5-3.4 on Non-Linear Adaptive Loop Filter.，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0242，14th Meeting: Geneva, CH，2019年03月，pp.1-10

【文献】Kyohei Unno, Kei Kawamura and Sei Naito，Non-CE5: A simplification of clipping thresholds for Non-Linear ALF，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0386-v2，15th Meeting: Gothenburg, SE，2019年07月，pp.1-6

【文献】Nan Hu, Vadim Seregin and Marta Karczewicz，Non-CE5: Simplification on clipping value calculation for adaptive loop filter，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0532-v1，15th Meeting: Gothenburg, SE，2019年06月，pp.1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

画像復号装置であって、
フィルタ処理前復号信号を入力として、どのクラスのフィルタを用いるかについて判定するように構成されているクラス判定部と、
前記クラス毎にフィルタ係数を決定するように構成されているパラメータ決定部と、
前記フィルタ処理前復号信号を入力とし、フィルタ処理後復号信号を出力するように構成されているフィルタ部を備え、
前記フィルタ部は、参照画素値と前記フィルタ処理前復号信号の画素値との差分値の絶対値が予め定義した閾値以下となるように、前記参照画素値と前記フィルタ処理前復号信号の画素値との差分値に対するクリッピング処理を施し、前記クリッピング処理が施された後の値と前記フィルタ係数と前記フィルタ処理前復号信号の画素値との線形加重和によって前記フィルタ処理後復号信号を生成するように構成されており、
前記閾値は、前記クラス毎及び前記フィルタ係数毎に設定され、
内部ビット深度が変化しても、輝度信号用の前記閾値と色差信号用の前記閾値が同じ値となるように定義されており、
内部ビット深度が１だけ大きくなると、前記閾値は２倍となるように定義されていることを特徴とする画像復号装置。

【請求項2】

画像復号方法であって、
フィルタ処理前復号信号を入力として、どのクラスのフィルタを用いるかについて判定する工程Ａと、
前記クラス毎にフィルタ係数を決定する工程Ｂと、
前記フィルタ処理前復号信号を入力とし、フィルタ処理後復号信号を出力する工程Ｃとを有し、
前記工程Ｃにおいて、参照画素値と前記フィルタ処理前復号信号の画素値との差分値の絶対値が予め定義した閾値以下となるように、前記参照画素値と前記フィルタ処理前復号信号の画素値との差分値に対するクリッピング処理を施し、前記クリッピング処理が施された後の値と前記フィルタ係数と前記フィルタ処理前復号信号の画素値との線形加重和によって前記フィルタ処理後復号信号を生成し、
前記閾値は、前記クラス毎及び前記フィルタ係数毎に設定され、
内部ビット深度が変化しても、輝度信号用の前記閾値と色差信号用の前記閾値が同じ値となるように定義されており、
内部ビット深度が１だけ大きくなると、前記閾値は２倍となるように定義されていることを特徴とする画像復号方法。

【請求項3】

コンピュータを、画像復号装置として機能させるプログラムであって、
フィルタ処理前復号信号を入力として、どのクラスのフィルタを用いるかについて判定するように構成されているクラス判定部と、
前記クラス毎にフィルタ係数を決定するように構成されているパラメータ決定部と、
前記フィルタ処理前復号信号を入力とし、フィルタ処理後復号信号を出力するように構成されているフィルタ部を備え、
前記フィルタ部は、参照画素値と前記フィルタ処理前復号信号の画素値との差分値の絶対値が予め定義した閾値以下となるように、前記参照画素値と前記フィルタ処理前復号信号の画素値との差分値に対するクリッピング処理を施し、前記クリッピング処理が施された後の値と前記フィルタ係数と前記フィルタ処理前復号信号の画素値との線形加重和によって前記フィルタ処理後復号信号を生成するように構成されており、
前記閾値は、前記クラス毎及び前記フィルタ係数毎に設定され、
内部ビット深度が変化しても、輝度信号用の前記閾値と色差信号用の前記閾値が同じ値となるように定義されており、
内部ビット深度が１だけ大きくなると、前記閾値は２倍となるように定義されていることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

【背景技術】

【0002】

従来、「ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ：適応ループフィルタ) ）」への入力信号を閾値でクリッピングすることで、非線形なフィルタ処理を実現する技術が知られている（例えば、非特許文献１参照）。

【0003】

ここで、かかる閾値は、数式で定義されており、内部ビット深度の設定値等に応じて、最終的な値が導出される。かかる閾値は、輝度信号及び色差信号に対してそれぞれ定義されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ５）、ＪＶＥＴ-Ｎ１００１

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の従来技術では、内部ビット深度によって、輝度信号の閾値と色差信号の閾値との大小関係が反転してしまう。これにより、同一の入力信号に対しても、内部ビット深度の設定によって、復号画像の特性が変化し、主観画質に影響を与える可能性があるという問題点があった。

【0006】

そこで、本発明は、上述の課題に鑑みてなされたものであり、復号画像の特性が変化し、主観画質に影響を与えてしまうという事態を防ぐことができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の特徴は、画像復号装置であって、フィルタ処理前復号信号を入力とし、フィルタ処理後復号信号を出力するように構成されているフィルタ部を備え、前記フィルタ部は、参照画素値と前記フィルタ処理前復号信号の画素値との差分値の絶対値が予め定義した閾値以下となるように、前記フィルタ処理前復号信号に対するクリッピング処理を施し、前記クリッピング処理が施された後の値と前記フィルタ処理前復号信号の画素値との線形加重和によって前記フィルタ処理後復号信号を生成するように構成されており、内部ビット深度が変化しても、輝度信号用の前記閾値と色差信号用の前記閾値との大小関係が保存されるように定義されていることを要旨とする。

【0008】

本発明の第２の特徴は、フィルタ処理前復号信号を入力とし、フィルタ処理後復号信号を出力する工程を有する画像復号方法であって、前記工程において、参照画素値と前記フィルタ処理前復号信号の画素値との差分値の絶対値が予め定義した閾値以下となるように、前記フィルタ処理前復号信号に対するクリッピング処理を施し、前記クリッピング処理が施された後の値と前記フィルタ処理前復号信号の画素値との線形加重和によって前記フィルタ処理後復号信号を生成し、内部ビット深度が変化しても、輝度信号用の前記閾値と色差信号用の前記閾値との大小関係が保存されるように定義されていることを要旨とする。

【0009】

本発明の第３の特徴は、画像復号装置で用いるプログラムであって、コンピュータに、フィルタ処理前復号信号を入力とし、フィルタ処理後復号信号を出力する工程を実行させ、前記工程において、参照画素値と前記フィルタ処理前復号信号の画素値との差分値の絶対値が予め定義した閾値以下となるように、前記フィルタ処理前復号信号に対するクリッピング処理を施し、前記クリッピング処理が施された後の値と前記フィルタ処理前復号信号の画素値との線形加重和によって前記フィルタ処理後復号信号を生成し、内部ビット深度が変化しても、輝度信号用の前記閾値と色差信号用の前記閾値との大小関係が保存されるように定義されていることを要旨とする。

【発明の効果】

【0010】

本発明によれば、復号画像の特性が変化し、主観画質に影響を与えてしまうという事態を防ぐことができる画像復号装置、画像復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】一実施形態に係る画像処理システム１０の構成の一例を示す図である。

【図2】一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。

【図3】一実施形態に係る画像符号化装置１００のインループフィルタ処理部１５０の機能ブロックの一例を示す図である。

【図4】一実施形態に係る画像符号化装置１００のインループフィルタ処理部１５０のフィルタ部１５０Ｂの機能の一例を説明するための図である。

【図5】一実施形態に係る画像符号化装置１００のインループフィルタ処理部１５０のフィルタ部１５０Ｂの機能の一例を説明するための図である。

【図6】一実施形態に係る画像符号化装置１００のインループフィルタ処理部１５０のフィルタ部１５０Ｂの機能の一例を説明するための図である。

【図7】一実施形態に係る画像符号化装置１００のインループフィルタ処理部１５０のフィルタ部１５０Ｂの機能の一例を説明するための図である。

【図8】一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。

【図9】一実施形態に係る画像復号装置２００のインループフィルタ処理部２５０の機能ブロックの一例を示す図である。

【図10】一実施形態に係る画像復号装置２００のインループフィルタ処理部２５０の処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0013】

（第１実施形態）
以下、図１～図１０を参照して、本発明の第１実施形態に係る画像処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る画像処理システム１０を示す図である。

【0014】

図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。

【0015】

画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。

【0016】

ここで、かかる符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

【0017】

（画像符号化装置１００）
以下、図２を参照して、本実施形態に係る画像符号化装置１００について説明する。図２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。

【0018】

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

【0019】

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

【0020】

具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定するように構成されている。

【0021】

また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて予測ブロックに含まれる予測信号を予測ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。

【0022】

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

【0023】

具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。

【0024】

ここで、参照ブロックは、予測対象のブロック（以下、対象ブロック）について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

【0025】

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。

【0026】

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。

【0027】

ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

【0028】

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。

【0029】

ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。

【0030】

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

【0031】

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

【0032】

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。

【0033】

ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

【0034】

また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。

【0035】

ここで、制御データは、符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）サイズ、予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）サイズ、変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズ等のサイズデータを含んでもよい。

【0036】

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。

【0037】

また、インループフィルタ処理部１５０は、入力画像信号とフィルタ処理前復号信号を入力としてフィルタ処理に関するパラメータを決定し、かかるパラメータを符号化部１４０に出力するように構成されていてもよい。符号化部１４０は、かかるパラメータを、符号化して画像復号装置２００に付加情報として伝送するように構成されていてもよい。

【0038】

ここで、例えば、フィルタ処理は、復号画像の符号化歪みを減少する適応ループフィルタ処理である。

【0039】

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。

【0040】

ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

【0041】

（インループフィルタ処理部１５０）
以下において、本実施形態に係るインループフィルタ処理部１５０について説明する。図３は、本実施形態に係るインループフィルタ処理部１５０を示す図である。

【0042】

図３に示すように、インループフィルタ処理部１５０は、クラス判定部１５０Ａと、フィルタ部１５０Ｂと、パラメータ決定部１５０Ｃとを有する。

【0043】

インループフィルタ処理部１５０は、符号化ツリーブロック（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）単位で、適応ループフィルタ処理の適用又は非適用のいずれかを選択することができる。また、適応ループフィルタ処理が適用される場合は、インループフィルタ処理部１５０は、複数のフィルタセットのうち、どのフィルタセットを用いるかについて選択することができる。

【0044】

各フィルタセットは、最大で２５種類（クラス）の輝度信号用のフィルタと、１クラスの色差信号用のフィルタとを含む。

【0045】

かかる適応ループフィルタ処理の適用又は非適用に係る情報や適応ループフィルタ処理において用いられるべきフィルタセットに係る情報等を含むパラメータは、後述のように、付加情報としてＣＴＵ毎に符号化され、画像復号装置２００に伝送される。なお、かかるパラメータは、後述のように、パラメータ決定部１５０Ｃによって決定される。

【0046】

ここで、例えば、入力信号が、「ＹＣｂＣｒ４：２：０フォーマット」である場合、ＣＴＵは、例えば、輝度（Ｙ）信号を１２８×１２８画素サイズ、色差信号（Ｃｂ、Ｃｒ）を６４×６４画素サイズにそれぞれ区切った各ブロックと定義してもよい。

【0047】

なお、適応ループフィルタ処理を適用しないと判断されたＣＴＵに属する輝度信号及び色差信号の画素については、後述するクラス判定部１５０Ａによる判定処理及びフィルタ部１５０Ｂによるフィルタ処理を省略することができる。

【0048】

クラス判定部１５０Ａは、フィルタ処理前復号信号を入力として、予め定められた複数種類のフィルタ（適応ループフィルタ）の中から、どの種類（クラス）のフィルタを用いるかについて示すクラス判定情報を出力するように構成されている。

【0049】

ここで、クラス判定部１５０Ａは、フィルタ処理前復号信号を小さなブロックに分割し、かかるブロック毎に、用いるべきクラスを判定するように構成されている。例えば、クラス判定部１５０Ａは、４×４画素ブロックごとに、２５種類あるうちのどのクラスのフィルタを用いるべきかについて決定することができる。

【0050】

ここで、クラスの判定方法としては、画像符号化装置１００側と画像復号装置２００側の両方で得られる情報のみを入力として判定することができる方法で有れば、任意の判定方法を用いることができる。

【0051】

例えば、非特許文献１では、フィルタ処理前復号信号の画素値の勾配を用いて、上述のクラスの判定が行われている。画像符号化装置１００側と画像復号装置２００側の両方で得られる情報のみを用いることで、画像復号装置２００側でも画像符号化装置１００側と同様なクラスの判定が可能になるため、クラス判定情報を画像符号化装置１００側から画像復号装置２００側に伝送する必要がなくなる。

【0052】

フィルタ部１５０Ｂは、フィルタ処理前復号信号を入力とし、フィルタ処理後復号信号を出力するように構成されている。

【0053】

具体的には、フィルタ部１５０Ｂは、フィルタ処理前復号信号とクラス判定部１５０Ａから出力されるクラス判定情報とパラメータ決定部１５０Ｃから入力されるパラメータ（ループフィルタ処理のパラメータ群）とを入力として、フィルタ処理を行い、フィルタ処理後復号信号を出力するように構成されている。

【0054】

フィルタ処理後復号信号の各画素の値は、例えば、以下の式で算出することができる。

【0055】

【数1】

ここで、Ｉ（ｘ,ｙ）は、（ｘ,ｙ）の座標にあるフィルタ処理前復号信号の画素値であり、Ｏ（ｘ,ｙ）は、（ｘ,ｙ）の座標にあるフィルタ処理後復号信号の画素値であり、（ｉ,ｊ）は、（ｘ,ｙ）の座標にある画素に対する参照画素の相対位置を示す座標（参照画素位置）であり、Ｃ（ｉ,ｊ）は、参照画素位置（ｉ,ｊ）に対応するフィルタ係数であり、Ｋ（）は、以下に示すクリッピング処理であり、ｋ（ｉ,ｊ）は、クリッピング処理で用いられる閾値である。

【0056】

Ｋ（Ｉ,ｋ）＝ｍｉｎ（ｋ，ｍａｘ（-ｋ,Ｉ））
ここで、ｍｉｎ（）は、引数内の最小値を返す関数であり、ｍａｘ（）は、引数内の最大値を返す関数である。したがって、Ｋ（）は、入力値Ｉが-ｋより小さい場合は-ｋを返し、入力値Ｉがｋより大きい場合はｋを返し、それ以外は入力値Ｉをそのまま返す処理である。

【0057】

すなわち、フィルタ部１５０Ｂは、参照画素値Ｉ（ｘ＋ｉ,ｙ＋ｊ）とフィルタ処理前復号信号の画素値Ｉ（ｘ,ｙ）との差分値の絶対値が予め定義した閾値ｋ（ｉ,ｊ）以下となるように、フィルタ処理前復号信号に対するクリッピング処理を施すように構成されている。

【0058】

また、フィルタ部１５０Ｂは、クリッピング処理が施された後の値とフィルタ処理前復号信号の画素値Ｉ（ｘ,ｙ）との線形加重和によってフィルタ処理後復号信号を生成するように構成されている。

【0059】

フィルタ係数Ｃは、パラメータ決定部１５０Ｃで決定され、画像復号装置２００側に伝送される。フィルタ係数Ｃに係る情報の符号量を削減するため、複数の画素に同一のフィルタ係数Ｃを適用することとして、フィルタ係数Ｃの数を削減することができる。図４に、具体例を示す。

【0060】

図４（ａ）は、輝度信号のフィルタ処理におけるフィルタ係数Ｃの配置の例を示し、図４（ｂ）は、色差信号のフィルタ処理におけるフィルタ係数Ｃの配置の例を示す。

【0061】

図４（ａ）に示すように、例えば、輝度信号では、１２種類のフィルタ係数Ｃ０～Ｃ１１が用いられる。図４（ａ）において、Ｘと記載された画素は、かかるフィルタ処理によって画素値が補正される画素位置（ｘ,ｙ）である。画素位置（ｘ,ｙ）を中心にして、同一のフィルタ係数Ｃが適用される画素が点対称に配置されている。

【0062】

図４（ｂ）に示すように、色差信号についても、同様に、Ｘと記載された画素を中心に、その他のフィルタ係数が点対称に配置されている。

【0063】

例えば、参照画素がピクチャ外の画素である場合、ピクチャ境界に位置するフィルタ処理前復号信号の画素値をコピー（パディングと呼ぶ）することで、フィルタ処理を実現できる。

【0064】

ここで、図５に、ピクチャの下端（ピクチャ境界）におけるフィルタ処理の一例について示す。

【0065】

図５（ａ）において、グレーアウトされているフィルタ係数Ｃ０～Ｃ３は、ピクチャ外の画素を参照している。この時、グレーアウトされているフィルタ係数Ｃ２及びＣ０への入力としては、図５（ａ）においてフィルタ係数Ｃ２の直上に配置されているフィルタ係数Ｃ６に対応する画素値と同じ画素値が用いられる。

【0066】

同様に、グレーアウトされているフィルタ係数Ｃ３への入力としては、図５（ａ）においてフィルタ係数Ｃ３の直上に配置されているフィルタ係数Ｃ７に対応する画素値と同じ画素値が用いられ、グレーアウトされているフィルタ係数Ｃ１への入力としては、図５（ａ）においてフィルタ係数Ｃ１の直上に配置されているフィルタ係数Ｃ５に対応する画素値と同じ画素値が用いられる。

【0067】

また、上述したフィルタ係数Ｃの点対称性を考慮して、参照画素の一部にパディングした値が用いられる場合、かかる参照画素に対応する位置のフィルタ係数Ｃへの入力としてパディングした値を用いることもできる。

【0068】

図５（ｂ）の例では、図５（ａ）の例で説明したピクチャの下端におけるフィルタ処理に加えて、グレーアウトされているフィルタ係数Ｃ０～Ｃ３についてもパディングした値を入力としてもよい。

【0069】

例えば、図５（ｂ）におけるフィルタ係数Ｃ０及びＣ２への入力としては、フィルタ係数Ｃ２の直下のフィルタ係数Ｃ６に対応する画素値をパディングして用いてもよい。

【0070】

同様に、フィルタ係数Ｃ１及びＣ３の入力についても、それぞれフィルタ係数Ｃ１及びＣ３の直下のフィルタ係数Ｃ５及びＣ７に対応する画素値をパディングして用いてもよい。

【0071】

上述の例では、ピクチャの下端におけるフィルタ処理について説明したが、同様のフィルタ処理について、ピクチャの上端及び左右端で適用することが可能である。

【0072】

また、ピクチャ境界のみでなく、スライスやタイルと呼ばれる符号化の並列処理単位の境界や、仮想境界と呼ばれるパイプライン処理上の境界等、境界の先の画素値が参照できない状況であれば、上述のフィルタ処理の方法を適用して同様に対処することができる。

【0073】

なお、上述のピクチャ境界やタイル境界やスライス境界や仮想境界等の境界におけるフィルタ処理を同一の処理としておくことで、各境界に対して処理が異なる場合と比較して実装が簡素化できる。

【0074】

また、クリッピング処理で用いられる閾値は、フィルタのクラス毎及びフィルタ係数Ｃ毎に、それぞれ設定される。

【0075】

例えば、輝度信号用のフィルタが２５クラスあり、上述のように、各クラスのフィルタ係数Ｃが１２種類ある場合、最大で２５×１２＝３００のフィルタ係数に対する閾値をそれぞれ設定する必要がある。かかる閾値は、後述するパラメータ決定部１５０Ｃで決定され、付加情報として画像復号装置２００側に伝送される。

【0076】

ここで、かかる閾値に係る情報に係る符号量を低減するために、かかる閾値に係る情報として、閾値そのものを伝送するのではなく、予め定めておいた数種類の閾値のうち、フィルタ係数毎にどの閾値を用いるかを示すインデックス（ｉｎｄｅｘ）情報のみを符号化することもできる。

【0077】

また、輝度信号用の閾値及び色差信号用の閾値をそれぞれ予め４種類用意しておく場合、輝度信号用の閾値及び色差信号用の閾値は、例えば、図６（ａ）のように定義することができる。

【0078】

輝度信号の分散は、色差信号の分散よりも大きくなる傾向があるため、図６（ａ）に示すように、輝度信号用の閾値が色差信号用の閾値以上になるように設定することで、各信号の特性を考慮したクリッピング処理が可能となる。

【0079】

すなわち、図６（ａ）のように、内部ビット深度（図６内の「ｂｉｔｄｅｐｔｈ」）が変化しても、輝度信号用の閾値と色差信号用の閾値との大小関係（例えば、輝度信号用の閾値が色差信号用の閾値以上である関係）が保存されるように定義されている。

【0080】

また、図６（ａ）のように、輝度信号用の閾値と色差信号用の閾値は、内部ビット深度の変化に応じて、それぞれ同じ倍率の値を掛けることで算出されるように定義されていてもよい。かかる構成によれば、内部ビット深度が変化しても輝度信号用の閾値と色差信号用の閾値との大小関係を保存し、内部ビット深度に関わらずに同様のクリッピング処理を行うことができる。

【0081】

ここで、内部ビット深度は、符号化処理及び復号処理中に輝度信号及び色差信号の画素値を演算する際のビット精度を意味している。かかる内部ビット深度は、例えば、８～１６ビットの整数値を取り、画像符号化装置１００側から付加情報として画像復号装置２００側に伝送される。

【0082】

また、図６（ａ）のように、内部ビット深度に関連する倍率を２のべき乗で定義しておくことで、かかるクリッピング処理を、図６（ｂ）のようにビットシフトのみで実現でき、ハードウェアやソフトウェアにおける処理負荷が軽減できる。

【0083】

すなわち、輝度信号用の閾値及び色差信号用の閾値は、内部ビット深度の変化に応じて、それぞれビットシフトされることで算出されるように定義されていてもよい。

【0084】

なお、図６（ａ）及び図６（ｂ）におけるインデックス０に対応する閾値は、対応する内部ビット深度で表現できる最大値と同じ値である。よって、かかる閾値を選択することにより、かかる閾値に対応するフィルタ係数Ｃでは、実質、クリッピング処理を行わないことと等価になる。

【0085】

上述の例と同様な効果を得るには、上述のように、全ての閾値に対する倍率を同じ値にする必要はない。予め定められた内部ビット深度の定義域（例えば、８～１６ビット）において、輝度信号内及び色差信号内では、それぞれ各インデックスに対応する閾値の大小関係が逆転せず、また、輝度信号と色差信号との間では、同一のインデックスに対応する閾値の大小関係が逆転しないことが保証される形であれば、各閾値に対する倍率をそれぞれ違う値としても問題ない。

【0086】

なお、それぞれ０～Ｎ-１のインデックスが割り当てられたＮ種類（Ｎは、１以上の自然数）の輝度信号用の閾値及び色差信号用の閾値が設けられている場合、同一のインデックスを有する輝度信号用の閾値及び色差信号用の閾値は、内部ビット深度に応じて同じ倍率を掛けすることによって算出されるように定義されていてもよい。

【0087】

また、上述の例では、内部ビット深度に応じて閾値に倍率を掛ける場合について説明したが、倍率ではなくオフセット値を加算する処理であってもよい。

【0088】

なお、輝度信号の内部ビット深度と色差信号の内部ビット深度とが異なる場合においても、図６のように、輝度信号用の閾値及び色差信号用の閾値をそれぞれ定義しておくことで、輝度信号及び色差信号のダイナミックレンジが同じになるように換算した場合に、輝度信号と色差信号との間でのクリッピング処理において用いられる閾値の大小関係が常に変わらないように定義することができる。

【0089】

また、上述の例では、クラス毎及びフィルタ係数Ｃ毎に閾値を設定する場合について説明したが、例えば、クラス毎に全てのフィルタ係数Ｃに同じ閾値を設定する、すなわち、クラス毎に閾値を１つずつ設定するという方法も可能である。この場合、伝送すべき閾値の数が減るため、閾値のインデックスに関する符号量を削減できる。

【0090】

また、後述するように、クラス毎にクリッピング処理を施すか否かについて示すフラグを、閾値のインデックスに先立って伝送するため、クラス毎に閾値が一種類しかない場合は、上述のインデックス０に対応する閾値（クリッピング処理無しと等価）を定義する必要がなくなる。よって、上述の例では、閾値の取り得るパターンを４種類から３種類に低減することができるため、閾値のインデックスに関する符号量の更なる低減が見込める。

【0091】

上述の例では、輝度信号用の閾値及び色差信号用の閾値に異なる値を設定する場合を説明したが、両者を同じ値とすることもできる。これにより、例えば、ハードウェアにおいて輝度信号及び色差信号のクリッピング処理に関する回路を共通化することができ、回路規模を削減できる。

【0092】

また、輝度信号用の閾値及び色差信号用の閾値は、内部ビット深度が１０ビットの場合を基準として、現在の内部ビット深度に応じて演算を行うことによって算出されるように定義されていてもよい。

【0093】

例えば、図６（ａ）では、輝度信号の１０ビット時の閾値が１０２４、１８１、３２、６の４種類であり、色差信号の１０ビット時の閾値が１０２４、１６１、２５、４の４種類であった場合を基準に、現在の内部ビット深度（図６におけるｂｉｔｄｅｐｔｈ）の値に応じて２のべき乗を乗じて最終的な閾値を得る場合の例が示されている。

【0094】

ここで、図６では、１０ビット時の閾値を具体的な数値（１０２４、１８１…等）で表しているが、これは、数式の形で定義されていてもよい。

【0095】

例えば、図７に示すように、輝度信号の１０ビット時の閾値を「２^（１０(１０×(４－ｉｎｄｅｘ)/４) (ここで、ｉｎｄｅｘ＝０,１,２,３)）として、それに「２^（ｂｉｔｄｅｐｔｈ－１０）」を乗じることで、現在の内部ビット深度に応じた最終的な閾値を得るように定義されていてもよい。

【0096】

図７に示す色差信号の定義も同様に、「２^（８×（３－ｉｎｄｅｘ）/４）×２^（２）」が１０ビット時の閾値であり、それに「２^（ｂｉｔｄｅｐｔｈ－１０）」を乗じることで、現在の内部ビット深度に応じた閾値を算出していると考えることができる。

【0097】

パラメータ決定部１５０Ｃは、入力画像信号及びフィルタ処理前復号信号を入力とし、適応ループフィルタに関するパラメータを決定して符号化部１４０に付加情報として出力するとともに、決定したパラメータをフィルタ部１５０Ｂへ出力するように構成されている。

【0098】

パラメータ決定部１５０Ｃによって決定されるパラメータには、例えば、以下のものが含まれる。

【0099】

第１に、かかるパラメータとして、フレーム単位でのフィルタセットが挙げられる。ここで、１つのフィルタセットには、最大２５クラス分の輝度信号用のフィルタ及び１クラス分の色差信号用のフィルタが含まれる。各クラスのフィルタについて、フィルタ係数の値や、クリッピング処理を施すか否について示すフラグや、かかるクラスでクリッピング処理を施す場合に各フィルタ係数におけるクリッピング処理で用いられる閾値のインデックス等が決定される。

【0100】

パラメータ決定部１５０Ｃは、あるフレームに対して複数のフィルタセットを持っておき、後述のように、領域毎にどのフィルタセットを用いるかについて選択することができる。

【0101】

第２に、かかるパラメータとして、例えば、ＣＴＵ毎の適応ループフィルタを適用するか否かについて示すフラグが挙げられる。なお、パラメータ決定部１５０Ｃは、適応ループフィルタが適用される場合は、複数のフィルタセットの中のどれを用いるかについて示すインデックス情報を設定することができる。

【0102】

なお、かかるパラメータの決定方法については、公知の方法を用いることができるため、詳細は省略する。

【0103】

また、図３には図示していないが、パラメータ決定部１５０Ｃは、パラメータの決定に、クラス判定部１５０Ａによる判定結果や、仮のパラメータ設定で実施したフィルタ部１５０Ｂの結果を用いてもよい。

【0104】

（画像復号装置２００）
以下、図７を参照して、本実施形態に係る画像復号装置２００について説明する。図７は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

【0105】

図７に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。

【0106】

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。

【0107】

ここで、例えば、復号は、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

【0108】

また、復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。

【0109】

なお、上述したように、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のサイズデータを含んでもよい。

【0110】

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

【0111】

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

【0112】

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部２４２及びインループフィルタ処理部２５０に出力するように構成されている。

【0113】

ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。

【0114】

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

【0115】

具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号とに基づいて予測信号を予測ブロック毎に生成するように構成されている。インター予測部２４１は、予測信号を加算器２３０に出力するように構成されている。

【0116】

イントラ予測部２４２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

【0117】

具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、予測信号を加算器２３０に出力するように構成されている。

【0118】

インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。

【0119】

ここで、例えば、フィルタ処理は、復号画像の符号化歪みを減少する適応ループフィルタ処理である。

【0120】

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。

【0121】

ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

【0122】

（インループフィルタ処理部２５０）
以下において、本実施形態に係るインループフィルタ処理部２５０について説明する。図９は、本実施形態に係るインループフィルタ処理部２５０を示す図である。

【0123】

図９に示すように、インループフィルタ処理部２５０は、クラス判定部２５０Ａと、フィルタ部２５０Ｂとを有する。

【0124】

クラス判定部２５０Ａは、クラス判定部１５０Ａと同様に、フィルタ処理前復号信号を入力とし、予め定められた複数種類のインループフィルタの中から、どのクラスのフィルタを用いるかというクラス判定情報を出力するように構成されている。

【0125】

フィルタ部２５０Ｂは、フィルタ部１５０Ｂと同様に、フィルタ処理前復号信号とクラス判定部２５０Ａで決定されたクラス判定情報と画像符号化装置１００側から付加情報として伝送されてくるパラメータとに基づいて、フィルタ処理を実行し、フィルタ処理後復号信号を出力するように構成されている。

【0126】

図１０は、本実施形態に係る画像復号装置２００のインループフィルタ処理部２５０の処理手順の一例を示すフローチャートである。

【0127】

図１０に示すように、ステップＳ１０１において、インループフィルタ処理部２５０は、フィルタ処理前復号信号を入力とし、予め定められた複数種類のインループフィルタの中から、どのクラスのフィルタを用いるかというクラス判定情報を出力する。

【0128】

ステップＳ１０２において、インループフィルタ処理部２５０は、フィルタ処理前復号信号とクラス判定部２５０Ａで決定されたクラス判定情報と画像符号化装置１００側から付加情報として伝送されてくるパラメータとに基づいて、フィルタ処理を実行し、フィルタ処理後復号信号を出力する。

【0129】

本実施形態に係る画像符号化装置１００及び画像復号装置２００によれば、適応内挿フィルタの入力信号の閾値処理に関して、内部ビット深度の設定に関わらず、輝度信号及び色差信号のダイナミックレンジが同じになるように換算した際に、輝度信号用の閾値と色差信号用の閾値との大小関係が不変になるため、意図せず主観画質の特性が変化してしまうことを防ぐことができる。

【0130】

なお、上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【0131】

なお、上述の実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、かかる例に限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化/復号システムにも同様に適用できる。

【符号の説明】

【0132】

１０…画像処理システム
１００…画像符号化装置
１１１、２４１…インター予測部
１１２、２４２…イントラ予測部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１５０Ａ、２５０Ａ…クラス判定部
１５０Ｂ、２５０Ｂ…フィルタ部
１５０Ｃ…パラメータ決定部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】