特許 7548418 映像符号化装置、映像符号化方法、映像符号化プログラム、及び非一時的記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】映像符号化装置、映像符号化方法、映像符号化プログラム、及び非一時的記録媒体

(51)【国際特許分類】

   H04N 19/117 20140101AFI20240903BHJP

   H04N 19/136 20140101ALI20240903BHJP

   H04N 19/176 20140101ALI20240903BHJP

【ＦＩ】

H04N19/117

H04N19/136

H04N19/176

【請求項の数】 9

(21)【出願番号】P 2023508695

(86)(22)【出願日】2022-01-20

(86)【国際出願番号】 JP2022002002

(87)【国際公開番号】W WO2022201808

(87)【国際公開日】2022-09-29

【審査請求日】2023-06-22

(31)【優先権主張番号】P 2021049038

(32)【優先日】2021-03-23

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100141519

【弁理士】

【氏名又は名称】梶田 邦之

(72)【発明者】

【氏名】徳満 健太

(72)【発明者】

【氏名】蝶野 慶一

(72)【発明者】

【氏名】柳田 智徳

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１３／００５６５９（ＷＯ，Ａ１）

【文献】CHEN, Ching-Yeh, et al.，CE8 Subset2: A Joint Proposal on Improving the Adaptive Loop Filter in TMuC0.9 by MediaTek, Qualcomm, and Toshiba，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，JCTVC-D119，2011年01月24日，pp.1-18

【文献】CHEN, Jianle, et al.，Algorithm description for Versatile Video Coding and Test Model 11 (VTM 11)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-T2002-v1，2021年01月06日，pp.69-75

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

符号化対象となる１つのピクチャに含まれる複数のブロックのそれぞれを、それぞれのブロックの勾配情報に基づいて、適用ループフィルタ処理のためのクラスに分類し、前記クラスを出力する分類手段と、
前記クラスに基づいて、前記ピクチャの統計情報を取得する取得手段と、
前記ピクチャの統計情報に基づいて、前記複数のブロックに共通した単一のフィルタセットを割り当てる割当手段と、
前記単一のフィルタセットを用いて、前記複数のブロックのそれぞれに、適用ループフィルタ処理を行うフィルタ処理手段と、を備える、映像符号化装置。

【請求項2】

前記割当手段は、符号化対象となるブロックに適用可能な複数の候補フィルタセットの中から、前記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てる、請求項１記載の映像符号化装置。

【請求項3】

前記ピクチャは、第１色差情報を表す複数の第１色差ブロックと、第２色差情報を表す複数の第２色差ブロックとを含み、
前記ピクチャの統計情報は、前記複数の第１色差ブロックに関する第１色差統計情報と、前記複数の第２色差ブロックに関する第２色差統計情報とを含み、
前記割当手段は、
前記第１色差統計情報に基づいて前記複数の第１色差ブロックに共通した単一のフィルタセットを割り当て、前記第２色差統計情報に基づいて前記複数の第２色差ブロックに共通した単一のフィルタセットを割り当てる、請求項１又は２記載の映像符号化装置。

【請求項4】

前記ピクチャの統計情報は、前記ピクチャに含まれる全ブロック数よりも少ないブロック数のブロックについて算出される統計情報に基づく、請求項１乃至３のうち何れか１項
記載の映像符号化装置。

【請求項5】

前記適用ループフィルタ処理は、デブロッキングフィルタされたピクチャに対して再エッジ強調を行う処理である、請求項１乃至４のうち何れか１項記載の映像符号化装置。

【請求項6】

前記フィルタ処理手段は、前記クラスに応じて前記単一のフィルタセットに含まれるフィルタ係数を並び替え、前記単一のフィルタセットを用いて、前記クラスに対応するブロックに、前記適用ループフィルタ処理を行う、請求項１記載の映像符号化装置。

【請求項7】

前記ピクチャの前記統計情報は、前記ピクチャの共分散情報である、請求項１乃至６のうち何れか１項記載の映像符号化装置。

【請求項8】

符号化対象となる１つのピクチャに含まれる複数のブロックのそれぞれを、それぞれのブロックの勾配情報に基づいて、適用ループフィルタ処理のためのクラスに分類し、前記クラスを出力することと、
前記クラスに基づいて、前記ピクチャの統計情報を取得することと、
前記ピクチャの統計情報に基づいて、前記複数のブロックに共通した単一のフィルタセットを割り当てることと、
前記単一のフィルタセットを用いて、前記複数のブロックのそれぞれに、適用ループフィルタ処理を行うことと、を備える、映像符号化方法。

【請求項9】

符号化対象となる１つのピクチャに含まれる複数のブロックのそれぞれを、それぞれのブロックの勾配情報に基づいて、適用ループフィルタ処理のためのクラスに分類し、前記クラスを出力することと、
前記クラスに基づいて、前記ピクチャの統計情報を取得することと、
前記ピクチャの統計情報に基づいて、前記複数のブロックに共通した単一のフィルタセットを割り当てることと、
前記単一のフィルタセットを用いて、前記複数のブロックのそれぞれに、適用ループフィルタ処理を行うことと、
をプロセッサに実行させる映像符号化プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化装置、映像符号化方法、映像符号化プログラム、及び非一時的記録媒体に関する。

【背景技術】

【0002】

ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格では、再構築画像は、デブロッキングフィルタやサンプル適用オフセットなどの処理が適用され、更に適用ループフィルタが適用される。このような適用ループフィルタの適用により、再構築画像はデブロッキングフィルタされたピクチャに対して再エッジ強調される。これにより、原画像との差分が少ない再構築画像（復号画像）の生成が可能となる（例えば、非特許文献１を参照）。すなわち、符号量と予測精度のバランスを好適にして、圧縮効率を高めることができる。

【先行技術文献】

【非特許文献】

【0003】

【文献】Jianle Chen et al., " Algorithm description for Versatile Video Coding and Test Model 11 (VTM 11)" document JVET-T2002-v1, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 20th Meeting, by teleconference, 7-16 October 2020.

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、上述したＶＶＣなどの映像符号化技術では、例えば適用ループフィルタ用に複数の候補フィルタセットが設けられる。これにより、再構築画像に含まれる各々のブロックの特性に適したいずれかのフィルタセットを用いることができる。しかしながら、ブロックの特性に適したフィルタセットの決定には、原画像と再構築画像との差分コストの計算および評価などのための反復処理が必要となる。このため、映像符号化において、実装コストを抑制しながら良好な圧縮効率を実現することが望まれる。

【0005】

本発明の目的は、実装コストを抑制しながら良好な圧縮効率を実現することを可能にする映像符号化装置、映像符号化方法、映像符号化プログラム、及び非一時的記録媒体を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一つの態様によれば、映像符号化装置は、符号化対象となる１つのピクチャの統計情報を取得する取得部と、上記ピクチャの統計情報に基づいて、上記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てる割当部と、上記単一のフィルタセットを用いて、上記複数のブロックのそれぞれに、上記適用ループフィルタ処理を行うフィルタ処理部と、を備える。

【0007】

本発明の一つの態様によれば、映像符号化方法は、符号化対象となる１つのピクチャの統計情報を取得することと、上記ピクチャの統計情報に基づいて、上記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てることと、上記単一のフィルタセットを用いて、上記複数のブロックのそれぞれに、上記適用ループフィルタ処理を行うことと、を備える。

【0008】

本発明の一つの態様によれば、映像符号化プログラムは、符号化対象となる１つのピクチャの統計情報を取得することと、上記ピクチャの統計情報に基づいて、上記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てることと、上記単一のフィルタセットを用いて、上記複数のブロックのそれぞれに、上記適用ループフィルタ処理を行うことと、をプロセッサに実行させる。

【0009】

本発明の一つの態様によれば、非一時的記録媒体は、コンピュータに読み取り可能であって、符号化対象となる１つのピクチャの統計情報を取得することと、前記ピクチャの統計情報に基づいて、前記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てることと、前記単一のフィルタセットを用いて、前記複数のブロックのそれぞれに、適用ループフィルタ処理を行うことと、をプロセッサに実行させるプログラムを記録している。

【発明の効果】

【0010】

本発明の一つの態様によれば、実装コストを抑制しながら良好な圧縮効率を実現することが可能になる。なお、本発明により、当該効果の代わりに、又は当該効果とともに、他の効果が奏されてもよい。

【図面の簡単な説明】

【0011】

【図1】図１は、例えばＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの符号化規格に適用される映像符号化装置１０００の概略的な構成を示すブロック図である。

【図2】図２は、ループフィルタ１０６０の概略的な構成を示すブロック図である。

【図3】図３は、適用ループフィルタの処理の流れを説明するためのフローチャートである。

【図4】図４は、輝度情報に関して、フィルタ係数の計算および適用可否の判定を行う処理の流れを説明するためのフローチャートである。

【図5】図５は、色差情報Ｕ、Ｖの共分散情報の平均値を導出する処理の流れを説明するためのフローチャートである。

【図6】図６は、本発明が適用される例示的な第１の実施形態の第２の実施例に係る映像符号化装置１の概略的な構成の一例を示す説明図である。

【図7】図７は、映像符号化装置１を実装可能なハードウェア７００の概略的な構成の一例を示す説明図である。

【図8】図８は、第１の実施形態の第２の実施例に係るループフィルタ６０の概略的な構成を示すブロック図である。

【図9】図９は、第１の実施形態の第２の実施例に係る適用ループフィルタ１００の概略的な構成を示すブロック図である。

【図10】図１０は、統計情報の算出の例を示す説明図である。

【図11】図１１は、フィルタ係数の並び替えの一例を概略的に説明するための説明図である。

【図12】図１２は、適用ループフィルタ１００の処理の流れの一例を説明するためのフローチャートである。

【図13】図１３は、第２の実施形態に係る映像符号化装置２００の概略的な構成の例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、添付の図面を参照して本発明の実施形態を詳細に説明する。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。

【0013】

説明は、以下の順序で行われる。
１．第１の実施形態
１．１．第１の実施例
１．２．第２の実施例
１．２．１．映像符号化装置１の構成
１．２．２．ループフィルタ６０の構成
１．２．３．適用ループフィルタ１００の構成
１．２．４．動作例
２．第２の実施形態
２．１．構成
２．２．動作例
３．他の実施形態

【0014】

＜＜１．第１の実施形態＞＞
本発明が適用される例示的な第１の実施形態について説明する。

【0015】

＜１．１．第１の実施例＞
まず、第１の実施形態の第１の実施例として、映像符号化処理で行われる適用ループフィルタの処理について説明する。

【0016】

（１）映像符号化装置１０００の構成
図１は、例えばＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの符号化規格に適用される映像符号化装置１０００の概略的な構成を示すブロック図である。図１を参照すると、映像符号化装置１０００は、イントラ予測部１０１０、インター予測部１０２０、変換／量子化部１０３０、エントロピー符号化部１０４０、逆変換／逆量子化部１０５０、ループフィルタ１０６０、及び復号画像バッファ１０７０を備える。

【0017】

イントラ予測部１０１０及びインター予測部１０２０は、ブロック毎に、その入力画像に対する予測画像を生成する。具体的に、処理対象ブロックに対して画面内予測を行う場合には、イントラ予測部１０１０により、処理対象ブロックに対する予測画像が生成される。一方、処理対象ブロックに対して画面間予測を行う場合には、インター予測部１０２０により、復号画像バッファ１０７０に記憶されている復号画像を参照して、予測画像が生成される。

【0018】

変換／量子化部１０３０は、入力画像から予測画像を減じた予測誤差画像を周波数変換する。さらに、変換／量子化部１０３０は、周波数変換した予測誤差画像（変換係数）を量子化する。

【0019】

エントロピー符号化部１０４０は、変換量子化値、および、インター予測部１０２０が利用する予測パラメータである動きベクトルの差分情報などを、例えばＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）に基づいてエントロピー符号化する。エントロピー符号化された符号語は、たとえばインターネットなどの通信回線などを介して、ビットストリームとして外部に送信される。

【0020】

逆変換／逆量子化部１０５０は、変換量子化値を逆量子化する。さらに、逆変換／逆量子化部１０５０は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測画像が加えられる。そして、再構築予測画像は、ループフィルタ１０６０に供給される。

【0021】

ループフィルタ１０６０は、再構築予測画像に対して種々のフィルタ処理を適用して、復号画像を出力する。出力される復号画像は、復号画像バッファ１０７０に保持される。
復号画像バッファ１０７０は、再構築画像を格納する。

【0022】

（２）ループフィルタ１０６０の構成
図２は、ループフィルタ１０６０の概略的な構成を示すブロック図である。図２を参照すると、ループフィルタ１０６０は、デブロッキングフィルタ部１０６１、サンプル適用オフセット処理部１０６３、及び適用ループフィルタ１０６５を備える。

【0023】

デブロッキングフィルタ部１０６１は、画面間予測における動き補償や変換処理などによるブロック状の歪を緩和するために、これらのブロック境界にフィルタリング処理を行う。

【0024】

サンプル適用オフセット処理部１０６３は、再構築画像の符号化歪を低減するため、デブロッキングフィルタ処理が適用された各々のブロック内のサンプルに対して、オフセット値をサンプル値に加算する処理を行う。

【0025】

適用ループフィルタ１０６５は、デブロッキングフィルタ処理やサンプル適用オフセット処理が適用された再構築画像に対して、再エッジ強調（リシェイプ）のための処理を行う。

【0026】

（３）適用ループフィルタの処理の流れ
次に適用ループフィルタの処理の流れについて説明する。図３は、適用ループフィルタの処理の流れを説明するためのフローチャートである。

【0027】

ステップＳ３０１において、適用ループフィルタ１０６５は、フィルタ処理対象となるピクチャに含まれる各々のブロックの分類を行う。具体的には、適用ループフィルタ１０６５は、拡張した再構築画像を参照して勾配計算を行い、勾配を参照してブロックの分類を示すブロック分類情報を出力する。

【0028】

ステップＳ３０３において、適用ループフィルタ１０６５は、ブロック分類情報に基づいて、原画像と拡張した再構築画像とを参照する範囲を決定することにより、輝度情報Ｙ及び色差情報Ｕ、Ｖのそれぞれ関する共分散情報を計算する。

【0029】

ステップＳ３０５において、適用ループフィルタ１０６５は、前段ステップで得られた輝度情報Ｙに関する共分散情報に基づいて、輝度に関して、フィルタ係数の計算および適用可否の判定を行う。具体的には、図４に示すような処理により、当該ステップＳ３０５が行われる。

【0030】

図４は、輝度情報に関して、フィルタ係数の計算および適用可否の判定を行う処理の流れを説明するためのフローチャートである。

【0031】

図４を参照すると、適用ループフィルタ１０６５は、ブロック単位（例えば符号化ツリーユニットＣＴＵ）で保持している共分散情報を合計することにより、フレーム共分散情報を計算する（ステップＳ４０１）。次に、適用ループフィルタ１０６５は、フレーム共分散情報を参照して、全ＣＴＵについて適用ループフィルタ未適用時のコスト、すなわち原画像と再構築画像の差分に関するコストを計算する（ステップＳ４０３）。次に、適用ループフィルタ１０６５は、全ＣＴＵについてフィルタ適用時のコスト及びフィルタ係数を計算する（ステップＳ４０５）。次に、適用ループフィルタ１０６５は、各々のＣＴＵごとにフィルタ適用可否を判定する（ステップＳ４０７）。次に、適用ループフィルタ１０６５は、所定の最適コストとＣＴＵ合計コストを比較して、コストが小さい方を最適コストとして更新する（ステップＳ４０９）。ここで、後述する反復処理の後に、現在のコストが反復処理前のコストより大きい場合には、図４に示す処理を終了する。そうではない場合には、適用ループフィルタ１０６５は、ステップＳ４０７で得られたＣＴＵ毎の適用可否リストの結果からフレーム共分散を再計算し（ステップＳ４１１）、新たなフレーム共分散を用いて係数を計算する（ステップＳ４１３）。次に、適用ループフィルタ１０６５は、所定回数（例えば４回）ステップＳ４１３からステップＳ４０７への反復処理を行い、その後は、ステップＳ４１３からステップＳ４０５へ戻る。ステップＳ４１３からステップＳ４０５へ戻る反復処理は例えば２回行われる。

【0032】

以上のようにして反復処理がなされ最適コストが決定すると、各クラスに対し適用するフィルタセットが最大２５セットの候補フィルタセットの中から決定される。最大２５セットの候補フィルタセットの中から固定値を持つフィルタセットが選択されなかった場合には、フレーム共分散からフィルタの係数が導出される。また、決定したフィルタセットのフィルタ係数を用いて、及びブロックごとのフィルタのオンオフが導出される。その後、ステップＳ３０５が終了し、ステップＳ３０７に進む。

【0033】

ステップＳ３０７において、適用ループフィルタ１０６５は、ステップＳ３０３で得られた色差情報Ｕ、Ｖに関する共分散情報に基づいて、色差に関して、フィルタ係数の計算および適用可否の判定を行う。具体的には、上述した図４に示すような処理と同様にして、当該ステップＳ３０７が行われる。

【0034】

ステップＳ３０９において、適用ループフィルタ１０６５は、輝度情報Ｙの拡張再構築画像、クラス情報、フィルタセットインデックス、及び適用可否フラグなどを用いて各々のＣＴＵに対して適用ループフィルタ処理を行う。

【0035】

ステップＳ３１１において、適用ループフィルタ１０６５は、色差情報Ｕ、Ｖの拡張再構築画像、クラス情報、フィルタセットインデックス、及び適用可否フラグなどを用いて各々のＣＴＵに対して適用ループフィルタ処理を行う。そして、図３に示す処理が終了する。

【0036】

（４）第１の実施例を実現するための動作
次に、第１の実施例を実現するための動作を説明する。

【0037】

上述したような図３及び図４に示した処理に従って、適用ループフィルタを実行することができる。具体的には、図３に示す処理には、各クラスに適用するフィルタセットの決定、各フィルタセットの係数の導出、及びブロックごとのフィルタのオンオフの導出のために、反復処理が行われる。言い換えれば、画像データをロードするため多数回のメモリアクセス（復号画像バッファ１０７０へのアクセスなど）により、図３に示すステップＳ３０５及びＳ３０７を実行することができる。

【0038】

また、ステップＳ３０７では、色差情報に関するフィルタ係数算出のための入力値として、色差情報Ｕ、Ｖの共分散情報の平均値が用いられる。図５は、色差情報Ｕ、Ｖの共分散情報の平均値を導出する処理の流れを説明するためのフローチャートである。

【0039】

この場合、適用ループフィルタ１０６５は、色差情報Ｕの共分散情報を取得し（ステップＳ５０１）、色差情報Ｖの共分散情報を取得する（ステップＳ５０３）。次に、適用ループフィルタ１０６５は、色差情報Ｕの共分散情報と色差情報Ｖの共分散情報との平均値を、色差情報に関するフィルタ係数算出用共分散情報として算出して、図５に示す処理を終了する。

【0040】

この場合、上記の図５に示す処理では、色差Ｕ及びＶの両方の成分にどちらにも効果があるフィルタ係数を生成することができる。

【0041】

＜１．２．第２の実施例＞
＜１．２．１．映像符号化装置１の構成＞
次に、図６を参照して、第１の実施形態の第２の実施例に係る映像符号化装置１の構成の例を説明する。図６は、本発明が適用される例示的な第１の実施形態の第２の実施例に係る映像符号化装置１の概略的な構成の一例を示す説明図である。図６を参照すると、映像符号化装置１は、イントラ予測部１０、インター予測部２０、変換／量子化部３０、エントロピー符号化部４０、逆変換／逆量子化部５０、ループフィルタ６０、及び復号画像バッファ７０を備える。ループフィルタ６０以外の構成、すなわち、イントラ予測部１０、インター予測部２０、変換／量子化部３０、エントロピー符号化部４０、逆変換／逆量子化部５０、及び復号画像バッファ７０については、上述した映像符号化装置１０００に係る構成及び動作と同様であり、その説明を省略する。

【0042】

映像符号化装置１は、例えば図７に示すようなハードウェア構成により実装される。図７は、映像符号化装置１を実装可能なハードウェア７００の概略的な構成の一例を示す説明図である。図７を参照すると、ハードウェア７００は、プロセッサ７１０、プログラムメモリ７２０、映像データを格納するための記憶媒体７３０およびビットストリームを格納するための記憶媒体７４０を備える。記憶媒体７３０と記憶媒体７４０とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

【0043】

ハードウェア７００は、映像符号化装置１の機能を実現するコンピュータプログラムをプログラムメモリ７２０にインストールすることにより、映像符号化装置１の種々の機能を実現することができる。

【0044】

＜１．２．２．ループフィルタ６０の構成＞
図８を参照して、ループフィルタ６０の構成の例を説明する。図８は、第１の実施形態の第２の実施例に係るループフィルタ６０の概略的な構成を示すブロック図である。図８を参照すると、ループフィルタ６０は、デブロッキングフィルタ部６１、サンプル適用オフセット処理部６３、及び適用ループフィルタ１００を備える。ここで、適用ループフィルタ１００以外の構成、すなわち、デブロッキングフィルタ部６１及びサンプル適用オフセット処理部６３については、上述した映像符号化装置１０００が備えるループフィルタ６０に係る構成及び動作と同様であり、その説明を省略する。

【0045】

＜１．２．３．適用ループフィルタ１００の構成＞
図９を参照して、適用ループフィルタ１００の構成の例を説明する。図９は、第１の実施形態の第２の実施例に係る適用ループフィルタ１００の概略的な構成を示すブロック図である。図９を参照すると、適用ループフィルタ１００は、取得部１１０、割当部１２０、分類部１３０、及びフィルタ処理部１４０を備える。具体的な各部で行われる動作などについては、以下で説明する。

【0046】

＜１．２．４．動作例＞
次に、第１の実施形態の第２の実施例に係る動作例を説明する。

【0047】

第１の実施形態の第２の実施例によれば、適用ループフィルタ１００の取得部１１０は、符号化対象となる１つのピクチャの統計情報を取得する。また、適用ループフィルタ１００の割当部１２０は、上記ピクチャの統計情報に基づいて、上記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てる。さらに、適用ループフィルタ１００のフィルタ処理部１４０は、上記単一のフィルタセットを用いて、上記複数のブロックのそれぞれに、上記適用ループフィルタ処理を行う。

【0048】

（１）統計情報の取得
具体的に、上記ピクチャの上記統計情報は、上記ピクチャの共分散情報である。この場合、例えば、適用ループフィルタ１００の取得部１１０は、上記ピクチャに含まれる４×４サンプルサイズのブロックのそれぞれについて共分散値を算出する。具体的には、適用ループフィルタ１００の取得部１１０は、ブロックごとに、対応するブロックの入力画像と、対応するブロックの範囲を拡張した再構築画像とを参照して、共分散値を計算する。そして、適用ループフィルタ１００の取得部１１０は、各々のブロックについての共分散値の合計値を、上記ピクチャの上記共分散情報として取得することができる。

【0049】

また、上記ピクチャの上記統計情報は、上記ピクチャに含まれる全ブロック数よりも少ないブロック数のブロックについて算出される統計情報に基づいてもよい。図１０は、統計情報の算出の例を示す説明図である。例えば図１０に示すように、適用ループフィルタ１００の取得部１１０は、上記ピクチャに含まれる全ブロックを水平及び垂直方向に１ブロックごとにブロックを間引くことにより、略半数のブロック（例えば図１０の斜線で示されるブロック）を統計情報の算出対象としてもよい。このように、統計情報の算出対象となるブロックを少なくすることにより、計算量の抑制を図ることができる。とりわけ、入力画像の画サイズが大きくなるのに伴って、より一層計算量の抑制を実現することができる。

【0050】

（２）ブロックのクラス
適用ループフィルタ１００の分類部１３０は、上記複数のブロックのそれぞれを、それぞれのブロックの勾配情報に基づいて、上記適用ループフィルタ処理のための複数のクラスのうちの一つのクラスに分類する。具体的には、適用ループフィルタ１００の分類部１３０は、拡張した再構築画像を参照して勾配計算を行い、勾配を参照してブロックの分類を示すクラス（ブロック分類情報）を出力する。

【0051】

具体的には、まず、適用ループフィルタ１００の分類部１３０は、各ブロック内に含まれるサンプルごとに、近傍サンプルの値を参照して、垂直、水平、斜め方向の勾配を計算する。なお、勾配の計算は、水平方向と垂直方向との両方向について、偶数又は奇数のサンプル位置のみを用いてもよい。これにより演算量が軽減される。

【0052】

次に、適用ループフィルタ１００の分類部１３０は、各々のブロックについて、勾配計算結果の大小関係を比較して、当該比較の結果に基づいて、方向カテゴリＤを計算する。一例として、方向カテゴリＤの取り得る値は、例えば０～４の整数である。また、適用ループフィルタ１００の分類部１３０は、水平及び垂直方向の勾配計算の和から変化量Ａを計算する。一例として、変化量Ａの取り得る値は、０～４の整数である。

【0053】

次に、適用ループフィルタの分類部１３０は、上述した方向カテゴリＤと変化量Ａを用いて、Ｃ＝５Ｄ＋Ａで表現される式により、クラスＣを計算する。上述したようにＤとＡの取り得る範囲が０～４の整数である場合、適用ループフィルタの分類部１３０は、０～２４までの２５候補のクラスの中から、各々のブロックに対応するクラスＣを計算する。

【0054】

（３）フィルタセットの割当
次に、フィルタセットの割当について詳述する。適用ループフィルタ１００の割当部１２０は、符号化対象となるブロックに適用可能な複数の候補フィルタセットの中から、上記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てる。例えば、上記複数の候補フィルタセットのうち、上記原画像と再構築画像の差分に関するコストが最も低くなるようなフィルタセットが、上記単一のフィルタセットとして割り当てられる。

【0055】

上記複数の候補フィルタセットは、例えばブロックの勾配などに応じてグループ分け可能な各々のクラスに適用され得る合計２５個の候補フィルタセットである。この場合、適用ループフィルタ１００の割当部１２０は、上記クラスの分類によらず、上記ピクチャの上記統計情報に基づいて、上記ピクチャに含まれる上記複数のブロックに共通した上記単一のフィルタセットを割り当てる。

【0056】

このようにして、適用ループフィルタ１００の割当部１２０は、上述した図３及び図４の参照により説明された第１の実施例と異なり、上記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てることができる。したがって、適用ループフィルタ１００の割当部１２０は、例えば上述した図３及び図４の参照により説明された第１の実施例のような反復処理を行わないので、実装コストを抑制しながら良好な圧縮効率を実現することができる。

【0057】

（４）フィルタ処理の実行
上記適用ループフィルタ処理は、デブロッキングフィルタおよびサンプル適用オフセット処理がなされたピクチャに対して再エッジ強調を行う処理である。具体的には、適用ループフィルタ１００のフィルタ処理部１４０は、上記クラスに応じて上記単一のフィルタセットに含まれるフィルタ係数を並び替え、上記単一のフィルタセットを用いて、上記クラスに対応するブロックに、上記適用ループフィルタ処理を行う。

【0058】

図１１は、フィルタ係数の並び替えの一例を概略的に説明するための説明図である。図１１を参照すると、例えば、基準となるフィルタセット１１０１は、例えばクラスに応じて右回転方向に９０度回転され、フィルタセット１１０２のように、各々のフィルタ係数（０から１２までナンバーリングされる係数）が並び替えられる。

【0059】

（５）処理の流れ
次に、図１２を参照して、適用ループフィルタ１００の処理の流れを説明する。図１２は、適用ループフィルタ１００の処理の流れの一例を説明するためのフローチャートである。

【0060】

ステップＳ１２０１において、適用ループフィルタ１００の分類部１３０は、現在のピクチャに含まれる複数のブロック（例えば４×４サイズのブロック）のそれぞれを、それぞれのブロックの勾配情報に基づいて、上記適用ループフィルタ処理のための複数のクラスのうちの一つのクラスに分類する。

【0061】

ステップＳ１２０３において、適用ループフィルタ１００の取得部１１０は、上記ピクチャに含まれる４×４サンプルサイズのブロックのそれぞれについて共分散値を算出し、各々のブロックについての共分散値の合計値を、上記ピクチャの上記共分散情報として取得する。

【0062】

ステップＳ１２０５において、適用ループフィルタ１００の割当部１２０は、上記ピクチャの統計情報に基づいて、上記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当て、単一のフィルタセットに含まれるフィルタ係数を計算する。

【0063】

ステップＳ１２０７において、適用ループフィルタ１００のフィルタ処理部１４０は、ピクチャに含まれるブロック（例えば、符号化ツリーユニットＣＴＵ）に対して、単一のフィルタセットを用いて適用ループフィルタ処理を行う。

【0064】

ステップＳ１２０９において、適用ループフィルタ１００のフィルタ処理部１４０は、ブロック（例えば、符号化ツリーユニットＣＴＵ）単位で、適用ループフィルタ処理のオンオフを判定する。その後、図１２に示す処理を終了する。

【0065】

上記図１２に示す処理によれば、上述した図３及び図４の参照により説明された第１の実施例と異なり、上記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てることができる。したがって、適用ループフィルタ１００の割当部１２０は、例えば上述した図３及び図４の参照により説明された第１の実施例のような反復処理を行わないので、実装コストを抑制しながら良好な圧縮効率を実現することができる。

【0066】

（６）色差情報に関する適用ループフィルタ処理に用いられる共分散情報
例えば、色差情報に関する適用ループフィルタ処理では、次のように共分散情報が用いられることにより、単一のフィルタセットが割り当てられてもよい。

【0067】

すなわち、上記ピクチャが、第１色差情報（Ｕ）を表す複数の第１色差ブロックと、第２色差情報（Ｖ）を表す複数の第２色差ブロックとを含む場合、適用ループフィルタ１００の取得部１１０は、上記複数の第１色差ブロックに関する第１色差統計情報、及び上記複数の第２色差ブロックに関する第２色差統計情報を算出する。そして、適用ループフィルタ１００の取得部１１０は、上記複数の第１色差ブロックに関する第１色差統計情報を合計して、上記ピクチャの第１色差統計情報を取得する。また、適用ループフィルタ１００の取得部１１０は、上記複数の第２色差ブロックに関する第２色差統計情報を合計して、上記ピクチャの第２色差統計情報を取得する。

【0068】

適用ループフィルタ１００の割当部１２０は、上記第１色差統計情報に基づいて上記複数の第１色差ブロックに共通した単一のフィルタセットを割り当て、上記第２色差統計情報に基づいて上記複数の第２色差ブロックに共通した単一のフィルタセットを割り当てる。

【0069】

このようにして、適用ループフィルタ１００の割当部１２０は、例えば色差情報Ｕの共分散情報と色差情報Ｖの共分散情報との平均値を用いて色差情報Ｕ及びＶ共通でフィルタセットを割り当てる場合に比べて、２つの色差情報（Ｕ、Ｖ）のそれぞれに適した適用ループフィルタのフィルタセットを得ることができる。

【0070】

＜＜２．第２の実施形態＞＞
続いて、図１３を参照して、本発明の第２の実施形態を説明する。上述した第１の実施形態は、具体的な実施形態であるが、第２の実施形態は、より一般化された実施形態である。

【0071】

＜２．１．構成＞
図１３は、第２の実施形態に係る映像符号化装置２００の概略的な構成の例を示すブロック図である。図１３を参照すると、映像符号化装置２００は、取得部２１０、割当部２２０、及びフィルタ処理部２３０を備える。

【0072】

＜２．２．動作例＞
次に、第２の実施形態の動作例を説明する。

【0073】

第２の実施形態では、映像符号化装置２００の取得部２１０は、符号化対象となる１つのピクチャの統計情報を取得する。また、映像符号化装置２００の割当部２２０は、上記ピクチャの統計情報に基づいて、上記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てる。さらに、映像符号化装置２００のフィルタ処理部２３０は、上記単一のフィルタセットを用いて、上記複数のブロックのそれぞれに、上記適用ループフィルタ処理を行う。

【0074】

例えば、映像符号化装置２００は、第１の実施形態に係る適用ループフィルタ１００の動作を行ってもよい。この場合、第２の実施形態に係る取得部２１０は、第１の実施形態に係る取得部１１０の動作を行う。また、第２の実施形態に係る割当部２２０は、第１の実施形態に係る割当部１２０の動作を行う。第２の実施形態に係るフィルタ処理部２３０は、第１の実施形態に係るフィルタ処理部１４０の少なくとも一部の動作を行う。

【0075】

以上、第２の実施形態を説明した。第２の実施形態によれば、例えば、実装コストを抑制しながら良好な圧縮効率を実現することが可能になる。

【0076】

＜＜３．他の実施形態＞＞
以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。

【0077】

例えば、本明細書に記載されている処理におけるステップは、必ずしもシーケンス図に記載された順序に沿って時系列に実行されなくてよい。例えば、処理におけるステップは、シーケンス図として記載した順序と異なる順序で実行されても、並列的に実行されてもよい。また、処理におけるステップの一部が削除されてもよく、さらなるステップが処理に追加されてもよい。

【0078】

また、本明細書において説明した装置の構成要素（例えば、取得部、割当部、及び／又はフィルタ処理部）の処理を含む方法が提供されてもよく、上記構成要素の処理をプロセッサに実行させるためのプログラムが提供されてもよい。また、当該プログラムを記録したコンピュータに読み取り可能な非一時的記録媒体（Non-transitory computer readable medium）が提供されてもよい。当然ながら、このような装置、モジュール、方法、プログラム、及びコンピュータに読み取り可能な非一時的記録媒体も本発明に含まれる。

【0079】

上記実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

【0080】

（付記１）
符号化対象となる１つのピクチャの統計情報を取得する取得部と、
前記ピクチャの統計情報に基づいて、前記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てる割当部と、
前記単一のフィルタセットを用いて、前記複数のブロックのそれぞれに、適用ループフィルタ処理を行うフィルタ処理部と、を備える、映像符号化装置。

【0081】

（付記２）
前記割当部は、符号化対象となるブロックに適用可能な複数の候補フィルタセットの中から、前記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てる、付記１記載の映像符号化装置。

【0082】

（付記３）
前記ピクチャは、第１色差情報を表す複数の第１色差ブロックと、第２色差情報を表す複数の第２色差ブロックとを含み、
前記ピクチャの統計情報は、前記複数の第１色差ブロックに関する第１色差統計情報と、前記複数の第２色差ブロックに関する第２色差統計情報とを含み、
前記割当部は、
前記第１色差統計情報に基づいて前記複数の第１色差ブロックに共通した単一のフィルタセットを割り当て、前記第２色差統計情報に基づいて前記複数の第２色差ブロックに共通した単一のフィルタセットを割り当てる、付記１又は２記載の映像符号化装置。

【0083】

（付記４）
前記ピクチャの統計情報は、前記ピクチャに含まれる全ブロック数よりも少ないブロック数のブロックについて算出される統計情報に基づく、付記１乃至３のうち何れか１項記載の映像符号化装置。

【0084】

（付記５）
前記適用ループフィルタ処理は、デブロッキングフィルタされたピクチャに対して再エッジ強調を行う処理である、付記１乃至４のうち何れか１項記載の映像符号化装置。

【0085】

（付記６）
前記複数のブロックのそれぞれを、それぞれのブロックの勾配情報に基づいて、前記適用ループフィルタ処理のための複数のクラスのうちの一つのクラスに分類する分類部を更に備え、
前記割当部は、前記クラスの分類によらず、前記ピクチャの統計情報に基づいて、前記ピクチャに含まれる前記複数のブロックに共通した前記単一のフィルタセットを割り当てる、付記１乃至５のうち何れか１項記載の映像符号化装置。

【0086】

（付記７）
前記フィルタ処理部は、前記クラスに応じて前記単一のフィルタセットに含まれるフィルタ係数を並び替え、前記単一のフィルタセットを用いて、前記クラスに対応するブロックに、前記適用ループフィルタ処理を行う、付記６記載の映像符号化装置。

【0087】

（付記８）
前記ピクチャの前記統計情報は、前記ピクチャの共分散情報である、付記１乃至７のうち何れか１項記載の映像符号化装置。

【0088】

（付記９）
符号化対象となる１つのピクチャの統計情報を取得することと、
前記ピクチャの統計情報に基づいて、前記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てることと、
前記単一のフィルタセットを用いて、前記複数のブロックのそれぞれに、適用ループフィルタ処理を行うことと、を備える、映像符号化方法。

【0089】

（付記１０）
符号化対象となる１つのピクチャの統計情報を取得することと、
前記ピクチャの統計情報に基づいて、前記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てることと、
前記単一のフィルタセットを用いて、前記複数のブロックのそれぞれに、適用ループフィルタ処理を行うことと、
をプロセッサに実行させる映像符号化プログラム。

【0090】

（付記１１）
符号化対象となる１つのピクチャの統計情報を取得することと、
前記ピクチャの統計情報に基づいて、前記ピクチャに含まれる複数のブロックに共通した単一のフィルタセットを割り当てることと、
前記単一のフィルタセットを用いて、前記複数のブロックのそれぞれに、適用ループフィルタ処理を行うことと、
をプロセッサに実行させるプログラムを記録したコンピュータに読み取り可能な非一時的記録媒体。

【0091】

この出願は、２０２１年３月２３日に出願された日本出願特願２０２１―０４９０３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【産業上の利用可能性】

【0092】

映像を符号化または復号するシステムにおいて、画面内予測に使用される画像の使用範囲を適応的に制御することが可能になる。

【符号の説明】

【0093】

１、２００、１０００ 映像符号化装置
６０、１０６０ ループフィルタ
１００、１０６５ 適用ループフィルタ
１１０、２１０ 取得部
１２０、２２０ 割当部
１３０ 分類部
１４０、２３０ フィルタ処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】