特開 2021-197683 学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-197683(P2021-197683A)

(43)【公開日】2021年12月27日

(54)【発明の名称】学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置

(51)【国際特許分類】

   H04N 19/117 20140101AFI20211129BHJP

   H04N 19/136 20140101ALI20211129BHJP

   H04N 19/85 20140101ALI20211129BHJP

【ＦＩ】

   H04N19/117

   H04N19/136

   H04N19/85

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2020-104629(P2020-104629)

(22)【出願日】2020年6月17日

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】岩崎 真也

(72)【発明者】

【氏名】森田 泰子

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA00

5C159TA68

5C159TB08

5C159TC01

5C159TD05

5C159UA16

(57)【要約】

【課題】ループフィルタの処理量を抑制できる学習装置を提供する。
【解決手段】学習装置１は、符号化装置又は復号装置のループフィルタを制御する学習モデル１３のパラメータを学習するものであり、学習画像をフレーム単位で取得するフレーム取得部１０と、学習画像にループフィルタの適否を示す教師データを取得する教師データ取得部１１と、学習画像を学習モデル１３に入力して得られた判定結果と教師データとの誤差を算出し、算出した誤差が最小となるように学習モデル１３のパラメータを更新する学習部１２と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

符号化装置又は復号装置が備えるループフィルタを制御する学習モデルのパラメータを学習する学習装置であって、
学習画像を入力する学習画像入力部と、
前記学習画像の画質評価指標に基づいて、予め算出された前記学習画像に前記ループフィルタの適否を示す教師データを入力する教師データ入力部と、
前記学習画像を前記学習モデルに入力して得られた判定結果と前記教師データとの誤差を算出し、算出した前記誤差が最小となるように前記学習モデルのパラメータを更新する学習部と、
を備えることを特徴とする学習装置。

【請求項2】

前記ループフィルタは、デブロッキングフィルタ処理及びＳＡＯ処理で構成し、
前記画質評価指標は、ピーク信号対雑音比であり、
前記ループフィルタを構成する前記デブロッキングフィルタ処理及び前記ＳＡＯ処理それぞれの適否が異なる４パターン分について、符号化及び復号する前後の前記学習画像の間でピーク信号対雑音比を算出するピーク信号対雑音比算出部と、
前記ピーク信号対雑音比が最大となるパターンで前記デブロッキングフィルタ処理及び前記ＳＡＯ処理の適否を示す前記教師データを生成する教師データ生成部と、
を備えることを特徴とする請求項１に記載の学習装置。

【請求項3】

前記ピーク信号対雑音比算出部は、前記デブロッキングフィルタ処理で選択するストロングフィルタ又はウィークフィルタを示すモード毎に、符号化及び復号する前後の前記学習画像の間でピーク信号対雑音比を算出し、
前記教師データ生成部は、前記ピーク信号対雑音比が最大となるモードで前記デブロッキングフィルタ処理の強弱を示す前記教師データを生成し、
前記学習部は、前記デブロッキングフィルタ処理の強弱を制御する前記学習モデルのパラメータを学習することを特徴とする請求項２に記載の学習装置。

【請求項4】

前記ピーク信号対雑音比算出部は、前記ＳＡＯ処理のオフセット値毎に、符号化及び復号する前後の前記学習画像の間でピーク信号対雑音比を算出し、
前記教師データ生成部は、前記ピーク信号対雑音比が最大となるオフセット値を示す前記教師データを生成し、
前記学習部は、前記ＳＡＯ処理のオフセット値を制御する前記学習モデルのパラメータを学習することを特徴とする請求項２又は請求項３に記載の学習装置。

【請求項5】

前記学習画像を周波数分解する周波数分解部と、
前記学習画像の画像特徴量を算出する画像特徴量算出部と、を備え、
前記学習部は、前記学習画像の周波数分解値及び画像特徴量を前記学習モデルに入力して得られた前記判定結果と前記教師データとの誤差を算出し、算出した前記誤差が最小となるように前記学習モデルのパラメータを更新することを特徴とする請求項１から請求項４の何れか一項に記載の学習装置。

【請求項6】

符号化装置又は復号装置が備えるループフィルタを制御するループフィルタ制御装置であって、
請求項１に記載の学習装置で学習したパラメータが反映された学習モデルに判定対象画像を入力し、前記ループフィルタの適否を判定する判定部と、
前記判定部の判定結果に基づいて、前記ループフィルタの適否を制御する制御部と、
を備えることを特徴とするループフィルタ制御装置。

【請求項7】

前記ループフィルタは、デブロッキングフィルタ処理およびＳＡＯ処理で構成し、
前記判定部は、前記学習モデルに前記判定対象画像を入力し、前記ループフィルタを構成する前記デブロッキングフィルタ処理及び前記ＳＡＯ処理それぞれの適否を判定し、
前記制御部は、前記判定部の判定結果に基づいて、前記デブロッキングフィルタ処理及び前記ＳＡＯ処理それぞれの適否を制御することを特徴とする請求項６に記載のループフィルタ制御装置。

【請求項8】

前記判定部は、請求項３に記載の学習装置で学習したパラメータが反映された学習モデルに前記判定対象画像を入力し、前記デブロッキングフィルタ処理の強弱を判定し、
前記制御部は、前記判定部の判定結果に基づいて、前記デブロッキングフィルタ処理の強弱を制御することを特徴とする請求項７に記載のループフィルタ制御装置。

【請求項9】

前記判定部は、請求項４に記載の学習装置で学習したパラメータが反映された学習モデルに前記判定対象画像を入力し、前記ＳＡＯ処理のオフセット値を判定し、
前記制御部は、前記判定部の判定結果に基づいて、前記ＳＡＯ処理のオフセット値を制御することを特徴とする請求項７又は請求項８に記載のループフィルタ制御装置。

【請求項10】

前記判定対象画像を周波数分解する周波数分解部と、
前記判定対象画像の画像特徴量を算出する周波数分解部と、を備え、
前記判定部は、前記判定対象画像の周波数分解値及び画像特徴量を前記学習モデルに入力し、前記判定対象画像に対する前記ループフィルタの適否を判定する請求項６から請求項９の何れか一項に記載のループフィルタ制御装置。

【請求項11】

ループフィルタを備え、符号化装置で符号化された画像を復号する復号装置であって、
請求項６から請求項１０の何れか一項に記載のループフィルタ制御装置、
を備えることを特徴とする復号装置。

【請求項12】

コンピュータを、請求項１から請求項５の何れか一項に記載の学習装置として機能させるためのプログラム。

【請求項13】

コンピュータを、請求項６から請求項１０の何れか一項に記載のループフィルタ制御装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置に関する。

【背景技術】

【0002】

従来の２次元符号化方式として、ＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５が知られている。これらの２次元符号化方式では、量子化処理によって生じる符号化歪み（ブロック歪み）を低減するデブロッキングフィルタが実装されている（非特許文献１）。加えて、これらの２次元符号化方式では、デブロッキングフィルタの適用後、ＳＡＯ(Sample Adaptive Offset)処理が行われる（非特許文献２）。これらのデブロッキングフィルタ及びＳＡＯ処理は、ループフィルタと呼ばれている。これらループフィルタを用いることで、視覚的な画質向上を実現できると共に、予測画像への画質劣化の伝搬を防ぐことができる。

【0003】

ＨＥＶＣ／Ｈ．２６５を例として、デブロッキングフィルタ処理について説明する。図１３に示すように、デブロッキングフィルタ処理は、８×８画素のブロックＰ，Ｑの境界を対象とする。なお、図１３では、８×８画素のブロックＰ，Ｑのうち、４×４画素分の画素ｐｉ_ｊのみを図示した（０≦ｉ≦３，０≦ｊ≦３）。その際、図１４に示す条件の下、境界強度Ｂｓ（Boundary Strength）が決定される。この境界強度Ｂｓの値が１以上であったとき、図１３の各画素に式（１）を適用し、このブロック境界がエッジ領域であるのかを判定する。そして、対象のブロックが式（１）の条件に合わない場合、そのブロック境界がエッジ領域であると判定され、そのブロック境界にはデブロッキングフィルタ処理を適用しない。なお、式（１）のβは、隣接するブロックＰ，Ｑの量子化パラメータの平均値に連動しており、βが大きくなるほどデブロッキングフィルタ処理が適用されやすくなる。

【0004】

【数1】

【0005】

ＨＥＶＣ／Ｈ．２６５を例として、ＳＡＯ処理について説明する。ＳＡＯ処理は、デブロッキングフィルタ処理の後にＣＴＵ（Coding Tree Unit)単位で行われており、画素ごとにオフセット値を加算することで画質を向上させるものである。ＳＡＯ処理には、エッジ・オフセット及びバンド・オフセットという、２種類のモードがある。図１５に示すように、エッジ・オフセットでは、画素ａ〜ｃのエッジ方向に応じた４種類のクラスでオフセットを行う。また、バンド・オフセットでは、図示しない３２種類のバンドに分割した画素値のレンジに対してオフセットを行う。

【0006】

ここで、従来のループフィルタを、ニューラルネットワークを用いたフィルタ処理に置き換えた手法が提案されている（特許文献１，２）。特許文献１，２に記載の手法では、前記したループフィルタの代わりに畳込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いて、画素値の変換などのフィルタ処理を行っている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９−２０１２５５号公報

【特許文献2】特開２０１９−２０１３３２号公報

【非特許文献】

【0008】

【非特許文献1】大久保榮著、「Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレス、２０１３、ｐ.１５０−１５７

【非特許文献2】大久保榮著、「Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレス、２０１３、ｐ.１５７−１６１

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、従来のループフィルタは、処理量が膨大になるという問題がある。例えば、ＨＥＶＣ／Ｈ．２６５では、映像符号化処理の際、デブロッキングフィルタの適用後にＳＡＯ処理を行っており、段階的に１つ１つのループフィルタを適用しているため処理量が膨大になる。さらに、各ループフィルタの適用／非適用やＳＡＯ処理におけるモードの種類は、様々な処理を経て判定されるために処理量が膨大になってしまう。
また、特許文献１，２記載の手法は、ＣＮＮによるフィルタ処理の実績が乏しく、従来のループフィルタを継続して利用したいという強い要望もある。

【0010】

本発明は、ループフィルタの処理量を抑制できる学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置を提供することを課題とする。

【課題を解決するための手段】

【0011】

前記課題を解決するため、本発明に係る学習装置は、符号化装置又は復号装置画が備えるループフィルタを制御する学習モデルのパラメータを学習する学習装置であって、学習画像入力部と、教師データ入力部と、学習部とを備える構成とした。

【0012】

かかる構成によれば、学習画像入力部は、学習画像を入力する。
また、教師データ入力部は、学習画像の画質評価指標に基づいて、予め算出された学習画像にループフィルタの適否を示す教師データを入力する。
そして、学習部は、学習画像を学習モデルに入力して得られた判定結果と教師データとの誤差を算出し、算出した誤差が最小となるように学習モデルのパラメータを更新する。

【0013】

このように、学習装置は、様々な画像に対してループフィルタの適否を制御できるパラメータを学習できる。そして、符号化装置や復号装置では、この最適なパラメータが反映された学習モデルを用いるので、不要な画像にまでループフィルタを適用してしまう事態を防止し、ループフィルタの処理量を抑制できる。

【0014】

また、前記課題を解決するため、本発明に係るループフィルタ制御装置は、符号化装置又は復号装置が備えるループフィルタを制御するループフィルタ制御装置であって、判定部と、制御部とを備える構成とした。

【0015】

かかる構成によれば、判定部は、前記した学習装置で学習したパラメータが反映された学習モデルに判定対象画像を入力し、ループフィルタの適否を判定する。
そして、制御部は、判定部の判定結果に基づいて、ループフィルタの適否を制御する。

【0016】

このように、ループフィルタ制御装置は、最適なパラメータが反映された学習モデルを用いるので、様々な画像に対してループフィルタの適否を制御できる。これにより、ループフィルタ制御装置は、不要な画像にまでループフィルタを適用してしまう事態を防止し、ループフィルタの処理量を抑制できる。

【0017】

また、前記課題を解決するため、本発明に係る復号装置は、ループフィルタを備え、符号化装置で符号化された画像を復号する復号装置であって、前記したループフィルタ制御装置を備える構成とした。

【0018】

かかる構成によれば、復号装置は、最適なパラメータが反映された学習モデルを用いるので、様々な画像に対してループフィルタの適否を制御できる。これにより、復号装置は、不要な画像にまでループフィルタを適用してしまう事態を防止し、ループフィルタの処理量を抑制できる。

【0019】

なお、本発明は、コンピュータを、前記した学習装置又はループフィルタ制御装置として機能させるためのプログラムで実現することもできる。

【発明の効果】

【0020】

本発明によれば、ループフィルタの適否を制御するための最適なパラメータが反映された学習モデルを用いるので、ループフィルタの処理量を抑制できる。

【図面の簡単な説明】

【0021】

【図1】第１実施形態に係る学習装置の構成を示すブロック図である。

【図2】第１実施形態において、教師データを説明する説明図である。

【図3】第１実施形態において、ニューラルネットワークの一例を説明する説明図である。

【図4】第１実施形態に係る学習装置の動作を示すフローチャートである。

【図5】変形例１に係る学習装置の構成を示すブロック図である。

【図6】第２実施形態に係る符号化装置の構成を示すブロック図である。

【図7】第２実施形態において、ループフィルタ制御部の構成を示すブロック図である。

【図8】第２実施形態において、ループフィルタ制御部の動作を示すフローチャートである。

【図9】変形例２に係る符号化装置の構成を示すブロック図である。

【図10】第３実施形態に係る復号装置の構成を示すブロック図である。

【図11】変形例３に係る学習装置の構成を示すブロック図である。

【図12】変形例３において、ループフィルタ制御部の構成を示すブロック図である。

【図13】従来のデブロッキングフィルタ処理を説明する説明図である。

【図14】従来のデブロッキングフィルタ処理における境界強度の決定条件を説明する説明図である。

【図15】従来のＳＡＯ処理におけるエッジ・オフセットを説明する説明図である。

【発明を実施するための形態】

【0022】

以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、各実施形態において、同一の手段には同一の符号を付し、説明を省略することがある。

【0023】

（第１実施形態）
［学習装置の構成］
図１を参照し、第１実施形態に係る学習装置１の構成について説明する。
以下の各実施形態では、２次元符号化方式がＨＥＶＣ／Ｈ．２６５であり、ループフィルタ４（図６）をデブロッキングフィルタ処理及びＳＡＯ処理で構成したものとして説明する。

【0024】

学習装置１は、後記する符号化装置２や復号装置５が備えるループフィルタ４の適否を制御する学習モデル１３のパラメータを学習するものである。図１に示すように、学習装置１は、フレーム取得部（学習画像入力部）１０と、教師データ取得部（教師データ入力部）１１と、学習部１２とを備える。
なお、「ＯＮ」はループフィルタ４を適用することを示し、「ＯＦＦ」はループフィルタ４を適用しないことを示す。

【0025】

フレーム取得部１０は、学習画像を取得（入力）し、取得した学習画像を学習部１２に出力するものである。例えば、フレーム取得部１０としては、学習画像をフレーム単位で記憶するフレームメモリがあげられる。

【0026】

ここで、学習画像とは、学習モデル１３のパラメータの学習に用いる２次元画像（動画像）のことであり、その内容は特に制限されない。例えば、学習画像として、既知のデータセットを用いることができる。

【0027】

教師データ取得部１１は、学習画像の教師データをフレーム単位で取得（入力）し、取得した教師データを学習部１２に出力するものである。
ここで、教師データは、学習画像の画質評価指標に基づいて予め算出された、学習画像にループフィルタ４の適否を示すデータである。また、画質評価指標とは、学習画像の画質を評価する指標のことであり、例えば、ピーク信号対雑音比（ＰＳＮＲ：peak signal-to-noise ratio）である。なお、教師データの生成手法は、詳細を後記する。

【0028】

ループフィルタ４の適否は、デブロッキングフィルタ処理及びＳＡＯ処理それぞれのＯＮ／ＯＦＦを組み合わせた４パターンとなる。従って、教師データは、図２に示すように、デブロッキングフィルタ処理及びＳＡＯ処理それぞれのＯＮ／ＯＦＦを示す４パターンで表される。具体的には、教師データは、デブロッキングフィルタ処理及びＳＡＯ処理の両方がＯＮの「１，０，０，０」、デブロッキングフィルタ処理のみＯＮの「０，１，０，０」、ＳＡＯ処理のみＯＮの「０，０，１，０」、デブロッキングフィルタ処理及びＳＡＯ処理の両方がＯＦＦの「０，０，０，１」という、１−ｏｆ−Ｋベクトルで表される。この１−ｏｆ−Ｋベクトルでは、「１」がＯＮを示し、「０」がＯＦＦを示す。
なお、図２では、デブロッキングフィルタ処理を「ＤＦ」、ＳＡＯ処理を「ＳＡＯ」と略記した。

【0029】

学習部１２は、学習画像を学習モデル１３に入力して得られた判定結果と教師データとの誤差を算出し、算出した誤差が最小となるように学習モデル１３のパラメータを更新するものである。図１に示すように、学習部１２は、学習モデル１３と、誤差算出部１４とを備える。

【0030】

学習モデル１３は、ループフィルタ４の適否を判定するものであり、そのモデル自体は特に制限されない。例えば、学習モデル１３は、一般的な学習用のニューラルネットワークで構成できる。図３には、ニューラルネットワーク９の一例を図示した。このニューラルネットワーク９は、入力層９０、１層以上の隠れ層９１、及び、出力層９２で構成されており、重みやバイアスといったパラメータを有する。また、学習モデル１３は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）としてもよい。この畳み込みニューラルネットワークは、畳み込み層、活性化層、プーリング層、及び、ソフトマックス層で構成されている（不図示）。本実施形態では、学習モデル１３が畳み込みニューラルネットワークで構成されていることとする。

【0031】

学習モデル１３が出力する判定結果は、学習画像に対する４の適否を示す。つまり、学習モデル１３の判定結果は、デブロッキングフィルタ処理及びＳＡＯ処理それぞれのＯＮ／ＯＦＦを示す４パターンに分類される確率を示す。例えば、学習モデル１３にある学習画像を入力したときの判定結果が「０．２，０．５，０．１，０．２」の場合を考える。この場合、デブロッキングフィルタ処理及びＳＡＯ処理の両方がＯＮの確率が０．２、デブロッキングフィルタ処理のみＯＮの確率が０.５、ＳＡＯ処理のみＯＮの確率が０．１、デブロッキングフィルタ処理及びＳＡＯ処理の両方がＯＦＦの確率が０．２である。

【0032】

誤差算出部１４は、学習モデル１３が出力した判定結果と教師データとの誤差を算出するものである。ここで、誤差算出部１４は、二乗和誤差、交差エントロピー誤差等の一般的な損失関数を用いて、誤差を算出する。例えば、誤差算出部１４は、ある学習画像の判定結果「０．２，０．５，０．１，０．２」と、その学習画像の教師データである１−ｏｆ−Ｋベクトル「０，１，０，０」との誤差を算出する。

【0033】

すなわち、学習部１２は、誤差算出部１４で算出した誤差が最小となるように学習モデル１３のパラメータ（重み、バイアス）を更新し、最適化したパラメータを符号化装置２や復号装置５に出力する。このとき、学習部１２は、所定の回数（例えば、１００万回）学習を行ってもよい。また、学習部１２は、誤差が所定の値以下になるまで学習を行い、その誤差が所定の値以下になったら学習を終了してもよい。さらに、学習部１２は、例えば、１００個の教師データを用いてパラメータの更新を１００００回繰り返すミニバッチで学習を行ってもよい。

【0034】

［学習装置の動作］
図４を参照し、学習装置１の動作について説明する。
図４に示すように、ステップＳ１において、フレーム取得部１０は、学習画像をフレーム単位で取得する。
ステップＳ２において、教師データ取得部１１は、学習画像の教師データをフレーム単位で取得する。

【0035】

ステップＳ３において、学習モデル１３は、学習画像を学習モデル１３に入力し、学習モデル１３から判定結果を取得する。
ステップＳ４において、誤差算出部１４は、学習モデル１３から取得した判定結果と教師データとの誤差を算出する。
ステップＳ５において、学習部１２は、ステップＳ４で算出した誤差が最小となるように学習モデル１３のパラメータを更新する。

【0036】

ステップＳ６において、学習部１２は、学習を終了するか否かを判定する。例えば、学習部１２は、学習回数が所定の値以上になった場合、学習を終了すると判定する。また、学習部１２は、ステップＳ４で算出した誤差が所定の値以下になった場合、学習を終了すると判定してもよい。

【0037】

学習を終了しない場合（ステップＳ６でＮｏ）、学習装置１は、ステップＳ３の処理に戻る。
学習を終了する場合（ステップＳ６でＹｅｓ）、学習装置１は、ステップＳ７の処理に進む。

【0038】

ステップＳ７において、学習部１２は、学習画像の全フレームが終了したか否かを判定する。
全フレームが終了していない場合（ステップＳ７でＮｏ）、学習装置１は、ステップＳ１の処理に戻り、学習画像の次フレームを取得する。
全フレームが終了した場合（ステップＳ７でＹｅｓ）、学習装置１は、処理を終了する。

【0039】

［作用・効果］
以上のように、学習装置１は、様々な画像に対してループフィルタ４の適否を制御できる学習モデル１３のパラメータを学習できる。そして、後記する符号化装置や復号装置では、この最適なパラメータが反映された学習モデル３１（図７）を用いるので、不要な画像にまでループフィルタ４を適用してしまう事態を防止し、ループフィルタ４の処理量を抑制できる。

【0040】

（変形例１）
図５を参照し、変形例１に係る学習装置１Ｂについて、第１実施形態と異なる点を説明する。この学習装置１Ｂは、学習画像から教師データを生成する点が第１実施形態と異なる。

【0041】

図５に示すように、学習装置１Ｂは、フレーム取得部１０Ｂと、教師データ取得部１１と、学習部１２と、ＰＳＮＲ算出部（ピーク信号対雑音比算出部）１５と、教師データ生成部１６とを備える。なお、教師データ取得部１１及び学習部１２は、第１実施形態と同様のため、説明を省略する。

【0042】

ここで、デブロッキングフィルタ処理及びＳＡＯ処理それぞれの適否が異なる４パターン分、学習画像（原画像）を符号化及び復号した符号化画像を予め生成しておく。つまり、デブロッキングフィルタ処理及びＳＡＯ処理の両方がＯＮの符号化画像と、デブロッキングフィルタ処理のみＯＮの符号化画像と、ＳＡＯ処理のみＯＮの符号化画像と、デブロッキングフィルタ処理及びＳＡＯ処理の両方がＯＦＦの符号化画像とを予め生成しておく。

【0043】

フレーム取得部１０Ｂは、学習画像及び符号化画像をフレーム単位で取得する。そして、フレーム取得部１０Ｂは、取得した学習画像を学習部１２に出力し、取得した学習画像及び符号化画像をＰＳＮＲ算出部１５に出力する。

【0044】

ＰＳＮＲ算出部１５は、デブロッキングフィルタ処理及びＳＡＯ処理それぞれの適否が異なる４パターン分について、符号化及び復号する前後の学習画像の間でピーク信号対雑音比を算出するものである。そして、ＰＳＮＲ算出部１５は、４パターン分のピーク信号対雑音比を教師データ生成部１６に出力する。

【0045】

ここで、ＰＳＮＲ算出部１５は、フレーム取得部１０Ｂから入力した学習画像（原画像）と４パターン分の符号化画像との間でピーク信号対雑音比を算出する。具体的には、ＰＳＮＲ算出部１５は、デブロッキングフィルタ処理及びＳＡＯ処理の両方がＯＮの符号化画像と学習画像との間でピーク信号対雑音比を算出する。また、ＰＳＮＲ算出部１５は、デブロッキングフィルタ処理のみＯＮの符号化画像と学習画像との間でピーク信号対雑音比を算出する。また、ＰＳＮＲ算出部１５は、ＳＡＯ処理のみＯＮの符号化画像と学習画像との間でピーク信号対雑音比を算出する。さらに、ＰＳＮＲ算出部１５は、デブロッキングフィルタ処理及びＳＡＯ処理の両方がＯＦＦの符号化画像と学習画像との間でピーク信号対雑音比を算出する。

【0046】

なお、ピーク信号対雑音比は、主要な符号化方式の符号化制御（レート−ひずみの最適化）で多数採用されている。さらに、ピーク信号対雑音比を改善すれば、画質が向上すると考えられる。そこで、本実施形態では、画質評価指標としてピーク信号対雑音比を用いることとした。

【0047】

教師データ生成部１６は、ＰＳＮＲ算出部１５から入力したピーク信号対雑音比が最大となるパターンで、デブロッキングフィルタ処理及びＳＡＯ処理それぞれの適否を示す教師データを生成するものである。例えば、４パターン分のピーク信号対雑音比のうち、デブロッキングフィルタ処理のみＯＮのピーク信号対雑音比が最大の場合を考える。この場合、教師データ生成部１６は、教師データとして、デブロッキングフィルタ処理のみＯＮを示す１−ｏｆ−Ｋベクトル「０，１，０，０」を生成する。そして、教師データ生成部１６は、生成した教師データを教師データ取得部１１に出力する。

【0048】

なお、２パターン以上でピーク信号対雑音比が同一となる場合もある。この場合、教師データ生成部１６は、処理時間が最短となるパターンで、デブロッキングフィルタ処理及びＳＡＯ処理それぞれの適否を示す教師データを生成すればよい。

【0049】

［作用・効果］
以上のように、学習装置１Ｂは、第１実施形態と同様の効果に加え、学習画像の教師データを生成できるので、学習モデル１３のパラメータを効率よく学習できる。

【0050】

（第２実施形態）
［符号化装置の構成］
図６を参照し、第２実施形態に係る符号化装置２の構成について説明する。
符号化装置２は、ＨＥＶＣ／Ｈ．２６５等の２次元符号化方式で原画像を符号化するものである。このとき、符号化装置２は、学習装置１から入力した最適パラメータが反映された学習モデル３１（図７）を用いて、原画像に対するループフィルタ４の適否を制御する。

【0051】

ここで、原画像とは、符号化装置２で符号化する前の２次元画像（動画像）であり、その内容は特に制限されない。本実施形態では、原画像が、後記するループフィルタ制御部３の判定対象画像となる。

【0052】

図６に示すように、符号化装置２は、ループフィルタ制御部（ループフィルタ制御装置）３と、ループフィルタ４と、ブロック分割部２０と、減算部２１と、変換部２２と、量子化部２３と、エントロピー符号化部２４と、逆量子化・逆変換部２５と、合成部２６と、動き検出部２７と、予測部２８とを備える。なお、ループフィルタ制御部３及びループフィルタ４以外の各手段は、一般的なものであるため、簡単に説明する。

【0053】

ブロック分割部２０は、ループフィルタ制御部３から入力した原画像をブロックに分割するものである。例えば、ブロックのサイズは、３２×３２画素、１６×１６画素、８×８画素、又は、４×４画素である。ブロックの形状は正方形に限らず、長方形であってもよい。ＨＥＶＣ／Ｈ．２６５の場合、ブロック分割部２０は、原画像を符号化ツリーユニット（ＣＴＵ）というブロックに分割した後、各ＣＴＵを符号化ユニット（ＣＵ）というブロックに分割する。

【0054】

減算部２１は、ブロック分割部２０から入力したブロックと予測部２８から入力した予測画像（予測ブロック）との間で画素単位の差分を示す予測残差を算出するものである。具体的には、減算部２１は、ブロックの各画素値から予測画像の各画素値を減算することで、予測残差を算出する。

【0055】

変換部２２は、減算部２１から入力した予測残差に対して直交変換を行って変換係数を算出するものである。具体的には、変換部２２は、離散コサイン変換、離散サイン変換、カルーネンレーブ変換等の直交変換を行うことで変換係数を算出する。

【0056】

量子化部２３は、変換部２２から入力した変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を算出するものである。この量子化パラメータは、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。また、量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。

【0057】

エントロピー符号化部２４は、量子化部２３から入力した量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成するものである。エントロピー符号化には、ハフマン符号やコンテキスト適応型２値算術符号を用いることができる。また、この符号化データは、復号装置５に出力される。

【0058】

なお、エントロピー符号化部２４には、ループフィルタ４からフィルタ処理に関する制御情報や、予測部２８から予測に関する制御情報が入力されることがある。この場合、エントロピー符号化部２４は、これらの制御情報のエントロピー符号化も行う。

【0059】

逆量子化・逆変換部２５は、ブロック単位で逆量子化処理及び逆直交変換処理を行うものである。つまり、逆量子化・逆変換部２５は、量子化部２３の量子化処理に対応する逆量子化処理と、変換部２２の直交変換処理に対応する逆直交変換処理とを行う。具体的には、逆量子化・逆変換部２５は、量子化部２３から入力した量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することで、変換係数を復元する。そして、逆量子化・逆変換部２５は、復元した変換係数に対して逆直交変換を行って予測残差を復元する（復元予測残差）。例えば、変換部２２が離散コサイン変換を行った場合、逆量子化・逆変換部２５は、逆離散コサイン変換を逆直交変換として行う。

【0060】

合成部２６は、逆量子化・逆変換部２５から入力した復元予測残差と予測部２８から入力した予測画像とを画素単位で合成する。具体的には、合成部２６は、復元予測残差の各画素値と予測画像の各画素値とを加算してブロックを再構成（復号）する。この再構成画像は、復号画像又はローカル復号画像と呼ばれることがある。

【0061】

動き検出部２７は、ブロック分割部２０から入力した原画像とフィルタ処理後の再構成画像との間で、ブロック毎に動きベクトルを検出するものである。例えば、動き検出部２７は、原画像とフィルタ処理後の再構成画像との間でブロックマッチングを行って、動きベクトルを検出する。

【0062】

予測部２８は、ブロック単位で予測を行うものであり、イントラ予測部２８０と、動き補償部２８１と、切替部２８２とを備える。

【0063】

イントラ予測部２８０は、合成部２６から入力した再構成画像のうち、予測対象のブロックに隣接する復号済み参照画素を参照してイントラ予測画像を生成するものである。ことのき、イントラ予測部２８０は、予め規定された複数のイントラ予測モードの中から、対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。

【0064】

動き補償部２８１は、動き検出部２７から入力した動きベクトル情報に基づいて、フィルタ処理後の再構成画像を参照画像としてインター予測（動き補償）を行うことで、インター予測画像を生成する。具体的には、動き補償部２８１は、複数の参照画像を用いるインター予測（双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から、最適なインター予測方法を選択しインター予測を行う。

【0065】

切替部２８２は、イントラ予測部２８０から入力したイントラ予測画像と、動き補償部２８１から入力したインター予測画像とを切り替えて、予測画像として合成２６に出力するものである。

【0066】

ループフィルタ制御部３は、外部から入力した原画像（判定対象画像）を用いて、符号化装置２のループフィルタ４を制御するものである。なお、ループフィルタ制御部３の詳細は、後記する。

【0067】

ループフィルタ４は、合成部２６から入力した再構成画像に対してフィルタ処理を行うものであり、デブロッキングフィルタ４０と、ＳＡＯ処理部４１とを備える。また、ループフィルタ４は、フィルタ処理に関する情報をエントロピー符号化部２４に出力する。

【0068】

デブロッキングフィルタ４０は、後記するループフィルタ制御部３からの指令に基づいて、デブロッキングフィルタ処理を行うものである。このデブロッキングフィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減する処理であり、隣接するブロックの境界における信号のギャップを平滑化するものである。なお、デブロッキングフィルタ４０は、ループフィルタ制御部３からの指令に応じてデブロッキングフィルタ処理をＯＮ／ＯＦＦする以外、従来と同様である。

【0069】

ＳＡＯ処理部４１は、ループフィルタ制御部３からの指令に基づいて、ＳＡＯ処理を行うものである。例えば、ＳＡＯ処理は、ＨＥＶＣ／Ｈ．２６５で採用されている画質改善フィルタ処理である。このＳＡＯ処理では、ブロック内の画素の隣接画素との相対的な関係により各画素をカテゴリ分けし、それぞれのカテゴリについて画質を向上させるためのオフセット値を算出し、同じカテゴリに属する各画素にオフセット値を付与する。なお、ＳＡＯ処理部４１は、ループフィルタ制御部３からの指令に応じてＳＡＯ処理をＯＮ／ＯＦＦする以外、従来と同様である。

【0070】

［ループフィルタ制御部の構成］
図７を参照し、ループフィルタ制御部３の構成を説明する。
図７に示すように、ループフィルタ制御部３は、判定部３０と、制御部３２とを備える。

【0071】

判定部３０は、最適パラメータが反映された学習モデル３１に判定対象画像を入力し、ループフィルタ４の適否を判定するものである。そして、判定部３０は、ループフィルタ４の適否を示す制御情報を制御部３２に出力する。

【0072】

ここで、学習モデル３１は、学習装置１の学習モデル１３（図１）と同一構成である。また、学習モデル３１の判定結果は、デブロッキングフィルタ処理及びＳＡＯ処理をＯＮ／ＯＦＦする４パターンのそれぞれに分類される確率を示す。

【0073】

すなわち、判定部３０は、判定対象画像を構成する各画素の画素値を学習モデル３１に入力し、学習モデル３１から判定結果を取得する。そして、判定部３０は、判定結果を参照し、４パターンのうちの確率が最大となるパターンで、デブロッキングフィルタ処理及びＳＡＯ処理をＯＮ／ＯＦＦする制御情報を生成する。この制御情報は、図２の教師データと同様、デブロッキングフィルタ処理及びＳＡＯ処理のＯＮ／ＯＦＦを示す１−ｏｆ−Ｋベクトルである。例えば、ある判定対象画像の判定結果が「０．２，０．５，０．１，０．２」の場合、デブロッキングフィルタ処理のみＯＮとなる確率が最大である。この場合、判定部３０は、制御情報として、デブロッキングフィルタ処理のみＯＮを示す１−ｏｆ−Ｋベクトル「０，１，０，０」を生成する。

【0074】

制御部３２は、判定部３０の判定結果に基づいて、判定対象画像に対するループフィルタ４の適否を制御するものである。つまり、制御部３２は、以下で説明するように、判定部３０から入力した制御情報に従って、デブロッキングフィルタ４０及びＳＡＯ処理部４１にＯＮ／ＯＦＦを指令する。

【0075】

＜制御部の動作＞
図８を参照し、制御部３２の動作を説明する。
図８に示すように、ステップＳ１０において、制御部３２は、判定対象画像に対応した制御情報を判定部３０から取得する。

【0076】

ステップＳ１１において、制御部３２は、制御情報を参照し、デブロッキングフィルタ処理のＯＮ／ＯＦＦを判定する。
デブロッキングフィルタ処理がＯＮの場合、制御部３２は、ステップＳ１２の処理に進む。
デブロッキングフィルタ処理がＯＦＦの場合、制御部３２は、ステップＳ１３の処理に進む。

【0077】

ステップＳ１２において、制御部３２は、制御情報を参照し、ＳＡＯ処理のＯＮ／ＯＦＦを判定する。
ＳＡＯ処理がＯＮの場合、制御部３２は、ステップＳ１４の処理に進む。
ＳＡＯ処理がＯＦＦの場合、制御部３２は、ステップＳ１５の処理に進む。

【0078】

ステップＳ１３において、制御部３２は、制御情報を参照し、ＳＡＯ処理のＯＮ／ＯＦＦを判定する。
ＳＡＯ処理がＯＮの場合、制御部３２は、ステップＳ１６の処理に進む。
ＳＡＯ処理がＯＦＦの場合、制御部３２は、ステップＳ１７の処理に進む。

【0079】

ステップＳ１４において、制御部３２は、デブロッキングフィルタ処理及びＳＡＯ処理の両方をＯＮに指令する。
ステップＳ１５において、制御部３２は、デブロッキングフィルタ処理をＯＮ、ＳＡＯ処理をＯＦＦに指令する。
ステップＳ１６において、制御部３２は、デブロッキングフィルタ処理をＯＦＦ、ＳＡＯ処理をＯＮに指令する。
ステップＳ１６において、制御部３２は、デブロッキングフィルタ処理及びＳＡＯ処理の両方をＯＦＦに指令する。

【0080】

［作用・効果］
以上のように、符号化装置２は、最適なパラメータが反映された学習モデル３１を用いるので、様々な画像に対してループフィルタ４の適否を制御できる。これにより、符号化装置２は、不要な画像にまでループフィルタ４を適用してしまう事態を防止し、ループフィルタ４の処理量を抑制できる。

【0081】

（変形例２）
図９を参照し、変形例２に係る符号化装置２Ｂについて、第２実施形態と異なる点を説明する。
符号化装置２Ｂは、原画像ではなく再構成画像をループフィルタ制御部３に入力する点が第２実施形態と異なる。つまり、符号化装置２Ｂは、ループフィルタ制御部３の配置が第２実施形態と異なる。

【0082】

図９に示すように、符号化装置２Ｂは、ループフィルタ制御部３と、ループフィルタ４と、ブロック分割部２０と、減算部２１と、変換部２２と、量子化部２３と、エントロピー符号化部２４と、逆量子化・逆変換部２５と、合成部２６と、動き検出部２７と、予測部２８とを備える。

【0083】

ループフィルタ制御部３は、合成部２６の後段に配置されており、合成部２６から入力した再構成画像に対して、ループフィルタ４を制御するものである。本実施形態では、再構成画像が、ループフィルタ制御部３の判定対象画像となる。
なお、ループフィルタ制御部３の配置以外、第２実施形態と同様のため、これ以上の説明を省略する。

【0084】

（第３実施形態）
［復号装置の構成］
図１０を参照し、第３実施形態に係る復号装置５の構成について説明する。
復号装置５は、符号化装置２から入力した符号化データを復号するものである。このとき、復号装置５は、学習装置１から入力した最適パラメータが反映された学習モデル３１（図７）を用いて、ループフィルタ４の適否を制御する。

【0085】

図１０に示すように、復号装置５は、ループフィルタ制御部３と、ループフィルタ４と、エントロピー符号化復号部５０と、逆量子化部５１と、逆変換部５２と、合成部５３と、予測部５４と、復号画像バッファ５５とを備える。
なお、ループフィルタ制御部３及びループフィルタ４以外の各手段は、一般的なものであるため、簡単に説明する。また、ループフィルタ制御部３及びループフィルタ４は、第２実施形態と同様のため、説明を省略する。

【0086】

エントロピー符号化復号部５０は、符号化装置２から入力した符号化データを復号し、量子化変換係数を逆量子化部５１に出力するものである。また、エントロピー符号化復号部５０は、イントラ予測及びインター予測に関する制御情報を取得し、予測部５４に出力する。

【0087】

逆量子化部５１は、図６の量子化部２３が行う量子化処理に対応する逆量子化処理を行うものである。具体的には、逆量子化部５１は、エントロピー符号化復号部５０から入力した量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することで、変換係数を復元する。

【0088】

逆変換部５２は、図６の変換部２２が行う直交変換処理に対応する逆直交変換処理を行うものである。具体的には、逆変換部５２は、逆量子化部５１から入力した変換係数に対して逆直交変換を行って予測残差を復元する（復元予測残差）。

【0089】

合成部５３は、逆変換部５２から入力した復元予測残差と予測部５４から入力した予測画像とを画素単位で合成する。具体的には、合成部５３は、復元予測残差の各画素値と予測画像の各画素値とを加算してブロックを再構成（復号）し、ブロック単位で再構成画像を生成する。

【0090】

予測部５４は、ブロック単位で予測を行うものであり、イントラ予測部５４０と、動き補償部５４１と、切替部５４２とを備える。

【0091】

イントラ予測部５４０は、復号画像バッファ５５に記憶されている再構成画像を参照し、エントロピー符号化復号部５０から入力した制御情報に従ってイントラ予測を行うことで、イントラ予測画像を生成するものである。

【0092】

動き補償部５４１は、復号画像バッファ５５に記憶されている再構成画像を参照画像としてインター予測（動き補償）を行うことで、インター予測画像を生成するものである。具体的には、エントロピー符号化復号部５０から入力した制御情報（動きベクトル情報）に従ってインター予測を行う。

【0093】

切替部５４２は、イントラ予測部５４０から入力したイントラ予測画像と、動き補償部５４１から入力したインター予測画像とを切り替えて、予測画像として合成部５３に出力するものである。

【0094】

復号画像バッファ５５は、ループフィルタ４から入力した再構成画像を記憶するものである。例えば、復号画像バッファ５５としては、再構成画像をフレーム単位で記憶するフレームメモリがあげられる。また、復号画像バッファ５５は、再構成画像を復号装置５の外部に出力する。

【0095】

［作用・効果］
以上のように、復号装置５は、最適なパラメータが反映された学習モデル３１を用いるので、様々な画像に対してループフィルタ４の適否を制御できる。これにより、復号装置５は、不要な画像にまでループフィルタ４を適用してしまう事態を防止し、ループフィルタ４の処理量を抑制できる。

【0096】

（変形例３）
図１１及び図１２を参照し、変形例３に係る学習装置１Ｃ及びループフィルタ制御部３Ｃについて、各実施形態と異なる点を説明する。この変形例３では、画像の各画素の画素値に加え、画像の周波数分解値及び画像特徴量も利用する点が各実施形態と異なる。

【0097】

［学習装置］
図１１に示すように、学習装置１Ｃは、フレーム取得部１０と、教師データ取得部１１と、学習部１２Ｃと、周波数分解部１７と、画像特徴量算出部１８とを備える。なお、フレーム取得部１０及び教師データ取得部１１は、第１実施形態と同様のため、説明を省略する。

【0098】

周波数分解部１７は、フレーム取得部１０から入力した学習画像を周波数分解するものである。例えば、周波数分解部１７は、学習画像に周波数変換処理を施し、学習画像の各フレームから周波数分解値（空間周波数成分）を算出する。そして、周波数分解部１７は、算出した周波数分解値を学習部１２Ｃに出力する。

【0099】

画像特徴量算出部１８は、フレーム取得部１０から入力した学習画像から画像特徴量を算出するものである。例えば、画像特徴量算出部１８は、学習画像から、動きベクトル、エッジ、ＳＩＦＴ、ＳＵＲＦ等の画像特徴量を算出する。さらに、画像特徴量算出部１８は、２種類以上の画像特徴量を組み合わせた多次元の画像特徴量を算出してもよい。そして、画像特徴量算出部１８は、算出した画像特徴量を学習部１２Ｃに出力する。

【0100】

学習部１２Ｃは、学習画像の画素値、周波数分解値及び画像特徴量を学習モデル１３に入力して得られた判定結果と教師データとの誤差を算出し、算出した誤差が最小となるように学習モデル１３のパラメータを更新するものである。すなわち、学習部１２Ｃは、学習画像を構成する各画素の画素値と、その学習画像の周波数分解値及び画像特徴量とを学習モデル１３に入力し、ループフィルタ４の適否を示す判定結果を学習モデル１３から取得する。そして、学習部１２Ｃは、その判定結果と教師データとの誤差を誤差算出部１４で算出し、その誤差が最小となるように学習モデル１３のパラメータを更新し、最適化したパラメータ（最適パラメータ）を出力する。
なお、教師データは、第１実施形態と同様のため、説明を省略する。すなわち、学習画像の周波数分解値及び画像特徴量からは教師データを生成しない。

【0101】

［ループフィルタ制御部］
図１２に示すように、ループフィルタ制御部３Ｃは、判定部３０Ｃと、制御部３２と、周波数分解部３３と、画像特徴量算出部３４とを備える。なお、制御部３２は、第２実施形態と同様のため、説明を省略する。

【0102】

周波数分解部３３は、図１１の周波数分解部１７と同様、判定対象画像を周波数分解するものである。そして、周波数分解部３３は、算出した周波数分解値を判定部３０Ｂに出力する。

【0103】

画像特徴量算出部３４は、図１１の画像特徴量算出部１８と同様、判定対象画像から画像特徴量を算出するものである。そして、画像特徴量算出部３４は、算出した画像特徴量を判定部３０Ｃに出力する。

【0104】

判定部３０Ｃは、判定対象画像の画素値、周波数分解値及び画像特徴量を学習モデル３１に入力し、学習モデル３１から判定結果を取得する。そして、判定部３０Ｂは、判定結果を参照し、４パターンのうちの確率が最大となるパターンで、デブロッキングフィルタ処理及びＳＡＯ処理をＯＮ／ＯＦＦする制御情報を生成する。

【0105】

［作用・効果］
以上のように、学習装置１Ｃ及びループフィルタ制御部３Ｃは、画像の画素値の他、画像の周波数分解値及び画像特徴量も利用することで、より高精度にループフィルタ４の適否を制御できる。

【0106】

（変形例４）
図５及び図７を参照し、変形例４に係る学習装置１及びループフィルタ制御部３について、各実施形態と異なる点を説明する。この変形例４では、ループフィルタ４の適否に加え、デブロッキングフィルタ処理の強弱も制御する点が各実施形態と異なる。

【0107】

［学習装置］
ここで、デブロッキングフィルタ処理では、ストロングフィルタ又はウィークフィルタの何れかを選択することで、その強弱を変えることができる。そこで、学習画像から、ストロングフィルタ及びウィークフィルタの各モードで符号化及び復号した符号化画像を予め生成しておく。つまり、ストロングフィルタを適用した符号化画像と、ウィークフィルタを適用した符号化画像とを予め生成しておく。

【0108】

図５のＰＳＮＲ算出部１５は、デブロッキングフィルタ処理で選択されるストロングフィルタ又はウィークフィルタのモード毎に、符号化及び復号する前後の学習画像のピーク信号対雑音比を算出する。具体的には、ＰＳＮＲ算出部１５は、フレーム取得部１０Ｂから入力した学習画像と各モードの符号化画像との間でピーク信号対雑音比を算出する。まず、ＰＳＮＲ算出部１５は、ストロングフィルタを適用した符号化画像と学習画像との間でピーク信号対雑音比を算出する。また、ＰＳＮＲ算出部１５は、ウィークフィルタを適用した符号化画像と学習画像との間でピーク信号対雑音比を算出する。

【0109】

教師データ生成部１６は、ＰＳＮＲ算出部１５から入力したピーク信号対雑音比が最大となるモードで、デブロッキングフィルタ処理の強弱を示す教師データを生成する。例えば、ウィークフィルタよりストロングフィルタを適用したときのピーク信号対雑音比が大きい場合、教師データ生成部１６は、教師データとして、ストロングフィルタの選択を示す１−ｏｆ−Ｋベクトル「１，０」を生成する。

【0110】

学習部１２は、デブロッキングフィルタ処理の強弱を制御する学習モデル１３のパラメータを学習する。具体的には、学習部１２は、学習画像を学習モデル１３に入力して得られた判定結果と、デブロッキングフィルタ処理の強弱を示す教師データとの誤差を算出し、算出した誤差が最小となるように学習モデル１３のパラメータを更新する。

【0111】

学習モデル１３が出力する判定結果は、学習画像に対するデブロッキングフィルタ処理の強弱を示す。つまり、学習モデル１３の判定結果は、学習画像に対して、ストロングフィルタ及びウィークフィルタを選択する確率を示す。例えば、ある学習画像の判定結果が「０．８，０．２」の場合を考える。この場合、ストロングフィルタを選択する確率が０．８、ウィークフィルタを選択する確率が０．２であることを示す。

【0112】

誤差算出部１４は、学習モデル１３が出力した判定結果と、デブロッキングフィルタ処理の強弱を示す教師データとの誤差を算出するものである。例えば、誤差算出部１４は、ある学習画像の判定結果「０．８，０．２」と、その学習画像の教師データである１−ｏｆ−Ｋベクトル「１，０」との誤差を算出する。

【0113】

［ループフィルタ制御部の構成］
図７の判定部３０は、最適パラメータが反映された学習モデル３１を用いて、デブロッキングフィルタ処理の強弱を判定する。ここで、学習モデル３１の判定結果は、判定対象画像に対して、ストロングフィルタ及びウィークフィルタのそれぞれを選択する確率を示す。

【0114】

すなわち、判定部３０は、判定対象画像を学習モデル３１に入力し、学習モデル３１から判定結果を取得する。そして、判定部３０は、判定結果を参照し、２モードのうちの確率が最大となるモードで制御情報を生成する。この制御情報は、ストロングフィルタ又はウィークフィルタの選択を示す１−ｏｆ−Ｋベクトルである。例えば、ある判定対象画像の判定結果が「０．８，０．２」の場合、ウィークフィルタよりストロングフィルタを選択する確率が大きくなる。この場合、判定部３０は、制御情報として、ストロングフィルタの選択を示す１−ｏｆ−Ｋベクトル「１，０」を生成する。

【0115】

制御部３２は、判定部３０の判定結果に基づいて、デブロッキングフィルタ処理の強弱を制御する。具体的には、制御部３２は、判定部３０から入力した制御情報に従って、デブロッキングフィルタ４０にストロングフィルタ又はウィークフィルタの選択を指令する。

【0116】

［作用・効果］
以上のように、変形例４に係る学習装置１及びループフィルタ制御部３は、高精度にデブロッキングフィルタ処理の強弱も制御できる。

【0117】

（変形例５）
図５及び図７を参照し、変形例５に係る学習装置１及びループフィルタ制御部３について、各実施形態と異なる点を説明する。この変形例４では、ループフィルタ４の適否に加え、ＳＡＯ処理のオフセット値も制御する点が各実施形態と異なる。

【0118】

ここで、ＳＡＯ処理では、適応的にオフセット値を加算することで、符号化劣化を低減できる。そこで、学習画像から、様々なオフセット値のＳＡＯ処理で符号化及び復号した符号化画像を予め生成しておく。

【0119】

図５のＰＳＮＲ算出部１５は、ＳＡＯ処理のオフセット値毎に、符号化及び復号する前後の学習画像のピーク信号対雑音比する。具体的には、ＰＳＮＲ算出部１５は、フレーム取得部１０Ｂから入力した学習画像と各オフセット値の符号化画像との間でピーク信号対雑音比を算出する。

【0120】

教師データ生成部１６は、ピーク信号対雑音比が最大となるオフセット値を示す教師データを生成する。例えば、教師データ生成部１６は、教師データとして、ピーク信号対雑音比が最大となるオフセット値を１、他のオフセット値を０とした１−ｏｆ−Ｋベクトルを生成する。

【0121】

学習部１２は、ＳＡＯ処理のオフセット値を制御する学習モデル１３のパラメータを学習する。具体的には、学習部１２は、学習画像を学習モデル１３に入力して得られた判定結果と、ＳＡＯ処理のオフセット値を示す教師データとの誤差を算出し、算出した誤差が最小となるように学習モデル１３のパラメータを更新する。学習モデル１３が出力する判定結果は、学習画像に対して、ＳＡＯ処理で各オフセット値を取る確率を示す。

【0122】

誤差算出部１４は、学習モデル１３が出力した判定結果と、ＳＡＯ処理のオフセット値を示す教師データとの誤差を算出する。

【0123】

［ループフィルタ制御部の構成］
図７の判定部３０は、最適パラメータが反映された学習モデル３１を用いて、ＳＡＯ処理のオフセット値を判定する。ここで、学習モデル３１の判定結果は、ある判定対象画像に対して、ＳＡＯ処理で各オフセット値を取る確率を示す。すなわち、判定部３０は、判定対象画像を学習モデル３１に入力し、学習モデル３１から判定結果を取得する。そして、判定部３０は、判定結果を参照し、確率が最大となるオフセット値を示す制御情報を生成する。

【0124】

制御部３２は、判定部３０の判定結果に基づいて、ＳＡＯ処理のオフセット値を制御する。具体的には、制御部３２は、判定部３０から入力した制御情報が示すオフセット値によるＳＡＯ処理をＳＡＯ処理部に指令する。

【0125】

［作用・効果］
以上のように、変形例５に係る学習装置１及びループフィルタ制御部３は、高精度にＳＡＯ処理のオフセット値も制御できる。

【0126】

以上、本発明の各実施形態を詳述してきたが、本発明はこれらに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、画質評価指標がピーク信号対雑音比であるものとして説明したが、これに限定されない。例えば、画質評価指標として、ＳＳＩＭ（structural similarity）を用いてもよい。

【0127】

前記した各実施形態では、２次元符号化方式がＨＥＶＣ／Ｈ．２６５であるものとして説明したが、これに限定されない。例えば、２次元符号化方式が、ＶＶＣ／Ｈ．２６６であってもよい。
前記した各実施形態では、デブロッキングフィルタ処理及びＳＡＯ処理という２種類のループフィルタを説明したが、これに限定されない。例えば、ＶＶＣ／Ｈ．２６６のようなＡＬＦ（Adaptive Loop Filter）処理を追加し、３種類のループフィルタとしてもよい。

【0128】

前記した各実施形態では、符号化装置又は復号装置がループフィルタ制御部を備えるものとして説明したが、これに限定されない。つまり、ループフィルタ制御部は、独立したループフィルタ制御装置として実装することもできる。

【0129】

また、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した学習装置又はループフィルタ制御装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【符号の説明】

【0130】

１，１Ｂ，１Ｃ 学習装置
１０，１０Ｂ フレーム取得部（学習画像入力部）
１１ 教師データ取得部（教師データ入力部）
１２，１２Ｃ 学習部
１３ 学習モデル
１４ 誤差算出部
１５ ＰＳＮＲ算出部（ピーク信号対雑音比算出部）
１６ 教師データ生成部
１７ 周波数分解部
１８ 画像特徴量算出部
２，２Ｂ 符号化装置
２０ ブロック分割部
２１ 減算部
２２ 変換部
２３ 量子化部
２４ エントロピー符号化部
２５ 逆量子化・逆変換部
２６ 合成部
２７ 動き検出部
２８ 予測部
２８０ イントラ予測部
２８１ 動き補償部
２８２ 切替部
３，３Ｃ ループフィルタ制御部（ループフィルタ制御装置）
３０，３０Ｃ 判定部
３１ 学習モデル
３２ 制御部
４ ループフィルタ
４０ デブロッキングフィルタ
４１ ＳＡＯ処理部
５ 復号装置
５０ エントロピー符号化復号部
５１ 逆量子化部
５２ 逆変換部
５３ 合成部
５４ 予測部
５４０ イントラ予測部
５４１ 動き補償部
５４２ 切替部
５５ 復号画像バッファ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】