特開 2022-108634 符号化装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022108634

(43)【公開日】2022-07-26

(54)【発明の名称】符号化装置及びプログラム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20220719BHJP

   H04N 19/176 20140101ALI20220719BHJP

   H04N 19/136 20140101ALI20220719BHJP

   H04N 19/196 20140101ALI20220719BHJP

【ＦＩ】

H04N19/117

H04N19/176

H04N19/136

H04N19/196

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021003740

(22)【出願日】2021-01-13

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(71)【出願人】

【識別番号】591053926

【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159KK01

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159PP04

5C159TA69

5C159TB08

5C159TC03

5C159TC04

5C159TC06

5C159TD04

5C159UA02

5C159UA05

5C159UA12

5C159UA14

5C159UA16

(57)【要約】

【課題】符号化効率を向上させる。
【解決手段】符号化装置１は、画像の周波数成分を変化させるフィルタを生成し、原画像の分割ブロックを符号化した後に復号した復号済ユニットにフィルタを適用して２次ユニットを生成する画像処理部１０と、復号済ユニット及び２次ユニットを参照して画面内予測を行う画面内予測部２１と、復号済ユニット及び２次ユニットを参照して画面間予測を行う画面間予測部２２と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

原画像を符号化する符号化装置であって、
画像の周波数成分を変化させるフィルタを生成するフィルタ生成部と、
前記原画像の分割ブロックを符号化した後に復号した復号済ユニットに、前記フィルタを適用して２次ユニットを生成する２次ユニット生成部と、
前記復号済ユニット及び前記２次ユニットを参照して画面内予測を行う画面内予測部と、
前記復号済ユニット及び前記２次ユニットを参照して画面間予測を行う画面間予測部と、
を備える符号化装置。

【請求項2】

前記フィルタ生成部は、画像の高周波成分をぼかすフィルタ及び画像の高周波成分を鮮鋭化するフィルタを生成する、請求項１に記載の符号化装置。

【請求項3】

前記復号済ユニットにおける空間高周波パワーのばらつき及び大きさを求める空間高周波パワー解析部を備え、
前記フィルタ生成部は、前記空間高周波パワーのばらつきが大きいほど前記フィルタの種類を多くし、前記空間高周波パワーの大きさが大きいほどフィルタ係数の最大値と最小値の差を大きくする、請求項１又は２に記載の符号化装置。

【請求項4】

前記空間高周波パワー解析部は、前記復号済ユニットに対して直交変換を行って各要素のパワーを求め、周波数が閾値を超える高周波領域の要素のパワーの合計を前記復号済ユニットの空間高周波パワーとする、請求項３に記載の符号化装置。

【請求項5】

前記復号済ユニット及び前記原画像の差分信号のパワーを示す残差信号パワーのばらつき及び大きさを求める残差信号パワー解析部を備え、
前記フィルタ生成部は、前記残差信号パワーのばらつきが大きいほど前記フィルタの種類を多くし、前記残差信号パワーの大きさが大きいほどフィルタ係数の最大値と最小値の差を大きくする、請求項１又は２に記載の符号化装置。

【請求項6】

前記復号済ユニットを生成する際に用いられた量子化パラメータのばらつき及び大きさを求める符号化品質解析部を備え、
前記フィルタ生成部は、前記量子化パラメータのばらつきが大きいほど前記フィルタの種類を多くし、前記量子化パラメータの大きさが大きいほどフィルタ係数の最大値と最小値の差を大きくする、請求項１又は２に記載の符号化装置。

【請求項7】

前記復号済ユニット及び前記原画像の差分信号のパワーを示す残差信号パワーのばらつき及び大きさを求める残差信号パワー解析部と、
前記復号済ユニットを生成する際に用いられた量子化パラメータのばらつき及び大きさを求める符号化品質解析部と、を備え、
前記フィルタ生成部は、前記空間高周波パワー、前記残差信号パワー、又は前記量子化パラメータのばらつきが大きいほど前記フィルタの種類を多くし、前記空間高周波パワー、前記残差信号パワー、又は前記量子化パラメータの大きさが大きいほどフィルタ係数の最大値と最小値の差を大きくする、請求項３又は４に記載の符号化装置。

【請求項8】

前記２次ユニット生成部は、前記復号済ユニットに対して直交変換を行って直交変換係数を生成し、前記フィルタを前記復号済ユニットのサイズに変換した行列を前記直交変換係数に乗算してフィルタ済直交変換係数を生成し、該フィルタ済直交変換係数に対して逆直交変換を行って前記２次ユニットを生成する、請求項１から７のいずれか一項に記載の符号化装置。

【請求項9】

コンピュータを、請求項１から８のいずれか一項に記載の符号化装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置及びプログラムに関する。

【背景技術】

【0002】

Ｈ.２６５/ＨＥＶＣ（High Efficiency Video Coding）、Ｈ.２６６/ＶＶＣ（Versatile Video Coding）などでは、画素相関を利用して動画像符号化を行うことが知られている（例えば、非特許文献１参照）。画面内予測では、予測対象ユニットの上側や左側の復号済ユニットに属する周辺画素を用いて予測を行う。また画面間予測では、予測対象ユニットの前後フレームの復号済ユニットを用いて予測を行う。一般に、予測対象ユニットとその上側や左側の復号済ユニットに属する周辺画素が同一オブジェクトである場合や、予測対象ユニットとその前後フレームの復号済ユニットが同一オブジェクトである場合は、同一オブジェクト間の画素相関は高いと考えられるため、画面内・画面間予測を高精度に行うことができる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来の符号化技術において、符号化難易度が非常に高い動画像を符号化した場合、復号済ユニットにぼやけやブロック歪などのアーティファクトが生じやすくなり、符号化効率が低下しやすいという課題がある。

【0005】

かかる事情に鑑みてなされた本発明の目的は、符号化効率を向上させることが可能な符号化装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

一実施形態に係る符号化装置は、原画像を符号化する符号化装置であって、画像の周波数成分を変化させるフィルタを生成するフィルタ生成部と、前記原画像の分割ブロックを符号化した後に復号した復号済ユニットに、前記フィルタを適用して２次ユニットを生成する２次ユニット生成部と、前記復号済ユニット及び前記２次ユニットを参照して画面内予測を行う画面内予測部と、前記復号済ユニット及び前記２次ユニットを参照して画面間予測を行う画面間予測部と、を備える。

【0007】

さらに、一実施形態において、前記フィルタ生成部は、画像の高周波成分をぼかすフィルタ及び画像の高周波成分を鮮鋭化するフィルタを生成するようにしてもよい。

【0008】

さらに、一実施形態において、前記復号済ユニットにおける空間高周波パワーのばらつき及び大きさを求める空間高周波パワー解析部を備え、前記フィルタ生成部は、前記空間高周波パワーのばらつきが大きいほど前記フィルタの種類を多くし、前記空間高周波パワーの大きさが大きいほどフィルタ係数の最大値と最小値の差を大きくするようにしてもよい。

【0009】

さらに、一実施形態において、前記空間高周波パワー解析部は、前記復号済ユニットに対して直交変換を行って各要素のパワーを求め、周波数が閾値を超える高周波領域の要素のパワーの合計を前記復号済ユニットの空間高周波パワーとするようにしてもよい。

【0010】

さらに、一実施形態において、前記復号済ユニット及び前記原画像の差分信号のパワーを示す残差信号パワーのばらつき及び大きさを求める残差信号パワー解析部を備え、前記フィルタ生成部は、前記残差信号パワーのばらつきが大きいほど前記フィルタの種類を多くし、前記残差信号パワーの大きさが大きいほどフィルタ係数の最大値と最小値の差を大きくするようにしてもよい。

【0011】

さらに、一実施形態において、前記復号済ユニットを生成する際に用いられた量子化パラメータのばらつき及び大きさを求める符号化品質解析部を備え、前記フィルタ生成部は、前記量子化パラメータのばらつきが大きいほど前記フィルタの種類を多くし、前記量子化パラメータの大きさが大きいほどフィルタ係数の最大値と最小値の差を大きくするようにしてもよい。

【0012】

さらに、一実施形態において、前記復号済ユニット及び前記原画像の差分信号のパワーを示す残差信号パワーのばらつき及び大きさを求める残差信号パワー解析部と、前記復号済ユニットを生成する際に用いられた量子化パラメータのばらつき及び大きさを求める符号化品質解析部と、を備え、前記フィルタ生成部は、前記空間高周波パワー、前記残差信号パワー、又は前記量子化パラメータのばらつきが大きいほど前記フィルタの種類を多くし、前記空間高周波パワー、前記残差信号パワー、又は前記量子化パラメータの大きさが大きいほどフィルタ係数の最大値と最小値の差を大きくするようにしてもよい。

【0013】

さらに、一実施形態において、前記２次ユニット生成部は、前記復号済ユニットに対して直交変換を行って直交変換係数を生成し、前記フィルタを前記復号済ユニットのサイズに変換した行列を前記直交変換係数に乗算してフィルタ済直交変換係数を生成し、該フィルタ済直交変換係数に対して逆直交変換を行って前記２次ユニットを生成するようにしてもよい。

【0014】

また、一実施形態係るプログラムは、コンピュータを、上記符号化装置として機能させる。

【発明の効果】

【0015】

本発明によれば、画像の圧縮符号化効率を向上させることが可能となる。

【図面の簡単な説明】

【0016】

【図1】一実施形態に係る符号化装置の構成例を示すブロック図である。

【図2】一実施形態に係る符号化装置における画像処理部の構成例を示すブロック図である。

【図3】一実施形態に係る符号化装置における空間高周波パワー解析部の処理の一例を説明する図である。

【図4】一実施形態に係る符号化装置における２次ユニット生成部の処理の一例を説明する図である。

【発明を実施するための形態】

【0017】

以下、一実施形態について、図面を参照して詳細に説明する。

【0018】

図１は、一実施形態に係る符号化装置の構成例を示すブロック図である。図１に示す符号化装置１は、画像処理部１０と、ブロック分割部１１と、減算部１２と、変換部１３と、ビジュアルアクティビティ算出部１４と、ＱＰ決定部１５と、量子化部１６と、逆量子化部１７と、逆変換部１８と、加算部１９と、フレームメモリ２０と、画面内予測部２１と、画面間予測部２２と、切替部２３と、エントロピー符号化部２４と、を備える。

【0019】

ブロック分割部１１は、入力画像（原画像）を分割した分割ブロックを符号ユニット（ＣＵ：Coding Unit）として生成し、減算部１２、ビジュアルアクティビティ算出部１４、及び画面間予測部２２に出力する。

【0020】

減算部１２は、ブロック分割部１１から入力した符号化ユニットの各画素値から、後述する画面内予測部２１又は画面間予測部２２から入力した予測ユニットの各画素値を減算して、符号化ユニットと予測ユニットと画素値の差分を示す残差信号を生成し、変換部１３に出力する。

【0021】

変換部１３は、減算部１２から入力した残差信号を更に変換ユニット（ＴＵ：Transform Unit）に分割して、ＴＵごとに直交変換などの変換処理を行って変換係数を算出し、量子化部１６に出力する。

【0022】

ビジュアルアクティビティ算出部１４は、ブロック分割部１１から入力した符号化ユニットのビジュアルアクティビティを算出し、ＱＰ決定部１５に出力する。符号化ユニットが高い周波数成分を多く含む場合にはビジュアルアクティビティは大きくなり、符号ユニットが高い周波数成分を多く含まない場合にはビジュアルアクティビティは小さくなる。

【0023】

ＱＰ決定部１５は、ビジュアルアクティビティ算出部１４から入力したビジュアルアクティビティに基づいて量子化パラメータ（ＱＰ値）を決定し、量子化部１６及び画像処理部１０に出力する。

【0024】

量子化部１６は、変換部１３から入力した変換係数を、ＱＰ決定部１５から入力したＱＰ値に対応する量子化ステップで除算して量子化することにより量子化係数を生成し、逆量子化部１７及びエントロピー符号化部２４に出力する。

【0025】

逆量子化部１７は、量子化部１６から入力した量子化係数に対して、量子化ステップを乗ずることにより変換係数を復元し、逆変換部１８に出力する。

【0026】

逆変換部１８は、逆量子化部１７から入力した変換係数に対して、逆変換処理（変換部１３で行った変換を元に戻す処理）を行って残差信号を復元し、加算部１９に出力する。例えば、変換部１３が離散コサイン変換を行った場合には、逆変換部１８は逆離散コサイン変換を行う。

【0027】

加算部１９は、逆変換部１８から入力した残差信号と、切替部２３から入力した予測ユニットとを加算して復号済ユニットを生成し、フレームメモリ２０及び画面内予測部２１に出力する。

【0028】

フレームメモリ２０は、加算部１９から入力した復号済ユニットを記憶する。

【0029】

逆量子化部１７、逆変換部１８、及び加算部１９により、局所復号部を構成する。すなわち、局所復号部は、量子化係数に対して量子化ステップを乗じて変換係数を復元し、該変換係数に対して逆変換処理を行って残差信号を復元し、該残差信号と予測ユニットとを加算して復号済ユニットを生成する。

【0030】

画像処理部１０は、加算部１９及びフレームメモリ２０から入力した復号済ユニット（すなわち、画面内予測及び画面間予測に用いられる復号済ユニット）に対して画像処理を行って２次ユニットを生成し、画面内予測部２１及び画面間予測部２２に出力する。画像処理部１０の詳細については後述する。

【0031】

画面内予測部２１は、画像処理部１０から入力した２次ユニット、及び加算部１９から入力した復号済ユニットを参照して、予測ユニット（ＰＵ：Prediction Unit）ごとに画面内予測（イントラ予測）を行って画面内予測画像を生成し、切替部２３に出力する。従来の符号化装置では復号済ユニットのみを参照して画面内予測を行うところ、符号化装置１では復号済ユニットに加えて２次ユニットも参照して画面内予測を行う点が相違する。

【0032】

画面間予測部２２は、ブロック分割部１１から入力した符号化ユニットを予測ユニットに分割する。そして、画面間予測部２２は、画像処理部１０から入力した２次ユニット、及びフレームメモリ２０から入力した復号済ユニットを参照して、予測ユニットごとにブロックマッチングなどの手法により動きベクトルを生成する。画面間予測部２２は、予測ユニットごとに動きベクトルに基づいて動き補償予測を行って画面間予測画像を生成し、切替部２３に出力する。従来の符号化装置では復号済ユニットのみを参照して画面間予測を行うところ、符号化装置１では復号済ユニットに加えて２次ユニットも参照して画面間予測を行う点が相違する。

【0033】

切替部２３は、画面内予測部２１から入力された画面内予測画像と、画面間予測部２２から入力された画面間予測画像とを切替えて予測画像とし、減算部１２及び加算部１９に出力する。

【0034】

エントロピー符号化部２４は、量子化部１６から入力された量子化係数、画面内予測部２１から入力された予測モード情報、画面間予測部２２から入力された動きベクトル情報などに対してエントロピー符号化を行い、データ圧縮を行ってビットストリームを生成し、符号化装置１の外部に出力する。エントロピー符号化は、０次指数ゴロム符号やコンテキスト適応型２値算術符号（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）など、任意のエントロピー符号化方式を用いることができる。

【0035】

＜画像処理部＞
次に、画像処理部１０の処理について説明する。図２は、画像処理部１０の構成例を示すブロック図である。図２に示す画像処理部１０は、空間高周波パワー解析部１０１と、残差信号パワー解析部１０２と、符号化品質解析部１０３と、フィルタ生成部１０４と、２次ユニット生成部１０５と、を備える。画像処理部１０は、空間高周波パワー解析部１０１、残差信号パワー解析部１０２、及び符号化品質解析部１０３のうち、少なくとも一つを備えていればよい。画像処理部１０が入力（取得）する復号済ユニットは、原画像の分割ブロックを符号化した後に復号された、画面内予測及び画面間予測に用いられる復号済ユニットである。

【0036】

空間高周波パワー解析部１０１は、加算部１９及びフレームメモリ２０から入力した復号済ユニットにおける空間高周波パワーのばらつき及び大きさを求め、フィルタ生成部１０４に出力する。例えば、空間高周波パワー解析部１０１は、ばらつきとして標準偏差値を求め、大きさとして代表値（例えば最大値）を求める。

【0037】

空間高周波パワー解析部１０１は、復号済ユニットに対して直交変換を行って各要素のパワーを求め、周波数が閾値を超える高周波領域の要素のパワーの合計を復号済ユニットの空間高周波パワーとする。なお、空間高周波パワー解析部１０１は、復号済ユニットをブロック領域に分割して、各ブロックに対して直交変換を適用して処理してもよい。

【0038】

図３を参照して、空間高周波パワー解析部１０１による空間高周波パワーの算出方法について具体的に説明する。図３は、空間高周波パワー解析部１０１による空間高周波パワーの算出方法の一例を説明する図である。なお図３は、画面内予測を行う際の復号済ユニットを示している。空間高周波パワー解析部１０１は、各復号済ユニットに対して同じ処理を行うが、図３では復号済ユニットＵ－１に対する処理を図示している。空間高周波パワー解析部１０１は、復号済ユニットＵ－１をブロック領域（ブロック１，２，・・・）に分割して、Type-II DCTなどの直交変換を適用後、全ブロックの要素位置ごとのパワーの平均値を求める。

【0039】

次に、空間高周波パワー解析部１０１は、全ブロックの要素位置毎のパワーの平均値をジグザグスキャンなどで１次元のデータ列にし、閾値αよりも高い要素のパワーの合計を復号済ユニットＵ－１の空間高周波パワーとする。閾値αは、例えばブロックの要素数の半分の値である。空間高周波パワー解析部１０１は、全ての復号済ユニット（復号済ユニットＵ－２，Ｕ－３，・・・）で同様に空間高周波パワーを求めた後、それらのばらつき及び大きさを算出する。

【0040】

残差信号パワー解析部１０２は、加算部１９及びフレームメモリ２０から入力した復号済ユニットと、ブロック分割部１１から入力した符号化ユニット（すなわち、原画像）との差分信号のパワーを示す残差信号パワーのばらつき及び大きさを求め、フィルタ生成部１０４に出力する。例えば、残差信号パワー解析部１０２は、ばらつきとして標準偏差値を求め、大きさとして代表値（例えば最大値）を求める。

【0041】

符号化品質解析部１０３は、加算部１９及びフレームメモリ２０から入力した復号済ユニットについて、該復号済ユニットを生成する際に用いられたＱＰ値を、ビジュアルアクティビティ算出部１４及びＱＰ決定部１５と同様の処理を行って求める。あるいは、符号化品質解析部１０３は、画面内予測及び画面間予測に用いられる復号済ユニットを生成する際に用いられたＱＰ値を、ＱＰ決定部１５から入力する。そして、符号化品質解析部１０３は、ＱＰ値のばらつき及び大きさを求め、フィルタ生成部１０４に出力する。例えば、符号化品質解析部１０３は、ばらつきとして標準偏差値を求め、大きさとして代表値（例えば最大値）を求める。

【0042】

フィルタ生成部１０４は、画像の周波数成分を変化させるフィルタを複数生成し、２次ユニット生成部１０５に出力する。本実施形態では、フィルタ生成部１０４は、画像の高周波成分（閾値を超える周波数成分）をぼかすフィルタ、及び画像の高周波成分（閾値を超える周波数成分）を鮮鋭化するフィルタを、それぞれ複数種類生成する。画像の高周波成分は任意に設定することができ、例えば、水平方向及び垂直方向の周波数が最大周波数（ナイキスト周波数）の５０％以上の成分と設定することができる。フィルタ生成部１０４は、符号化装置１に入力される画像の種類に応じて、画像の高周波成分をぼかすフィルタ及び鮮鋭化するフィルタのいずれか一方のみを生成してもよい。

【0043】

画像処理部１０が空間高周波パワー解析部１０１を備える場合には、フィルタ生成部１０４は、空間高周波パワー解析部１０１から空間高周波パワーのばらつき及び大きさを入力する。空間高周波パワーのばらつきや大きさが大きいほど符号化が困難であり、符号化効率が悪くなると考えられる。そこで、フィルタ生成部１０４は、空間高周波パワーのばらつきが大きいほどフィルタの種類を多くする。また、フィルタ生成部１０４は、空間高周波パワーの大きさが大きいほど、複数種類のフィルタにおけるフィルタ係数の最大値と最小値の差を大きくする。すなわち、フィルタ生成部１０４は、空間高周波パワーの大きさが大きいほど、複数種類のフィルタを用いてフィルタ処理を行った際の画像の周波数成分の変化量が大きくなるように係数を設定する。

【0044】

フィルタ生成部１０４は、フィルタの種類及びフィルタ係数の設定に関するテーブルを、あらかじめ保持、又は取得する。表１に、空間高周波パワーの標準偏差値と最大値に対する、フィルタの種類及びフィルタ係数の設定例を示す。なお、この設定値は一例であり、適宜実験的に求めて設定可能である。ここで、フィルタ係数の±Ｎは、１．０を中心に＋Ｎした値を最大値とし、１．０を中心に－Ｎした値を最小値とすることを意味する。

【0045】

【表1】

【0046】

例えば、フィルタの種類数が９、フィルタ係数が±０．３である場合、フィルタ係数をプラスマイナス各方向に４分割し、｛０．７００，０．７７５，０．８５０，０．９２５，１．０００，１．０７５，１．１５０，１．２２５，１．３００｝を各フィルタの高周波領域の係数とする。例えば、フィルタを４行４列の行列とし、右下の２行２列の行列を高周波領域とした場合、フィルタ係数を

【数1】

としたフィルタを適用することにより、水平方向及び垂直方向の周波数が最大周波数の５０％以上の高周波成分をぼかすことができる。また、フィルタ係数を

【数2】

としたフィルタを適用することにより水平方向及び垂直方向の周波数が最大周波数の５０％以上の高周波成分を鮮鋭化することができる。

【0047】

画像処理部１０が残差信号パワー解析部１０２を備える場合には、フィルタ生成部１０４は、残差信号パワー解析部１０２から残差信号パワーのばらつき及び大きさを入力する。残差信号パワーのばらつきや大きさが大きいほど符号化が困難であり、符号化効率が悪くなると考えられる。そこで、フィルタ生成部１０４は、残差信号パワーのばらつきが大きいほどフィルタの種類を多くする。また、フィルタ生成部１０４は、残差信号パワーの大きさが大きいほど、複数種類のフィルタにおけるフィルタ係数の最大値と最小値の差を大きくする。すなわち、フィルタ生成部１０４は、残差信号パワーの大きさが大きいほど、複数種類のフィルタを用いてフィルタ処理を行った際の画像の周波数成分の変化量が大きくなるように係数を設定する。

【0048】

表２に、残差信号パワーの標準偏差値と最大値に対する、フィルタの種類及びフィルタ係数の設定例を示す。なお、この設定値は一例であり、適宜実験的に求めて設定可能である。ここで、フィルタ係数の±Ｎは、１．０を中心に＋Ｎした値を最大値とし、１．０を中心に－Ｎした値を最小値とすることを意味する。

【0049】

【表2】

【0050】

画像処理部１０が符号化品質解析部１０３を備える場合には、フィルタ生成部１０４は、符号化品質解析部１０３からＱＰ値のばらつき及び大きさを入力する。ＱＰ値のばらつきや大きさが大きいほど符号化が困難であり、符号化効率が悪くなると考えられる。そこで、フィルタ生成部１０４は、ＱＰ値のばらつきが大きいほどフィルタの種類を多くする。また、フィルタ生成部１０４は、ＱＰ値の大きさが大きいほど、複数種類のフィルタにおけるフィルタ係数の最大値と最小値の差を大きくする。すなわち、フィルタ生成部１０４は、ＱＰ値の大きさが大きいほど、複数種類のフィルタを用いてフィルタ処理を行った際の画像の周波数成分の変化量が大きくなるように係数を設定する。

【0051】

表３に、ＱＰ値の標準偏差値と最大値に対する、フィルタの種類及びフィルタ係数の設定例を示す。なお、この設定値は一例であり、適宜実験的に求めて設定可能である。ここで、フィルタ係数の±Ｎは、１．０を中心に＋Ｎした値を最大値とし、１．０を中心に－Ｎした値を最小値とすることを意味する。

【0052】

【表3】

【0053】

画像処理部１０は、空間高周波パワー解析部１０１、残差信号パワー解析部１０２、及び符号化品質解析部１０３のうち、２つ以上を備える場合には、フィルタ生成部１０４は、各テーブルから求まるフィルタの種類数のうち最も多いものを採用し、各テーブルから求まるフィルタ係数の変化量のうち最も大きいものを採用する。例えば、画像処理部１０が、空間高周波パワー解析部１０１、残差信号パワー解析部１０２、及び符号化品質解析部１０３を全て備える場合において、フィルタの種類数がそれぞれ｛３、５、９｝であり、フィルタ係数の変化量がそれぞれ｛±０．３、±０．１、±０．２｝である場合は、フィルタの種類数を９とし、フィルタ係数の変化量を±０．３とする。

【0054】

なお、上記ではフィルタ係数の値を１．０±Ｎとしたが、フィルタ係数の値を１．０－Ｎ１から１．０＋Ｎ２（Ｎ１≠Ｎ２）までとしてもよい。また、Ｎ１＝０であってもよいし、Ｎ２＝０であってもよい。

【0055】

２次ユニット生成部１０５は、加算部１９及びフレームメモリ２０から入力した復号済ユニット（すなわち、原画像の分割ブロックを符号化した後に復号した復号済ユニット）に、フィルタ生成部１０４から入力したフィルタを適用して２次ユニットを生成し、画面内予測部２１及び画面間予測部２２に出力する。

【0056】

図４を参照して、２次ユニット生成部１０５による２次ユニットの算出方法について具体的に説明する。図４は、２次ユニット生成部１０５による２次ユニットの算出方法の一例を説明する図である。２次ユニット生成部１０５は、復号済ユニットＵ１をブロック領域に分割し、各ブロックに Type-II DCT などの直交変換を行って直交変換係数Ｃ１を生成する（ステップＳ１）。

【0057】

復号済ユニットのサイズは、３２×３２、１６×１６、８×８、４×４など複数種類あるため、フィルタ生成部１０４が生成するフィルタＦ１のサイズを復号済ユニットの最小単位である４×４とし、２次ユニット生成部１０５は、フィルタＦ１を復号済ユニットＵ１のサイズに拡大した乗算用フィルタＦ２を生成するようにしてもよい（ステップＳ２）。フィルタＦ１の拡大には、ニアレストネイバー法、バイリニア法、バイキュービック法などの任意の手法を用いることができる。

【0058】

そして、２次ユニット生成部１０５は、直交変換係数Ｃ１に乗算用フィルタＦ２を乗算し、フィルタ済直交変換係数Ｃ２を生成する（ステップＳ３）。

【0059】

最後に、２次ユニット生成部１０５は、フィルタ済直交変換係数Ｃ２に対して逆直交変換を行って２次ユニットＵ２を生成する（ステップＳ４）。

【0060】

このように、図４に示す例では、２次ユニット生成部１０５は、復号済ユニットに対して直交変換を行って直交変換係数を生成し、フィルタを復号済ユニットのサイズに変換した行列を直交変換係数に乗算してフィルタ済直交変換係数を生成し、該フィルタ済直交変換係数に対して逆直交変換を行って２次ユニットを生成する。２次ユニット生成部１０５は、以上の処理を、フィルタ生成部１０４から入力した全種類のフィルタを用いて全ての復号済ユニットに適用し、複数の２次ユニットを生成する。

【0061】

本実施形態では、画像処理部１０は、復号済ユニットに対して画像処理を行って２次ユニットを生成するが、さらに予測対象ユニットに対しても同様に画像処理を行って２次ユニットを生成するようにしてもよい。

【0062】

（プログラム）
上述した符号化装置１として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0063】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。

【0064】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0065】

以上説明したように、本発明に係る符号化装置１又はプログラムは、画像の周波数成分を変化させるフィルタを生成し、復号済ユニットにフィルタを適用して２次ユニットを生成する。そして、復号済ユニット及び２次ユニットを参照して画面内予測を行い、復号済ユニット及び２次ユニットを参照して画面間予測を行う。このため、従来の符号化方法よりも画面内予測及び画面間予測において参照するユニット数が増加するため、符号化の精度が向上し、符号化効率を向上させることが可能となる。

【0066】

フィルタは、画像の高周波成分をぼかすフィルタ及び画像の高周波成分を鮮鋭化するフィルタとすることが望ましい。画面内又は画面間で相関性の低い画像を符号化する場合でも、復号済みユニットにフィルタを適用してぼかすことにより、２次ユニットと予測ユニットとの相関性が向上することが期待される。また、予測ユニットの原画像が復号済みユニットよりも鮮鋭な画像である場合には、復号済みユニットにフィルタを適用して鮮鋭化することにより、２次ユニットと予測ユニットとの相関性が向上することが期待される。

【0067】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0068】

１ 符号化装置
１０ 画像処理部
１１ ブロック分割部
１２ 減算部
１３ 変換部
１４ ビジュアルアクティビティ算出部
１５ ＱＰ決定部
１６ 量子化部
１７ 逆量子化部
１８ 逆変換部
１９ 加算部
２０ フレームメモリ
２１ 画面内予測部
２２ 画面間予測部
２３ 切替部
２４ エントロピー符号化部
１０１ 空間高周波パワー解析部
１０２ 残差信号パワー解析部
１０３ 符号化品質解析部
１０４ フィルタ生成部
１０５ ２次ユニット生成部

【図1】

【図2】

【図3】

【図4】