特開 2022-160316 符号化装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022160316

(43)【公開日】2022-10-19

(54)【発明の名称】符号化装置及びプログラム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20221012BHJP

   H04N 19/80 20140101ALI20221012BHJP

   H04N 19/503 20140101ALI20221012BHJP

【ＦＩ】

H04N19/85

H04N19/80

H04N19/503

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021064985

(22)【出願日】2021-04-06

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(71)【出願人】

【識別番号】591053926

【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA00

5C159MA05

5C159MA41

5C159NN01

5C159UA02

5C159UA11

(57)【要約】

【課題】符号化効率を向上させる。
【解決手段】符号化装置１は、原画像を局所復号したフレームを記憶するフレームメモリ２１と、フレームメモリ２１から取得した参照フレームに対して画像処理を行って、周波数成分を変化させたフィルタ処理フレームを１以上生成する画像処理部１０と、１以上のフィルタ処理フレームを参照して、符号化対象フレームに対する画面間予測画像を生成する画面間予測部２０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

原画像を符号化する符号化装置であって、
前記原画像を局所復号したフレームを記憶するフレームメモリと、
前記フレームメモリから取得した参照フレームに対して画像処理を行って、周波数成分を変化させたフィルタ処理フレームを１以上生成する画像処理部と、
前記１以上のフィルタ処理フレームを参照して、符号化対象フレームに対する画面間予測画像を生成する画面間予測部と、
を備える符号化装置。

【請求項2】

前記画像処理部は、前記参照フレームの高周波成分をぼかす処理又は鮮鋭化する処理を行い、前記フィルタ処理フレームを生成する、請求項１に記載の符号化装置。

【請求項3】

前記画像処理部は、
前記参照フレームに対して多重解像度分解を行って、分解階数をｎ１とするｎ１階層分解画像、及び分解階数をｎ１よりも大きいｎ２とするｎ２階層分解画像を生成する多重解像度分解部と、
前記ｎ１階層分解画像の最低周波数成分画像の分割ブロックごとに、前記ｎ２階層分解画像の最低周波数成分画像内で最も類似度が高い類似ブロックを決定し、該類似ブロックの位置を示すレジストレーション情報を生成するレジストレーション部と、
前記レジストレーション情報に従って前記類似ブロックの位置を特定し、前記ｎ２階層分解画像の各周波数成分画像内で、前記類似ブロックと同じ空間位相位置のブロックを割付ブロックとして特定し、該割付ブロックを前記ｎ１階層分解画像の高周波成分内における前記分割ブロックと同じ空間位相位置に割り付けた高周波成分割付画像を生成する高周波成分割付部と、
前記高周波成分割付画像に対して多重解像度再構成を行って、前記参照フレームの高周波成分を鮮鋭化した前記フィルタ処理フレームを生成する鮮鋭化再構成部と、
を備える、請求項１又は２に記載の符号化装置。

【請求項4】

前記レジストレーション部は、前記分割ブロックの画素値と前記類似ブロックの画素値との差分がレジストレーション閾値を超える場合に、前記レジストレーション情報を生成する、請求項３に記載の符号化装置。

【請求項5】

前記高周波成分割付部は、前記ｎ２階層分解画像を、分解階数がｎ２よりも１小さいｎ３階層の各周波数成分画像内で高周波成分画像と低周波成分画像に分類し、前記低周波成分画像内で前記類似ブロックと同じ空間位相位置のブロックを比較ブロックとして特定し、前記ｎ３階層の各周波数成分画像内で、前記割付ブロックの画素値と前記比較ブロックの画素値との差分が第１割付閾値を超える場合に、該割付ブロックを割り付ける、請求項３又は４に記載の符号化装置。

【請求項6】

前記高周波成分割付部は、前記ｎ２階層分解画像を、分解階数がｎ２よりも１小さいｎ３階層の各周波数成分画像内で高周波成分画像と低周波成分画像に分類し、前記低周波成分画像内で前記類似ブロックと同じ空間位相位置のブロックを比較ブロックとして特定し、前記類似ブロックの画素値と前記比較ブロックの画素値との差分が第２割付閾値を超える場合に、前記ｎ３階層において該比較ブロックと同一の周波数成分画像内の前記割付ブロックを割り付ける、請求項３から５のいずれか一項に記載の符号化装置。

【請求項7】

前記参照フレームに対して幾何変換を行い、幾何変換後の参照フレームを１以上生成する幾何変換部を更に備え、
前記画像処理部は、前記幾何変換後の参照フレームに対して画像処理を行う、
請求項１から６のいずれか一項に記載の符号化装置。

【請求項8】

前記参照フレームは、前記符号化対象フレームの時間的に前に位置する１以上のフレーム、又は前記符号化対象フレームの時間的に後に位置する１以上のフレームを更に含む、請求項１から７のいずれか一項に記載の符号化装置。

【請求項9】

コンピュータを、請求項１から８のいずれか一項に記載の符号化装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置及びプログラムに関する。

【背景技術】

【0002】

Ｈ.２６５／ＨＥＶＣ（High Efficiency Video Coding）、Ｈ.２６６／ＶＶＣ（Versatile Video Coding）などの符号化方式では、画素相関を利用して動画像符号化を行うことが知られている（例えば、非特許文献１参照）。画面間予測では、符号化対象フレーム（予測対象フレーム）の前後の参照フレームを参照して予測を行う。一般に、予測対象ユニットとその参照フレームの復号済ユニットが同一オブジェクトである場合は、同一オブジェクト間の画素相関は高いと考えられるため、画面間予測を高精度に行うことができる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来の符号化技術において、フレーム間で鮮鋭度が異なる場合には、画面間予測が困難であり、符号化効率が低下しやすいという課題がある。

【0005】

かかる事情に鑑みてなされた本発明の目的は、フレーム間で鮮鋭度が異なる動画像の符号化効率を向上させることが可能な符号化装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

一実施形態に係る符号化装置は、原画像を符号化する符号化装置であって、前記原画像を局所復号したフレームを記憶するフレームメモリと、前記フレームメモリから取得した参照フレームに対して画像処理を行って、周波数成分を変化させたフィルタ処理フレームを１以上生成する画像処理部と、前記１以上のフィルタ処理フレームを参照して、符号化対象フレームに対する画面間予測画像を生成する画面間予測部と、を備える。

【0007】

さらに、一実施形態において、前記画像処理部は、前記参照フレームの高周波成分をぼかす処理又は鮮鋭化する処理を行い、前記フィルタ処理フレームを生成してもよい。

【0008】

さらに、一実施形態において、前記画像処理部は、前記参照フレームに対して多重解像度分解を行って、分解階数をｎ１とするｎ１階層分解画像、及び分解階数をｎ１よりも大きいｎ２とするｎ２階層分解画像を生成する多重解像度分解部と、前記ｎ１階層分解画像の最低周波数成分画像の分割ブロックごとに、前記ｎ２階層分解画像の最低周波数成分画像内で最も類似度が高い類似ブロックを決定し、該類似ブロックの位置を示すレジストレーション情報を生成するレジストレーション部と、前記レジストレーション情報に従って前記類似ブロックの位置を特定し、前記ｎ２階層分解画像の各周波数成分画像内で、前記類似ブロックと同じ空間位相位置のブロックを割付ブロックとして特定し、該割付ブロックを前記ｎ１階層分解画像の高周波成分内における前記分割ブロックと同じ空間位相位置に割り付けた高周波成分割付画像を生成する高周波成分割付部と、前記高周波成分割付画像に対して多重解像度再構成を行って、前記参照フレームの高周波成分を鮮鋭化した前記フィルタ処理フレームを生成する鮮鋭化再構成部と、を備えてもよい。

【0009】

さらに、一実施形態において、前記レジストレーション部は、前記分割ブロックの画素値と前記類似ブロックの画素値との差分がレジストレーション閾値を超える場合にのみ、前記レジストレーション情報を生成してもよい。

【0010】

さらに、一実施形態において、前記高周波成分割付部は、前記ｎ２階層分解画像を、分解階数がｎ２よりも１小さいｎ３階層の各周波数成分画像内で高周波成分画像と低周波成分画像に分類し、前記低周波成分画像内で前記類似ブロックと同じ空間位相位置のブロックを比較ブロックとして特定し、前記ｎ３階層の各周波数成分画像内で、前記割付ブロックの画素値と前記比較ブロックの画素値との差分が第１割付閾値を超える場合に、該割付ブロックを割り付けてもよい。

【0011】

さらに、一実施形態において、前記高周波成分割付部は、前記ｎ２階層分解画像を、分解階数がｎ２よりも１小さいｎ３階層の各周波数成分画像内で高周波成分画像と低周波成分画像に分類し、前記低周波成分画像内で前記類似ブロックと同じ空間位相位置のブロックを比較ブロックとして特定し、前記類似ブロックの画素値と前記比較ブロックの画素値との差分が第２割付閾値を超える場合に、前記ｎ３階層において該比較ブロックと同一の周波数成分画像内の前記割付ブロックを割り付けてもよい。

【0012】

さらに、一実施形態において、前記参照フレームに対して幾何変換を行い、幾何変換後の参照フレームを１以上生成する幾何変換部を更に備え、前記画像処理部は、前記幾何変換後の参照フレームに対して画像処理を行ってもよい。

【0013】

さらに、一実施形態において、前記参照フレームは、前記符号化対象フレームの時間的に前に位置する１以上のフレーム、又は前記符号化対象フレームの時間的に後に位置する１以上のフレームを更に含んでもよい。

【0014】

また、一実施形態係るプログラムは、コンピュータを、上記符号化装置として機能させる。

【発明の効果】

【0015】

本発明によれば、画像の符号化効率を向上させることが可能となる。

【図面の簡単な説明】

【0016】

【図1】一実施形態に係る符号化装置の構成例を示すブロック図である。

【図2】一実施形態に係る符号化装置における画像処理部の構成例を示すブロック図である。

【図3】一実施形態に係る符号化装置における鮮鋭化画像生成部の構成例を示すブロック図である。

【図4】一実施形態に係る符号化装置におけるレジストレーション処理の一例を説明する図である。

【図5】一実施形態に係る符号化装置における割り付け処理の一例を説明する図である。

【図6】一実施形態に係る符号化装置における割り付けの確度判定の第１の例を示す図である。

【図7】一実施形態に係る符号化装置における割り付けの確度判定の第２の例を示す図である。

【図8】一実施形態に係る符号化装置におけるぼやけ画像生成部の構成例を示すブロック図である。

【図9】一実施形態に係る符号化装置における高周波成分抑制処理の一例を説明する図である。

【図10】一実施形態に係る符号化装置における画像処理部の変形例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、一実施形態について、図面を参照して詳細に説明する。

【0018】

図１は、一実施形態に係る符号化装置の構成例を示すブロック図である。図１に示す符号化装置１は、画像処理部１０と、ブロック分割部１１と、減算部１２と、変換部１３と、ビジュアルアクティビティ算出部１４と、ＱＰ決定部１５と、量子化部１６と、逆量子化部１７と、逆変換部１８と、加算部１９と、画面内予測部２０と、フレームメモリ２１と、画面間予測部２２と、切替部２３と、エントロピー符号化部２４と、を備える。

【0019】

ブロック分割部１１は、入力画像（原画像）を分割した分割ブロックを符号ユニット（ＣＵ：Coding Unit）として生成し、減算部１２、ビジュアルアクティビティ算出部１４、及び画面間予測部２２に出力する。

【0020】

減算部１２は、ブロック分割部１１から入力した符号化ユニットの各画素値から、後述する画面内予測部２０又は画面間予測部２２から入力した予測ユニットの各画素値を減算して、符号化ユニットと予測ユニットと画素値の差分を示す残差信号を生成し、変換部１３に出力する。

【0021】

変換部１３は、減算部１２から入力した残差信号を更に変換ユニット（ＴＵ：Transform Unit）に分割して、ＴＵごとに直交変換などの変換処理を行って変換係数を算出し、量子化部１６に出力する。

【0022】

ビジュアルアクティビティ算出部１４は、ブロック分割部１１から入力した符号化ユニットのビジュアルアクティビティを算出し、ＱＰ決定部１５に出力する。符号化ユニットが高い周波数成分を多く含む場合にはビジュアルアクティビティは大きくなり、符号ユニットが高い周波数成分を多く含まない場合にはビジュアルアクティビティは小さくなる。

【0023】

ＱＰ決定部１５は、ビジュアルアクティビティ算出部１４から入力したビジュアルアクティビティに基づいて量子化パラメータ（ＱＰ値）を決定し、量子化部１６に出力する。

【0024】

量子化部１６は、変換部１３から入力した変換係数を、ＱＰ決定部１５から入力したＱＰ値に対応する量子化ステップで除算して量子化することにより量子化係数を生成し、逆量子化部１７及びエントロピー符号化部２４に出力する。

【0025】

逆量子化部１７は、量子化部１６から入力した量子化係数に対して、量子化ステップを乗ずることにより変換係数を復元し、逆変換部１８に出力する。

【0026】

逆変換部１８は、逆量子化部１７から入力した変換係数に対して、逆変換処理（変換部１３で行った変換を元に戻す処理）を行って残差信号を復元し、加算部１９に出力する。例えば、変換部１３が離散コサイン変換を行った場合には、逆変換部１８は逆離散コサイン変換を行う。

【0027】

加算部１９は、逆変換部１８から入力した残差信号と、切替部２３から入力した予測ユニットとを加算して復号済ユニットを生成し、フレームメモリ２１及び画面内予測部２０に出力する。

【0028】

逆量子化部１７、逆変換部１８、及び加算部１９により、局所復号部を構成し、局所復号（ローカルデコード）処理を行う。すなわち、局所復号部は、量子化係数に対して量子化ステップを乗じて変換係数を復元し、該変換係数に対して逆変換処理を行って残差信号を復元し、該残差信号と予測ユニットとを加算して復号済ユニットを生成する。

【0029】

画面内予測部２０は、加算部１９から入力した復号済ユニットを参照して、予測ユニット（ＰＵ：Prediction Unit）ごとに画面内予測（イントラ予測）を行って画面内予測画像を生成し、切替部２３に出力する。

【0030】

フレームメモリ２１は、加算部１９から入力した復号済ユニットを、フレーム単位で記憶する。すなわち、フレームメモリ２１は、原画像を量子化した後に局所復号したフレームを記憶する。

【0031】

画像処理部１０は、フレームメモリ２１から参照フレームを取得し、参照フレームに対して画像処理を行って、周波数成分を変化させたフィルタ処理フレームを１以上生成し、画面間予測部２２に出力する。画像処理部１０は、参照フレームの高周波成分をぼかす処理又は鮮鋭化する処理を行い、フィルタ処理フレームを生成してもよい。画像処理部１０の詳細については後述する。

【0032】

画面間予測部２２は、ブロック分割部１１から入力した符号化ユニットを予測ユニットに分割する。そして、画面間予測部２２は、参照フレームに加えて、画像処理部１０から入力した１以上のフィルタ処理フレームを参照して、予測ユニットごとにブロックマッチングなどの手法により動きベクトルを生成する。画面間予測部２２は、ＲＤ最適化等により最も符号化効率がよい動きベクトルを採用してもよい。画面間予測部２２は、予測ユニットごとに動きベクトルに基づいて動き補償予測を行って、符号化対象フレームに対する画面間予測画像を生成し、切替部２３に出力する。従来の符号化装置では参照フレームを参照して画面間予測を行うところ、符号化装置１では参照フレームに加えてフィルタ処理フレームを参照して画面間予測を行う点が相違する。

【0033】

切替部２３は、画面内予測部２０から入力された画面内予測画像と、画面間予測部２２から入力された画面間予測画像とを切替えて予測画像とし、減算部１２及び加算部１９に出力する。

【0034】

エントロピー符号化部２４は、量子化部１６から入力された量子化係数、画面内予測部２０から入力された予測モード情報、画面間予測部２２から入力された動きベクトル情報などに対してエントロピー符号化を行い、データ圧縮を行ってビットストリームを生成し、符号化装置１の外部に出力する。エントロピー符号化は、０次指数ゴロム符号やコンテキスト適応型２値算術符号（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）など、任意のエントロピー符号化方式を用いることができる。

【0035】

＜画像処理部＞
次に、画像処理部１０の処理について説明する。図２は、画像処理部１０の構成例を示すブロック図である。図２に示す画像処理部１０は、多重解像度分解部３０と、鮮鋭化画像生成部４０と、ぼやけ画像生成部５０と、を備える。

【0036】

画像処理部１０は、フレームメモリ２１から、局所復号部（逆量子化部１７、逆変換部１８、及び加算部１９）により局所復号された参照フレームを入力（取得）する。参照フレームとは、画面間予測部２２において画面間予測処理を行う際に参照されるフレームである。参照フレームは、Ｈ.２６５／ＨＥＶＣ、Ｈ.２６６／ＶＶＣなどの符号化方式で規定されている。符号化対象フレームがＰピクチャ（Predictive Picture）である場合には、参照フレームは１枚であり、符号化対象フレームがＢピクチャ（Bidirectionally Predictive Picture）である場合には、参照フレームは２枚である。画像処理部１０は、フレームメモリ２１から、さらに符号化対象フレームの前フレーム又は／及び後フレームを入力（取得）してもよい。前フレームは符号化対象フレームの時間的に前に位置する１以上のフレームを意味し、後フレームは符号化対象フレームの時間的に後に位置する１以上のフレームを意味する。以下に説明する実施形態では、画像処理部１０は、参照フレームのみを入力するものとして説明する。

【0037】

多重解像度分解部３０は、フレームメモリ２１から入力した参照フレームに対して多重解像度分解を行って、分解階数をｎ１とするｎ１階層分解画像、及び分解階数をｎ１よりも大きいｎ２とするｎ２階層分解画像を生成する。そして、多重解像度分解部３０は、ｎ１階層分解画像及びｎ２階層分解画像を鮮鋭化画像生成部４０に出力し、ｎ１階層分解画像をぼやけ画像生成部５０出力する。

【0038】

多重解像度分解部３０は、ウェーブレットパケット分解により多重解像度分解を行ってもよい。ウェーブレットパケット分解を行うことにより、各周波数成分画像の位相情報を同じサイズとして扱うことができる。本実施形態では、多重解像度分解部３０は、分解階数ｎ１＝１，ｎ２＝２としてウェーブレットパケット分解を行うものとする。多重解像度分解部３０は、分解階数ｎ１，ｎ２の情報を外部から取得してもよい。

【0039】

鮮鋭化画像生成部４０は、多重解像度分解部３０からｎ１階層分解画像及びｎ２階層分解画像を入力する。そして、鮮鋭化画像生成部４０は、ｎ１階層分解画像の高周波帯域に、ｎ２階層分解画像の高周波帯域を割り付けた後、多重解像度再構成を行うことで、参照フレームを鮮鋭化したフィルタ処理フレーム（鮮鋭化参照フレーム）を生成する。鮮鋭化画像生成部４０は、生成した鮮鋭化参照フレームを画面間予測部２２に出力する。

【0040】

ぼやけ画像生成部５０は、多重解像度分解部３０からｎ１階層分解画像を入力する。そして、ぼやけ画像生成部５０は、ｎ１階層分解画像の高周波帯域を抑制した後、多重解像度再構成を行うことで、参照フレームをぼかしたフィルタ処理フレーム（ぼやけ参照フレーム）を生成する。ぼやけ画像生成部５０は、生成したぼやけ参照フレームを画面間予測部２２に出力する。

【0041】

＜＜鮮鋭化画像生成部＞＞
次に、鮮鋭化画像生成部４０の詳細について説明する。図３は、鮮鋭化画像生成部４０の構成例を示すブロック図である。図３に示す鮮鋭化画像生成部４０は、レジストレーション部４１と、高周波成分割付部４２と、鮮鋭化再構成部４３と、を備える。

【0042】

レジストレーション部４１は、ｎ１階層分解画像の最低周波数成分画像を所定のサイズ（例えば、８×８画素）の分割ブロックに分割する。そして、ｎ１階層分解画像の最低周波数成分画像内の分割ブロックごとに、ｎ２階層分解画像の最低周波数成分画像内で分割ブロックと最も類似度（相関性）が高い類似ブロックをブロックマッチングにより決定する。そして、レジストレーション部４１は、類似ブロックの位置を示すレジストレーション情報を生成し、高周波成分割付部４２に出力する。

【0043】

図４を参照して、レジストレーション部４１によるレジストレーション処理の具体例を説明する。この例では、多重解像度分解部３０は、第１参照フレームに対して分解階数１のウェーブレットパケット分解を行って１階層分解画像Ｆ１を生成し、第２参照フレームに対して分解階数２のウェーブレットパケット分解を行って２階層分解画像Ｆ２を生成している。第１参照フレームと第２参照フレームは、同一フレームであってもよい。第２参照フレームを分解階数ｎ２＝２で多重解像度分解することにより、１階層分割画像として、４個の周波数成分画像（ＬＬ，ＨＬ，ＬＨ，ＨＨ）が生成される。また、２階層分解画像Ｆ２として、１６個の周波数成分画像（ＬＬＬＬ，ＬＬＬＨ，ＬＬＨＬ，ＬＬＨＨ，ＨＬＬＬ，ＨＬＬＨ，ＨＬＨＬ，ＨＬＨＨ，ＬＨＬＬ，ＬＨＬＨ，ＬＨＨＬ，ＬＨＨＨ，ＨＨＬＬ，ＨＨＬＨ，ＨＨＨＬ，ＨＨＨＨ）が生成される。

【0044】

レジストレーション部４１は、１階層分解画像Ｆ１の最低周波数成分画像ＬＬの各分割ブロックＢについて、２階層分解画像Ｆ２の最低周波数成分画像ＬＬＬＬとレジストレーション（位置合わせ）を行い、最低周波数成分画像ＬＬＬＬ内で分割ブロックＢと最も類似度（相関性）が高い類似ブロックＳを決定する。

【0045】

レジストレーション部４１は、レジストレーションの確度判定を行い、確度が高い場合にのみレジストレーション情報を生成するようにしてもよい。

【0046】

レジストレーション部４１が確度判定を行う場合の処理について説明する。例えば、レジストレーション部４１は、分割ブロックＢの画素値と、類似ブロックＳの画素値との差分がレジストレーション閾値を超える場合にのみ、レジストレーションの確度が高いと判定してレジストレーション情報を生成する。すなわち、該差分がレジストレーション閾値以下である場合には、レジストレーションの確度が低いと判定してレジストレーション情報を生成しない。レジストレーション部４１は、画素値の差分として、ＳＡＤ（Sum of Absolute Difference）又はＳＳＤ（Sum of Squared Difference）を算出してもよい。

【0047】

高周波成分割付部４２は、レジストレーション部４１から入力したレジストレーション情報に従って、類似ブロックＳの位置を特定する。そして、高周波成分割付部４２は、ｎ２階層分解画像Ｆ２の各周波数成分画像内で、類似ブロックＳと同じ空間位相位置のブロックを割付ブロックＡとして特定する。そして、高周波成分割付部４２は、割付ブロックＡを、ｎ１階層分解画像Ｆ１の高周波成分内における分割ブロックＢと同じ空間位相位置に割り付けた高周波成分割付画像を生成する。そして、高周波成分割付部４２は、高周波成分割付画像を鮮鋭化再構成部４３に出力する。

【0048】

図５を参照して、高周波成分割付部４２による割り付け処理について具体的に説明する。ここでは図４と同様に、ｎ１＝１であり、ｎ２＝２である。高周波成分割付部４２は、レジストレーション情報に従って、２階層分解画像Ｆ２の最低周波数成分画像ＬＬＬＬ内における類似ブロックＳの位置を特定する。図５ではこの位置合わせを、破線の矢印で示している。

【0049】

高周波成分割付部４２は、２階層分解画像Ｆ２のうち、分解階数ｎ２－１＝１の各周波数成分画像における高周波成分画像（ＬＬＨＬ，ＬＬＬＨ，ＬＬＨＨ，ＨＬＨＬ，ＨＬＬＨ，ＨＬＨＨ，ＬＨＨＬ，ＬＨＬＨ，ＬＨＨＨ，ＨＨＨＬ，ＨＨＬＨ，ＨＨＨＨ）内で、類似ブロックＳと同じ空間位相位置のブロックを割付ブロックＡとして特定する。図５では説明の便宜上、高周波成分画像ＬＬＨＬ、ＨＬＨＬ，ＬＨＨＬ，ＨＨＨＬについてのみ割付ブロックＡを示している。そして、高周波成分割付部４２は、２階層分解画像Ｆ２のうち、分解階数１の各周波数成分画像における水平低周波・垂直高周波成分画像（ＬＬＨＬ，ＨＬＨＬ，ＬＨＨＬ，ＨＨＨＬ）内の割付ブロックＡを、１階層分解画像Ｆ１の水平低周波・垂直高周波成分画像（ＨＬ）内において分割ブロックＢと同じ空間位相位置に割り付ける。図５ではこの割り付けを、実線の４本の矢印で示している。

【0050】

同様に、高周波成分割付部４２は、２階層分解画像Ｆ２のうち、分解階数１の各周波数成分画像における水平高周波・垂直低周波成分画像（ＬＬＬＨ，ＨＬＬＨ，ＬＨＬＨ，ＨＨＬＨ）内の割付ブロックＡを、１階層分解画像Ｆ１の水平高周波・垂直低周波成分画像（ＬＨ）内において分割ブロックＢと同じ空間位相位置に割り付ける。同様に、高周波成分割付部４２は、２階層分解画像Ｆ２のうち、分解階数１の各周波数成分画像における水平高周波・垂直高周波成分画像（ＬＬＨＨ，ＨＬＨＨ，ＬＨＨＨ，ＨＨＨＨ）内の割付ブロックＡを、１階層分解画像Ｆ１の水平高周波・垂直高周波成分画像（ＨＨ）内において分割ブロックＢと同じ空間位相位置に割り付ける。

【0051】

高周波成分割付部４２は、割り付けの確度判定を行い、確度が高い場合にのみ割り付けを行うようにしてもよい。

【0052】

高周波成分割付部４２が確度判定を行う場合の処理について説明する。高周波成分割付部４２は、ｎ２階層分解画像を分解階数がｎ２よりも１小さい階層における高周波成分画像と低周波成分画像に分類し、低周波成分画像内で類似ブロックと同じ空間位相位置のブロックを比較ブロックとして特定し、高周波成分画像内の割付ブロックの画素値と、低周波成分画像内の比較ブロックとの差分が第１割付閾値を超える場合にのみ、割り付けの確度が高いと判定して割付ブロックを割り付ける。すなわち、該差分が第１割付閾値を超える場合には、割り付けの確度が低いと判定して割付ブロックを割り付けない。この比較は、分解階数がｎ２よりも１小さい階層における分解画像ごとに行ってもよい。高周波成分割付部４２は、画素値の差分として、ＳＡＤ又はＳＳＤを算出してもよい。

【0053】

図６を参照して、割り付けの確度判定の第１の例を説明する。ここでは図４及び図５と同様に、ｎ１＝１であり、ｎ２＝２である。高周波成分割付部４２は、２階層分解画像Ｆ２を、分解階数がｎ２よりも１小さいｎ３階層の各周波数成分画像における高周波成分画像（図６では背景を濃く表示）と低周波成分画像（図６では背景を薄く表示）に分類し、各低周波成分画像内で類似ブロックＳと同じ空間位相位置のブロックを比較ブロックＣとして特定する。そして、高周波成分割付部４２は、ｎ３階層の各周波数成分画像（ＨＬ，ＬＨ，ＨＨ）内で、割付ブロックＡの画素値と比較ブロックＣの画素値との差分を求め、該差分が第１割付閾値Ｔ１を超える場合に、該割付ブロックＡを割り付ける。なお、周波数成分画像ＬＬには比較ブロックＣが存在しないため、この確度判定は行われない。

【0054】

図７を参照して、割り付けの確度判定の第２の例を説明する。ここでは図４から図６と同様に、ｎ１＝１であり、ｎ２＝２である。高周波成分割付部４２は、第１の例と同様に比較ブロックＣを特定する。そして、高周波成分割付部４２は、類似ブロックＳの画素値と比較ブロックＣの画素値との差分を求め、該差分が第２割付閾値Ｔ２を超える場合に、ｎ３階層において該比較ブロックＣと同一の周波数成分画像内の割付ブロックＡを割り付ける。例えば、１階層分解画像ＨＬにおいて、該差分が第２割付閾値Ｔ２を超える場合には、１階層分解画像ＨＬ内の３つの割付ブロックＡを割り付ける。なお、周波数成分画像ＬＬには比較ブロックＣが存在しないため、この確度判定は行われない。また、高周波成分割付部４２は、確度判定の第１の例及び第２の例を組み合わせ、双方の条件を満たす場合に割付ブロックＡを割り付けるようにしてもよい。

【0055】

鮮鋭化再構成部４３は、高周波成分割付部４２から入力した高周波成分割付画像に対して多重解像度再構成を行って、参照フレームの高周波成分を鮮鋭化したフィルタ処理フレーム（鮮鋭化参照フレーム）を生成する。鮮鋭化再構成部４３は、例えば、ｎ１階層分解画像が参照フレームに対して分解階数ｎ１のウェーブレットパケット分解により生成された画像である場合には、高周波成分割付画像に対して分解階数ｎ１のウェーブレットパケット再構成を行う。

【0056】

＜＜ぼやけ画像生成部＞＞
次に、ぼやけ画像生成部５０の詳細について説明する。図８は、ぼやけ画像生成部５０の構成例を示すブロック図である。図８に示すぼやけ画像生成部５０は、高周波成分抑制部５１と、ぼやけ再構成部５２と、を備える。

【0057】

高周波成分抑制部５１は、多重解像度分解部３０から入力したｎ１階層分解画像の高周波成分を抑制した高周波成分抑制画像を生成し、ぼやけ再構成部５２に出力する。

【0058】

図９は、高周波成分抑制部５１による高周波成分抑制処理の一例を示す図である。高周波成分抑制部５１は、ｎ１階層分解画像の高周波成分画像（ＨＬ，ＬＨ，ＨＨ）の画素値にぼやけ係数γを乗算して高周波成分抑制画像を生成する。ぼやけ係数γは１より小さい値であり、例えはγ＝０．９とする。高周波成分抑制部５１は、ぼやけ係数γの情報を外部から取得してもよい。

【0059】

ぼやけ再構成部５２は、高周波成分抑制部５１から入力した高周波成分抑制画像に対して多重解像度再構成を行って、参照フレームの高周波成分をぼかしたフィルタ処理フレーム（ぼやけ参照フレーム）を生成する。ぼやけ再構成部５２は、例えば、ｎ１階層分解画像が参照フレームに対して分解階数ｎ１のウェーブレットパケット分解により生成された画像である場合には、高周波成分抑制画像に対して分解階数ｎ１のウェーブレットパケット再構成を行う。

【0060】

＜＜鮮鋭化画像生成部の変形例＞＞
次に、鮮鋭化画像生成部４０の変形例について説明する。鮮鋭化画像生成部４０は、ぼやけ画像生成部５０と同様に係数を乗算することにより、高周波成分を増加させてもよい。つまり、鮮鋭化画像生成部４０は、変形例では、ｎ１階層分解画像の高周波成分画像（ＨＬ，ＬＨ，ＨＨ）の画素値に鮮鋭化係数γ’を乗算して高周波成分増加画像を生成する。鮮鋭化係数γ’は１より大きい値であり、例えはγ’＝１．１とする。鮮鋭化画像生成部４０は、鮮鋭化係数γ’の情報を外部から取得してもよい。そして、鮮鋭化画像生成部４０は、高周波成分増加画像に対して多重解像度再構成を行って、参照フレームの高周波成分を鮮鋭化したフィルタ処理フレーム（鮮鋭化参照フレーム）を生成する。

【0061】

＜画像処理部の変形例＞
次に、画像処理部１０の変形例について説明する。図１０は、画像処理部１０の変形例である画像処理部１０ａの構成例を示すブロック図である。画像処理部１０ａは、幾何変換部６０と、多重解像度分解部３０と、鮮鋭化画像生成部４０と、ぼやけ画像生成部５０と、を備える。画像処理部１０ａは、画像処理部１０と比較して、幾何変換部６０を更に備える点が相違する。

【0062】

幾何変換部６０は、フレームメモリ２１から参照フレームを入力し、参照フレームに対して幾何変換を行い、幾何変換後の参照フレームを１以上生成する。そして、幾何変換部６０は、１以上の幾何変換後の参照フレーム（幾何変換画像群）を多重解像度分解部３０に出力する。例えば、幾何変換部６０は、幾何変換としてアフィン変換を行う。幾何変換パラメータは拡大・縮小ａ＝｛０．９，１．０，１．１｝、回転θ＝｛１／１６π，０，－１／１６π｝、スキューなし、とする。このアフィン変換を行った場合には、各参照フレームに対して９枚の幾何変換画像群が生成される。

【0063】

多重解像度分解部３０は、幾何変換後の参照フレームに対して多重解像度分解を行う。その他の処理は画像処理部１０と同じであるため、説明を省略する。

【0064】

＜プログラム＞
上述した符号化装置１として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0065】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。

【0066】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0067】

以上説明したように、本発明では、フレームメモリ２１から取得した参照フレームに対して画像処理を行って、周波数成分を変化させたフィルタ処理フレームを１以上生成し、フィルタ処理フレームを参照して、符号化対象フレームに対する画面間予測画像を生成する。このため、従来の符号化方法よりも画面間予測において参照するフレームが増加するため、符号化の精度が向上し、符号化効率を向上させることが可能となる。

【0068】

フィルタ処理フレームは、参照フレームの高周波成分をぼかした鮮鋭化参照フレーム、及び／又は参照フレームの高周波成分をぼかしたぼやけ参照フレームとすることが望ましい。画面間で相関性の低い画像を符号化する場合でも、鮮鋭化参照フレーム又はぼやけ参照フレームを用いることで、符号化対象フレームとの相関性が向上することが期待される。

【0069】

また、参照フレームに対して幾何変換を行った後にフィルタ処理を行ったり、符号化対象フレームの前フレーム又は後フレームに対してもフィルタ処理を行ったりすることにより、フィルタ処理フレームの枚数を増やすことができる。この場合には、画面間予測において参照するフレームの枚数がさらに増加するため、符号化効率を更に向上せることが可能となる。

【0070】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0071】

１ 符号化装置
１０，１０ａ 画像処理部
１１ ブロック分割部
１２ 減算部
１３ 変換部
１４ ビジュアルアクティビティ算出部
１５ ＱＰ決定部
１６ 量子化部
１７ 逆量子化部
１８ 逆変換部
１９ 加算部
２０ 画面内予測部
２１ フレームメモリ
２２ 画面間予測部
２３ 切替部
２４ エントロピー符号化部
３０ 多重解像度分解部
４０ 鮮鋭化画像生成部
４１ レジストレーション部
４２ 高周波成分割付部
４３ 鮮鋭化再構成部
５０ ぼやけ画像生成部
５１ 高周波成分抑制部
５２ ぼやけ再構成部
６０ 幾何変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】