特許 7100981 画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-06

(45)【発行日】2022-07-14

(54)【発明の名称】画像処理装置及びプログラム

(51)【国際特許分類】

   G06T 5/10 20060101AFI20220707BHJP

   G06T 3/40 20060101ALI20220707BHJP

   G06T 5/00 20060101ALI20220707BHJP

【ＦＩ】

G06T5/10

G06T3/40 735

G06T5/00 705

【請求項の数】 10

(21)【出願番号】P 2018008178

(22)【出願日】2018-01-22

(65)【公開番号】P2019128651

(43)【公開日】2019-08-01

【審査請求日】2020-12-01

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】神田 菊文

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２００２－３５４４８０（ＪＰ，Ａ）

【文献】特開２０１５－２０３９５２（ＪＰ，Ａ）

【文献】特開２０１４－２３０１４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／１０

Ｇ０６Ｔ ３／４０

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

画像データを周波数分解することで得た第１の周波数帯域成分に対して、該画像データ内の各ブロックを位置合わせし、更に該第１の周波数帯域成分よりも高い第２の周波数帯域成分に割り付けることで生成される特定の画像データを取得する取得手段と、
前記特定の画像データの前記第２の周波数帯域成分を解析することで生成されるケプストラムの各ピークのうち、幅が所定サイズとなるピーク群のレベルを算出する算出手段と、
前記特定の画像データの前記第２の周波数帯域成分の各ピークのうち、算出した前記レベルに応じて、幅が所定サイズとなるピーク群の要素値を減算する減算手段と
を有することを特徴とする画像処理装置。

【請求項2】

前記特定の画像データの前記第２の周波数帯域成分を１次元の信号とみなして周波数変換して得たパワースペクトルについて、対数処理を行い、逆変換することで、前記ケプストラムを生成する解析手段を更に有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記算出手段は、生起確率を正規分布とした際の標準偏差における振幅を閾値として、前記ケプストラムの各ピークを抽出し、抽出した各ピークのうち、幅が前記ブロックのサイズとなるピーク群のレベルを算出することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記減算手段は、前記特定の画像データの前記第２の周波数帯域成分のうち、生起確率を正規分布とした際の標準偏差における振幅を閾値として各ピークを抽出し、抽出した各ピークのうち、算出した前記レベルに応じて、幅が前記ブロックのサイズとなるピーク群の要素値を減算することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記取得手段は、更に、前記特定の画像データを周波数分解することで、前記第１の周波数帯域成分と前記第２の周波数帯域成分とを生成し、
前記解析手段は、前記取得手段により生成された前記第２の周波数帯域成分に基づいて前記ケプストラムを生成することを特徴とする請求項２に記載の画像処理装置。

【請求項6】

前記取得手段は、周波数分解として、ウェーブレットパケット分解を行うことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記減算手段により要素値が減算された前記第２の周波数帯域成分を含む周波数帯域成分を再構成し、特定の画像データを出力する再構成手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記算出手段は、更に、前記特定の画像データの前記第１の周波数帯域成分を解析することで生成されるケプストラムの各ピークのうち、幅が所定サイズとなるピーク群のレベルを算出し、
前記減算手段は、更に、前記特定の画像データの前記第１の周波数帯域成分の各ピークのうち、算出した前記レベルに応じて、幅が所定サイズとなるピーク群の要素値を減算することを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記取得手段により取得される前記特定の画像データは、超解像画像データであることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

画像データを周波数分解することで得た第１の周波数帯域成分に対して、該画像データ内の各ブロックを位置合わせし、更に該第１の周波数帯域成分よりも高い第２の周波数帯域成分に割り付けることで生成される特定の画像データを取得する取得工程と、
前記特定の画像データの前記第２の周波数帯域成分を解析することで生成されるケプストラムの各ピークのうち、幅が所定サイズとなるピーク群のレベルを算出する算出工程と、
前記特定の画像データの前記第２の周波数帯域成分の各ピークのうち、算出した前記レベルに応じて、幅が所定サイズとなるピーク群の要素値を減算する減算工程と
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及びプログラムに関する。

【背景技術】

【0002】

従来は、動画像データや静止画像データ等の被超解像画像データを、高解像度化して出力する超解像処理が知られている。例えば、下記特許文献１には、被超解像画像データを周波数分解することで得た低周波帯域成分に対して、被超解像画像データ内の各ブロックを位置合わせし、更に高周波帯域成分に割り付けることで、超解像画像データを生成する超解像処理が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２０３９５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記超解像画像データのように、周波数帯域成分におけるブロックの位置合わせと割り付けとを行うことにより生成される特定の画像データの場合、周波数帯域成分の空間不連続性に起因して、割り付けたブロックの境界が歪むといった問題がある。このため、生成される特定の画像データにはブロック歪状のアーチファクトが含まれることとなり、主観画質の低下が不可避となる。

【0005】

一つの側面では、特定の画像データに含まれるブロック歪状のアーチファクトを低減させることを目的としている。

【課題を解決するための手段】

【0006】

一態様によれば、画像処理装置は、
画像データを周波数分解することで得た第１の周波数帯域成分に対して、該画像データ内の各ブロックを位置合わせし、更に該第１の周波数帯域成分よりも高い第２の周波数帯域成分に割り付けることで生成される特定の画像データを取得する取得手段と、
前記特定の画像データの前記第２の周波数帯域成分を解析することで生成されるケプストラムの各ピークのうち、幅が所定サイズとなるピーク群のレベルを算出する算出手段と、
前記特定の画像データの前記第２の周波数帯域成分の各ピークのうち、算出した前記レベルに応じて、幅が所定サイズとなるピーク群の要素値を減算する減算手段とを有することを特徴とする。

【発明の効果】

【0007】

特定の画像データに含まれるブロック歪状のアーチファクトを低減させることができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る画像処理装置の適用例を示す図である。

【図2】第１の実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。

【図3】超解像処理の概要を示す図である。

【図4】アーチファクト低減部の機能構成の一例を示す図である。

【図5】周波数分解部による処理の具体例を示す図である。

【図6】ケプストラム解析部による処理の具体例を示す図である。

【図7】ピークレベル解析部による処理の具体例を示す図である。

【図8】ピークレベル減衰部による処理の具体例を示す図である。

【図9】再構成部による処理の具体例を示す図である。

【図10】アーチファクト低減処理の流れを示すフローチャートである。

【図11】ケプストラム解析処理の流れを示すフローチャートである。

【図12】ピークレベル減衰処理の流れを示すフローチャートである。

【図13】アーチファクト低減処理の効果を示す図である。

【発明を実施するための形態】

【0009】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0010】

［第１の実施形態］
＜画像処理装置の適用例＞
はじめに、第１の実施形態に係る画像処理装置の適用例について説明する。図１は、第１の実施形態に係る画像処理装置の適用例を示す図である。

【0011】

図１に示すように、画像処理装置１００には、超解像処理プログラムと、アーチファクト低減プログラムとがインストールされている。画像処理装置１００は、当該プログラムを実行することで、超解像処理部１１０、アーチファクト低減部１２０として機能する。これにより、画像処理装置１００では、入力される画像データ（動画像データや静止画像データ等の被超解像画像データ）を、アーチファクト低減処理済みの超解像画像データとして出力することができる。

【0012】

超解像処理部１１０は、入力される画像データについて、周波数帯域成分におけるブロックの位置合わせと割り付けとを行うことで、超解像画像データを生成する超解像処理を実行する。また、超解像処理部１１０は、生成した超解像画像データをアーチファクト低減部１２０に送信する。

【0013】

アーチファクト低減部１２０は、超解像処理部１１０より送信された超解像画像データに対して、ブロック歪状のアーチファクトを低減させるアーチファクト低減処理を実行し、アーチファクト低減処理済みの超解像画像データを出力する。

【0014】

なお、図１の適用例では、超解像処理部１１０とアーチファクト低減部１２０とを一体の画像処理装置１００において実現する場合について示したが、超解像処理部１１０とアーチファクト低減部１２０とはそれぞれ別体の画像処理装置において実現してもよい。

【0015】

また、図１の適用例では、画像処理装置１００を単体の装置として示したが、画像処理装置１００は、他の装置（例えば、撮像装置、データ蓄積装置、画像配信装置等）の一部として実現してもよい。

【0016】

＜画像処理装置のハードウェア構成＞
次に、画像処理装置１００のハードウェア構成について説明する。図２は、第１の実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。

【0017】

図２に示すように、画像処理装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。また、画像処理装置１００は、補助記憶装置２０４、操作装置２０５、表示装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、画像処理装置１００の各ハードウェアは、バス２０９を介して相互に接続されている。

【0018】

ＣＰＵ２０１は、補助記憶装置２０４にインストールされた各種プログラム（例えば、超解像処理プログラム、アーチファクト低減プログラム等）を実行する。

【0019】

ＲＯＭ２０２は、不揮発性メモリであり、主記憶装置として機能する。ＲＯＭ２０２は、補助記憶装置２０４にインストールされた各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

【0020】

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ２０３は、補助記憶装置２０４にインストールされた各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域を提供する。

【0021】

補助記憶装置２０４は、各種プログラムや、各種プログラムがＣＰＵ２０１によって実行される際に用いられる情報等を格納する。

【0022】

操作装置２０５は、画像処理装置１００の管理者が画像処理装置１００に対して各種指示を入力する際に用いる入力デバイスである。表示装置２０６は、画像処理装置１００の内部情報を表示する表示デバイスである。

【0023】

Ｉ／Ｆ装置２０７は、入力される画像データ（動画像データや静止画像データ等の被超解像画像データ）を生成する外部の装置またはアーチファクト低減処理済みの超解像画像データの送信先となる外部の装置と接続され、当該装置と通信する接続デバイスである。

【0024】

ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0025】

なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。

【0026】

また、入力される画像データ（動画像データや静止画像データ等の被超解像画像データ）は、記録媒体２１０に記録しておき、ドライブ装置２０８を介して読み出すようにしてもよい。

【0027】

＜超解像処理の概要＞
次に、画像処理装置１００の超解像処理部１１０による超解像処理の概要について説明する。図３は、超解像処理の概要を示す図である。

【0028】

図３に示すように、超解像処理部１１０では、まず、入力される画像データ（動画像データや静止画像データ等の被超解像画像データ）３１０に対して、デシメーションありの条件のもと、所定の周波数分解パラメータを用いてウェーブレットパケット分解を行う。これにより、超解像処理部１１０では、周波数帯域成分３２０を生成する。なお、周波数帯域成分３２０には、空間低周波帯域成分（ＬＬ）、水平高周波帯域成分（ＬＨ）、垂直高周波帯域成分（ＨＬ）、対角高周波帯域成分（ＨＨ）が含まれ、それぞれ、被超解像画像データ３１０に対して、縦・横１／２のサイズを有する。

【0029】

続いて超解像処理部１１０では、被超解像画像データ３１０と、周波数帯域成分３２０の空間低周波帯域成分（ＬＬ）との間で、ブロックマッチングを行う。これにより、超解像処理部１１０では、被超解像画像データ３１０内の各ブロック（例えば、ブロックＱ）について、空間低周波帯域成分（ＬＬ）内で位置合わせを行うことできる（例えば、ブロックＰ）。なお、ブロックマッチングを行う際のブロックＱのブロックサイズとしては、例えば、４画素×４画素、６画素×６画素、８画素×８画素等が挙げられる。

【0030】

続いて超解像処理部１１０では、被超解像画像データ３１０に対して、デシメーションなしの条件のもと、所定の周波数分解パラメータを用いてウェーブレットパケット分解を行い、周波数帯域成分３３０を生成する。なお、周波数帯域成分３３０には、空間低周波帯域成分（ＬＬ）、水平高周波帯域成分（ＬＨ）、垂直高周波帯域成分（ＨＬ）、対角高周波帯域成分（ＨＨ）が含まれ、それぞれ、被超解像画像データ３１０と同じサイズを有する。

【0031】

続いて超解像処理部１１０では、周波数帯域成分３２０の空間低周波帯域成分（ＬＬ）を、周波数帯域成分３３０の空間低周波帯域成分（ＬＬ）に割り付ける。同様に、超解像処理部１１０では、周波数帯域成分３２０の高周波帯域成分（水平高周波帯域成分（ＬＨ）、垂直高周波帯域成分（ＨＬ）、対角高周波帯域成分（ＨＨ））を、それぞれ、周波数帯域成分３３０の高周波帯域成分に割り付ける。

【0032】

ここで、割り付けに際して、超解像処理部１１０では、周波数帯域成分３２０の空間低周波帯域成分（ＬＬ）と同じ位相位置の位置合わせ結果に従うものとする。

【0033】

これは、周波数帯域成分３２０の空間低周波帯域成分（ＬＬ）のブロックＰが、被超解像画像データ３１０のブロックＱに対応している場合、
"周波数帯域成分３２０の水平高周波帯域成分（ＬＨ）、垂直高周波帯域成分（ＨＬ）、対角高周波帯域成分（ＨＨ）におけるブロックＰと同位相のブロックについても、同様に、ブロックＱに対応する可能性が高い"
からであり、更に、
・周波数帯域成分３２０の高周波帯域成分（水平高周波帯域成分（ＬＨ）、垂直高周波帯域成分（ＨＬ）、対角高周波帯域成分（ＨＨ））と、
・周波数帯域成分３３０の高周波帯域成分（水平高周波帯域成分（ＬＨ）、垂直高周波帯域成分（ＨＬ）、対角高周波帯域成分（ＨＨ））と
は、ほぼ同じである可能性が高いと推測できるからである。

【0034】

続いて超解像処理部１１０では、周波数帯域成分３３０に対して、ウェーブレットパケット再構成を行うことで、超解像画像データ３４０を生成する。

【0035】

ここで、周波数帯域成分におけるブロックの位置合わせと割り付けとを行うことで生成される超解像画像データ３４０の場合、以下のような問題がある。
・超解像処理部１１０が割り付けるブロックの境界で歪みが生じる。
・このため、生成された超解像画像データ３４０には、ブロック歪状のアーチファクトが含まれる。

【0036】

そこで、上述したとおり、第１の実施形態においてアーチファクト低減部１２０では、超解像画像データ３４０に対して、ブロック歪状のアーチファクトを低減させるアーチファクト低減処理を実行する。なお、ブロック歪状のアーチファクトは、周波数帯域成分３３０に割り付けられたブロックのブロックサイズに応じた周波数成分として出現する。このため、アーチファクト低減部１２０では、超解像画像データ３４０を解析して、ブロックサイズに応じた周波数成分を減衰させるアーチファクト低減処理を実行する。

【0037】

このとき、第１の実施形態におけるアーチファクト低減部１２０では、超解像画像データ３４０を周波数分解し、ケプストラム解析を行うことで、ブロックサイズに応じた周波数成分を特定する。以下、第１の実施形態におけるアーチファクト低減部１２０の詳細について説明する。

【0038】

＜アーチファクト低減部の機能構成＞
はじめに、第１の実施形態に係る画像処理装置１００のアーチファクト低減部１２０の機能構成について説明する。図４は、アーチファクト低減部の機能構成の一例を示す図である。図４に示すように、アーチファクト低減部１２０は、周波数分解部４１０、ケプストラム解析部４２１、４３１、４４１、４５１を有する。また、アーチファクト低減部１２０は、ピークレベル解析部４２２、４３２、４４２、４５２と、ピークレベル減衰部４２３、４３３、４４３、４５３と、再構成部４６０とを有する。

【0039】

周波数分解部４１０は取得手段の一例である。周波数分解手段は、超解像処理部１１０より超解像画像データを取得する。また、周波数分解部４１０は、周波数分解パラメータに基づいて、取得した超解像画像データと、生成する周波数帯域成分とのサイズ及び位相が等しくなるように周波数分解（例えば、ウェーブレットパケット分解）を行う。更に、周波数分解部４１０は、超解像画像データを周波数分解することで生成した周波数帯域成分（水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分）を出力する。

【0040】

ケプストラム解析部４２１は解析手段の一例である。ケプストラム解析部４２１は、周波数分解部４１０より出力された水平高周波帯域成分に対して、ケプストラム解析を行い、ケプストラム解析結果を出力する。同様に、ケプストラム解析部４３１、４４１、４５１は、それぞれ、周波数分解部４１０より出力された垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分に対して、ケプストラム解析を行い、ケプストラム解析結果を出力する。

【0041】

ピークレベル解析部４２２は算出手段の一例である。ピークレベル解析部４２２は、ケプストラム解析部４２１より出力されたケプストラム解析結果の各ピークのうち、幅が超解像処理時に周波数帯域成分３３０に割り付けられたブロックのブロックサイズに応じたサイズとなるピーク群を抽出する。なお、以下では、超解像処理時に周波数帯域成分３３０に割り付けられたブロックのブロックサイズを、超解像処理時のブロックサイズと称す。また、ピークレベル解析部４２２は、抽出したピーク群のピークレベルの平均値を、ピークレベル解析結果として出力する。

【0042】

同様に、ピークレベル解析部４３２、４４２、４５２は、ケプストラム解析部４３１、４４１、４５１より出力されたケプストラム解析結果の各ピークのうち、幅が超解像処理時のブロックサイズに応じたサイズとなるピーク群を抽出する。また、ピークレベル解析部４３２、４４２、４５２は、それぞれ、抽出したピーク群のピークレベルの平均値を、ピークレベル解析結果として出力する。

【0043】

ピークレベル減衰部４２３は減算手段の一例である。ピークレベル減衰部４２３は、ピークレベル解析部４２２より出力されたピークレベル解析結果を取得する。また、ピークレベル減衰部４２３は、周波数分解部４１０より、水平高周波帯域成分を取得する。また、ピークレベル減衰部４２３は、取得した水平高周波帯域成分の各ピークうち、幅が超解像処理時のブロックサイズに応じたサイズとなるピークの要素値（振幅の絶対値）を、取得したピークレベル解析結果に応じて減算する。更に、ピークレベル減衰部４２３は、減算後の水平高周波帯域成分を出力する。

【0044】

同様に、ピークレベル減衰部４３３、４４３、４５３は、ピークレベル解析部４３２、４４２、４５２より出力されたピークレベル解析結果を取得する。また、ピークレベル減衰部４３３、４４３、４５３は、周波数分解部４１０より、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分を取得する。

【0045】

また、ピークレベル減衰部４３３、４４３、４５３は、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分の各ピークのうち、幅が超解像処理時のブロックサイズに応じたサイズとなるピークの要素値を、ピークレベル解析結果に応じて減算する。

【0046】

更に、ピークレベル減衰部４３３、４４３、４５３は、減算後の垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分を出力する。

【0047】

再構成部４６０は再構成手段の一例である。再構成部４６０は、ピークレベル減衰部４２３、４３３、４４３、４５３より出力された、水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分を取得する。また、再構成部４６０は、取得した水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分に対して、ウェーブレットパケット再構成を行うことで、アーチファクト低減処理済みの超解像画像データを出力する。

【0048】

＜アーチファクト低減部に含まれる各部の処理の具体例＞
次に、アーチファクト低減部１２０に含まれる各部の処理の具体例について説明する。

【0049】

（１）周波数分解部４１０による処理の具体例
はじめに、周波数分解部４１０による処理の具体例について説明する。図５は、周波数分解部による処理の具体例を示す図である。図５に示すように、周波数分解部４１０では、超解像処理部１１０より超解像画像データ３４０を取得すると、ウェーブレットパケット分解を行い、周波数帯域成分５２０を生成する。なお、超解像画像データ３４０のサイズと、周波数帯域成分５２０に含まれる垂直高周波帯域成分（ＨＬ）５２１、対角高周波帯域成分（ＨＨ）５２２、空間低周波帯域成分（ＬＬ）５２３、水平高周波帯域成分（ＬＨ）４２４のサイズとは、同じである。

【0050】

空間低周波帯域成分（ＬＬ）５２３は、水平方向の周波数帯域が０～１／２ｆ_ｈであり、垂直方向の周波数帯域が０～１／２ｆ_ｖである。なお、ｆ_ｈは、水平方向のナイキスト周波数を表し、ｆ_ｖは、垂直方向のナイキスト周波数を表す。

【0051】

同様に、水平高周波帯域成分（ＬＨ）５２４は、水平方向の周波数帯域が１／２ｆ_ｈ～ｆ_ｈであり、垂直方向の周波数帯域が０～１／２ｆ_ｖである。また、垂直高周波帯域成分（ＨＬ）５２１は、水平方向の周波数帯域が０～１／２ｆ_ｈであり、垂直方向の周波数帯域が１／２ｆ_ｖ～ｆ_ｖである。更に、対角高周波帯域成分（ＨＨ）５２２は、水平方向の周波数帯域が、１／２ｆ_ｈ～ｆ_ｈであり、垂直方向の周波数帯域が、１／２ｆ_ｖ～ｆ_ｖである。

【0052】

（２）ケプストラム解析部４２１による処理の具体例
次に、ケプストラム解析部による処理の具体例について説明する。なお、ケプストラム解析部４２１、４３１、４４１、４５１による処理は同様であるため、ここでは、ケプストラム解析部４２１による処理の具体例について説明する。

【0053】

図６は、ケプストラム解析部による処理の具体例を示す図である。ケプストラム解析部４２１では、水平高周波帯域成分（２次元）を１次元の信号とみなしてフーリエ変換を行い、算出したパワースペクトルについて対数処理を行う。更に、ケプストラム解析部４２１では、対数処理したパワースペクトルについて逆フーリエ変換を行うことで、ケプストラム解析結果を出力する。

【0054】

図６において、グラフ６１０は、出力したケプストラム解析結果を表したグラフであり、横軸は水平方向のＱｕｅｆｒｅｎｃｙを、縦軸は振幅を表す。同様に、グラフ６２０は、出力したケプストラム解析結果を表したグラフであり、横軸は垂直方向のＱｕｅｆｒｅｎｃｙを、縦軸は振幅を表す。

【0055】

（３）ピークレベル解析部４２２による処理の具体例
次に、ピークレベル解析部による処理の具体例について説明する。なお、ピークレベル解析部４２２、４３２、４４２、４５２による処理は同様であるため、ここでは、ピークレベル解析部４２２による処理の具体例について説明する。

【0056】

図７は、ピークレベル解析部による処理の具体例を示す図である。ピークレベル解析部４２２は、まず、グラフ６１０に示すケプストラム解析結果について、振幅の平均と標準偏差とを算出する。続いて、ピークレベル解析部４２２は、グラフ６１０に示すケプストラム解析結果について、生起確率を正規分布とした際の標準偏差σにおける振幅を閾値として、それ以上の振幅をピークとして抽出する。

【0057】

ここで、標準偏差σは、超解像処理時のブロックサイズが既知の場合には、当該ブロックサイズに応じて決定される。例えば、ブロックサイズが８画素×８画素であった場合には、ブロック境界は、およそ８画素毎に発生する可能性が高い。ここで、１／８＝０．１２５（１２．５５）であり、正規分布のσは上位約１５．８％であるため、ブロックサイズが８画素×８画素の場合、ピークレベル解析部４２２では、σを１に設定する。

【0058】

続いて、ピークレベル解析部４２２では、抽出したピークのうち、幅がブロックサイズに応じたサイズとなるピーク群を抽出し、抽出したピーク群のピークレベルの平均値をピークレベル解析結果として出力する。

【0059】

図７において、グラフ７１０は、水平方向のケプストラム解析結果の各ピークのうち、幅がブロックサイズに応じたサイズとなるピーク群として、ＰＬ－ｈ_１、ＰＬ－ｈ_２、ＰＬ－ｈ_３、ＰＬ－ｈ_４、・・・が抽出された様子を示している。また、グラフ７１０は、抽出されたピーク群のピークレベルの平均値Ａｖｇ＿１＿ｈが、ピークレベル解析結果として出力された様子を示している。

【0060】

同様に、図７において、グラフ７２０は、垂直方向のケプストラム解析結果の各ピークのうち、幅がブロックサイズに応じたサイズとなるピーク群として、ＰＬ－ｖ_１、ＰＬ－ｖ_２、ＰＬ－ｖ_３、ＰＬ－ｖ_４、・・・が抽出された様子を示している。また、グラフ７２０は、抽出されたピーク群のピークレベルの平均値Ａｖｇ＿１＿ｖが、ピークレベル解析結果として出力された様子を示している。

【0061】

（４）ピークレベル減衰部４２３の処理の具体例
次に、ピークレベル減衰部による処理の具体例について説明する。なお、ピークレベル減衰部４２３、４３３、４４３、４５３による処理は同様であるため、ここでは、ピークレベル減衰部４２３による処理の具体例について説明する。

【0062】

図８は、ピークレベル減衰部４２３が、ピークレベル解析部４２２より、ピークレベル解析結果として、Ａｖｇ＿１＿ｈ、Ａｖｇ＿１＿ｖを取得した様子を示している。ピークレベル減衰部４２３では、ピークレベル解析結果を取得すると、水平高周波帯域成分（ＬＨ）５２４において、各要素の要素値（振幅の絶対値）の平均値と標準偏差とを算出する。また、ピークレベル減衰部４２３では、水平高周波帯域成分（ＬＨ）５２４について、例えば、生起確率を正規分布とした際の標準偏差σにおける要素値（振幅の絶対値）を閾値として、それ以上の要素値（振幅の絶対値）をピークとして抽出する。

【0063】

ここで、標準偏差σは、超解像処理時のブロックサイズが既知の場合には、当該ブロックＱのブロックサイズに応じて決定される。例えば、ブロックＱのブロックサイズが８画素×８画素であった場合には、ブロック境界は、およそ８画素毎に発生する可能性が高い。ここで、１／８＝０．１２５（１２．５５）であり、正規分布のσは上位約１５．８％であるため、ブロックサイズが８画素×８画素の場合、ピークレベル減衰部４２３では、σを１に設定する。

【0064】

続いて、ピークレベル減衰部４２３では、抽出したピークのうち、幅がブロックサイズに応じたサイズとなるピーク群を抽出する。更に、ピークレベル減衰部４２３では、ピーク群の要素値（振幅の絶対値）を、ピークレベル解析結果（Ａｖｇ＿１＿ｈ、Ａｖｇ＿１＿ｖ）に応じて減算することで、プロック歪状アーチファクト成分を減衰した水平高周波帯域成分（ＬＨ）８１４を出力する。

【0065】

なお、ピークレベル減衰部４２３による、水平高周波帯域成分（ＬＨ）５２４内でのピーク群の要素値（振幅の絶対値）を減算する減算方法は任意である。例えば、ピークレベル解析結果が０になるように減算してもよいし、ピークレベル解析結果に所定の係数（例えば、０．１、０．５等）をかけ合わせた値になるように減算してもよい。あるいは、ピークレベル解析結果を、所定の減衰関数に入力することで得た値となるように減算してもよい。

【0066】

（５）再構成部４６０による処理の具体例
次に、再構成部４６０による処理の具体例について説明する。図９は、再構成部による処理の具体例を示す図である。図９に示すように、再構成部４６０は、ピークレベル減衰部４２３、４３３、４４３、４５３より出力された周波数帯域成分９１０を取得する。周波数帯域成分９１０には、空間低周波帯域成分（ＬＬ）９１３、水平高周波帯域成分（ＬＨ）８１４、垂直高周波帯域成分（ＨＬ）９１１、対角高周波帯域成分（ＨＨ）９１２が含まれる。

【0067】

再構成部４６０は、周波数帯域成分９１０に対してウェーブレットパケット再構成処理を行うことで、アーチファクト低減処理済みの超解像画像データ９２０を出力する。

【0068】

＜アーチファクト低減処理の流れ＞
次に、アーチファクト低減部１２０によるアーチファクト低減処理の流れについて説明する。

【0069】

（１）全体処理の流れ
はじめに、アーチファクト低減処理全体の流れについて説明する。図１０は、アーチファクト低減処理の流れを示すフローチャートである。ステップＳ１００１において、周波数分解部４１０は、超解像処理部１１０より、超解像画像データを取得する。ステップＳ１００２において、周波数分解部４１０は、周波数分解パラメータに基づいて、超解像画像データを周波数分解し、周波数帯域成分を出力する。

【0070】

ステップＳ１００３において、ケプストラム解析部４２１、４３１、４４１、４５１は、それぞれ、水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分について、ケプストラム解析を行い、ケプストラム解析結果を出力する。

【0071】

ステップＳ１００４において、ピークレベル解析部４２２、４３２、４４２、４５２は、ケプストラム解析結果よりピーク群を抽出し、ピークレベル解析結果を出力する。

【0072】

ステップＳ１００５において、ピークレベル減衰部４２３、４３３、４４３、４５３は、それぞれ、水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分のピーク群の要素値を、ピークレベル解析結果に応じて減算する。

【0073】

ステップＳ１００６において、再構成部４６０は、ピーク群の要素値が減算された周波数帯域成分についてウェーブレットパケット再構成処理を行い、アーチファクト低減処理済みの超解像画像データを生成する。

【0074】

ステップＳ１００６において、再構成部４６０は、アーチファクト低減処理済みの超解像画像データを出力する。

【0075】

（２）ケプストラム解析処理（ステップＳ１００３）の詳細
続いて、ケプストラム解析処理（図１０のステップＳ１００３）の流れについて説明する。図１１は、ケプストラム解析処理の流れを示すフローチャートである。このうち、図１１（ａ）は、フーリエ変換を用いたケプストラム解析処理の流れを示している。

【0076】

図１１（ａ）に示すように、ステップＳ１１０１において、ケプストラム解析部４２１、４３１、４４１、４５１は、それぞれ、水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分に対して、ＦＦＴ処理を行う。なお、ＦＦＴとは、Fast Fourier Transformの略である。

【0077】

ステップＳ１１０２において、ケプストラム解析部４２１、４３１、４４１、４５１は、それぞれ、ＦＦＴ処理後の水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分に対して、対数処理を行う。

【0078】

ステップＳ１１０３において、ケプストラム解析部４２１、４３１、４４１、４５１は、それぞれ、対数処理後の水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分に対して逆ＦＦＴ処理を行うことで、ケプストラムを生成する。

【0079】

図１１（ｂ）は、直交変換を用いたケプストラム解析の流れを示している。図１１（ｂ）に示すように、ステップＳ１１１１において、ケプストラム解析部４２１、４３１、４４１、４５１は、それぞれ、水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分に対して、直交変換処理を行う。

【0080】

ステップＳ１１１２において、ケプストラム解析部４２１、４３１、４４１、４５１は、それぞれ、直交変換処理後の水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分に対して、対数処理を行う。

【0081】

ステップＳ１１１３において、ケプストラム解析部４２１、４３１、４４１、４５１は、それぞれ、対数処理後の水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分に対して逆直交変換処理を行うことで、ケプストラムを生成する。

【0082】

なお、図１１では、フーリエ変換を用いたケプストラム解析処理と、直交変換を用いたケプストラム解析処理とについて例示したが、ケプストラム解析処理の処理方法はこれらに限定されない。例えば、窓関数を用いたフーリエ変換処理、対数処理、逆フーリエ変換処理を行うことでケプストラムを生成してもよい。あるいは、その他の周波数変換処理、対数処理、逆変換処理を行うことでケプストラムを生成してもよい。

【0083】

また、周波数帯域成分に対してケプストラム解析処理（水平方向）を行うにあたっては、例えば、周波数帯域成分において各行ごとにケプストラム解析処理を行い、各行ごとのケプストラムを足し合わせることで、水平方向のケプストラムを生成してもよい。あるいは、周波数帯域成分において各行の要素値を足し合わせてからケプストラム解析処理を行うことで、水平方向のケプストラムを生成してもよい。

【0084】

同様に、周波数帯域成分に対してケプストラム解析（垂直横行）を行うにあたっては、例えば、周波数帯域成分において、列ごとにケプストラム解析処理を行い、列ごとのケプストラムを足し合わせることで、垂直方向のケプストラムを生成してもよい。あるいは、周波数帯域成分において、各列の要素値を足し合わせてからケプストラム解析処理を行うことで、垂直方向のケプストラムを生成してもよい。

【0085】

（３）ピークレベル減衰処理（ステップＳ１００５）の詳細
続いて、ピークレベル減衰処理（図１０のステップＳ１００５）の流れについて説明する。図１２は、ピークレベル減衰処理の流れを示すフローチャートである。

【0086】

ステップＳ１２０１において、ピークレベル減衰部４２３、４３３、４４３、４５３は、それぞれ、水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分において、各要素の要素値の平均値と標準偏差とを算出する。

【0087】

ステップＳ１２０２において、ピークレベル減衰部４２３、４３３、４４３、４５３は、生起確率を正規分布とした際の標準偏差σにおける要素値を閾値として算出する。

【0088】

ステップＳ１２０３において、ピークレベル減衰部４２３、４３３、４４３、４５３は、閾値以上の要素値をピークとして抽出する。

【0089】

ステップＳ１２０４において、ピークレベル減衰部４２３、４３３、４４３、４５３は、抽出したピークのうち、幅がブロックサイズに応じたサイズとなるピーク群を抽出する。

【0090】

ステップＳ１２０５において、ピークレベル減衰部４２３、４３３、４４３、４５３は、抽出したピーク群の要素値を、ピークレベル解析結果に応じて減算する。これにより、ピークレベル減衰部４２３、４３３、４４３、４５３は、ブロック歪状のアーチファクト成分を減衰させた、水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分を出力することができる。

【0091】

＜アーチファクト低減処理の効果＞
次に、アーチファクト低減部１２０によるアーチファクト低減処理の効果について説明する。図１３は、アーチファクト低減処理の効果を示す図である。このうち、図１３（ａ－１）、（ｂ－１）、（ｃ－１）は、アーチファクト低減処理前の超解像画像データの一例を示している。一方、図１３（ａ－２）、（ｂ－２）、（ｃ－２）は、それぞれ、対応する超解像画像データに対して、アーチファクト低減処理を実行することで出力された、アーチファクト低減処理済みの超解像画像データの一例を示している。

【0092】

図１３（ａ－１）、（ｂ－１）、（ｃ－１）には、それぞれ、ブロック歪状のアーチファクトが含まれている。これに対して、図１３（ａ－２）、（ｂ－２）、（ｃ－２）の場合、対応する超解像画像データ（ａ－１）、（ｂ－１）、（ｃ－１）と比較して、ブロック歪状アーチファクトが低減され、主観画質が向上していることがわかる。

【0093】

＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る画像処理装置は、
・画像データを周波数分解することで得た低周波帯域成分（第１の周波数帯域成分）に対して、該画像データ内の各ブロックを位置合わせし、更に高周波帯域成分（第２の周波数帯域成分）に割り付けることで生成される超解像画像データを取得する。
・取得した超解像画像データを周波数分解することで得た各周波数帯域成分を解析することでケプストラムを生成し、生成したケプストラムの各ピークのうち、幅がブロックサイズに応じたサイズとなるピーク群のレベルを算出する。
・各周波数帯域成分の各ピークのうち、幅がブロックサイズに応じたサイズとなるピーク群の要素値を、算出したレベルに応じて減算する。

【0094】

これにより、第１の実施形態に係る画像処理装置によれば、超解像画像データに含まれるブロック歪状のアーチファクトを低減させることができる。

【0095】

［第２の実施形態］
上記第１の実施形態では、アーチファクト低減部１２０がアーチファクト低減処理を行う処理対象を、超解像画像データとして説明したが、処理対象は超解像画像データに限定されない。

【0096】

所定の画像データを周波数変換することで複数の周波数帯域成分に分解し、所定の画像データ内のブロックを、特定の周波数帯域成分において位置合わせしたうえで、各周波数帯域成分に割り付けていくことで生成される、特定の画像データが処理対象となる。

【0097】

また、上記第１の実施形態では、アーチファクト低減部１２０がアーチファクト低減処理を行うにあたり、ブロックサイズが既知であるとして説明したが、ブロックサイズは未知であってもよい。この場合、ピークレベル解析部４２２等では、ケプストラムのピークの幅が、所定サイズとなる場合に、当該ピーク群を抽出する。所定サイズごとに現れるピークは、ブロック歪みに起因するアーチファクトである蓋然性が高いからである。

【0098】

また、上記第１の実施形態では、生起確率を正規分布とした際の標準偏差σにおける振幅を閾値として設定するものとして説明したが、閾値の設定方法はこれに限定されない。例えば、所定の固定値を閾値として設定してもよい。

【0099】

また、上記第１の実施形態では、周波数帯域成分に含まれる水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分、空間低周波帯域成分それぞれについて、同様のアーチファクト低減処理を行うものとして説明した。しかしながら、アーチファクト低減部１２０は、低周波帯域成分（空間低周波帯域成分）を除く、高周波帯域成分（水平高周波帯域成分、垂直高周波帯域成分、対角高周波帯域成分）について、アーチファクト低減処理を行うように構成してもよい。

【0100】

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0101】

１００ ：画像処理装置
１１０ ：超解像処理部
１２０ ：アーチファクト低減部
３４０ ：超解像画像データ
４１０ ：周波数分解部
４２１、４３１、４４１、４５１ ：ケプストラム解析部
４２２、４３２、４４２、４５２ ：ピークレベル解析部
４２３、４３３、４４３、４５３ ：ピークレベル減衰部
４６０ ：再構成部
５２０ ：周波数帯域成分
５２１ ：垂直高周波帯域成分
５２２ ：対角高周波帯域成分
５２３ ：空間低周波帯域成分
５２４ ：水平高周波帯域成分
８１４ ：水平高周波帯域成分
９１０ ：周波数帯域成分
９１１ ：垂直高周波帯域成分
９１２ ：対角高周波帯域成分
９１３ ：空間低周波帯域成分
９２０ ：アーチファクト低減処理済みの超解像画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】