特許 6874933 超解像画像生成装置、プログラム、および、集積回路

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6874933

(24)【登録日】2021年4月26日

(45)【発行日】2021年5月19日

(54)【発明の名称】超解像画像生成装置、プログラム、および、集積回路

(51)【国際特許分類】

   G06T 3/40 20060101AFI20210510BHJP

   H04N 1/387 20060101ALI20210510BHJP

   H04N 7/01 20060101ALI20210510BHJP

【ＦＩ】

   G06T3/40 735

   H04N1/387

   H04N7/01 170

【請求項の数】8

【全頁数】39

(21)【出願番号】特願2017-68714(P2017-68714)

(22)【出願日】2017年3月30日

(65)【公開番号】特開2018-169948(P2018-169948A)

(43)【公開日】2018年11月1日

【審査請求日】2019年11月20日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100125704

【弁理士】

【氏名又は名称】坂根 剛

(74)【代理人】

【識別番号】100143498

【弁理士】

【氏名又は名称】中西 健

(72)【発明者】

【氏名】長谷川 弘

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特表２００７−５０４５２３（ＪＰ，Ａ）

【文献】 特開２００７−２８０２０２（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０３３６１９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−９／４０

Ｈ０４Ｎ １／３８−１／３９３

Ｈ０４Ｎ ７／００−７／０８８

(57)【特許請求の範囲】

【請求項1】

原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得するサブバンド分割部と、
前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、前記原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する予測部であって、（Ａ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＬ’（０）を取得し、（Ｂ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＬＨ’（０）を取得し、（Ｃ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＨ’（０）を取得する前記予測部と、
前記原画像ＬＬ（０）と、前記予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得するサブバンド合成部と、を備える超解像画像生成装置。

【請求項2】

前記原画像ＬＬ（０）および前記サブバンドデータＬＬ（１）から、復元率を取得する復元率取得部であって、前記サブバンドデータＬＬ（１）を仮の原画像として、前記サブバンド分割部、前記予測部、および、前記サブバンド合成部と同様の処理を実行し、前記サブバンドデータＬＬ（１）の超解像画像ＬＬ’（０）を取得し、取得した前記超解像画像ＬＬ’（０）と前記原画像ＬＬ（０）とを比較することで前記復元率を取得する前記復元率取得部をさらに備える、
請求項１に記載の超解像画像生成装置。

【請求項3】

前記予測部は、（Ａ）前記サブバンドデータＨＬ（２）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＨＬ（２））と、前記サブバンドデータＨＬ（１）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＨＬ（１））とを取得し、
ｋ_ＨＬ＝Ｅ_ｍｅａｎ（ＨＬ（１））／Ｅ_ｍｅａｎ（ＨＬ（２））により、係数ｋ_ＨＬを取得し、
ＨＬ’（０）＝ｋ_ＨＬ×ｔｍｐ＿ＨＬ（０）に相当する処理を実行することで、前記予測サブバンドデータＨＬ’（０）を取得し、（Ｂ）前記サブバンドデータＬＨ（２）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＬＨ（２））と、前記サブバンドデータＬＨ（１）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＬＨ（１））とを取得し、
ｋ_ＬＨ＝Ｅ_ｍｅａｎ（ＬＨ（１））／Ｅ_ｍｅａｎ（ＬＨ（２））により、係数ｋ_ＨＬを取得し、
ＬＨ’（０）＝ｋ_ＬＨ×ｔｍｐ＿ＬＨ（０）に相当する処理を実行することで、前記予測サブバンドデータＬＨ’（０）を取得し、（Ｃ）前記サブバンドデータＨＨ（２）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＨＨ（２））と、前記サブバンドデータＨＨ（１）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＨＨ（１））とを取得し、
ｋ_ＨＨ＝Ｅ_ｍｅａｎ（ＨＨ（１））／Ｅ_ｍｅａｎ（ＨＨ（２））により、係数ｋ_ＨＨを取得し、
ＨＬ’（０）＝ｋ_ＨＬ×ｔｍｐ＿ＨＬ（０）に相当する処理を実行することで、前記予測サブバンドデータＨＨ’（０）を取得する、
請求項１又は２に記載の超解像画像生成装置。

【請求項4】

サブバンド領域内に小領域を設定する小領域設定部をさらに備え、
前記予測部は、（Ａ）サブバンドデータＨＬ（２）に相当する前記小領域である小領域Ｒ_ｋ（ＨＬ（２））と、サブバンドデータＨＬ（１）に相当する前記小領域である小領域Ｒ_ｋ（ＨＬ（１））とから導出される所定の物理量に基づいて、前記単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）の小領域であって、サブバンドデータＨＬ（０）のサブバンド領域に対応する小領域Ｒ_ｋ（ＨＬ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、前記予測サブバンドデータＨＬ’（０）を取得し、（Ｂ）サブバンドデータＬＨ（２）に相当する前記小領域である小領域Ｒ_ｋ（ＬＨ（２））と、サブバンドデータＬＨ（１）に相当する前記小領域である小領域Ｒ_ｋ（ＬＨ（１））とから導出される所定の物理量に基づいて、前記単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）の小領域であって、サブバンドデータＬＨ（０）のサブバンド領域に対応する小領域Ｒ_ｋ（ＬＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、前記予測サブバンドデータＬＨ’（０）を取得し、（Ｃ）サブバンドデータＨＨ（２）に相当する前記小領域である小領域Ｒ_ｋ（ＨＨ（２））と、サブバンドデータＨＨ（１）に相当する前記小領域である小領域Ｒ_ｋ（ＨＨ（１））とから導出される所定の物理量に基づいて、前記単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）の小領域であって、サブバンドデータＨＨ（０）のサブバンド領域に対応する小領域Ｒ_ｋ（ＨＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、前記予測サブバンドデータＨＨ’（０）を取得する、
請求項１又は２に記載の超解像画像生成装置。

【請求項5】

前記小領域は、矩形領域により設定される、
請求項４に記載の超解像画像生成装置。

【請求項6】

同一のサブバンド領域内に第１小領域および第２小領域が含まれ、
前記第１小領域のサイズは、前記第２小領域のサイズと異なる、
請求項４又は５に記載の超解像画像生成装置。

【請求項7】

原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得するサブバンド分割ステップと、
前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、前記原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する予測ステップであって、（Ａ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＬ’（０）を取得し、（Ｂ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＬＨ’（０）を取得し、（Ｃ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＨ’（０）を取得する前記予測ステップと、
前記原画像ＬＬ（０）と、前記予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得するサブバンド合成ステップと、を備える超解像画像生成方法をコンピュータに実行させるためのプログラム。

【請求項8】

原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得するサブバンド分割部と、
前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、前記原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する予測部であって、（Ａ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＬ’（０）を取得し、（Ｂ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＬＨ’（０）を取得し、（Ｃ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＨ’（０）を取得する前記予測部と、
前記原画像ＬＬ（０）と、前記予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得するサブバンド合成部と、を備える集積回路。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力画像信号の解像度を高めて出力画像信号を生成する技術である超解像技術に関する。

【背景技術】

【0002】

動画像の解像度を向上させる処理として、フレーム内だけで解像度を向上させるフレーム内超解像度処理と、フレーム内超解像度処理にさらにフレーム間処理を行うフレーム間解像度処理とがある。

【0003】

フレーム内超解像処理では、静止画での画質向上を実現させる処理と同様に、１フレームごとに輪郭補正やドットノイズ消去といった処理を実行するだけであり、複数のフレームを用いた時間軸方向の演算処理は実行しない。そして、フレーム内超解像度処理では、主として輝度信号を処理対象として処理が実行される。

【0004】

例えば、単純に線形フィルタを用いて、フレーム内の各画素を線形補間することで、解像度を向上させる処理を実行した場合、この処理により取得される高解像度画像は、ぼやけた画質の画像となる。つまり、線形補間により解像度を向上させる処理では、新たに挿入された画素（線形補間により挿入された画素）の画素値は、当該画素を挿入するときに用いた当該画素の周辺の画素（原画像に存在する画素）の画素値を平均化した値となる。したがって、線形補間により解像度を向上させる処理により取得される高解像度画像は、ぼやけた画質の画像となる。このような手法による高解像度化処理は、真の高解像度処理とはいえない。

【0005】

そこで、例えば、画像のテクスチャ部分、エッジ部分、平坦部分等を抽出し、抽出した部分に対して、それぞれ、異なる画像処理（処理強度の異なる高域成分強調処理）を施すことで、高解像度画像を取得する技術が開発されている（例えば、特許文献１を参照）。

【0006】

例えば、品質の高い高解像度画像を取得する処理として、以下のような処理が考えられる。

【0007】

原画像を、（１）細部が細かく変化するテクスチャ部、（２）テクスチャ部の輪郭部、（３）画素の画素値の変化が乏しい平坦部の３つに分けて、テクスチャ部には何らかの画質改善処理を施し、輪郭部にはエッジ強調処理を、平坦部には何も処理を行わずそのままにする。

【0008】

つまり、この処理では、（１）細部が細かく変化するテクスチャ部、（２）テクスチャ部の輪郭部、（３）画素の画素値の変化が乏しい平坦部に対して、異なる操作を行うことで、遠近感を高めた高解像度画像（高品質の高解像度画像）を取得することができる。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】国際公開第ＷＯ２０１１／０３３６１９号

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、上記のような処理では、所定の性質の画像領域を抽出し、抽出した所定の性質を有する画像領域ごとに、異なる処理を実行する必要があり、処理が非常に煩雑になる。つまり、上記のような処理では、場合分け処理を行う必要があるので、処理が非常に煩雑になる。また、上記のような処理では、抽出した所定の性質を有する画像領域ごとのパラメータの設定（高域成分強調処理の処理強度の調整等）を行う必要があり、適切なパラメータ設定がなされないと、高精度の高解像度画像が取得できないとという問題もある。

【0011】

そこで、本発明は、上記課題に鑑み、場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得する超解像画像生成装置、プログラム、および、集積回路を実現することを目的とする。

【課題を解決するための手段】

【0012】

上記課題を解決するために、第１の発明は、サブバンド分割部と、予測部と、サブバンド合成部と、を備える超解像画像生成装置である。

【0013】

サブバンド分割部は、原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。

【0014】

予測部は、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する。そして、予測部は、以下の処理を行う。
（Ａ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＨ’（０）を取得する。

【0015】

サブバンド合成部は、原画像ＬＬ（０）と、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得する。

【0016】

この超解像画像生成装置では、サブバンド分割処理（サブバンド符号化処理）により取得される同種のサブバンドであって、階層が異なるサブバンド同士は相関性が高いことを利用して、原画像ＬＬ（０）の解像度を２倍に拡張した超解像画像ＬＬ（−１）を取得するために必要となる、サブバンドデータＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。

【0017】

つまり、この超解像画像生成装置では、予測部が、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得するために、同種のサブバンドであって、階層が異なるサブバンド同士の所定の物理量に相関性がある（例えば、平均エネルギーの比が略一定になる）という事実に基づいて、単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）、ｔｍｐ＿ＬＨ（０）、ｔｍｐ＿ＨＨ（０）から、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。

【0018】

そして、この超解像画像生成装置では、サブバンド合成部が、原画像ＬＬ（０）と、予測部により取得された予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、高精度の超解像画像ＬＬ（−１）を取得する。

【0019】

したがって、この超解像画像生成装置では、従来技術のように場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得することができる。

【0020】

なお、「所定の物理量」とは、例えば、電力、エネルギー、あるいは、それらに準ずる物理量である。

【0021】

第２の発明は、第１の発明であって、原画像ＬＬ（０）およびサブバンドデータＬＬ（１）から、復元率を取得する復元率取得部であって、サブバンドデータＬＬ（１）を仮の原画像として、サブバンド分割部、予測部、および、サブバンド合成部と同様の処理を実行し、サブバンドデータＬＬ（１）の超解像画像ＬＬ’（０）を取得し、取得した超解像画像ＬＬ’（０）と原画像ＬＬ（０）とを比較することで復元率を取得する復元率取得部をさらに備える。

【0022】

これにより、この超解像画像生成装置では、復元率取得部により復元率を取得することができる。

【0023】

第３の発明は、第１または第２の発明であって、予測部は、以下の処理を行う。
（Ａ）予測部は、サブバンドデータＨＬ（２）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＨＬ（２））と、サブバンドデータＨＬ（１）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＨＬ（１））とを取得し、
ｋ_ＨＬ＝Ｅ_ｍｅａｎ（ＨＬ（１））／Ｅ_ｍｅａｎ（ＨＬ（２））
により、係数ｋ_ＨＬを取得し、
ＨＬ’（０）＝ｋ_ＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、サブバンドデータＬＨ（２）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＬＨ（２））と、サブバンドデータＬＨ（１）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＬＨ（１））とを取得し、
ｋ_ＬＨ＝Ｅ_ｍｅａｎ（ＬＨ（１））／Ｅ_ｍｅａｎ（ＬＨ（２））
により、係数ｋ_ＨＬを取得し、
ＬＨ’（０）＝ｋ_ＬＨ×ｔｍｐ＿ＬＨ（０）
に相当する処理を実行することで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、サブバンドデータＨＨ（２）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＨＨ（２））と、サブバンドデータＨＨ（１）に相当するサブバンド領域の平均エネルギーＥ_ｍｅａｎ（ＨＨ（１））とを取得し、
ｋ_ＨＨ＝Ｅ_ｍｅａｎ（ＨＨ（１））／Ｅ_ｍｅａｎ（ＨＨ（２））
により、係数ｋ_ＨＨを取得し、
ＨＬ’（０）＝ｋ_ＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、予測サブバンドデータＨＨ’（０）を取得する。

【0024】

これにより、この超解像画像生成装置では、同種で階層が異なるサブバンド領域の平均エネルギーの比に基づいて、係数ｋ_ＨＬ、ｋ_ＬＨ、ｋ_ＨＨを取得でき、当該係数を用いてサブバンド合成処理を実行することができる。したがって、この超解像画像生成装置では、高精度の超解像画像が取得できる。

【0025】

第４の発明は、第１または第２の発明であって、サブバンド領域内に小領域を設定する小領域設定部をさらに備える。

【0026】

そして、予測部は、以下の処理を行う。
（Ａ）予測部は、サブバンドデータＨＬ（２）に相当する小領域である小領域Ｒ_ｋ（ＨＬ（２））と、サブバンドデータＨＬ（１）に相当する小領域である小領域Ｒ_ｋ（ＨＬ（１））とから導出される所定の物理量に基づいて、単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）の小領域であって、サブバンドデータＨＬ（０）のサブバンド領域に対応する小領域Ｒ_ｋ（ＨＬ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、サブバンドデータＬＨ（２）に相当する小領域である小領域Ｒ_ｋ（ＬＨ（２））と、サブバンドデータＬＨ（１）に相当する小領域である小領域Ｒ_ｋ（ＬＨ（１））とから導出される所定の物理量に基づいて、単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）の小領域であって、サブバンドデータＬＨ（０）のサブバンド領域に対応する小領域Ｒ_ｋ（ＬＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、サブバンドデータＨＨ（２）に相当する小領域である小領域Ｒ_ｋ（ＨＨ（２））と、サブバンドデータＨＨ（１）に相当する小領域である小領域Ｒ_ｋ（ＨＨ（１））とから導出される所定の物理量に基づいて、単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）の小領域であって、サブバンドデータＨＨ（０）のサブバンド領域に対応する小領域Ｒ_ｋ（ＨＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、予測サブバンドデータＨＨ’（０）を取得する。

【0027】

これにより、この超解像画像生成装置では、同種で階層が異なるサブバンド領域の対応する小領域の所定の物理量（例えば、平均エネルギーの比）に基づいて、予測サブバンドデータＬＨ’（０）、ＨＬ’（０）、ＨＨ’（０）が取得でき、当該予測サブバンドデータを用いてサブバンド合成処理を実行することができる。したがって、この超解像画像生成装置では、高精度の超解像画像が取得できる。

【0028】

第５の発明は、第４の発明であって、小領域は、矩形領域により設定される。

【0029】

これにより、この超解像画像生成装置では、小領域を矩形領域に設定することができる。

【0030】

なお、小領域は、矩形領域に限らず、円形領域、楕円領域等に設定してもよい。

【0031】

第６の発明は、第４または第５の発明であって、同一のサブバンド領域内に第１小領域および第２小領域が含まれ、第１小領域のサイズは、第２小領域のサイズと異なる。

【0032】

これにより、この超解像画像生成装置では、サイズの異なる小領域を用いて、超解像画像生成処理を実行することができる。

【0033】

第７の発明は、第４の発明であって、小領域設定部は、復元率に基づいて、小領域のサイズを調整する。

【0034】

これにより、この超解像画像生成装置では、復元率に基づいて、小領域のサイズを調整することができる。そして、復元率が良好な状態となったことを確認した後、超解像画像を取得することで、より精度の高い超解像画像を取得することができる。

【0035】

第８の発明は、第７の発明であって、復元率取得部は、サブバンドデータＨＬ（１）と予測サブバンドデータＨＬ’（１）とに基づいて、第１サブバンド復元率を取得し、サブバンドデータＬＨ（１）と予測サブバンドデータＬＨ’（１）とに基づいて、第２サブバンド復元率を取得し、サブバンドデータＨＨ（１）と予測サブバンドデータＨＨ’（１）とに基づいて、第３サブバンド復元率を取得する。

【0036】

小領域設定部は、第１サブバンド復元率、第２サブバンド復元率、および、第３サブバンド復元率に基づいて、小領域のサイズを調整する。

【0037】

これにより、この超解像画像生成装置では、サブバンド領域ごとの復元率である第１〜第３サブバンド復元率に基づいて、サブバンド内の小領域の大きさを調整することができる。そして、この超解像画像生成装置では、画像全体の復元率と、サブバンド領域の復元率とを考慮することで、最適なサブバンド内の小領域を設定することができ、設定されたサブバンド内の小領域を用いて、超解像画像生成処理を行うことで、高精度な超解像画像を取得することができる。

【0038】

第９の発明は、第４から第８のいずれかの発明であって、原画像ＬＬ（０）は、Ｙ成分画像信号、Ｃｂ成分画像信号、および、Ｃｒ成分画像信号から形成され、復元率取得部は、Ｙ成分画像信号、Ｃｂ成分画像信号、および、Ｃｒ成分画像信号のそれぞれについて、復元率を取得する。

【0039】

小領域設定部は、Ｙ成分画像信号について取得された復元率に基づいて、Ｙ成分画像信号により形成されるＹ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の小領域のサイズを調整する。

【0040】

また、小領域設定部は、Ｃｂ成分画像信号について取得された復元率に基づいて、Ｃｂ成分画像信号により形成されるＣｂ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の小領域のサイズを調整する。

【0041】

また、小領域設定部は、Ｃｒ成分画像信号について取得された復元率に基づいて、Ｃｒ成分画像信号により形成されるＣｒ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の小領域のサイズを調整する。

【0042】

これにより、この超解像画像生成装置では、ＹＣｂＣｒ色空間の画像信号についても、Ｙ成分画像、Ｃｂ成分画像、Ｃｒ成分画像ごとに、最適な大きさに調整されたサブバンド内の小領域をもちいて、超解像画像生成処理を実行することができる。その結果、この超解像画像生成装置では、高精度な超解像画像を取得することができる。

【0043】

なお、Ｙ成分画像、Ｃｂ成分画像、Ｃｒ成分画像ごとに、それぞれ復元率が最良となるように、Ｙ成分画像についての小領域のサイズ、Ｃｂ成分画像についての小領域のサイズ、Ｃｒ成分画像についての小領域のサイズを設定することが好ましい。

【0044】

また、Ｙ成分画像、Ｃｂ成分画像、Ｃｒ成分画像についての設定される小領域は、それぞれ、異なるサイズ、形状であってもよい。

【0045】

第１０の発明は、第２から第９の発明であって、小領域設定部は、超解像画像ＬＬ’（０）と、原画像ＬＬ（０）とを比較することで取得した復元率が最良の値となるように、小領域のサイズを調整する。

【0046】

これにより、この超解像画像生成装置では、画像全体の復元率が最良となるようにサブバンド領域を分割することができる（サブバンド領域内の小領域を設定することができる）。

【0047】

第１１の発明は、超解像画像生成方法をコンピュータに実行させるためのプログラムである。

【0048】

超解像画像生成方法は、サブバンド分割ステップと、予測ステップと、サブバンド合成ステップと、を備える。

【0049】

サブバンド分割ステップは、原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。

【0050】

予測ステップは、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する。そして、予測ステップは、以下の処理を行う。
（Ａ）予測ステップは、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測ステップは、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測ステップは、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＨ’（０）を取得する。

【0051】

サブバンド合成ステップは、原画像ＬＬ（０）と、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得する。

【0052】

これにより、第１の発明と同様の効果を奏する超解像画像生成方法をコンピュータに実行させるためのプログラムを実現することができる。

【0053】

第１２の発明は、サブバンド分割部と、予測部と、サブバンド合成部と、を備える集積回路である。

【0054】

サブバンド分割部は、原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。

【0055】

予測部は、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する。そして、予測部は、以下の処理を行う。
（Ａ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＨ’（０）を取得する。

【0056】

サブバンド合成部は、原画像ＬＬ（０）と、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得する。

【0057】

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

【発明の効果】

【0058】

本発明によれば、場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得する超解像画像生成装置、プログラム、および、集積回路を実現することができる。

【図面の簡単な説明】

【0059】

【図1】第１実施形態に係る超解像画像生成装置１００の概略構成図。

【図2】第１実施形態に係る超解像画像生成装置１００のサブバンド分割部１の概略構成図。

【図3】第１実施形態に係る第２分割部１２の概略構成図。

【図4】第１実施形態に係る予測部２の概略構成図。

【図5】サブバンド分割処理、サブバンド合成処理を説明するための図。

【図6】予測部２で実行される予測処理を説明するための図。

【図7】ＬＬ（０），ＨＬ’（０），ＬＨ’（０），ＨＨ’（０）を含む周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ４と、スペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ４に対して、サブバンド合成部３によりサブバンド合成処理（逆ウェーブレット変換）を実行して取得した超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）を示す図。

【図8】第２実施形態に係る超解像画像生成装置２００の概略構成図。

【図9】第１実施形態に係る予測部２の概略構成図。

【図10】予測部２Ａで実行される予測処理を説明するための図。

【図11】第３実施形態に係る超解像画像生成装置３００の概略構成図。

【図12】第３実施形態に係る復元率取得部５の概略構成図。

【図13】復元率取得処理を説明するための図。

【図14】第３実施形態の変形例に係る超解像画像生成装置３００の概略構成図。

【図15】第３実施形態の変形例に係る復元率取得部５の概略構成図。

【図16】第３実施形態の変形例に復元率取得処理を説明するための図。

【図17】ＣＰＵバス構成を示す図。

【発明を実施するための形態】

【0060】

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

【0061】

＜１．１：超解像画像生成装置の構成＞
図１は、第１実施形態に係る超解像画像生成装置１００の概略構成図である。

【0062】

図２は、第１実施形態に係る超解像画像生成装置１００のサブバンド分割部１の概略構成図である。

【0063】

図３は、第１実施形態に係る第２分割部１２の概略構成図である。

【0064】

図４は、第１実施形態に係る予測部２の概略構成図である。

【0065】

図５は、サブバンド分割処理、サブバンド合成処理を説明するための図である。

【0066】

超解像画像生成装置１００は、図１に示すように、サブバンド分割部１と、予測部２と、サブバンド合成部３とを備える。

【0067】

サブバンド分割部１は、図２に示すように、第１分割部１１と、第２分割部１２とを備える。

【0068】

サブバンド分割部１は、画像データＤｉｎを入力し、画像データＤｉｎに対して、サブバンド分割処理（サブバンド符号化処理）を実行し、サブバンド符号化データＤ１を取得する。そして、サブバンド分割部１は、取得したサブバンド符号化データＤ１を予測部２に出力する。

【0069】

なお、画像データＤｉｎにより形成される原画像をＬＬ（０）と表記し、原画像ＬＬ（０）に対してサブバンド分割処理（サブバンド符号化処理）を１回行ったときに取得されるサブバンド画像をＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１）と表記する。

【0070】

つまり、図５に示すように、ウェーブレット変換（例えば、離散ウェーブレット変換）を行ったときの周波数領域のデータと同様に、水平方向の低域成分を有し垂直方向の低域成分を有するサブバンドデータをＬＬ（１）とし、水平方向の高域成分を有し垂直方向の低域成分を有するサブバンドデータをＨＬ（１）とし、水平方向の低域成分を有し垂直方向の高域成分を有するサブバンドデータをＬＨ（１）とし、水平方向の高域成分を有し垂直方向の高域成分を有するサブバンドデータをＨＨ（１）と表記する。

【0071】

また、サブバンド符号化の回数を括弧の中に記載して表記する。

【0072】

したがって、図５に示すように、サブバンド分割処理（サブバンド符号化処理）を２回行ったときに取得される水平方向の低域成分を有し垂直方向の低域成分を有するサブバンドデータはＬＬ（２）と、水平方向の高域成分を有し垂直方向の低域成分を有するサブバンドデータをＨＬ（２）と、水平方向の低域成分を有し垂直方向の高域成分を有するサブバンドデータをＬＨ（２）と、水平方向の高域成分を有し垂直方向の高域成分を有するサブバンドデータをＨＨ（２）と、それぞれ表記される。

【0073】

第１分割部１１は、画像データＤｉｎ（ＬＬ（０））を入力し、画像データＤｉｎ（ＬＬ（０））に対して、サブバンド分割処理（サブバンド符号化処理）を実行し、第１サブバンド符号化データＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１）を取得する。そして、第１分割部１１は、第１サブバンド符号化データＬＬ（１）を第２分割部１２に出力し、第１サブバンド符号化データＨＬ（１）、ＬＨ（１）、ＨＨ（１）を予測部２に出力する。

【0074】

第１分割部１１は、図２に示すように、垂直ローパスフィルタ部ＬＰＦ＿ｖ１と、垂直ハイパスフィルタ部ＨＰＦ＿ｖ１と、垂直ダウンサンプリング部Ｄｖ１１、Ｄｖ１２とを備える。

【0075】

また、第１分割部１１は、図２に示すように、水平ローパスフィルタ部ＬＰＦ＿ｈ１１、ＬＰＦ＿ｈ１３と、水平ハイパスフィルタ部ＨＰＦ＿ｈ１２、ＨＰＦ＿ｈ１４と、水平ダウンサンプリング部Ｄｈ１１、Ｄｈ１２、Ｄｈ１３、Ｄｈ１４とを備える。

【0076】

垂直ローパスフィルタ部ＬＰＦ＿ｖ１は、２次元画像の垂直方向のローパスフィルタである。

【0077】

垂直ハイパスフィルタ部ＨＰＦ＿ｖ１は、２次元画像の垂直方向のハイパスフィルタである。

【0078】

垂直ダウンサンプリング部Ｄｖ１１、Ｄｖ１２は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、水平方向に配置されている画素（行データ（水平ライン））の間引き処理を行う。

【0079】

水平ローパスフィルタ部ＬＰＦ＿ｈ１１、ＬＰＦ＿ｈ１３は、２次元画像の水平方向のローパスフィルタである。

【0080】

水平ハイパスフィルタ部ＨＰＦ＿ｈ１２、ＨＰＦ＿ｈ１４は、２次元画像の水平方向のハイパスフィルタである。

【0081】

水平ダウンサンプリング部Ｄｈ１１、Ｄｈ１２、Ｄｈ１３、Ｄｈ１４は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、垂直方向に配置されている画素（列データ）の間引き処理を行う。

【0082】

第２分割部１２は、図３に示すように、第１サブバンド符号化データＬＬ（１）を入力し、第１サブバンド符号化データＬＬ（１）に対して、サブバンド符号化処理を実行し、第２サブバンド符号化データＬＬ（２）、ＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。そして、第２分割部１２は、取得した第２サブバンド符号化データＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を、予測部２に出力する。

【0083】

第２分割部１２は、図３に示すように、垂直ローパスフィルタ部ＬＰＦ＿ｖ２と、垂直ハイパスフィルタ部ＨＰＦ＿ｖ２と、垂直ダウンサンプリング部Ｄｖ２１、Ｄｖ２２とを備える。

【0084】

また、第２分割部１２は、図３に示すように、水平ローパスフィルタ部ＬＰＦ＿ｈ２１、ＬＰＦ＿ｈ２３と、水平ハイパスフィルタ部ＨＰＦ＿ｈ２２、ＨＰＦ＿ｈ２４と、水平ダウンサンプリング部Ｄｈ２１、Ｄｈ２２、Ｄｈ２３、Ｄｈ２４とを備える。

【0085】

垂直ローパスフィルタ部ＬＰＦ＿ｖ２は、２次元画像の垂直方向のローパスフィルタである。

【0086】

垂直ハイパスフィルタ部ＨＰＦ＿ｖ２は、２次元画像の垂直方向のハイパスフィルタである。

【0087】

垂直ダウンサンプリング部Ｄｖ２１、Ｄｖ２２は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、水平方向に配置されている画素（行データ（水平ライン））の間引き処理を行う。

【0088】

水平ローパスフィルタ部ＬＰＦ＿ｈ２１、ＬＰＦ＿ｈ２３は、２次元画像の水平方向のローパスフィルタである。

【0089】

水平ハイパスフィルタ部ＨＰＦ＿ｈ２２、ＨＰＦ＿ｈ２４は、２次元画像の水平方向のハイパスフィルタである。

【0090】

水平ダウンサンプリング部Ｄｈ２１、Ｄｈ２２、Ｄｈ２３、Ｄｈ２４は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、垂直方向に配置されている画素（列データ）の間引き処理を行う。

【0091】

なお、図２に示すように、サブバンド分割部１から出力されるデータＨＬ（２）、ＬＨ（２）、ＨＨ（２）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を、データＤ１と表記する。

【0092】

予測部２は、サブバンド分割部１から出力されるデータＤ１を入力する。予測部２は、データＤ１に基づいて、予測処理を実行し、原画像Ｄｉｎ（ＬＬ（０））を２倍の解像度に拡張した超解像画像ＬＬ（−１）に対してサブバンド分割処理（サブバンド符号化処理）を実行したときのサブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。そして、予測部２は、取得した予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を、データＤ＿ｅｓｔとして、サブバンド合成部３に出力する。

【0093】

予測部２は、図４に示すように、第１係数取得部２１と、水平アップサンプリング部Ｕｈ２１と、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１と、垂直アップサンプリング部Ｕｖ２１と、垂直ローパスフィルタ部ＬＰＦｕ＿ｈ２１と、乗算器Ｍｘ２１とを備える。

【0094】

また、予測部２は、第２係数取得部２２と、水平アップサンプリング部Ｕｈ２２と、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２と、垂直アップサンプリング部Ｕｖ２２と、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２と、乗算器Ｍｘ２２とを備える。

【0095】

また、予測部２は、第３係数取得部２３と、水平アップサンプリング部Ｕｈ２３と、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３と、垂直アップサンプリング部Ｕｖ２３と、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２と、乗算器Ｍｘ２３とを備える。

【0096】

第１係数取得部２１は、サブバンド分割部１から出力されるデータＨＬ（１）、ＨＬ（２）を入力し、データＨＬ（１）、ＨＬ（２）に基づいて、第１係数ｋ_ＨＬを取得する。そして、第１係数取得部２１は、取得した第１係数ｋ_ＨＬを乗算器Ｍｘ２１に出力する。

【0097】

水平アップサンプリング部Ｕｈ２１は、データＨＬ（１）（サブバンド符号化処理により取得された画像データＨＬ（１））に対して、水平方向の１：２のアップサンプリング処理を行う。つまり、水平ダウンサンプリング部Ｄｈ２１は、画像データＨＬ（１）に対して、水平解像度が２倍となるように、１列の画素群に対して、新たに１列の画素群を挿入する。

【0098】

なお、挿入する１列の画素群の画素値は、例えば、（１）水平方向に隣接する画素の画素値（垂直方向の位置は同一の画素の画素値）と同一値（サンプルホールド挿入）、あるいは、（２）挿入する１列を挟む水平方向に隣接する２つの画素列に含まれる２つの画素（垂直方向の位置は同一の画素）の平均値、あるいは、（３）画素値を「０」とすればよい（ゼロ挿入）。

【0099】

水平アップサンプリング部Ｕｈ２１は、水平方向の１：２のアップサンプリング処理後のデータを水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１に出力する。

【0100】

水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１は、水平アップサンプリング部Ｕｈ２１からのデータを入力し、入力されたデータに対して、２次元画像の水平方向のローパスフィルタ処理を行う。そして、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１は、処理後のデータを、垂直アップサンプリング部Ｕｖ２１に出力する。

【0101】

垂直アップサンプリング部Ｕｖ２１は、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１から出力されるデータを入力する。垂直アップサンプリング部Ｕｖ２１は、入力されたデータに対して、垂直方向の１：２のアップサンプリング処理を行う。つまり、垂直ダウンサンプリング部Ｄｖ２１は、入力されたデータにより形成される画像に対して、垂直解像度が２倍となるように、１行の画素群（１つの水平ライン）に対して、新たに１行の画素群（水平ライン）を挿入する。

【0102】

なお、挿入する１行の画素群の画素値は、例えば、（１）垂直方向に隣接する画素の画素値（水平方向の位置は同一の画素の画素値）と同一値（サンプルホールド挿入）、あるいは、（２）挿入する１行を挟む垂直方向に隣接する２つの水平ラインに含まれる２つの画素（水平方向の位置は同一の画素）の平均値、あるいは、（３）画素値を「０」とすればよい（ゼロ挿入）。

【0103】

垂直アップサンプリング部Ｕｖ２１は、処理後のデータを、垂直ローパスフィルタ部ＬＰＦｕ＿ｈ２１に出力する。

【0104】

垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１は、垂直アップサンプリング部Ｕｖ２１から出力されるデータを入力とし、入力されたデータに対して、２次元画像の垂直方向のローパスフィルタ処理を行う。そして、垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１は、処理後のデータを、乗算器Ｍｘ２１に、データｔｍｐ＿ＨＬ（０）として、出力する。

【0105】

乗算器Ｍｘ２１は、垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１から出力されるデータｔｍｐ＿ＨＬ（０）と、第１係数取得部２１から出力される第１係数ｋ_ＨＬを入力する。乗算器Ｍｘ２１は、データｔｍｐ＿ＨＬ（０）と、第１係数ｋ_ＨＬとを用いて、乗算処理を行い、当該乗算処理の結果を、データＨＬ’（０）として、サブバンド合成部３に出力する。

【0106】

第２係数取得部２２は、サブバンド分割部１から出力されるデータＬＨ（１）、ＬＨ（２）を入力し、データＬＨ（１）、ＬＨ（２）に基づいて、第２係数ｋ_ＬＨを取得する。そして、第２係数取得部２２は、取得した第２係数ｋ_ＬＨを乗算器Ｍｘ２２に出力する。

【0107】

水平アップサンプリング部Ｕｈ２２は、データＬＨ（１）（サブバンド符号化処理により取得された画像データＬＨ（１））に対して、水平方向の１：２のアップサンプリング処理を行う。そして、水平アップサンプリング部Ｕｈ２２は、水平方向の１：２のアップサンプリング処理後のデータを水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２に出力する。

【0108】

水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２は、水平アップサンプリング部Ｕｈ２２からのデータを入力し、入力されたデータに対して、２次元画像の水平方向のローパスフィルタ処理を行う。そして、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２は、処理後のデータを、垂直アップサンプリング部Ｕｖ２２に出力する。

【0109】

垂直アップサンプリング部Ｕｖ２２は、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２１から出力されるデータを入力する。垂直アップサンプリング部Ｕｖ２２は、入力されたデータに対して、垂直方向の１：２のアップサンプリング処理を行う。そして、垂直アップサンプリング部Ｕｖ２２は、処理後のデータを、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２に出力する。

【0110】

垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２２は、垂直アップサンプリング部Ｕｖ２２から出力されるデータを入力とし、入力されたデータに対して、２次元画像の垂直方向のハイパスフィルタ処理を行う。そして、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２２は、処理後のデータを、乗算器Ｍｘ２２に、データｔｍｐ＿ＬＨ（０）として、出力する。

【0111】

乗算器Ｍｘ２２は、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２２から出力されるデータｔｍｐ＿ＬＨ（０）と、第２係数取得部２２から出力される第２係数ｋ_ＬＨを入力する。乗算器Ｍｘ２２は、データｔｍｐ＿ＬＨ（０）と、第２係数ｋ_ＬＨとを用いて、乗算処理を行い、当該乗算処理の結果を、データＬＨ’（０）として、サブバンド合成部３に出力する。

【0112】

第３係数取得部２３は、サブバンド分割部１から出力されるデータＨＨ（１）、ＨＨ（２）を入力し、データＨＨ（１）、ＨＨ（２）に基づいて、第３係数ｋ_ＨＨを取得する。そして、第３係数取得部２３は、取得した第３係数ｋ_ＨＨを乗算器Ｍｘ２３に出力する。

【0113】

水平アップサンプリング部Ｕｈ２３は、データＨＨ（１）（サブバンド符号化処理により取得された画像データＨＨ（１））に対して、水平方向の１：２のアップサンプリング処理を行う。そして、水平アップサンプリング部Ｕｈ２３は、水平方向の１：２のアップサンプリング処理後のデータを水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３に出力する。

【0114】

水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３は、水平アップサンプリング部Ｕｈ２３からのデータを入力し、入力されたデータに対して、２次元画像の水平方向のハイパスフィルタ処理を行う。そして、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３は、処理後のデータを、垂直アップサンプリング部Ｕｖ２３に出力する。

【0115】

垂直アップサンプリング部Ｕｖ２３は、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３から出力されるデータを入力する。垂直アップサンプリング部Ｕｖ２３は、入力されたデータに対して、垂直方向の１：２のアップサンプリング処理を行う。そして、垂直アップサンプリング部Ｕｖ２３は、処理後のデータを、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２３に出力する。

【0116】

垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２３は、垂直アップサンプリング部Ｕｖ２３から出力されるデータを入力とし、入力されたデータに対して、２次元画像の垂直方向のハイパスフィルタ処理を行う。そして、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２３は、処理後のデータを、乗算器Ｍｘ２３に、データｔｍｐ＿ＨＨ（０）として、出力する。

【0117】

乗算器Ｍｘ２３は、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２３から出力されるデータｔｍｐ＿ＨＨ（０）と、第３係数取得部２３から出力される第３係数ｋ_ＨＨを入力する。乗算器Ｍｘ２３は、データＨＨ（０）と、第３係数ｋ_ＨＨとを用いて、乗算処理を行い、当該乗算処理の結果を、データＨＨ’（０）として、サブバンド合成部３に出力する。

【0118】

サブバンド合成部３は、画像データＤｉｎ（ＬＬ（０））と、予測部２から出力されるデータＤ＿ｅｓｔとを入力する。サブバンド合成部３は、画像ＤｉｎおよびデータＤ＿ｅｓｔに基づいて、原画像Ｄｉｎ（ＬＬ（０））に対して、２倍の解像度に拡張した超解像画像ＬＬ（−１）を画像データＤｏｕｔとして取得する。

【0119】

＜１．２：超解像画像生成装置の動作＞
以上のように構成された超解像画像生成装置１００の動作について、以下、説明する。

【0120】

以下では、図４の原画像ＬＬ（０）が、画像データＤｉｎとして、超解像画像生成装置１００に入力され、超解像画像生成装置１００で処理される場合（一例）について、説明する。

【0121】

画像データＤｉｎ（原画像ＬＬ（０））が、サブバンド分割部１に入力される。より具体的には、画像データＤｉｎ（原画像ＬＬ（０））は、サブバンド分割部１の第１分割部１１の垂直ローパスフィルタ部ＬＰＦ＿ｖ１および垂直ハイパスフィルタ部ＨＰＦ＿ｖ１に入力される。

【0122】

垂直ローパスフィルタ部ＬＰＦ＿ｖ１は、入力画像データＤｉｎ（原画像ＬＬ（０））に対して、垂直ローパスフィルタ処理を実行し、垂直ローパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ１１に出力する。

【0123】

垂直ダウンサンプリング部Ｄｖ１１は、垂直ローパスフィルタ部ＬＰＦ＿ｖ１から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。つまり、垂直ダウンサンプリング部Ｄｖ１１は、垂直ローパスフィルタ部ＬＰＦ＿ｖ１から出力されるデータ（画像データ）の水平ライン（行データ）を２本に１本の割合で間引く処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ１１は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ１１および水平ハイパスフィルタ部ＨＰＦ＿ｈ１２に出力する。

【0124】

水平ローパスフィルタ部ＬＰＦ＿ｈ１１は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１１に出力する。

【0125】

水平ダウンサンプリング部Ｄｈ１１は、水平ローパスフィルタ部ＬＰＦ＿ｈ１１からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。つまり、水平ダウンサンプリング部Ｄｈ１１は、水平ローパスフィルタ部ＬＰＦ＿ｈ１１から出力されるデータ（画像データ）の垂直方向に配置されている画素列（列データ）を２列に１列の割合で間引く処理（２：１の水平ダウンサンプリング処理）を実行する。そして、水平ダウンサンプリング部Ｄｈ１１は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＬ（１）として、第２分割部１２に出力する。

【0126】

水平ハイパスフィルタ部ＨＰＦ＿ｈ１２は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１２に出力する。

【0127】

水平ダウンサンプリング部Ｄｈ１２は、水平ハイパスフィルタ部ＨＰＦ＿ｈ１２からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ１２は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＬ（１）として、予測部２に出力する。

【0128】

垂直ハイパスフィルタ部ＨＰＦ＿ｖ１は、入力画像データＤｉｎ（原画像ＬＬ（０））に対して、垂直ハイパスフィルタ処理を実行し、垂直ハイパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ１２に出力する。

【0129】

垂直ダウンサンプリング部Ｄｖ１２は、垂直ローパスフィルタ部ＬＰＦ＿ｖ１から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ１２は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ１３および水平ハイパスフィルタ部ＨＰＦ＿ｈ１４に出力する。

【0130】

水平ローパスフィルタ部ＬＰＦ＿ｈ１３は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１３に出力する。

【0131】

水平ダウンサンプリング部Ｄｈ１３は、水平ローパスフィルタ部ＬＰＦ＿ｈ１３からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ１３は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＨ（１）として、予測部２に出力する。

【0132】

水平ハイパスフィルタ部ＨＰＦ＿ｈ１４は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１４に出力する。

【0133】

水平ダウンサンプリング部Ｄｈ１４は、水平ハイパスフィルタ部ＨＰＦ＿ｈ１４からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ１４は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＨ（１）として、予測部２に出力する。

【0134】

サブバンド画像データＬＬ（１）は、図２、図３に示すように、第１分割部１１から、第２分割部１２の水平ローパスフィルタ部ＬＰＦ＿ｖ２および水平ハイパスフィルタ部ＨＰＦ＿ｖ２に入力される。

【0135】

垂直ローパスフィルタ部ＬＰＦ＿ｖ２は、入力される画像データＬＬ（１）に対して、垂直ローパスフィルタ処理を実行し、垂直ローパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ２１に出力する。

【0136】

垂直ダウンサンプリング部Ｄｖ２１は、垂直ローパスフィルタ部ＬＰＦ＿ｖ２から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ２１は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ２１および水平ハイパスフィルタ部ＨＰＦ＿ｈ２２に出力する。

【0137】

水平ローパスフィルタ部ＬＰＦ＿ｈ２１は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２１に出力する。

【0138】

水平ダウンサンプリング部Ｄｈ２１は、水平ローパスフィルタ部ＬＰＦ＿ｈ２１からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。つまり、水平ダウンサンプリング部Ｄｈ２１は、水平ローパスフィルタ部ＬＰＦ＿ｈ２１から出力されるデータ（画像データ）の垂直方向に配置されている画素列（列データ）を２列に１列の割合で間引く処理（２：１の水平ダウンサンプリング処理）を実行する。そして、水平ダウンサンプリング部Ｄｈ２１は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＬ（２）として取得する。

【0139】

水平ハイパスフィルタ部ＨＰＦ＿ｈ２２は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２２に出力する。

【0140】

水平ダウンサンプリング部Ｄｈ２２は、水平ハイパスフィルタ部ＨＰＦ＿ｈ２２からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ２２は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＬ（２）として、予測部２に出力する。

【0141】

垂直ハイパスフィルタ部ＨＰＦ＿ｖ２は、入力される画像データＬＬ（１）に対して、垂直ハイパスフィルタ処理を実行し、垂直ハイパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ２２に出力する。

【0142】

垂直ダウンサンプリング部Ｄｖ２２は、垂直ローパスフィルタ部ＬＰＦ＿ｖ２から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ２２は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ２３および水平ハイパスフィルタ部ＨＰＦ＿ｈ２４に出力する。

【0143】

水平ローパスフィルタ部ＬＰＦ＿ｈ２３は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２３に出力する。

【0144】

水平ダウンサンプリング部Ｄｈ２３は、水平ローパスフィルタ部ＬＰＦ＿ｈ２３からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ２３は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＨ（２）として、予測部２に出力する。

【0145】

水平ハイパスフィルタ部ＨＰＦ＿ｈ２４は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２４に出力する。

【0146】

水平ダウンサンプリング部Ｄｈ２４は、水平ハイパスフィルタ部ＨＰＦ＿ｈ２４からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ２４は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＨ（２）として、予測部２に出力する。

【0147】

上記のようにして取得されたデータＤ１（ＨＬ（１）、ＬＨ（１）、ＨＨ（１）、ＨＬ（２）、ＬＨ（２）、ＨＨ（２））（図５の右側に示したデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ２を参照）は、サブバンド分割部１から、予測部２に出力される。

【0148】

予測部２は、データＤ１に基づいて、予測処理を実行し、原画像Ｄｉｎ（ＬＬ（０））の解像度を２倍に拡張した超解像画像ＬＬ（−１）に対してサブバンド分割処理（サブバンド符号化処理）を実行したときのサブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。

【0149】

予測部２で実行される予測処理について、図６を用いて説明する。

【0150】

図６は、予測部２で実行される予測処理を説明するための図である。図６の左図は、データＤ１、すなわち、原画像Ｄｉｎ（ＬＬ（０））に対して、２回サブバンド分割処理（サブバンド符号化処理）を実行して取得される周波数領域のスペクトルデータ（ウェーブレット変換による周波数領域のスペクトルデータ）である。図６の右図は、データＤ１を拡張した周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ３を示す図である。つまり、周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ３に対して、サブバンド合成処理（逆ウェーブレット変換）を施すことで、原画像Ｄｉｎ（ＬＬ（０））の２倍の解像度の画像ＬＬ（−１）が取得される。

【0151】

ここで、ｍ画素×ｎ画素からなるサブバンド画像Ｂ（サブバンド領域Ｂ）に含まれる画素の画素値をＣ_ｉｊとし、サブバンド画像Ｂ（サブバンド領域Ｂ）の平均エネルギーをＥ_ｍｅａｎとすると、サブバンド画像Ｂ（サブバンド領域Ｂ）の平均エネルギーをＥ_ｍｅａｎは、下記数式により算出される。

【数1】

ａｂｓ（ｘ）：ｘの絶対値をとる関数
予測部２の第１係数取得部２１は、データＨＬ（１）からＥ_ｍｅａｎ（ＨＬ（１））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＬ（１）である。

【0152】

また、予測部２の第１係数取得部２１は、データＨＬ（２）からＥ_ｍｅａｎ（ＨＬ（２））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＬ（２）である。

【0153】

そして、第１係数取得部２１は、係数ｋ_ＨＬを
ｋ_ＨＬ＝Ｅ_ｍｅａｎ（ＨＬ（１））／Ｅ_ｍｅａｎ（ＨＬ（２））
により取得する。

【0154】

そして、第１係数取得部２１は、取得した係数ｋ_ＨＬを乗算器Ｍｘ２１に出力する。

【0155】

予測部２の第２係数取得部２２は、データＬＨ（１）からＥ_ｍｅａｎ（ＬＨ（１））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＬＨ（１）である。

【0156】

また、予測部２の第２係数取得部２２は、データＬＨ（２）からＥ_ｍｅａｎ（ＬＨ（２））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＬＨ（２）である。

【0157】

そして、第２係数取得部２２は、係数ｋ_ＬＨを
ｋ_ＬＨ＝Ｅ_ｍｅａｎ（ＬＨ（１））／Ｅ_ｍｅａｎ（ＬＨ（２））
により取得する。

【0158】

そして、第２係数取得部２２は、取得した係数ｋ_ＬＨを乗算器Ｍｘ２２に出力する。

【0159】

予測部２の第３係数取得部２３は、データＨＨ（１）からＥ_ｍｅａｎ（ＨＨ（１））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＨ（１）である。

【0160】

また、予測部２の第３係数取得部２３は、データＨＨ（２）からＥ_ｍｅａｎ（ＨＨ（２））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＨ（２）である。

【0161】

そして、第３係数取得部２３は、係数ｋ_ＨＨを
ｋ_ＨＨ＝Ｅ_ｍｅａｎ（ＨＨ（１））／Ｅ_ｍｅａｎ（ＨＨ（２））
により取得する。

【0162】

そして、第３係数取得部２３は、取得した係数ｋ_ＨＨを乗算器Ｍｘ２３に出力する。

【0163】

予測部２では、データＨＬ（１）に対して、水平アップサンプリング部Ｕｈ２１で水平アップサンプリング処理が実行され、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１で水平ハイパスフィルタ処理が実行され、垂直アップサンプリング部Ｕｖ２１で垂直アップサンプリング処理が実行され、さらに、垂直ローパスフィルタ部ＬＰＦｕ＿ｈ２１で垂直ローパスフィルタ処理が実行されることで、データｔｍｐ＿ＨＬ（０）が取得される。

【0164】

そして、乗算器Ｍｘ２１は、
ＨＬ’（０）＝ｋ_ＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、データＨＬ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＨＬ（０）の各画素の画素値に係数ｋ_ＨＬを乗算した値を、サブバンド領域ＨＬ’（０）の各画素の画素値とする処理を意味している。

【0165】

図６の右図に示すように、サブバンド領域ＨＬ（２）とサブバンド領域ＨＬ（１）との相関性は、サブバンド領域ＨＬ（１）とサブバンド領域ＨＬ（０）との相関性と類似すると考えられる。

【0166】

したがって、サブバンド領域ＨＬ（２）のエネルギーの平均値Ｅ_ｍｅａｎ（ＨＬ（２））とサブバンド領域ＨＬ（１）のエネルギーの平均値Ｅ_ｍｅａｎ（ＨＬ（１））の比は、サブバンド領域ＨＬ（１）のエネルギーの平均値Ｅ_ｍｅａｎ（ＨＬ（１））とサブバンド領域ＨＬ（０）のエネルギーの平均値Ｅ_ｍｅａｎ（ＨＬ（１））の比と類似すると考えられる。つまり、
Ｅ_ｍｅａｎ（ＨＬ（１））／Ｅ_ｍｅａｎ（ＨＬ（２））＝Ｅ_ｍｅａｎ（ＨＬ（０））／Ｅ_ｍｅａｎ（ＨＬ（１））＝ｋ_ＨＬ
と近似することができる。

【0167】

したがって、データＨＬ（１）に対して、アップサンプリング処理、フィルタ処理を施して取得したデータｔｍｐ＿ＨＬ（０）に係数ｋ_ＨＬを乗算することで取得したデータＨＬ’（０）は、データＨＬ（０）の予測データとして高い精度を有するものとなる。

【0168】

予測部２では、データＬＨ（１）に対して、水平アップサンプリング部Ｕｈ２２で水平アップサンプリング処理が実行され、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２で水平ローパスフィルタ処理が実行され、垂直アップサンプリング部Ｕｖ２２で垂直アップサンプリング処理が実行され、さらに、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２で垂直ハイパスフィルタ処理が実行されることで、データｔｍｐ＿ＬＨ（０）が取得される。

【0169】

そして、乗算器Ｍｘ２２は、
ＬＨ’（０）＝ｋ_ＬＨ×ｔｍｐ＿ＬＨ（０）
に相当する処理を実行することで、データＬＨ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＬＨ（０）の各画素の画素値に係数ｋ_ＬＨを乗算した値を、サブバンド領域ＬＨ’（０）の各画素の画素値とする処理を意味している。

【0170】

図６の右図に示すように、サブバンド領域ＬＨ（２）とサブバンド領域ＬＨ（１）との相関性は、サブバンド領域ＬＨ（１）とサブバンド領域ＬＨ（０）との相関性と類似すると考えられる。

【0171】

したがって、サブバンド領域ＬＨ（２）のエネルギーの平均値Ｅ_ｍｅａｎ（ＬＨ（２））とサブバンド領域ＬＨ（１）のエネルギーの平均値Ｅ_ｍｅａｎ（ＬＨ（１））の比は、サブバンド領域ＬＨ（１）のエネルギーの平均値Ｅ_ｍｅａｎ（ＬＨ（１））とサブバンド領域ＬＨ（０）のエネルギーの平均値Ｅ_ｍｅａｎ（ＬＨ（１））の比と類似すると考えられる。つまり、
Ｅ_ｍｅａｎ（ＬＨ（１））／Ｅ_ｍｅａｎ（ＬＨ（２））＝Ｅ_ｍｅａｎ（ＬＨ（０））／Ｅ_ｍｅａｎ（ＬＨ（１））＝ｋ_ＬＨ
と近似することができる。

【0172】

したがって、データＬＨ（１）に対して、アップサンプリング処理、フィルタ処理を施して取得したデータｔｍｐ＿ＬＨ（０）に係数ｋ_ＬＨを乗算することで取得したデータＬＨ’（０）は、データＬＨ（０）の予測データとして高い精度を有するものとなる。

【0173】

予測部２では、データＨＨ（１）に対して、水平アップサンプリング部Ｕｈ２３で水平アップサンプリング処理が実行され、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３で水平ハイパスフィルタ処理が実行され、垂直アップサンプリング部Ｕｖ２３で垂直アップサンプリング処理が実行され、さらに、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２３で垂直ハイパスフィルタ処理が実行されることで、データｔｍｐ＿ＨＨ（０）が取得される。

【0174】

そして、乗算器Ｍｘ２３は、
ＨＨ’（０）＝ｋ_ＬＨ×ｔｍｐ＿ＨＨ（０）
に相当する処理を実行することで、データＨＨ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＨＨ（０）の各画素の画素値に係数ｋ_ＨＨを乗算した値を、サブバンド領域ＨＨ’（０）の各画素の画素値とする処理を意味している。

【0175】

図６の右図に示すように、サブバンド領域ＨＨ（２）とサブバンド領域ＨＨ（１）との相関性は、サブバンド領域ＨＨ（１）とサブバンド領域ＨＨ（０）との相関性と類似すると考えられる。

【0176】

したがって、サブバンド領域ＨＨ（２）のエネルギーの平均値Ｅ_ｍｅａｎ（ＨＨ（２））とサブバンド領域ＨＨ（１）のエネルギーの平均値Ｅ_ｍｅａｎ（ＨＨ（１））の比は、サブバンド領域ＨＨ（１）のエネルギーの平均値Ｅ_ｍｅａｎ（ＨＨ（１））とサブバンド領域ＨＨ（０）のエネルギーの平均値Ｅ_ｍｅａｎ（ＨＨ（１））の比と類似すると考えられる。つまり、
Ｅ_ｍｅａｎ（ＨＨ（１））／Ｅ_ｍｅａｎ（ＨＨ（２））＝Ｅ_ｍｅａｎ（ＨＨ（０））／Ｅ_ｍｅａｎ（ＨＨ（１））＝ｋ_ＨＨ
と近似することができる。

【0177】

したがって、データＨＨ（１）に対して、アップサンプリング処理、フィルタ処理を施して取得したデータｔｍｐ＿ＨＨ（０）に係数ｋ_ＨＨを乗算することで取得したデータＨＨ’（０）は、データＨＨ（０）の予測データとして高い精度を有するものとなる。

【0178】

上記処理により取得されたデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）は、予測部２から、サブバンド合成部３に出力される。

【0179】

サブバンド合成部３は、画像データＤｉｎ（ＬＬ（０））と、予測部２から出力されるデータＤ＿ｅｓｔ、すなわち、データＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いて、サブバンド合成処理（逆ウェーブレット変換）を行い、超解像画像ＬＬ（−１）を取得する。つまり、サブバンド合成部３は、
ＬＬ（−１）＝Ｓｂｄ^−１｛ＬＬ（０），ＨＬ’（０），ＬＨ’（０），ＨＨ’（０）｝
に相当する処理を実行し、原画像Ｄｉｎ（ＬＬ（０））に対して、２倍の解像度に拡張した超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）を取得する。

【0180】

なお、サブバンド画像ｘ１，ｘ２，ｘ３，ｘ４を用いてサブバンド合成する処理を、Ｓｂｄ^−１｛ｘ１，ｘ２，ｘ３，ｘ４｝と表記する。

【0181】

図７は、ＬＬ（０），ＨＬ’（０），ＬＨ’（０），ＨＨ’（０）を含む周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ４と、スペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ４に対して、サブバンド合成部３によりサブバンド合成処理（逆ウェーブレット変換）を実行して取得した超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）を示している。

【0182】

図７から分かるように、超解像画像生成装置１００で上記処理を行うことで、高品質な超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）が取得される。

【0183】

以上のように、超解像画像生成装置１００では、サブバンド分割処理（サブバンド符号化処理）により取得される同種のサブバンドであって、階層が異なるサブバンド同士は相関性が高いことを利用して、原画像Ｄｉｎ（ＬＬ（０））の解像度を２倍に拡張した超解像画像ＬＬ（−１）を取得するために必要となる、サブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。

【0184】

つまり、超解像画像生成装置１００では、予測部２が、予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得するために、同種のサブバンドであって、階層が異なるサブバンド同士の平均エネルギーの比が略一定になると仮定して係数ｋ_ＨＬ、ｋ_ＨＬ、ｋ_ＨＨを取得する。そして、予測部２は、係数ｋ_ＨＬ、ｋ_ＨＬ、ｋ_ＨＨと、サブバンド画像データＨＬ（１）、ＬＨ（１）、ＨＨ（１）からアップサンプリング、フィルタ処理を施して取得したサブバンド画像データｔｍｐ＿ＨＬ（１）、ｔｍｐ＿ＬＨ（１）、ｔｍｐ＿ＨＨ（１）とを用いて乗算処理を行うことで、予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。

【0185】

そして、超解像画像生成装置１００では、サブバンド合成部３が、原画像ＬＬ（０）と、予測部２により取得された予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、高精度の超解像画像ＬＬ（−１）を取得する。

【0186】

したがって、超解像画像生成装置１００では、従来技術のように場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得することができる。

【0187】

［第２実施形態］
次に、第２実施形態について説明する。

【0188】

なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

【0189】

図８は、第２実施形態に係る超解像画像生成装置２００の概略構成図である。

【0190】

図９は、第１実施形態に係る予測部２の概略構成図である。

【0191】

図１０は、予測部２Ａで実行される予測処理を説明するための図である。図１０の左図は、データＤ１、すなわち、原画像Ｄｉｎ（ＬＬ（０））に対して、２回サブバンド分割処理（サブバンド符号化処理）を実行して取得される周波数領域のスペクトルデータ（ウェーブレット変換による周波数領域のスペクトルデータ）である。図１０の右図は、データＤ１を拡張した周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ３を示す図である。

【0192】

第２実施形態の超解像画像生成装置２００は、図８に示すように、第１実施形態の超解像画像生成装置１００において、予測部２を予測部２Ａに置換し、さらに小領域設定部４を追加した構成を有している。

【0193】

小領域設定部４は、サブバンド領域内に小領域Ｒ_Ｋを設定し、設定した小領域Ｒ_Ｋの情報Ｉｎｆｏ＿Ｒ_Ｋを予測部２Ａに出力する。

【0194】

予測部２Ａは、図９に示すように、第１実施形態の予測部２において、第１係数取得部２１を第１係数取得部２１Ａに置換し、第２係数取得部２２を第２係数取得部２２Ａに置換し、第３係数取得部２３を第３係数取得部２３Ａに置換し、さらに、乗算器Ｍｘ２１を乗算処理部Ｍｘ２１Ａに置換し、乗算器Ｍｘ２２を乗算処理部Ｍｘ２２Ａに置換し、乗算器Ｍｘ２３を乗算処理部Ｍｘ２３Ａに置換した構成を有している。

【0195】

第１係数取得部２１Ａは、サブバンド分割部１から出力されるデータＨＬ（１）、ＨＬ（２）と、小領域設定部４から出力される小領域Ｒ_Ｋの情報Ｉｎｆｏ＿Ｒ_Ｋの中に含まれるサブバンド領域ＨＬ内に設定された小領域Ｒ_Ｋ（ＨＬ）の情報とを入力する。第１係数取得部２１Ａは、データＨＬ（１）、ＨＬ（２）と、小領域Ｒ_Ｋ（ＨＬ）の情報とに基づいて、第１係数ｋ_ＨＬを取得する。

【0196】

ここで、本実施形態の超解像画像生成装置２００では、サブバンド領域Ｂ内に小領域（局所領域）Ｒ_Ｋが設定される。

【0197】

そして、超解像画像生成装置２００では、サブバンド領域Ｂ内に設定された小領域（局所領域）Ｒ_Ｋごとに、平均エネルギーＥ_ｍｅａｎが算出され、算出された平均エネルギーＥ_ｍｅａｎのサブバンドの階層間の比に基づいて、係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）が算出される。

【0198】

つまり、第１実施形態の超解像画像生成装置１００では、サブバンド領域Ｂ全体で、平均エネルギーＥ_ｍｅａｎが算出していたが、第２実施形態の超解像画像生成装置２００では、サブバンド領域Ｂ内に設定された小領域（局所領域）Ｒ_Ｋごとに、平均エネルギーＥ_ｍｅａｎが算出される。この点が相違する。

【0199】

具体的に、図１０を参照しながら、サブバンド領域ＨＬ（２）、ＨＬ（１）、ＨＬ（０）に設定された小領域Ｒ_Ｋ（ＨＬ（２））、Ｒ_Ｋ（ＨＬ（１））、Ｒ_Ｋ（ＨＬ（０））を用いて係数ｋ_ＨＬ（Ｒ_Ｋ）を算出する処理について説明する。

【0200】

小領域設定部４は、サブバンド領域ＨＬ（２）内にＮ個（Ｎ：自然数）の小領域Ｒ_Ｋ（ＨＬ（２））（Ｋ：自然数、１≦Ｋ≦Ｎ）を設定する。小領域Ｒ_Ｋ（ＨＬ（２））の形状は任意の形状（例えば、矩形、円形、楕円形）であってもよく、そのサイズも任意である。

【0201】

なお、同種のサブバンド領域において設定される小領域は、当該小領域が含まれるサブバンド領域Ｂ内の相対的な位置関係は、同じである。

【0202】

つまり、図１０の右図に示すように、サブバンド領域ＨＬ（２）と、サブバンド領域ＨＬ（２）に設定された小領域Ｒ_Ｋ（ＨＬ（２））との位置関係、サイズの関係は、サブバンド領域ＨＬ（１）と、サブバンド領域ＨＬ（１）に設定された小領域Ｒ_Ｋ（ＨＬ（１））との位置関係、サイズの関係と同じである。

【0203】

また、サブバンド領域ＨＬ（１）と、サブバンド領域ＨＬ（１）に設定された小領域Ｒ_Ｋ（ＨＬ（１））との位置関係、サイズの関係は、サブバンド領域ＨＬ（０）と、サブバンド領域ＨＬ（０）に設定された小領域Ｒ_Ｋ（ＨＬ（０））との位置関係、サイズの関係と同じである。

【0204】

そして、上記のように設定された小領域Ｒ_Ｋ内の平均エネルギーは、下記数式により取得される。

【数2】

Ｎｕｍ（Ｒ_Ｋ）：小領域Ｒ_Ｋに含まれる画素ｃ_ｉｊの数
第１係数取得部２１Ａは、上記数式により、サブバンド領域ＨＬ（２）の小領域Ｒ_Ｋ（ＨＬ（２））の平均エネルギーＥ_ｍｅａｎ（Ｒ_ｋ（ＨＬ（２）））と、サブバンド領域ＨＬ（１）の小領域Ｒ_Ｋ（ＨＬ（１））の平均エネルギーＥ_ｍｅａｎ（Ｒ_ｋ（ＨＬ（１）））と算出する。

【0205】

そして、第１係数取得部２１Ａは、係数ｋ_ＨＬ（Ｒ_Ｋ）を、
ｋ_ＨＬ（Ｒ_Ｋ）＝Ｅ_ｍｅａｎ（Ｒ_ｋ（ＨＬ（１）））／Ｅ_ｍｅａｎ（Ｒ_ｋ（ＨＬ（２）））
により取得する。なお、上記数式の分母Ｅ_ｍｅａｎ（Ｒ_ｋ（ＨＬ（２）））が極端に小さいとき、係数ｋ_ＨＬ（Ｒ_Ｋ）が大きな値になってしまうので、このような場合、第１係数取得部２１Ａは、クリップ処理を行い、係数ｋ_ＨＬ（Ｒ_Ｋ）が上限値を超えないようにしてもよい。

【0206】

そして、第１係数取得部２１Ａは、取得した係数ｋ_ＨＬ（Ｒ_Ｋ）を乗算処理部Ｍｘ２１Ａに出力する。

【0207】

乗算処理部Ｍｘ２１Ａは、垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１から出力されるデータｔｍｐ＿ＨＬ（０）と、小領域設定部４から出力される小領域Ｒ_Ｋの情報Ｉｎｆｏ＿Ｒ_Ｋの中に含まれるサブバンド領域ＨＬ内に設定された小領域Ｒ_Ｋ（ＨＬ）の情報と、入力する。また、乗算処理部Ｍｘ２１Ａは、第１係数取得部２１Ａから出力される小領域Ｒ_Ｋのための係数ｋ_ＨＬ（Ｒ_Ｋ）を入力する。そして、乗算処理部Ｍｘ２１Ａは、サブバンド領域ＨＬ（０）内に設定された小領域Ｒ_Ｋ（ＨＬ（０））に対して、係数ｋ_ＨＬ（Ｒ_Ｋ）を用いて乗算処理を行う。

【0208】

つまり、乗算処理部Ｍｘ２１Ａは、
ＨＬ’（０）＝ｋ_ＨＬ（Ｒ_Ｋ）×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、データＨＬ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＨＬ（０）の小領域Ｒ_Ｋに含まれる各画素の画素値に係数ｋ_ＨＬを乗算した値を、サブバンド領域ＨＬ’（０）の小領域Ｒ_Ｋに含まれる各画素の画素値とする処理を意味している。

【0209】

図１０の右図に示すように、サブバンド領域ＨＬ（２）内の小領域Ｒ_Ｋ（ＨＬ（２））とサブバンド領域ＨＬ（１）内の小領域Ｒ_Ｋ（ＨＬ（１））との相関性は、サブバンド領域ＨＬ（１）内の小領域Ｒ_Ｋ（ＨＬ（１））とサブバンド領域ＨＬ（０）内の小領域Ｒ_Ｋ（ＨＬ（０））との相関性と類似すると考えられる。

【0210】

したがって、上記のように、サブバンド領域を小領域ごとに分割して、相関性を考慮した係数ｋ_ＨＬ（Ｒ_Ｋ）を用いた処理を行うことで、より精度の高い予測サブバンド画像ＨＬ’（０）を取得することができる。

【0211】

なお、予測部２Ａにおいて、図９に示すように、データＨＬ（２）、ＨＬ（１）から、予測サブバンド画像ＨＬ’（０）を取得する系の処理、および、データＨＨ（２）、ＨＨ（１）から、予測サブバンド画像ＨＨ’（０）を取得する系の処理についても、上記の処理（データＬＨ（２）、ＬＨ（１）から、予測サブバンド画像ＬＨ’（０）を取得する系の処理）と同様である。

【0212】

以上のように、超解像画像生成装置２００では、サブバンド分割処理（サブバンド符号化処理）により取得される同種のサブバンドであって、階層が異なるサブバンド同士は相関性が高いことを利用して、原画像Ｄｉｎ（ＬＬ（０））の解像度を２倍に拡張した超解像画像ＬＬ（−１）を取得するために必要となる、サブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。

【0213】

そして、超解像画像生成装置２００では、サブバンド領域内に設定した小領域ごとに、階層が異なる同種のサブバンド間の相関性を考慮した係数により、予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得するので、さらに高精度な処理を実現することができる。

【0214】

［第３実施形態］
次に、第３実施形態について説明する。

【0215】

なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

【0216】

図１１は、第３実施形態に係る超解像画像生成装置３００の概略構成図である。

【0217】

図１２は、第３実施形態に係る復元率取得部５の概略構成図である。

【0218】

図１３は、復元率取得処理を説明するための図である。

【0219】

第３実施形態の超解像画像生成装置３００は、第２実施形態の超解像画像生成装置２００において、さらに復元率取得部５を追加した構成を有している。

【0220】

復元率取得部５は、図１１、図１２に示すように、画像データＤｉｎ（ＬＬ（０））とサブバンド分割部１から出力されるデータＤ１１（サブバンド画像ＬＬ（１））とを入力する。また、復元率取得部５は、小領域設定部４により設定されたサブバンド内の小領域Ｒ_Ｋの情報Ｉｎｆｏ＿Ｒ_Ｋと、予測部２Ａで取得された係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）についての情報（データ）ｋ＿Ｒ_Ｋとを入力する。

【0221】

そして、復元率取得部５は、画像データＤｉｎ（ＬＬ（０））と、データＤ１１（サブバンド画像ＬＬ（１））とに基づいて、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを取得し、取得した復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを小領域設定部４に出力する。

【0222】

復元率取得部５は、図１２に示すように、サブバンド分割部５１と、予測部５２と、サブバンド合成部５３と、復元率算出部５４とを備える。

【0223】

サブバンド分割部５１は、サブバンド分割部１と同様の構成を有している。

【0224】

予測部５２は、予測部２Ａと同様の構成を有している。

【0225】

サブバンド合成部５３は、サブバンド合成部３と同様の構成を有している。サブバンド合成部５３は、予測部５２から出力されるデータＤ５＿ｅｓｔ（サブバンドデータＨＬ’（１）、ＬＨ’（１）、および、ＨＨ’（１）を含むベクトルデータ）と、サブバンド分割部１から出力されるサブバンドデータＬＬ（１）とを入力する。サブバンド合成部５３は、サブバンドデータＬＬ（１）、ＨＬ’（１）、ＬＨ’（１）、および、ＨＨ’（１）を用いてサブバンド合成処理を行い、画像データＬＬ’（０）を取得する。そして、サブバンド合成部５３は、取得した画像データＬＬ’（０）を復元率算出部５４に出力する。

【0226】

復元率算出部５４は、画像データＤｉｎ（ＬＬ（０））と、サブバンド合成部５３から出力されるサブバンド画像データＬＬ’（０）とを入力する。復元率算出部５４は、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを、
Ｒａｔｅ＿ｒｅｓｔｏｒｅ＝ｄｉｆｆ（ＬＬ’（０），ＬＬ（０））
により、取得する。なお、ｄｉｆｆ（ＬＬ’（０），ＬＬ（０））は、画像ＬＬ’（０）と画像ＬＬ（０）とにおいて、同一座標位置の画素の画素値の差の絶対値を、画像全体について、総和をとったものである。つまり、画像ＬＬ’（０）と画像ＬＬ（０）とが完全同一であれば、ｄｉｆｆ（ＬＬ’（０），ＬＬ（０））の値は「０」になる。

【0227】

復元率算出部５４は、上記により取得した復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを小領域設定部４に出力する。

【0228】

第３実施形態の超解像画像生成装置３００では、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを算出し、当該復元率が所定の値よりも小さい場合の係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）を採用することで、さらに高精度な超解像画像ＬＬ（−１）を取得する。

【0229】

超解像画像（ＬＬ（−１））は、原画像（ＬＬ（０））から生成したものであり、存在しない画像を生成しているので、正しい超解像画像（ＬＬ（−１））を観念することができない。

【0230】

そこで、本実施形態の超解像画像生成装置３００では、図１３に示すように、原画像（ＬＬ（０））をサブバンド分割処理して取得されるサブバンド画像ＬＬ（１）を仮の原画像とみなし、仮の原画像（ＬＬ（１））に対して、予測部２Ａで実行される処理と同様の処理（係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）を用いた処理）を、復元率取得部５で実行し、仮の原画像（ＬＬ（１））から、超解像画像ＬＬ’（０）を取得する。そして、復元率取得部５では、上記のようにして取得した超解像画像ＬＬ’（０）と、原画像（ＬＬ（０））との差がどれくらいであるかを示す復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを取得する。

【0231】

そして、超解像画像生成装置３００では、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅが所定の値よりも大きい場合、例えば、サブバンド内の小領域Ｒ_Ｋの大きさを変化させ、上記処理を繰り返し実行する。そして、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅが所定の値以下となった場合、そのときの係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）により取得された超解像画像ＬＬ（−１）を、超解像画像生成装置３００から出力するようにする。

【0232】

このように処理することで、超解像画像生成装置３００では、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅが所定の値以下となる、高精度な超解像画像ＬＬ（−１）を取得することができる。

【0233】

したがって、超解像画像生成装置３００では、従来技術のように場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得することができる。

【0234】

≪変形例≫
次に、第３実施形態の変形例について、説明する。

【0235】

上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

【0236】

図１４は、第３実施形態の変形例に係る超解像画像生成装置３００Ａの概略構成図である。

【0237】

図１５は、第３実施形態の変形例に係る復元率取得部５Ａの概略構成図である。

【0238】

図１６は、第３実施形態の変形例の復元率取得処理を説明するための図である。

【0239】

第３実施形態の変形例の超解像画像生成装置３００Ａは、第３実施形態の超解像画像生成装置３００において、復元率取得部５を復元率取得部５Ａに置換し、小領域設定部４を小領域設定部４Ａに置換した構成を有している。

【0240】

復元率取得部５Ａは、図１４、図１５に示すように、画像データＤｉｎ（ＬＬ（０））とサブバンド分割部１から出力されるデータＤ１１Ａ（サブバンド画像ＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１））とを入力する。また、復元率取得部５Ａは、小領域設定部４Ａにより設定されたサブバンド内の小領域Ｒ_Ｋの情報Ｉｎｆｏ＿Ｒ_Ｋと、予測部２Ａで取得された係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）についての情報（データ）ｋ＿Ｒ_Ｋとを入力する。

【0241】

そして、復元率取得部５Ａは、画像データＤｉｎ（ＬＬ（０））と、データＤ１１Ａ（サブバンド画像ＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１））とに基づいて、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅおよびサブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）を取得し、取得した復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅおよびサブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂを小領域設定部４Ａに出力する。

【0242】

復元率取得部５は、図１５に示すように、サブバンド分割部５１と、予測部５２と、サブバンド合成部５３と、復元率算出部５４と、第１サブバンド復元率算出部５５と、第２サブバンド復元率算出部５６と、第３サブバンド復元率算出部５７と、を備える。

【0243】

サブバンド分割部５１、予測部５２、サブバンド合成部５３、および、復元率算出部５４は、第３実施形態のものと同様である。

【0244】

第１サブバンド復元率算出部５５は、サブバンド分割部１から出力されるサブバンドデータＨＬ（１）（サブバンド画像ＨＬ（１））と、予測部５２から出力されるサブバンドデータサブバンドデータＨＬ’（１）とを入力する。

【0245】

第１サブバンド復元率算出部５５は、第１サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＬを、
Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ＝ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））
により、取得する。なお、ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））は、サブバンド画像ＨＬ’（１）とサブバンド画像ＨＬ（１）とにおいて、同一座標位置の画素の画素値の差の絶対値を、サブバンド画像全体について、総和をとったものである。つまり、サブバンド画像ＨＬ’（１）とサブバンド画像ＨＬ（１）とが完全同一であれば、ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））の値は「０」になる。例えば、図１６に示した、サブバンド画像ＨＬ’（１）とサブバンド画像ＨＬ（１）とを用いて、ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））が算出される。

【0246】

第１サブバンド復元率算出部５５は、上記により取得した第１サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＬを小領域設定部４Ａに出力する。

【0247】

第２サブバンド復元率算出部５６は、サブバンド分割部１から出力されるサブバンドデータＬＨ（１）（サブバンド画像ＬＨ（１））と、予測部５２から出力されるサブバンドデータサブバンドデータＬＨ’（１）とを入力する。

【0248】

第２サブバンド復元率算出部５６は、第２サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＬＨを、
Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ＝ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））
により、取得する。なお、ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））は、サブバンド画像ＬＨ’（１）とサブバンド画像ＬＨ（１）とにおいて、同一座標位置の画素の画素値の差の絶対値を、サブバンド画像全体について、総和をとったものである。つまり、サブバンド画像ＬＨ’（１）とサブバンド画像ＬＨ（１）とが完全同一であれば、ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））の値は「０」になる。例えば、図１６に示した、サブバンド画像ＬＨ’（１）とサブバンド画像ＬＬ（１）とを用いて、ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））が算出される。

【0249】

第２サブバンド復元率算出部５６は、上記により取得した第２サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＬＨを小領域設定部４Ａに出力する。

【0250】

第３サブバンド復元率算出部５７は、サブバンド分割部１から出力されるサブバンドデータＨＨ（１）（サブバンド画像ＨＨ（１））と、予測部５２から出力されるサブバンドデータサブバンドデータＨＨ’（１）とを入力する。

【0251】

第３サブバンド復元率算出部５７は、第３サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを、
Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ＝ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））
により、取得する。なお、ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））は、サブバンド画像ＨＨ’（１）とサブバンド画像ＨＨ（１）とにおいて、同一座標位置の画素の画素値の差の絶対値を、サブバンド画像全体について、総和をとったものである。つまり、サブバンド画像ＨＨ’（１）とサブバンド画像ＨＨ（１）とが完全同一であれば、ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））の値は「０」になる。例えば、図１６に示した、サブバンド画像ＨＨ’（１）とサブバンド画像ＨＨ（１）とを用いて、ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））が算出される。

【0252】

第３サブバンド復元率算出部５７は、上記により取得した第３サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを小領域設定部４Ａに出力する。

【0253】

小領域設定部４Ａは、復元率取得部５Ａから出力される復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）とを入力する。

【0254】

そして、小領域設定部４Ａは、例えば、閾値をＴｈ１、Ｔｈ２、Ｔｈ３とすると、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）とが以下の条件を満たすか否かを判定する。
（１）Ｒａｔｅ＿ｒｅｓｔｏｒｅ＜Ｔｈ１
（２）Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ＜Ｔｈ２
（３）Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ＜Ｔｈ３
（４）Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ＜Ｔｈ４
小領域設定部４Ａは、上記条件を満たすと判定した場合、設定されている係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）を最適係数として設定する。

【0255】

そして、超解像画像生成装置３００Ａは、上記最適係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）により取得される超解像画像ＬＬ（−１）を、超解像画像生成装置３００から出力するようにする。

【0256】

一方、上記条件を満たさない場合、小領域設定部４Ａは、例えば、サブバンド内の小領域Ｒ_Ｋの大きさを変化させ、上記処理を繰り返し実行する。

【0257】

なお、上記条件は、例えば、以下の条件に置換してもよい。
（１）Ｒａｔｅ＿ｒｅｓｔｏｒｅ＜Ｔｈ１
（２）Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ＋Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ＋Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ＜Ｔｈ５
Ｔｈ５：閾値
また、上記条件は、例えば、以下の条件に置換してもよい。
（１）Ｒａｔｅ＿ｒｅｓｔｏｒｅ＜Ｔｈ１
（２）Ａｖｅ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ，Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ，Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ）＜Ｔｈ６
Ｔｈ６：閾値
Ａｖｅ（ｘ，ｙ，ｚ）：ｘ，ｙ，ｚの平均値をとる関数
以上のように、超解像画像生成装置３００Ａでは、画像全体の復元率である復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド領域ごとの復元率であるサブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）とに基づいて、サブバンド内の小領域Ｒ_Ｋの大きさを調整する。そして、超解像画像生成装置３００Ａでは、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂとを考慮することで、最適なサブバンド内の小領域Ｒ_Ｋを設定することができ、設定されたサブバンド内の小領域Ｒ_Ｋを用いて、超解像画像生成処理を行うことで、超解像画像生成装置３００Ａでは、高精度な超解像画像ＬＬ（−１）を取得することができる。

【0258】

［他の実施形態］
上記実施形態を組み合わせて、超解像画像生成装置を構成するようにしてもよい。

【0259】

また、上記実施形態において、係数ｋ_ＨＬ、ｋ_ＬＨ、ｋ_ＨＨ、または、係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）を算出する処理において、サブバンド領域、あるいは、サブバンド領域の小領域の平均エネルギー値を、各画素の画素値（スペクトル値）の絶対値の平均値を求めることで取得したが、これに限定されることはなく、例えば、サブバンド領域、あるいは、サブバンド領域の小領域の平均エネルギー値を、各画素の画素値（スペクトル値）の平方根、２乗値、あるいは、それらの平均値として、取得するようにしてもよい。

【0260】

また、第１実施形態において、係数ｋ_ＨＬ、ｋ_ＬＨ、ｋ_ＨＨを、同種のサブバンド領域の階層間の平均エネルギーの比により算出する場合について説明したが、これに限定されることはなく、例えば、以下のようにして、係数ｋ_ＨＬ、ｋ_ＬＨ、ｋ_ＨＨを取得するようにしてもよい。

【0261】

例えば、サブバンド領域ＨＬ（２）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＬ（２））とし、サブバンド領域ＨＬ（１）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＬ（１））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋ_ＨＬ＝ｎｏｎ＿ｆ（Ｐｈｙ（ＨＬ（１）），Ｐｈｙ（ＨＬ（２）））
として、係数ｋ_ＨＬが取得されるものであってもよい。なお、ｎｏｎ＿ｆ（ｘ，ｙ）は、同種のサブバンド領域の階層間の相関性を示す値を返す非線形の関数である。

【0262】

サブバンド領域ＬＨ（２）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＬＨ（２））とし、サブバンド領域ＬＨ（１）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＬＨ（１））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋ_ＬＨ＝ｎｏｎ＿ｆ（Ｐｈｙ（ＬＨ（１）），Ｐｈｙ（ＬＨ（２）））
として、係数ｋ_ＬＨが取得されるものであってもよい。

【0263】

サブバンド領域ＨＨ（２）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＨ（２））とし、サブバンド領域ＨＨ（１）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＨ（１））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋ_ＨＨ＝ｎｏｎ＿ｆ（Ｐｈｙ（ＨＨ（１）），Ｐｈｙ（ＨＨ（２）））
として、係数ｋ_ＨＨが取得されるものであってもよい。

【0264】

また、第２実施形態において、小領域Ｒ_Ｋ内の画素に対する処理に適用する係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）を、同種のサブバンド領域の階層間の対応する小領域Ｒ_Ｋの平均エネルギーの比により算出する場合について説明したが、これに限定されることはなく、例えば、以下のようにして、係数ｋ_ＨＬ（Ｒ_Ｋ）、ｋ_ＬＨ（Ｒ_Ｋ）、ｋ_ＨＨ（Ｒ_Ｋ）を取得するようにしてもよい。

【0265】

例えば、サブバンド領域ＨＬ（２）の小領域Ｒ_Ｋ（ＨＬ（２））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（Ｒ_Ｋ（ＨＬ（２）））とし、サブバンド領域ＨＬ（１）の小領域Ｒ_Ｋ（ＨＬ（１））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（Ｒ_Ｋ（ＨＬ（１）））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋ_ＨＬ（Ｒ_Ｋ）＝ｎｏｎ＿ｆ（Ｐｈｙ（Ｒ_Ｋ（ＨＬ（１））），Ｐｈｙ（Ｒ_Ｋ（ＨＬ（２））））
として、係数ｋ_ＨＬ（Ｒ_Ｋ）が取得されるものであってもよい。なお、ｎｏｎ＿ｆ（ｘ，ｙ）は、同種のサブバンド領域の階層間の相関性を示す値を返す非線形の関数である。

【0266】

サブバンド領域ＬＨ（２）の小領域Ｒ_Ｋ（ＬＨ（２））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（Ｒ_Ｋ（ＬＨ（２）））とし、サブバンド領域ＬＨ（１）の小領域Ｒ_Ｋ（ＬＨ（１））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（Ｒ_Ｋ（ＬＨ（１）））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋ_ＬＨ（Ｒ_Ｋ）＝ｎｏｎ＿ｆ（Ｐｈｙ（Ｒ_Ｋ（ＬＨ（１））），Ｐｈｙ（Ｒ_Ｋ（ＬＨ（２））））
として、係数ｋ_ＬＨ（Ｒ_Ｋ）が取得されるものであってもよい。

【0267】

サブバンド領域ＨＨ（２）の小領域Ｒ_Ｋ（ＨＨ（２））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（Ｒ_Ｋ（ＨＨ（２）））とし、サブバンド領域ＨＨ（１）の小領域Ｒ_Ｋ（ＨＨ（１））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（Ｒ_Ｋ（ＨＨ（１）））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋ_ＨＨ（Ｒ_Ｋ）＝ｎｏｎ＿ｆ（Ｐｈｙ（Ｒ_Ｋ（ＨＨ（１））），Ｐｈｙ（Ｒ_Ｋ（ＨＨ（２））））
として、係数ｋ_ＨＨ（Ｒ_Ｋ）が取得されるものであってもよい。

【0268】

また、上記実施形態では、超解像画像生成装置において、輝度信号についてのみ処理を行う場合について、説明したが、これに限定されることはなく、ＲＧＢ色空間の画素値、ＹＵＶ色空間の画素値等について、超解像画像を取得する処理を実行するようにしてもよい。

【0269】

また、上記実施形態において、サブバンド分割処理で用いられるローパスフィルタ処理の伝達関数Ｇ（ｚ）、ハイパスフィルタ処理の伝達関数Ｈ（ｚ）、および、サブバンド合成処理で用いられるローパスフィルタ処理の伝達関数Ｐ（ｚ）、ハイパスフィルタ処理の伝達関数Ｑ（ｚ）は、例えば、以下のようなものであってもよい。
Ｇ（ｚ）＝（１＋ｚ^−１）／ｓｑｒｔ（２）
Ｈ（ｚ）＝（１−ｚ^−１）／ｓｑｒｔ（２）
Ｐ（ｚ）＝（１＋ｚ^−１）／ｓｑｒｔ（２）
Ｈ（ｚ）＝（１−ｚ^−１）／ｓｑｒｔ（２）
ｓｑｒｔ（ｘ）：ｘの平方根を返す関数
なお、サブバンド分割処理で用いられるローパスフィルタ処理の伝達関数Ｇ（ｚ）、ハイパスフィルタ処理の伝達関数Ｈ（ｚ）、および、サブバンド合成処理で用いられるローパスフィルタ処理の伝達関数Ｐ（ｚ）、ハイパスフィルタ処理の伝達関数Ｑ（ｚ）は、他の特性のものであってもよい。

【0270】

また、上記実施形態で説明した超解像画像生成装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

【0271】

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0272】

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

【0273】

また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

【0274】

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

【0275】

例えば、上記実施形態（変形例を含む）の各機能部を、ソフトウェアにより実現する場合、図１７に示したハードウェア構成（例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。

【0276】

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

【0277】

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

【0278】

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

【0279】

また、文言「部」は、「サーキトリー（ｃｉｒｃｕｉｔｒｙ）」を含む概念であってもよい。サーキトリーは、ハードウェア、ソフトウェア、あるいは、ハードウェアおよびソフトウェアの混在により、その全部または一部が、実現されるものであってもよい。

【0280】

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

【符号の説明】

【0281】

１００、２００、３００、３００Ａ 超解像画像生成装置
１ サブバンド分割部
２、２Ａ 予測部
３ サブバンド合成部
４ 小領域設定部
５、５Ａ 復元率取得部
５４ 復元率算出部
５５ 第１サブバンド復元率算出部
５６ 第２サブバンド復元率算出部
５７ 第３サブバンド復元率算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】