特許 6703732 超解像装置、超解像方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6703732

(24)【登録日】2020年5月13日

(45)【発行日】2020年6月3日

(54)【発明の名称】超解像装置、超解像方法、およびプログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20200525BHJP

   H04N 1/387 20060101ALI20200525BHJP

【ＦＩ】

   G06T3/40 730

   H04N1/387 101

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2015-240324(P2015-240324)

(22)【出願日】2015年12月9日

(65)【公開番号】特開2017-107378(P2017-107378A)

(43)【公開日】2017年6月15日

【審査請求日】2018年11月30日

(73)【特許権者】

【識別番号】504182255

【氏名又は名称】国立大学法人横浜国立大学

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100196058

【弁理士】

【氏名又は名称】佐藤 彰雄

(72)【発明者】

【氏名】長尾 智晴

(72)【発明者】

【氏名】斎藤 翠

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開２０１４−２２２４４２（ＪＰ，Ａ）

【文献】 特開２０１３−０２７６０８（ＪＰ，Ａ）

【文献】 特開２０１３−０２１６２３（ＪＰ，Ａ）

【文献】 特開２００７−２５２８９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／４０

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

原画像を複数の部分画像に分割する分割部と、
前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成する候補生成部と、
前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出する次元数算出部と、
前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出する評価値算出部と、
前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定する決定部と、
前記複数の部分超解像画像を結合することで、超解像画像を生成する結合部と
を備える超解像装置。

【請求項2】

前記候補生成部が、前記部分画像を構成する画素のそれぞれを、平均明度が前記画素の明度と等しい所定の正方画素パターンに置換することで、前記複数の候補画像を生成する 請求項１に記載の超解像装置。

【請求項3】

前記評価値算出部が、前記複数の候補画像ごとに、前記フラクタル評価値と他の評価値とを算出し、
前記決定部が、前記複数の候補画像のうち、前記フラクタル評価値と前記他の評価値の和が最も大きいものを前記部分超解像画像に決定する
請求項１または請求項２に記載の超解像装置。

【請求項4】

前記次元数算出部が、
前記部分画像または前記候補画像の明度のヒストグラムに基づいて画素数が一定数となる明度の範囲を特定し、
特定した前記明度の範囲に含まれる画素と他の画素とで前記部分画像を二値化し、
目の粗さが異なる複数の正方格子について、二値化された前記部分画像を前記正方格子で区切った場合に黒の画素が含まれる格子の数をカウントし、
前記黒の画素が含まれる格子の数に基づいて、前記フラクタル次元数を算出する
請求項１から請求項３の何れか１項に記載の超解像装置。

【請求項5】

原画像を複数の部分画像に分割するステップと、
前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成するステップと、
前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出するステップと、
前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出するステップと、
前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定するステップと、
前記複数の部分超解像画像を結合することで、超解像画像を生成するステップと
を有する超解像方法。

【請求項6】

コンピュータを、
原画像を複数の部分画像に分割する分割部、
前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成する候補生成部、
前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出する次元数算出部、
前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出する評価値算出部、
前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定する決定部、
前記複数の部分超解像画像を結合することで、超解像画像を生成する結合部
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力画像の解像度を高めた出力画像を生成する超解像装置、超解像方法、およびプログラムに関する。

【背景技術】

【0002】

デジタル画像のサイズを拡大し、解像度を向上させる超解像技術が知られている。特許文献１には、入力画像を線形補間によって拡大し、これに強調された高周波成分を加算することで出力画像を得る技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５−１６６９７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、線形補間により入力画像を拡大する場合、拡大された画像には、入力画像に表れない細部の特徴を再現することはできない。特許文献１に開示された技術のように、線形補間により得られ得た画像に高周波成分を加算した場合、線形補間によりぼけたエッジを先鋭化することはできるが、入力画像に表れない細部の特徴を再現することはできない。
本発明の目的は、原画像に表れない細部の特徴を再現可能な超解像装置、超解像方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0005】

本発明の第１の態様によれば、超解像装置は、原画像を複数の部分画像に分割する分割部と、前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成する候補生成部と、前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出する次元数算出部と、前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出する評価値算出部と、前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定する決定部と、前記複数の部分超解像画像を結合することで、超解像画像を生成する結合部とを備える。

【0006】

本発明の第２の態様によれば、第１の態様に係る超解像装置は、前記候補生成部が、前記部分画像を構成する画素のそれぞれを、平均明度が前記画素の明度と等しい所定の正方画素パターンに置換することで、前記複数の候補画像を生成する。

【0007】

本発明の第３の態様によれば、第１または第２の態様に係る超解像装置は、前記評価値算出部が、前記複数の候補画像ごとに、前記フラクタル評価値と他の評価値とを算出し、前記決定部が、前記複数の候補画像のうち、前記フラクタル評価値と前記他の評価値の和が最も大きいものを前記部分超解像画像に決定する。

【0008】

本発明の第４の態様によれば、第１から第３の何れかの態様に係る超解像装置は、前記次元数算出部が、前記部分画像または前記候補画像の明度のヒストグラムに基づいて画素数が一定数となる明度の範囲を特定し、特定した前記明度の範囲に含まれる画素と他の画素とで前記部分画像を二値化し、目の粗さが異なる複数の正方格子について、二値化された前記部分画像を前記正方格子で区切った場合に黒の画素が含まれる格子の数をカウントし、前記黒の画素が含まれる格子の数に基づいて、前記フラクタル次元数を算出する。

【0010】

本発明の第５の態様によれば、超解像方法は、原画像を複数の部分画像に分割するステップと、前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成するステップと、前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出するステップと、前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出するステップと、前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定するステップと、前記複数の部分超解像画像を結合することで、超解像画像を生成するステップとを有する。

【0011】

本発明の第６の態様によれば、プログラムは、コンピュータを、原画像を複数の部分画像に分割する分割部、前記複数の部分画像のそれぞれについて、当該部分画像に基づいて、前記部分画像より大きく、かつ縮小操作により前記部分画像と同じ画像が得られる複数の候補画像を生成する候補生成部、前記複数の候補画像のそれぞれのフラクタル次元数、および前記複数の部分画像のそれぞれのフラクタル次元数を算出する次元数算出部、前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と、前記複数の部分画像のうち対応する前記部分画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出する評価値算出部、前記複数の部分画像それぞれについて、前記フラクタル評価値に基づいて、前記複数の候補画像の中から当該部分画像に対応する部分超解像画像を決定する決定部、前記複数の部分超解像画像を結合することで、超解像画像を生成する結合部として機能させる。

【発明の効果】

【0012】

上記態様のうち少なくとも１つの態様によれば、超解像装置は、原画像に近いフラクタル次元数を有する超解像画像を得ることができる。これにより、原画像に表れない細部の特徴が表れる超解像画像を得ることができる。

【図面の簡単な説明】

【0013】

【図1】一実施形態による超解像装置の構成を示す概略ブロック図である。

【図2】一実施形態に係る平方画素パターンの例を示す図である。

【図3】一実施形態に係る超解像装置の動作を示す第１のフローチャートである。

【図4】一実施形態に係る超解像装置の動作を示す第２のフローチャートである。

【図5】一実施形態に係る超解像処理の例を示す図である。

【図6】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら実施形態について詳しく説明する。
図１は、一実施形態による超解像装置の構成を示す概略ブロック図である。
本実施形態に係る超解像装置１は、グレイスケールの入力画像の２倍の解像度を有する出力画像を生成する。なお、本明細書において「解像度をＸ倍にする」とは、画像の１辺当たりの画素数をＸ倍にすることをいう。つまり、解像度をＸ倍にすると、画素数はＸ^２倍になる。超解像装置１は、画像入力部１０１、分割部１０２、候補生成部１０３、次元数算出部１０４、外部明度順位特定部１０５、内部明度順位特定部１０６、評価値算出部１０７、決定部１０８、結合部１０９を備える。

【0015】

画像入力部１０１は、超解像処理の対象となる入力画像の入力を受け付ける。
分割部１０２は、画像入力部１０１に入力された入力画像を複数の部分画像に分割する。分割部１０２は、例えば入力画像をＰピクセル×Ｐピクセル（例えば、８×８）の部分画像に分割する。
候補生成部１０３は、分割部１０２が分割した部分画像それぞれについて、当該部分画像の各画素を、２ピクセル×２ピクセルの平方画素パターンに置換することで、部分画像の２倍のサイズ（すなわち、２Ｐピクセル×２Ｐピクセル）を有する候補画像を生成する。なお、候補画像は、部分画像と同じ解像度に縮小することで部分画像と同じ画像が得られる画像である。本実施形態において、部分画像は原画像の一例である。

【0016】

次元数算出部１０４は、分割部１０２が生成した部分画像および候補生成部１０３が生成した候補画像のフラクタル次元数を算出する。本実施形態に係る次元数算出部１０４は、例えばボックスカウント法により、フラクタル次元数を算出する。具体的には、次元数算出部１０４は、以下の手順でフラクタル次元数を算出する。まず、次元数算出部１０４は、部分画像および候補画像の明度のヒストグラムを生成する。次に、次元数算出部１０４は、当該ヒストグラムに含まれる画素数をＱ等分（例えば、８等分）する明度の範囲を特定する。次に、次元数算出部１０４は、特定した範囲に含まれる画素と他の画素とで分割画素を二値化し、二値化画像を得る。例えば、次元数算出部１０４は、特定した範囲に含まれる画素を黒とし、他の画素を白とする二値化処理を行う。次に、次元数算出部１０４は、目の粗さが異なる複数の正方格子について、二値化画像をその正方格子で区切った場合に黒の画素が含まれる格子の数をカウントする。そして、次元数算出部１０４は、格子のサイズの対数と黒の画素が含まれる格子の数の対数との関係を一次関数で近似し、その傾きを、フラクタル次元数として特定する。つまり、次元数算出部１０４は、ヒストグラムをＱ等分する各範囲に係るフラクタル次元数を特定する。

【0017】

外部明度順位特定部１０５は、部分画像を構成する各画素について、その画素に隣接する画素である隣接画素（左上隣接画素、右上隣接画素、左下隣接画素、および右下隣接画素）の平均明度の順位を特定する。左上隣接画素とは、対象画素の左、左上および上に隣接する画素をいう。右上隣接画素とは、対象画素の右、右上および上に隣接する画素をいう。左下隣接画素とは、対象画素の左、左下および下に隣接する画素をいう。右下隣接画素とは、対象画素の右、右下および下に隣接する画素をいう。
内部明度順位特定部１０６は、候補画像を構成する各平方画素パターンについて、その平方画素パターンを構成する４つの画素（左上画素、右上画素、左下画素、および右下画素）の明度の順位を特定する。

【0018】

評価値算出部１０７は、フラクタル次元数に基づくフラクタル評価値と、隣接画素どうしの明度変化の滑らかさを評価するスムース評価値との加重和を求めることで、超解像評価値を算出する。フラクタル評価値は、部分画像と候補画像のフラクタル次元数の差が小さいほど大きい値を示す。スムース評価値は、外部明度順位特定部１０５が特定した順位と内部明度順位特定部１０６が特定した順位との差が小さいほど大きい値を表す。なお、フラクタル評価値およびスムース評価値は０以上１以下の値であり、大きいほど適性が高いことを示す。
決定部１０８は、評価値算出部１０７が算出した超解像評価値が最も大きい候補画像を、部分超解像画像に決定する。つまり、本実施形態において部分超解像画像は、超解像画像の一例である。
結合部１０９は、複数の部分画像それぞれに対応する部分超解像画像を結合することで、画像入力部１０１に入力された入力画像に対応する出力画像を生成する。

【0019】

ここで、平方画素パターンについて説明する。
図２は、一実施形態に係る平方画素パターンの例を示す図である。
本実施形態に係る平方画素パターンは、部分画像の対応する画素に第１の明度Ｂ１を加算する画素ｐ_＋Ｂ１、部分画像の対応する画素の明度に第２の明度Ｂ２を加算する画素ｐ_＋Ｂ２、部分画像の対応する画素の明度に第１の明度Ｂ１を減算する画素ｐ_−Ｂ１、および部分画像の対応する画素の明度に第２の明度Ｂ２を減算する画素ｐ_−Ｂ２の４つの画素の組み合わせによって表される。そのため、平方画素パターンの各画素の平均値は、部分画像の対応する画素の明度と等しくなる。なお、第１の明度および第２の明度としては、例えば−２５以上２５以下の値が挙げられる。
本実施形態に係る平方画素パターンは、画素ｐ_＋Ｂ１、画素ｐ_＋Ｂ２、画素ｐ_−Ｂ１、および画素ｐ_ーＢ２の配置型として、６種類の画素の配置型を有する。第１の配置型は、図２（Ａ）に示すように、左上の画素が画素ｐ_−Ｂ１、右上の画素が画素ｐ_＋Ｂ１、左下の画素が画素ｐ_＋Ｂ２、かつ右下の画素が画素ｐ_−Ｂ２となる配置型である。第２の配置型は、図２（Ｂ）に示すように、左上の画素が画素ｐ_＋Ｂ１、右上の画素が画素ｐ_−Ｂ２、左下の画素が画素ｐ_−Ｂ１、かつ右下の画素が画素ｐ_＋Ｂ２となる配置型である。第３の配置型は、図２（Ｃ）に示すように、左上の画素が画素ｐ_−Ｂ２、右上の画素が画素ｐ_＋Ｂ２、左下の画素が画素ｐ_＋Ｂ１、かつ右下の画素が画素ｐ_−Ｂ１となる配置型である。第４の配置型は、図２（Ｄ）に示すように、左上の画素が画素ｐ_＋Ｂ２、右上の画素が画素ｐ_−Ｂ１、左下の画素が画素ｐ_−Ｂ２、かつ右下の画素が画素ｐ_＋Ｂ１となる配置型である。第５の配置型は、図２（Ｅ）に示すように、左上の画素が画素ｐ_＋Ｂ２、右上の画素が画素ｐ_＋Ｂ１、左下の画素が画素ｐ_−Ｂ１、かつ右下の画素が画素ｐ_−Ｂ２となる配置型である。第６の配置型は、図２（Ｆ）に示すように、左上の画素が画素ｐ_＋Ｂ１、右上の画素が画素ｐ_＋Ｂ２、左下の画素が画素ｐ_−Ｂ２、かつ右下の画素が画素ｐ_−Ｂ１となる配置型である。
したがって、平方画素パターンは、配置型、第１の明度、および第２の明度を格納するデータ構造で表現することができる。

【0020】

次に、本実施形態による超解像装置１の動作について説明する。本実施形態では、超解像装置１が遺伝的アルゴリズム（ＧＡ：Genetic Algorithm）に基づいて部分超解像画像を特定する例について説明する。なお、他の実施形態に係る超解像装置１は、遺伝的アルゴリズムに限られず、他の解探索手法を用いて部分超解像画像を特定してもよい。
図３は、一実施形態に係る超解像装置の動作を示す第１のフローチャートである。図４は、一実施形態に係る超解像装置の動作を示す第２のフローチャートである。
まず、利用者は、超解像処理の対象となる入力画像を超解像装置１に入力する。画像入力部１０１が入力画像の入力を受け付けると（ステップＳ１）、分割部１０２は、入力された入力画像を複数の部分画像に分割する（ステップＳ２）。

【0021】

次に、超解像装置１は、分割部１０２が生成した部分画像を１つずつ選択し、選択した部分画像について以下に示すステップＳ４〜ステップＳ２１の処理を実行する（ステップＳ３）。
まず、次元数算出部１０４は、選択された部分画像のフラクタル次元数を、ヒストグラムをＱ等分する明度範囲ごとに算出する（ステップＳ４）。また、外部明度順位特定部１０５は、部分画像を構成する各画素について、隣接画素の平均明度の順位（外部明度順位）を特定する（ステップＳ５）。なお、外部明度順位は、０から３の整数により表される。次に、候補生成部１０３は、分割部１０２が生成した部分画像の各画素を、ランダムな平方画素パターンに置換することで、Ｎ個の候補画像を生成する（ステップＳ６）。ＮはＧＡの個体数であり、２以上の整数（例えば、１００）である。

【0022】

次に、次元数算出部１０４は、候補生成部１０３が生成した各候補画像のフラクタル次元数を、ヒストグラムをＱ等分する明度範囲ごとに算出する（ステップＳ７）。また、内部明度順位特定部１０６は、各候補画像を構成する各平方画素パターンについて、画素の明度の順位（内部明度順位）を特定する（ステップＳ８）。なお、内部明度順位は、０から３の整数により表される。次に、評価値算出部１０７は、次元数算出部１０４が算出した部分画像のフラクタル次元数と、候補画像のフラクタル次元数とに基づいて、フラクタル評価値を算出する（ステップＳ９）。具体的には、評価値算出部１０７は、次に示す式（１）に従ってフラクタル評価値ｆ_Ｄを算出する。

【0023】

【数1】

【0024】

変数Ｄ^ｋ_ｉｎは、部分画像のｋ番目の明度範囲に係るフラクタル次元数である。変数Ｄ^ｋ_ｏｕｔは、候補画像のｋ番目の明度範囲に係るフラクタル次元数である。

【0025】

次に、評価値算出部１０７は、外部明度順位特定部１０５が特定した外部明度順位と、内部明度順位特定部１０６が特定した内部明度順位とに基づいて、スムース評価値を算出する（ステップＳ１０）。具体的には、評価値算出部１０７は、次に示す式（２）に従ってスムース評価値ｆ_Ｓを算出する。

【0026】

【数2】

【0027】

変数Ｒ^ｍｎ_ｉｎは、部分画像のあるｍ番目の画素の第ｎ方向の隣接画素の平均明度の順位である。なお、第０方向は左上、第１方向は右上、第２方向は左下、第３方向は右下を示す。変数Ｒ^ｍｎ_ｏｕｔは、候補画像のｍ番目の平方画素パターンの第ｎ方向の画素の明度の順位である。

【0028】

次に、評価値算出部１０７は、フラクタル評価値とスムース評価値の加重和を、超解像評価値として算出する（ステップＳ１１）。フラクタル評価値の重みとスムース評価値の重みは、いずれも０以上１以下であって、その和が１となる値である。

【0029】

次に、候補生成部１０３は、上記のステップＳ７からステップＳ１１の処理を、Ｍ回繰り返し実行したか否かを判定する（ステップＳ１２）。ＭはＧＡの世代数であり、２以上の整数（例えば、２００００）である。

【0030】

ステップＳ７からステップＳ１１の処理の繰り返し回数がＭ回に満たない場合（ステップＳ１２：ＮＯ）、候補生成部１０３は、以下のステップＳ１４からステップＳ１９の処理をＮ回繰り返し実行することで、次の世代の候補画像をＮ個生成する（ステップＳ１３）。
まず、候補生成部１０３は、選択、交叉、突然変異の何れの操作により次の世代の候補画像を生成するかを、ランダムに決定する（ステップＳ１４）。

【0031】

候補生成部１０３は、交叉操作を行うことを決定した場合（ステップＳ１４：交叉）、評価値算出部１０７が超解像評価値を算出した複数の候補画像の中から、その超解像評価値に応じた重みによってランダムに２つの候補画像を選択する（ステップＳ１５）。次に、候補生成部１０３は、選択した２つの候補画像の任意の範囲の平方画素パターンを入れ替えることにより、新たな候補画像を生成する（ステップＳ１６）。

【0032】

また、候補生成部１０３は、ステップＳ１４で突然変異操作を行うことを決定した場合（ステップＳ１４：突然変異）、評価値算出部１０７が超解像評価値を算出した複数の候補画像の中から、その超解像評価値に応じた重みによってランダムに１つの候補画像を選択する（ステップＳ１７）。次に、候補生成部１０３は、選択した候補画像の任意の範囲の平方画素パターンを、ランダムに変更することで、新たな候補画像を生成する（ステップＳ１８）。

【0033】

また、候補生成部１０３は、ステップＳ１４で選択操作を行うことを決定した場合（ステップＳ１４：選択）、評価値算出部１０７が超解像評価値を算出した複数の候補画像の中から、その超解像評価値に応じた重みによってランダムに１つの候補画像を次の世代の候補画像として抽出する（ステップＳ１９）。

【0034】

上述したステップＳ１３〜ステップＳ１９の処理により、候補生成部１０３がＮ個の候補画像を生成すると、超解像装置１は処理をステップＳ７に戻し、生成された各候補画像の超解像評価値を算出する。

【0035】

他方、ステップＳ７からステップＳ１２の処理の繰り返し回数がＭ回に達した場合、決定部１０８は、候補生成部１０３が生成した候補画像のうち、評価値算出部１０７が算出した超解像評価値が最も大きいものを、ステップＳ３で選択された部分画像に対応する部分超解像画像に決定する（ステップＳ２０）。
決定部１０８が全ての部分画像について対応する部分超解像画像を決定すると、結合部１０９は、複数の部分超解像画像を結合することで、入力画像に対応する出力画像を生成する（ステップＳ２１）。

【0036】

このように、本実施形態に係る超解像装置１は、入力画像に近いフラクタル次元数を有する出力画像を得ることができる。これにより、超解像装置１は、入力画像に表れない細部の特徴が表れる出力画像を得ることができる。

【0037】

ここで、入力画像と出力画像のフラクタル次元数が近いことにより、出力画像に入力画像に表れない細部の特徴が表れる理由について説明する。自然物の形状には、自己相似性を有するものがあることが知られている。つまり、自然物によっては、その一部分の形状が全体の形状と略相似の関係にある場合がある。このような場合に、その自然物のフラクタル次元数は、拡大倍率に依存しない。したがって、超解像装置１は、入力画像と近いフラクタル次元数を有する出力画像を生成することで、解像度の小ささから入力画像に表れない細部の特徴が表れる出力画像を得ることができる。

【0038】

ここで、本実施形態に係る超解像装置１により生成される画像の例を示す。
図５は、一実施形態に係る超解像処理の例を示す図である。
本実施例では、図５（Ａ）に示すように、入力画像として６４ピクセル×６４ピクセルの、グレイスケール２５６階調の画像を用いた。また、本実施例では、フラクタル次元数の計算対象となる明度の範囲を、ヒストグラムに含まれる画素数を８等分する明度の範囲とした。また、候補生成部１０３がＧＡの１世代に生成する候補画像の数Ｎを１００とし、繰り返し世代数Ｍを２００００とした。また、候補生成部１０３によるＧＡの交叉率を０．８、突然変異率は０．０３とした。また、超解像評価値の算出に用いるフラクタル評価値の重さを０．６とし、スムース評価値の重さを０．４とした。
これらの条件により超解像装置１が生成した出力画像を、図５（Ｂ）に示す。また、従来の超解像手法である線形補間処理（バイリニア法）により生成した拡大画像を、図５（Ｃ）に示す。図５（Ｃ）に示すように、バイリニア法で生成された拡大画像は、細部の特徴が写っておらず、ぼやけた画像となっている。これに対し、本実施形態に係る超解像装置１が生成した出力画像は、図５（Ｂ）に示すように、入力画像に写らない細部の特徴が表れ、またエッジが明瞭に表れている。
このように、本実施形態に係る超解像装置１は、解像度の小ささから入力画像に表れない細部の特徴が表れる出力画像を得ることができる。

【0039】

また、本実施形態によれば、超解像装置１は、部分画像を構成する画素のそれぞれを、平均明度が画素の明度と等しい正方画素パターンに置換することで、候補画像を生成する。これにより、超解像装置１は、少ない計算量で候補画像を生成することができる。

【0040】

また、本実施形態によれば、超解像装置１は、候補画像のうちフラクタル評価値とスムース評価値の荷重和が最も大きいものを部分超解像画像に決定する。これにより、超解像装置１は、細部の特徴が表れ、かつ正方画素パターン間に生じるエッジが小さいスムースな画像を、部分超解像画像に決定することができる。

【0041】

また、本実施形態によれば、超解像装置１は、画像のヒストグラムに基づいて、画素数が一定数となる明度の範囲を特定し、明度が所定の範囲内に存在する画素の数に基づいてフラクタル次元数を算出する。これにより、超解像装置１は、画像のコントラストによらず図形を構成する画素を適切に特定することができる。そのため、超解像装置１は、ボックスカウント法により適切にフラクタル次元数を算出することができる。

【0042】

また、上述した実施形態によれば、超解像装置１は、入力画像を複数の部分画像に分割し、複数の部分画像を部分超解像画像に変換し、これらを結合することで、出力画像を得る。これにより、超解像装置１は、入力画像にフラクタル次元数の異なる複数の物体が写っている場合にも、それぞれのフラクタル次元数に基づいて適切に超解像処理を施すことができる。

【0043】

以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態によれば、超解像装置１は、部分画像を構成する画素のそれぞれを、平均明度が画素の明度と等しい正方画素パターンに置換することで、候補画像を生成するが、これに限られない。例えば、他の実施形態において、解像度をＳ／Ｔ倍に拡大する場合、超解像装置１は、部分画像を構成するＴピクセル×Ｔピクセルの画素群を、平均明度が対応する画素群の平均明度と等しいＳピクセル×Ｓピクセルの正方画素パターンに置換してもよい。また、他の実施形態において超解像装置１は、正方画素パターンへの置換以外の方法により候補画像を生成してもよい。

【0044】

また、上述した実施形態によれば、超解像装置１は、候補画像のうちフラクタル評価値とスムース評価値の荷重和が最も大きいものを部分超解像画像に決定するが、これに限られない。例えば、他の実施形態に係る超解像装置１は、フラクタル評価値のみに基づいて部分超解像画像を決定してもよい。また、他の実施形態に係る超解像装置１は、フラクタル評価値に加え、スムース評価値でない他の評価値に基づいて部分超解像画像を決定してもよい。
他の評価値の例としては、部分画像が人物を含む場合に画像に写る物体の人物らしさを評価する評価値が挙げられる。具体的には、予め人物の部分が写った画像を複数用意しておき、これらとの類似度のうち最も高い物を、評価値として用いてもよい。
また、他の評価値の例としては、部分画像がエッジ上の点である場合に部分超解像画像にそのエッジが保存されているか否かを評価する評価値が挙げられる。具体的には、部分画像からエッジ成分を抽出し、部分超解像画像のうち抽出したエッジ成分に相当する部分のコントラストの強さを、評価値として用いてもよい。
また、他の評価値の例としては、部分画像の細部に、自己相似性を有する構造が表れているか否かを評価する評価値が挙げられる。具体的には、入力画像において解像度が小さいために細部の構造が写らない範囲（例えば、２ピクセル×２ピクセルの範囲）に対応する部分画像の範囲と、入力画像に写る自己相似性を有する構造との類似度を、評価値として用いてもよい。

【0045】

また、上述した実施形態によれば、超解像装置１は、ボックスカウント法に基づいてフラクタル次元数を算出するが、これに限られない。例えば、他の実施形態に係る超解像装置１は、フラクタル次元としてハウスドルフ次元、レニー次元、パッキング次元、または相関次元を算出してもよい。

【0046】

また、上述した実施形態によれば、超解像装置１は、入力画像を複数の部分画像に分割し、複数の部分画像を部分超解像画像に変換し、これらを結合することで、出力画像を得るが、これに限られない。例えば、他の実施形態に係る超解像装置１は、入力画像を拡大した候補画像を生成し、入力画像と同じフラクタル次元数を有する出力画像を直接生成してもよい。

【0047】

また、上述した実施形態によれば、超解像装置１は、入力画像をＰピクセル×Ｐピクセルの部分画像に分割するが、これに限られない。例えば、他の実施形態に係る超解像装置１は、パターン認識により認識された物体ごとに画像を分割してもよい。この場合、分割部１０２は、物体ごとのフラクタル次元数に基づいて超解像を行うことができる。

【0048】

また、上述した実施形態によれば、超解像装置１は、グレイスケールの画像を超解像処理したが、これに限られない。例えば、他の実施形態に係る超解像装置１は、カラー画像を超解像処理してもよい。この場合、超解像装置１は、ＲＧＢ空間の赤成分、緑成分、および青成分のそれぞれの明度、ＨＳＶ空間の明度、またはＹＵＶ空間の輝度に基づいてフラクタル次元数を算出する。また、この場合、超解像装置１は、拡大後の画素分布の平均色が入力画像の対象画素の色と等しくなるように候補画像を生成する。このとき、超解像装置１は、ＨＳＶ空間またはＹＵＶ空間など、色彩と明るさとが別に定義された体系に基づいて候補画像を生成することが好ましい。

【0049】

図６は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。
上述の超解像装置１は、コンピュータ９に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。

【0050】

なお、少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース９０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ９に配信される場合、配信を受けたコンピュータ９が当該プログラムを主記憶装置９０２に展開し、上記処理を実行してもよい。

【0051】

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0052】

１ 超解像装置
１０１ 画像入力部
１０２ 分割部
１０３ 候補生成部
１０４ 次元数算出部
１０５ 外部明度順位特定部
１０６ 内部明度順位特定部
１０７ 評価値算出部
１０８ 決定部
１０９ 結合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】