特許 6088235 超解像装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6088235

(24)【登録日】2017年2月10日

(45)【発行日】2017年3月1日

(54)【発明の名称】超解像装置及びプログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20170220BHJP

【ＦＩ】

   G06T3/40 730

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2012-274361(P2012-274361)

(22)【出願日】2012年12月17日

(65)【公開番号】特開2014-119949(P2014-119949A)

(43)【公開日】2014年6月30日

【審査請求日】2015年11月2日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】境田 慎一

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２０１２−０５９１３８（ＪＰ，Ａ）

【文献】 特開２０１２−２４７８９７（ＪＰ，Ａ）

【文献】 特表２０１２−５０６６４７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ５／５０

(57)【特許請求の範囲】

【請求項1】

単一フレームの入力画像から入力画像の超解像画像を生成する超解像装置であって、
入力画像を画素ごとにフィルタ処理してＰ種類（Ｐは２以上の自然数）の周波数分解画像を生成する周波数分解フィルタと、
前記Ｐ種類の周波数分解画像を、それぞれ画素単位での標本値を所定パターンで並べたブロックをタイル状に配置しつつ１画像に合成して多重化画像を生成する多重化部と、
前記多重化画像を画素ごとにフィルタ処理して超解像画像を生成する超解像フィルタと、
を備えることを特徴とする超解像装置。

【請求項2】

前記各周波数分解フィルタは、複数段のフィルタの縦続接続により構成されることを特徴とする、請求項１に記載の超解像装置。

【請求項3】

前記各周波数分解フィルタは、周波数分解を行うフィルタと、信号の加工を行うフィルタとの縦続接続により構成されることを特徴とする、請求項２に記載の超解像装置。

【請求項4】

前記各周波数分解フィルタ及び前記超解像フィルタは、画素位置ごとに使用するフィルタを特定する切替えマップを用いて、各画素のフィルタ演算を行うことを特徴とする、請求項１から３のいずれか一項に記載の超解像装置。

【請求項5】

前記多重化部は、前記Ｐ種類の周波数分解画像の各１画素ずつを所定順序でＰ＝Ｍ×Ｎ画素（Ｍ，Ｎは自然数、Ｍ又はＮの少なくとも一方は２以上）の長方形状に並べたブロックをタイル状に並べて前記多重化画像を生成することを特徴とする、請求項１から４のいずれか一項に記載の超解像装置。

【請求項6】

前記Ｍは２であり、かつ前記Ｎも２であり、
前記周波数分解フィルタは、前記入力画像に対して水平方向にハイパスフィルタ処理を施したＨＬ画像、前記入力画像に対して垂直方向にハイパスフィルタ処理を施したＬＨ画像、及び前記入力画像に対して水平方向及び垂直方向にハイパスフィルタ処理を施したＨＨ画像を生成し、
前記多重化部は、前記入力画像、前記ＨＬ画像、前記ＬＨ画像、及び前記ＨＨ画像を合成して前記多重化画像を生成することを特徴とする、請求項５に記載の超解像装置。

【請求項7】

コンピュータを、請求項１から６のいずれか一項に記載の超解像装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、超解像による画像の高解像度化を行う超解像装置及びプログラムに関し、特に畳み込み演算に基づく単一フレーム超解像を利用するものに関する。

【背景技術】

【0002】

入力画像をより高解像の画像に変換する超解像技術は、複数フレームを用いて超解像を行う複数フレーム超解像と、単一フレームを用いて超解像を行う単一フレーム超解像とに大別される。単一フレーム超解像は、入力された低解像画像の中高域のエネルギー成分から高解像画像の高域成分を人工的に生成する手法である。単一フレーム超解像として、例えば、入力された低解像画像をウェーブレット分解によってサブバンド分解し、高域サブバンドから更なる高域情報をフィルタ処理によって生成して、入力低解像画像と生成された更なる高域情報とをサブバンド合成することによって高解像画像を得る技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−４３４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、ウェーブレット分解で得られる高域成分に対して帯域制限した後、入力画像とともに再構成を行うことでアップサンプリング（超解像）を行う方法が開示されている。しかし、この超解像方法を論理規模や演算量の観点で効率的に実現するための実装法については言及されておらず、ハードウェア等で実施するためには具体的な効率的実装法を確立する必要があった。

【0005】

かかる事情に鑑みてなされた本発明の目的は、回路のハードウェアの規模を削減することが可能な超解像装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る超解像装置は、単一フレームの入力画像から入力画像の超解像画像を生成する超解像装置であって、入力画像を画素ごとにフィルタ処理してＰ種類（Ｐは２以上の自然数）の周波数分解画像を生成する周波数分解フィルタと、前記Ｐ種類の周波数分解画像を、それぞれ画素単位での標本値を所定パターンで並べたブロックをタイル状に配置しつつ１画像に合成して多重化画像を生成する多重化部と、前記多重化画像を画素ごとにフィルタ処理して超解像画像を生成する超解像フィルタと、を備えることを特徴とする。

【0007】

さらに、本発明に係る超解像装置において、前記各周波数分解フィルタは、複数段のフィルタの縦続接続により構成されることを特徴とする。

【0008】

さらに、本発明に係る超解像装置において、前記各周波数分解フィルタは、周波数分解を行うフィルタと、信号の加工を行うフィルタとの縦続接続により構成されることを特徴とする。

【0009】

さらに、本発明に係る超解像装置において、前記各周波数分解フィルタ及び前記超解像フィルタは、画素位置ごとに使用するフィルタを特定する切替えマップを用いて、各画素のフィルタ演算を行うことを特徴とする。

【0010】

さらに、本発明に係る超解像装置において、前記多重化部は、前記Ｐ種類の周波数分解画像の各１画素ずつを所定順序でＰ＝Ｍ×Ｎ画素（Ｍ，Ｎは自然数、Ｍ又はＮの少なくとも一方は２以上）の長方形状に並べたブロックをタイル状に並べて前記多重化画像を生成することを特徴とする。

【0011】

さらに、本発明に係る超解像装置において、前記Ｍは２であり、かつ前記Ｎも２であり、前記周波数分解フィルタは、前記入力画像に対して水平方向にハイパスフィルタ処理を施したＨＬ画像、前記入力画像に対して垂直方向にハイパスフィルタ処理を施したＬＨ画像、及び前記入力画像に対して水平方向及び垂直方向にハイパスフィルタ処理を施したＨＨ画像を生成し、前記多重化部は、前記入力画像、前記ＨＬ画像、前記ＬＨ画像、及び前記ＨＨ画像を合成して前記多重化画像を生成することを特徴とする。

【0012】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。

【発明の効果】

【0013】

本発明によれば、超解像処理を行う回路のハードウェアの規模を削減することができるようになる。

【図面の簡単な説明】

【0014】

【図1】本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。

【図2】本発明の第１の実施形態に係る超解像装置の処理の概念を示す図である。

【図3】本発明の第１の実施形態に係る超解像装置における多重化部の処理の概念を示す図である。

【図4】本発明の第２の実施形態に係る超解像装置の構成例を示すブロック図である。

【図5】本発明の第２の実施形態に係る超解像装置における周波数分解フィルタが使用するフィルタの例を示す図である。

【図6】本発明の第３の実施形態に係る超解像装置の構成例を示すブロック図である。

【図7】本発明の第４の実施形態に係る超解像装置の構成例を示すブロック図である。

【図8】本発明の第４の実施形態に係る超解像装置における各フィルタの処理の概念を示す図である。

【図9】本発明の第４の実施形態に係る超解像装置における各フィルタの動作を示すフローチャートである。

【図10】本発明の第４の実施形態に係る超解像装置における切替えマップ変換部の第１の変換例を説明する図である。

【図11】本発明の第４の実施形態に係る超解像装置における切替えマップ変換部の第２の変換例を説明する図である。

【図12】本発明の第４の実施形態に係る超解像装置における各フィルタの係数テーブルに設定する畳み込みカーネルの例を示す図である。

【図13】本発明の第４の実施形態に係る超解像装置における各フィルタが用いる切替えマップの例を示す図である。

【図14】図１３の切替えマップを用いた結果、出力画像の画質が互いに異なるようになる部分領域の例を示した図である。

【図15】本発明に係る超解像装置において多重化部に入力される画像数が２×２以外の例を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明による超解像装置の実施形態について、図面を参照して詳細に説明する。

【0016】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。図１に示すように、超解像装置１は、複数の周波数分解フィルタ１０と、多重化部３０と、超解像フィルタ４０とを備える。以下の実施形態では、周波数分解フィルタ１０が３つであり、多重化部３０に入力される画像数が４つの場合について説明する。

【0017】

図２は、第１の実施形態に係る超解像装置１の処理の概念を示す図である。図２に示すように、第１の実施形態に係る超解像装置１は、周波数分解フィルタ１０から、４種類の周波数分解画像、すなわちＬＬ画像、ＨＬ画像、ＬＨ画像、及びＨＨ画像を生成し、次にこれらの画像を画素単位で多重した多重化画像を生成し、最後に多重化画像を超解像処理して超解像画像を生成する。図２において、×を丸印で囲った記号はフィルタを示している。

【0018】

本実施形態では入力画像をそのままＬＬ画像として用いている。本明細書において、周波数分解画像とは、入力画像も含むものとする。また、入力画像にフィルタ処理を施した画像をＬＬ画像としてもよい。その場合には、超解像装置１は、４つ目の周波数分解フィルタ１０−４を備えることとなる。

【0019】

周波数分解フィルタ１０は、入力画像に対して、画素ごとに制御可能なフィルタ係数によるフィルタ処理を行い、Ｐ種類（Ｐは２以上の自然数）の周波数分解（サブバンド分解）画像を生成する。本実施形態ではＰ＝４とする。入力画像のサイズを水平Ｘ画素、垂直Ｙ画素（Ｘ，Ｙは自然数）とすると、周波数分解画像のサイズも水平Ｘ画素、垂直Ｙ画素である。周波数分解フィルタ１０−１は、入力画像に対して水平方向にハイパスフィルタ処理を施した画像Ｖ１（ＨＬ画像）を生成する。周波数分解フィルタ１０−２は、入力画像に対して垂直方向にハイパスフィルタ処理を施した画像Ｖ２（ＬＨ画像）を生成する。周波数分解フィルタ１０−３は、入力画像に対して水平方向及び垂直方向にハイパスフィルタ処理を施した画像Ｖ３（ＨＨ画像）を生成する。

【0020】

多重化部３０は、入力画像Ｓと、周波数分解フィルタ１０−１から出力される周波数分解画像Ｖ１と、周波数分解フィルタ１０−２から出力される周波数分解画像Ｖ２と、周波数分解フィルタ１０−３から出力される周波数分解画像Ｖ３とを、画素単位で標本位置をインターリーブしつつ１画像に合成して多重化画像を生成する。このとき、多重化部３０は、多重化画像内にＰ画素からなる所定形状・サイズのブロックをタイル状に配置する。さらに、多重化部３０は、Ｐ種類の周波数分解画像の各同一画素位置の画素値を、各ブロック内の所定位置の画素値とすることで、各周波数分解画像の画素値が所定のパターンにおいて多重化される。例えば、多重化部３０は、Ｐ＝Ｍ×Ｎ種類（Ｍ，Ｎは自然数。ただし、Ｍ又はＮの少なくとも一方は２以上。）の周波数分解画像の各１画素ずつを所定順序でＭ×Ｎ画素の長方形状に並べたブロックをタイル状に並べて多重化画像を生成する。本実施形態ではＭ×Ｎ＝２×２とする。

【0021】

図３は、多重化部３０の処理の概念を示す図である。多重化部３０は、Ｐ種類の周波数分解画像、すなわち画像Ｓ、画像Ｖ１、画像Ｖ２、及び画像Ｖ３を画素単位で空間的に多重化して多重化画像Ｗを生成する。多重化画像Ｗの大きさは水平２Ｘ画素、垂直２Ｙ画素となる。例えば、多重化部３０は、次式（１）により多重化画像Ｗを得る。この場合、多重化画像Ｗは、２×２画素単位で、左上に入力画像Ｓの画素が配置され、右上に画像Ｖ１の画素が配置され、左下に画像Ｖ２の画素が配置され、右下に画像Ｖ３の画素が配置される。

【0022】

【数1】

【0023】

超解像フィルタ４０は、多重化部３０により生成された水平２Ｘ画素、垂直２Ｙ画素の多重化画像Ｗに対して、画素ごとに係数可変な畳込フィルタ処理を行い、周波数分解された画像を合成し、水平２Ｘ画素、垂直２Ｙ画素の超解像画像を生成する。例えば、入力画像が周波数分解フィルタ１０によりウェーブレット分解されていた場合には、多重化部３０及び超解像フィルタ４０によりウェーブレットによる帯域合成を行う。

【0024】

このように、超解像装置１は、周波数分解フィルタ１０により、入力画像に対し異なる伝達特性（周波数応答）のフィルタを適用した複数の周波数分解画像を生成する。複数の周波数分解画像で構成されるＰ種類の画像を多重化部によって合成することで、異なる伝達特性のフィルタを通過した各画像が水平及び垂直に交互に配置された多重化画像が得られる。異なる伝達特性のフィルタを通過した画像の画素値情報が各画素互いに近接して配置されるため、超解像フィルタは入力された多重化画像の局所を参照するだけで画像相互間の近傍画素同士の関数合成を実現することができる。その結果、各フィルタのタップ長（フィルタ長）を節約し（あるいはアドレッシングを近傍に限定し）ながらも、超解像処理を実現することができるため、超解像処理実装時のハードウェア資源を削減することができる。また、ハードウェア資源を削減することで、メモリや演算器の消費電力も節約することができる。

【0025】

また、超解像装置１を構成するフィルタ群は同一の構造を有するため、ハードウェアやソフトウェア実装時に回路やサブルーチンを共有化することや複製による再利用を行うことが可能となり、装置開発の容易化や、保守性の向上、ハードウェア規模の削減、ソフトウェアの小規模化が可能となる。

【0026】

（第２の実施形態）
次に、本発明の第２の実施形態に係る超解像装置について説明する。図４は、本発明の第２の実施形態に係る超解像装置の構成例を示すブロック図である。図４に示すように、超解像装置２は、複数の周波数分解フィルタ１０と、多重化部３０と、超解像フィルタ４０とを備える。本実施形態では周波数分解フィルタ１０が３つの場合を示している。第２の実施形態の超解像装置２は、第１の実施形態の超解像装置１と比較して、周波数分解フィルタ１０が複数段のフィルタの縦続接続により構成される点が相違する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。

【0027】

超解像装置２の各周波数分解フィルタ１０は、第１フィルタ２０と、第２フィルタ２１とを備える。本実施形態では各周波数分解フィルタ１０が２つのフィルタ２０，２１を備える構成としているが、フィルタの縦続接続数は２つに限られるものではない。

【0028】

第１フィルタ２０−１及び第２フィルタ２１−１により、入力画像に対して水平方向にハイパスフィルタ処理を施した画像Ｖ１（ＨＬ画像）を生成する。第１フィルタ２０−２及び第２フィルタ２１−２により、入力画像に対して垂直方向にハイパスフィルタ処理を施した画像Ｖ２（ＬＨ画像）を生成する。第１フィルタ２０−３及び第２フィルタ２１−３により、入力画像に対して水平方向及び垂直方向にハイパスフィルタ処理を施した画像Ｖ３（ＨＨ画像）を生成する。

【0029】

図５は、超解像装置２の周波数分解フィルタ１０が使用するフィルタの例を示す図である。図５（ａ）（ｂ）（ｃ）は、それぞれ第１フィルタ２０−１，２０−２，２０−３が画素ごとに適用するフィルタの例を示しており、図５（ｄ）は第２フィルタ２１−１，２１−２，２１−３が画素ごとに適用するフィルタの例を示している。この例では、フィルタＤ_ＨＬ、Ｄ_ＬＨ、Ｄ_ＨＨによりＨａａｒ基底に基づくウェーブレット分解を行い、フィルタＣ_ＬＬ、Ｃ_ＬＨ、Ｃ_ＬＨ、Ｃ_ＨＨにより補間処理を行う。フィルタの係数値を以下に示す。

【0030】

【数2】

【0031】

このように超解像装置２は、各周波数分解フィルタ１０が、複数のフィルタの縦続接続によって構成される。かかる超解像装置２によれば、１段のフィルタで同一の処理を行う場合と比較して、より短いタップ長で同程度の効果を得ることができるので、ハードウェア資源を更に削減することができる。よって、１つの畳み込み演算を複数の畳み込み演算に分解できる場合には、フィルタを複数段にするのが好適である。

【0032】

（第３の実施形態）
次に、本発明の第３の実施形態に係る超解像装置について説明する。図６は、本発明の第３の実施形態に係る超解像装置の構成例を示すブロック図である。図６に示すように、超解像装置３は、複数の周波数分解フィルタ１０と、多重化部３０と、超解像フィルタ４０とを備える。本実施形態では周波数分解フィルタ１０が３つの場合を示している。第３の実施形態の超解像装置３は、第２の実施形態の超解像装置２と比較して、各周波数分解フィルタ１０が第３フィルタを備える点が相違する。なお、第２の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。

【0033】

超解像装置３の各周波数分解フィルタ１０は、第１フィルタ２０と、第２フィルタ２１と、第３フィルタ２２とを備える。本実施形態では各周波数分解フィルタ１０が３つのフィルタ２０，２１，２２を備える構成としているが、フィルタの縦続接続数は３つに限られるものではない。

【0034】

第３フィルタ２２は、第１フィルタ２０及び第２フィルタ２１により生成された周波数分解画像に対して、エッジを強調又はぼかしたり、ゲイン調整をしたりするなど、信号の加工を行うフィルタである。なお、第１フィルタ２０、第２フィルタ２１、及び第３フィルタ２２の並びは順不同であり、例えば第３フィルタ２２により信号の加工を行った後に、第１フィルタ２０及び第２フィルタ２１により周波数分解を行ってもよい。また、信号の加工を行うフィルタを複数段の縦続接続したフィルタにより構成してもよい。

【0035】

このように超解像装置３は、各周波数分解フィルタ１０が、周波数分解を行うフィルタと信号の加工を行うフィルタとの縦続接続によって構成される。かかる超解像装置３によれば、周波数分解フィルタ１０の初段において画像全体に対する画像処理（例えば、サブバンド分解）を行い、周波数分解フィルタ１０の後続段において画像の領域ごとの詳細な画像処理（例えば、各サブバンドに対する信号波形の加工）を行うなど、周波数分解フィルタ１０を機能・効果別に分離することができる。これにより、画像の全体及び画像の領域ごとに画像処理を行うことができ、画質を向上させることができる。

【0036】

（第４の実施形態）
図７は、本発明の第４の実施形態に係る超解像装置の構成例を示すブロック図である。図７に示すように、超解像装置４は、複数の周波数分解フィルタ１０と、多重化部３０と、超解像フィルタ４０と、切替えマップ変換部５０とを備える。本実施形態では周波数分解フィルタ１０が３つの場合を示している。第４の実施形態の超解像装置４は、第３の実施形態の超解像装置３と比較して、周波数分解フィルタ１０及び超解像フィルタ４０に切替えマップが入力され、切替えマップ変換部５０を更に備える点が相違する。

【0037】

周波数分解フィルタ１０及び超解像フィルタ４０は、画素位置ごとに複数の異なるフィルタを適用可能とするために、画素位置ごとに使用するフィルタを特定する切替えマップを入力する。例えば、切替えマップは使用すべきフィルタ係数のインデックス（フィルタ番号）を画素位置ごとに並べたマップとする。ここでは、切替えマップもフィルタ入力画像と同じ大きさの画像であるものとして説明する。

【0038】

図８は、超解像装置４の各フィルタ２０，２１，２２，４０の処理の概念を示す図である。各フィルタ２０，２１，２２，２４は、フィルタ係数テーブル（ルックアップテーブル）２００と、フィルタ演算部２０１とを備える。フィルタ２０，２１，２２の挙動はＸ_０＝Ｘ、Ｙ_０＝Ｙとおいて解釈すればよいし、フィルタ４０の挙動はＸ_０＝２Ｘ、Ｙ_０＝２Ｙとおいて解釈すればよい。

【0039】

各フィルタには、フィルタ入力画像及び切替えマップが入力される。フィルタ入力画像の画像座標（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）、同座標において切替えマップで指定されたフィルタ番号をＨ（ｘ，ｙ）、同座標におけるフィルタ出力画像の画素値をＪ（ｘ，ｙ）とする。切替えマップは、フィルタ係数テーブル２００に対してフィルタ番号を指示するものである。

【0040】

フィルタ係数テーブル２００は、フィルタ番号とフィルタ係数とを対応付けるルックアップテーブルである。フィルタ係数テーブル２００は、フィルタ番号が入力されると、該フィルタ番号に対応付けられたフィルタ係数をフィルタ演算部２０１に出力する。なお、フィルタ係数テーブル２００の内容は、ＲＯＭ（Read Only Memory)に予め記憶されていてもよいし、外部から書き換え可能なＲＡＭ（Random Access Memory）などのメモリに記憶されていてもよい。

【0041】

フィルタ係数テーブル２００において、フィルタ番号ｈ（ｈは整数）の入力に対して出力されるフィルタ係数をＣ_ｈとする。フィルタ係数Ｃ_ｈは、例えば、畳み込みカーネルの係数値を含む。また、フィルタ係数Ｃ_ｈは画素値に対するオフセット値を含んでもよい。さらに、フィルタ係数Ｃ_ｈは画素値に対するゲインや、既定のフィルタ手法（例えば、中央値フィルタ、ガンマ関数の適用など）のパラメータや切替え情報を含んでもよい。本図では、フィルタ係数Ｃ_ｈにより畳み込みカーネルが決定される。

【0042】

フィルタ演算部２０１は、フィルタ係数テーブル２００より画像座標（ｘ，ｙ）ごとに指定されるフィルタ係数によって、フィルタ入力画像の画像座標（ｘ，ｙ）近傍の画素値を参照してフィルタ演算を行い、その結果をフィルタ出力画像の画像座標（ｘ，ｙ）における画素値として設定する。

【0043】

図９は、超解像装置４の各フィルタ２０，２１，２２，４０の動作を示すフローチャートである。各フィルタは、まず画像座標（ｘ，ｙ）ごとにフィルタ演算部２０１が適用すべきフィルタ番号Ｈ（ｘ，ｙ）を切替えマップから求める（ステップＳ１０１）。次に、フィルタ演算部２０１は、フィルタ番号Ｈ（ｘ，ｙ）に対応付けられたフィルタ係数Ｃ_{Ｈ（ｘ，ｙ）}をフィルタ係数テーブル２００から読み出す（ステップＳ１０２）。また、フィルタ演算部２０１は、フィルタ入力画像の画像座標（ｘ，ｙ）の近傍（本図の例では画像座標（ｘ，ｙ）の画素及びその８近傍画素からなる計９画素）の画素値を読み出す（ステップＳ１０３）。

【0044】

そして、フィルタ演算部２０１は、ステップＳ１０３にて取得したフィルタ入力画像の画像座標（ｘ，ｙ）の近傍の画素値に対してフィルタ係数Ｃ_{Ｈ（ｘ，ｙ）}のフィルタを適用してフィルタ演算（本図の例では畳み込み演算）を実行し、その結果をフィルタ出力画像の画像座標（ｘ，ｙ）の画素値Ｊ（ｘ，ｙ）とする（ステップＳ１０４）。

【0045】

フィルタ演算部２０１は、以上の演算をフィルタ出力画像上のすべての画像座標（ｘ，ｙ）に対して実行する。なお、フィルタ入力画像において画像座標（ｘ，ｙ）の近傍の画素を参照しようとしたとき、画像の外側を参照する必要が生じた場合には、画像座標（ｘ，ｙ）に最も近い画像内部の画像座標をもって当該画素の画素値とみなしてもよいし、あるいは所定の値（例えば零）をもって当該画素の画素値とみなしてもよい。

【0046】

図７に示すように、第１フィルタ２０−１，２０−２，２０−３、及び第２フィルタ２１−１，２１−２，２１−３は共通の切替えマップＫを参照する。第３フィルタ２２−１は切替えマップＭ１を参照し、第３フィルタ２２−２は切替えマップＭ２を参照し、第３フィルタ２２−３は切替えマップＭ３を参照する。超解像フィルタ４０は、後述する切替えマップ変換部５０の出力する切替えマップＬを参照する。

【0047】

切替えマップ変換部５０は、入力された切替えマップＫを切替えマップＬへ変換し、切替えマップＬを超解像フィルタ４０に出力する。切替えマップＫの大きさは水平Ｘ画素、垂直Ｙ画素であるのに対し、切替えマップＬの大きさは水平２Ｘ画素、垂直２Ｙ画素である。切替えマップ変換部５０は、切替えマップＫの画像座標（ｘ，ｙ）におけるフィルタ番号値Ｋ（ｘ，ｙ）に基づき、切替えマップＬの４画像座標（２ｘ，２ｙ）、（２ｘ＋１，２ｙ）、（２ｘ，２ｙ＋１）、及び（２ｘ＋１，２ｙ＋１）のそれぞれのフィルタ番号Ｌ（２ｘ，２ｙ）、Ｌ（２ｘ＋１，２ｙ）、Ｌ（２ｘ，２ｙ＋１）、及びＬ（２ｘ＋１，２ｙ＋１）を決定する。

【0048】

図１０は、超解像装置４の切替えマップ変換部５０の第１の変換例を説明する図である。切替えマップ変換部５０は、図１０に示すように、Ｌ（２ｘ，２ｙ）＝「Ｋ（ｘ，ｙ）の０」、Ｌ（２ｘ＋１，２ｙ）＝「Ｋ（ｘ，ｙ）の１」、Ｌ（２ｘ，２ｙ＋１）＝「Ｋ（ｘ，ｙ）の２」、Ｌ（２ｘ＋１，２ｙ＋１）＝「Ｋ（ｘ，ｙ）の３」のようにフィルタ番号Ｋ（ｘ，ｙ）に対して枝番を付した切替えマップＬを生成する。

【0049】

図１１は、超解像装置４の切替えマップ変換部５０の第２の変換例を説明する図である。切替えマップ変換部５０は、図１１に示すように、Ｌ（２ｘ，２ｙ）＝４Ｋ（ｘ，ｙ）、Ｌ（２ｘ＋１，２ｙ）＝４Ｋ（ｘ，ｙ）＋１、Ｌ（２ｘ，２ｙ＋１）＝４Ｋ（ｘ，ｙ）＋２、Ｌ（２ｘ＋１，２ｙ＋１）＝４Ｋ（ｘ，ｙ）＋３のように、フィルタ番号Ｋ（ｘ，ｙ）を４倍したものに対して０乃至３をそれぞれ加算したフィルタ番号を有する切替えマップＬを生成してもよい。以下では、切替えマップ変換部５０がフィルタ番号Ｋ（ｘ，ｙ）に対して枝番を付す実装形態として説明を続ける。

【0050】

図１２は、超解像装置４の各フィルタが各フィルタ係数テーブル２００に保持するフィルタ係数（ここでは畳み込みカーネル）の例を示す図である。図１２において、Ｄ１の列は第１フィルタ２０−１が使用するフィルタを示しており、Ｄ２の列は第１フィルタ２０−２が使用するフィルタを示しており、Ｄ３の列は第１フィルタ２０−３が使用するフィルタを示している。また、Ｕ１の列は第２フィルタ２１−１が使用するフィルタを示しており、Ｕ２の列は第２フィルタ２１−２が使用するフィルタを示しており、Ｕ３の列は第２フィルタ２１−３が使用するフィルタを示している。また、Ｇ１の列は第３フィルタ２２−１が使用するフィルタを示しており、Ｇ２の列は第３フィルタ２２−２が使用するフィルタを示しており、Ｇ３の列は第３フィルタ２２−３が使用するフィルタを示している。また、Ｒの列は超解像フィルタ４０が使用するフィルタを示している。

【0051】

図１２の表内に現れる（すなわち、フィルタ係数テーブル２００の係数テーブルに設定する）畳み込みカーネルの具体的な係数値の例を以下に示す。なお、Ｏ，Ｄ_ＨＬ，Ｄ_ＬＨ，Ｄ_ＨＨ、Ｃ_ＬＬ，Ｃ_ＨＬ，Ｃ_ＬＨ，Ｃ_ＨＨについては上述の［数２］で示した通りである。

【0052】

【数3】

【0053】

図１２に示すようなフィルタ係数テーブルを用いることにより、超解像装置１は、切替えマップＫ、切替えマップＭ１、切替えマップＭ２、及び切替えマップＭ３により特定されるフィルタ番号に応じて、入力画像Ｓの画素位置ごとに異なる超解像処理を実行する。切替えマップＫ、切替えマップＭ１、切替えマップＭ２、及び切替えマップＭ３は、予め定めるパターンのマップを与えてもよいし、入力画像の絵柄に応じて可変としてもよい。

【0054】

切替えマップＫとして、例えば、水平２画素、垂直２画素からなるブロックを単位として、該ブロックの左上に４ｉ、右上に４ｉ＋１、左下に４ｉ＋２、及び右下に４ｉ＋３（ｉは０以上の整数）のフィルタ番号をとるようなブロックをタイル状に敷き詰めたものを用いることができる。

【0055】

図１３は、超解像装置４の各フィルタが用いる切替えマップの例を示す図である。図１３に示す切替えマップＫのように左下のＬ字型領域８１と、右上の方形領域８２において異なるｉの２×２ブロックをタイル貼りすることで、場所ごとに異なる変換を施すことができる。この場合、具体的には、Ｌ字型領域８１においてＨａａｒ基底に基づくウェーブレット超解像が適用されることとなる。

【0056】

切替えマップＭ１，Ｍ２，Ｍ３は、必ずしもタイル状に設定する必要はなく、部分領域ごとに合成すべき高域の特性を変調するためにフィルタ番号を適宜指定する。図１３に示す切替えマップＫ，Ｍ１，Ｍ２，Ｍ３を用いた場合、図１４の太い実線で示すような区分において超解像結果の出力画像の画質が制御されることとなる。

【0057】

このように超解像装置４は、各フィルタ２０，２１，２２，４０は画素位置ごとに使用するフィルタを特定する切替えマップを用いて、各画素のフィルタ演算を行う。かかる超解像装置４によれば、複数のフィルタの組み合わせによって、画像内の領域ごとに画質を制御可能な単一フレーム超解像を実現することができるので、画像ごとに最適かつ高精細な画像処理を行うことができ、画質を更に向上させることが可能となる。

【0058】

ここで、上述した各実施形態の超解像装置１〜４として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置１〜４の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

【0059】

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、第１の実施形態の超解像装置１、及び第２の実施形態の超解像装置２において、第４の実施形態の超解像装置４と同様に切替えマップを使用するようにしてもよい。

【0060】

また、上述の実施形態ではＭ×Ｎが２×２の場合を例に説明したが、Ｍ×Ｎは３×２や３×３など、２×２以外であってもよい。図１５（ａ）は、Ｍ×Ｎが３×２の場合において多重化部３０に入力される６つの画像を示す図である。ＬＬ画像を入力画像とすると、ＭＬ画像は入力画像に対して水平方向にバンドパスフィルタ処理を施した画像であり、ＨＬ画像は入力画像に対して水平方向にハイパスフィルタ処理を施した画像であり、ＬＨ画像は入力画像に対して垂直方向にハイパスフィルタ処理を施した画像であり、ＭＨ画像は入力画像に対して水平方向にバンドパスフィルタ処理を施し垂直方向にハイパスフィルタ処理を施した画像であり、ＨＨ画像は入力画像に対して水平方向及び垂直方向にハイパスフィルタ処理を施した画像である。図１５（ｂ）はＭ×Ｎが３×３の場合において多重化部３０に入力される９つの画像を示す図である。

【0061】

また、上述の実施形態では多重化部３０に入力画像を１つのみ入力する場合を例に説明したが、多重化部３０に入力画像を複数入力してもよい。例えば、図１５（ｃ）に示すように、Ｍ×Ｎが３×３の場合において入力画像であるＬＬ画像を多重化部３０に４つ入力し、残りの５つの画像を入力画像をフィルタ処理して周波数分解した画像（ＨＬ画像、ＨＭ画像、ＬＨ画像、ＭＨ画像、ＨＨ画像）としてもよい。

【産業上の利用可能性】

【0062】

このように、本発明によれば、超解像処理を行う回路のハードウェアの規模を削減することができるので、単一フレームの入力画像から超解像画像を生成する任意の用途に有用である。

【符号の説明】

【0063】

１，２，３，４ 超解像装置
１０ 周波数分解フィルタ
２０ 第１フィルタ
２１ 第２フィルタ
２２ 第３フィルタ
３０ 多重化部
４０ 超解像フィルタ
５０ マップ変換部
８１ Ｌ字型領域
８２ 方形領域
２００ フィルタ係数テーブル
２０１ フィルタ演算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】