特許 6532148 超解像装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6532148

(24)【登録日】2019年5月31日

(45)【発行日】2019年6月19日

(54)【発明の名称】超解像装置およびプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20190610BHJP

   G06T 3/40 20060101ALI20190610BHJP

   H04N 1/387 20060101ALI20190610BHJP

【ＦＩ】

   G06T5/00 710

   G06T3/40 730

   H04N1/387 101

【請求項の数】5

【全頁数】12

(21)【出願番号】特願2014-225614(P2014-225614)

(22)【出願日】2014年11月5日

(65)【公開番号】特開2016-91332(P2016-91332A)

(43)【公開日】2016年5月23日

【審査請求日】2017年10月2日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】境田 慎一

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 国際公開第２００９／１２８２１３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００−５／５０

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

入力信号を内挿する内挿部と、内挿された前記入力信号を補正するぼやけ補正装置とを備えた超解像装置であって、
前記内挿部は、前記内挿する際の標本位置を、水平および垂直方向いずれも、前記入力信号による低解像画像の画素間隔で１／４画素ずつずらし、予め定めた関数により補間内挿し、
前記ぼやけ補正装置は、
前記内挿部が内挿した前記入力信号に対してモルフォロジ演算の膨張演算を行う膨張演算部と、
前記入力信号に対してモルフォロジ演算の収縮演算を行う収縮演算部と、
第１の条件を満たすときは、前記膨張演算部による演算結果を表す第１信号を出力し、第２の条件を満たすときは、前記収縮演算部による演算結果を表す第２信号を出力する切替部と
を具備することを特徴とする超解像装置。

【請求項2】

前記切替部は、第３の条件を満たすときは、前記膨張演算部による演算結果と、前記収縮演算部による演算結果との間の値を表す第３信号を出力することを特徴とする請求項１に記載の超解像装置。

【請求項3】

前記第３信号は、前記内挿部が内挿した入力信号であることを特徴とする請求項２に記載の超解像装置。

【請求項4】

前記第１の条件は、前記膨張演算部による演算結果と前記内挿部が内挿した入力信号が表す値との差が、前記収縮演算部による演算結果と前記内挿部が内挿した入力信号が表す値との差よりも小さいことであり、
前記第２の条件は、前記膨張演算部による演算結果と前記内挿部が内挿した入力信号が表す値との差が、前記収縮演算部による演算結果と前記内挿部が内挿した入力信号が表す値との差よりも大きいことであること
を特徴とする請求項１から請求項３のいずれかの一項に記載の超解像装置。

【請求項5】

コンピュータを、
請求項１から請求項４のいずれかの一項に記載の超解像装置
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ぼやけ補正装置、超解像装置およびプログラムに関する。

【背景技術】

【0002】

ぼやけた画像などの信号を補正する技術として、ぼやけの点拡がり関数を逆補正する技術がある。逆補正の方法として、ウィーナフィルタを用いる手法や、仮の補正結果をぼやけさせたものが入力信号に一致するよう反復演算を行うことで補正結果を鮮鋭な画像に収束させる手法がある。

【0003】

一方、画像の解像度を変換する場合、入力画像に補間関数を畳み込み、入力画像とは異なる標本化周期で標本化を行うことが行われる。特に、出力画像の解像度の方が入力画像の解像度よりも高い場合には、入力画像のナイキスト周波数を超える信号成分を補うことで精細感のある出力画像を得る超解像技術が用いられることもある。
超解像技術には、画像が時系列で与えられる場合に、注目する画像と、時刻の近い他の画像とを、画像領域ごとにサブピクセル精度で動き補償（位置合わせ）し、当該位置合わせのされた画像同士を重畳することでナイキスト周波数を超える信号成分を再生する複数フレーム超解像技術がある。

【0004】

また、１枚の画像からナイキスト周波数を超える信号成分を人工的に合成することで見た目の精細感を向上する手法もあり、単一フレーム超解像技術と呼ばれる。
例えば、単一フレーム超解像技術の一つである非線形法では、入力画像の高域成分に非線形関数を適用することで高調波を生成する。この手法では、空間方向のぼやけを補償する目的で振幅方向に高調波を重畳することで信号の勾配を高めることが行われる（例えば、特許文献１参照）。

【0005】

また、別の単一フレーム超解像技術として学習型超解像がある。学習型超解像では、予め画像の小領域について低解像度のパッチと高解像度のパッチの対をデータベース化しておき、入力された低解像画像の部分ごとにデータベースを参照しつつ高解像度のパッチに変換していく。このようにすることで、データベースに妥当なテクスチャが登録されていれば自然な高精細化が可能となる（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第５３９６６２６号公報

【特許文献2】特許第４１４０６９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、ぼやけの点拡がり関数を逆補正する手法では、当該点拡がり関数が既知である必要があり、もし想定した点拡がり関数と実際の点拡がり関数とに齟齬があれば復元結果にはアーチファクトを生じる。
また、ぼやけの点拡がり関数の周波数伝達特性に零点（ヌル）がある場合、該零点の成分については逆伝達特性が特異となるため復元ができない。同様に、ぼやけが理想低域通過型フィルタに近い周波数伝達特性を有する場合には、高域成分がほぼ零となるため、これを逆補正することは困難である。とくに画像に雑音が含まれる場合には、信号成分の補正効果よりも雑音成分の増幅効果が目立つようになり、かえって画質の低下を招くことがある。

【0008】

複数フレーム超解像による場合であっても、入力される画像に該画像のナイキスト周波数を超える成分が折り返し歪として含まれていなければ原理的に高域復元が不可能である。また、複数の画像対から得た動きベクトルの集合について、水平成分の小数部および垂直成分の小数部からなるベクトルの集合が開領域（０，１）×（０，１）（但し、演算子×は直積）内において均一に分布していなければバランスのよい（水平および垂直方向の精細感の差異の少ない）高域復元ができないという問題もある。
単一フレーム超解像の非線形法による場合、空間方向のぼやけを補償する目的で振幅方向に高調波を重畳する。このため、信号波形にオーバシュートやアンダシュート、リンギングなどのアーチファクトを生じやすいという問題がある。

【0009】

学習型超解像の効果は、データベースの質と量に左右される。データベースに予め登録されていないテクスチャに対して本手法は無力である。学習型超解像においては、予め、学習用の低解像画像と高解像画像の対を用い、機械学習によってデータベース構築が行われる。このときの学習用画像内のテクスチャに偏りがある場合や、学習用画像の量が十分でない場合には、学習の汎化がなされない。このような汎化がなされていないデータベースを用いた場合、学習型超解像の出力する画像は不自然な画像となってしまう。

【0010】

本発明は、このような事情に鑑みてなされたもので、より自然にぼやけを補正することができるぼやけ補正装置、超解像装置およびプログラムを提供する。

【課題を解決するための手段】

【0011】

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力信号に対してモルフォロジ演算の膨張演算を行う膨張演算部と、前記入力信号に対してモルフォロジ演算の収縮演算を行う収縮演算部と、第１の条件を満たすときは、前記膨張演算部による演算結果を表す第１信号を出力し、第２の条件を満たすときは、前記収縮演算部による演算結果を表す第２信号を出力する切替部とを具備することを特徴とするぼやけ補正装置である。

【0012】

（２）また、本発明の他の態様は、（１）に記載のぼやけ補正装置であって、前記切替部は、第３の条件を満たすときは、前記膨張演算部による演算結果と、前記収縮演算部による演算結果との間の値を表す第３信号を出力することを特徴とする。

【0013】

（３）また、本発明の他の態様は、（２）に記載のぼやけ補正装置であって、前記第３信号は、前記入力信号であることを特徴とする。

【0014】

（４）また、本発明の他の態様は、（１）から（３）のいずれかに記載のぼやけ補正装置であって、前記第１の条件は、前記膨張演算部による演算結果と前記入力信号が表す値との差が、前記収縮演算部による演算結果と前記入力信号が表す値との差よりも小さいことであり、前記第２の条件は、前記膨張演算部による演算結果と前記入力信号が表す値との差が、前記収縮演算部による演算結果と前記入力信号が表す値との差よりも大きいことであることを特徴とする。

【0015】

（５）また、本発明の他の態様は、入力された信号に対して内挿を行い、前記入力された信号の解像度を高くする内挿部と、前記内挿部が解像度を高くした信号を、前記入力信号とする（１）から（４）のいずれかに記載のぼやけ補正装置とを具備することを特徴とする超解像装置である。

【0016】

（６）また、本発明の他の態様は、コンピュータを、入力信号に対してモルフォロジ演算の膨張演算を行う膨張演算部、前記入力信号に対してモルフォロジ演算の収縮演算を行う収縮演算部、第１の条件を満たすときは、前記膨張演算部による演算結果を表す第１信号を出力し、第２の条件を満たすときは、前記収縮演算部による演算結果を表す第２信号を出力する切替部として機能させるためのプログラムである。

【0017】

（７）また、本発明の他の態様は、コンピュータを、入力された信号に対して内挿を行い、前記入力された信号の解像度を高くする内挿部、前記内挿部が解像度を高くした信号を、前記入力信号とする（１）から（４）のいずれかに記載のぼやけ補正装置として機能させるためのプログラムである。

【発明の効果】

【0018】

この発明によれば、より自然にぼやけを補正することができる。

【図面の簡単な説明】

【0019】

【図1】この発明の第１の実施形態によるぼやけ補正装置１の構成を示す概略ブロック図である。

【図2】同実施形態における領域カーネルＫ、Ｊの第１の例を説明する図である。

【図3】同実施形態における領域カーネルＫ、Ｊの第２の例を説明する図である。

【図4】同実施形態におけるぼやけ補正装置１の動作を説明する模式図である。

【図5】この発明の第２の実施形態による超解像装置２の構成を説明する概略ブロック図である。

【図6】同実施形態における超解像装置２に入力される低解像画像Ｌの例を示す図である。

【図7】同実施形態における補間内挿部１４により解像度が高められた画像の例を示す図である。

【図8】同実施形態における超解像装置２による補正画像（高解像画像）Ｈの例を示す図である。

【発明を実施するための形態】

【0020】

［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、本実施形態によるぼやけ補正装置１の構成を示す概略ブロック図である。ぼやけ補正装置１は、入力画像Ｍ（入力信号）に対して、ぼやけを補正する処理を行い、その処理の結果である補正画像Ｈを出力する。ぼやけ補正装置１は、膨張演算部１１と、収縮演算部１２と、比較切替部１３とを含む。

【0021】

入力画像Ｍにおける画像座標（ｘ，ｙ）の画素値を、Ｍ（ｘ，ｙ）と表記する。他の画像の画素値についても同様に表記する。以下では、入力画像Ｍがモノクロ画像である場合の処理の説明をする。なお、入力画像Ｍがカラー画像やマルチバンド画像である場合には、色（またはバンド）ごとに独立に同様の処理を行えばよい。

【0022】

膨張演算部１１は、入力画像Ｍに対してモルフォロジ演算の膨張演算（Dilation）を適用し、空間方向に画素値を膨張し、膨張画像Ｄを出力する。例えば、膨張演算部１１の膨張演算には、（式１）が用いられる。なお、（式１）以外にも、例えば、領域カーネルＫ内で、中心からの距離が遠くなるほど小さくなる重みを画素値に乗じ、それらの中で最大となっている画素の画素値を選択するものを用いてもよい。（式１）における領域（集合）カーネルＫは、空間的に膨張させる大きさおよび形状である。領域カーネルＫの詳細については、後述する。

【0023】

【数1】

【0024】

収縮演算部１２は、入力画像Ｍに対してモルフォロジ演算の収縮演算（Erosion）を適用し、空間方向に画素値を収縮し、収縮画像Ｅを出力する。例えば、収縮演算部１２の収縮演算には、（式２）が用いられる。なお、（式２）以外にも、例えば、領域カーネルＪ内で、中心からの距離が遠くなるほど大きくなる重みを画素値に乗じ、それらの中で最小となっている画素の画素値を選択するものを用いてもよい。（式２）における領域（集合）カーネルＪは、空間的に収縮させる大きさおよび形状である。領域カーネルＪの詳細については、後述する。

【0025】

【数2】

【0026】

比較切替部１３は、入力画像Ｍ（第３信号）と、膨張画像Ｄ（第１信号）と、収縮画像Ｅ（第２信号）とから生成した補正画像Ｈを出力する。比較切替部１３は、以下のようにして、補正画像Ｈを生成する。まず、比較切替部１３は、入力画像Ｍと、膨張画像Ｄと、収縮画像Ｅとを画素毎に比較する。具体的には、比較切替部１３は、各画素位置（ｘ，ｙ）について、Ｄ（ｘ，ｙ）とＭ（ｘ，ｙ）の差分Ａ（ｘ，ｙ）、およびＭ（ｘ，ｙ）とＥ（ｘ，ｙ）の差分Ｂ（ｘ，ｙ）の大小を比較する。なお、差分Ａ（ｘ，ｙ）および差分Ｂ（ｘ，ｙ）は、（式３）にて求められる。

【0027】

【数3】

【0028】

次に、比較切替部１３は、差分Ａ（ｘ，ｙ）と差分Ｂ（ｘ，ｙ）の大小に応じて、次の規則で補正画像Ｈの画素値Ｈ（ｘ，ｙ）を決定する。
（ａ）Ａ（ｘ，ｙ）＜Ｂ（ｘ，ｙ）ならばＨ（ｘ，ｙ）＝Ｄ（ｘ，ｙ）
（ｂ）Ａ（ｘ，ｙ）＞Ｂ（ｘ，ｙ）ならばＨ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）
（ｃ）Ａ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）ならばＨ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）
すなわち、比較切替部１３は、（式４）により補正画像Ｈの画素値Ｈ（ｘ，ｙ）を決定する。

【0029】

【数4】

【0030】

なお、（ｃ）のときにＨ（ｘ，ｙ）の値は、Ｄ（ｘ，ｙ）とＥ（ｘ，ｙ）の中間的な値であればよく、例えば、Ｄ（ｘ，ｙ）であってもよいし、Ｍ（ｘ，ｙ）であってもよいし、例えば、Ｄ（ｘ，ｙ）とＥ（ｘ，ｙ）の平均など、Ｄ（ｘ，ｙ）とＥ（ｘ，ｙ）とから、あるいは、Ｄ（ｘ，ｙ）とＥ（ｘ，ｙ）とＭ（ｘ，ｙ）とから算出される、Ｅ（ｘ，ｙ）以上Ｄ（ｘ，ｙ）以下の値であってもよい。
すなわち、比較切替部１３は、（式５）、（式６）、（式７）のいずれかにより補正画像Ｈの画素値Ｈ（ｘ，ｙ）を決定してもよい。

【0031】

【数5】

【0032】

【数6】

【0033】

【数7】

【0034】

以上の画素値Ｈ（ｘ，ｙ）の決定を、画面内全画素位置について実行して画像化することにより、比較切替部１３は、補正画像Ｈを生成し、出力する。

【0035】

図２、図３の各々は、領域カーネルＫ、Ｊの例を説明する図である。領域カーネルＫおよび領域カーネルＪとしては、対象の画素とその周辺の画素からなる領域、例えば、図２、図３に示すような領域用いることができる。図２、図３において、横軸と縦軸は、（式１）および（式２）におけるｉと、ｊであり、網掛けを付した領域に属するｉ、ｊの集合が、領域カーネルＫ、Ｊである。例えば、図２においては、領域カーネルＫ、Ｊは、（ｉ，ｊ）の組み合わせが、（−３，１）、（−３，０）、（−３，−１）、（−２，２）、（−２，１）、（−２，０）、（−２，−１）、（−２，−２）、（−１，３）、（−１，２）、（−１，１）、（−１，０）、（−１，−１）、（−１，−２）、（−１，−３）、（０，３）、（０，２）、（０，１）、（０，０）、（０，−１）、（０，−２）、（０，−３）、（１，３）、（１，２）、（１，１）、（１，０）、（１，−１）、（１，−２）、（１，−３）、（２，２）、（２，１）、（２，０）、（２，−１）、（２，−２）、（３，１）、（３，０）、（３，−１）からなる領域である。また、図３においては、領域カーネルＫ、Ｊは、（ｉ，ｊ）の組み合わせが、（０，０）、（１，０）、（０，１）、（−１，０）、（０，−１）からなる領域である。なお、領域カーネルＫと領域カーネルＪとして同一の領域を用いた方が好ましいが、異なっていてもよい。

【0036】

図４は、ぼやけ補正装置１の動作を説明する模式図である。ここでは簡単のため、画像の代わりに１次元信号で示している。まず、入力された入力画像Ｍ１００は、膨張演算部１１によって領域カーネルＫ１０１を用いた膨張演算が適用されることにより、膨張画像Ｄ１０２に変換される。また、入力された入力画像Ｍ１００は、収縮演算部１２によって領域カーネルＪ１０３を用いた収縮演算が適用されることにより、収縮画像Ｅ１０４に変換される。比較切替部１３は、入力画像Ｍ１００と、膨張画像Ｄ１０２と、収縮画像Ｅ１０４に基づいて、比較および切替を（式４）により行い、補正画像Ｈ１０５を得る。

【0037】

このような操作によって、図４の補正画像Ｈ１０５中の破線で囲った領域１０６および１０７のように、補正画像Ｈ１０５の波形が入力画像Ｍ１００の波形よりも急峻になっている。すなわち、画像のエッジ部分を鮮鋭化し、より自然にぼやけを補正することができる。

【0038】

［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。図５は、本実施形態における超解像装置２の構成を説明する概略ブロック図である。超解像装置２は、補間内挿部１４と、ぼやけ補正装置１とを含む。超解像装置２は、ぼやけ補正装置１の前段に補間内挿部１４を設けた構成となっている。

【0039】

補間内挿部１４は、入力された低解像画像Ｌに対して補間内挿を行うことにより画素数を増加させた補間画像を生成し、生成した補間画像をぼやけ補正装置１に対する入力画像Ｍとして出力する。補間内挿部１４による補間内挿に用いる補間関数は、画像信号の滑らかさを損なわないものが好ましい。例えば、０次補間（最近傍補間）よりも、双一次補間、双三次補間、スプライン補間、Ｌａｎｃｚｏｓフィルタによる補間などの方が好ましい。
例えば、補間内挿部１４は、（式８）を用いて、双一次補間により水平、垂直いずれも２倍に、低解像画像Ｌを補間内挿する。

【0040】

【数8】

【0041】

また、例えば、補間内挿部１４は、（式９）を用いて、Ｌａｎｃｚｏｓ−３関数により水平、垂直いずれも２倍に補間内挿する。

【0042】

【数9】

【0043】

但し、（式９）では標本位置を水平および垂直いずれも（低解像画像の画素間隔で）１／４画素ずつずらすことですべての標本点に同様のフィルタ係数がかかるようにしている。
補間内挿部１４は、こうして得られた補間画像を入力画像Ｍとして、ぼやけ補正装置１へ入力する。その結果、ぼやけ補正装置１からは、低解像画像Ｌよりも画素数が多く、かつ補間内挿部１４で生じるぼやけを補正した鮮鋭な補正画像（高解像画像）Ｈを得ることができる。

【0044】

図６は、超解像装置２に入力される低解像画像Ｌの例Ｌ１を示す。図７は、低解像画像Ｌの例Ｌ１を超解像装置２に入力したときに、補間内挿部１４により解像度が高められた画像の例Ｍ１である。図８は、低解像画像Ｌの例Ｌ１を超解像装置２に入力したときの超解像装置２による補正画像（高解像画像）Ｈの例Ｈ１である。図７の例Ｍ１ではエッジ部分にぼやけが見られるが、図８の例Ｈ１では鮮鋭な結果が得られている。なお、例Ｈ１においては、領域カーネルＫに図２の例を、領域カーネルＪに図２の例を、比較切替部１３に（式６）を、補間内挿部１４に（式９）を用いた。

【0045】

なお、本実施形態において、ぼやけ補正装置１における領域カーネルＫ、Ｊの大きさを、補間内挿部１４における所定方向の画素数の拡大率に応じて変更するようにしてもよい。さらに、領域カーネルＫ、Ｊの半径は、この拡大率の１／２以下にすることが望ましい。このようにすることで、領域カーネルＫ、Ｊに含まれる画素が、その画素値を補間内挿により算出する際の元になる画素が共通するものだけとなるため、補間内挿によるぼやけ以外に対する、ぼやけ補正による影響を抑えることができる。例えば、膨張演算部１１は、補間内挿部１４における横方向の画素数の拡大率の１／４を、領域カーネルＫの半径とし、収縮演算部１２は、補間内挿部１４における横方向の画素数の拡大率の１／４を、領域カーネルＪの半径とする。また、領域カーネルＫ、Ｊの半径を、方向によって、変えてもよい。例えば、補間内挿部１４における横方向の画素数の拡大率の１／４を、領域カーネルＫ、Ｊの横方向の半径とし、補間内挿部１４における縦方向の画素数の拡大率の１／４を、領域カーネルＫの縦方向の半径としてもよい。

【0046】

上述の各実施形態では、画像を表す信号を処理するぼやけ補正装置１、超解像装置２を例に挙げたが、ぼやけ補正装置１、超解像装置２は、音声、３次元モデルなど、画像以外のものを表す信号を処理してもよい。また、その信号は、１次元の信号であってもよいし、２以上の次元数の信号であってもよい。

【0047】

また、図１におけるぼやけ補正装置１、図５における超解像装置２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりぼやけ補正装置１、超解像装置２を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0048】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0049】

また、上述した図１におけるぼやけ補正装置１、図５における超解像装置２の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、ＬＳＩに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。

【0050】

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0051】

１…ぼやけ補正装置
２…超解像装置
１１…膨張演算部
１２…収縮演算部
１３…比較切替部
１４…補間内挿部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】