特許 6532151 超解像装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6532151

(24)【登録日】2019年5月31日

(45)【発行日】2019年6月19日

(54)【発明の名称】超解像装置およびプログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20190610BHJP

   G06T 5/00 20060101ALI20190610BHJP

   H04N 1/387 20060101ALI20190610BHJP

【ＦＩ】

   G06T3/40 730

   G06T5/00 710

   H04N1/387 101

【請求項の数】4

【全頁数】15

(21)【出願番号】特願2014-256132(P2014-256132)

(22)【出願日】2014年12月18日

(65)【公開番号】特開2016-115318(P2016-115318A)

(43)【公開日】2016年6月23日

【審査請求日】2017年10月30日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】境田 慎一

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 国際公開第２０１０／０７３５８２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００−５／５０

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

入力信号を内挿する内挿部と、内挿された前記入力信号を補正するぼやけ補正装置とを備えた超解像装置であって、
前記内挿部は、前記内挿する際の標本位置を、水平および垂直方向いずれも、前記入力信号による低解像画像の画素間隔で１／４画素ずつずらし、予め定めた関数により補間内挿し、
前記ぼやけ補正装置は、
前記内挿部が内挿した前記入力信号の複数の信号位置各々について、当該信号位置において所定の走査方向に走査したときの信号値列の２階差分値の符号変化と、前記信号値列の１階差分値の符号とに基づいて、当該信号位置の周辺の信号値に関する補正パターンを決定する補正パターン決定部と、
前記複数の信号位置各々について、前記補正パターン決定部が決定した前記補正パターンを、前記入力信号に加算する補正部と
を具備することを特徴とする超解像装置。

【請求項2】

前記補正パターン決定部が決定する前記補正パターンには、前記走査方向に沿って正の値、負の値の順に値が並ぶ補正パターンと、前記走査方向の逆方向に沿って正の値、負の値の順に値が並ぶ補正パターンとが含まれること
を特徴とする請求項１に記載の超解像装置。

【請求項3】

前記補正パターン決定部は、前記補正パターンの振幅を、前記１階差分値の大きさに応じた値とすることを特徴とする、請求項１または請求項２に記載の超解像装置。

【請求項4】

コンピュータを、
請求項１から請求項３のいずれかの一項に記載の超解像装置
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ぼやけ補正装置、超解像装置およびプログラムに関する。

【背景技術】

【0002】

ぼやけた画像などの信号を補正する技術として、ぼやけの点拡がり関数を逆補正する技術がある。逆補正の方法として、ウィーナフィルタを用いる手法や、仮の補正結果をぼやけさせたものが入力信号に一致するよう反復演算を行うことで補正結果を鮮鋭な画像に収束させる手法がある。

【0003】

一方、画像の解像度を変換する場合、入力画像に補間関数を畳み込み、入力画像とは異なる標本化周期で標本化を行うことが行われる。特に、出力画像の解像度の方が入力画像の解像度よりも高い場合には、入力画像のナイキスト周波数を超える信号成分を補うことで精細感のある出力画像を得る超解像技術が用いられることもある。
超解像技術には、画像が時系列で与えられる場合に、注目する画像と、時刻の近い他の画像とを、画像領域ごとにサブピクセル精度で動き補償（位置合わせ）し、当該位置合わせのされた画像同士を重畳することでナイキスト周波数を超える信号成分を再生する複数フレーム超解像技術がある。

【0004】

また、１枚の画像からナイキスト周波数を超える信号成分を人工的に合成することで見た目の精細感を向上する手法もあり、単一フレーム超解像技術と呼ばれる。
例えば、単一フレーム超解像技術の一つである非線形法では、入力画像の高域成分に非線形関数を適用することで高調波を生成する。この手法では、空間方向のぼやけを補償する目的で振幅方向に高調波を重畳することで信号の勾配を高めることが行われる（例えば、特許文献１参照）。

【0005】

また、別の単一フレーム超解像技術として学習型超解像がある。学習型超解像では、予め画像の小領域について低解像度のパッチと高解像度のパッチの対をデータベース化しておき、入力された低解像画像の部分ごとにデータベースを参照しつつ高解像度のパッチに変換していく。このようにすることで、データベースに妥当なテクスチャが登録されていれば自然な高精細化が可能となる（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第５３９６６２６号公報

【特許文献2】特許第４１４０６９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、ぼやけの点拡がり関数を逆補正する手法では、当該点拡がり関数が既知である必要があり、もし想定した点拡がり関数と実際の点拡がり関数とに齟齬があれば復元結果にはアーチファクトを生じる。
また、ぼやけの点拡がり関数の周波数伝達特性に零点（ヌル）がある場合、該零点の成分については逆伝達特性が特異となるため復元ができない。同様に、ぼやけが理想低域通過型フィルタに近い周波数伝達特性を有する場合には、高域成分がほぼ零となるため、これを逆補正することは困難である。とくに画像に雑音が含まれる場合には、信号成分の補正効果よりも雑音成分の増幅効果が目立つようになり、かえって画質の低下を招くことがある。

【0008】

複数フレーム超解像による場合であっても、入力される画像に該画像のナイキスト周波数を超える成分が折り返し歪として含まれていなければ原理的に高域復元が不可能である。また、複数の画像対から得た動きベクトルの集合について、水平成分の小数部および垂直成分の小数部からなるベクトルの集合が開領域（０，１）×（０，１）（但し、演算子×は直積）内において均一に分布していなければバランスのよい（水平および垂直方向の精細感の差異の少ない）高域復元ができないという問題もある。
単一フレーム超解像の非線形法による場合、空間方向のぼやけを補償する目的で振幅方向に高調波を重畳する。このため、信号波形にオーバシュートやアンダシュート、リンギングなどのアーチファクトを生じやすいという問題がある。

【0009】

学習型超解像の効果は、データベースの質と量に左右される。データベースに予め登録されていないテクスチャに対して本手法は無力である。学習型超解像においては、予め、学習用の低解像画像と高解像画像の対を用い、機械学習によってデータベース構築が行われる。このときの学習用画像内のテクスチャに偏りがある場合や、学習用画像の量が十分でない場合には、学習の汎化がなされない。このような汎化がなされていないデータベースを用いた場合、学習型超解像の出力する画像は不自然な画像となってしまう。

【0010】

本発明は、このような事情に鑑みてなされたもので、より自然にぼやけを補正することができるぼやけ補正装置、超解像装置およびプログラムを提供する。

【課題を解決するための手段】

【0011】

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力信号の複数の信号位置各々について、当該信号位置において所定の走査方向に走査したときの信号値列の２階差分値の符号変化と、前記信号値列の１階差分値の符号とに基づいて、当該信号位置の周辺の信号値に関する補正パターンを決定する補正パターン決定部と、前記複数の信号位置各々について、前記補正パターン決定部が決定した前記補正パターンを、前記入力信号に加算する補正部とを具備することを特徴とするぼやけ補正装置である。

【0012】

（２）また、本発明の他の態様は、（１）に記載のぼやけ補正装置であって、前記補正パターン決定部が決定する前記補正パターンには、前記走査方向に沿って正の値、負の値の順に値が並ぶ補正パターンと、前記走査方向の逆方向に沿って正の値、負の値の順に値が並ぶ補正パターンとが含まれることを特徴とする。

【0013】

（３）また、本発明の他の態様は、（１）または（２）に記載のぼやけ補正装置であって、前記補正パターン決定部は、前記補正パターンの振幅を、前記１階差分値の大きさに応じた値とすることを特徴とする。

【0014】

（４）また、本発明の他の態様は、入力された信号に対して内挿を行い、前記入力された信号の解像度を高くする内挿部と、前記内挿部が解像度を高くした信号を、前記入力信号とする、（１）から（３）のいずれかの項に記載のぼやけ補正装置とを具備することを特徴とする超解像装置である。

【0015】

（５）また、本発明の他の態様は、コンピュータを、入力信号の複数の信号位置各々について、当該信号位置において所定の走査方向に走査したときの信号値列の２階差分値の符号変化と、前記信号値列の１階差分値の符号とに基づいて、当該信号位置の周辺の信号値に関する補正パターンを決定する補正パターン決定部、前記複数の信号位置各々について、前記補正パターン決定部が決定した前記補正パターンを、前記入力信号に加算する補正部として機能させるためのプログラムである。

【0016】

（６）また、本発明の他の態様は、コンピュータを、入力された信号に対して内挿を行い、前記入力された信号の解像度を高くする内挿部、前記内挿部が解像度を高くした信号を、前記入力信号とする請求項１から請求項３のいずれかの項に記載のぼやけ補正装置として機能させるためのプログラムである。

【発明の効果】

【0017】

この発明によれば、より自然にぼやけを補正することができる。

【図面の簡単な説明】

【0018】

【図1】この発明の第１の実施形態によるぼやけ補正装置の構成を示す概略ブロック図である。

【図2】同実施形態における画素位置（ｉ，ｊ）の補正値の算出に用いられる画素を示す図である。

【図3】同実施形態における補正パターンの例を示す図である。

【図4】この発明の第２の実施形態による超解像装置２の構成を説明する概略ブロック図である。

【図5】同実施形態における超解像装置２に入力される低解像画像Ｌの例Ｌ１である。

【図6】同実施形態における低解像画像Ｌの例Ｌ１を超解像装置２に入力したときに、補間内挿部２０により解像度が高められた画像の例Ｍ１である。

【図7】同実施形態における低解像画像Ｌの例Ｌ１を超解像装置２に入力したときの超解像装置２による補正画像（高解像画像）Ｈの例Ｈ１である。

【発明を実施するための形態】

【0019】

［第１の実施形態］
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の第１の実施形態によるぼやけ補正装置の構成を示す概略ブロック図である。ぼやけ補正装置１は、入力画像Ｍ（入力信号）に対して、ぼやけを補正する処理を行い、その処理の結果である補正画像Ｈを出力する。ぼやけ補正装置１は、水平差分演算部１１と、補正値演算部１２と、垂直差分演算部１３と、補正値演算部１４と、補正部１５とを含む。

【0020】

入力画像Ｍにおける画像座標（ｘ，ｙ）の画素値を、Ｍ（ｘ，ｙ）と表記する。他の画像の画素値についても同様に表記する。なお、入力画像Ｍおよび補正画像Ｈの解像度（画素数）は、水平方向がＸ画素、垂直方向がＹ画素であり、ｉ∈｛０，１，…，Ｘ−１｝かつｊ∈｛０，１，…，Ｙ−１｝なる画像座標（ｉ，ｊ）上に画素値が定義されている。
以下では、入力画像Ｍがモノクロ画像である場合の処理の説明をする。なお、入力画像Ｍがカラー画像やマルチバンド画像である場合には、色（またはバンド）ごとに独立に同様の処理を行えばよい。

【0021】

ぼやけ補正装置１は、入力画像Ｍの各画素位置（ｉ，ｊ）について補正処理を行い、その結果を補正画像Ｈの当該画素位置（ｉ，ｊ）における画素値Ｈ（ｉ，ｊ）とする操作を、全ての画素位置（ｉ，ｊ）について実行することで、補正画像Ｈを生成する。水平差分演算部１１は、入力画像Ｍの各画素位置（ｉ，ｊ）における水平方向（ｘ軸方向）について２階差分値と、１階差分値を算出する。補正値演算部１２は、入力画像Ｍの各画素位置（ｉ，ｊ）について、補強値Ｖ^（ｋ）（ｉ，ｊ）を算出し、これらの補強値Ｖ^（ｋ）（ｉ，ｊ）を画素値とする補強画像Ｖ^（ｋ）を生成する。

【0022】

補正値演算部１２による補強値Ｖ^（ｋ）（ｉ，ｊ）の算出方法を説明する。補正値演算部１２は、補強値Ｖ^（ｋ）（ｉ，ｊ）を算出する際に、水平差分演算部１１が算出した２階差分値および１階差分値のうち、（式１）に示す２つの２階差分値ＰおよびＱ、ならびに１つの１階差分値Ｒを用いる。

【0023】

【数1】

【0024】

なお、これら２つの２階差分値ＰおよびＱ、ならびに１つの１階差分値Ｒの算出には、画像座標（ｉ，ｊ）を基準として、その２画素左隣より１画素右隣の画素に至る４画素Ａ、Ｂ、Ｃ、およびＤの画素値が用いられる。図２（ａ）は、これらの４画素を示す図である。なお、（式１）におけるＭ（ｉ−２，ｊ）は、画素Ａの画素値であり、Ｍ（ｉ−１，ｊ）は、画素Ｂの画素値であり、Ｍ（ｉ，ｊ）は、画素Ｃの画素値であり、Ｍ（ｉ＋１，ｊ）は、画素Ｄの画素値である。

【0025】

補正値演算部１２は、上述した２つの２階差分値ＰおよびＱ、ならびに１つの１階差分値Ｒに基づき、補強値Ｖ^（ｋ）（ｉ，ｊ）を（式２）の漸化式を用いて算出する。補正値演算部１２は、この補強値Ｖ^（ｋ）（ｉ，ｊ）の算出を、全ての画素位置（ｉ，ｊ）について行うことで、入力画像Ｍのぼやけを補正するための画像Ｖ^（ｋ）（補強画像）を生成する。なお、上付きの（ｋ）は、補強画像を反復演算により導出する際の繰り返し回数を示すインデックスである。なお、ｉ∈｛０，１，…，Ｘ−１｝かつｊ∈｛０，１，…，Ｙ−１｝なる全ての画素位置（ｉ，ｊ）に対して、Ｖ^（−１）（ｉ，ｊ）＝０とする。

【0026】

【数2】

【0027】

なお、αは、予め決められた正の定数である。図３（ａ）に（式２）による更新量（補正パターン）の例を図示する。図３（ａ）の例では、（式２）の（１）のとき、すなわち、Ｐ（ｉ，ｊ）＞０、Ｑ（ｉ，ｊ）＜０、かつＲ（ｉ，ｊ）＞０のときの例である。このように、補正値演算部１２（補正パターン決定部）は、画素位置（ｉ，ｊ）に対して、左隣の画素と、当該画素とに加算する、正負のパルス（補正パターン）を決定する。なお、（式２）の（２）のときは、図３（ａ）におけるαが−αとなり、−αがαとなる。すなわち、（１）のときは、走査方向に沿って正の値、負の値の順に値が並ぶ補正パターンであり、（２）のときは、走査方向の逆方向に沿って正の値、負の値の順に値が並ぶ補正パターンである。

【0028】

なお、補正値演算部１２は、加算する正負のパルスの大きさ（振幅）を、１階差分値Ｒに比例するようにしてもよい。例えば、補正値演算部１２は、（式３）の漸化式を用いて、補強値Ｖ^（ｋ）（ｉ，ｊ）を算出してもよい。

【0029】

【数3】

【0030】

垂直差分演算部１３は、入力画像Ｍの各画素位置（ｉ，ｊ）における垂直方向（ｙ軸方向）について２階差分値と、１階差分値を算出する。補正値演算部１４は、入力画像Ｍの各画素位置（ｉ，ｊ）について、補強値Ｖ^（ｋ）（ｉ，ｊ）を算出し、これらの補強値Ｖ^（ｋ）（ｉ，ｊ）を画素値とする補強画像Ｖ^（ｋ）を生成する。

【0031】

補正値演算部１４による補強値Ｖ^（ｋ）（ｉ，ｊ）の算出方法を説明する。補正値演算部１４は、補強値Ｖ^（ｋ）（ｉ，ｊ）を算出する際に、垂直差分演算部１３が算出した２階差分値および１階差分値のうち、（式４）に示す２つの２階差分値ＳおよびＴ、ならびに１つの１階差分値Ｕを用いる。

【0032】

【数4】

【0033】

なお、これら２つの２階差分値ＳおよびＴ、ならびに１つの１階差分値Ｕの算出には、画像座標（ｉ，ｊ）を基準として、その２画素上隣より１画素下隣の画素に至る４画素Ｅ、Ｆ、Ｃ、およびＧの画素値が用いられる。図２（ｂ）は、これらの４画素を示す図である。なお、（式４）におけるＭ（ｉ，ｊ−２）は、画素Ｅの画素値であり、Ｍ（ｉ，ｊ−１）は、画素Ｆの画素値であり、Ｍ（ｉ，ｊ）は、画素Ｃの画素値であり、Ｍ（ｉ，ｊ＋１）は、画素Ｇの画素値である。

【0034】

補正値演算部１４は、上述した２つの２階差分値ＳおよびＴ、ならびに１つの１階差分値Ｕに基づき、補強値Ｖ^（ｋ）（ｉ，ｊ）を（式５）の漸化式を用いて算出する。補正値演算部１４は、この補強値Ｖ^（ｋ）（ｉ，ｊ）の算出を、全ての画素位置（ｉ，ｊ）について行うことで、入力画像Ｍのぼやけを補正するための画像Ｖ^（ｋ）（補強画像）を生成する。なお、Ｖ^{（ＸＹ−１）}（ｉ，ｊ）は、補正値演算部１２により算出された補強値である。

【0035】

【数5】

【0036】

なお、αは、予め決められた正の定数である。図３（ｂ）に（式５）による更新量の例を図示する。図３（ｂ）の例では、（式５）の（１）のとき、すなわち、Ｓ（ｉ，ｊ）＞０、Ｔ（ｉ，ｊ）＜０、かつＵ（ｉ，ｊ）＞０のときの例である。このように、補正値演算部１４（補正パターン決定部）は、画素位置（ｉ，ｊ）に対して、上隣の画素と、当該画素とに加算する、正負のパルス（補正パターン）を決定する。なお、（式５）の（２）のときは、図３（ｂ）におけるαが−αとなり、−αがαとなる。

【0037】

なお、補正値演算部１４は、加算する正負のパルスの大きさを、１階差分値Ｕに比例するようにしてもよい。例えば、補正値演算部１４は、（式６）の漸化式を用いて、補強値Ｖ^（ｋ）（ｉ，ｊ）を算出してもよい。

【0038】

【数6】

【0039】

補正値演算部１４は、（式７）に示すように、最終的には補強画像の最終値（入力画像Ｍの全画素について走査を行った後の値）であるＶ^{（２ＸＹ−１）}を補強画像Ｖとして出力する。

【0040】

【数7】

【0041】

なお、水平差分演算部１１と垂直差分演算部１３を入れ替え、また補正値演算部１２と補正値演算部１４とを入れ替えて構成しても構わない。
さらに、水平差分演算部１１と補正値演算部１２のみによる補強画像と、垂直差分演算部１３と補正値演算部１４のみによる補強画像とを独立に演算してもよい。この場合、これら２補強画像を後述の補正部１５において順次適用してもよいし、あるいは２補強画像の和の画像を以て最終的な補強画像とし、この最終的な補強画像を後述の補正部１５において適用してもよい。

【0042】

補正部１５は、入力画像Ｍと補強画像Ｖとの画素毎の画素値の和を求め、その結果を補正画像Ｈの当該画素位置の画素値として設定する。すなわち、補正部１５は、（式８）に示す演算を行う。

【0043】

【数8】

【0044】

画素値Ｈ（ｉ，ｊ）の決定を、画面内全画素位置について実行して画像化することにより、補正部１５は、補正画像Ｈを生成し、出力する。

【0045】

例えば、（式２）において、（１）となる画素位置は、画素値が増加しており、画素値をプロットした曲線が、下に凸から上に凸に変化している点である。このような画素位置は、被写体などの輪郭であるとみなし、ぼやけ補正装置１は、左隣の画素値に負のパルスを加算し、当該画素値に正のパルスを加算している。すなわち、画素値をプロットした曲線が急峻になるようにしている。また、（２）となる画素位置は、画素値が減少しており、画素値をプロットした曲線が、上に凸から下に凸に変化している点である。このような画素位置は、被写体などの輪郭であるとみなし、ぼやけ補正装置１は、左隣の画素値に正のパルスを加算し、当該画素値に負のパルスを加算している。すなわち、画素値をプロットした曲線が急峻になるようにしている。
このように、ぼやけ補正装置１は、被写体の輪郭などがぼやけているようなときでも、輪郭などにおける画素値変化を急峻にし、より自然にぼやけを補正することができる。

【0046】

［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。図５は、本実施形態における超解像装置２の構成を説明する概略ブロック図である。超解像装置２は、補間内挿部２０と、ぼやけ補正装置１とを含む。超解像装置２は、ぼやけ補正装置１の前段に補間内挿部２０を設けた構成となっている。

【0047】

補間内挿部２０は、入力された低解像画像Ｌに対して補間内挿を行うことにより画素数を増加させた補間画像を生成し、生成した補間画像をぼやけ補正装置１に対する入力画像Ｍとして出力する。補間内挿部２０による補間内挿に用いる補間関数は、画像信号の滑らかさを損なわないものが好ましい。例えば、０次補間（最近傍補間）よりも、双一次補間、双三次補間、スプライン補間、Ｌａｎｃｚｏｓフィルタによる補間などの方が好ましい。
例えば、補間内挿部２０は、（式９）を用いて、双一次補間により水平、垂直いずれも２倍に、低解像画像Ｌを補間内挿する。

【0048】

【数9】

【0049】

また、例えば、補間内挿部２０は、（式１０）を用いて、Ｌａｎｃｚｏｓ−３関数により水平、垂直いずれも２倍に補間内挿する。

【0050】

【数10】

【0051】

但し、（式１０）では標本位置を水平および垂直いずれも（低解像画像の画素間隔で）１／４画素ずつずらすことですべての標本点に同様のフィルタ係数がかかるようにしている。
補間内挿部２０は、こうして得られた補間画像を入力画像Ｍとして、ぼやけ補正装置１へ入力する。その結果、ぼやけ補正装置１からは、低解像画像Ｌよりも画素数が多く、かつ補間内挿部２０で生じるぼやけを補正した鮮鋭な補正画像（高解像画像）Ｈを得ることができる。

【0052】

図５は、超解像装置２に入力される低解像画像Ｌの例Ｌ１である。図６は、低解像画像Ｌの例Ｌ１を超解像装置２に入力したときに、補間内挿部２０により解像度が高められた画像の例Ｍ１である。図７は、低解像画像Ｌの例Ｌ１を超解像装置２に入力したときの超解像装置２による補正画像（高解像画像）Ｈの例Ｈ１である。図６ではエッジ部分にぼやけが見られるが、図７では鮮鋭な結果が得られている。なお、図７の補正画像Ｈの例Ｈ１は、補正値演算部１２においては（式３）を、補正値演算部１４においては（式６）をそれぞれ用い、定数βはβ＝０．７５とした場合の例である。

【0053】

なお、上述の各実施形態では、補正値演算部１２、１４における走査方向が、ｘ軸方向およびy軸方向の場合を説明したが、この他の方向であってもよい。例えば、走査方向が、ｘ軸の負の方向と、ｙ軸の負の方向であってもよい。

【0054】

また、上述の各実施形態では、画像を表す信号を処理するぼやけ補正装置１、超解像装置２を例に挙げたが、ぼやけ補正装置１、超解像装置２は、音声、３次元モデルなど、画像以外のものを表す信号を処理してもよい。また、その信号は、１次元の信号であってもよいし、２以上の次元数の信号であってもよい。

【0055】

また、図１におけるぼやけ補正装置１、図４における超解像装置２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりぼやけ補正装置１、超解像装置２を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0056】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0057】

また、上述した図１におけるぼやけ補正装置１、図４における超解像装置２の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、ＬＳＩに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。

【0058】

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0059】

１…ぼやけ補正装置
２…超解像装置
１１…水平差分演算部
１２…補正値演算部
１３…垂直差分演算部
１４…補正値演算部
１５…補正部
２０…補間内挿部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】