特許 5884482 画像処理プログラム、画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5884482

(24)【登録日】2016年2月19日

(45)【発行日】2016年3月15日

(54)【発明の名称】画像処理プログラム、画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 3/40 20060101AFI20160301BHJP

   G06T 5/00 20060101ALI20160301BHJP

【ＦＩ】

   G06T3/40 715

   G06T5/00 710

【請求項の数】8

【全頁数】21

(21)【出願番号】特願2011-288767(P2011-288767)

(22)【出願日】2011年12月28日

(65)【公開番号】特開2013-137682(P2013-137682A)

(43)【公開日】2013年7月11日

【審査請求日】2014年3月14日

【前置審査】

(73)【特許権者】

【識別番号】311001347

【氏名又は名称】ＮＫワークス株式会社

(74)【代理人】

【識別番号】100156845

【弁理士】

【氏名又は名称】山田 威一郎

(74)【代理人】

【識別番号】100124039

【弁理士】

【氏名又は名称】立花 顕治

(74)【代理人】

【識別番号】100124431

【弁理士】

【氏名又は名称】田中 順也

(74)【代理人】

【識別番号】100112896

【弁理士】

【氏名又は名称】松井 宏記

(72)【発明者】

【氏名】北 耕次

(72)【発明者】

【氏名】村田 由紀子

(72)【発明者】

【氏名】宮本 高宏

(72)【発明者】

【氏名】中川 由美子

(72)【発明者】

【氏名】中野 智生

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１１−０７６２７４（ＪＰ，Ａ）

【文献】 特開２００５−１９００９７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／４０

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

元画像を拡大した拡大画像を生成するための画像処理プログラムであって、
前記元画像に対し、拡大しつつ、エッジを強調するエッジ強調拡大処理を順次繰り返し実行することにより、前記拡大画像を生成するステップ
をコンピュータに実行させ、
前記拡大画像を生成するステップは、
第１対象画像を拡大した第１中間対象画像を生成するステップと、
前記第１中間対象画像のボケ具合を調べ、当該ボケ具合からボケる前の画像を推定する超解像処理により、前記第１中間対象画像のエッジを強調した第２対象画像を生成するステップと、
前記第２対象画像を拡大した第２中間対象画像を生成するステップと、
前記第２中間対象画像のボケ具合を調べ、当該ボケ具合からボケる前の画像を推定する超解像処理により、前記第２中間対象画像のエッジを強調した第３対象画像を生成するステップと
を含む、
画像処理プログラム。

【請求項2】

前記元画像を拡大する指示を受け付けるステップ、
をさらにコンピュータに実行させ、
前記拡大画像を生成するステップは、前記指示に応じて、前記元画像に対し、前記エッジ強調拡大処理を順次繰り返し実行することにより、前記拡大画像を生成するステップである、
請求項１に記載の画像処理プログラム。

【請求項3】

前記指示を受け付けるステップは、前記エッジ強調拡大処理の繰り返し回数の入力を受け付けるステップを含み、
前記拡大画像を生成するステップは、前記元画像に対し、前記エッジ強調拡大処理を前記繰り返し回数順次繰り返し実行することにより、前記拡大画像を生成するステップである、
請求項２に記載の画像処理プログラム。

【請求項4】

前記指示を受け付けるステップは、１回の前記エッジ強調拡大処理の拡大率の入力を受け付けるステップを含み、
前記拡大画像を生成するステップは、前記元画像に対し、前記拡大率での前記エッジ強調拡大処理を順次繰り返し実行することにより、前記拡大画像を生成するステップである、
請求項２又は３に記載の画像処理プログラム。

【請求項5】

前記指示を受け付けるステップは、前記元画像から前記拡大画像への拡大率の入力を受け付けるステップを含み、
前記拡大画像を生成するステップは、前記元画像に対し、前記エッジ強調拡大処理を順次繰り返し実行することにより、前記元画像を前記拡大率で拡大した前記拡大画像を生成するステップである、
請求項２から４のいずれかに記載の画像処理プログラム。

【請求項6】

元画像を拡大した拡大画像を生成する画像処理装置であって、
前記元画像に対し、拡大しつつ、エッジを強調するエッジ強調拡大処理を順次繰り返し実行することにより、前記拡大画像を生成する画像処理部
を備え、
前記画像処理部は、前記拡大画像を生成するために、第１対象画像を拡大した第１中間対象画像を生成し、前記第１中間対象画像のボケ具合を調べ、当該ボケ具合からボケる前の画像を推定する超解像処理により、前記第１中間対象画像のエッジを強調した第２対象画像を生成し、前記第２対象画像を拡大した第２中間対象画像を生成し、前記第２中間対象画像のボケ具合を調べ、当該ボケ具合からボケる前の画像を推定する超解像処理により、前記第２中間対象画像のエッジを強調した第３対象画像を生成する、
画像処理装置。

【請求項7】

前記元画像を拡大する指示を受け付ける受付部、
をさらに備え、
前記画像処理部は、前記指示に応じて、前記元画像に対し、前記エッジ強調拡大処理を順次繰り返し実行することにより、前記拡大画像を生成する、
請求項６に記載の画像処理装置。

【請求項8】

第１対象画像を拡大した第１中間対象画像を生成するステップと、
前記第１中間対象画像のボケ具合を調べ、当該ボケ具合からボケる前の画像を推定する超解像処理により、前記第１中間対象画像のエッジを強調した第２対象画像を生成するステップと、
前記第２対象画像を拡大した第２中間対象画像を生成するステップと、
前記第２中間対象画像のボケ具合を調べ、当該ボケ具合からボケる前の画像を推定する超解像処理により、前記第２中間対象画像のエッジを強調した第３対象画像を生成するステップと
を備える、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理プログラム、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

一般に、画像を拡大すると、画像がボケてしまうという問題がある。そこで、元画像を拡大した後、拡大画像のエッジを強調することが望まれるが、従来より、拡大画像に対し実行されるべき様々なエッジ強調処理に係る技術が提案されている（例えば、特許文献１および特許文献２を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−４９６９６号公報

【特許文献2】特開２００８−２７１０８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、様々なエッジ強調処理が提案されていようとも、ユーザにとっては、特定の画像に対し、どのエッジ強調処理を実行すればよいのかの判断は難しく、また、様々なアルゴリズムに係るエッジ強調処理プログラムを用意することも、現実には難しい。
本発明は、エッジの強調された好ましい拡大画像を簡単に得ることができる画像処理プログラム、画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

第１観点に係る画像処理プログラムは、元画像を拡大した拡大画像を生成するための画像処理プログラムであって、拡大ステップをコンピュータに実行させる。拡大ステップは、元画像に対し、エッジ強調拡大処理を順次繰り返し実行することにより、拡大画像を生成するステップである。エッジ強調拡大処理は、画像を拡大しつつ、エッジを強調する処理である。

【0006】

ここでは、拡大画像の生成時に、元画像に対し、エッジ強調拡大処理が順次繰り返し実行される。つまり、拡大処理と、エッジ強調処理とが繰り返し実行される。言い換えると、所望の拡大率の拡大画像を得るべく、小刻みに元画像を拡大しつつ、エッジ強調処理が複数回実行される。その結果、所望の拡大率でのエッジ強調拡大処理が１回実行されるよりも、エッジの強調された好ましい拡大画像が生成される。従って、エッジの強調された好ましい拡大画像を簡単に得ることができる。

【0007】

第２観点に係る画像処理プログラムは、第１観点に係る画像処理プログラムであって、指示受付ステップをさらにコンピュータに実行させる。指示受付ステップは、元画像を拡大する指示を受け付けるステップである。拡大ステップは、上記指示に応じて、元画像に対し、エッジ強調拡大処理を順次繰り返し実行することにより、拡大画像を生成するステップである。

【0008】

ここでは、ユーザの指示を待って、自動的にエッジ強調拡大処理が繰り返し実行される。従って、ユーザは、簡単な操作で、エッジの強調された好ましい拡大画像を得ることができる。

【0009】

第３観点に係る画像処理プログラムは、第２観点に係る画像処理プログラムであって、指示受付ステップは、エッジ強調拡大処理の繰り返し回数の入力を受け付けるステップを含む。拡大ステップは、元画像に対し、エッジ強調拡大処理を上記繰り返し回数順次繰り返し実行することにより、拡大画像を生成するステップである。

【0010】

ここでは、ユーザにより繰り返し回数が指定された後、自動的にエッジ強調拡大処理がその繰り返し回数、繰り返し実行される。従って、ユーザは、簡単な操作で、エッジ強調拡大処理を繰り返し実行することができる。

【0011】

第４観点に係る画像処理プログラムは、第２観点又は第３観点に係る画像処理プログラムであって、指示受付ステップは、１回のエッジ強調拡大処理の拡大率の入力を受け付けるステップを含む。拡大ステップは、元画像に対し、上記拡大率でのエッジ強調拡大処理を順次繰り返し実行することにより、拡大画像を生成するステップである。

【0012】

ここでは、ユーザにより拡大率が指定された後、自動的にその拡大率でのエッジ強調拡大処理が繰り返し実行される。従って、ユーザは、簡単な操作で、元画像を小刻みに拡大することができる。

【0013】

第５観点に係る画像処理プログラムは、第２観点から第４観点のいずれかに係る画像処理プログラムであって、指示受付ステップは、元画像から拡大画像への拡大率の入力を受け付けるステップを含む。拡大ステップは、元画像に対し、エッジ強調拡大処理を順次繰り返し実行することにより、元画像を上記拡大率で拡大した拡大画像を生成するステップである。

【0014】

ここでは、ユーザにより最終的な拡大率が指定された後、自動的にエッジ強調拡大処理が繰り返し実行され、元画像をその拡大率で拡大した拡大画像が生成される。従って、ユーザは、簡単な操作で、所望の拡大率で拡大された拡大画像を得ることができる。

【0015】

第６観点に係る画像処理装置は、画像処理部を備え、元画像を拡大した拡大画像を生成する。画像処理部は、元画像に対し、エッジ強調拡大処理を順次繰り返し実行することにより、拡大画像を生成する。エッジ強調拡大処理は、画像を拡大しつつ、エッジを強調する処理である。

【0016】

ここでは、拡大画像の生成時に、元画像に対し、エッジ強調拡大処理が順次繰り返し実行される。つまり、拡大処理と、エッジ強調処理とが繰り返し実行される。言い換えると、所望の拡大率の拡大画像を得るべく、小刻みに元画像を拡大しつつ、エッジ強調処理が複数回実行される。その結果、所望の拡大率でのエッジ強調拡大処理が１回実行されるよりも、エッジの強調された好ましい拡大画像が生成される。従って、エッジの強調された好ましい拡大画像を簡単に得ることができる。

【0017】

第７観点に係る画像処理装置は、受付部をさらに備える。受付部は、元画像を拡大する指示を受け付ける。画像処理部は、上記指示に応じて、元画像に対し、エッジ強調拡大処理を順次繰り返し実行することにより、拡大画像を生成する。

【0018】

ここでは、ユーザの指示を待って、自動的にエッジ強調拡大処理が繰り返し実行される。従って、ユーザは、簡単な操作で、エッジの強調された好ましい拡大画像を得ることができる。

【0019】

第８観点に係る画像処理方法は、第１拡大ステップと、第２拡大ステップとを備える。第１拡大ステップは、第１画像に対し、エッジ強調拡大処理を実行し、第２画像を生成するステップである。エッジ強調拡大処理は、画像を拡大しつつ、エッジを強調する処理である。第２拡大ステップは、第２画像に対し、エッジ強調拡大処理を実行し、第３画像を生成するステップである。

【0020】

ここでは、拡大画像の生成時に、元画像に対し、エッジ強調拡大処理が順次繰り返し実行される。つまり、拡大処理と、エッジ強調処理とが繰り返し実行される。言い換えると、所望の拡大率の拡大画像を得るべく、小刻みに元画像を拡大しつつ、エッジ強調処理が複数回実行される。その結果、所望の拡大率でのエッジ強調拡大処理が１回実行されるよりも、エッジの強調された好ましい拡大画像が生成される。従って、エッジの強調された好ましい拡大画像を簡単に得ることができる。

【発明の効果】

【0021】

本発明によれば、拡大画像の生成時に、拡大処理と、エッジ強調処理とが繰り返し実行される。言い換えると、所望の拡大率の拡大画像を得るべく、小刻みに元画像を拡大しつつ、エッジ強調処理が複数回実行される。その結果、所望の拡大率でのエッジ強調拡大処理が１回実行されるよりも、エッジの強調された好ましい拡大画像が生成される。従って、エッジの強調された好ましい拡大画像を簡単に得ることができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る画像処理装置のブロック図である。

【図2】画像データが取り込まれる前の基本画面の図である。

【図3】画像データが取り込まれた後の基本画面の図である。

【図4】拡大超解像ウィンドウの図である。

【図5】拡大超解像の画像処理のフローチャート。

【図6】拡大超解像の画像処理により順次生成されてゆくフレームを示す図。

【図7】元フレームを示す図。

【図8】図７の元フレームに対し、拡大率１．１倍のエッジ強調拡大処理を８回繰り返し実行した後の拡大フレームを示す図。

【図9】図７の元フレームに対し、拡大率２．１倍のエッジ強調拡大処理を１回実行した後の拡大フレームを示す図。

【発明を実施するための形態】

【0023】

以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラム、画像処理装置および画像処理方法について説明する。
＜１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２がインストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。

【0024】

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０および制御部４０を有する。ディスプレイ１０と、入力部２０と、記憶部３０と、制御部４０とは、互いにバス線５で接続されており、相互に通信可能である。本実施形態では、ディスプレイ１０は、液晶ディスプレイである。入力部２０は、マウスおよびキーボート等から構成される。記憶部３０は、ハードディスク等から構成される。制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成される。
ディスプレイ１０は、後述する画面等をユーザに対し表示する。入力部２０は、画像処理装置１に対するユーザからの操作を受け付ける。

【0025】

画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１および加工ファイル領域５２が確保されている。各領域５１，５２の役割については、後述する。

【0026】

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に画像処理部４１およびパラメータ受付部４２として動作する。各部４１，４２の動作については、後述する。

【0027】

＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、制御部４０は、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示を制御する。

【0028】

＜２−１．画像データの取り込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取り込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

【0029】

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された１の静止画ファイル又は指定された１のフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

【0030】

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。制御部４０は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルの全タイムラインのうち、任意の長さのタイムラインの選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して任意の長さのタイムラインの選択を行ったことを検知すると、その選択に対応する静止画ファイル群を生成する。この静止画ファイル群は、ユーザの選択に係るタイムラインの動画に含まれるフレーム群に１対１で対応する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。

【0031】

従って、本実施形態では、後述する画像処理の対象は、動画ファイルではなく、静止画ファイルである。静止画ファイルは、オリジナル画像領域５１へファイル単位、フォルダ単位、あるいは動画ファイルの全部又は一部のタイムライン単位で取り込まれる。

【0032】

＜２−２．静止画ファイル群の再生＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、制御部４０は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１への静止画ファイル群の取り込み動作の数だけ、表示される。

【0033】

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームに対応する静止画ファイル）が表示される。なお、制御部４０は、静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群に含まれる静止画ファイルをタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

【0034】

後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。制御部４０は、表示ウィンドウＷ２内に現在表示されているフレームの識別情報をリアルタイムに管理する。図３に示すとおり、制御部４０は、表示ウィンドウＷ２内に現在表示されているフレームの画像サイズ（縦のピクセル数×横のピクセル数）を判断し、その表示ウィンドウＷ２の枠内の画像サイズ表示エリアＴ６に表示する。

【0035】

制御部４０は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応する静止画ファイル群を、動画として再生可能である。図３に示すとおり、制御部４０は、基本画面Ｗ１上に、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４およびタイムラインバーＴ５を表示する。

【0036】

表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応する静止画ファイル群を、アクティブファイル群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。

【0037】

再生ボタンＴ２は、アクティブファイル群の動画としての再生の命令をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブファイル群のフレームをタイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。制御部４０は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。

【0038】

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブファイル群のタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

【0039】

タイムラインバーＴ５は、アクティブファイル群のタイムラインを図式的に表す。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブファイル群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブファイル群のタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

【0040】

図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブファイル群のタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブファイル群のタイムライン上で現在選択されていない区間に対応するフレーム群である。本実施形態では、領域Ａ１は、薄いトーンの色で表示され、領域Ａ２は、濃いトーンの色で表示される。

【0041】

タイムラインバーＴ５は、アクティブファイル群のタイムライン上の任意の区間の選択をユーザから受け付ける。選択される区間は、連続区間であっても、不連続区間であってもよい。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５を操作することにより、アクティブファイル群の全フレームの中から、任意のフレームを任意の数だけ選択することができる。具体的には、ユーザは、タイムラインバーＴ５上で選択したいフレームに対応する分割領域を選択する。分割領域は、同時に複数選択が可能である。画像処理部４１は、選択フレーム群を後述される画像処理の対象として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。

【0042】

＜２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。
画像処理部４１は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、回転、文字／矢印／モザイクの付加、超解像、拡大超解像などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。

【0043】

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。必要であれば、ユーザは、画像処理モジュールの選択に併せて、その画像処理モジュールの実行時に用いられるパラメータを入力する。画像処理部４１は、ユーザが画像処理モジュールを１つ選択したことを検知する度に、選択フレーム群に対しその画像処理モジュールを実行する。なお、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。

【0044】

フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｎ＋１）次フレームは、第ｎ次フレームに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｎは、０以上の整数）。画像処理モジュールが順次実行されてゆくにつれて、第１次以降のフレームに対応する静止画ファイルが順次生成される。これらの静止画ファイルは、加工ファイル領域５２内にそれぞれ別のファイルとして保存される。

【0045】

＜２−３−１．拡大超解像＞
以下、拡大超解像の画像処理の流れについて説明する。拡大超解像の画像処理は、拡大超解像の画像処理モジュールにより実現され、エッジ強調拡大処理を１回又は複数回繰り返し実行する処理である。一般に、画像を拡大すると、画像にボケが生じ得る。エッジ強調拡大処理は、画像を拡大しつつ、エッジを強調する処理である。言い換えると、エッジ強調拡大処理は、画像を拡大しつつ、拡大により生じるボケを改善する処理である。本実施形態では、エッジ強調拡大処理は、後述するステップＳ１に係る拡大ルーチンを１回実行した後、後述するステップＳ２に係るエッジ強調ルーチンを１回実行する処理である。拡大ルーチンおよびエッジ強調ルーチンは、それぞれ、拡大超解像の画像処理モジュールの実行時に、サブルーチンとして呼び出される。拡大ルーチンおよびエッジ強調ルーチンのプログラムは、それぞれ、画像処理プログラム２に組み込まれている。

【0046】

拡大超解像の画像処理は、上記のとおり、選択フレーム群に対して実行される。以下、簡単のため、選択フレーム群に含まれる１枚のフレーム（以下、元フレーム）に対し、拡大超解像の画像処理モジュールが実行される様子について説明するが、選択フレーム群に含まれる残りのフレームについても、同様に処理されるものとする。

【0047】

制御部４０は、ユーザが入力部２０を介して基本画面Ｗ１上で所定の操作を行ったことを検知すると、基本画面Ｗ１上に拡大超解像ウィンドウＷ３（図４参照）を重ねて表示させる。拡大超解像ウィンドウＷ３は、拡大超解像の画像処理モジュールの実行時に用いられるパラメータの入力を受け付ける。拡大超解像ウィンドウＷ３は、繰り返し回数指定エリアＢ１、拡大率指定エリアＢ２、拡大方法指定エリアＢ３、実行ボタンＢ４およびキャンセルボタンＢ５を表示する。

【0048】

パラメータ受付部４２は、繰り返し回数指定エリアＢ１を介して、後述するステップＳ１，Ｓ２に係るエッジ強調拡大処理の繰り返し回数Ｋの入力をユーザから受け付ける。繰り返し回数Ｋとしては、１以上の整数値を指定可能である。また、パラメータ受付部４２は、拡大率指定エリアＢ２を介して、１回のステップＳ１に係る拡大ルーチンによる拡大率ｍの入力をユーザから受け付ける。拡大率ｍとしては、０より大きい数値を指定可能である。また、パラメータ受付部４２は、拡大方法指定エリアＢ３を介して、ニアレストネイバー、バイリニア、バイキュービックおよびランツォシュの中から、任意の拡大ルーチンの選択をユーザから受け付ける。

【0049】

実行ボタンＢ４は、拡大超解像の画像処理を実行する指示をユーザから受け付ける。キャンセルボタンＢ５は、拡大超解像の画像処理の実行をキャンセルする指示をユーザから受け付ける。画像処理部４１は、実行ボタンＢ４が押されたことを検知すると、図５に示す拡大超解像の画像処理を開始する。実行ボタンＢ４の押下時に、エリアＢ１〜Ｂ３内で設定されている内容は、拡大超解像の画像モジュールの実行時にパラメータとして用いられる。

【0050】

画像処理部４１は、図５に示す拡大超解像の画像処理が開始すると、繰り返し回数指定エリアＢ１内で指定された繰り返し回数Ｋ回だけ、ステップＳ１，Ｓ２に係るエッジ強調拡大処理を実行する。

【0051】

ステップＳ１では、画像処理部４１は、対象フレームに対し、拡大ルーチンを実行する。対象フレームとは、１回目の拡大ルーチンの実行中であれば、元フレームであり、２回目以降の拡大ルーチンの実行中であれば、最新に実行されたステップＳ２に係るエッジ強調ルーチンの実行後のフレームである。画像処理部４１は、対象フレームを、拡大方法指定エリアＢ３内で指定された拡大ルーチンにより、拡大率指定エリアＢ２内で指定された拡大率ｍで拡大し、中間対象フレームを生成する。

【0052】

続くステップＳ２では、画像処理部４１は、直前のステップＳ１で生成された中間対象フレームに対し、エッジ強調ルーチンを実行する。具体的には、本実施形態では、画像処理部４１は、直前のステップＳ１で生成された中間対象フレームのボケ具合を調べ、そのボケ具合からボケる前の画像を推定し、推定されたボケる前の画像を新たな対象フレームとして生成する。例えば、画像処理部４１は、中間対象フレームの点広がり関数（ＰＳＦ）を求め、中間対象フレームのフーリエ変換後のフレームを、ＰＳＦのフーリエ変換後の関数の逆数である逆フィルタに通し、逆フィルタを通過したフレームを逆フーリエ変換することにより、ボケの改善されたフレームを生成する。

【0053】

拡大超解像の画像処理によりフレームが順次生成されてゆく様子は、図６のように表される。つまり、ｎを自然数とすると、第ｎ回目のステップＳ１では、画像処理部４１は、第（ｎ−１）次対象フレームＦ（ｎ−１）を拡大率ｍ倍で拡大した第ｎ次中間対象フレームＦ_ｍ（ｎ）を生成する。なお、第０次対象フレームＦ（０）とは、元フレームである。第ｎ回目のステップＳ２では、画像処理部４１は、第ｎ次中間対象フレームＦ_ｍ（ｎ）のエッジを鮮明化した第ｎ次対象フレームＦ（ｎ）を生成する。そして、ステップＳ１，Ｓ２が繰り返し回数Ｋ回だけ実行されると、最終的な成果物である拡大フレームとして、第Ｋ次対象フレームＦ（Ｋ）が生成される。拡大フレームＦ（Ｋ）は、元フレームＦ（０）のｍ^Ｋ倍の画像サイズを有する。

【0054】

なお、制御部４０は、最終的な成果物である拡大フレームＦ（Ｋ）の静止画ファイルだけでなく、中間の生成物である中間対象フレームＦ_ｍ（１），Ｆ_ｍ（２），・・・，Ｆ_ｍ（Ｋ）および対象フレームＦ（１），Ｆ（２），・・・，Ｆ（Ｋ−１）の静止画ファイルを、元フレームＦ（０）の静止画ファイルとは別のファイルとして、加工ファイル領域５２内に保存する。

【0055】

拡大超解像の画像処理が終了すると、制御部４０は、アクティブな表示ウィンドウＷ２内に、拡大フレームＦ（Ｋ）を表示する。しかし、制御部４０は、ユーザが基本画面Ｗ１上で行う適当な操作に応じて、アクティブな表示ウィンドウＷ２内に、元フレームＦ（０）、中間対象フレームＦ_ｍ（１），Ｆ_ｍ（２），・・・，Ｆ_ｍ（Ｋ）および対象フレームＦ（１），Ｆ（２），・・・，Ｆ（Ｋ−１）を表示することができる。制御部４０は、これらのフレームＦ_ｍ（１），Ｆ_ｍ（２），・・・，Ｆ_ｍ（Ｋ），Ｆ（０），Ｆ（１），・・・，Ｆ（Ｋ）間で、アクティブ表示フレームの切り替えを瞬時に行うことができる。これらのフレームＦ_ｍ（１），Ｆ_ｍ（２），・・・，Ｆ_ｍ（Ｋ），Ｆ（０），Ｆ（１），・・・，Ｆ（Ｋ）の静止画ファイルが、ソフトウェア管理領域５０内に別々のファイルとして保存されているからである。従って、ユーザは、アクティブ表示フレームをフレームＦ_ｍ（１），Ｆ_ｍ（２），・・・，Ｆ_ｍ（Ｋ），Ｆ（０），Ｆ（１），・・・，Ｆ（Ｋ）間で瞬時に切り替えつつ、鮮明化の度合いが最適と思われるフレームを簡単に見つけることができる。

【0056】

今、ユーザが、拡大超解像の画像処理により、元フレームＦ（０）をＭ倍拡大した拡大フレームＦ（Ｋ）を生成することを望んでいるとする。その場合、ユーザは、ｍ^Ｋ＝Ｍとなるような適当なｍ，Ｋの値を、拡大超解像ウィンドウＷ３上のエリアＢ１，Ｂ２内で指定すればよい。例えば、元フレームを約２倍拡大した拡大フレームを生成したい場合には、ユーザは、（１．１）^８＝２．１４３・・・となるため、１回の拡大ルーチンによる拡大率として、ｍ＝１．１倍を指定し、エッジ強調拡大処理の繰り返し回数として、Ｋ＝８回を指定すればよい。

【0057】

＜３．用途＞
上記のとおり、画像処理プログラム２は、静止画又は動画ファイルのどちらから画像データを取り込もうとも、その後、画像データを静止画ファイル群として管理する。従って、画像処理プログラム２は、同じタイムラインの中の任意のフレームを任意に画像処理したいというユーザの要望に容易に応えることができる。また、画像処理プログラム２は、静止画ファイル群を動画として再生する機能を有している。その結果、画像データが画像処理プログラム２内で静止画ファイル群として取り扱われようとも、ユーザは、その画像データを動画として認識することができる。従って、画像処理プログラム２は、動画の解析や編集等を行う場面で特に有用である。

【0058】

画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができるが、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析するのにも利用され得る。例えば、防犯カメラの監視映像の中に、容疑者の車のナンバーが捕えられている場合がある。しかし、被写体（容疑者の車のナンバー）は、監視映像の中に小さく不鮮明に写っている場合が多い。本実施形態に係る拡大超解像の機能は、防犯カメラの監視映像（特に、必要とする部分）を拡大しつつ、鮮明にし、容疑者の車のナンバー等を読み取れるようにするのに特に有用である。

【0059】

＜４．特徴＞
＜４−１＞
上記実施形態では、画像処理部４１は、拡大超解像の画像処理による拡大フレームの生成時に、元フレームに対し、ステップＳ１，Ｓ２に係るエッジ強調拡大処理を順次繰り返し実行することができる。つまり、ステップＳ１に係る拡大ルーチンと、ステップＳ２に係るエッジ強調ルーチンとが繰り返し実行され得る。言い換えると、画像処理部４１は、所望の拡大率Ｍの拡大フレームを得るべく、拡大率ｍ倍ずつ小刻みに元フレームを拡大しつつ、エッジ強調ルーチンを複数回実行することができる。その結果、所望の拡大率Ｍで拡大ルーチンを１回実行し、その後、エッジ強調ルーチンを１回実行するよりも、エッジの強調された好ましい拡大フレームが生成され得る。

【0060】

ところで、所望の拡大率Ｍの拡大フレームを生成する方法として、所望の拡大率Ｍで拡大ルーチンを１回実行し、その後、エッジ強調ルーチンを複数回実行する方法も考えられる。しかしながら、エッジ強調ルーチンは、高負荷であることが多い。一般に、超解像と呼ばれるエッジ強調ルーチンは、多くの場合、高負荷である。そうすると、拡大率Ｍで拡大された画像サイズの大きなフレームに対し、高負荷なエッジ強調ルーチンが複数回実行される場合、計算時間が非常に長くなってしまう。しかしながら、高負荷なエッジ強調ルーチンが同じ回数実行されるとしても、上記実施形態のように、元フレームを拡大率ｍで小刻みに拡大しつつ、エッジ強調ルーチンを複数回実行してゆくのであれば、計算時間が大幅に短縮され得る。複数回実行されるエッジ強調ルーチンのうち、前半のエッジ強調ルーチンの対象となるフレームの画像サイズが小さいからである。なお、本発明に係る拡大超解像の画像処理において、低負荷のエッジ強調ルーチンを用いてもよいことは、言うまでもない。

【0061】

＜４−２＞
上記実施形態では、拡大超解像ウィンドウＷ３は、元フレームを拡大する指示と同時に、エッジ強調拡大処理の繰り返し回数Ｋおよび１回のエッジ強調拡大処理による拡大率ｍの入力をユーザから受け付ける。そして、画像処理部４１は、ユーザが繰り返し回数Ｋおよび拡大率ｍを指定した後、上記指示に応じて、自動的に拡大率ｍでのエッジ強調拡大処理を繰り返し回数Ｋ回だけ繰り返し実行することができる。従って、ユーザは、簡単な操作で、元フレームを小刻みに拡大しつつ、エッジ強調拡大処理を繰り返し実行することができる。

【0062】

なお、ユーザは、拡大超解像ウィンドウＷ３内で繰り返し回数Ｋ＝１回を指定し、拡大超解像の画像処理を実行することができる。その後、ユーザは、その拡大超解像の画像処理の実行後のフレームに対し、再度、拡大超解像ウィンドウＷ３内で繰り返し回数Ｋ＝１回を指定し、拡大超解像の画像処理を実行することができる。このように、エッジ強調拡大処理を１回実行する度に、拡大超解像ウィンドウＷ３上でパラメータを指定する方法が採られたとしても、同様の拡大フレームを得ることができる。

【0063】

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

【0064】

＜５−１＞
上記実施形態では、１回のエッジ強調拡大処理において、ステップＳ１の拡大ルーチンが終了した後、ステップＳ２のエッジ強調ルーチンが実行されるようになっており、画像を拡大する処理と、エッジを強調する処理とが分離されていた。しかしながら、画像を拡大する処理と、エッジを強調する処理とが一体化されているようなアルゴリズムを用いることもできる。

【0065】

＜５−２＞
上記実施形態では、ステップＳ１の拡大ルーチンとして、ニアレストネイバー、バイリニア、バイキュービックおよびランツォシュの拡大方法を実行可能であったが、これら以外の方法を適宜実行可能としてもよい。また、ステップＳ２のエッジ強調ルーチンとしても、例えば、一般にシャープネスや超解像と呼ばれる、ボケやブレを補正し、エッジを強調するための任意の方法を適宜採用し得る。

【0066】

＜５−３＞
上記実施形態では、拡大超解像の画像処理のパラメータとして、エッジ強調拡大処理の繰り返し回数Ｋおよび１回のエッジ強調拡大処理による拡大率ｍが指定されるようになっていた。しかしながら、拡大超解像の画像処理のパラメータの指定の方法は、上述したものに限られず、例えば、以下の方法が考えられる。

【0067】

例えば、繰り返し回数Ｋおよび拡大率ｍの代わりに、拡大超解像ウィンドウＷ３が、元フレームから拡大フレームへの最終的な拡大率Ｍの入力を受け付けるようにしてもよい。その場合、例えば、画像処理部４１が、指定された拡大率Ｍから、ｍ^Ｋ＝Ｍの関係をおおよそ満たす繰り返し回数Ｋおよび拡大率ｍを自動的に算出する。続いて、画像処理部４１は、自動的に算出した繰り返し回数Ｋおよび拡大率ｍに従って、上記実施形態と同様に、拡大超解像の画像処理を実行すればよい。

【0068】

あるいは、拡大超解像ウィンドウＷ３が、繰り返し回数Ｋおよび拡大率ｍのうち、繰り返し回数Ｋの入力のみを受け付けるようにしてもよい。その場合、拡大率ｍについては、予め定められているものとしてもよい。あるいは、拡大超解像ウィンドウＷ３が、繰り返し回数Ｋおよび拡大率ｍのうち、拡大率ｍの入力のみを受け付けるようにしてもよい。その場合、繰り返し回数Ｋについては、予め定められているものとしてもよい。あるいは、繰り返し回数Ｋおよび拡大率ｍのどちらも、予め定められているものとしてもよい。その場合、拡大超解像ウィンドウＷ３が、特にパラメータの入力をユーザに要求しないようにしてもよい。

【0069】

＜５−４＞
上記実施形態では、オリジナル画像領域５１へ取り込まれた画像データは、全て静止画ファイルとして保存されるようになっていた。しかしながら、オリジナル画像領域５１へ取り込まれた画像データを、動画ファイルとして保存するようにしてもよい。オリジナル画像領域５１内の画像データの形式を静止画形式とするか動画形式とするかは、ユーザが選択できるようにしてもよいし、取り込み元の画像データの形式等に応じて自動的に決定されるようにしてもよい。
さらに、その後、動画ファイルに対して画像処理が施される場合には、その画像処理後の画像データも動画ファイルの形式で保存するようにしてもよい。

【実施例】

【0070】

＜６．評価＞
以下、本発明の実施例について説明する。ただし、本発明は、以下の実施例に限定されない。本実施例では、図７に示す元フレームに対し、以下の２つの条件下で、拡大超解像の画像処理を実行した。図７に示す元フレームの画像サイズは、縦８５ピクセル×横６５ピクセルである。図７に示す元フレームは、１，２，３，４，５，６，７，８，９，＊，０，＃が３つずつ４段に配列される電話のキーパッドを撮影した画像である。

【0071】

第１の条件では、拡大率ｍ＝１．１倍とし、繰り返し回数Ｋ＝８回とした。拡大ルーチンとしては、バイリニアを選択した。第２の条件では、拡大率ｍ＝２．１倍とし、繰り返し回数Ｋ＝１回とした。拡大ルーチンとしては、バイリニアを選択した。なお、（１．１）^８＝２．１４３・・・であり、約２．１である。

【0072】

図８は、第１の条件で最終的に生成された拡大フレームを示し、図９は、第２の条件で最終的に生成された拡大フレームを示す。第１の条件による拡大フレームの画像サイズは、縦１８２ピクセル×横１４２ピクセルであり、第２の条件による拡大フレームの画像サイズは、縦１７９ピクセル×横１３７ピクセルであり、両サイズは、概ね等しい。これらの２つの画像を比較すると、拡大率２．１倍でのエッジ強調拡大処理が１回だけ実行された拡大フレームよりも、拡大率１．１倍でのエッジ強調拡大処理が８回実行され、最終的に拡大率約２．１倍で拡大された拡大フレームの方が、読みやすい文字が存在することが分かる。

【符号の説明】

【0073】

１ 画像処理装置（コンピュータ）
２ 画像処理プログラム
４１ 画像処理部
４２ パラメータ受付部（受付部）
Ｆ（０） 元フレーム（元画像）
Ｆ（Ｋ） 拡大フレーム（拡大画像）
Ｋ 繰り返し回数
ｍ 拡大率（１回のエッジ強調拡大処理の拡大率）
Ｍ 拡大率（元画像から拡大画像への拡大率）
Ｓ１ 拡大ルーチン
Ｓ２ エッジ強調ルーチン

【図1】

【図5】

【図6】

【図2】

【図3】

【図4】

【図7】

【図8】

【図9】