特許 7676164 画像処理装置、撮像装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-02

(45)【発行日】2025-05-14

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   G06T 5/50 20060101AFI20250507BHJP

   G06T 5/00 20240101ALI20250507BHJP

   H04N 23/60 20230101ALI20250507BHJP

【ＦＩ】

G06T5/50

G06T5/00 700

H04N23/60 500

【請求項の数】 20

(21)【出願番号】P 2021027596

(22)【出願日】2021-02-24

(65)【公開番号】P2022129053

(43)【公開日】2022-09-05

【審査請求日】2024-02-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】楠美 祐一

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１２－１５６７７８（ＪＰ，Ａ）

【文献】特開２０１２－０６９０９９（ＪＰ，Ａ）

【文献】特表平１１－５００２３５（ＪＰ，Ａ）

【文献】特開２０１７－１０８３８３（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０２０－０１１７５０７（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／９４

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

(57)【特許請求の範囲】

【請求項1】

互いに撮像位置が異なる複数の画像を取得する画像取得部と、
前記複数の画像に対して回復処理を行うことで、複数の回復画像を取得する第１処理部と、
前記複数の回復画像を用いて第３の画像を取得する第２処理部とを有し、
前記第１処理部は、前記画像取得部により前記複数の画像のすべてが取得された後に前記複数の画像に対する回復処理を行い、
前記第３の画像の画素数は、前記複数の画像の画素数のそれぞれよりも多いことを特徴とする画像処理装置。

【請求項2】

前記第３の画像の解像度は、前記複数の画像の解像度のそれぞれよりも高いことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

画像回復フィルタを取得する回復フィルタ取得部を更に有し、
前記第１処理部は、前記画像回復フィルタを用いて、前記複数の画像に対して前記回復処理を行うことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記画像回復フィルタは、ナイキスト周波数以下の周波数における光学伝達関数と、ナイキスト周波数よりも高い周波数における光学伝達関数とに基づいて生成されることを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記画像回復フィルタは、ナイキスト周波数以下の周波数における回復特性と、ナイキスト周波数よりも高い周波数における回復特性とに基づいて生成されることを特徴とする請求項３に記載の画像処理装置。

【請求項6】

前記画像回復フィルタは、撮像光学系の光学情報に基づいて生成されることを特徴とする請求項３乃至５のいずれか一項に記載の画像処理装置。

【請求項7】

第一の処理または第二の処理のいずれを行うかを判定する処理判定部を更に有し、
前記処理判定部が前記第一の処理を行うと判定した場合、
前記第１処理部は、前記複数の画像に対して回復処理を行い前記複数の回復画像を取得し、
前記第２処理部は、前記複数の回復画像を用いて前記第３の画像を取得し、
前記処理判定部が前記第二の処理を行うと判定した場合、
前記第２処理部は、前記複数の画像を用いて前記第３の画像を取得し、
前記第１処理部は、前記第３の画像に対して回復処理を行うことで第４の画像を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記処理判定部は、
前記複数の画像を含む回復対象データに基づいて、前記第一の処理または前記第二の処理のいずれを行うかを判定し、
前記回復対象データが動画の場合、前記第一の処理を行うと判定し、
前記回復対象データが静止画の場合、前記第二の処理を行うと判定することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記処理判定部は、撮像光学系の点像分布関数または光学伝達関数に基づいて、前記第一の処理または前記第二の処理のいずれを行うかを判定することを特徴とする請求項７に記載の画像処理装置。

【請求項10】

前記処理判定部は、
前記点像分布関数が所定値よりも大きい場合、前記第一の処理を行うと判定し、
前記点像分布関数が前記所定値よりも小さい場合、前記第二の処理を行うと判定することを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記処理判定部は、
前記光学伝達関数の絶対値が所定の周波数において閾値よりも小さい場合、前記第一の処理を行うと判定し、
前記光学伝達関数の絶対値が前記所定の周波数において前記閾値よりも大きい場合、前記第二の処理を行うと判定することを特徴とする請求項９に記載の画像処理装置。

【請求項12】

前記処理判定部は、撮像光学系の絞り値に基づいて、前記第一の処理または前記第二の処理のいずれを行うかを判定することを特徴とする請求項７に記載の画像処理装置。

【請求項13】

前記処理判定部は、
前記絞り値が所定の絞り値よりも大きい場合、前記第一の処理を行うと判定し、
前記絞り値が前記所定の絞り値よりも小さい場合、前記第二の処理を行うと判定することを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

前記処理判定部は、
前記絞り値が所定の絞り値よりも小さい場合、前記第一の処理を行うと判定し、
前記絞り値が前記所定の絞り値よりも大きい場合、前記第二の処理を行うと判定することを特徴とする請求項１２に記載の画像処理装置。

【請求項15】

前記第一の処理または前記第二の処理における前記回復処理に用いられる画像回復フィルタのタップ数は、互いに異なることを特徴とする請求項７乃至１４のいずれか一項に記載の画像処理装置。

【請求項16】

互いに撮像位置が異なる第１の画像および第２の画像を取得する画像取得部と、
前記第１の画像および前記第２の画像に対して回復処理を行うことで、第１の回復画像および第２の回復画像をそれぞれ取得する第１処理部と、
前記第１の回復画像および前記第２の回復画像を用いて第３の画像を取得する第２処理部と、
第一の処理または第二の処理のいずれの処理を行うかを判定する処理判定部とを有し、
前記処理判定部が前記第一の処理を行うと判定した場合、前記第１処理部は、前記第１の画像および前記第２の画像に対して回復処理を行うことで前記第１の回復画像および前記第２の回復画像を取得し、前記第２処理部は前記第１の回復画像および前記第２の回復画像を用いて前記第３の画像を取得し、
前記処理判定部が前記第二の処理を行うと判定した場合、前記第２処理部は前記第１の画像および前記第２の画像を用いて前記第３の画像を取得し、前記第１処理部は前記第３の画像に対して回復処理を行うことで第４の画像を取得し、
前記第３の画像の画素数は、前記第１の画像の画素数および前記第２の画像の画素数のそれぞれよりも多いことを特徴とする画像処理装置。

【請求項17】

撮像光学系により形成された光学像を光電変換する撮像素子と、
請求項１乃至１６のいずれか一項に記載の画像処理装置と、を有することを特徴とする撮像装置。

【請求項18】

前記撮像光学系は、位相マスクを含むことを特徴とする請求項１７に記載の撮像装置。

【請求項19】

互いに撮像位置が異なる複数の画像を取得する第１ステップと、
前記複数の画像に対して回復処理を行うことで複数の回復画像を取得する第２ステップと、
前記複数の回復画像に基づいて第３の画像を取得する第３ステップとを有し、
前記第２ステップは、前記第１ステップ実行後に実行され、
前記第３の画像の画素数は、前記複数の画像の画素数のそれぞれよりも多いことを特徴とする画像処理方法。

【請求項20】

請求項１９に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の高画素化処理および画像回復処理を行う画像処理装置に関する。

【背景技術】

【0002】

従来、画像の画素数を撮像素子の画素数よりも増やす処理として、画素ずらし（ピクセルシフト）画像を用いて高画素化する高画素化処理が知られている。特許文献１には、画素ずらしを行って取得した複数の画像データを合成し、高解像度の合成画像（高画素化画像）を生成する画像処理方法が開示されている。また特許文献１には、合成画像に対して撮像光学系のＭＴＦ特性に基づいてエッジ強調を行う画像処理方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１３０４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された画像処理方法により高画素化画像に画像回復処理を行う場合、画像回復処理に必要な画像回復フィルタとして必要なタップ数が大きくなる。例えば、画素数が４倍になった高画素化画像に対して画像回復フィルタを適用する場合、撮像によって得られた画像に対する画像回復フィルタと同等の範囲のぼけを補正しようとすると、４倍のタップ数が必要となる。したがって、高画素化画像に対して画像回復処理を行う場合、データ量や演算量が増大する。

【0005】

そこで本発明は、高画素化処理および画像回復処理を行う際に、データ量や演算量を削減しつつ光学系の収差や回折によるぼけを低減することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面としての画像処理装置は、互いに撮像位置が異なる複数の画像を取得する画像取得部と、前記複数の画像に対して回復処理を行うことで、複数の回復画像を取得する第１処理部と、前記複数の回復画像を用いて第３の画像を取得する第２処理部とを有し、前記第１処理部は、前記画像取得部により前記複数の画像のすべてが取得された後に前記複数の画像に対する回復処理を行い、前記第３の画像の画素数は、前記複数の画像のそれぞれよりも多い。

【0007】

本発明の他の目的及び特徴は、以下の実施例において説明される。

【発明の効果】

【0008】

本発明によれば、高画素化処理および画像回復処理を行う際に、データ量や演算量を削減しつつ光学系の収差や回折によるぼけを低減することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】各実施例における画像回復フィルタの説明図である。

【図2】各実施例における画像回復フィルタの説明図（断面図）である。

【図3】各実施例における点像分布関数ＰＳＦの説明図である。

【図4】各実施例における光学伝達関数の振幅成分ＭＴＦと位相成分ＰＴＦの説明図である。

【図5】各実施例における高画素化処理の説明図である。

【図6】各実施例における別の高画素化処理の説明図である。

【図7】実施例１における画像処理方法のフローチャートである。

【図8】実施例１における画像回復フィルタの生成方法の説明図である。

【図9】実施例１における画像回復フィルタの回復ゲインの説明図である。

【図10】実施例１における画像回復フィルタ生成時の目標ＭＴＦの説明図である。

【図11】実施例２における画像処理方法のフローチャートである。

【図12】実施例３における画像処理システムの説明図である。

【図13】実施例４における撮像装置のブロック図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

【0011】

撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差の影響によりぼけ成分を含み、劣化している。このような収差による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味しており、点像分布関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）で表される。

【0012】

点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。振幅成分ＭＴＦおよび位相成分ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。

【0013】

ＰＴＦ＝ｔａｎ^－１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ここで、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、光学伝達関数ＯＴＦの実部および虚部を表す。このように、撮像光学系の光学伝達関数ＯＴＦは、画像の振幅成分ＭＴＦと位相成分ＰＴＦに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれ、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。

【0014】

振幅成分ＭＴＦおよび位相成分ＰＴＦの劣化を補正する方法として、撮像光学系の光学伝達関数ＯＴＦの情報を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以下、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数（ＯＴＦ）の逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。

【0015】

画像回復を効果的に用いるためには、撮像光学系のより正確なＯＴＦ情報を得る必要がある。一般的な撮像光学系のＯＴＦは、像高（画像の位置）によって大きく変動する。また光学伝達関数ＯＴＦは２次元データであり、複素数であるため実部と虚部を有する。また、ＲＧＢの３つの色成分を有するカラー画像を対象とした画像回復処理を行う場合、一つの像高のＯＴＦデータは、縦方向のタップ数×横方向のタップ数×２（実部、虚部）×３（ＲＧＢ）となる。ここで、タップ数とはＯＴＦデータの縦横のサイズである。これらを、像高、Ｆナンバー（絞り値）、ズーム（焦点距離）、撮影距離など全ての撮影条件について保持すると、膨大なデータ量となる。

【0016】

一方、画像の画素数を撮像素子の画素数よりも増やす処理として、高画素化処理がある。高画素化処理として、画素ずらし（ピクセルシフト）画像を用いて高画素化する方法（高画素化処理）が知られている。

【0017】

まず、各実施例で説明される用語の定義および高画素化処理および画像回復処理（画像処理方法）について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。

【0018】

［撮影画像］
撮影画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。

【0019】

撮影画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。

【0020】

撮影画像（入力画像）や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。

【0021】

［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。

【0022】

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

【0023】

また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。

【0024】

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

【0025】

撮影された劣化画像ｇから元の画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。

【0026】

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

【0027】

Ｈ－１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

【0028】

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタなどとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

【0029】

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

【0030】

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５－１）、（５－２）で表される。

【0031】

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （５－１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （５－２）
ここで、Ｎはノイズ成分である。

【0032】

ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

【0033】

【数1】

【0034】

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

【0035】

次に、図１および図２を参照して、画像回復フィルタについて説明する。図１は、画像回復フィルタの説明図である。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図１の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。また図１では、各タップ内の値（係数）を省略しているが、この画像回復フィルタの一断面を図２に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。

【0036】

画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

【0037】

次に、図３および図４を参照して、画像回復の実空間と周波数空間での特性について説明する。図３は、点像分布関数ＰＳＦの説明図であり、図３（ａ）は画像回復前の点像分布関数ＰＳＦ、図３（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図４は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図４（Ｍ））と位相成分ＰＴＦ（図４（Ｐ））の説明図である。図４（Ｍ）中の破線（ａ）は画像回復前のＭＴＦ、一点鎖線（ｂ）は画像回復後のＭＴＦを示す。また図４（Ｐ）中の破線（ａ）は画像回復前のＰＴＦ、一点鎖線（ｂ）は画像回復後のＰＴＦを示す。図３（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。

【0038】

このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。

【0039】

また、収差による光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化するため、画像回復フィルタは像高に応じて変更して使用する必要がある。

【0040】

一方、Ｆナンバーが大きくなるに従って影響が支配的になる回折による光学伝達関数（ＯＴＦ）は、光学系のビネッティングの影響が小さい場合、像高に対して一律なＯＴＦとして扱うことができる。

【0041】

画像回復処理の補正対象として、収差を含まず、回折（回折ぼけ）を対象とする場合には、画像回復フィルタは、絞り値と光の波長のみに依存し、像高（画像の位置）に依存しない。このため、一つの画像内について一律の（一定の）画像回復フィルタを用いることができる。すなわち回折ぼけを補正対象とする画像回復フィルタは、絞り値に応じて発生する回折ぼけによる光学伝達関数に基づいて生成される。波長については、複数の波長での光学伝達関数を計算し、想定する光源の分光や撮像素子の受光感度情報に基づいて波長ごとの重み付けにより色成分ごとの光学伝達関数を生成することができる。または、予め決めた色成分ごとの代表波長で計算を行ってもよい。そして、色成分ごとの光学伝達関数に基づいて画像回復フィルタを生成することができる。

【0042】

したがって、回折のみを補正対象とする場合、絞り値に依存する画像回復フィルタを予め複数保持しておき、絞り値の撮影条件に応じて画像内を一律の（一定の）画像回復フィルタを用いて処理することができる。また、画素開口の形状に起因した開口劣化成分や光学ローパスフィルタの特性も考慮することがより好ましい。

【0043】

また、光学系に深度方向の性能変動を鈍化させる位相マスク（波面変調素子）を挿入し、深度を拡大する手法（ＷＦＣ：ＷａｖｅＦｒｏｎｔ Ｃｏｄｉｎｇ）を行う場合においても、前述の画像回復処理が行われる。光学系に位相マスクを挿入して深度方向の性能変動を鈍化させると、像高や物体距離等の撮影条件に対しても性能変動が鈍化する傾向にある。つまり、光学系に位相マスクを挿入した際に、像高に対する性能変動が少ない場合には、回折ぼけを補正する場合と同様に像高に対して一律なＯＴＦとして扱うことができる。したがって、光学系に位相マスクを含み、深度拡大を行う場合においても、一つの画像内について一律の（一定の）画像回復フィルタを用いてよい。位相マスクとしては、例えば、面形状が３次関数であらわされるＣｕｂｉｃ Ｐｈａｓｅ Ｍａｓｋ等が用いられる。深度拡大に用いられる位相マスクとしては上記に限らず、種々の手法を用いてもよい。

【0044】

次に、図５を参照して、高画素化処理の概要について説明する。図５は、高画素化処理の説明図であり、高画素化処理に用いる撮影画像の一例を示す。高画素化処理では、撮影位置が異なる複数の撮影画像から高画素化画像を取得する。図５では、撮影位置を互いに半画素ずらした状態で撮影を行うことで、高画素化処理に用いる４枚の撮影画像を取得する。４枚の撮影画像のそれぞれは、基準状態５１（ずれなし）、水平方向ずれ５２、垂直方向ずれ５３、水平・垂直方向ずれ５４により取得されたものである。半画素ずれた４枚の撮影画像を取得することで、高画素化処理により画素数が４倍になった高画素化画像５５を取得することができる。撮影位置のずらし手法としては、撮像素子をずらすことで行ってもよいし、光学系や光学系に含まれる一部のレンズ、あるいは撮像装置全体を動かすことで行ってもよい。

【0045】

図５は撮像素子がモノクロセンサである場合の例を示すが、撮像素子がベイヤー配列をしている場合には、１画素ずらした複数の撮影画像を取得したうえで、さらに半画素ずらした複数の撮影画像を取得してよい。撮像素子がベイヤー配列をしている状態で１画素ずらして撮影を行うことで、補間処理によるデモザイク処理を行うことなく、各画素で各色の輝度値を正確に取得することができる。

【0046】

図６は、別の高画素化処理の説明図であり、撮像素子を複数個用いて高画素化処理に用いる複数の画像を取得する例を示している。例えば、ＲＧＢでそれぞれ異なる撮像素子を用いて撮像を行う際に、ＲおよびＢの撮影位置に対して、Ｇの撮影位置を半画素ずらすことで、高画素化処理に用いる撮影画像を取得する。その後、補間処理により高画素化処理を行うことで撮影画像よりも画素数が多い高画素化画像６１を取得することができる。なお、高画素化処理やそれに用いる画像の撮影は前述に限定されるものではなく、他の手法を用いてもよい。

【実施例1】

【0047】

次に、図７を参照して、本発明の実施例１における画像処理方法について説明する。図７は、本実施例における画像処理方法（画像処理プログラム）のフローチャートである。本実施例での画像処理方法は、画像処理装置としてのＣＰＵ等により構成されるコンピュータが、コンピュータプログラムとしての画像処理プログラムに従って実行する。このことは、後述する他の実施例でも同じである。

【0048】

まず、ステップＳ１１において、画像処理装置は、撮像装置が撮像によって生成した撮影画像を取得する。撮像装置からの撮影画像の取得は、撮像装置と画像処理装置とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。ここで、撮影画像の取得の際には、後述の高画素化処理を行うために互いに撮影位置をずらした画像を取得する。前述のように、高画素化処理に用いる画像の撮像は、種々の手法を用いて行うことができる。本実施例では、一例として、図５に示されるような、撮影位置が互いに半画素ずらした状態（基準状態、水平方向にずれ、垂直方向にずれ、水平・垂直方向にずれ）で撮影された４枚の画像を撮影画像として取得する。

【0049】

続いてステップＳ１２において、画像処理装置は、後述の画像回復処理に用いる画像回復フィルタを取得する。本実施例では、撮影条件に基づいて収差情報（光学情報）を取得し、収差情報に基づいて画像回復フィルタを取得する例について説明する。すなわち本実施例において、画像回復フィルタは、撮像光学系の光学情報に基づいて生成される。

【0050】

まず、画像処理装置は、撮像装置が撮像によって撮影画像を生成した際の撮影条件（撮影条件情報）を取得する。撮影条件は、前述したように、撮像光学系の焦点距離、絞り値（Ｆ値）、および、撮影距離のほか、撮像装置の識別情報（カメラＩＤ）等を含む。また、撮像光学系の交換が可能な撮像装置においては、撮影条件に、撮像光学系（交換レンズ）の識別情報（レンズＩＤ）を含めてもよい。撮影条件情報は、前述したように撮影画像に付帯された情報として取得してもよいし、有線または無線による通信や記憶媒体を介して取得してもよい。

【0051】

続いて、画像処理装置は、撮影条件に適した収差情報を取得する。本実施例において、収差情報は光学伝達関数ＯＴＦである。画像処理装置は、予め保持された複数の光学伝達関数ＯＴＦから、撮影条件に応じて適切な光学伝達関数ＯＴＦを選択して取得する。また、絞り値、撮影距離、および、ズームレンズの焦点距離などの撮影条件が特定の撮影条件の場合、その撮影条件に対応する光学伝達関数ＯＴＦを、予め保持されている他の撮影条件の光学伝達関数ＯＴＦから補間処理により生成することもできる。この場合、保持する光学伝達関数ＯＴＦのデータ量を低減することが可能である。補間処理としては、例えばバイリニア補間（線形補間）やバイキュービック補間等が用いられるが、これに限定されるものではない。

【0052】

本実施例において、画像処理装置は、収差情報として光学伝達関数ＯＴＦを取得するが、これに限定されるものではない。光学伝達関数ＯＴＦに代えて、点像分布関数ＰＳＦ等の収差情報を取得してもよい。また本実施例において、画像処理装置は、収差情報を所定の関数へのフィッティングによって近似した係数データを取得し、係数データから光学伝達関数ＯＴＦや点像分布関数ＰＳＦを再構成してもよい。例えば、光学伝達関数ＯＴＦはＬｅｇｅｎｄｒｅ多項式を用いてフィッティングを行えばよい。また、Ｃｈｅｂｕｓｈｅｖ多項式など他の関数を用いてフィッティングすることもできる。

【0053】

本実施例では、画像処理装置は、画面中心（撮影画像の中心）または撮像光学系の光軸を通る一方向における複数の光学伝達関数ＯＴＦを生成する。なお、撮像光学系は、撮像素子や光学ローパスフィルタなどを含んでもよい。

【0054】

続いて、画像処理装置は、光学伝達関数ＯＴＦを画面中心（撮影画像の中心）または撮像光学系の光軸の周りに回転させて光学伝達関数ＯＴＦを展開する。具体的には、画像処理装置は、画素配列に対応して光学伝達関数ＯＴＦを補間することにより、光学伝達関数ＯＴＦを撮影画像内の複数の位置に離散的に配置する。

【0055】

続いて、画像処理装置は、光学伝達関数ＯＴＦを画像回復フィルタに変換する、すなわち展開された光学伝達関数ＯＴＦを用いて画像回復フィルタを生成する。画像回復フィルタは、光学伝達関数ＯＴＦに基づいて周波数空間での回復フィルタ特性を作成し、逆フーリエ変換により実空間のフィルタ（画像回復フィルタ）に変換することにより生成される。

【0056】

図８（ａ）～（ｅ）は、画像回復フィルタの生成方法の説明図である。図８（ａ）に示されるように、光学伝達関数ＯＴＦは、画面中心（撮影画像の中心）または撮像光学系の光軸を通る一方向（垂直方向）に、画像の外接円の領域（撮像領域）に配置されている。

【0057】

本実施例では、図８（ａ）に示されるように直線上に光学伝達関数を展開したが、これに限定されるものではない。例えば、撮影画像面内において、撮影画像の中心または撮像光学系の光軸を通り互いに直交する直線を第１の直線（図８（ａ）のｙ）と第２の直線（図８（ａ）のｘ）とする。このとき、取得した光学伝達関数のうち少なくとも２つの光学伝達関数が、第１の直線の直線上の位置（像高）に対応する光学伝達関数であればよい。すなわち、光学伝達関数ＯＴＦは、画面中心または撮像光学系の光軸から所定の方向に互いに異なる距離で配列された複数の位置（撮影画像内の複数の位置）に配置されていれば、一方向に直線的に配列されていなくてもよい。なお、撮影画像の中心または撮像光学系の光軸を含む画素がない場合、すなわち、画素と画素の間に撮影画像の中心または撮像光学系の光軸がある場合、取得した光学伝達関数は、第１の直線を挟む画素の位置（像高）に対応する光学伝達関数であればよい。

【0058】

また、光学伝達関数ＯＴＦを一方向に配列する場合、垂直方向に限定されるものではなく水平方向など他の方向に配列してもよい。光学伝達関数ＯＴＦを垂直方向または水平方向のいずれかに直線的に配列すると、本実施例の画像処理がより容易に行えるため、より好ましい。

【0059】

続いて、光学伝達関数ＯＴＦを回転させ、必要に応じて補間処理（回転後の画素配列に応じた各種処理）を行い、図８（ｂ）に示されるように光学伝達関数ＯＴＦを再配置する。補間処理は、放射方向の補間処理と回転に伴う補間処理を含み、光学伝達関数ＯＴＦを任意の位置に再配置することができる。次に、各位置の光学伝達関数ＯＴＦについて、例えば式（６）のように画像回復フィルタの周波数特性を計算して逆フーリエ変換を行うことで、図８（ｃ）に示されるように実空間の画像回復フィルタへの変換を行う。

【0060】

すなわち、撮影画像において、撮影画像の中心または撮像光学系の光軸を通り互いに直交する直線を第１の直線（図８（ａ）中のｙ）と第２の直線（図８（ａ）中のｘ）とする。撮影画像の中心または撮像光学系の光軸ＯＡに対して、撮影画像の第１領域（図８（ｃ）中の８３）と点対称な領域を第２領域（図８（ｃ）中の８１）とする。また、第１領域と第１の直線に対して線対称な領域を第３領域（図８（ｃ）の８２）、第１領域と第２の直線に対して線対称な領域を第４領域（図８（ｃ）の８４）とする。このとき、第１領域の光学伝達関数を用いて、第２領域または第３領域、第４領域の光学伝達関数を生成する。これにより、フーリエ変換処理が最終的に再配置する位置の略１／４に低減される。また、図８（ｂ）の光学伝達関数ＯＴＦおよび図８（ｃ）の画像回復フィルタを図８（ｅ）に示されるように回転および補間処理により再配置し、その対称性を用いて図８（ｄ）に示されるように展開すれば、さらにフーリエ変換処理を低減することができる。なお、図８（ａ）～（ｅ）に示される配置（回復フィルタの配置密度）は一例であり、撮像光学系の光学伝達関数ＯＴＦの変動に応じて配置間隔を任意に設定することができる。

【0061】

本実施例では、光学伝達関数ＯＴＦが撮像面の中心（画面中心）または撮像光学系の光軸に関して回転対称である前提で、前述したような画面中心または撮像光学系の光軸を通る一方向に配置した光学伝達関数ＯＴＦを回転および展開を行う。これにより、少ないデータ量で画像回復処理を行うことができる。また、画像回復処理の補正対象として、収差を含まず、回折（回折ぼけ）等、像高（画像の位置）に依存しないぼけを補正対象とする場合には、一つの画像内について一律の（一定の）光学伝達関数ＯＴＦや画像回復フィルタを用いてよい。

【0062】

以上のステップＳ１２にて取得した画像回復フィルタは、後述のステップＳ１３において撮影画像に対して適用される。したがって、後述の高画素化処理により生成されるナイキスト周波数より高い周波数に対しては理想的な画像回復処理が難しい。ナイキスト周波数より高い周波数の信号は、撮影画像に対して画像回復処理を行う段階ではナイキスト周波数以内に折り返されており、折り返し先の周波数における回復ゲインが適用される。

【0063】

図９は、撮影画像に対する画像回復処理における回復ゲインおよび理想的な回復ゲインの説明図である。図９において、横軸は周波数、縦軸は回復ゲインをそれぞれ示す。横軸の周波数は、ナイキスト周波数の２倍までの周波数を示しており、半分までがナイキスト周波数まで、それ以降が高画素化処理により生成される周波数帯域を示す。高画素化処理によって生成されるナイキスト周波数以降の周波数を含んだ状態における理想的なゲイン９１に対して、撮影画像に対する画像回復処理においてはナイキスト周波数までの回復ゲインが適用される。つまり、ナイキスト周波数以降の信号はナイキスト周波数以内に折り返された先の周波数における回復ゲイン９２が適用される。したがって、高画素化処理によって生成されるナイキスト周波数以降の周波数については理想的な回復ゲインを適用することが難しい。

【0064】

そこで、ナイキスト周波数以下の周波数における回復特性とナイキスト周波数より高い周波数における回復特性とに基づいて画像回復フィルタの回復ゲインを設定する。すなわち画像回復フィルタは、ナイキスト周波数以下の周波数における回復特性に加えて、ナイキスト周波数よりも高い周波数における回復特性に基づいて生成される。

【0065】

図９は、回復ゲインの設定の例を示す。例えば、ナイキスト周波数以降の理想的な回復ゲイン９１と、ナイキスト周波数以降の周波数に適用されるナイキスト周波数以下の回復ゲイン９２との平均あるいは加重平均の回復ゲイン９３がナイキスト周波数以降に適用されるように回復ゲイン９４を設定する。具体的には、ナイキスト周波数以降に適用されるナイキスト周波数以下の回復ゲイン９２と上述の平均回復ゲイン９３との比率を計算し、その比率を折り返した値をナイキスト周波数以内の回復ゲインに対して適用する（矢印で示す）ことで回復ゲイン９４を設定する。すなわち画像回復フィルタは、ナイキスト周波数以下の周波数における光学伝達関数に加えて、ナイキスト周波数よりも高い周波数における光学伝達関数（折り返した光学伝達関数）に基づいて生成される。これにより、高画素化処理によって生成されるナイキスト周波数以降の信号についても理想的な画像回復処理に近づけることができる。

【0066】

また、画像回復処理の目標ＭＴＦを設定し、目標ＭＴＦに基づいて画像回復フィルタを生成してもよい。例えば、目標ＭＴＦとして所定の絞り値の回折限界ＭＴＦ等を設定する。目標ＭＴＦがナイキスト周波数以降も高い値になる場合には、想定する被写体に応じて目標ＭＴＦが大きく異なる。特定周波数の周期構造のような被写体を想定する場合は、サンプリングの折り返し影響がないため単純に目標ＭＴＦを考えることができるが、ナイキスト周波数よりも高い高周波成分まで含む被写体では折り返しの影響により目標ＭＴＦも折り返して考える必要がある。つまり、被写体として何を想定にするかによって、目標ＭＴＦが変化する。折り返しの影響がない被写体を想定した目標ＭＴＦになるように画像回復フィルタを生成した場合、特定周波数の周期構造のような被写体に対しては適切な画像回復処理が可能な一方で、高周波まで含む被写体に対しては目標ＭＴＦまでは届かず補正不足となる。高周波まで含む被写体を想定した目標ＭＴＦになるように画像回復フィルタを生成した場合には、特定周波数の周期構造のような被写体に対しては目標ＭＴＦを超えて過剰補正となる。このように、目標ＭＴＦを設定する際に想定する被写体と画像回復処理の処理対象となる被写体に乖離がある場合には、補正不足や過剰補正になりうる。

【0067】

そこで、ナイキスト周波数以下の周波数におけるＯＴＦとナイキスト周波数より高い周波数におけるＯＴＦに基づいて目標ＭＴＦを決定し、画像回復フィルタを生成する。つまり、折り返しがないナイキスト周波数以下の目標ＭＴＦとナイキスト周波数より高い周波数におけるＯＴＦを折り返した場合の目標ＭＴＦに基づいて目標ＭＴＦを決定し、画像回復フィルタを生成する。図１０は、画像回復フィルタ生成時の目標ＭＴＦの説明図である。例えば図１０に示されるように、折り返しがないナイキスト周波数以下の目標ＭＴＦ１０１とナイキスト周波数より高い周波数のＯＴＦを折り返した場合の目標ＭＴＦ１０２との平均あるいは加重平均ＭＴＦ１０３を目標ＭＴＦとして画像回復フィルタを生成する。つまり、収差等によって劣化しているＭＴＦ１００を目標ＭＴＦ１０３にまで回復する（矢印で示される）ような画像回復フィルタを生成する。これにより、目標ＭＴＦを設定した場合に、前述の補正不足や過剰補正を緩和することができる。

【0068】

以上、画像回復フィルタの生成および取得について説明したが、これに限定されるものではない。例えば、予め画像回復フィルタを生成して保持しておき、撮影条件に基づいて画像回復フィルタを取得するようにしてもよい。

【0069】

続いて、図７のステップＳ１３において、画像処理装置は、ステップＳ１１にて取得した撮影画像に対して画像回復処理を行う。画像回復処理は、ステップＳ１２で取得した画像回復フィルタに基づいて行われる。ここで、撮影画像は撮影位置が異なる複数の撮影画像であるため、画像中心が光軸（補正中心）とはずれている。したがって、画像回復処理を行う撮影画像の撮影位置に応じて補正中心をずらして画像回復処理を行ってもよい。

【0070】

なお、画像回復フィルタのコンボリューションの際に、図８（ｄ）に示される画像回復フィルタが配置されている位置以外の画素は、近傍に配置された複数のフィルタを用いて補間生成することもできる。このとき、画像回復フィルタは、撮影画像の第１の位置における第１の画像回復フィルタ、および、撮影画像の第２の位置における第２の画像回復フィルタを有する。第１の画像回復フィルタは、展開された光学伝達関数を用いて生成される。第２の画像回復フィルタは、第１の画像回復フィルタを用いて補間することにより生成される。このような補間処理を行うことにより、例えば１画素ごとに画像回復フィルタを変更することができる。

【0071】

続いてステップＳ１４において、画像処理装置は、撮影位置をずらして撮像することにより得られた複数の撮影画像に対して画像回復処理を行った複数の回復画像を取得する。ここでは、ステップＳ１１で撮影位置をずらした撮像によって得られた複数の撮影画像に対して、画像回復フィルタに基づいて画像回復処理を行うことで複数の回復画像を取得する。複数の撮影画像を取得した後に画像回復処理を行い複数の回復画像を取得してもよいし、または、撮影位置をずらして撮像を行って１枚の撮影画像を取得した後に画像回復処理を行い回復画像を取得することを繰り返し行うことで複数の回復画像を取得してもよい。

【0072】

続いてステップＳ１５において、画像処理装置は、ステップＳ１４にて取得した複数の回復画像を用いて高画素化処理を行う。高画素化処理は、前述したように種々の手法を用いて行うことができる。

【0073】

続いてステップＳ１６において、画像処理装置は、高画素化処理によって得られた高画素化画像を出力画像として出力する。このとき、画像処理装置は、高画素化画像に対して現像処理に関する種々の処理を行ってもよい。

【0074】

以上のフローによって得られた高画素化画像は、収差や回折によるぼけが画像回復処理におり低減され、かつ撮像素子の画素数よりも画素数が多い画像である。なお本実施例では、画像の劣化を補正するための画像回復処理として光学伝達関数ＯＴＦの逆関数に基づく処理を行う場合について説明したが、収差情報を用いたアンシャープマスク処理についても同様に適用することができる。アンシャープマスク処理では、原画像にアンシャープマスクを適用してぼかしたアンシャープ画像と原画像との差分を原画像に対して加算または減算することにより、鮮鋭化した画像を生成する。その際、アンシャープマスクとして撮像光学系の点像分布関数ＰＳＦを用いることにより、撮像時の撮像光学系の収差による劣化を補正した画像を取得することができる。

【0075】

撮影画像をｇ（ｘ，ｙ）、補正成分をｕ（ｘ，ｙ）とすると、補正画像ｆ（ｘ，ｙ）は、以下の式（７）のように表すことができる。

【0076】

ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＋ｍ×ｕ（ｘ，ｙ） … （７）
式（７）において、ｍの値を変化させることにより撮影画像ｇ（ｘ，ｙ）に対する補正成分ｕ（ｘ，ｙ）の回復度合い（回復ゲイン）、すなわち補正量を調整することができる。なお、ｍの値は撮像光学系の像高（画像の位置）に応じて変化させてもよいし、または一定の値であってもよい。

【0077】

また、補正成分ｕ（ｘ，ｙ）は、以下の式（８）のように表される。

【0078】

ｕ（ｘ，ｙ）＝ｇ（ｘ，ｙ）－ｇ（ｘ，ｙ）＊ＰＳＦ（ｘ，ｙ） …（８）
また、補正成分ｕ（ｘ，ｙ）は、式（８）の右辺を変形して、以下の式（９）のように表すことができる。

【0079】

ｕ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊（δ（ｘ，ｙ）－ＰＳＦ（ｘ，ｙ）） … （９）
式（９）において、δはデルタ関数（理想点像）である。ここで用いるデルタ関数は、ＰＳＦ（ｘ，ｙ）とタップ数が等しく、中央のタップの値が１で、それ以外のタップの値が全て０のデータである。

【0080】

式（７）～（９）より、補正画像ｆ（ｘ，ｙ）は、以下の式（１０）のように表すことができる。

【0081】

ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊［δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）－ＰＳＦ（ｘ，ｙ））］ … （１０）
すなわち、式（１０）における中括弧［］内の部分をフィルタ（画像回復フィルタ）として撮影画像ｇ（ｘ，ｙ）に畳み込むことにより、アンシャープマスク処理が可能である。

【0082】

点像分布関数ＰＳＦは、１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、アンシャープマスク処理のフィルタも像高に応じて変更して用いられる。また、収差情報を用いた超解像処理等、種々の高解像度化処理についても同様に適用することができる。

【実施例2】

【0083】

次に、図１１を参照して、本発明の実施例２における画像処理方法について説明する。図１１は、本実施例における画像処理方法のフローチャートである。実施例１では撮影画像に対して画像回復処理を行った後に回復画像を用いて高画素化処理を行ったが、本実施例では、各種条件に応じて撮影画像を用いて高画素化処理を行った後に画像回復処理を行うフローを含む。本実施例における画像処理方法は、図１１のフローチャートに従い、コンピュータが画像処理プログラムに従って実行する。なお図１１において、ステップＳ１１～Ｓ１６は実施例１（図７）と同様であるため、それらの説明を省略する。

【0084】

ステップＳ２１において、画像処理装置は、第一の処理を行うか否かを判定する。画像処理装置が第一の処理を行う場合、実施例１（図７）のフローチャートに基づいて画像回復処理および高画素化処理を行う。一方、画像処理装置が第一の処理を行わない場合、ステップＳ２２に進む。ステップＳ２２以降のフローでは、撮影画像を用いて高画素化処理を行った後、画像回復処理を行う（第二の処理）。

【0085】

第一の処理を行うか否かを判定する処理は、例えば、回復対象データに基づいて行われる。回復対象データが動画の場合は第一の処理を行い、回復対象データが静止画や動画から切り出した静止画に対して処理する場合には第二の処理を行う。回復対象が動画である場合、少ないタップ数の画像回復フィルタを用いることでデータ量や演算量を少なくして処理速度を優先した処理を行い、静止画では処理速度はかかるが高画素化処理によって生成される高周波まで考慮した画像回復処理を行うことができる。あるいは、動画モードや静止画モード等の撮影モードに基づいて第一の処理を行うか否かを判定するようにしてもよい。

【0086】

また画像処理装置は、ＰＳＦまたはＯＴＦに基づいて第一の処理を行うか否かを判定してもよい。例えば、ＰＳＦの大きさ（広がり）が所定値よりも大きければ第一の処理を行い、小さければ第二の処理を行う。ＰＳＦが大きい場合には、少ないタップ数の画像回復フィルタでも回復処理ができる第一の処理を行い、ＰＳＦが小さい場合には第二の処理を行う。ＰＳＦの大きさとしては、ＰＳＦの半値幅としてもよいし、ＰＳＦの所定の割合（例えば全体の９５％）が含まれる範囲等で決定することができる。

【0087】

または画像処理装置は、ナイキスト周波数以上の周波数のＯＴＦに基づいて第一の処理を行うか否かを判定してもよい。例えば、ナイキスト周波数以上の周波数である所定の周波数においてＭＴＦが閾値よりも小さい場合には第一の処理を行い、所定の周波数においてＭＴＦが閾値よりも大きい場合には第二の処理を行う。ナイキスト周波数以上の周波数である所定の周波数としては、例えば、ナイキスト周波数とし、ナイキスト周波数におけるＭＴＦに基づいて第一の処理を行うか否かを判定する。これにより、ナイキスト周波数以上にＭＴＦがある場合には高画素化処理を行った後に画像回復処理を行うことで、高画素化処理により生成される高周波に対しての適切な画像回復処理を行うことができる。一方、ナイキスト周波数以上のＭＴＦが少ない場合、第一の処理を行うことでデータ量や演算量を抑えた効率的な画像回復処理が可能である。

【0088】

また画像処理装置は、絞り値に基づいて第一の処理を行うか否かを判定してもよい。例えば、画像処理装置は、絞り値が所定の絞り値よりも大きい場合には第一の処理を行い、絞り値が所定の絞り値よりも小さい場合には第二の処理を行う。絞り値が大きくなると、回折ぼけが大きくなり、高周波のＭＴＦも低下する傾向にある。したがって、絞り値が大きい場合には少ないタップ数の画像回復フィルタでも回復処理ができる第一の処理を行い、絞り値が小さい場合には、高画素化処理により生成される高周波に対しての適切な画像回復処理を行うことができる第二の処理を行う。このような処理の判定方法は、例えば、収差が所定の量よりも小さい場合に採用することが好ましい。なお、絞り値が小さい場合には収差の影響が支配的になりＰＳＦが大きくなる傾向にある。このため画像処理装置は、絞り値が所定の絞り値よりも小さい場合には第一の処理を行い、絞り値が所定の絞り値よりも大きい場合には第二の処理を行うようにしてもよい。このような処理の判定方法は、収差が所定の量よりも大きい場合に採用することが好ましい。

【0089】

続いてステップＳ２２において、画像処理装置は、ステップＳ１１にて取得した複数の撮影画像を用いて高画素化処理を行う。高画素化処理は、前述のように種々の手法を用いることができる。

【0090】

続いてステップＳ２３において、画像処理装置は、後述の画像回復処理に用いる画像回復フィルタを取得する。本実施例においても実施例１と同様に、撮影条件に基づいて収差情報を取得し、収差情報に基づいて画像回復フィルタを取得するが、予め保持した画像回復フィルタを取得するようにしてもよい。ここで、第二の処理において取得する画像回復フィルタは、高画素化処理によって生成されるナイキスト周波数以上の周波数についても回復するような画像回復フィルタであり、第一の処理のステップＳ１２で取得される画像回復フィルタとは異なる。また、第一の処理で取得する画像回復フィルタは、第二の処理で取得する画像回復フィルタよりも少ないタップ数を有する。

【0091】

続いてステップＳ２４において、画像処理装置は、ステップＳ２２にて高画素化処理を行って得られた画像に対してステップＳ２３にて取得した画像回復フィルタを用いて画像回復処理を行うことで、画像回復処理された高画素化画像を取得する。続いてステップＳ２５において、画像処理装置は、画像回復処理された高画素化画像を出力画像として出力する。このとき、画像処理装置は、高画素化画像に対して現像処理に関する種々の処理を行ってよい。

【0092】

以上のフローによって得られた高画素化画像は、収差や回折によるぼけが画像回復処理におり低減され、かつ撮像素子の画素数よりも画素数が多い画像である。また本実施例では、各種条件に応じて第一の処理または第二の処理を適切に判定することで、各種条件に対して効果的な処理を行うことができる。

【実施例3】

【0093】

次に、図１２を参照して、前述の画像処理方法を行う画像処理装置を備えた画像処理システムについて説明する。図１２は、本実施例における画像処理システム３００の説明図である。画像処理システム３００は、収差情報算出装置３０１、カメラ（撮像装置）３１０、および画像処理装置３２０を備えて構成される。

【0094】

収差情報算出装置３０１は、撮影画像の撮影条件に応じて、撮像光学系の設計値または測定値から光学伝達関数ＯＴＦを算出する処理を行う。カメラ３１０は、撮像素子３１１および撮像レンズ３１２を有する。カメラ３１０は、撮像レンズ３１２で撮像された画像に、撮像レンズ３１２のレンズＩＤと撮影条件情報（絞り値、ズーム、撮影距離等）および撮像素子３１１のナイキスト周波数を付加して出力する。

【0095】

画像処理装置３２０は、画像回復情報保持部３２１、撮影画像取得部（画像取得部）３２２、回復フィルタ取得部３２３、画像回復処理部３２４、および高画素化処理部３２５を備えて構成される。画像処理装置３２０が実施例２のフローに従って処理を行う場合には、さらに処理判定部を有する。画像処理装置３２０は、収差情報算出装置３０１およびカメラ３１０から出力された情報を保持し、これらの情報を用いて撮像レンズ３１２で撮影された劣化画像を補正する（撮影画像の画像回復処理を行う）。

【0096】

画像回復情報保持部３２１は、収差情報算出装置３０１により算出された種々の撮像レンズ３１２と撮像素子３１１の組み合わせのそれぞれについて、光学伝達関数ＯＴＦ、タップ数、レンズＩＤ、撮影条件、および撮像素子のナイキスト周波数の各情報を記憶する。このように画像回復情報保持部３２１は、撮影画像の撮影条件に応じた光学伝達関数ＯＴＦを記憶する記憶手段である。あるいは、光学伝達関数ＯＴＦではなく、画像回復フィルタを生成しておき保持してもよい。撮影画像取得部３２２は、カメラ３１０から撮影画像を取得する。

【0097】

回復フィルタ取得部３２３は、カメラ３１０から、撮像素子３１１の撮像素子のナイキスト周波数情報と撮影画像とを取得し、撮像レンズ３１２のレンズＩＤと撮影条件情報を取得する。回復フィルタ取得部３２３は、撮影者が撮影した際に用いたカメラ３１０のレンズＩＤと撮影条件とに基づいて、画像回復情報保持部３２１内に保存されている光学伝達関数ＯＴＦをサーチ（探索）する。そして回復フィルタ取得部３２３は、対応する光学伝達関数ＯＴＦ（撮影時のレンズＩＤと撮影条件に適切な光学伝達関数ＯＴＦ）を取得する。回復フィルタ取得部３２３は、カメラ３１０の撮像素子のナイキスト周波数までの空間周波数領域において、回復フィルタ取得部３２３により用いられる光学伝達関数ＯＴＦを取得する。すなわち回復フィルタ取得部３２３は、取得した光学伝達関数ＯＴＦを用いて、撮影画像の位置に応じた撮像光学系（撮像レンズ３１２）の光学伝達関数ＯＴＦを取得する。このように回復フィルタ取得部３２３は、撮影画像の位置に応じた撮像光学系の光学伝達関数ＯＴＦを取得するＯＴＦ取得部である。また回復フィルタ取得部３２３は、光学伝達関数ＯＴＦを撮影画像の中心または撮像光学系の光軸ＯＡの周りに回転させて光学伝達関数ＯＴＦを展開するＯＴＦ展開部である。さらに回復フィルタ取得部３２３は、取得された光学伝達関数ＯＴＦを用いて、撮影画像の劣化を補正する画像回復フィルタを生成する。なお、画像回復情報保持部３２１において画像回復フィルタを保持しておいた場合には、回復フィルタ取得部３２３は、画像回復フィルタを取得する。

【0098】

画像回復処理部３２４は、取得した画像回復フィルタを用いて画像の劣化を補正する。高画素化処理部３２５は、互いに撮影位置がずれた複数の画像を用いて高画素化処理を行い高画素化画像を取得する。

【0099】

なお、収差情報算出装置３０１により予め算出した光学伝達関数ＯＴＦを画像回復情報保持部３２１に保持しておけば、収差情報算出装置３０１をユーザ（撮影者）に提供する必要はない。またユーザは、ネットワークや各種の記憶媒体を通して係数データなどの画像回復処理に必要な情報をダウンロードして用いることもできる。

【実施例4】

【0100】

次に、図１３を参照して、本発明の実施例４における撮像装置について説明する。図１３は、本実施例における撮像装置４００のブロック図である。撮像装置４００には、撮影画像の画像回復処理（実施例１または実施例２と同様の画像処理方法）を行う画像処理プログラムがインストールされており、この画像回復処理は撮像装置４００の内部の画像処理部４０４（画像処理装置）により実行される。

【0101】

撮像装置４００は、撮像光学系４０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系４０１は、絞り４０１ａおよびフォーカスレンズ４０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮像光学系４０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。また、撮像光学系４０１は深度方向の性能変動を鈍化させる位相マスク（波面変調素子）を含んでいてもよい。

【0102】

撮像素子４０２は、撮像光学系４０１を介して形成された被写体像（光学像、結像光）を光電変換して撮影画像を生成する。すなわち被写体像は、撮像素子４０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ４０３によりデジタル信号に変換され、このデジタル信号は画像処理部４０４に入力される。

【0103】

画像処理部（画像処理装置）４０４は、このデジタル信号に対して所定の処理を行うとともに、前述の画像回復処理を行う。画像処理部４０４は、撮影画像取得部（画像取得部）４０４ａ、回復フィルタ取得部４０４ｂ、画像回復処理部４０４ｃ、および高画素化処理部４０４ｄを有する。画像処理部４０４が実施例２のフローに従って処理を行う場合には、さらに処理判定部４０４ｅを有する。

【0104】

まず画像処理部４０４は、状態検知部４０７から撮像装置の撮像条件情報を取得する。撮像条件情報とは、絞り値（Ｆ値）、撮影距離、または、ズームレンズの焦点距離等に関する情報である。状態検知部４０７は、システムコントローラ４１０から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系４０１に関する撮像条件情報は、撮像光学系制御部４０６から取得することもできる。本実施例の画像回復処理の処理フロー（画像処理方法）は、図７を参照して説明した実施例１と同様であるため、その説明は省略する。

【0105】

光学伝達関数ＯＴＦまたは画像回復フィルタは、記憶部４０８に保持されている。画像処理部４０４で処理した出力画像は、画像記録媒体４０９に所定のフォーマットで保存される。表示部４０５には、本実施例の画像回復処理を行った画像に表示用の所定の処理を行った画像が表示される。ただしこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部４０５に表示するように構成してもよい。

【0106】

本実施例における一連の制御はシステムコントローラ４１０により行われ、撮像光学系４０１の機械的な駆動はシステムコントローラ４１０の指示に基づいて撮像光学系制御部４０６により行われる。撮像光学系制御部４０６は、絞り値（Ｆ値）の撮影状態設定として、絞り４０１ａの開口径を制御する。また撮像光学系制御部４０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ４０１ｂの位置を制御する。なお、絞り４０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置４００の仕様に応じて実行しなくてもよい。

【0107】

撮像光学系４０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わないが、ローパスフィルタ等の光学伝達関数ＯＴＦの特性に影響を与える素子を用いる場合、画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタに関しても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる場合がある。この場合、実施例１で説明したように、光学伝達関数ＯＴＦを再配置した後に非回転対称な伝達関数を付加する。

【0108】

本実施例においては、撮像装置の記憶部４０８に記憶された光学伝達関数ＯＴＦや画像回復フィルタを用いたが、変形例として、例えばメモリーカード等の記憶媒体に記憶された光学伝達関数ＯＴＦや画像回復フィルタを、撮像装置が取得するように構成してもよい。

【0109】

このように各実施例において、画像処理装置３２０（画像処理部４０４）は、撮影画像取得部３２２（４０４ａ）、画像回復処理部３２４（４０４ｃ）、および高画素化処理部３２５（４０４ｄ）を有する。撮影画像取得部は、互いに撮像位置が異なる第１の画像および第２の画像（複数の撮影画像）を取得する。画像回復処理部は、第１の画像および第２の画像に対して画像回復処理を行い、第１の回復画像および第２の回復画像をそれぞれ取得する。高画素化処理部は、第１の回復画像および第２の回復画像を用いて高画素化画像を取得する。好ましくは、高画素化画像は、第１の画像および第２の画像のそれぞれよりも画素数が多い。また好ましくは、画像処理装置は、画像回復フィルタを取得する回復フィルタ取得部３２３（４０４ｂ）を有する。画像回復処理部は、画像回復フィルタを用いて、第１の画像および第２の画像に対して画像回復処理を行う。

【0110】

好ましくは、画像処理装置は、第一の処理または第二の処理のいずれを行うかを判定する処理判定部を有する。処理判定部が第一の処理を行うと判定した場合、画像回復処理部は第１の画像および第２の画像に対して画像回復処理を行い第１の回復画像および第２の回復画像を取得し、高画素化処理部は第１の回復画像および第２の回復画像を用いて高画素化画像を取得する。一方、処理判定部が第二の処理を行うと判定した場合、高画素化処理部は第１の画像および第２の画像を用いて高画素化画像を取得し、画像回復処理部は高画素化画像に対して画像回復処理を行い回復処理された高画素化画像を取得する。

【0111】

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0112】

各実施例によれば、高画素化処理および画像回復処理を行う際に、データ量や演算量を削減しつつ光学系の収差や回折によるぼけを低減することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することができる。

【0113】

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0114】

３２０ 画像処理装置
３２２ 撮影画像取得部（画像取得部）
３２４ 画像回復処理部
３２５ 高画素化処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】