特許 6247795 画像処理装置、撮像装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6247795

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171204BHJP

   G06T 5/00 20060101ALI20171204BHJP

   H04N 1/409 20060101ALI20171204BHJP

【ＦＩ】

   H04N5/232 290

   G06T5/00 710

   H04N1/40 101D

【請求項の数】14

【全頁数】35

(21)【出願番号】特願2017-514103(P2017-514103)

(86)(22)【出願日】2016年4月15日

(86)【国際出願番号】JP2016062173

(87)【国際公開番号】WO2016171091

(87)【国際公開日】20161027

【審査請求日】2017年10月18日

(31)【優先権主張番号】特願2015-88232(P2015-88232)

(32)【優先日】2015年4月23日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(72)【発明者】

【氏名】林 健吉

(72)【発明者】

【氏名】田中 淳一

(72)【発明者】

【氏名】成瀬 洋介

(72)【発明者】

【氏名】杉本 雅彦

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 国際公開第２０１４／１３６３２２（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／１５５７５５（ＷＯ，Ａ１）

【文献】 特開２０１１−１２３５８９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０９

(57)【特許請求の範囲】

【請求項1】

光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された画像データが入力される画像入力部と、
前記画像データが近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを判定する判定部と、
前記判定部で判定された前記第１の画像データに対し、前記光学系の近赤外光に対する第１の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う前記第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理部と、
前記判定部で判定された前記第２の画像データに対し、前記光学系の可視光及び近赤外光に対する第２の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う前記第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理部と、
を備える画像処理装置。

【請求項2】

前記画像データの光量を検出する光量検出部をさらに備え、
前記判定部は、前記光量検出部が検出した光量に基づいて前記第１の画像データ又は前記第２の画像データかを判定する請求項１に記載の画像処理装置。

【請求項3】

前記判定部は、前記画像データが取得された時刻に基づいて前記第１の画像データ又は前記第２の画像データかを判定する請求項１に記載の画像処理装置。

【請求項4】

前記第１の画像データに対して非線形な階調補正を行う階調補正処理部をさらに備え、
前記階調補正処理部は、前記位相補正が行われた前記第１の画像データに対して前記非線形な階調補正を行い、
前記第１の復元処理部は、前記非線形な階調補正が行われた前記第１の画像データに対して、前記振幅復元を行う請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記第１の画像データに対して非線形な階調補正を行う階調補正処理部をさらに備え、
前記階調補正処理部は、前記振幅復元が行われた前記第１の画像データに対して前記非線形な階調補正を行い、
前記第１の復元処理部は、前記非線形な階調補正が行われた前記第１の画像データに対して、前記位相補正を行う請求項１から３のいずれか１項に記載の画像処理装置。

【請求項6】

前記第１の復元処理部及び前記第２の復元処理部の復元処理演算に使用する共通の復元処理演算部、前記第１の画像データ及び前記第２の画像データに対して非線形な階調補正を行う共通の階調補正演算部、及び前記第１の画像データ及び前記第２の画像データに対して輪郭強調処理を行う共通の輪郭強調処理部のうち少なくとも１つをさらに備える請求項１から３のいずれか１項に記載の画像処理装置。

【請求項7】

前記第２の画像データにおける前記可視光の光量と前記近赤外光の光量との光量比を検出する光量比検出部をさらに備え、
前記第２の復元処理部は、前記光量比検出部が検出した前記光量比に応じて、前記光学系の前記可視光の変調伝達関数と前記光学系の前記近赤外光の変調伝達関数に基づいて生成された前記第２の復元フィルタを用いる請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記第１の復元フィルタ及び前記第２の復元フィルタを記憶する記憶部をさらに備える請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記第１の復元フィルタ及び前記第２の復元フィルタを生成するフィルタ生成部をさらに備える請求項１から８のいずれか１項に記載の画像処理装置。

【請求項10】

光学系と、
近赤外光を補助光として発光する近赤外光発光部と、
前記光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された画像データを取得する画像取得部と、
前記画像データが近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを判定する判定部と、
前記取得した前記第１の画像データに対し、前記光学系の近赤外光に対する第１の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う前記第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理部と、
前記取得した前記第２の画像データに対し、前記光学系の可視光及び近赤外光に対する第２の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う前記第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理部と、
を備える撮像装置。

【請求項11】

前記画像取得部は、可視光像を撮像する場合を基準にして像面位置が設定されている請求項１０に記載の撮像装置。

【請求項12】

光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された画像データが入力される画像入力ステップと、
前記画像データが近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを判定する判定ステップと、
判定ステップで判定された前記第１の画像データに対し、前記光学系の近赤外光に対する第１の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う前記第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理ステップと、
判定ステップで判定された前記第２の画像データに対し、前記光学系の可視光及び近赤外光に対する第２の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う前記第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理ステップと、
を含む画像処理方法。

【請求項13】

光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された画像データが入力される画像入力ステップと、
前記画像データが近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを判定する判定ステップと、
判定ステップで判定された前記第１の画像データに対し、前記光学系の近赤外光に対する第１の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う前記第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理ステップと、
判定ステップで判定された前記第２の画像データに対し、前記光学系の可視光及び近赤外光に対する第２の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う前記第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理ステップと、
をコンピュータに実行させるためのプログラム。

【請求項14】

請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関し、特に可視光や近赤外光を光源とする画像に対して点拡がり関数に基づく画像処理を行う画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

光学系を介して撮像される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮像画像の解像度劣化（ボケ）を左右する特性として知られている。

【0003】

点拡がり現象のために画質劣化した撮像画像は、ＰＳＦに基づく点像復元処理（復元処理）を受けることで画質を回復することが可能である。この点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタ（回復フィルタ）を用いた画像処理によって撮像画像の点拡がりをキャンセル又は低減する処理である。

【0004】

点像復元の処理は、振幅復元処理と、位相補正処理とに大別することができる。振幅復元処理は、光学系によって劣化した変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性を等化（ｅｑｕａｌｉｚｅ）するもの、すなわち回復するものであり、位相補正処理は、光学系によって劣化した位相伝達関数（ＰＴＦ：Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性を等化するもの、すなわち回復するものである。

【0005】

直感的には、位相補正処理は非点対称なＰＳＦ形状をなるべく点対称な形状に戻すように、周波数依存で像を移動させるものである。

【0006】

振幅復元処理及び位相補正処理は、信号処理としては同時に適用することができるが、フィルタ係数の設計方法を変えることによって、どちらか片方のみの補正とすることも可能である。

【0007】

例えば特許文献１には、振幅復元処理と位相補正処理とを行う点像復元処理及び位相補正を伴わない振幅復元処理を行う点像復元処理を行う技術が開示されている。

【0008】

また例えば特許文献２には、可視光や近赤外光を照射することにより得た画像に対して、可視光と近赤外光とでは演算係数を変えて点像復元処理（コンボリューション演算）を行う技術が開示されている。

【0009】

一方で、定点に設置され昼夜を問わず撮像が行われるカメラとして監視カメラなどがある。監視カメラのような形態のカメラでは、日中、薄暮、黎明、及び夜間における撮像条件で適切な画像を取得することが要求される。例えば、監視カメラが薄暮に近赤外光及び可視光を光源とする画像を取得し、夜間に近赤外光のみを光源とする画像を取得する場合、監視カメラは、近赤外光及び可視光を光源とする画像に適した画像処理を行うこと及び近赤外光のみを光源とする画像に適した画像処理を行うことが要求される。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】国際公開第２０１４／１４８０７４号公報

【特許文献2】特開２００８−１１３７０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

ここで、ボケが発生している画像の画像データに対して、適切な復元フィルタを使用して点像復元処理における振幅復元処理と位相補正処理との両方を実行することにより、ボケは正確に補正される。例えば、被写体の近赤外光像を撮像した画像に対しては、光学系に近赤外光を通して得たＰＳＦに基づいて生成された復元フィルタ（近赤外光復元フィルタ）を使用して、点像復元処理における振幅復元処理と位相補正処理との両方を実行することにより、ボケがきれいに補正される。

【0012】

一方で、復元フィルタが適切でない場合に、点像復元処理における振幅復元処理と位相補正処理との両方を行う強い処理を行うと、点像復元処理が正常に行われず却って不自然な画像となるおそれがある。

【0013】

また、可視光と近赤外光との混合光により被写体が撮像される場合のＰＳＦは、可視光で被写体が撮像される場合及び近赤外光で被写体が撮像される場合のＰＳＦとは異なる。そうすると、可視光と近赤外光との混合光で撮像された画像に対して、光学系についての可視光に対するＰＳＦに基づき生成された復元フィルタ（可視光復元フィルタ）又は光学系についての赤外光に対するＰＳＦに基づき生成された近赤外光復元フィルタは、点像復元処理における振幅復元処理と位相補正処理との両方を行う強い処理を行う上では、適切でない場合がある。

【0014】

また、光学系についての可視光に対するＰＳＦ及び赤外光に対するＰＳＦの両者に基づき生成された復元フィルタを用いる場合でも、薄暮や黎明の時間帯のように可視光と近赤外光との混合具合が刻々と変化する状況では、用意された復元フィルタの元になるＰＳＦと実際のＰＳＦとが異なる状況も生じ易い。このため、点像復元処理における振幅復元処理と位相補正処理との両方を行う強い処理を行う上では、適切でない場合がある。

【0015】

よって、可視光及び近赤外光を光源とする画像の画像データに対して、可視光復元フィルタ又は近赤外光復元フィルタを使用して、振幅復元及び位相補正の両方を行う強い点像復元処理を行ってしまうと、点像復元処理が正常に行われず却って不自然な画像となるおそれがある。

【0016】

したがって、取得した（又は入力された）画像の光源により点像復元処理の内容（振幅復元及び位相補正の両方を行う又はどちらか一方を行う）を切り替える必要がある。

【0017】

しかしながら、特許文献１に記載された技術では、取得した画像の光源によって、振幅復元処理と位相補正処理とを行う点像復元処理、及び位相補正を伴わない振幅復元処理の切り替えは行われていない。

【0018】

また、特許文献２に記載された技術では、可視光画像及び近赤外光画像に対して演算係数を変えて点像復元処理を実行しているだけであり、取得した画像の光源に応じて点像復元処理の内容を切り替えていない。

【0019】

本発明はこのような事情に鑑みてなされたもので、その目的は、近赤外光を光源とする画像の第１の画像データに発生したボケをより正確に補正することができ且つ可視光及び近赤外光を光源とする画像の第２の画像データに対する点像復元処理を精度よく行うことができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0020】

本発明の一の態様である画像処理装置は、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された画像データが入力される画像入力部と、画像データが近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを判定する判定部と、判定部で判定された第１の画像データに対し、光学系の近赤外光に対する第１の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理部と、判定部で判定された第２の画像データに対し、光学系の可視光及び近赤外光に対する第２の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理部と、を備える。

【0021】

本態様によれば、近赤外光を光源とする第１の画像データに対しては位相補正及び振幅復元を行う第１の復元処理が行われ、近赤外光及び可視光を光源とする第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われる。これにより、本態様は、近赤外光を光源とする画像の第１の画像データに発生したボケをより正確に補正することができ且つ可視光及び近赤外光を光源とする画像の第２の画像データに対する点像復元処理を精度よく行うことができる。

【0022】

好ましくは、画像処理装置は、画像データの光量を検出する光量検出部をさらに備え、判定部は、光量検出部が検出した光量に基づいて第１の画像データ又は第２の画像データかを判定する。

【0023】

本態様は、近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを光量検出部が検出する光量に基づいて判定される。これにより、本態様は、正確に第１の画像データ及び第２の画像データを判定することができ、第１の画像データ及び第２の画像データの各々に対して適した点像復元処理を行うことができる。

【0024】

好ましくは、判定部は、画像データが取得された時刻に基づいて第１の画像データ又は第２の画像データかを判定する。

【0025】

本態様によれば、近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを画像データが取得された時刻に基づいて判定される。これにより、本態様は、正確に第１の画像データ及び第２の画像データを判定することができ、第１の画像データ及び第２の画像データの各々に対して適した点像復元処理を行うことができる。

【0026】

好ましくは、画像処理装置は、第１の画像データに対して非線形な階調補正を行う階調補正処理部をさらに備え、階調補正処理部は、位相補正が行われた第１の画像データに対して非線形な階調補正を行い、第１の復元処理部は、非線形な階調補正が行われた第１の画像データに対して、振幅復元を行う。

【0027】

本態様によれば、位相補正が行われた第１の画像データに対して非線形な階調補正が行われ、非線形な階調補正が行われた第１の画像データに対して振幅復元が行われる。これにより、本態様は、階調補正前（画像の周波数特性の変化前）に位相補正を行うので位相補正を効果的に行うことができ、階調補正後に振幅復元を行うので振幅復元により僅かに発生するオーバーシュート／アンダーシュートが階調補正により増幅（強調）されることがなく、アーティファクトが強く発生するのを防止することができる。

【0028】

好ましくは、画像処理装置は、第１の画像データに対して非線形な階調補正を行う階調補正処理部をさらに備え、階調補正処理部は、振幅復元が行われた第１の画像データに対して非線形な階調補正を行い、第１の復元処理部は、非線形な階調補正が行われた第１の画像データに対して、位相補正を行う。

【0029】

本態様では、振幅復元及び位相補正のうち、振幅復元は階調補正前に行い、位相補正は階調補正後に行うようにしている。これにより、本態様は、位相補正処理においては、位相補正フィルタが空間的に大きく広がることに起因して、飽和画素付近においてアーティファクト（リンギング等）を発生させる現象が生じ易くなるが、階調補正後に位相補正を行うことで、階調補正により上記アーティファクトが増幅される（アーティファクトが強く発生する）のを防止することができる。同様に、本態様では、位相補正により色グラデーションが変化してしまう現象が生じることがあるが、この現象を緩和することができる。正確には、色グラデーションが変化してしまう現象は、階調補正後に位相補正を実施しても発生するが、階調補正前に実施する場合と比較して少なくすることができる。また本態様では、階調補正後の画像データは、一般にビット数が階調補正前に比べて少なくなるため、タップ数の比較的大きな位相補正フィルタによる位相補正を実施する場合の計算コストを低減することができる。

【0030】

好ましくは、画像処理装置は、第１の復元処理部及び第２の復元処理部の復元処理演算に使用する共通の復元処理演算部、第１の画像データ及び第２の画像データに対して非線形な階調補正を行う共通の階調補正演算部、及び第１の画像データ及び第２の画像データに対して輪郭強調処理を行う共通の輪郭強調処理部のうち少なくとも１つをさらに備える。

【0031】

本態様によれば、第１の画像データに対する画像処理と第２の画像データに対する画像処理とにおいて、復元処理演算、階調補正演算、及び輪郭強調補正のうち少なくとも一つが共通化される。これにより、本態様は、画像処理回路の一部が共通化されるので画像処理回路の設計の単純化を図ることができる。

【0032】

好ましくは、画像処理装置は、第２の画像データにおける可視光の光量と近赤外光の光量との光量比を検出する光量比検出部をさらに備え、第２の復元処理部は、光量比検出部が検出した光量比に応じて、光学系の可視光の変調伝達関数と光学系の近赤外光の変調伝達関数に基づいて生成された第２の復元フィルタを用いる。

【0033】

本態様によれば、第２の復元フィルタが可視光の光量と近赤外光の光量との光量比に応じて、可視光に関する変調伝達関数と近赤外光に関する変調伝達関数に基づいて生成される。これにより、本態様は、可視光及び近赤外光を光源とする画像に合った復元フィルタにより第２の復元処理を実行することができるので、より効果的な点像復元処理を行うことができる。

【0034】

好ましくは、画像処理装置は、第１の復元フィルタ及び第２の復元フィルタを記憶する記憶部をさらに備える。

【0035】

本態様によれば、第１の復元フィルタ及び第２の復元フィルタが記憶部に記憶され、第１の復元処理部及び第２の復元処理部により記憶部に記憶された復元フィルタが使用されるので、復元フィルタを生成するための計算負荷を軽減することができる。

【0036】

好ましくは、画像処理装置は、第１の復元フィルタ及び第２の復元フィルタを生成するフィルタ生成部をさらに備える。

【0037】

本態様によれば、第１の復元フィルタ及び第２の復元フィルタがフィルタ生成部により生成され、第１の復元処理部及び第２の復元処理部により生成部で生成された復元フィルタが使用されるので、復元フィルタを記憶するための記憶容量を軽減することができる。

【0038】

本発明の他の態様である撮像装置は、光学系と、近赤外光を補助光として発光する近赤外光発光部と、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された画像データを取得する画像取得部と、画像データが近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを判定する判定部と、取得した第１の画像データに対し、光学系の近赤外光に対する第１の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理部と、取得した第２の画像データに対し、光学系の可視光及び近赤外光に対する第２の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理部と、を備える。

【0039】

本態様によれば、近赤外光を光源とする第１の画像データに対しては位相補正及び振幅復元を行う第１の復元処理が行われ、近赤外光及び可視光を光源とする第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われる。これにより、本態様は、近赤外光を光源とする画像の第１の画像データに発生したボケをより正確に補正することができ且つ可視光及び近赤外光を光源とする画像の第２の画像データに対する点像復元処理を精度よく行うことができる。

【0040】

好ましくは、画像取得部は、可視光像を撮像する場合を基準にして像面位置が設定されている。

【0041】

本態様によれば、画像取得部の像面の位置が可視光像を撮像する場合を基準にして設定される。これにより、本態様では、可視光像を撮像する場合には焦点が合った画像を取得することができ、且つ近赤外光像を撮像する場合においても可視光と近赤外光との波長の差異があるので、焦点のズレが抑制される。

【0042】

本発明の他の態様である画像処理方法は、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された画像データが入力される画像入力ステップと、画像データが近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを判定する判定ステップと、判定ステップで判定された第１の画像データに対し、光学系の近赤外光に対する第１の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理ステップと、判定ステップで判定された第２の画像データに対し、光学系の可視光及び近赤外光に対する第２の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理ステップと、を含む。

【0043】

本発明の他の態様であるプログラムは、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された画像データが入力される画像入力ステップと、画像データが近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを判定する判定ステップと、判定ステップで判定された第１の画像データに対し、光学系の近赤外光に対する第１の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理ステップと、判定ステップで判定された第２の画像データに対し、光学系の可視光及び近赤外光に対する第２の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理ステップと、をコンピュータに実行させる。このプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体（a non-transitory computer-readable tangible medium）も本発明の態様に含まれる。

【発明の効果】

【0044】

本発明によれば、近赤外光を光源とする画像の第１の画像データに対しては位相補正及び振幅復元を行う第１の復元処理が行われ、近赤外光と可視光を光源とする画像の第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われるので、近赤外光を光源とする画像に対してはより正確にボケを補正し効果的に点像復元処理を実行することができ且つ近赤外光及び可視光を光源とする画像に対しては精度よく点像復元処理を実行することができる。

【図面の簡単な説明】

【0045】

【図1】デジタルカメラの機能構成例を示すブロック図である。

【図2】図１で示したデジタルカメラにより薄暮に撮像が行われている場合を説明する図である。

【図3】カメラ本体コントローラの機能構成例を示すブロック図である。

【図4】デジタルカメラで取得される撮像時の光量のグラフである。

【図5】第１の復元処理の概略を示す図である。

【図6】第２の復元処理の概略を示す図である。

【図7】画像処理部の機能構成例を示すブロック図である。

【図8】第１の復元処理部の機能構成例を示すブロック図である。

【図9】第２の復元処理部の機能構成例を示すブロック図である。

【図10】可視光復元処理部の機能構成例を示すブロック図である。

【図11】画像処理装置の動作を示すフロー図である。

【図12】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。

【図13】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。

【図14】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。

【図15】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。

【図16】第２の実施形態における第１の復元処理の概略を示す図である。

【図17】第２の実施形態における画像処理部の機能構成例を示すブロック図である。

【図18】階調補正処理部により階調補正される入出力特性（ガンマ特性）の一例を示すグラフである。

【図19】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。

【図20】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。

【図21】第３の実施形態における画像処理部の具体的な処理の例を示すブロック図である。

【図22】第３の実施形態における復元処理部の機能構成例を示すブロック図である。

【図23】ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。

【図24】ＥＤｏＦ光学系の一例を示す図である。

【図25】ＥＤｏＦ光学系を介して取得された画像の復元例を示す図である。

【発明を実施するための形態】

【0046】

添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：パーソナルコンピュータ）に接続可能な監視カメラとして使用されるデジタルカメラ（撮像装置）について説明する。

【0047】

図１は、コンピュータに接続されるデジタルカメラ１０の機能構成例を示すブロック図である。デジタルカメラ１０は動画及び静止画を撮像することが可能であり、以下の説明での画像又は画像データは動画における１フレームの画像又は静止画を意味する。なお、図１ではデジタルカメラ１０により日中に撮像が行われている場合を示している。

【0048】

デジタルカメラ１０は、レンズユニット１２と、撮像素子（画像取得部）２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とは電気的に接続される。

【0049】

レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズ１６のフォーカス位置を調整する手動操作部、及びカメラ本体コントローラ２８から加えられる制御信号により絞り１７を駆動する絞り駆動部を含む。

【0050】

また、レンズユニット１２は近赤外光発光部１５を備える。近赤外光発光部１５は、デジタルカメラ１０により、近赤外光を光源とする画像データが取得される場合に、近赤外光を補助光として発光する。すなわち、デジタルカメラ１０が薄暮又は夜間での撮像を行う場合に、デジタルカメラ１０は、近赤外光発光部１５から近赤外光が補助光として発光されるので、より鮮明な近赤外光画像の取得ができる。

【0051】

ここで、近赤外光を光源とする画像の画像データ（第１の画像データ）は、近赤外光波長帯域に感度をもって撮像されて取得される。すなわち、近赤外光を光源とする画像の画像データは、日中や薄暮のように可視光がある場合には取得されず、夜間のように可視光が無く近赤外光発光部１５により近赤外光が発光された場合に取得される。ここで、近赤外光の波長は特に限定されるものではないが例えば０．７μｍから２．５μｍの範囲にある。一方、近赤外光と可視光とを光源とする画像の画像データ（第２の画像データ）は、可視光波長帯域及び近赤外光波長帯域に感度をもって撮像されて取得される。すなわち、近赤外光と可視光とを光源とする画像の画像データは、ＩＲカットフィルタ２５が撮像光路から退避され、近赤外光発光部１５により近赤外光が発光され、薄暮のように可視光もある場合に取得される。

【0052】

ＩＲ（Ｉｎｆｒａｒｅｄ）カットフィルタ（赤外線カットフィルタ）２５はカットフィルタ動作機構２４に設置されている。デジタルカメラ１０を用いて日中に撮像が行われる場合には、ＩＲカットフィルタ２５は図１に示すように撮像光路に挿入され、デジタルカメラ１０は可視光撮像モード（カラー撮像モード）で撮像を行う。ＩＲカットフィルタ２５が撮像光路に挿入されることにより、ＩＲカットフィルタ２５が赤外光を遮断し、赤外光は撮像素子２６に達しなくなる。なお、ＩＲカットフィルタ２５としては様々なものを使用することが可能であり、例えば近赤外光を遮断することができる近赤外光カットフィルタが使用される。

【0053】

ダミーフィルタ２７は、ＩＲカットフィルタ２５と同様にカットフィルタ動作機構２４に設置されている。ＩＲカットフィルタ２５が撮像光路から退避される場合には、ダミーフィルタ２７が撮像光路に挿入される（図２参照）。ダミーフィルタ２７としては、特に限定されず、様々なものが使用できる。例えば、ダミーフィルタ２７として、素通しガラスが使用される。ダミーフィルタ２７は、ＩＲカットフィルタ２５が撮像光路から退避した場合であっても可視光の結像面の位置を維持する機能を有する。

【0054】

カメラ本体１４の撮像素子（画像取得部）２６は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のカラーイメージセンサにより構成されている。なお撮像素子２６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型のイメージセンサでもよい。

【0055】

撮像素子２６は、マトリクス状に配置された複数の画素を有し、各画素は、マイクロレンズと、赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のカラーフィルタと、光電変換部（フォトダイオード等）とを含んで構成される。ＲＧＢのカラーフィルタは、所定のパターンのフィルタ配列（ベイヤー配列、Ｘ−Ｔｒａｎｓ（登録商標）配列等）を有している。

【0056】

本例の撮像素子２６は、光学系を用いた被写体像の撮像により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理部３５に送信される。

【0057】

カメラ本体コントローラ２８は、図３に示すようにデバイス制御部３４、画像処理部（画像処理装置）３５、及び光量取得部３６を有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。また、デバイス制御部３４は、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

【0058】

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。特に本例の画像処理部３５は、光学系の点拡がり関数に基づく復元処理（点像復元処理）を第１の画像データに対して行う第１の復元処理部３（図６）及び光学系の点拡がり関数に基づく復元処理を第２の画像データに対して行う第２の復元処理部５（図６）を含む。画像処理部３５の詳細は後述する。

【0059】

光量取得部３６は、撮像される被写体の光量を取得する。光量取得部３６は、公知の様々な方法で被写体の光量を取得することができる。例えば光量取得部３６は、デバイス制御部３４から撮像条件（Ｆ値、感度、及びシャッタースピード等）及び撮像素子２６から取得する信号の出力値を取得して、被写体の光量を取得することができる。

【0060】

カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）等の任意のフォーマットとしうる。従って、カメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮像情報（撮像日時、機種、画素数、絞り値、ＩＲカットフィルタ２５の有無、ダミーフィルタ２７の有無等））、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。

【0061】

コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、デジタルカメラ１０から送信される画像を表示する。またディスプレイ６６には、コンピュータコントローラ６４における処理内容等が必要に応じて表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御することができる。

【0062】

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。

【0063】

各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、及びサーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／又はサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。

【0064】

図２は、図１で示したデジタルカメラ１０により薄暮（夕方）から夜間の間に撮像が行われている場合を示すブロック図である。なお、図１で説明を行った箇所は同じ符号を付して説明は省略する。

【0065】

図２で示すように、薄暮から夜間の間に撮像される場合には、ＩＲカットフィルタ２５はカットフィルタ動作機構２４により撮像光路から退避され、ダミーフィルタ２７がカットフィルタ動作機構２４により撮像光路に挿入され、デジタルカメラ１０は近赤外光撮像モード（白黒撮像モード）で撮像を行う。ダミーフィルタ２７が撮像光路に挿入されることにより光路長が調節され、近赤外光像を撮像する場合においても焦点が合うようになる。

【0066】

デジタルカメラ１０は、ＩＲカットフィルタ２５の替わりにダミーフィルタ２７が撮像光路に挿入されることにより、近赤外光及び可視光を光源とする画像の第２の画像データを取得することができる。また、薄暮又は夜間の撮像であるので、近赤外光発光部１５は近赤外光を補助光として発光する。

【0067】

図４は、光量取得部３６が取得する光量を、日中、薄暮、及び夜間に関してグラフ化したものである。

【0068】

図４に示すグラフの横軸は時間を示し縦軸は光量を示す。日中の場合には図１に示すようにＩＲカットフィルタ２５が撮像光路に挿入された状態（可視光撮像モード）で、光量取得部３６は光量を取得する。日中では、光量取得部３６が取得する光量は太陽の位置に応じて変化する。すなわち、日中における光量取得部３６が取得する光量は太陽が高い位置にある場合には高い値を示し、日中における光量取得部３６が取得する光量は太陽の高度が下がるにしたがって下がってくる。

【0069】

図４に示した場合では閾値Ｔｈが設定されており、光量が閾値Ｔｈ未満となると可視光撮像モードから近赤外光撮像モードに切り替わる。また、近赤外光撮像モードになると、近赤外光発光部１５から近赤外光が発光される。これにより、デジタルカメラ１０は、近赤外光像をより鮮明に取得することが可能となる。なお、閾値Ｔｈは、特に限定されず任意に設定されるものであるが、例えば図４に示したように太陽が段々と沈み薄暮の始まりを考慮して設定することができる。

【0070】

最初に閾値Ｔｈ未満になったときの光量をＡ、可視光撮像モードから近赤外光撮像モードに切り替わった時点の光量をＢ、薄暮の状態の任意時点の光量をＣとすると、光量Ｂから光量Ａを減算した光量（光量Ｂ−光量Ａ）は、近赤外光発光部１５から被写体に照射される近赤外光に対応する光量であり、一定値である。従って、夜間の光量は、近赤外光のみによる一定の光量になる。

【0071】

また、薄暮の状態の可視光の光量は、光量Ｃから近赤外光のみによる一定の光量（光量Ｂ−光量Ａ）を減算した光量（光量Ｃ−（光量Ｂ−光量Ａ））である。

【0072】

後述するように復元処理部７１には光量比検出部１６０が備えられ（図２２参照）、光量比検出部１６０には図示しない被写体の光量データ（例えば、ＥＶ値：Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）が加えられる。光量比検出部１６０は、入力される光量データに基づいて、薄暮の状態の可視光の光量（第１の光量）と近赤外光の光量（第２の光量）との光量比を検出する。

【0073】

すなわち、光量比検出部１６０は、入力する光量データが、最初に閾値Ｔｈ未満になったときの光量データ（光量Ａ）と、近赤外光撮像モードに切り替わった時点の光量データ（光量Ｂ）とを記憶し、その後、リアルタイムに入力する光量データ（光量Ｃ）に基づいて、薄暮の状態の可視光の光量（光量Ｃ−（光量Ｂ−光量Ａ））と近赤外光の光量（光量Ｂ−光量Ａ）との光量比を検出する。

【0074】

以上の説明のように、光量取得部３６が取得する光量は、日中、薄暮、及び夜間により変化する。したがって、判定部２（図７）は、光量取得部３６が取得する光量に基づいて、日中、薄暮、及び夜間を判定することが可能となる。例えば判定部２は、図４に示したように光量取得部３６が取得する光量を一定間隔で取得するか又はグラフ化すると、日中、薄暮、及び夜間を判定することが可能となる。また、判定部２は、デジタルカメラ１０には時計（図示せず）が備えられる場合、時刻によっても日中、薄暮、及び夜間を判定することが可能となる。さらに、判定部２は、光量取得部３６が取得する光量のグラフ及び時刻によっても、日中、薄暮、及び夜間を判定することができる。

【0075】

次に、撮像素子２６を介して得られる近赤外光を光源とする画像の撮像データ（第１の画像データ）及び近赤外光及び可視光を光源とする画像の撮像データ（第２の画像データ）に点像復元処理について説明する。

【0076】

以下の例では、カメラ本体１４（カメラ本体コントローラ２８）において点像復元処理が実施される例について説明するが、点像復元処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ６４、及びサーバコントローラ８４等）において実施することも可能である。

【0077】

本例の点像復元処理は、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理及び位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を含む。

【0078】

（第１の実施形態）
先ず、第１の復元処理に関して説明をする。

【0079】

図５は、原画像データＤｏとして第１の画像データが取得された場合の第１の復元処理の概略を示す図である。

【0080】

図５に示すように点像を被写体として撮像を行う場合、近赤外光を光源とする被写体の近赤外光像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から第１の画像データが出力される。この第１の画像データは、光学系の特性に由来する点拡がり現象によって振幅成分と位相成分とが劣化し、本来の被写体像（点像）は、非点対称なボケ画像となる。

【0081】

そして点像復元処理は、光学系の収差等による劣化（点拡がり関数（ＰＳＦ）又は光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ））の特性を求めておき、撮像された画像（劣化している画像）を、ＰＳＦ又はＯＴＦに基づいて生成した復元フィルタを使用して点像復元処理することにより解像度の高い画像に復元する処理である。

【0082】

ＰＳＦとＯＴＦとはフーリエ変換の関係にあり、ＰＳＦは実関数、ＯＴＦは複素関数である。これらと等価な情報を持つものとして、変調伝達関数又は振幅伝達関数（ＭＴＦ）と位相伝達関数（ＰＴＦ）があり、それぞれＯＴＦの振幅成分と位相成分を示す。ＭＴＦとＰＴＦとを合わせてＯＴＦやＰＳＦと等価な情報量を持つ。

【0083】

一般に、ＰＳＦによるボケ画像の復元には、コンボリューション型のウィナー（Ｗｉｅｎｅｒ）フィルタを利用することができる。ＰＳＦ（ｘ，ｙ）をフーリエ変換したＯＴＦと信号対雑音比（ＳＮＲ）（ｓｉｇｎａｌ−ｎｏｉｓｅ ｒａｔｉｏ）の情報を参照して、以下の式によって復元フィルタの周波数特性ｄ（ω_ｘ，ω_ｙ）を算出することができる。

【0084】

【数1】

【0085】

ここでＨ（ω_ｘ，ω_ｙ）はＯＴＦを表し、Ｈ^＊（ω_ｘ，ω_ｙ）はその複素共役を表す。また、ＳＮＲ（ω_ｘ，ω_ｙ）はＳＮ（ｓｉｇｎａｌ−ｎｏｉｓｅ）比を表す。

【0086】

復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数が適宜算出される。

【0087】

図５に示すように、ボケ画像の原画像データＤｏ（第１の画像データ）から本来の被写体像（点像）を復元するため、原画像データＤｏに対して、振幅復元及び位相補正のためのフィルタ（第１の復元フィルタＦ０）を用いた振幅復元及び位相補正処理（第１の復元処理）Ｐ１０を行うことで、非点対称なボケ像が振幅復元されボケ像が小さくなり、非点対称の像が周波数依存で移動し点対称の像に回復される。これにより、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。すなわち、ボケがより正確に補正される効果的な点像復元処理が実行される。ここでボケがより正確に補正されるとは、例えばボケた画像が元の点像により近く修正（補正）されることをいう。

【0088】

振幅復元及び位相補正処理（第１の復元処理）Ｐ１０で用いられる第１の復元フィルタＦ０は、原画像データＤｏの取得時の撮像条件に応じた光学系の点像情報（ＰＳＦ、ＯＴＦ）から、所定の振幅復元及び位相補正フィルタ算出アルゴリズムＰ２０によって得られる。

【0089】

光学系の点像情報は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮像条件によって変動しうる。また、光学系の点像情報は可視光と近赤外光とでも変動しうる。したがって、第１の復元フィルタＦ０を算出する際には、これらの撮像条件が取得される。

【0090】

第１の復元フィルタＦ０は、それぞれ例えばＮ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上のフィルタであり、処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（画像データの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、点像復元処理後の画素データを算出することができる。第１の復元フィルタＦ０を用いた加重平均処理を、対象画素を順番に変えながら、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。

【0091】

なお、図５に示した例では、第１の復元処理において振幅復元と位相補正とを合せて行うことを説明したがこれに限定されるものではない。すなわち、第１の復元処理において振幅復元を行うことができるフィルタを算出し且つ位相補正を行うことができるフィルタを算出して、振幅復元処理と位相補正処理とを別々の処理として実行されてもよい。

【0092】

次に、第２の復元処理に関して説明をする。

【0093】

図６は、原画像データＤｏとして第２の画像データが取得された場合の第２の復元処理の概略を示す図である。

【0094】

図６に示すように点像を被写体として撮像を行う場合、近赤外光及び可視光を光源とする被写体の像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から第２の画像データが出力される。この第２の画像データは、光学系の特性に由来する点拡がり現象によって振幅成分と位相成分とが劣化し、本来の被写体像（点像）は、非点対称なボケ画像となる。ここで、光学系に近赤外光及び可視光の混合光を通して得たＰＳＦは、光学系に近赤外光を通して得たＰＳＦ及び光学系に可視光を通して得たＰＳＦとは異なる。よって、近赤外光及び可視光を光源とする画像の画像データ（第２の画像データ）に対しては、点像復元処理の失敗を防ぐために、振幅復元処理のみを行う弱い点像復元処理を行う。これにより、点像復元処理が適切に行われずに却って不自然な画像となることを防ぎ、点像復元処理の精度を向上させることができる。ここで精度のよい点像復元処理とは、点像復元処理を失敗して却って画像が不自然になる確率が低いことをいう。

【0095】

第２の復元処理部５において、例えばＯＴＦの振幅成分を示すＭＴＦを使用し、フィルタの周波数特性を算出し、算出したフィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択することで、周波数特性の劣化を回復させる振幅復元フィルタＦ１を算出する（Ｐ２１）。なおこの場合振幅復元フィルタＦ１が第２の復元フィルタとなる。

【0096】

図６に示すように、ボケ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して、振幅復元フィルタＦ１を用いた振幅復元処理Ｐ１１を行うことで、非点対称なボケ像が振幅復元され、ボケ像が小さくなる。

【0097】

次に、画像処理装置（画像処理部）３５に関して説明する。

【0098】

図７は、画像処理部３５の機能構成例を示すブロック図である。

【0099】

画像処理部３５は、画像入力部１、判定部２、光量検出部４、第１の復元処理部３、及び第２の復元処理部５を備える。

【0100】

画像入力部１には、第１の画像データ及び第２の画像データが入力される。画像入力部１への入力の方法は特に限定されない。例えば、画像入力部１には、第１の画像データと第２の画像データとが同時に入力されてもよいし、第１の画像データと第２の画像データとが別々のタイミングで入力されてもよい。

【0101】

判定部２は、入力された画像データが近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを判定する。判定部２は公知の様々な方法で入力された画像データが近赤外光を光源とする第１の画像データ又は近赤外光と可視光とを光源とする第２の画像データかを判定することができる。例えば判定部２は、光量取得部３６で取得された光量が光量検出部４に検出されることにより第１の画像データ又は第２の画像データかを判定することができる。

【0102】

また判定部２は、画像処理部３５又はデジタルカメラ１０に備えられる時計（図示せず）の時刻に基づいて第１の画像データ又は第２の画像データかを判定することができる。また、判定部２は、画像入力部１に入力される第１の画像データ及び第２の画像データに付されるタグ情報に基づいて、第１の画像データ又は第２の画像データかの判定を行ってもよい。

【0103】

光量検出部４は、画像データの光量を検出する。すなわち、光量検出部４は、画像入力部１に入力された画像データ（例えば、第１の画像データ又は第２の画像データ）が取得された際の光量を取得する。光量検出部４は、例えばカメラ本体コントローラ２８の光量取得部３６から画像データが取得された場合の光量に関する情報を取得して、画像入力部１に入力された画像データの光量を検出する。また例えば、光量検出部４は、画像入力部１に入力された画像データに付されている光量に関する情報を読み取ることにより、光量を検出してもよい。

【0104】

第１の復元処理部３は、光学系の近赤外光に対する点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う。すなわち、第１の復元処理部３は、光学系の近赤外光に対する点拡がり関数に基づいて生成された第１の復元フィルタを使用して、第１の画像データ（近赤外光を光源とする画像データ）に対して第１の復元処理を行う。第１の復元処理が行われた画像は、位相のズレが補正され且つ振幅が復元され、ボケがより正確に修正される効果的な点像復元処理が実行される。

【0105】

第２の復元処理部５は、光学系の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを使用して第２の画像データ（近赤外光及び可視光を光源とする画像データ）に対して第２の復元処理を行う。このように、第２の画像データに対して位相補正を伴わない振幅復元のみの弱い点像復元処理が行われるので、第２の画像データに対する点像復元処理の失敗の発生が抑制され、精度のよい点像復元処理が行われる。

【0106】

上述したように、画像処理部（画像処理装置）３５が第１の復元処理部３及び第２の復元処理部５を備えることにより、画像処理部３５がコンピュータに設けられる場合には、各撮像装置に点像復元処理を行う機能を備えなくても良くなる。

【0107】

図８は、第１の復元処理部３の機能構成例を示すブロック図である。

【0108】

第１の復元処理部３は、第１の復元演算処理部４４ａ、フィルタ選択部４４ｂ、光学系データ取得部４４ｃ、及び記憶部４４ｄから構成されている。

【0109】

光学系データ取得部４４ｃは、光学系（レンズ１６、絞り１７等）の点拡がり関数を示す光学系データを取得する。この光学系データは、フィルタ選択部４４ｂにおける第１の復元フィルタの選択基準となるデータであり、処理対象の第１の画像データの撮像取得時に使用された光学系の点拡がり関数を直接的又は間接的に示す情報であればよい。従って、例えば光学系の点拡がり関数に関する伝達関数（ＰＳＦ、ＯＴＦ（ＭＴＦ、ＰＴＦ））自体を光学系データとしてもよいし、光学系の点拡がり関数に関する伝達関数を間接的に示す光学系の種類（例えば、撮像時に使用したレンズユニット１２（レンズ１６）の型番等）等を光学系データとしてもよい。また、画像を撮像した際のＦ値（絞り値）及びズーム値、及び像高等の情報を光学系データとしてもよい。

【0110】

記憶部４４ｄは、複数種類の光学系の点拡がり関数に関する伝達関数（ＰＳＦ、ＯＴＦ、又は、ＰＴＦ及びＭＴＦ）に基づいて生成された、第１の復元フィルタが記憶されている。記憶部４４ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する第１の復元フィルタを記憶することが好ましい。これらの条件によりＰＳＦ形状が異なるからである。

【0111】

フィルタ選択部４４ｂは、光学系データ取得部４４ｃが取得した光学系データに基づき、記憶部４４ｄに記憶されている第１の復元フィルタのうち、第１の画像データの撮像取得に用いられた光学系の光学系データに対応する第１の復元フィルタを選択する。フィルタ選択部４４ｂによって選択された第１の復元フィルタＦ０は、第１の復元演算処理部４４ａに送られる。

【0112】

尚、フィルタ選択部４４ｂは、記憶部４４ｄが記憶する第１の復元フィルタの種類情報（第１の復元フィルタ記憶情報）を把握しているが、フィルタ選択部４４ｂによる第１の復元フィルタ記憶情報の把握手法は特に限定されない。例えば、フィルタ選択部４４ｂは、第１の復元フィルタ記憶情報を記憶する記憶部（図示省略）を有していてもよく、記憶部４４ｄに記憶される第１の復元フィルタの種類情報が変更される場合、フィルタ選択部４４ｂの記憶部に記憶される第１の復元フィルタ記憶情報も変更されるようにしてもよい。また、フィルタ選択部４４ｂは、記憶部４４ｄに接続されて直接的に「記憶部４４ｄが記憶する第１の復元フィルタの情報」を把握するようにしてもよいし、第１の復元フィルタ記憶情報を把握する他の処理部（メモリ等）から第１の復元フィルタ記憶情報を把握するようにしてもよい。

【0113】

また、フィルタ選択部４４ｂは、第１の画像データの撮像取得に用いられた光学系のＰＳＦに対応する第１の復元フィルタＦ０を選択すればよく、その選択手法は特に限定されない。例えば、光学系データ取得部４４ｃからの光学系データがＰＳＦを直接的に示す場合、フィルタ選択部４４ｂは、その光学系データが示すＰＳＦに対応する第１の復元フィルタＦ０を選択する。また光学系データ取得部４４ｃからの光学系データがＰＳＦを間接的に示す場合、フィルタ選択部４４ｂは、「ＰＳＦを間接的に示す光学系データ」から、処理対象の第１の画像データの撮像取得に用いられた光学系のＰＳＦに対応する第１の復元フィルタＦ０を選択する。

【0114】

第１の復元演算処理部４４ａには、第１の画像データ（近赤外光を光源とする画像データ）が入力されており、第１の復元演算処理部４４ａは、第１の画像データに対して、フィルタ選択部４４ｂにより選択された第１の復元フィルタＦ０を用いた第１の復元処理を行い、第１の復元処理後の画像データを算出する。即ち、第１の復元演算処理部４４ａは、第１の復元フィルタＦ０と、これに対応する画素データ（処理対象画素データ及び隣接画素データ）とのデコンボリューション演算を行い、第１の復元処理した第１の画像データを算出する。

【0115】

上記構成の第１の復元処理部３は、位相伝達関数（ＰＴＦ）を反映させた位相補正処理を行うことができ、ボケをより正確に修正する効果的な点像復元処理を実行する。

【0116】

図９は、第２の復元処理部５の機能構成例を示すブロック図である。

【0117】

第２の復元処理部５は、第２の復元演算処理部４６ａ、フィルタ選択部４６ｂ、光学系データ取得部４６ｃ、及び記憶部４６ｄから構成されている。

【0118】

フィルタ選択部４６ｂ及び光学系データ取得部４６ｃは、それぞれ図８に示したフィルタ選択部４４ｂ及び光学系データ取得部４４ｃに対応するものであるため、その詳細な説明は省略する。

【0119】

記憶部４６ｄは、複数種類の光学系のＰＳＦ、ＯＴＦ、又はＭＴＦに基づいて生成された第２の復元フィルタが記憶されている。また、記憶部４６ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する第２の復元フィルタを記憶することが好ましい。これらの条件によりＰＳＦ形状が異なるからである。

【0120】

フィルタ選択部４６ｂは、光学系データ取得部４６ｃが取得した光学系データに基づき、記憶部４６ｄに記憶されている第２の復元フィルタのうち、原画像データの撮像取得に用いられた光学系の光学系データに対応する第２の復元フィルタを選択する。フィルタ選択部４６ｂによって選択された、第２の復元フィルタは、第２の復元演算処理部４６ａに送られる。

【0121】

第２の復元演算処理部４６ａは、第２の画像データに対して、フィルタ選択部４６ｂにより選択された第２の復元フィルタを用いた第２の復元処理を行う。

【0122】

尚、第１の復元フィルタを記憶する記憶部４４ｄ（図８）、及び第２の復元フィルタを記憶する記憶部４６ｄ（図９）は、別々に設けられたものでもよいし、物理的には同一のもので、記憶領域のみが異なるものでもよい。

【0123】

また、本例では、記憶部４４ｄ、４６ｄに、それぞれ第１の復元フィルタ、第２の復元フィルタを記憶させておき、点像復元処理に使用する第１の復元フィルタ、第２の復元フィルタを適宜読み出すようにしたが、これに限定されない。すなわち、本例では、光学系の伝達関数（ＰＳＦ，ＯＴＦ，ＰＴＦ，ＭＴＦ）を記憶部に記憶させて、点像復元処理時に記憶部から点像復元処理に使用する伝達関数を読み出し、第１の復元フィルタ及び第２の復元フィルタを逐次生成するようなフィルタ生成部を設置させてもよい。なお、上述の説明では第１の復元処理部３（図８）と第２の復元処理部５（図９）とを別々の処理部として説明を行ったがこれに限定されるものではない。例えば、第１の復元処理部３と第２の復元処理部５との機能を併せ持つ一つの復元処理部により、第１の復元処理及び第２の復元処理が実現されてもよい。

【0124】

画像処理部３５の機能構成例は、図７で説明した例に限定されない。例えば、画像処理部３５は、可視光のみを光源とする画像データである可視光画像データに対して復元処理を行う可視光復元処理部６を備えていてもよい。

【0125】

図１０は、可視光復元処理部６の機能構成例を示すブロック図である。

【0126】

可視光復元処理部６は、可視光復元演算処理部４８ａ、フィルタ選択部４８ｂ、光学系データ取得部４８ｃ、及び記憶部４８ｄから構成されている。

【0127】

光学系データ取得部４８ｃは、光学系（レンズ１６、絞り１７等）の点拡がり関数を示す光学系データを取得する。この光学系データは、フィルタ選択部４８ｂにおける可視光復元フィルタの選択基準となるデータであり、処理対象の可視光画像データの撮像取得時に使用された光学系の点拡がり関数を直接的又は間接的に示す情報であればよい。従って、例えば光学系の点拡がり関数に関する伝達関数（ＰＳＦ、ＯＴＦ（ＭＴＦ、ＰＴＦ））自体を光学系データとしてもよいし、光学系の点拡がり関数に関する伝達関数を間接的に示す光学系の種類（例えば、撮像時に使用したレンズユニット１２（レンズ１６）の型番等）等を光学系データとしてもよい。また、画像を撮像した際のＦ値（絞り値）及びズーム値、及び像高等の情報を光学系データとしてもよい。

【0128】

記憶部４８ｄは、複数種類の光学系の点拡がり関数に関する伝達関数（ＰＳＦ、ＯＴＦ、又は、ＰＴＦ及びＭＴＦ）に基づいて生成された、ＲＧＢ毎の可視光復元フィルタ（Ｆ４_Ｒ１，Ｆ４_Ｇ１，Ｆ４_Ｂ１）が記憶されている。ＲＧＢ毎に可視光復元フィルタ（Ｆ４_Ｒ１，Ｆ４_Ｇ１，Ｆ４_Ｂ１）が記憶されているのは、光学系の収差がＲＧＢの各色の波長によって異なるためである（ＰＳＦ形状が異なるためである）。また、記憶部４８ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する可視光復元フィルタ（Ｆ４_Ｒ１，Ｆ４_Ｇ１，Ｆ４_Ｂ１）を記憶することが好ましい。これらの条件によりＰＳＦ形状が異なるからである。ここで、Ｇとは緑色を示し輝度データを得るために最も寄与する第１の色であり、Ｒとは赤色を示し第１の色以外の２色以上の第２の色の一つであり、Ｂとは青色を示し第１の色以外の２色以上の第２の色の一つである。

【0129】

フィルタ選択部４８ｂは、光学系データ取得部４８ｃが取得した光学系データに基づき、記憶部４８ｄに記憶されている可視光復元フィルタのうち、可視光画像データの撮像取得に用いられた光学系の光学系データに対応する可視光復元フィルタを選択する。フィルタ選択部４８ｂによって選択された、ＲＧＢ毎の可視光復元フィルタ（Ｆ４_Ｒ１，Ｆ４_Ｇ１，Ｆ４_Ｂ１）は、可視光復元演算処理部４８ａに送られる。

【0130】

尚、フィルタ選択部４８ｂは、記憶部４８ｄが記憶する可視光復元フィルタの種類情報（可視光復元フィルタ記憶情報）を把握しているが、フィルタ選択部４８ｂによる可視光復元フィルタ記憶情報の把握手法は特に限定されない。例えば、フィルタ選択部４８ｂは、可視光復元フィルタ記憶情報を記憶する記憶部（図示省略）を有していてもよく、記憶部４８ｄに記憶される可視光復元フィルタの種類情報が変更される場合、フィルタ選択部４８ｂの記憶部に記憶される可視光復元フィルタ記憶情報も変更されるようにしてもよい。また、フィルタ選択部４８ｂは、記憶部４８ｄに接続されて直接的に「記憶部４８ｄが記憶する可視光復元フィルタの情報」を把握するようにしてもよいし、可視光復元フィルタ記憶情報を把握する他の処理部（メモリ等）から第１の復元フィルタ記憶情報を把握するようにしてもよい。

【0131】

また、フィルタ選択部４８ｂは、可視光画像データの撮像取得に用いられた光学系のＰＳＦに対応する可視光復元フィルタを選択すればよく、その選択手法は特に限定されない。例えば、光学系データ取得部４８ｃからの光学系データがＰＳＦを直接的に示す場合、フィルタ選択部４８ｂは、その光学系データが示すＰＳＦに対応する可視光復元フィルタを選択する。また光学系データ取得部４８ｃからの光学系データがＰＳＦを間接的に示す場合、フィルタ選択部４８ｂは、「ＰＳＦを間接的に示す光学系データ」から、処理対象の可視光画像データの撮像取得に用いられた光学系のＰＳＦに対応する可視光復元フィルタを選択する。

【0132】

可視光復元演算処理部４８ａには、デモザイク処理された可視光画像データ（ＲＧＢデータ）が入力されており、可視光復元演算処理部４８ａは、ＲＧＢデータに対して、フィルタ選択部４８ｂにより選択された可視光復元フィルタ（Ｆ４_Ｒ１，Ｆ４_Ｇ１，Ｆ４_Ｂ１）を用いた可視光復元処理を行い、可視光復元処理後の画像データを算出する。即ち、可視光復元演算処理部４８ａは、可視光復元フィルタ（Ｆ４_Ｒ１，Ｆ４_Ｇ１，Ｆ４_Ｂ１）と、これに対応するＲＧＢ毎の画素データ（処理対象画素データ及び隣接画素データ）とのデコンボリューション演算を行い、可視光復元処理したＲＧＢデータを算出する。

【0133】

可視光復元処理部６は、可視光画像データに対して、振幅復元及び位相補正を行う強い点像復元処理を行ってもよいし、位相補正を伴わない振幅復元の点像復元処理を行ってもよい。可視光復元処理部６がＲＧＢの色チャンネル毎の位相伝達関数（ＰＴＦ）を反映させた位相補正処理を行う場合には、ボケをより正確に修正する効果的な点像復元処理を実行する。また、可視光復元処理部６は、ＲＧＢの色チャンネル毎の位相伝達関数（ＰＴＦ）を反映させた位相補正処理を行うので、倍率色収差等の各種色収差を補正することができる。

【0134】

図１１は、画像処理部（画像処理装置）３５の動作を示すフロー図である。

【0135】

先ず、画像処理部３５に画像データが入力される（ステップＳ１０）。その後、判定部２により、入力された画像が第１の画像データ又は第２の画像データかを判定する（ステップＳ１１）。その後、第１の復元処理部３により第１の画像データに対して第１の復元処理が行われ（ステップＳ１２）、第２の復元処理部５により第２の画像データに対して第２の復元処理が行われる（ステップＳ１３）。

【0136】

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的有形記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

【0137】

次に、デジタルカメラ１０の撮像素子２６の設置に関しての設定に関して説明する。

【0138】

図１２から図１５は、撮像素子２６の像面と結像面との位置関係及び焦点に関して説明をする図である。図１２（Ａ）、図１３（Ａ）、図１４（Ａ）、及び図１５（Ａ）には主に、レンズユニット１２、撮像素子２６、ＩＲカットフィルタ２５、カットフィルタ動作機構２４、及び被写体１９が記載されている。また、レンズユニット１２の側面には、フォーカスリング１３、フォーカス調節レバ１１、ズームリング２３、ズーム調節レバ２１が備えられている。図１２（Ａ）、図１３（Ａ）、図１４（Ａ）、及び図１５（Ａ）に記載されている撮像素子２６の像面は、可視光像を撮像する場合を基準に設定されている。また、図１２（Ｂ）、図１３（Ｂ）、図１４（Ｂ）、及び図１５（Ｂ）には、図１２（Ａ）から図１５（Ａ）の各々の撮像条件で撮像された被写体像の画像が示されている。

【0139】

図１２には、蛍光灯３１が点灯されており、ＩＲカットフィルタ２５が撮像光路に挿入された場合が示されている。この場合撮像素子２６により、被写体１９の可視光像が取得される。撮像素子２６の像面位置は、可視光像を取得する場合を基準にして設定されているために、被写体１９の可視光像の結像面５１と撮像素子２６との像面の位置は一致し（図１２（Ａ）を参照）、被写体１９に焦点が合った画像が取得される（図１２（Ｂ）を参照）。

【0140】

図１３には、蛍光灯３１が点灯されており、ＩＲカットフィルタ２５が撮像光路から退避している場合が示されている。この場合撮像素子２６により、被写体１９の可視光像を有する画像が取得される。撮像素子２６の像面位置は、可視光像を取得する場合を基準にして設定されているが、ＩＲカットフィルタ２５が撮像光路から退避して可視光像の光路長が変わるので、被写体１９の可視光像の結像面５１と撮像素子２６との像面の位置は一致しない（図１３（Ａ）を参照）。したがって、被写体１９に焦点が合ってないボケた画像が取得される（図１３（Ｂ）を参照）。なおこの場合には、ＩＲカットフィルタ２５が撮像光路から退避し光路長を調節するようなダミーフィルタ（素通しガラス）２７等が挿入されていない。また、図１３（Ａ）中では点線によりＩＲカットフィルタ２５が撮像光路に挿入された場合の可視光像の結像面が表されている。

【0141】

図１４には、蛍光灯３１が消灯され近赤外光を発するＩＲ（Ｉｎｆｒａｒｅｄ）投光機３３が点灯されており、ＩＲカットフィルタ２５が撮像光路から退避している場合が示されている。この場合撮像素子２６により、被写体１９の近赤外光像を有する画像が取得される。被写体１９の近赤外光像の結像面５３は、可視光像の結像面５１と比べて撮像素子２６側になる。したがって、図１３に示した場合よりも焦点のズレが小さくなり、ボケが抑制された画像を取得することができる（図１４（Ｂ）を参照）。なお、図１４（Ａ）中では点線により可視光像の結像面が表されている。

【0142】

図１５には、蛍光灯３１が点灯されており且つＩＲ投光機３３が点灯されており、ＩＲカットフィルタ２５が撮像光路から退避している場合が示されている。この場合撮像素子２６により、被写体１９の可視光像及び近赤外光像を有する画像が取得される。この場合、被写体１９の近赤外光像の結像面５３及び被写体１９の可視光像の結像面５１が存在し、図１３で説明したように可視光像の結像面５１の位置が撮像素子２６の像面位置との違いが大きいので、可視光像のボケが目立つ画像が取得されている（図１５（Ｂ）を参照）。

【0143】

上述したように、撮像素子２６の像面位置が被写体１９の可視光像（第１の画像データ）を取得する場合を基準にして設定されていることにより、ＩＲカットフィルタ２５が撮像光路から退避した場合であっても、ボケが抑制された被写体１９の近赤外光像を取得することができる。また、撮像素子２６の像面位置が被写体１９の可視光像（第１の画像データ）を取得する場合を基準にして設定されていることにより、ＩＲカットフィルタ２５が撮像光路から退避した場合にダミーフィルタ２７を撮像光路へ挿入することによって、近赤外光像及び可視光像においてボケが抑制された画像を取得することができる。

【0144】

（第２の実施形態）
次に、第２の実施形態に関して説明する。

【0145】

図１６は、第２の実施形態における原画像データＤｏとして第１の画像データ（近赤外光を光源とする画像データ）が取得された場合の第１の復元処理の概略を示す図である。なお、図５で既に説明を行った箇所は同じ符号を付して説明を省略する。

【0146】

図１６では、図５で説明を行った第１の復元処理が振幅復元処理Ｐ１２及び位相補正処理Ｐ１４として別々に行われている。また、振幅復元処理が行われた第１の画像データに対して非線形な階調補正処理Ｐ１３が行われている。

【0147】

第１の復元処理部３において位相補正と振幅復元とを個別に行う場合では、前述した［数１］式のＯＴＦの代わりに、ＯＴＦの振幅成分を示すＭＴＦを使用し、フィルタの周波数特性を算出し、算出したフィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択することで、周波数特性の劣化を回復させる振幅復元フィルタＦ３を算出する。同様に、上記［数１］式のＯＴＦの代わりに、ＯＴＦの位相成分を示すＰＴＦを使用し、フィルタの周波数特性を算出し、算出したフィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択することで、位相特性の劣化を回復させる位相補正フィルタＦ２を算出する。なお、この場合振幅復元フィルタＦ３及び位相補正フィルタＦ２が第１の復元フィルタとなる。

【0148】

ボケ画像の原画像データＤｏ（第１の画像データ）から本来の被写体像（点像）を復元するため、原画像データＤｏに対して、振幅復元フィルタＦ３を用いた振幅復元処理Ｐ１２を行うことで、非点対称なボケ像が振幅復元され、ボケ像が小さくなる。

【0149】

続いて、振幅復元処理後の第１の画像データに対して、非線形な階調補正処理Ｐ１３（対数化処理によるガンマ補正処理）が行われる。階調（ガンマ）補正処理は、ディスプレイ装置により画像が自然に再現されるように画像データを非線形に補正する処理である。

【0150】

そして、階調補正処理が行われた第１の画像データに対して、位相補正フィルタＦ２を用いた位相補正処理Ｐ１４が行われる。この位相補正処理Ｐ１４により非点対称の像は、周波数依存で移動し、点対称の像に回復する。これにより、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。

【0151】

振幅復元処理Ｐ１２で用いられる振幅復元フィルタＦ３は、原画像データＤｏ取得時の撮像条件に応じた光学系の点像情報（ＰＳＦ、ＯＴＦ、又はＭＴＦ）から、所定の振幅復元フィルタ算出アルゴリズムＰ２２によって得られ、位相補正処理Ｐ１４で用いられる位相補正フィルタＦ２は、原画像データＤｏ取得時の撮像条件に応じた光学系の点像情報（ＰＳＦ、ＯＴＦ、又はＰＴＦ）から、所定の位相補正フィルタ算出アルゴリズムＰ２３によって得られる。

【0152】

Ｎ×Ｍのタップによって構成される実空間上の振幅復元フィルタＦ３、又は位相補正フィルタＦ２は、周波数空間上の回復フィルタの周波数振幅特性、又は回復フィルタの位相特性を逆フーリエ変換することによって導出可能である。従って、実空間上の振幅復元フィルタＦ３、又は位相補正フィルタＦ２は、基礎となる周波数空間上の振幅復元フィルタ、又は位相補正フィルタを特定し、実空間上の振幅復元フィルタＦ３、又は位相補正フィルタＦ２の構成タップ数を指定することによって、適宜算出可能である。尚、位相補正フィルタＦ２のＮ×Ｍのタップ数は、位相補正を正確に行うために、振幅復元フィルタＦ３のタップ数よりも大きくすることが好ましい。

【0153】

このように、本形態では、振幅復元処理Ｐ１２が行われた第１の画像データに対して非線形な階調補正処理Ｐ１３が行われ、非線形な階調補正処理Ｐ１３が行われた第１の画像データに対して位相補正処理Ｐ１４が行われる。これにより、本形態では、位相補正処理においては、位相補正フィルタが空間的に大きく広がることに起因して、飽和画素付近においてアーティファクト（リンギング等）を発生させる現象が生じ易くなるが、階調補正後に位相補正を行うことで、階調補正により上記アーティファクトが増幅される（アーティファクトが強く発生する）のを防止することができる。同様に、本形態では、位相補正により色グラデーションが変化してしまう現象が生じることがあるが、この現象を緩和することができる。正確には、色グラデーションが変化してしまう現象は、階調補正後に位相補正を実施しても発生するが、階調補正前に実施する場合と比較して少なくすることができる。また本形態では、階調補正後の画像データは、一般にビット数が階調補正前に比べて少なくなるため、タップ数の比較的大きな位相補正フィルタによる位相補正を実施する場合の計算コストを低減することができる。

【0154】

また、本形態では、振幅復元処理Ｐ１２と位相補正処理Ｐ１４との順序を変更してもよい。すなわち、位相補正処理Ｐ１４が行われた第１の画像データに対して非線形な階調補正処理Ｐ１３が行われ、非線形な階調補正処理Ｐ１３が行われた第１の画像データに対して振幅復元処理Ｐ１２が行われてもよい。これにより、本形態は、階調補正前（画像の周波数特性の変化前）に位相補正を行うので位相補正を効果的に行うことができ、階調補正後に振幅復元を行うので振幅復元により僅かに発生するオーバーシュート及び／又はアンダーシュートが階調補正により増幅（強調）されることがなく、アーティファクトが強く発生するのを防止することができる。

【0155】

図１７は、第２の実施形態における画像処理部３５の機能構成例を示すブロック図である。第２の実施形態の画像処理部３５は、画像入力部１、第１の復元処理部３、第２の復元処理部５、及び階調補正処理部７を備えている。なお、図７で説明を行った箇所は同じ番号を付し説明は省略する。

【0156】

第１の復元処理部３は、位相補正部８及び振幅復元部９を備えている。位相補正部８は、第１の画像データに対して位相補正を行い、振幅復元部９は、第１の画像データに対して振幅復元を行う。

【0157】

階調補正処理部７は、画像データに対して、非線形な階調補正を行う部分であり、例えば、入力される画像データを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるように画像データに対して非線形な処理を行う。

【0158】

図１８は、階調補正処理部７により階調補正される入出力特性（ガンマ特性）の一例を示すグラフである。本例では、階調補正処理部７は、１２ビット（０〜４０９５）の画像データに対し、ガンマ特性に対応するガンマ補正を行い、８ビット（０〜２５５）の画像データ（１バイトのデータ）を生成する。尚、階調補正処理部７は、入力データに対して、トーンカーブに沿った非線形な階調補正を行うものを含む。

【0159】

＜具体例１＞
図１９は、第２の実施形態における画像処理部３５の具体的な処理の例（具体例１）を示すブロック図である。

【0160】

本例の画像処理部３５は、オフセット補正処理部４１、振幅復元処理部４４、ガンマ補正処理部を含む階調補正処理部４５、及び位相補正処理部４６を備えている。尚、振幅復元処理部４４では図１６で説明を行った振幅復元処理Ｐ１２が行われ、位相補正処理部４６では図１６で説明を行った位相補正処理Ｐ１４が行われる。

【0161】

図１９において、オフセット補正処理部４１には、撮像素子２６から取得される画像処理前のモザイクデータ（ＲＡＷデータ）を、点順次で入力される。尚、モザイクデータは、例えば、１２ビット（０〜４０９５）のビット長を有するデータ（１画素当たり２バイトのデータ）である。

【0162】

オフセット補正処理部４１は、入力されたモザイクデータに含まれる暗電流成分を補正する処理部であり、撮像素子２６上の遮光画素から得られるオプティカルブラック（ＯＢ）（ｏｐｔｉｃａｌ ｂｌａｃｋ）の信号値を、モザイクデータから減算することによりモザイクデータのオフセット補正を行う。

【0163】

オフセット補正されたモザイクデータは、振幅復元処理部４４に加えられ、ここで、振幅復元処理が行われる。

【0164】

振幅復元処理部４４により振幅復元処理された画像データは、階調補正処理部４５に加えられる。

【0165】

階調補正処理部４５は、振幅復元処理された画像データに対して、非線形な階調補正を行う部分であり、例えば、入力された画像データを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるように画像データに対して非線形な処理を行う。

【0166】

階調補正処理部４５により階調補正された画像データは、位相補正処理部４６に加えられ、ここで、画像データの位相補正処理が行われる。

【0167】

＜具体例２＞
図２０は、第２の実施形態における画像処理部３５の具体的な処理の例（具体例２）を示すブロック図である。尚、図２０において、図１９に示した画像処理部３５の具体例と共通する部分には同一の符号を付し、その詳細な説明は省略する。

【0168】

本例の画像処理部３５は、オフセット補正処理部４１、位相補正処理部４６、ガンマ補正処理部を含む階調補正処理部４５、及び振幅復元処理部４４を備えている。

【0169】

本例の画像処理部３５は、具体例１と比較すると振幅復元処理部４４と位相補正処理部４６との順序が逆になっている。すなわち本例では、オフセット補正処理が行われた画像データは、位相補正処理部４６に加えられ、ここで位相補正が行われる。また、本例では、階調補正処理部４５で階調補正された画像データは、振幅復元処理部４４に加えられ、振幅復元処理が行われる。

【0170】

（第３の実施形態）
次に、第３の実施形態に関して説明する。

【0171】

図２１は、第３の実施形態における画像処理部３５の具体的な処理の例を示すブロック図である。第３の実施形態における画像処理部３５は、可視光を光源とする画像の画像データ、近赤外光を光源とする画像の画像データ（第１の画像データ）、及び近赤外光と可視光とを光源とする画像の画像データ（第２の画像データ）を共通の画像処理回路により処理が行われている。デジタルカメラ１０の可視光撮像モードで撮像した場合（図１）にはＲＧＢデータが取得され、近赤外光撮像モードで撮像した場合(図２)にはＩＲデータが取得される。第１の画像データ及び第２の画像データは近赤外光撮像モードで取得されるのでＩＲデータとなる。

【0172】

本例の画像処理部３５は、オフセット補正処理部４１、ホワイトバランス（ＷＢ）を調整するＷＢ補正処理部４２、デモザイク処理部４３、復元処理部７１、階調補正演算部７３、非線形補正テーブル記憶部７４、輝度及び色差変換処理部４７、及び輪郭強調処理部５５を備える。

【0173】

オフセット補正処理部４１には、可視光撮像モード及び近赤外光撮像モードで撮像した場合に撮像素子２６から取得される画像処理前のモザイクデータ（ＲＡＷデータ）が点順次で入力される。

【0174】

オフセット補正処理部４１は、入力されたモザイクデータに含まれる暗電流成分を補正する処理部であり、撮像素子２６上の遮光画素から得られるオプティカルブラック（ＯＢ）の信号値を、モザイクデータから減算することによりモザイクデータのオフセット補正を行う。

【0175】

オフセット補正されたモザイクデータは、ＷＢ補正処理部４２に加えられる。可視光撮像モードで撮像された画像データ（ＲＧＢデータ）が入力された場合には、ＷＢ補正処理部４２は、ＲＧＢの色毎に設定されたＷＢゲインを、それぞれＲＧＢデータに乗算し、ＲＧＢデータのホワイトバランス補正を行う。ＷＢゲインは、例えば、ＲＧＢデータに基づいて光源種が自動的に判定され、あるいは手動による光源種が選択されるとし、判定又は選択された光源種に適したＷＢゲインが設定されるが、ＷＢゲインの設定方法は、これに限らず、他の公知の方法により設定することができる。一方、近赤外光撮像モードで撮像された画像データ（ＩＲデータ）（第１の画像データ又は第２の画像データ）が入力された場合には、ＷＢ補正は必要がないので、ＩＲデータが入力された場合には、ＷＢ補正処理部４２は処理を行わずにそのまま画像データを出力する。なお、ＷＢ補正処理部４２は、ＩＲデータが入力された場合に、Ｒフィルタを有する画素からの出力値、Ｇフィルタを有する画素からの出力値及びＢフィルタを有する画素からの出力値を調整する処理を行ってもよい。

【0176】

デモザイク処理部４３は、可視光撮像モードで撮像された画像データ（ＲＧＢデータ）が入力された場合には、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する。即ち、デモザイク処理部４３は、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢ３面の画像データを生成する。また、デモザイク処理部４３は、近赤外光撮像モードで撮像された画像データ（ＩＲデータ）が入力された場合には、デモザイク処理は必要ないので、デモザイク処理部４３は処理を行わずにそのまま画像データを出力する。なお、ＩＲデータに対するデモザイク処理は、Ｒフィルタを有する画素からの出力感度、Ｇフィルタを有する画素からの出力感度、及びＢフィルタを有する画素からの出力感度がほぼ等しいために、必要がないと考えられる。

【0177】

デモザイク処理部４３から出力されたＲＧＢデータ及びＩＲデータは、復元処理部７１に入力され、ここで可視光復元処理、第１の復元処理、及び第２の復元処理が行われる。

【0178】

図２２は、復元処理部７１を示すブロック図である。復元処理部７１は、主として復元処理演算部２１０、第１の点拡がり関数記憶部２２０、第２の点拡がり関数記憶部２３０、第３の点拡がり関数生成部２４０、点像復元フィルタ生成部（フィルタ生成部）２５０、及び光量比検出部１６０から構成されている。

【0179】

復元処理演算部２１０には、可視光撮像モードで撮像が行われた場合にはＲＧＢデータが入力され、近赤外光撮像モードで撮像が行われた場合にはＩＲデータが入力される。そして、復元処理演算部２１０は、入力された画像データ（ＲＧＢデータ及びＩＲデータ）に対して、点像復元フィルタ生成部２５０により生成された復元フィルタを用いた点像復元処理を行い、点像復元処理された画像データを算出する。

【0180】

第１の点拡がり関数記憶部２２０は、光学系（レンズ１６等）の可視光に対する第１の点拡がり関数（第１のＰＳＦ）を記憶する記憶部である。

【0181】

第２の点拡がり関数記憶部２３０は、光学系（レンズ１６等）の近赤外光に対する第２の点拡がり関数（第２のＰＳＦ）を記憶する記憶部である。

【0182】

第１のＰＳＦ及び第２のＰＳＦは、それぞれ可視光のみの光源及び近赤外光のみの光源による照明条件下で点像を撮像し、これらの撮像時に得られる点像の画像データに基づいて測定されるもので、予め製品出荷前に計測され、第１の点拡がり関数記憶部２２０及び第２の点拡がり関数記憶部２３０に記憶されている。なお、第１の点拡がり関数記憶部２２０及び第２の点拡がり関数記憶部２３０は、ＰＳＦの記憶に限定されない。すなわち、第１の点拡がり関数記憶部２２０及び第２の点拡がり関数記憶部２３０には、ＯＴＦ、ＰＴＦ、及びＭＴＦが記憶されていてもよい。

【0183】

第３の点拡がり関数生成部２４０は、薄暮用の点拡がり関数を生成する部分である。例えば、第３の点拡がり関数生成部２４０は、第１の点拡がり関数記憶部２２０から読み出した第１のＭＴＦと、第２の点拡がり関数記憶部２３０から読み出した第２のＭＴＦと、光量比検出部１６０から加えられる光量比とに基づいて、光量比に応じて第１のＭＴＦと第２のＭＴＦとを重み付け平均した第３のＭＴＦを算出する。

【0184】

ここで、薄暮の状態の可視光の光量と近赤外光の光量との光量比を、ｐ：ｑ、ｐ＋ｑ＝１とすると、第３の点拡がり関数生成部２４０は、次式により薄暮用の第３のＭＴＦを算出する。

【0185】

［数２］
第３のＰＳＦ＝第１のＰＳＦ×ｐ＋第２のＰＳＦ×ｑ
点像復元フィルタ生成部２５０は、第１の点拡がり関数記憶部２２０、第２の点拡がり関数記憶部２３０、又は第３の点拡がり関数生成部２４０から、画像データに応じたＭＴＦ及びＰＳＦ等の関数を取得し、取得した関数に基づいて復元フィルタを生成する。

【0186】

点像復元フィルタ生成部２５０には、カメラ本体コントローラ２８から撮像モード情報及び判定部２の情報が入力される。そして、点像復元フィルタ生成部２５０は、入力されたこれらの情報に基づいて、可視光を光源とする画像データが復元処理部７１に入力されている場合には、第１の点拡がり関数記憶部２２０から第１のＰＳＦを読み出し、読み出した第１のＰＳＦに基づいて復元フィルタを生成する。

【0187】

同様に点像復元フィルタ生成部２５０は、近赤外光を光源とする画像データ（第１の画像データ）が復元処理部７１に入力されている場合には、第２の点拡がり関数記憶部２３０から第２のＰＳＦを読み出し、読み出した第２のＰＳＦに基づいて復元フィルタを生成する。また同様に、点像復元フィルタ生成部２５０は、近赤外光及び可視光を光源とする画像データ（第２の画像データ）が入力された場合には、第３の点拡がり関数生成部２４０により生成されたＭＴＦを取得し、取得した第３のＭＴＦに基づいて復元フィルタを生成する。

【0188】

図２１に戻って、復元処理部７１により点像復元処理されたＲＧＢデータ及びＩＲデータは、階調補正演算部７３に加えられる。

【0189】

階調補正演算部７３は、ＲＧＢデータ及びＩＲデータに対して、非線形な階調補正を行う部分である。例えば階調補正演算部７３は、入力されるＲＧＢデータ及びＩＲデータを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるようにＲＧＢデータに対して非線形な処理を行う。なお、階調補正演算部７３は、画像データに応じて非線形な階調補正を行うテーブルデータを非線形補正テーブル記憶部７４から取得する。ここで、非線形補正テーブル記憶部７４には、Ｒ、Ｇ、及びＢデータに対する非線形な階調補正を行うテーブルデータ、及びＩＲデータに対する非線形な階調補正を行うテーブルデータが記憶されている。

【0190】

階調補正演算部７３により階調補正された（Ｒ）（Ｇ）（Ｂ）データ及び階調補正された（ＩＲ）データは、輝度及び色差変換処理部４７に加えられる。なお、階調補正後のＲＧＢデータを（Ｒ）（Ｇ）（Ｂ）データと、階調補正後のＩＲデータを（ＩＲ）データと表記する。

【0191】

輝度及び色差変換処理部４７は、可視光撮像モードで撮像された画像データが入力された場合には、（Ｒ）（Ｇ）（Ｂ）データを輝度成分を示す輝度データ（Ｙ）と、色差データ（Ｃｒ）及び（Ｃｂ）とに変換する処理部であり、以下に示す［数３］で示した式により算出する。また、輝度及び色差変換処理部４７は、近赤外光撮像モードで撮像された画像データが入力された場合には、（ＩＲ）データを輝度データ（Ｙ）と、色差データ（Ｃｒ）及び（Ｃｂ）とに変換する必要はないので、輝度及び色差変換処理部４７は処理を行わずにそのまま（ＩＲ）データを出力する。

【0192】

［数３］
（Ｙ）＝０.２９９（Ｒ）＋０.５８７（Ｇ）＋０.１１４（Ｂ）
（Ｃｂ）＝−０.１６８７３６（Ｒ）−０.３３１２６４（Ｇ）＋０.５（Ｂ）
（Ｃｒ）＝−０.５（Ｒ）−０.４１８６８８（Ｇ）−０.０８１３１２（Ｂ）
尚、（Ｒ）（Ｇ）（Ｂ）データは、階調補正及び位相補正処理後の８ビットのデータであり、これらの（Ｒ）（Ｇ）（Ｂ）データから変換される輝度データ（Ｙ）、色差データ（Ｃｒ）、（Ｃｂ）も８ビットのデータである。また、（Ｒ）（Ｇ）（Ｂ）データから輝度データ（Ｙ）、色差データ（Ｃｒ）、（Ｃｂ）への変換式は、上記［数３］式に限定されない。

【0193】

輝度及び色差変換処理部４７から出力された画像データは、輪郭強調処理部５５に入力される。

【0194】

輪郭強調処理部５５は、入力される（Ｙ）（Ｃｂ）（Ｃｒ）データ及び（ＩＲ）データに対して輪郭強調処理を行う。輪郭強調処理部５５は、（Ｙ）（Ｃｂ）（Ｃｒ）データが入力された場合には（Ｙ）データに対して輪郭強調の処理を行い、（ＩＲ）データが入力された場合には（ＩＲ）データに対して輪郭強調の処理を行う。

【0195】

本実施形態によれば、可視光撮像モードで撮像された画像データと近赤外光撮像モードで撮像された画像データとが共通の画像処理回路により処理が行われているので、回路設計の負荷を軽減し小型化を図ることができる。

【0196】

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における点像復元処理（振幅復元処理及び位相補正処理）は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類等）に応じて点拡がり（点像ボケ）を、振幅復元処理及び位相補正処理することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像処理は、上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の伝達関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ等）に基づく振幅復元フィルタ、位相補正フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する振幅復元フィルタ、位相補正フィルタを用いた復元処理が行われる。

【0197】

図２３は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等に搭載されるカメラヘッド）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ（ａｎａｌｏｇ ｄｉｇｉｔａｌ）変換部１１４と、を含む。

【0198】

図２４は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

【0199】

尚、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組合せたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

【0200】

即ち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

【0201】

図２３及び図２４に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話機や携帯情報端末に好適に搭載可能である。

【0202】

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図２３に示す撮像素子１１２に結像され、ここで電気信号に変換される。

【0203】

撮像素子１１２としては、図１に示した撮像素子２６と同様のものが適用できる。

【0204】

アナログデジタル変換部（ＡＤ変換部）１１４は、撮像素子１１２から画素毎に出力されるアナログのＲＧＢ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、モザイクデータ（ＲＡＷ画像データ）として出力される。

【0205】

撮像モジュール１０１から出力されるモザイクデータに対し、前述した実施形態で示した画像処理部（画像処理装置）３５を適用することにより、広範囲でピントが合った状態の高解像度の回復画像データを生成することができる。

【0206】

即ち、図２５の符号１３１１に示すように、ＥＤｏＦ光学系１１０を通過後の点像（光学像）は、大きな点像（ボケ画像）として撮像素子１１２に結像されるが、画像処理部（画像処理装置）３５による点像復元処理（振幅復元処理及び位相補正処理）により、図２５の符号１３１２に示すように小さな点像（高解像度の画像）に復元される。

【0207】

尚、上述の各実施形態では、画像処理部（画像処理装置）３５が、デジタルカメラ１０のカメラ本体１４（カメラ本体コントローラ２８）に設けられる態様について説明したが、コンピュータ６０やサーバ８０等の他の装置に画像処理部（画像処理装置）３５が設けられてもよい。

【0208】

例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる画像処理部（画像処理装置）３５によってこの画像データの点像復元処理が行われてもよい。また、サーバ８０が画像処理部（画像処理装置）３５を備える場合、例えば、デジタルカメラ１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の画像処理部（画像処理装置）３５においてこの画像データに対して点像復元処理が行われ、点像復元処理後の画像データ（回復画像データ）が送信元に送信及び提供されるようにしてもよい。

【0209】

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0210】

１…画像入力部、２…判定部、３…第１の復元処理部、４…光量検出部、５…第２の復元処理部、６…可視光復元処理部、７…階調補正処理部、８…位相補正部、９…振幅復元部、１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１５…近赤外光発光部、１６…レンズ、１７…絞り、１８…光学系操作部、１９…被写体、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２４…カットフィルタ動作機構、２５…ＩＲカットフィルタ、２６…撮像素子、２７…ダミーフィルタ、２８…カメラ本体コントローラ、３０…カメラ本体入出力部、３１…蛍光灯、３２…入出力インターフェース、３３…ＩＲ投光機、３４…デバイス制御部、３５…画像処理部、３６…光量取得部、６０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】