特許 6240813 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6240813

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171120BHJP

   H04N 5/225 20060101ALI20171120BHJP

【ＦＩ】

   H04N5/232

   H04N5/225 600

【請求項の数】20

【全頁数】32

(21)【出願番号】特願2017-514099(P2017-514099)

(86)(22)【出願日】2016年4月15日

(86)【国際出願番号】JP2016062169

(87)【国際公開番号】WO2016171087

(87)【国際公開日】20161027

【審査請求日】2017年10月10日

(31)【優先権主張番号】特願2015-88228(P2015-88228)

(32)【優先日】2015年4月23日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(72)【発明者】

【氏名】田中 淳一

(72)【発明者】

【氏名】林 健吉

(72)【発明者】

【氏名】成瀬 洋介

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特表２０１４−５０７８５６（ＪＰ，Ａ）

【文献】 特開２０１０−１４０４４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得する画像取得部と、
前記取得した画像データに対し、前記光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタ及び前記光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いて点像復元処理を行う点像復元処理部と、
前記取得した前記画像データに対し、前記点像復元処理部を制御して、前記第１の点像復元フィルタを用いた点像復元処理による第１の復元率及び前記第２の点像復元フィルタを用いた点像復元処理による第２の復元率を調整する復元率制御部と、を備え、
前記復元率制御部は、前記近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出する光量比検出部を有し、前記検出した光量比に応じて前記第１の復元率と前記第２の復元率とを調整する画像処理装置。

【請求項2】

前記点像復元処理部は、前記取得した画像データに対し、前記第１の点像復元フィルタ及び前記第２の点像復元フィルタをそれぞれ適用することにより第１の増減分データ及び第２の増減分データを生成し、前記生成した第１の増減分データ及び第２の増減分データを前記画像データに加算し、
前記復元率制御部は、前記光量比検出部が検出した光量比に応じて前記第１の増減分データに対する第１のゲインと、前記第２の増減分データに対する第２のゲインとをそれぞれ調整することにより、前記第１の復元率と前記第２の復元率とを調整する請求項１に記載の画像処理装置。

【請求項3】

前記復元率制御部は、前記第１のゲインと前記第２のゲインとに基づくトータルゲインを取得し、前記取得したトータルゲインのうちの前記第１のゲインと前記第２のゲインとの比率を、前記光量比検出部が検出した光量比に応じて調整する請求項２に記載の画像処理装置。

【請求項4】

光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得する画像取得部と、
前記取得した画像データに対し、前記光学系の可視光及び近赤外光に対する点拡がり関数に基づく点像復元フィルタを用いた点像復元処理を行う点像復元処理部と、を備え、
前記点像復元処理部は、前記点像復元フィルタを用いた前記点像復元処理を行う際に、前記近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出する光量比検出部を有し、前記検出した光量比に応じた前記点拡がり関数に基づく前記点像復元フィルタを用いた前記点像復元処理を行う画像処理装置。

【請求項5】

前記点像復元処理部は、前記光量比検出部が検出した光量比に応じて前記光学系の可視光に対する第１の点拡がり関数と前記光学系の近赤外光に対する第２の点拡がり関数とを重み付け平均した、前記光学系の可視光及び近赤外光に対する前記点拡がり関数を生成する点拡がり関数生成部と、前記生成した点拡がり関数に基づいて前記点像復元フィルタを生成する点像復元フィルタ生成部とを有し、前記生成した点像復元フィルタを用いた前記点像復元処理を行う請求項４に記載の画像処理装置。

【請求項6】

前記点像復元処理部は、前記光量比検出部が検出する光量比に対応する複数の点拡がり関数を記憶する点拡がり関数記憶部と、前記光量比検出部が検出した光量比に対応する前記点拡がり関数を前記点拡がり関数記憶部から読み出し、前記読み出した前記点拡がり関数から前記点像復元フィルタを生成する点像復元フィルタ生成部とを有し、前記生成した点像復元フィルタを用いた前記点像復元処理を行う請求項４に記載の画像処理装置。

【請求項7】

前記点像復元処理部は、前記光量比検出部が検出する光量比に対応する複数の点拡がり関数に基づく複数の前記点像復元フィルタを記憶する点像復元フィルタ記憶部を有し、前記光量比検出部が検出した光量比に対応する前記点像復元フィルタを前記点像復元フィルタ記憶部から読み出し、前記読み出した前記点像復元フィルタを用いた前記点像復元処理を行う請求項４に記載の画像処理装置。

【請求項8】

前記画像取得部が取得する画像データは、連続して撮像された動画データであり、
前記光量比検出部は、前記動画データの複数のフレームの撮像期間における光量を測定し、前記測定した光量に基づいて前記第１の光量と前記第２の光量との光量比を検出する請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記画像取得部は、前記光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す画像データを更に取得し、
前記点像復元処理部は、前記可視光画像を示す画像データに対し、前記光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いて点像復元処理を行う請求項１から８のいずれか１項に記載の画像処理装置。

【請求項10】

前記可視光画像を示す画像データは、第１の色データと、輝度データを得るための寄与率が前記第１の色データよりも低い２色以上の第２の色データとからなり、
前記点像復元処理部は、前記可視光画像を示す画像データから生成された輝度データに対し、前記輝度データに対応する前記第１の点像復元フィルタを用いた点像復元処理を行う請求項９に記載の画像処理装置。

【請求項11】

前記可視光画像を示す画像データは、第１の色データと、輝度データを得るための寄与率が前記第１の色データよりも低い２色以上の第２の色データとからなり、
前記点像復元処理部は、前記第１の色データ及び前記２色以上の各第２の色データに対し、前記第１の色データ及び前記２色以上の各第２の色データにそれぞれ対応する前記第１の点像復元フィルタを用いた点像復元処理を行う請求項９に記載の画像処理装置。

【請求項12】

前記点像復元処理部は、前記取得した画像データが近赤外光成分のみの画像データの場合、前記近赤外光成分のみの画像データに対し、前記光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた点像復元処理のみを行う請求項１から１１のいずれか１項に記載の画像処理装置。

【請求項13】

請求項１から１２のいずれか１項に記載の画像処理装置と、
近赤外光画像の撮像時に近赤外光を補助光として発光する近赤外光発光部と、
を備えた撮像装置。

【請求項14】

前記光学系は、赤外カットフィルタが撮像光路に挿入され、又は撮像光路から退避可能な光学系であり、
前記画像取得部は、前記赤外カットフィルタが撮像光路に挿入された前記光学系を用いて被写体を撮像し、該被写体の可視光画像を示す画像データを取得し、前記近赤外光発光部から近赤外光を発光させ、かつ前記赤外カットフィルタが撮像光路から退避された前記光学系を用いて被写体を撮像し、該被写体の近赤外光画像を示す画像データを取得する撮像部である請求項１３に記載の撮像装置。

【請求項15】

前記画像取得部は、可視光波長帯域に感度をもつ可視光画像の撮像用の第１の画素と、可視光波長帯域及び近赤外光波長帯域に感度をもつ近赤外光画像の撮像用の第２の画素とが混在して配列された撮像素子を有し、前記光学系及び前記撮像素子の第１の画素を用いて被写体の可視光画像を示す画像データを取得し、前記近赤外光発光部から近赤外光を発光させ、かつ前記光学系及び前記撮像素子の第２の画素を用いて被写体の近赤外光画像を示す画像データを取得する撮像部である請求項１３に記載の撮像装置。

【請求項16】

光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得するステップと、
前記取得した画像データに対し、前記光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタ及び前記光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた点像復元処理を行うステップと、
前記取得した前記画像データに対し、前記点像復元処理を制御して、前記第１の点像復元フィルタを用いた点像復元処理による第１の復元率及び前記第２の点像復元フィルタを用いた点像復元処理による第２の復元率を調整するステップであって、前記近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出し、前記検出した光量比に応じて前記第１の復元率と前記第２の復元率とを調整するステップと、
を含む画像処理方法。

【請求項17】

光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得するステップと、
前記取得した画像データに対し、前記光学系の可視光及び近赤外光に対する点拡がり関数に基づく点像復元フィルタを用いた点像復元処理を行うステップと、を含み、
前記取得した前記画像データであって、可視光と近赤外光とが混在した光源下で撮像された前記画像データに対し、前記点像復元フィルタを用いた前記点像復元処理を行うステップは、前記近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出し、前記検出した光量比に応じた前記点拡がり関数に基づく点像復元フィルタを用いた前記点像復元処理を行う画像処理方法。

【請求項18】

光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得するステップと、
前記取得した画像データに対し、前記光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタ及び前記光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いて点像復元処理を行うステップと、
前記取得した前記画像データに対し、前記点像復元処理を制御して、前記第１の点像復元フィルタを用いた点像復元処理による第１の復元率及び前記第２の点像復元フィルタを用いた点像復元処理による第２の復元率を調整するステップであって、前記近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出し、前記検出した光量比に応じて前記第１の復元率と前記第２の復元率とを調整するステップと、
をコンピュータに実行させる画像処理プログラム。

【請求項19】

光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得するステップと、
前記取得した画像データに対し、前記光学系の可視光及び近赤外光に対する点拡がり関数に基づく点像復元フィルタを用いた点像復元処理を行うステップと、を含み、
前記取得した前記画像データであって、可視光と近赤外光とが混在した光源下で撮像された前記画像データに対し、前記点像復元フィルタを用いた前記点像復元処理を行うステップにおいて、前記近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出し、前記検出した光量比に応じた前記点拡がり関数に基づく点像復元フィルタを用いた前記点像復元処理をコンピュータに実行させる画像処理プログラム。

【請求項20】

請求項１８または１９に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに係り、特に可視光画像及び近赤外光画像に対して点拡がり関数に基づく点像復元処理を行う技術に関する。

【背景技術】

【0002】

光学系を介して撮像される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は、点拡がり関数（ＰＳＦ：Point Spread Function）と呼ばれ、撮像画像の解像度劣化（ボケ）を左右する特性として知られている。

【0003】

点拡がり現象のために画質劣化した撮像画像に対し、ＰＳＦに基づく点像復元処理を行うことにより、劣化した撮像画像の画質を回復（復元）することが可能である。この点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた点像復元フィルタを用いた画像処理によって撮像画像の点拡がりをキャンセルし、又は低減する処理である。

【0004】

ところで、日中の可視光画像の撮像と夜間の近赤外光画像の撮像とを行うことができるデイナイト機能を搭載するカメラとして監視カメラなどがあるが、デイナイト機能を有する監視カメラでは、日中はレンズの撮像光路に赤外カットフィルタを挿入し、可視光のみに感度をもった撮像(カラー撮像)を行い、一方、夜間は赤外カットフィルタを撮像光路から退避させ、かつ近赤外光を補助光として発光（点灯）し、可視光から近赤外光までの波長帯域に感度をもった撮像（白黒撮像）を行う。

【0005】

上記のデイナイト機能を搭載した監視カメラにより撮像された可視光画像及び近赤外光画像に対して点像復元処理を適用する場合、可視光と近赤外光とではレンズの収差が異なるため、同一の点像復元フィルタを用いると、可視光画像及び近赤外光画像のうちの少なくとも一方の画像の点像復元処理を良好に行うことができないという問題がある。

【0006】

特許文献１には、指紋認証、静脈認証及び虹彩認証の複数の認証を行う生体認証装置が記載されている。この生体認証装置は、光波面変調素子を有する被写界深度拡張光学系を使用し、かつ指紋認証時の指紋撮像には可視光や指紋を浮き立たせるのに適した紫外光を照射し、静脈認証時の静脈撮像には皮膚を透過しながらも血管を浮き立たせるのに適した赤外光を照射し、虹彩認証時の虹彩撮像には可視光や赤外光を照射する。そして、光波面変調素子により、光像が分散した分散画像（ボケ画像）と、光波面変調素子に起因する分散に対応した変換係数とのコンボリューション（畳み込み演算）により、分散画像を分散のない画像に復元する。この復元処理において、撮像対象（指紋、静脈又は虹彩）に照射する光の波長によって光波面変調素子に起因する分散に対応した変換係数を可変にしている。

【0007】

また、特許文献２には、可視光画像と近赤外光画像とを同時に取得可能なカメラにおいて、レンズを光軸方向に移動させて焦点位置を調整する焦点位置調整装置が記載されている。この焦点位置調整装置は、レンズの色収差（可視光と近赤外光）による焦点位置ずれを使用し、レンズを無限遠側から至近端側にサーチ動作させ、近赤外光画像の合焦状態評価値が最小値になるレンズ位置（合焦位置）を求め、この合焦位置から色収差による焦点位置ずれだけ、更にレンズを至近側に移動させることで、近赤外光画像の合焦位置に短時間で移動できるようにしている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００８−１１３７０４号公報

【特許文献2】特開２０１０−２３０７７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

デイナイト機能を搭載した監視カメラにより撮像された可視光画像及び近赤外光画像に対して点像復元処理を適用する場合、可視光と近赤外光とではレンズの収差が異なるため、可視光画像の点像復元処理に使用する可視光用の点像復元フィルタと、近赤外光画像の点像復元処理に使用する近赤外用の点像復元フィルタとを切り替えることが好ましい。

【0010】

しなしながら、実際には、日中から夜間への切り替わり時（いわゆる薄暮の状態）、及び夜間から日中への切り替わり時（いわゆる黎明の状態）では、可視光と近赤外光とが混在する時間が存在するため、薄暮及び黎明の状態で撮像された近赤外光画像に対し、可視光用の点像復元フィルタ又は近赤外用の点像復元フィルタのいずれの点像復元フィルタを使用しても良好に点像復元を行うことができない。

【0011】

特許文献１には、光波面変調素子を有する被写界深度拡張光学系を使用して撮像された、可視光画像及び近赤外光画像の分散画像をそれぞれ復元する際に、それぞれ復元処理（コンボリューション演算）の演算係数を変えること、及び１つの撮像系を用いて可視光画像及び近赤外光画像を撮像する場合、可視光と近赤外光の波長により焦点距離が異なるという課題について記載されているものの、可視光と近赤外光とが混在した光源（薄暮又は黎明）下で被写体が撮像される構成や、薄暮又は黎明下で撮像された近赤外光画像を点像復元処理する場合の課題については開示されていない。

【0012】

また、特許文献２に記載の焦点位置調整装置は、可視光画像と近赤外光画像とを同時に取得可能なカメラにおいて、レンズの色収差（可視光と近赤外光）による焦点位置ずれを使用し、コントラストＡＦ（Autofocus）を短時間で精度よく行うものであり、特許文献２には、そもそも撮像された可視光画像又は近赤外光画像を点像復元する記載がなく、薄暮又は黎明下で撮像された近赤外光画像を点像復元処理する場合の課題についても開示されていない。

【0013】

本発明はこのような事情に鑑みてなされたもので、薄暮又は黎明の時間帯に撮像される近赤外光画像に対する点像復元処理を良好に行うことができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0014】

上記目的を達成するために本発明の一の態様に係る画像処理装置は、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得する画像取得部と、取得した画像データに対し、光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタ及び光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いて点像復元処理を行う点像復元処理部と、取得した画像データに対し、点像復元処理部を制御して、第１の点像復元フィルタを用いた点像復元処理による第１の復元率及び第２の点像復元フィルタを用いた点像復元処理による第２の復元率を調整する復元率制御部と、を備え、復元率制御部は、近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出する光量比検出部を有し、検出した光量比に応じて第１の復元率と第２の復元率とを調整する。

【0015】

本発明の一の態様によれば、画像データが可視光成分と近赤外光成分とが混在した画像データの場合に、近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比（即ち、画像データに含まれる可視光成分と近赤外光成分との比）に応じて、第１の点像復元フィルタを用いた点像復元処理による第１の復元率と、第２の点像復元フィルタを用いた点像復元処理による第２の復元率とを調整するようにしたため、可視光と近赤外光とが混在する薄暮又は黎明の時間帯に撮像される画像データに対して適切な点像復元処理を行うことができる。

【0016】

本発明の他の態様に係る画像処理装置において、点像復元処理部は、取得した画像データに対し、第１の点像復元フィルタ及び第２の点像復元フィルタをそれぞれ適用することにより第１の増減分データ及び第２の増減分データを生成し、生成した第１の増減分データ及び第２の増減分データを画像データに加算し、復元率制御部は、光量比検出部が検出した光量比に応じて第１の増減分データに対する第１のゲインと、第２の増減分データに対する第２のゲインとをそれぞれ調整することにより、第１の復元率と第２の復元率とを調整することが好ましい。

【0017】

本発明の更に他の態様に係る画像処理装置において、復元率制御部は、第１のゲインと第２のゲインとに基づくトータルゲインを取得し、取得したトータルゲインのうちの第１のゲインと第２のゲインとの比率を、光量比検出部が検出した光量比に応じて調整することが好ましい。トータルゲインを適宜設定することにより、点像復元強度を任意に調整することができる。

【0018】

本発明の更に他の態様に係る画像処理装置は、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得する画像取得部と、取得した画像データに対し、光学系の可視光及び近赤外光に対する点拡がり関数に基づく点像復元フィルタを用いた点像復元処理を行う点像復元処理部と、を備え、点像復元処理部は、点像復元フィルタを用いた点像復元処理を行う際に、近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出する光量比検出部を有し、検出した光量比に応じた点拡がり関数に基づく点像復元フィルタを用いた点像復元処理を行う。

【0019】

本発明の更に他の態様によれば、画像データ（可視光成分と近赤外光成分とを含む画像データ）を、光学系の可視光及び近赤外光に対する点拡がり関数に基づく点像復元フィルタ（薄暮及び黎明の近赤外光用の点像復元フィルタ）であって、近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比に応じた点拡がり関数に基づく点像復元フィルタを使用して点像復元処理を行うようにしたため、薄暮又は黎明の時間帯に撮像された画像データの点像復元処理を良好に行うことができる。

【0020】

本発明の更に他の態様に係る画像処理装置において、点像復元処理部は、光量比検出部が検出した光量比に応じて光学系の可視光に対する第１の点拡がり関数と光学系の近赤外光に対する第２の点拡がり関数とを重み付け平均した、光学系の可視光及び近赤外光に対する点拡がり関数を生成する点拡がり関数生成部と、生成した点拡がり関数に基づいて点像復元フィルタを生成する点像復元フィルタ生成部とを有し、生成した点像復元フィルタを用いた点像復元処理を行うことが好ましい。

【0021】

本発明の更に他の態様に係る画像処理装置において、点像復元処理部は、光量比検出部が検出する光量比に対応する複数の点拡がり関数を記憶する点拡がり関数記憶部と、光量比検出部が検出した光量比に対応する点拡がり関数を点拡がり関数記憶部から読み出し、読み出した点拡がり関数から点像復元フィルタを生成する点像復元フィルタ生成部とを有し、生成した点像復元フィルタを用いた点像復元処理を行うことが好ましい。

【0022】

本発明の更に他の態様に係る画像処理装置において、点像復元処理部は、光量比検出部が検出する光量比に対応する複数の点拡がり関数に基づく複数の点像復元フィルタを記憶する点像復元フィルタ記憶部を有し、光量比検出部が検出した光量比に対応する点像復元フィルタを点像復元フィルタ記憶部から読み出し、読み出した点像復元フィルタを用いた点像復元処理を行うことが好ましい。

【0023】

本発明の更に他の態様に係る画像処理装置において、画像像取得部が取得する画像データは、連続して撮像された動画データであり、光量比検出部は、動画データの複数のフレームの撮像期間における光量を測定し、測定した光量に基づいて第１の光量と第２の光量との光量比を検出することが好ましい。光量比の検出の信頼性を高くすることができ、連続する動画データに対して安定した点像復元処理を行うことができる。

【0024】

本発明の更に他の態様に係る画像処理装置において、画像取得部は、光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す画像データを更に取得し、点像復元処理部は、可視光画像を示す画像データに対し、光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いて点像復元処理を行うことが好ましい。これにより、日中に撮像される可視光画像を示す画像データの点像復元処理を良好に行うことができる。

【0025】

本発明の更に他の態様に係る画像処理装置において、可視光画像を示す画像データは、第１の色データと、輝度データを得るための寄与率が第１の色データよりも低い２色以上の第２の色データとからなり、点像復元処理部は、可視光画像を示す画像データから生成された輝度データに対し、輝度データに対応する第１の点像復元フィルタを用いた点像復元処理を行うことが好ましい。可視光画像を示す画像データに対する点像復元処理として、可視光画像を示す画像データから生成された輝度データに対し、輝度データに対応する第１の点像復元フィルタを用いた点像復元処理を行うようにしたため、可視光画像を示す画像データに対して色チャンネルごとに点像復元処理を行う必要がなく、装置構成を簡略化することができる。

【0026】

本発明の更に他の態様に係る画像処理装置において、可視光画像を示す画像データは、第１の色データと、輝度データを得るための寄与率が第１の色データよりも低い２色以上の第２の色データとからなり、点像復元処理部は、第１の色データ及び２色以上の各第２の色データに対し、第１の色データ及び２色以上の各第２の色データにそれぞれ対応する第１の点像復元フィルタを用いた点像復元処理を行うことが好ましい。可視光画像を示す画像データに対する点像復元処理として、可視光画像を示す画像データの色チャンネルごとに点像復元処理を行うようにしたため、倍率色収差を低減させる点像復元処理を行うことができる。

【0027】

本発明の更に他の態様に係る画像処理装置において、点像復元処理部は、取得した画像データが近赤外光成分のみの画像データの場合、近赤外光成分のみの画像データに対し、光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた点像復元処理のみを行うことがこのましい。

【0028】

これにより、夜間に撮像される近赤外光成分のみの画像データの点像復元処理を良好に行うことができる。尚、取得した画像データが近赤外光成分のみの画像データとは、例えば、光量比検出部で検出した可視光の光量比が極めて低い場合であって、可視光量が０だけに限られず、総光量の１０％以下、望ましくは５％以下、更に望ましくは３％以下の場合を含む。

【0029】

本発明の更に他の態様に係る撮像装置は、上記の画像処理装置と、近赤外光画像の撮像時に近赤外光を補助光として発光する近赤外光発光部と、を備える。

【0030】

本発明の更に他の態様に係る撮像装置において、光学系は、赤外カットフィルタが撮像光路に挿入され、又は撮像光路から退避可能な光学系であり、画像取得部は、赤外カットフィルタが撮像光路に挿入された光学系を用いて被写体を撮像し、該被写体の可視光画像を示す画像データを取得し、近赤外光発光部から近赤外光を発光させ、かつ赤外カットフィルタが撮像光路から退避された光学系を用いて被写体を撮像し、該被写体の近赤外光画像を示す画像データを取得する撮像部である。

【0031】

本発明の更に他の態様に係る撮像装置において、画像取得部は、可視光波長帯域に感度をもつ可視光画像の撮像用の第１の画素と、可視光波長帯域及び近赤外光波長帯域に感度をもつ近赤外光画像の撮像用の第２の画素とが混在して配列された撮像素子を有し、光学系及び撮像素子の第１の画素を用いて被写体の可視光画像を示す画像データを取得し、近赤外光発光部から近赤外光を発光させ、かつ光学系及び撮像素子の第２の画素を用いて被写体の近赤外光画像を示す画像データを取得する撮像部である。この撮像素子を有する撮像装置の場合、赤外カットフィルタ及び赤外カットフィルタを出し入れする構成は不要である。

【0032】

本発明の更に他の態様に係る画像処理方法は、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得するステップと、取得した画像データに対し、光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタ及び光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた点像復元処理を行うステップと、取得した画像データに対し、点像復元処理を制御して、第１の点像復元フィルタを用いた点像復元処理による第１の復元率及び第２の点像復元フィルタを用いた点像復元処理による第２の復元率を調整するステップであって、近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出し、検出した光量比に応じて第１の復元率と第２の復元率とを調整するステップと、を含む。

【0033】

本発明の更に他の態様に係る画像処理方法は、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得するステップと、取得した画像データに対し、光学系の可視光及び近赤外光に対する点拡がり関数に基づく点像復元フィルタを用いた点像復元処理を行うステップと、を含み、取得した画像データであって、可視光と近赤外光とが混在した光源下で撮像された画像データに対し、点像復元フィルタを用いた点像復元処理を行うステップは、近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出し、検出した光量比に応じた点拡がり関数に基づく点像復元フィルタを用いた点像復元処理を行う。

【0034】

本発明の更に他の態様に係る画像処理プログラムは、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得するステップと、取得した画像データに対し、光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタ及び光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いて点像復元処理を行うステップと、取得した画像データに対し、点像復元処理を制御して、第１の点像復元フィルタを用いた点像復元処理による第１の復元率及び第２の点像復元フィルタを用いた点像復元処理による第２の復元率を調整するステップであって、近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出し、検出した光量比に応じて第１の復元率と第２の復元率とを調整するステップと、をコンピュータに実行させる。

【0035】

本発明の更に他の態様に係る画像処理プログラムは、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む画像データを取得するステップと、取得した画像データに対し、光学系の可視光及び近赤外光に対する点拡がり関数に基づく点像復元フィルタを用いた点像復元処理を行うステップと、を含み、取得した画像データであって、可視光と近赤外光とが混在した光源下で撮像された画像データに対し、点像復元フィルタを用いた点像復元処理を行うステップにおいて、近赤外光画像の撮像時の可視光による第１の光量と近赤外光による第２の光量との光量比を検出し、検出した光量比に応じた点拡がり関数に基づく点像復元フィルタを用いた点像復元処理をコンピュータに実行させる。これらの画像処理プログラムを記録した非一時的有形媒体（a non-transitory computer-readable tangible medium）も本発明の態様に含まれる。

【発明の効果】

【0036】

本発明によれば、可視光成分と近赤外光成分とが混在する薄暮又は黎明の状態で撮像された近赤外光画像に対し、可視光の光量と近赤外光の光量との光量比に応じた点像復元処理を行うようにしため、薄暮又は黎明の状態で撮像された近赤外光画像に対して良好な点像復元処理を行うことができる。

【図面の簡単な説明】

【0037】

【図1】撮像装置の機能構成例を示すブロック図であり、日中の可視光画像（動画）を撮像する場合を示す図である。

【図2】撮像装置の機能構成例を示すブロック図であり、薄暮及び夜間の近赤外光画像（動画）を撮像する場合を示す図である。

【図3】８５０ｎｍタイプの近赤外ＬＥＤと９４０ｎｍタイプの近赤外ＬＥＤの分光特性を示すグラフである。

【図4】ベイヤー配列の基本配列パターンを示す図と、ＲＧＢの各カラーフィルタの分光透過率特性を示す図である。

【図5】カメラコントローラの構成例を示すブロック図である。

【図6】カメラコントローラ内の画像処理部の第１の実施形態を示すブロック図である。

【図7】第１の実施形態の点像復元処理部を示すブロック図である。

【図8】日中から夜間の時間経過に伴う被写体の明るさ（光量）の変化を示すグラフである。

【図9】画像処理方法の第１の実施形態を示すフローチャートである。

【図10】画像処理方法の第１の実施形態の変形例を示すフローチャートである。

【図11】トータルゲインγ、第１のゲインα及び第２のゲインβの関係を示す概念図である。

【図12】第２の実施形態の点像復元処理部を示すブロック図である。

【図13】画像処理方法の第２の実施形態を示すフローチャートである。

【図14】第３の実施形態の点像復元処理部を示すブロック図である。

【図15】第４の実施形態の点像復元処理部を示すブロック図である。

【図16】カメラコントローラ内の画像処理部の第２の実施形態を示すブロック図である。

【図17】他の実施形態の撮像素子に設けられたＲＧＢのカラーフィルタ及び近赤外光透過フィルタの基本配列パターンを示す図と、ＲＧＢの各カラーフィルタ及び近赤外光透過フィルタの分光透過率特性を示すグラフである。

【図18】ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。

【図19】ＥＤｏＦ光学系の一例を示す図である。

【図20】ＥＤｏＦ光学系を介して取得された画像の復元例を示す図である。

【発明を実施するための形態】

【0038】

以下、添付図面に従って本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムの実施形態について説明する。以下の実施形態では、一例として、コンピュータ（ＰＣ：Personal Computer）に接続可能な監視カメラとして使用される撮像装置に本発明を適用する場合について説明する。

【0039】

図１及び図２は、それぞれコンピュータに接続される撮像装置１０の機能構成例を示すブロック図である。尚、図１は、撮像装置１０により日中の可視光画像（動画）を撮像する場合に関して示しており、図２は、撮像装置１０により薄暮及び夜間の近赤外光画像（動画）を撮像する場合に関して示している。

【0040】

図１及び図２に示す撮像装置１０は、デイナイト機能が搭載された監視カメラであり、可視光画像を撮像する可視光画像撮像モードと、近赤外光画像を撮像する近赤外光画像撮像モードとを有している。

【0041】

図１及び図２に示すように、撮像装置１０は、主として撮像部を構成するレンズユニット１２、近赤外光発光部１５、フィルタ装置２４及び撮像素子（画像取得部）２６と、カメラコントローラ２８と、入出力インターフェース３２とから構成されている。

【0042】

レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８と、を具備する。光学系操作部１８は、レンズ１６のフォーカス位置を調整する手動操作部、及びカメラコントローラ２８から加えられる制御信号により絞り１７を駆動する絞り駆動部を含む。

【0043】

近赤外光発光部１５は、近赤外光発光ダイオード（近赤外ＬＥＤ（ＬＥＤ：Light Emitting Diode））を備え、図２に示すように近赤外光画像撮像モード時にカメラコントローラ２８から加えられる点灯指示により近赤外光を補助光として連続して発光（照射）する。近赤外ＬＥＤには、図３に示すように８５０ｎｍタイプの分光特性を有するものと、９４０ｎｍタイプの分光特性を有するものとがあり、いずれも近赤外光発光部１５の光源として使用可能である。

【0044】

フィルタ装置２４は、赤外カットフィルタ２０及びダミーガラス２２を備えたスライド板を光軸と直交する方向に移動させ、又は赤外カットフィルタ２０及びダミーガラス２２を備えたターレットを回転させることにより、赤外カットフィルタ２０を撮像光路に挿入又は退避させ、ダミーガラス２２を撮像光路に退避又は挿入するもので、カメラコントローラ２８から加えられる指令により可視光画像撮像モード時に赤外カットフィルタ２０を撮像光路に挿入し（図１）、近赤外光画像撮像モード時にダミーガラス２２を撮像光路に挿入する（図２）。

【0045】

ここで、ダミーガラス２２は、赤外カットフィルタ２０と同じ屈折率及び厚みを有することが好ましい。これにより、赤外カットフィルタ２０とダミーガラス２２との切り替えが行われても焦点位置が変動しないようにすることができる。

【0046】

撮像素子２６は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、撮像素子２６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

【0047】

撮像素子２６は、マトリクス状に配置された複数の画素を有し、各画素は、マイクロレンズと、赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のカラーフィルタと、光電変換部（フォトダイオード等）とを含んで構成される。ＲＧＢのカラーフィルタは、所定のパターンのフィルタ配列（ベイヤー配列、Ｘ−Ｔｒａｎｓ（登録商標）配列等）を有し、図４（Ａ）は、ベイヤー配列の基本配列パターンを示している。

【0048】

図４（Ｂ）は、ＲＧＢの各カラーフィルタの分光透過率特性を示している。図４（Ｂ）に示すようにＲＧＢの各カラーフィルタを有する画素（以下、Ｒ画素、Ｇ画素及びＢ画素という）は、８５０ｎｍタイプ又は９４０ｎｍタイプの分光特性を有する近赤外ＬＥＤの近赤外光（図３参照）に対し、ほぼ同じ感度をもっている。従って、近赤外光画像撮像モードにおいて、撮像素子２６のＲ画素、Ｇ画素及びＢ画素は、それぞれ近赤外光画素（ＩＲ(infrared)画素）として機能する。

【0049】

即ち、可視光画像撮像モードでの撮像時には、撮像素子２６からは、可視光画像を示す画像データであって、ＲＧＢのカラーフィルタのフィルタ配列に対応するモザイクデータ（赤（Ｒ）、緑（Ｇ）、青（Ｂ）のモザイク状の色データ（ＲＧＢデータ））が出力され、近赤外光画像撮像モードでの撮像時には、撮像素子２６からは、近赤外光画像を示す画像データであって、１画面分の白黒画像を示す近赤外光画像データ（ＩＲデータ）が出力される。

【0050】

カメラコントローラ２８は、詳細については後述するが、撮像装置１０の各部を統括的に制御するデバイス制御部３４としての機能と、撮像素子２６から送られてくる画像データ（可視光画像撮像モード時に撮像された可視光画像を示す画像データ、又は近赤外光画像撮像モード時に撮像された近赤外光画像を示す画像データ）の画像処理を行う画像処理部（画像処理装置）３５としての機能とを有する。

【0051】

カメラコントローラ２８において、画像処理された画像データは、撮像装置１０に設けられた記憶部（図示せず）に記憶され、及び／又は入出力インターフェース３２を介してコンピュータ６０等に送られる。カメラコントローラ２８から出力される画像データのフォーマットは特に限定されず、動画の場合にはＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６４等のフォーマットとし、静止画の場合には、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）等のフォーマットとしうる。また、画像処理部３５による画像処理が行われない生データ（ＲＡＷデータ）を出力しうる。更に、カメラコントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮像日時、機種、画素数、絞り値等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、その画像ファイルを出力してもよい。

【0052】

コンピュータ６０は、撮像装置１０の入出力インターフェース３２及びコンピュータ入出力部６２を介して撮像装置１０に接続され、撮像装置１０から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、撮像装置１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４にデータやコマンドを入力可能である。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（撮像装置１０、サーバ８０）を制御可能である。

【0053】

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。

【0054】

各コントローラ（カメラコントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば、中央処理装置（ＣＰＵ（Central Processing Unit）等）やメモリ等を具備する。また、撮像装置１０、コンピュータ６０及びサーバ８０間の通信は、有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、また、コンピュータ６０及び／又はサーバ８０が省略されてもよい。更に、撮像装置１０にサーバ８０との通信機能を持たせ、撮像装置１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。更にまた、撮像装置１０からコンピュータ６０又はサーバ８０にＲＡＷデータを送信し、コンピュータ６０又はサーバ８０の画像処理部（画像処理装置）が、カメラコントローラ２８内の画像処理部３５（図５）として機能し、入力するＲＡＷデータの画像処理を行うようにしてもよい。

【0055】

［画像処理装置］
＜画像処理装置の第１の実施形態＞
図６は、図５に示したカメラコントローラ２８内の画像処理部３５の第１の実施形態を示すブロック図である。

【0056】

図６に示す第１の実施形態の画像処理部３５は、オフセット補正処理部４１、ゲイン補正処理部４２、デモザイク処理部４３、ガンマ補正処理部を含む第１の階調補正処理部４５、第２の階調補正処理部４６、輝度及び色差変換処理部４７、及び点像復元処理部４８から構成されている。

【0057】

オフセット補正処理部４１は、撮像素子２６から取得される画像処理前のＲＡＷデータ（モザイク状のＲＧＢデータ、又はＩＲデータ）を点順次で入力する。尚、ＲＡＷデータは、例えば、ＲＧＢ毎に１２ビット（０〜４０９５）のビット長を有するデータ（１画素当たり２バイトのデータ）である。また、本例のＲＡＷデータは、連続されて撮像された動画データである。

【0058】

オフセット補正処理部４１は、入力するＲＡＷデータに含まれる暗電流成分を補正する処理部であり、撮像素子２６上の遮光画素から得られるオプティカルブラックの信号値を、ＲＡＷデータから減算することによりＲＡＷデータのオフセット補正を行う。

【0059】

オフセット補正されたＲＡＷデータは、ゲイン補正処理部４２に加えられる。ゲイン補正処理部４２は、ＲＡＷデータがＲＧＢデータの場合、ホワイトバランス（ＷＢ：White Balance）を調整するＷＢ補正処理部として機能し、ＲＧＢの色毎に設定されたＷＢゲインを、それぞれＲＧＢデータに乗算し、ＲＧＢデータのホワイトバランス補正を行う。ＷＢゲインは、例えば、ＲＧＢデータに基づいて光源種が自動的に判定され、あるいは手動による光源種が選択されるとし、判定又は選択された光源種に適したＷＢゲインが設定されるが、ＷＢゲインの設定方法は、これに限らず、他の公知の方法により設定することができる。

【0060】

また、ゲイン補正処理部４２は、ＲＡＷデータがＩＲデータの場合、近赤外光に対するＲ画素、Ｇ画素及びＢ画素の感度差を補正する感度補正処理部として機能し、Ｒ画素、Ｇ画素及びＢ画素から出力される各ＩＲデータの積算平均値を１：１：１にするゲインを、それぞれＲ画素、Ｇ画素及びＢ画素に対応するＩＲデータに乗算し、ＩＲデータを補正する。尚、Ｒ画素、Ｇ画素及びＢ画素において、近赤外光に対する感度差がない場合には、ゲイン補正処理部４２による感度差の補正は不要である。

【0061】

デモザイク処理部４３は、単板式の撮像素子２６のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出するデモザイク処理（「同時化処理」ともいう）を行う部分であり、例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する。即ち、デモザイク処理部４３は、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢ３面の画像データを生成する。尚、ＩＲデータに対しては、デモザイク処理部４３によるデモザイク処理は行われない。

【0062】

デモザイク処理されたＲＧＢデータは、第１の階調補正処理部４５に加えられる。第１の階調補正処理部４５は、ＲＧＢデータに対して、非線形な階調補正を行う部分であり、例えば、入力するＲＧＢデータを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるようにＲＧＢデータに対して非線形な処理を行う。

【0063】

本例では、第１の階調補正処理部４５は、１２ビット（０〜４０９５）のＲＧＢデータに対し、ガンマ特性に対応するガンマ補正を行い、８ビット（０〜２５５）のＲＧＢの色データ（１バイトのデータ）を生成する。第１の階調補正処理部４５は、例えば、ＲＧＢ毎のルックアップテーブルにより構成することができ、ＲＧＢデータの色毎にそれぞれ対応するガンマ補正を行うことが好ましい。尚、第１の階調補正処理部４５は、入力データに対して、トーンカーブに沿った非線形な階調補正を行うものを含む。

【0064】

第１の階調補正処理部４５により階調補正されたＲＧＢデータは、輝度及び色差変換処理部４７に加えられる。輝度及び色差変換処理部４７は、第１の色データ（Ｇデータ）と、輝度データを得るための寄与率が第１の色データ（Ｇデータ）よりも低い２色以上の第２の色データ（Ｒデータ、Ｂデータ）を、輝度成分を示す輝度データＹと、色差データＣｒ、Ｃｂとに変換する処理部であり、次式により算出することができる。

【0065】

［数１］
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ
Ｃｂ＝−０.１６８７３６Ｒ−０.３３１２６４Ｇ＋０.５Ｂ
Ｃｒ＝−０.５Ｒ−０.４１８６８８Ｇ−０.０８１３１２Ｂ
尚、ＲＧＢデータから輝度データＹ、色差データＣｒ、Ｃｂへの変換式は、上記［数１］式に限定されない。

【0066】

輝度及び色差変換処理部４７によりＲＧＢデータから変換された輝度データＹは、点像復元処理部４８に加えられる。

【0067】

一方、近赤外光画像撮像モード時にゲイン補正処理部４２により感度補正されたＩＲデータは、第２の階調補正処理部４６に加えられ、ここで第１の階調補正処理部４５による階調補正処理と同様な階調補正が行われる。即ち、第２の階調補正処理部４６は、ＩＲ用のルックアップテーブルにより構成することができ、入力する１２ビットのＩＲデータに対し、ガンマ特性に対応するガンマ補正を行い、８ビットのＩＲデータを生成する。尚、第１の階調補正処理部４５と第２の階調補正処理部４６とは、それぞれ階調補正するためのルックアップテーブルが異なるが、その他は共通するため、処理回路の共通化が可能である。

【0068】

第２の階調補正処理部４６により階調補正されたＩＲデータは、点像復元処理部４８に加えられる。

【0069】

点像復元処理部４８には、撮像モード（可視光画像撮像モード又は近赤外光画像撮像モード）に応じて輝度データＹ又はＩＲデータが入力され、点像復元処理部４８は、入力する輝度データＹ又はＩＲデータに対して点像復元処理を行う。

【0070】

［点像復元処理部］
＜点像復元処理部の第１の実施形態＞
次に、図６に示した点像復元処理部４８の第１の実施形態について説明する。

【0071】

図７は、第１の実施形態の点像復元処理部４８を示すブロック図である。第１の実施形態の点像復元処理部４８は、主として第１の点像復元フィルタ処理部１１０、第２の点像復元フィルタ処理部１２０、乗算器１１２、１２２、及び加算器１３０、１４０から構成された点像復元処理部１００と、復元率制御部１５０とを備えている。

【0072】

第１の点像復元フィルタ処理部１１０は、光学系（レンズ１６等）の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを、撮像モードに応じて入力する画像データ（輝度データＹ又はＩＲデータ）に適用し、点像復元処理された画像データの増減分データ（第１の増減分データ）を生成する。

【0073】

乗算器１１２は、第１の点像復元フィルタ処理部１１０により生成された第１の増減分データに対して第１のゲインαの乗算を行い、第１の増減分データのゲインコントロール（点像復元処理による第１の復元率の調整）を行う。乗算器１１２によりゲインコントロールされた第１の増減分データは、加算器１３０に出力される。

【0074】

一方、第２の点像復元フィルタ処理部１２０は、光学系（レンズ１６等）の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを、撮像モードに応じて入力するＩＲデータに適用し、点像復元処理されたＩＲデータの増減分データ（第２の増減分データ）を生成する。

【0075】

乗算器１２２は、第２の点像復元フィルタ処理部１２０により生成された第２の増減分データに対して第２のゲインβの乗算を行い、第２の増減分データのゲインコントロール（点像復元処理による第２の復元率の調整）を行う。乗算器１２２によりゲインコントロールされた第２の増減分データは、加算器１３０に出力される。

【0076】

加算器１３０は、乗算器１１２によりゲインコントロールされた第１の増減分データと、乗算器１２２によりゲインコントロールされた第２の増減分データとを加算し、加算した増減分データを加算器１４０に出力する。

【0077】

加算器１４０の他の入力には、撮像モードに応じて輝度データＹ又はＩＲデータが加えられており、加算器１４０は、入力する輝度データＹ又はＩＲデータと、加算器１３０から加えられる増減分データとを加算する。これにより、加算器１４０からは点像復元処理された輝度データＹ又はＩＲデータが出力される。

【0078】

次に、乗算器１１２及び１２２にそれぞれ加えられる第１のゲインα及び第２のゲインβについて説明する。

【0079】

近赤外光画像撮像モードの撮像モード時であって、日中から夜間への切り替わり期間である薄暮の状態は、近赤外光発光部１５から発光される近赤外光の他に、被写体の周囲の光（太陽光）が被写体に照射される。撮像素子２６は、赤外カットフィルタ２０が撮像光路に挿入される可視光画像撮像モード時には、可視光波長帯域に感度をもって撮像を行うが、近赤外光画像撮像モードに切り替えられ、赤外カットフィルタ２０が撮像光路から退避すると、可視光波長帯域及び近赤外光波長帯域に感度をもって撮像を行う。従って、薄暮の状態で撮像されたＩＲデータには、近赤外光成分の他に可視光成分が含まれ、薄暮の状態で撮像されたＩＲデータに対しては、可視光に対する点像復元処理と近赤外光に対する点像復元処理との中間的な点像復元処理を行うことにより、良好な点像復元処理を行うことができる。

【0080】

復元率制御部１５０は、主に薄暮の状態で撮像されたＩＲデータに対し、薄暮の状態に応じて第１のゲインαと第２のゲインβとの重みを調整し、それぞれ乗算器１１２及び１２２に出力するものである。

【0081】

図８は、日中から夜間の時間経過に伴う被写体の明るさ（光量）の変化を示すグラフである。

【0082】

図８に示すように被写体の光量（太陽光の光量）は、日中から夜間の時間経過に伴って徐々に減少し、夜間はゼロになる。

【0083】

被写体の光量が閾値Ｔｈ（日中と薄暮との境界を判別する光量）未満になると、撮像モードは、可視光画像撮像モードから近赤外光画像撮像モードに切り替えられ、近赤外光画像の撮像が行われる。即ち、日中は可視光画像撮像モードに切り替えられ、薄暮及び夜間は近赤外光画像撮像モードに切り替えられる。

【0084】

カメラコントローラ２８は、絞り１７の制御及びシャッタースピード（撮像素子２６での電荷蓄積時間）の制御による自動露出制御を行う際に、被写体の明るさ（ＥＶ値（exposure value））を検出しているため、検出したＥＶ値を被写体の光量（明るさ）として使用することができる。そして、カメラコントローラ２８は、検出したＥＶ値が閾値Ｔｈ未満になると、可視光画像撮像モードから近赤外光画像撮像モードに切り替える。

【0085】

近赤外光画像撮像モードでは、図２に示したように赤外カットフィルタ２０に替えてダミーガラス２２が撮像光路に挿入され、かつ近赤外光発光部１５が点灯され、近赤外光発光部１５から近赤外光が発光される。

【0086】

従って、図８に示すように被写体の光量は、近赤外光画像撮像モードに切り替わると、近赤外光発光部１５から被写体に照射される近赤外光の光量分だけ光量が増加する。

【0087】

図８において、最初に閾値Ｔｈ未満になったときの光量をＡ、可視光画像撮像モードから近赤外光画像撮像モードに切り替わった時点の光量をＢ、薄暮の状態の任意時点の光量をＣとすると、光量Ｂから光量Ａを減算した光量（光量Ｂ−光量Ａ）は、近赤外光発光部１５から被写体に照射される近赤外光に対応する光量であり、一定値である。従って、夜間の光量は、近赤外光のみによる一定の光量になる。

【0088】

また、薄暮の状態の可視光の光量は、光量Ｃから近赤外光のみによる一定の光量（光量Ｂ−光量Ａ）を減算した光量（光量Ｃ−（光量Ｂ−光量Ａ））である。

【0089】

図７に戻って、復元率制御部１５０は、光量比検出部１６０を有している。また、復元率制御部１５０には、カメラコントローラ２８から可視光画像撮像モードか近赤外光画像撮像モードかを示す撮像モード情報と、図示しない被写体の光量データ（例えば、ＥＶ値）とが加えられており、光量比検出部１６０は、撮像モードが近赤外光画像撮像モードのときに動作可能となり、入力する光量データに基づいて、薄暮の状態の可視光の光量（第１の光量）と近赤外光の光量（第２の光量）との光量比を検出する。

【0090】

即ち、光量比検出部１６０は、入力する光量データが、最初に閾値Ｔｈ未満になったときの光量データ（光量Ａ）と、赤外光画像撮像モードに切り替わった時点の光量データ（光量Ｂ）とを記憶し、その後、リアルタイムに入力する光量データ（光量Ｃ）に基づいて、薄暮の状態の可視光の光量（光量Ｃ−（光量Ｂ−光量Ａ））と近赤外光の光量（光量Ｂ−光量Ａ）との光量比を検出する。

【0091】

復元率制御部１５０は、光量比検出部１６０により検出された光量比に基づいて第１のゲインαと第２のゲインβとの比を調整する。具体的には、可視光の光量と近赤外光の光量との光量比がｘ／ｙの場合、第１のゲインαと第２のゲインβとの比をα／βにする。また、第１のゲインαと第２のゲインβとの和（α＋β）は１にする。即ち、β＝１−αにする。

【0092】

このように復元率制御部１５０は、薄暮の状態で撮像されたＩＲデータに対し、薄暮の状態（可視光の光量と近赤外光の光量との光量比）に応じて第１のゲインαと第２のゲインβとの重みを調整し、それぞれ乗算器１１２及び１２２に出力するため、可視光に対する点像復元処理と近赤外光に対する点像復元処理との中間的な点像復元処理を行うことができ、薄暮のＩＲデータに対して良好な点像復元処理を行うことができる。

【0093】

尚、日中の可視光画像撮像モードの場合には、第１のゲインα及び第２のゲインβは、それぞれα＝１、β＝０にされ、輝度データＹに対して光学系（レンズ１６等）の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いた点像復元処理（第１の点像復元処理）がされる。同様に夜間の近赤外光画像撮像モードの場合には、第１のゲインα及び第２のゲインβは、それぞれα＝０、β＝１にされ、ＩＲデータに対して光学系（レンズ１６等）の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた点像復元処理がされる。更に、日中の可視光画像撮像モードの場合には、第２のゲインβをゼロにする代わりに第２の点像復元フィルタ処理部１２０をオフにし、一方、夜間の近赤外光画像撮像モードの場合には、第１のゲインαをゼロにする代わりに第１の点像復元フィルタ処理部１１０をオフにしてもよい。

【0094】

［画像処理方法の第１の実施形態］
図９は本発明に係る画像処理方法の第１の実施形態を示すフローチャートであり、図７に示した第１の実施形態の点像復元処理部４８による点像復元処理動作に関して示している。

【0095】

図９において、カメラコントローラ２８は、被写体の光量（例えば、ＥＶ値）を検出し、検出した光量が閾値Ｔｈ以上か否かを判別する（ステップＳ１０）。検出した光量が閾値Ｔｈ以上の場合（「Yes」の場合）には、ステップＳ１２に遷移させ、日中の撮像モードである可視光画像撮像モードに切り替え、検出した光量が閾値Ｔｈ未満の場合（「No」の場合）には、ステップＳ１８に遷移させ、薄暮及び夜間の撮像モードである近赤外光画像撮像モードに切り替える。

【0096】

ステップＳ１２では、赤外カットフィルタ２０を撮像光路に挿入し、ステップＳ１４により可視光波長帯域に感度をもった可視光のみによる撮像（可視光画像の撮像）を行う。撮像された可視光画像の輝度データＹは、第１の点像復元フィルタ処理部１１０、乗算器１１２、及び加算器１３０、１４０に基づいて第１の点像復元フィルタのみによる点像復元処理が行われる（ステップＳ１６）。

【0097】

一方、ステップＳ１０において、検出した光量が閾値Ｔｈ未満の場合（「No」の場合）には、最初に閾値Ｔｈ未満になったとき光量を、光量Ａとしてカメラコントローラ２８のメモリに一時記憶する。（ステップＳ１８）。尚、光量Ａと閾値Ｔｈとはほぼ同じ値であるため、閾値Ｔｈを光量Ａとして記憶してもよい。

【0098】

続いて、カメラコントローラ２８は、赤外カットフィルタ２０を退避させ、ダミーガラス２２を撮像光路に挿入し、かつ近赤外光発光部１５を点灯させ、近赤外光を被写体に照射する（ステップＳ２０）。ステップＳ２０により可視光画像撮像モードから近赤外光画像撮像モードに切り替わると、その切り替わった直後に検出した被写体の光量を、光量Ｂとしてカメラコントローラ２８のメモリに一時記憶する（ステップＳ２２）。

【0099】

続いて、リアルタイムに光量を測定し、測定した光量を光量Ｃとし（ステップＳ２４）、薄暮の状態（可視光と近赤外光とが混在した光源下）で近赤外光画像の撮像を行う（ステップＳ２６）。次に、光量比検出部１６０は、ステップＳ１８で記憶した光量Ａ、ステップＳ２２で記憶した光量Ｂ、及びステップＳ２４で測定した光量Ｃに基づいて可視光と近赤外光との光量比を検出する（ステップＳ２８）。

【0100】

ステップＳ２８により検出された光量比に応じて第１の点像復元フィルタによる点像復元処理の第１の復元率と、第２の点像復元フィルタによる点像復元処理の第２の復元率とを調整する（ステップＳ３０）。即ち、復元率制御部１５０は、ステップＳ２２により検出された光量比に基づいて第１のゲインαと第２のゲインβとの比率を調整する。

【0101】

ステップＳ３０により調整された第１の復元率及び第２の復元率による点像復元処理を行う（ステップＳ３２）。即ち、復元率制御部１５０により調整された第１のゲインα及び第２のゲインβが、それぞれ乗算器１１２及び１２２に加えられ、ここで、第１の点像復元フィルタ処理部１１０から出力される第１の増減分データと第１のゲインαとが乗算され、同様に第２の点像復元フィルタ処理部１２０から出力される第２の増減分データと第２のゲインβとが乗算され、各乗算結果を加算器１３０、１４０によりＩＲデータに加算することにより点像復元処理が行われる。

【0102】

次に、薄暮の状態の可視光の光量を、光量Ｃ−（光量Ｂ−光量Ａ）により算出し、算出した光量がゼロよりも大きいか否かを判別する（ステップＳ３４）。算出した光量がゼロよりも大きい場合（「Yes」の場合）には、可視光が含まれていると判断し、ステップＳ２４に遷移させ、ステップＳ２４からステップＳ３４の処理（薄暮のＩＲデータの処理）を繰り返し行う。

【0103】

一方、ステップＳ３４において、算出した光量がゼロ以下の場合（「No」の場合）には、可視光が含まれていないと判断し、ステップＳ３６に遷移させ、夜間に撮像されたＩＲデータの点像復元処理を行う。可視光が含まれていないため、近赤外光画像撮像モードによる近赤外光画像の撮像は、近赤外光のみを光源とする撮像となる（ステップＳ３６）。そして、近赤外光のみを光源として撮像されたＩＲデータに対し、第２の点像復元フィルタのみによる点像復元処理を行う（ステップＳ３８）。即ち、第２の点像復元フィルタ処理部１２０、及び乗算器１２２（第２のゲインβ＝１）、及び加算器１３０、１４０による点像復元処理が行われ、第１の点像復元フィルタ処理部１１０等による点像復元処理は行われない。

【0104】

続いて、夜間の撮像を終了させるか否かを判別し（ステップＳ４０）、撮像を終了させない場合（「No」の場合）には、ステップＳ３６に遷移させ、ステップＳ３６からステップＳ４０までの処理を繰り返し、一方、撮像を終了させる場合（「Yes」の場合）には、本撮像動作を終了させる。

【0105】

尚、夜間の撮像を終了させずに、夜間から日中までの黎明の状態では、薄暮と同様に可視光と赤外光とが混在するため、薄暮の状態と同様に可視光の光量と近赤外光の光量との光量比に応じて第１のゲインα及び第２のゲインβの重みを調整し、第１の点像復元フィルタを用いた点像復元処理と、第２の点像復元フィルタを用いた点像復元処理との重み付け平均をとった点像復元処理を行う。また、黎明の状態の判断は、図８に示すように夜間の光量は、近赤外光のみの一定の光量であるが、この一定の光量が増加した場合に黎明の状態と判断することができ、その増加分が可視光による光量と判断することができる。

【0106】

また、ステップＳ３４では、光量Ｃ−（光量Ｂ−光量Ａ）により算出した光量（可視光量）が０になる場合、可視光が含まれていない（即ち、近赤外光成分のみの画像）と判断しているが、これに限らず、可視光量が極めて少ない場合も近赤外光成分のみの画像と判断してもよい。即ち、近赤外光成分のみの画像とは、可視光量が０の画像のみに限らず、光量比検出部１６０で検出した可視光の光量比が極めて低い場合であって、総光量の１０％以下、望ましくは５％以下、更に望ましくは３％以下の場合を含む。可視光の光量比が極めて低い画像の場合、第２の点像復元フィルタのみによる点像復元処理により良好に点像復元をすることができるからである。

【0107】

図１０は、図９に示した画像処理方法の第１の実施形態の変形例を示すフローチャートである。尚、図１０において、図９に示した処理と共通の処理を行うステップには同一のステップ番号を付し、その詳細な説明は省略する。

【0108】

図１０に示す画像処理方法は、図９に示したステップＳ１８、Ｓ２２及びＳ２４の処理の代わりに、ステップＳ１１８、Ｓ１２２及びＳ１２４の処理を行う点で相違する。

【0109】

図１０に示すステップＳ１１８は、被写体の光量が閾値Ｔｈ未満になった時の光量Ａとして、一定時間（動画データの複数のフレームの撮像期間）の光量（例えば、平均光量、中央値等の代表光量）を測定し、測定した光量をメモリに一時記憶させる。

【0110】

同様にステップＳ１２２は、近赤外光画像撮像モードに切り替わった直後に被写体の光量を一定時間検出し、一定時間の光量を、近赤外光画像撮像モードに切り替わった直後の光量Ｂとしてメモリに記憶させる。

【0111】

ステップＳ１２４では、リアルタイムに光量を測定するが、現時点の一定時間前から現時点までに測定した光量を、現時点の光量Ｃとする。

【0112】

上記のように可視光の光量と近赤外光の光量との光量比を検出するときに使用する各光量は、一定時間の光量として検出し、これにより光量比を精度よく、かつ安定して検出できるようにしている。

【0113】

図７に示した復元率制御部１５０は、第１のゲインαと第２のゲインβとの和（α＋β）が１となるように第１のゲインαと第２のゲインβとを決定するが、これに限らず、任意の値γ（以下、「トータルゲイン」という）になるように決定するようにしてもよい。

【0114】

図１１は、トータルゲインγ、第１のゲインα、及び第２のゲインβの関係を示す概念図である。

【0115】

トータルゲインγが設定され、かつ光量比検出部１６０により光量比に検出（即ち、第１のゲインαと第２のゲインβとの比が決定）されると、第１のゲインαと第２のゲインβとは一意に求めることができる。

【0116】

ここで、トータルゲインγは、点像復元処理による目標の復元強度であり、撮像設定条件（光学特性）に応じて変動しうるが、撮像設定条件が決まれば一定の値とすることができる。ここでいう撮像設定条件には、例えばレンズ、絞り、ズーム、被写体距離、感度、撮像モード等の各種の撮像条件及び設定条件が含まれうる。また、トータルゲインγは、撮像装置１０の使用者が任意の固定値に設定することも可能である。

【0117】

トータルゲインγを大きくすると、点像復元処理による復元強度が強くなるが、アーティファクトが発生する過補正となりやすく、一方、トータルゲインγを小さくすると、過補正となる弊害を回避することができるものの、点像復元処理による復元強度が弱くなり、十分な点像復元が行われず、ぼけが残るという問題がある。従って、点像復元処理による復元強度を強く、又は弱くすることによる利害得失を勘案して、トータルゲインγを決定することが好ましい。

【0118】

＜点像復元処理部の第２の実施形態＞
次に、図６に示した点像復元処理部４８の第２の実施形態について説明する。

【0119】

図１２は、第２の実施形態の点像復元処理部４８を示すブロック図である。第２の実施形態の点像復元処理部４８は、主として点像復元フィルタ処理部２１０、第１の点拡がり関数記憶部２２０、第２の点拡がり関数記憶部２３０、第３の点拡がり関数生成部２４０、点像復元フィルタ生成部２５０、及び光量比検出部１６０から構成されている。

【0120】

点像復元フィルタ処理部２１０は、撮像モードに応じて輝度データＹ又はＩＲデータを入力し、入力した画像データ（輝度データＹ又はＩＲデータ）に対して、点像復元フィルタ生成部２５０により生成された第１の点像復元フィルタＦ_１、第２の点像復元フィルタＦ_２、及び第３の点像復元フィルタＦ_３のうちのいずれかの点像復元フィルタを用いた点像復元処理を行い、点像復元処理された画像データを算出する。即ち、点像復元フィルタ処理部２１０は、入力する画像データのうちの処理対象画素を中心とする所定のカーネルサイズ（点像復元フィルタと同じカーネルサイズであって、例えば、７×７、９×９等）の画像データと、第１の点像復元フィルタＦ_１、第２の点像復元フィルタＦ_２、及び第３の点像復元フィルタＦ_３のうちのいずれかの点像復元フィルタとの逆畳み込み演算（デコンボリューション演算）を行い、点像復元処理した画像データを算出する。

【0121】

第１の点拡がり関数記憶部２２０は、光学系（レンズ１６等）の可視光に対する第１の点拡がり関数（第１のＰＳＦ）を記憶する記憶部である。

【0122】

第２の点拡がり関数記憶部２３０は、光学系（レンズ１６等）の近赤外光に対する第２の点拡がり関数（第２のＰＳＦ）を記憶する記憶部である。

【0123】

第１のＰＳＦ及び第２のＰＳＦは、それぞれ可視光のみの光源及び近赤外光のみの光源による照明条件下で点像を撮像し、これらの撮像時に得られる点像の画像データに基づいて測定されるもので、予め製品出荷前に計測され、第１の点拡がり関数記憶部２２０及び第２の点拡がり関数記憶部２３０に記憶されている。

【0124】

第３の点拡がり関数生成部２４０は、薄暮用の第３のＰＳＦを生成する部分であり、第１の点拡がり関数記憶部２２０から読み出した第１のＰＳＦと、第２の点拡がり関数記憶部２３０から読み出した第２のＰＳＦと、光量比検出部１６０から加えられる光量比とに基づいて、光量比に応じて第１のＰＳＦと第２のＰＳＦとを重み付け平均した第３のＰＳＦを算出する。尚、光量比検出部１６０は、図７に示した光量比検出部１６０と同じ機能を有するもので、薄暮の状態の可視光の光量と近赤外光の光量との光量比を検出する。

【0125】

ここで、薄暮の状態の可視光の光量と近赤外光の光量との光量比を、ｐ：ｑ、ｐ＋ｑ＝１とすると、第３の点拡がり関数生成部２４０は、次式により薄暮用の第３のＰＳＦを算出する。

【0126】

［数２］
第３のＰＳＦ＝第１のＰＳＦ×ｐ＋第２のＰＳＦ×ｑ
点像復元フィルタ生成部２５０は、第１の点拡がり関数記憶部２２０、第２の点拡がり関数記憶部２３０、又は第３の点拡がり関数生成部２４０から第１のＰＳＦ、第２のＰＳＦ、又は第３のＰＳＦを取得し、取得したＰＳＦに基づいて第１の点像復元フィルタＦ_１、第２の点像復元フィルタＦ_２、及び第３の点像復元フィルタＦ_３のうちのいずれかの点像復元フィルタを生成する。

【0127】

一般に、ＰＳＦによるボケ画像の復元には、コンボリュージョン型のウィナー(Wiener)フィルタを利用することができる。ＰＳＦ(x,y)をフーリエ変換した光学伝達関数(ＯＴＦ：Optical Transfer Function)と信号対雑音比（ＳＮＲ：Signal to Noise Ratio）の情報を参照して、以下の式によって点像復元フィルタの周波数特性ｄ（ω_ｘ，ω_ｙ）を算出することができる。

【0128】

【数3】

【0129】

ここでＨ（ω_ｘ，ω_ｙ）はＯＴＦを表し、Ｈ^＊（ω_ｘ，ω_ｙ）はその複素共役を表す。また、ＳＮＲ（ω_ｘ，ω_ｙ）は信号対雑音比を表す。

【0130】

点像復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のWiener周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数が適宜算出される。

【0131】

上記［数３］式のＯＴＦの代わりに、ＯＴＦの振幅成分を示す変調伝達関数（ＭＴＦ：Modulation Transfer Function）を使用し、点像復元フィルタを算出するようにしてもよい。

【0132】

点像復元フィルタ生成部２５０には、カメラコントローラ２８から撮像モード情報が加えられており、点像復元フィルタ生成部２５０は、撮像モード情報が可視光画像撮像モードを示す場合には、第１の点拡がり関数記憶部２２０から第１のＰＳＦを読み出し、読み出した第１のＰＳＦに基づいて第１の点像復元フィルタＦ_１を生成する。

【0133】

同様に点像復元フィルタ生成部２５０は、撮像モード情報が近赤外光画像撮像モードを示す場合には、更に夜間か薄暮（黎明）かを判別し、夜間の場合には第２の点拡がり関数記憶部２３０から第２のＰＳＦを読み出し、読み出した第２のＰＳＦに基づいて第２の点像復元フィルタＦ_２を生成し、薄暮（黎明）の場合には第３の点拡がり関数生成部２４０により生成された第３のＰＳＦを取得し、取得した第３のＰＳＦに基づいて第３の点像復元フィルタＦ_３を生成する。尚、夜間か薄暮（黎明）かの判別は、光量比検出部１６０の検出出力、又はカメラコントローラ２８により測定される被写体の光量に基づいて行うことができる。

【0134】

可視光画像撮像モードの場合、点像復元フィルタ処理部２１０には、輝度データＹが入力するとともに、点像復元フィルタ生成部２５０からは第１の点像復元フィルタＦ_１が入力し、点像復元フィルタ処理部２１０は、輝度データＹと第１の点像復元フィルタＦ_１とのデコンボリューション演算を行い、点像復元処理した輝度データＹを算出する。

【0135】

近赤外光画像撮像モードの場合、点像復元フィルタ処理部２１０には、ＩＲデータが入力するとともに、点像復元フィルタ生成部２５０からは夜間か薄暮（黎明）かに応じて第２の点像復元フィルタＦ_２、又は第３の点像復元フィルタＦ_３が入力し、点像復元フィルタ処理部２１０は、ＩＲデータと第２の点像復元フィルタＦ_２とのデコンボリューション演算、又はＩＲデータと第３の点像復元フィルタＦ_３とのデコンボリューション演算を行い、点像復元処理したＩＲデータを算出する。

【0136】

尚、ＰＳＦは、絞り値（Ｆ値）、ズーム倍率、被写体距離、画角（像高）等の撮像条件により変化するため、第１の点拡がり関数記憶部２２０及び第２の点拡がり関数記憶部２３０は、撮像条件に応じた複数の第１のＰＳＦ及び第２のＰＳＦを記憶しておくことが好ましく、第３の点拡がり関数生成部２４０及び点像復元フィルタ生成部２５０は、それぞれ第１の点拡がり関数記憶部２２０及び第２の点拡がり関数記憶部２３０から撮像条件に応じた第１のＰＳＦ及び第２のＰＳＦを読み出すことが好ましい。

【0137】

［画像処理方法の第２の実施形態］
図１３は本発明に係る画像処理方法の第２の実施形態を示すフローチャートであり、図１２に示した第２の実施形態の点像復元処理部４８による点像復元処理動作に関して示している。尚、図１３において、図９に示した処理と共通の処理を行うステップには同一のステップ番号を付し、その詳細な説明は省略する。

【0138】

図１３に示す画像処理方法は、図９に示したステップＳ３０、Ｓ３２の処理の代わりに、ステップＳ１３２の処理を行う点で相違する。

【0139】

図１３に示すステップＳ１３２は、薄暮のＩＲデータに対して、光量比検出部１６０により検出される可視光の光量と近赤外光の光量との光量比に基づいて、可視光用の第１のＰＳＦと近赤外用の第２のＰＳＦとを重み付け平均して薄暮用の第３のＰＳＦを生成し、生成した第３のＰＳＦに基づいて第３の点像復元フィルタを生成する。そして、薄暮時に取得したＩＲデータに対し、生成した第３の点像復元フィルタを使用して点像復元処理を行う。

【0140】

＜点像復元処理部の第３の実施形態＞
次に、図６に示した点像復元処理部４８の第３の実施形態について説明する。

【0141】

図１４は、第３の実施形態の点像復元処理部４８を示すブロック図である。尚、図１２に示した第２の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

【0142】

図１４に示す第３の実施形態の点像復元処理部４８は、主として図１２に示した第３の点拡がり関数生成部２４０の代わりに、第３の点拡がり関数記憶部２６０を有する点で相違する。

【0143】

即ち、第３の点拡がり関数記憶部２６０には、図１２に示した第３の点拡がり関数生成部２４０により生成される第３のＰＳＦと同様にして生成された第３のＰＳＦが、予め可視光の光量と近赤外光の光量との光量比に関連付けて記憶されている。

【0144】

点像復元フィルタ生成部２５０は、第１の点拡がり関数記憶部２２０、第２の点拡がり関数記憶部２３０、又は第３の点拡がり関数記憶部２６０から第１のＰＳＦ、第２のＰＳＦ、又は第３のＰＳＦを取得し、取得したＰＳＦに基づいて第１の点像復元フィルタＦ_１、第２の点像復元フィルタＦ_２、及び第３の点像復元フィルタＦ_３のうちのいずれかの点像復元フィルタを生成する。

【0145】

尚、点像復元フィルタ生成部２５０には、カメラコントローラ２８から撮像モード情報が加えられ、光量比検出部１６０から光量比を示す検出出力が加えられており、点像復元フィルタ生成部２５０は、撮像モード情報が可視光画像撮像モードを示す場合には、第１の点拡がり関数記憶部２２０から第１のＰＳＦを読み出し、読み出した第１のＰＳＦに基づいて第１の点像復元フィルタＦ_１を生成する。

【0146】

同様に点像復元フィルタ生成部２５０は、撮像モード情報が近赤外光画像撮像モードを示す場合には、更に夜間か薄暮（黎明）かを光量比検出部１６０から加えられる検出出力により判別し、夜間の場合には第２の点拡がり関数記憶部２３０から第２のＰＳＦを読み出し、読み出した第２のＰＳＦに基づいて第２の点像復元フィルタＦ_２を生成し、薄暮（黎明）の場合には、第３の点拡がり関数記憶部２６０から光量比に応じた第３のＰＳＦを読み出し、読み出した第３のＰＳＦに基づいて第３の点像復元フィルタＦ_３を生成する。

【0147】

＜点像復元処理部の第４の実施形態＞
次に、図６に示した点像復元処理部４８の第４の実施形態について説明する。

【0148】

図１５は、第４の実施形態の点像復元処理部４８を示すブロック図である。尚、図１４に示した第３の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

【0149】

図１５に示す第４の実施形態の点像復元処理部４８は、主として図１４に示した第１の点拡がり関数記憶部２２０、第２の点拡がり関数記憶部２３０及び第３の点拡がり関数記憶部２６０の代わりに、第１の点像復元フィルタ記憶部２７０、第２の点像復元フィルタ記憶部２７２、及び第３の点像復元フィルタ記憶部２７４を有し、また、点像復元フィルタ生成部２５０の代わりに、点像復元フィルタ選択部２８０を有する点で相違する。

【0150】

即ち、第４の実施形態は、予め第１のＰＳＦ、第２のＰＳＦ及び第３のＰＳＦに基づいて第１の点像復元フィルタＦ_１、第２の点像復元フィルタＦ_２及び第３の点像復元フィルタＦ_３を生成し、生成した第１の点像復元フィルタＦ_１、第２の点像復元フィルタＦ_２及び第３の点像復元フィルタＦ_３を、それぞれ第１の点像復元フィルタ記憶部２７０、第２の点像復元フィルタ記憶部２７２、及び第３の点像復元フィルタ記憶部２７４に記憶させている。

【0151】

点像復元フィルタ選択部２８０には、カメラコントローラ２８から撮像モード情報が加えられ、光量比検出部１６０から光量比を示す検出出力が加えられており、点像復元フィルタ選択部２８０は、撮像モード情報が可視光画像撮像モードを示す場合には、第１の点像復元フィルタ記憶部２７０に記憶されている第１の点像復元フィルタＦ_１を選択し、選択した第１の点像復元フィルタＦ_１を点像復元フィルタ処理部２１０に出力する。

【0152】

同様に点像復元フィルタ選択部２８０は、撮像モード情報が近赤外光画像撮像モードを示す場合には、更に夜間か薄暮（黎明）かを判別し、夜間の場合には第２の点像復元フィルタ記憶部２７２に記憶されている第２の点像復元フィルタＦ_２を選択し、選択した第２の点像復元フィルタＦ_２を点像復元フィルタ処理部２１０に出力し、薄暮（黎明）の場合には第３の点像復元フィルタ記憶部２７４に記憶されている第３の点像復元フィルタＦ_３であって、光量比検出部１６０により検出された光量比に応じた第３の点像復元フィルタＦ_３を選択し、選択した第３の点像復元フィルタＦ_３を点像復元フィルタ処理部２１０に出力する。

【0153】

＜画像処理装置の第２の実施形態＞
図１６は、図５に示したカメラコントローラ２８内の画像処理部３５の第２の実施形態を示すブロック図である。尚、図６に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

【0154】

図１６に示す第２の実施形態の画像処理部３５は、第１の実施形態の画像処理部３５が可視光画像の輝度データＹに対して点像復元処理を行うのに対し、可視光画像を示す第１の色データ（Ｇデータ）と、輝度データを得るための寄与率が第１の色データ（Ｇデータ）よりも低い２色以上の第２の色データ（Ｒデータ、Ｂデータ）に対し、各ＲＧＢデータに対応する第１の点像復元フィルタを用いた点像復元処理を行う点で相違する。

【0155】

即ち、図１６に示す点像復元処理部１４８には、可視光画像撮像モード時には、第１の階調補正処理部４５から階調補正されたＲＧＢ３面のＲＧＢデータが加えられ、近赤外光画像撮像モード時は、第２の階調補正処理部４６から階調補正されたＩＲデータが加えられる。

【0156】

点像復元処理部１４８は、光学系（レンズ１６等）の可視光（Ｒ光）に対する第１の点拡がり関数に基づく第１の点像復元フィルタＦ_１Ｒ、光学系のＧ光に対する第１の点拡がり関数に基づく第１の点像復元フィルタＦ_１Ｇ、及び光学系のＢ光に対する第１の点拡がり関数に基づく第１の点像復元フィルタＦ_１Ｂを用いて、各ＲＧＢデータに対して点像復元処理を行う。

【0157】

また、点像復元処理部１４８は、ＩＲデータに対しては、図６に示した第１の実施形態の点像復元処理部４８がＩＲデータに対して行う点像復元処理と同様の点像復元処理を行う。

【0158】

第２の実施形態の点像復元処理部１４８によれば、可視光画像を示すＲＧＢデータに対し、色毎に対応する第１の点像復元フィルタＦ_１Ｒ、Ｆ_１Ｇ及びＦ_１Ｂを用いて点像復元処理を行うため、より精度の高い点像復元処理を行うことができ、倍率色収差の補正も可能である。

【0159】

＜撮像素子の他の実施形態＞
図１７（Ａ）は、本発明に係る撮像装置に適用可能な撮像素子の他の実施形態を示す図であり、特に撮像素子に設けられたＲＧＢのカラーフィルタ及び近赤外光透過フィルタの基本配列パターンに関して示している。また、図１７（Ｂ）は、ＲＧＢの各カラーフィルタ及び近赤外光透過フィルタの分光透過率特性を示している。

【0160】

図１７（Ａ）に示す基本配列パターンを有する撮像素子のＲＧＢの各カラーフィルタを有するＲ画素、Ｇ画素及びＢ画素は、近赤外ＬＥＤの近赤外光（図３参照）に対し、ほぼ同じ感度をもっており、近赤外光透過フィルタを有する画素（以下、「ＩＲ画素」という）は、近赤外光波長帯域のみに感度を有している（図１７（Ｂ））。

【0161】

可視光画像撮像モードにおいて、赤外カットフィルタ２０が挿入される場合、Ｒ画素、Ｇ画素及びＢ画素には、それぞれＲ、Ｇ、Ｂの各波長帯域の光のみが入射し、ＩＲ画素には、殆ど光が入射しない。従って、Ｒ画素、Ｇ画素及びＢ画素からＲＧＢデータを取得することができる。

【0162】

近赤外光画像撮像モードにおいて、赤外カットフィルタ２０が退避する場合、Ｒ画素、Ｇ画素及びＢ画素には、それぞれＲ、Ｇ、Ｂの各波長帯域及び近赤外光波長帯域の光が入射し、ＩＲ画素には、近赤外光波長帯域の光のみが入射する。この場合、Ｒ画素、Ｇ画素及びＢ画素は、それぞれＩＲ画素として機能することができる。

【0163】

従って、近赤外光画像撮像モードにおいて、ＩＲ画素として機能するＲ画素、Ｇ画素及びＢ画素からＩＲデータ（第１のＩＲデータ）を取得することができ、ＩＲ画素からＩＲデータ（第２のＩＲデータ）を取得することができる。

【0164】

第１のＩＲデータは、第２のＩＲデータよりも解像度が高いが、薄暮の状態では可視光成分が混在する。第２のＩＲデータは、第１のＩＲデータよりも解像度が低いが、薄暮の状態でも可視光成分は混在しない。尚、第１のＩＲデータは、ＩＲ画素の位置のＩＲデータが欠落するため、ＩＲ画素の位置のＩＲデータを補間演算により求める必要がある。

【0165】

また、薄暮の状態で撮像された第１のＩＲデータには、可視光成分と近赤外光成分とが含まれるため、前述したように第１の点像復元フィルタによる点像復元処理と第２の点像復元フィルタによる点像復元処理とを、可視光の光量と近赤外光の光量の光量比に応じて重み付け平均した点像復元処理を行うことが好ましい。このとき、可視光の光量と近赤外光の光量の光量比を算出する際に、第１のＩＲデータを近赤外光の光量の算出に使用することができる。

【0166】

また、更に他の実施形態の撮像素子は、図１７（Ａ）に示したＲ画素、Ｇ画素及びＢ画素として、それぞれＲ、Ｇ、Ｂの各波長帯域のみに感度を有する可視光画像の撮像用の第１の画素（ＲＧＢのカラーフィルタ＋赤外カットフィルタを有する画素）とし、近赤外光透過フィルタを有するＩＲ画素の代わりに、可視光波長帯域及び近赤外光波長帯域に感度をもった近赤外光画像の撮像用の第２の画素（ＩＲ画素）を使用したものが考えられる。

【0167】

この場合、赤外カットフィルタを出し入れする機構は不要であり、可視光画像と近赤外光画像とを同時に撮像することもできる。

【0168】

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における点像復元処理は、特定の撮像条件（例えば、絞り値、Ｆ値、焦点距離、像高等）に応じた点拡がり（点像ボケ）を、本来の被写体像に復元する画像処理であるが、本発明を適用可能な画像処理は、上述の実施形態における点像復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Extended Depth of Field(Focus)）を有する光学系（レンズ等）によって撮像取得された画像データに対する点像復元処理に対しても、本発明に係る点像復元処理を適用することが可能である。

【0169】

ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮像取得されるボケ画像の画像データに対して点像復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データに復元することができる。この場合、ＥＤｏＦ光学系の伝達関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ（Phase Transfer Function)等）に基づく点像復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する点像復元フィルタを用いた復元処理が行われる。

【0170】

図１８は、ＥＤｏＦ光学系を備える撮像モジュール３００の一形態を示すブロック図である。本例の撮像モジュール（撮像装置１０に搭載されるカメラヘッド）３００は、ＥＤｏＦ光学系（レンズユニット）３１０と、撮像素子３２０と、ＡＤ変換部３３０と、を含む。

【0171】

図１９は、ＥＤｏＦ光学系３１０の一例を示す図である。本例のＥＤｏＦ光学系３１０は、単焦点の固定されたレンズ３１２と、瞳位置に配置される光学フィルタ３１４とを有する。光学フィルタ３１４は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系３１０（レンズ３１２）をＥＤｏＦ化する。このように、レンズ３１２及び光学フィルタ３１４は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

【0172】

尚、ＥＤｏＦ光学系３１０は必要に応じて他の構成要素を含み、例えば光学フィルタ３１４の近傍には絞り（図示省略）が配設されている。また、光学フィルタ３１４は、１枚でもよいし、複数枚を組合せたものでもよい。また、光学フィルタ３１４は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系３１０（レンズ３１２）のＥＤｏＦ化は、他の手段によって実現されてもよい。例えば、光学フィルタ３１４を設ける代わりに、本例の光学フィルタ３１４と同等の機能を有するようにレンズ設計されたレンズ３１２によってＥＤｏＦ光学系３１０のＥＤｏＦ化を実現してもよい。

【0173】

即ち、撮像素子３２０の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系３１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系３１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ３１４（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずにレンズ３１２自体によって形成可能なケースに対しても、本発明は応用可能である。

【0174】

図１８及び図１９に示すＥＤｏＦ光学系３１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能である。尚、ＥＤｏＦ光学系３１０の光路内、又はＥＤｏＦ光学系３１０と撮像素子３２０との間には、図１に示した撮像装置１０と同様に赤外カットフィルタを出し入れする機構（図示せず）が設けられている。

【0175】

ＥＤｏＦ化されたＥＤｏＦ光学系３１０を通過後の光学像は、図１８に示す撮像素子３２０に結像され、ここで電気信号に変換される。

【0176】

撮像素子３２０としては、図１に示した撮像素子２６と同様のものが適用できる。

【0177】

ＡＤ（Analog-to-Digital）変換部３３０は、撮像素子３２０から画素毎に出力されるアナログのＲＧＢ信号をデジタルのＲＧＢ信号に変換する。ＡＤ変換部３３０によりデジタルの画像信号に変換されたデジタル画像信号は、ＲＡＷデータとして出力される。

【0178】

撮像モジュール３００から出力されるＲＡＷデータに対し、図６及び図１６に示した画像処理部（画像処理装置）３５を適用することにより、広範囲でピントが合った状態の高解像度の可視光画像及び近赤外光画像を示す画像データを生成することができる。

【0179】

即ち、図２０の符号１３１１に示すように、ＥＤｏＦ光学系３１０を通過後の点像（光学像）は、大きな点像（ボケ画像）として撮像素子３２０に結像されるが、画像処理部（画像処理装置）３５の点像復元処理部４８又は点像復元処理部１４８による点像復元処理により、図２０の符号１３１２に示すように小さな点像（高解像度の画像）に復元される。

【0180】

［その他］
上述の各実施形態では、画像処理部（画像処理装置）３５が、撮像装置１０（カメラコントローラ２８）に設けられる態様について説明したが、コンピュータ６０やサーバ８０等の他の装置に画像処理部（画像処理装置）３５が設けられてもよい。

【0181】

例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる画像処理部（画像処理装置）３５によってこの画像データの点像復元処理が行われてもよい。また、サーバ８０が画像処理部（画像処理装置）３５を備える場合、例えば、撮像装置１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の画像処理部（画像処理装置）３５においてこの画像データに対して点像復元処理が行われ、点像復元処理後の画像データが送信元に送信又は提供されるようにしてもよい。

【0182】

また、本発明を適用可能な態様は撮像装置１０、コンピュータ６０及びサーバ８０には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。

【0183】

更に、上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の各装置及び処理部（カメラコントローラ２８、デバイス制御部３４、画像処理部３５）における画像処理方法（画像処理手順）をコンピュータに実行させる画像処理プログラム、その画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的有形記録媒体）、或いはその画像処理プログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

【符号の説明】

【0184】

１０…撮像装置、１２…レンズユニット（光学系）、１５…近赤外光発光部、１６、３１２…レンズ、１８…光学系操作部、２０…赤外カットフィルタ、２２…ダミーガラス、２４…フィルタ装置、２６、３２０…撮像素子、２８…カメラコントローラ、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、４１…オフセット補正処理部、４２…ゲイン補正処理部、４３…デモザイク処理部、４５…第１の階調補正処理部、４６…第２の階調補正処理部、４７…輝度及び色差変換処理部、４８、１００、１４８…点像復元処理部、１１０…第１の点像復元フィルタ処理部、１１２、１２２…乗算器、１２０…第２の点像復元フィルタ処理部、１３０、１４０…加算器、１５０…復元率制御部、１６０…光量比検出部、２１０…点像復元フィルタ処理部、２２０…第１の点拡がり関数記憶部、２３０…第２の点拡がり関数記憶部、２４０…第３の点拡がり関数生成部、２５０…点像復元フィルタ生成部、２６０…第３の点拡がり関数記憶部、２７０…第１の点像復元フィルタ記憶部、２７２…第２の点像復元フィルタ記憶部、２７４…第３の点像復元フィルタ記憶部、２８０…点像復元フィルタ選択部、３００…撮像モジュール、３１０…ＥＤｏＦ光学系、３１４…光学フィルタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】